联邦学习:算法详解与系统实现
上QQ阅读APP看书,第一时间看更新

6.3.2 算法结构

与纵向联邦学习的设置相同,每个节点保存有自己本地的纵向划分数据,下文中的本地代指单个节点。图6-2给出了VFKL算法的系统架构。就像我们前面提到的那样,VFKL的主要思想就是随机特征的计算可以纵向划分。具体来说,我们分别给出了数据隐私保护、模型隐私保护和树结构通信的详细介绍。

图6-2 VFKL的系统结构。聚合器在此章仅代指聚合(加和)操作

  • 数据隐私保护:为了在技术上保护纵向划分数据的隐私,我们需要划分ϕωi(xi)=的计算,以避免将本地数据传送给其他节点。具体来说,我们给第ℓ个节点发送一个随机种子。一旦接收到随机种子,该节点就会根据随机种子唯一地生成随机方向ωi。因此,我们本地计算,就避免了直接将本地数据传送给其他节点来计算。在6.3.3节,我们将讨论为何根据其他节点传来的值很难推出任意的
  • 模型隐私保护:模型参数αi分别秘密地保存在不同的节点中。根据模型参数αi的位置,我们将模型参数分为,其中表示第ℓ个节点的模型参数,是对应迭代次数索引的集合。我们不直接传送本地模型的参数给其他节点。为了得到f(x),本地计算,然后传给其他节点,接着就可以通过累加得到f(x)。如果≥2,基于的值将很难推出本地模型参数。因此,我们在技术上达到了模型隐私保护。
  • 树结构通信:Zhang等人于2018年提出了一个高效的树结构通信机制来获得全局和,这比简单的星型通信和环形通信更快。我们为了更快、更隐秘地从不同节点累加本地结果而采用这种机制。以4个节点为例,对节点进行配对,这样当节点1加上来自节点2的结果时,节点3可以加上来自节点4的结果。最后,来自这两对节点的结果被发送到聚合器,我们获得全局和,如图6-3a所示。如果上述过程的顺序相反,我们称其为逆序树结构通信。

图6-3 在两种完全不同的树结构T1和T2上进行的树结构通信