5.1　纵向联邦线性回归

在本节中，我们回顾一下Qiang Yang等人2019年在论文Federated Machine Learning: Concept and Applications中提出的纵向联邦线性回归算法。在该论文中，作者提出了一种基于半同态加密和存在可信第三方的纵向联邦线性回归算法。

总体来说，纵向联邦线性回归算法的损失函数和预测函数与普通的线性回归算法并无太大差异，它们的损失函数相同且均可采用梯度下降法进行训练。不同之处在于训练数据分布在不同的参与方，为了通过梯度下降法进行训练，梯度的计算需要由多方共同完成。因此，在纵向联邦线性回归中计算梯度时，每一个参与方通过利用自己拥有的那部分数据，计算出梯度的中间结果，在一个可信第三方的参与下完成梯度汇总并得到最终的梯度值，从而进行参数更新。为了防止梯度和原始数据泄露，对传输到其他参与方的所有数据进行了半同态加密，因此在其他参与方上进行的计算将全部在半同态加密下完成。

具体地，给定学习率η、正则化系数λ以及p个参与方，它们的数据集分别记为，每个参与方特征空间所对应的线性回归参数分别为W1，W2，···，Wp，总的参数集合W=W1∪W2∪···∪Wp，假设其中某一个参与方拥有标签，记为{yi}i∈D。记参与方j的本地预测函数为由该参与方数据和数据所对应的特征所得到的预测值f（j）（x），即f（j）（x）=，那么训练损失函数则可表示为：

训练参数关于损失函数的梯度为：

记，在计算di时，需要将每个参与方的通过同态加密传至有标签的参与方，因此需要对其他参与方的进行技术上的加密以防隐私泄露。记[[·]]为加法同态加密，。因此，在同态加密下，训练参数关于损失函数的梯度为：