联邦学习:算法详解与系统实现
上QQ阅读APP看书,第一时间看更新

6.2.4 双随机梯度

根据表示定理、函数f=∑iαik(xi,·)∈和再生核的性质,f(x)的导数为:

的导数为:

因此,关于随机特征ω的随机梯度(即公式(6.10))可以重写为:

给定一个随机采样的样本点(xi,yi)和随机特征ωi,损失函数l(f(xi),yi)在RKHS上的双随机梯度,即关于随机样本(xi,yi)和随机特征ωi可以重写为:

因为的随机梯度可以写为:

我们有。根据公式(6.14),我们可以通过步长ηt来更新解。令f1(·)=0,则有:

根据公式(6.15),函数f(·)可以看作的加权和,其中权重是(i=1,···,t),与6.1节提到的核方法形式相同,预测函数f(x)不满足隐式线性可分的假设。同时,f(x)又可写成6.2.2节中提到的高维线性可分形式。

讨论 DSG可以扩展到纵向划分数据的关键是随机特征的计算是线性可分的。因此,我们先在单个节点上计算自己部分的纵向划分数据的随机特征,然后在需要用整体的核函数来计算全局函数梯度时,通过累加单个节点的随机特征来重建整体随机特征,从而近似得到整体的核函数。