基于模型参数异步更新的个性化联邦学习方法

文档序号:31660869发布日期:2022-09-27 23:03阅读:来源:国知局

技术特征:
1.一种基于模型参数异步更新的个性化联邦学习方法,其特征在于:包括在服务器端根据各客户端数据大小对模型参数加权聚合,表示为:其中n
k
为第k个客户端的样本数据大小,n为训练样本的总数,为第k个客户端t+1时刻的模型参数;客户端使用梯度下降法对本地模型全部参数进行更新,公式如下;损失函数定义为:其中f
k
(w)为第k个客户端的损失函数。2.根据权利要求1所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:所述服务器全局模型为w
t
,客户端本地模型为w
k
。3.根据权利要求2所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:对于具有l层的网络模型,将服务器的模型参数w
t
扩展表示为{(w
t
)1,(w
t
)2,...,(w
t
)
l
}。4.根据权利要求3所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:客户端的模型参数逐层表示为{(w
k
)1,(w
k
)2,...,(w
k
)
l
}。5.根据权利要求4所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:还包括计算第l层服务器与客户端的余弦相似性,表示如下:其中,(w
t
)
l
为服务器第l层的模型参数,(w
k
)
l
表示客户端第l层的模型参数,如果p越接近1,则代表服务器端的l层与客户端的l层参数越相似。6.根据权利要求5所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:在有k个客户端,逐层逐个计算余弦相似性有以下公式:7.根据权利要求6所述的基于模型参数异步更新的个性化联邦学习方法,其特征在于:还包括求s
l
针对k个客户端的均值:判断:其中,对比变化值,如果l层针对l-1变化的绝对值远大于l-1针对l-2变化的绝对值;此时输出l,并根据l把t时刻模型w
t
划分为基础层和个性层

技术总结
本发明涉及一种联邦学习方法,尤其为一种基于模型参数异步更新的个性化联邦学习方法。首先,构造一个个性化联邦学习框架,该框架在客户端分为两部分,一部分更新全部模型参数,并于服务器进行交互。另一部分则固定基础层参数更新个性层,建立个性化模型;其次,在该框架下通过引入距离度量函数划分出共性特征的基础层与个性特征的个性层;最后,设计新的模型参数异步更新策略,客户端到服务器的传输过程,每轮训练都传输基础层参数,对个性层参数间隔t轮进行传输,实现基础层与个性层参数的异步传输。在公开数据集上进行仿真,并通过实验结果证明了该方法的有效性。验结果证明了该方法的有效性。验结果证明了该方法的有效性。


技术研发人员:吴兰 张亚可
受保护的技术使用者:河南工业大学
技术研发日:2022.01.17
技术公布日:2022/9/26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1