基于双重信任机制的鲁棒联邦学习方法及系统

1.本发明涉及数据挖掘分类及安全人工智能技术领域，特别涉及一种基于双重信任机制的鲁棒联邦学习方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.随着数据集大小不断增长和数据隐私问题不断受到人们重视，联邦学习成为了一种越来越重要的分布式机器学习框架。在联邦学习中，服务提供者(例如，谷歌，苹果和微众银行等服务商)使用中心服务器联合参与的客户端(例如，手机，物联网设备和边缘设备等)在不共享他们私有数据的情况下协同训练一个全局模型方便各参与客户端使用。尽管这种分布式特性提供了扩展性，安全性和隐私性，但它也为训练过程中恶意客户端的(称为拜占庭客户端)恶意操作敞开了大门。这些客户端可能会主动地、恶意地尝试破坏训练过程，也可能只是因为出故障而发送了错误的信息。如何保证联邦学习训练阶段在这样一个存在潜在拜占庭客户端的情况下保持鲁棒性被称为拜占庭鲁棒联邦学习，这是当前联邦学习技术在现实分布式机器学习场景应用中亟需解决的难点。
4.目前，实现拜占庭鲁棒联邦学习的方法大致分为两种：基于统计的方法和基于辅助数据的方法。基于统计的方法受限于统计方法的客观限制，往往假设不同客户端之间的数据是独立同分布(i.i.d.)的并且要求系统中潜在的拜占庭客户端数目要少于所有客户端数目的50％，这些假设在现实世界的联邦学习中是不合适的。基于辅助数据的方法可以处理不同客户端之间数据是非独立同分布(non-i.i.d.)的问题，然而目前的基于辅助数据的方法仍然存在对辅助数据使用方式粗糙、对恶意客户端特征建模不足的问题，从而导致了这些方法仍然不能广泛地应用于多样的联邦学习场景并高效地识别出恶意的客户端，从而导致训练得到的联邦学习模型无法实现更准确的数据预测或者数据分类。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了一种基于双重信任机制的鲁棒联邦学习方法及系统，在中心服务器上利用辅助数据获得参考梯度并利用该参考梯度对接收到的客户端梯度进行归一化。然后，为每个梯度分配基于参考梯度的一致性信任分和基于不同客户端间行为差异的多样性信任分。最后，将一致性信任分和多样性信任分的调和平均数作为相应客户端梯度的聚合权重对梯度进行加权并更新全局模型。这样，系统可以有效地利用辅助数据信息并精准地识别出恶意客户端，实现了更拜占庭鲁棒联邦学习训练，保证了数据预测或者数据分类的准确性。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明第一方面提供了一种基于双重信任机制的鲁棒联邦学习方法。
8.一种基于双重信任机制的鲁棒联邦学习方法，应用于服务器；
9.包括以下过程：
10.接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
11.给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
12.在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
13.本发明第二方面提供了一种基于双重信任机制的鲁棒联邦学习系统。
14.一种基于双重信任机制的鲁棒联邦学习系统，应用于服务器；
15.包括：
16.信任分计算模块，被配置为：接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
17.联邦学习训练模块，被配置为：给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
18.全局模型应用模块，被配置为：在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
19.本发明第三方面提供了一种基于双重信任机制的鲁棒联邦学习系统。
20.一种基于双重信任机制的鲁棒联邦学习系统，包括服务器以及与服务器通信连接的多个客户端；
21.客户端被配置为：利用自己本地的数据对服务器发来的全局模型的模型参数计算梯度进行更新，将更新后的客户端模型梯度发送给服务器；
22.服务器，被配置为：接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
23.给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
24.在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
25.本发明第四方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于双重信任机制的鲁棒联邦学习方法中的步
骤。
26.本发明第五方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于双重信任机制的鲁棒联邦学习方法中的步骤。
27.与现有技术相比，本发明的有益效果是：
28.1、本发明在辅助数据上维护一个服务器模型，在每一轮联邦学习训练中，使用当前的全局模型在辅助数据上训练一个时期得到的模型梯度作为参考梯度来使用辅助数据的信息，首先使用参考梯度归一化每个客户端梯度，即令客户端梯度的模长跟参考梯度保持一致，该归一化操作确保每个客户端梯度在被分配信任分之前对全局模型的贡献是平等的；通过这种方式，减少了大模长恶意梯度的支配性并增大了小模长良性梯度的有效性。
29.2、本发明一方面利用客户端梯度与参考梯度的余弦相似度计算一致性信任分，余弦相似度越大，一致性信任分越大；另一方面利用客户端梯度行为之间的余弦相似度计算多样性信任分，余弦相似度越大，多样性信任分越小；最后，利用一致性信任分和多样性信任分的调和平均数作为聚合权重更新全局模型用于下一轮联邦学习训练；可以通过归一化客户端梯度限制恶意梯度的恶意性并增大良性梯度的有益性。
30.3、本发明提出的一致性信任分可以防止全局模型被误导向错误的更新方向并使促进全局模型往良性方向更新的梯度获得更多的信任；而提出的多样性信任分则可以防止全局模型被更新方向相同的恶意梯度所支配并增加对多样性大的客户端梯度的信任，从而可以更好地捕获异质环境中多样的梯度信息。
31.4、本发明使用调和平均数计算聚合权重可以使只有获得双重信任的客户端梯度才会被认为是良性的，任一信任分不足的梯度都被认为是可疑的，从而保证了对恶意客户端梯度的精准识别；因此，本发明能够在广泛的联邦学习环境中有效地防御各种无目标攻击。
32.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
33.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
34.图1为本发明实施例1提供的基于双重信任机制的鲁棒联邦学习方法的流程示意图。
具体实施方式
35.下面结合附图与实施例对本发明作进一步说明。
36.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，
38.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
39.实施例1：
40.如图1所示，本发明实施例1提供了一种基于双重信任机制的鲁棒联邦学习方法，应用于服务器；
41.包括以下过程：
42.接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
43.给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
44.在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
45.本实施例中，每个客户端利用自己本地的数据对服务器发来的全局模型的模型参数计算梯度进行更新，并将模型梯度发回给服务器。具体包括：每个客户端利用全局模型初始化本地模型；每个客户端利用本地数据训练全局模型获得相应的梯度；将更新后的模型梯度发送回服务器。
46.进一步地，服务器在接收到来自所有客户端的模型梯度后，先是利用辅助数据归一化所有客户端梯度的模长，然后利用辅助数据和客户端梯度的行为信息计算每个客户端梯度的一致性信任分和多样性信任分，并为恶意客户端梯度分配足够低的信任分，具体包括：
47.服务器在辅助数据上维护一个服务器模型，就跟客户端维护本地模型一样，在每一轮联邦学习训练中，使用当前的全局模型在辅助数据上训练一个时期得到的模型梯度作为参考梯度；
48.使用参考梯度归一化每个客户端梯度，保证每个客户端梯度拥有跟参考梯度相同的模长；
49.计算客户端梯度与参考梯度之间的余弦相似度，并归一化后作为一致性信任分；
50.计算客户端梯度与其方向最靠近的梯度的余弦相似度，并归一化后作为多样性信任分。
51.本发明将恶意客户端识别放到服务器进行，不会给客户端带了额外的计算负担；通过归一化客户端梯度限制恶意梯度的恶意性并增大良性梯度的有益性。此外，一致性信任分可以防止全局模型被误导向错误的更新方向并使促进全局模型往良性方向更新的梯度获得更多的信任；多样性信任分则可以防止全局模型被更新方向相同的恶意梯度所支配并增加对多样性大的客户端梯度的信任，从而可以更好的捕获异质环境中多样的梯度信息。
52.示例性地，服务器在接收到来自所有客户端的模型梯度后，先是利用辅助数据归
一化所有客户端梯度的模长，然后利用辅助数据和客户端梯度的行为信息计算每个客户端梯度的一致性信任分和多样性信任分，并为恶意客户端梯度分配足够低的信任分；具体包括：
53.s1021，服务器利用当前第t轮的全局模型w
t
初始化服务器模型ws并在辅助数据上训练一个时期得到参考梯度其中β表示模型更新的本地学习率，loss(
·
；
·
)表示模型更新的损失函数。该参考梯度将用于后续的归一化操作和一致性信任分的计算。
54.s1022，攻击者能够增大恶意梯度模长来控制聚合梯度的大小和方向，因此，将客户端梯度模长归一化至与参考梯度模长一致是很有必要的，因为参考梯度是从良性数据中计算得来的，所以其模长可以被看作是正常的。
55.本发明定义梯度模长归一化操作如下：
[0056][0057]
其中，gi是当前轮次迭代中第i个客户端的梯度，是归一化后的梯度，gr是参考梯度以及||
·
||f是弗罗贝尼乌斯范数。该归一化操作确保每一个客户端梯度在被分配信任分之前对全局模型的贡献是平等的。本发明通过这种方式减少了大模长恶意梯度的支配性并增大了小模长良性梯度的有效性。
[0058]
s1023，攻击者可以操作恶意梯度的方向，以使聚合的全局梯度被误导向攻击者希望的任意方向。如果没有任何参考，对于服务器来说决定哪个方向对于更新全局模型更有意义是不现实的，尤其是在非独立同分布情况下，这种情况下，即使是诚实的客户端梯度也可能行为各异。
[0059]
为了解决这个问题，本发明使用客户端梯度和参考梯度间的余弦相似度来评估一致性信任分，定义如下：
[0060][0061]
其中，ctsi是第i个客户端梯度的一致性信任分，并且的一致性信任分，并且然后，本发明归一化ctsi如下：
[0062][0063]
其中，cts
max
和cts
min
分别是所有客户端梯度的一致性信任分的最大和最小值。归一化之后，只有离参考梯度最远的梯度才会被剔除并且服务器将给靠近参考方向的梯度分配更高的信任分。
[0064]
s1024，攻击者为了增加成功率，可能会使恶意梯度的行为表现得比诚实梯度更相似。例如，攻击者可以通过使恶意梯度都指向同一方向并增加它们的数量来控制聚合方向。
[0065]
为了解决这个问题，本发明首先使用余弦相似度来评估客户端梯度的多样性，定义如下：
[0066][0067]
其中，n是本轮参与聚合的客户端总数目，是客户端梯度和的余弦相似度，表示客户端梯度的多样性，由与其方向最相近的梯度的余弦相似度衡量，该值越大，则表示梯度的多样性越小。此外，考虑到如果一个梯度的多样性过大，例如与其方向最相近的梯度的余弦相似度小于0，则该梯度也是可疑的，为此，本发明评估客户端梯度的多样性信任分如下：
[0068][0069]
其中，dtsi是第i个客户端梯度的多样性分数，然后，跟对ctsi进行的后处理操作一样，本发明也对dtsi进行归一化操作，定义如下：
[0070][0071]
其中，dts
max
和dts
min
分别是n个客户端梯度的多样性分数的最大值和最小值。归一化之后，那些表现相似的客户端梯度将被惩罚的更重。
[0072]
应理解地，本发明在进行恶意客户端梯度识别时，是在服务器端进行的，并且每一轮聚合梯度前都会进行，本发明保证了恶意的客户端梯度将会被分配到足够低的信任分，因此参与全局梯度聚合时相应的聚合权重也将会很低，从而对全局模型的更新产生的影响将可以忽略。
[0073]
本实施例中，给每个客户端梯度分配一致性信任分和多样性信任分后，服务器计算这两个信任分的调和平均数作为相应的聚合权重并对所有客户端梯度进行聚合得到全局梯度以更新全局模型，最后服务器将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练，具体包括：
[0074]
服务器计算一致性分数和多样性分数的调和平均数作为聚合权重；
[0075]
服务器利用所有客户端梯度的聚合权重聚合得到全局梯度更新全局模型并将其发送回每个客户端进行下一轮的联邦学习训练。
[0076]
示例性地，给每个客户端梯度分配一致性信任分和多样性信任分后，服务器计算这两个信任分的调和平均数作为相应的聚合权重并对所有客户端梯度进行聚合得到全局梯度以更新全局模型，最后服务器将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练，具体包括：
[0077]
s1031，如果一个客户端梯度的两个信任分中至少存在一个比较低的信任分，那么就应该认为该客户端梯度是可疑的，应该分配低的聚合权重。因为调和平均数相较于算术平均数更偏向于低的信任分，因此，为了解决该问题，本发明采用调和平均数聚合一致性信任分和多样性信任分，作为客户端梯度的聚合权重，定义如下：
[0078]
[0079]
其中，wi是客户端梯度的聚合权重，该值越小，梯度对全局模型更新的贡献越小。
[0080]
s1032，在获得每个客户端梯度的聚合权重wi之后，本发明计算归一化的客户端梯度的加权平均值作为全局梯度，定义如下：
[0081][0082]
然后，本发明更新第t+1轮的全局模型如下：
[0083]wt+1
＝w
t-α
·g[0084]
其中，α是全局学习率。
[0085]
本发明使用调和平均数计算聚合权重可以使只有获得双重信任的客户端梯度才会被认为是良性的，任一信任分不足的梯度都将被认为是可疑的，从而被分配足够低的聚合权重。因此，本发明能够保证恶意梯度对全局模型的影响可疑忽略
[0086]
应理解地，全局梯度聚合是在一轮联邦学习训练中完成的，更新后的新的全局模型将发送给客户端进行下一轮联邦学习训练。
[0087]
本实施例中，在联邦学习过程结束后，服务器将最终的全局模型发送给客户端，客户端用最终的全局模型执行本地的预测任务。具体包括：
[0088]
在进行多个通信轮次后，即联邦学习过程结束后，本发明将服务器端最终聚合的全局模型发送给客户端，客户端利用该全局模型完成本地的预测任务，例如基于图像的肿瘤识别任务、电力系统的故障预测任务，或者对待分类图像的分类处理。
[0089]
综上所述，本发明首先在服务器端以与客户端一致的方式在辅助数据上维护一个服务器模型，在每一轮联邦学习训练中，使用当前的全局模型在辅助数据上训练一个时期得到参考梯度。然后使用参考梯度归一化接收到的每个客户端梯度的模长，使其与参考梯度保持一致。然后本发明一方面利用客户端梯度与参考梯度的余弦相似度计算一致性信任分；另一方面利用客户端梯度行为之间的余弦相似度计算多样性信任分。最后，利用一致性信任分和多样性信任分的调和平均数作为聚合权重并聚合得到全局梯度以更新全局模型用于下一轮联邦学习训练。
[0090]
本发明通过归一化客户端梯度限制恶意梯度的恶意性并增大良性梯度的有益性。此外，本发明提出的一致性信任分可以防止全局模型被误导向错误的更新方向并使促进全局模型往良性方向更新的梯度获得更多的信任；而提出的多样性信任分则可以防止全局模型被更新方向相同的恶意梯度所支配并增加对多样性大的客户端梯度的信任，从而可以更好地捕获异质环境中多样的梯度信息。此外，本发明使用调和平均数计算聚合权重可以使只有获得双重信任的客户端梯度才会被认为是良性的，任一信任分不足的梯度都被认为是可疑的，从而保证了对恶意客户端梯度的精准识别。因此，本发明能够在广泛的联邦学习环境中有效地防御各种无目标攻击。
[0091]
实施例2：
[0092]
本发明实施例2提供了一种基于双重信任机制的鲁棒联邦学习系统，应用于服务器；包括：
[0093]
信任分计算模块，被配置为：接收到来自所有客户端更新的客户端模型梯度，利用
辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
[0094]
联邦学习训练模块，被配置为：给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
[0095]
全局模型应用模块，被配置为：在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
[0096]
所述系统的工作方法与实施例1提供的基于双重信任机制的鲁棒联邦学习方法相同，这里不再赘述。
[0097]
实施例3：
[0098]
本发明实施例3提供了一种基于双重信任机制的鲁棒联邦学习系统，包括服务器以及与服务器通信连接的多个客户端；
[0099]
客户端被配置为：利用自己本地的数据对服务器发来的全局模型的模型参数计算梯度进行更新，将更新后的客户端模型梯度发送给服务器；
[0100]
服务器，被配置为：接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；
[0101]
给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；
[0102]
在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。
[0103]
详细工作方法与实施例1提供的基于双重信任机制的鲁棒联邦学习方法相同，这里不再赘述。
[0104]
实施例4：
[0105]
本发明实施例4提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于双重信任机制的鲁棒联邦学习方法中的步骤。
[0106]
实施例5：
[0107]
本发明实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于双重信任机制的鲁棒联邦学习方法中的步骤。
[0108]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0109]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0113]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。