一种基于区块链和联邦学习的公平人脸属性分类方法

本发明属于计算机视觉，特别是涉及一种基于区块链和联邦学习的公平人脸属性分类方法。

背景技术：

1、人脸是一种重要的生物特征，其构造复杂、丰富多变，能够提供具体且多样化的个体或群体信息，因而成为表达人类身份特征的典型依据。人脸属性分类能够预测出给定人脸图片的属性信息，比如性别，对于人脸识别、人脸验证等计算机视觉领域至关重要，目前已受到广泛研究，并被应用于众多实际场景中。

2、近几年发生的相关事件和科学研究表明，人脸属性分类系统可能会对拥有某些属性的群体或个体产生偏见。buolamwini等人指出，常用的人脸识别api在pilotparliaments benchmark（ppb）测试数据集存在严重的偏见问题，例如，针对性别（男性/女性）的判定最高有20.6%的差别。

3、为了解决上述分类差异性问题，有关学者提出了针对集中式机器学习的解决方案，例如平衡数据集、元平衡网络、特征蒸馏等。这些方案虽然取得了一定的效果，但是无法直接应用于以城市监控系统为代表的分布式系统中，原因主要有两方面：第一，城市监控系统通过大量的监控设备对多类型、大规模的人脸数据进行训练，这些监控设备通常是分散的，难以对其算力进行合并。第二，对富含用户敏感隐私信息的人脸图像进行统一收集及集中式管理违背了用户日益增强的隐私保护意愿，甚至违反gdpr等法规对数据业务合规性的要求。因此学者们提出了针对联邦学习（federated learning，fl）的公平性增强方案，旨在实现隐私保护的前提下，高效地完成模型训练，提高属性公平。

4、需要关注的是，应用于城市监控系统的fl很容易受到来自恶意客户端的攻击，并且由于fl的训练过程无法追溯，难以实现对恶意客户端的锁定及追责。bcfl（blockchain-based federated learning）结合了区块链，在应对上述问题方面具有明显优势，然而bcfl同样具有fl中普遍存在的异构性，且系统构造更为复杂，所以同样存在偏见和歧视问题。此外，除以降低全局模型准确性为目标的攻击外，bcfl也会受到用于放大模型偏见的新型攻击。而对bcfl的公平性问题，尤其是人脸属性公平尚存在研究空白。因此，亟需提出一种基于区块链和联邦学习的公平人脸属性分类方法。

技术实现思路

1、本发明的目的是提供一种基于区块链和联邦学习的公平人脸属性分类方法，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于区块链和联邦学习的公平人脸属性分类方法，包括以下步骤：

3、确定联邦学习任务触发区块链交易合约时，由所述区块链交易合约向所有在线的客户端传递所述联邦学习任务，所述联邦学习任务至少包括初始模型；

4、基于公平约束函数，通过所述客户端对所述初始模型进行训练，获得局部模型，并将局部模型参数发送给区块链节点；

5、通过所述区块链节点验证所述局部模型参数的公平性，生成客户端信誉，将验证成功的局部模型参数进行加密，和所述客户端信誉打包生成新区块并进行验证；

6、由中央服务器收集验证成功的局部模型参数进行聚合处理，并基于公平性调整所述验证成功的局部模型参数的权重进而获得全局模型；

7、基于所述全局模型进行人脸属性识别分类。

8、可选地，所述公平约束函数如下式所示：

9、

10、其中，为真实标签，是对的预测值， q为训练样本总量，表示整体数据真实值与预测值之间的二分类交叉熵损失，[y]为真实标签取值集合，为敏感属性，代表真实标签为1的概率，表示样本敏感属性的平均值，表示当预测值为时的预测概率。

11、可选地，基于区块链节点验证所述局部模型参数的公平性的过程包括：所述区块链节点在收到局部模型参数之后，获取所述局部模型的局部属性公平和平均属性公平之间的匹配度；预设局部模型公平性阈值范围，当所述匹配度在所述阈值范围中，则所述局部模型参数的公平性验证成功。

12、可选地，生成客户端信誉的过程包括：区块链节点为客户端生成公平性验证评分，之后与区块链节点的签名有效性评分一起组成客户端信誉，并为所述客户端信誉分配权重。

13、可选地，其他区块链节点验证新区块的过程包括：其他区块链节点基于预设规则检验新区块的签名、局部模型参数的数量以及局部模型参数的验证情况的合理性，如果合理，投票给生成该新区块的区块链节点，拥有票数最多的区块链节点获得记账权，剩余的区块链节点将对应的新区块存储在自己的分布式账本中。

14、可选地，获得全局模型的过程包括：基于中央服务器获取每个局部模型的准确性、平均准确性、属性公平以及平均属性公平，通过计算获得所述准确性与平均准确性的第一比较结果，所述属性公平以及平均属性公平的第二比较结果；基于所述第一比较结果和第二比较结果确定每个局部模型的权重；基于每个局部模型的权重对局部模型进行聚合，获得当前的局部模型聚合；基于超参数控制当前的局部模型聚合和上一次全局模型的比重，更新全局模型，直至训练结束，获得最新的全局模型。

15、可选地，获得最新的全局模型之后的过程包括：基于当前训练轮次的客户端信誉与最大客户端信誉之间的差值，获得所述最新的全局模型的压缩比例，基于所述最新的全局模型以及对应的压缩比例，为客户端分配模型奖励。

16、可选地，获得最新的全局模型之后的过程还包括：由区块链交易合约将所述最新的全局模型返回给模型需求者，并基于客户端信誉的历史值为客户端发送货币奖励。

17、本发明的技术效果为：

18、本发明在客户端本地训练过程中添加公平约束函数、在局部模型验证环节增加对属性公平的评估、在全局模型聚合过程中增添基于公平性的权重调整等多个环节中增加对属性公平性的关注，实现了全局模型属性公平的增强，同时维持理想的准确率。

19、本发明利用区块链节点在模型验证环节中计算客户端信誉，并以此为根据拒绝将公平性差的局部模型参数纳入聚合环节，中央服务器也可以依照信誉为客户端分配相应压缩比例的全局模型，可以有效阻止恶意客户端的公平性攻击，以增强系统的可靠性。

技术特征：

1.一种基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

3.根据权利要求1所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

4.根据权利要求1所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

5.根据权利要求1所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

6.根据权利要求1所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

7.根据权利要求6所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

8.根据权利要求7所述的基于区块链和联邦学习的公平人脸属性分类方法，其特征在于，

技术总结
本发明公开了一种基于区块链和联邦学习的公平人脸属性分类方法，属于计算机视觉技术领域，包括：模型需求者发布联邦学习任务，区块链交易合约向客户端传递联邦学习任务；客户端接收到联邦学习任务后，对局部模型进行训练，并将局部模型参数加密发送给区块链节点；区块链节点验证局部模型参数的公平性，生成客户端信誉，并将验证成功的局部模型参数进行加密，和客户端信誉打包生成新区块；区块链交易合约将新区块广播给其他区块链节点进行验证，中央服务器收集验证成功的局部模型参数并进行聚合，获得全局模型；模型需求者基于全局模型进行人脸属性识别分类。本发明实现了全局模型属性公平的增强，同时维持了人脸属性分类理想的准确率。

技术研发人员：古天龙,王梦圆,李龙,郝峰锐
受保护的技术使用者：暨南大学
技术研发日：
技术公布日：2024/1/14