基于联邦学习的虹膜图像特征提取方法、系统和装置

1.本发明属于图像识别，具体涉及了一种基于联邦学习的虹膜图像特征提取方法、系统和装置。


背景技术：

2.虹膜作为一种准确性高且安全性好的生物特征，正在广泛的应用于各种身份识别和安全控制场景，随着各国对于生物特征这种关乎生命财产安全的高度隐私数据的保护法规愈发严格后，构建大规模虹膜数据中心进行堆叠训练的方式趋于不可行，因此建立基于隐私保护和多方合作的联邦虹膜识别模型训练和特征学习框架势在必行。联邦学习可以联合多方数据进行训练，对于安全性和隐私性要求较高的场合更加适用。另一方面，联邦虹膜识别模型训练和特征学习框架可以联合多个虹膜数据库和各种虹膜识别神经网络协同学习，充分平衡各方识别性能和泛化能力，凸显各个模型和数据分布所具有的个异性。同时，通过第三方计算平台对同态加密后的多方特征进行交互学习，在严格保密条件下充分提升各方模型抽取特征在特征空间的可区分性，从而获得更高的虹膜识别准确性。
3.现有技术中，通过收集多个虹膜数据集，不考虑数据安全和隐私保护的前提下，建立单一数据中心，将全部数据直接堆叠混合在一起，送入深度神经网络等模型进行特征学习的训练方式。
4.基于深度学习框架的虹膜识别模型通常需要海量的虹膜样本进行学习，但是构建大规模虹膜数据中心存在安全性隐患和隐私保护的限制，因为作为高度隐私的生物特征原始数据一旦泄露将是不可逆的，但是缺乏大量训练数据的虹膜识别模型在实际应用中的泛化能力和边际效果将大幅下降，因此建立联合多方的数据去中心化的虹膜识别模型训练和特征学习的框架尤为重要。另外目前的大多数虹膜数据集之间由于采集规则，采集设备、采集环境、数据规模、图片质量等方面存在着明显的差异，不同的虹膜数据库分布显著不同，单纯的依赖于堆叠无限制的虹膜数据并不能持续提升模型的识别性能，甚至会起到反作用。目前，缺乏一种兼顾隐私保护和多方合作的虹膜识别模型训练和特征学习框架，以充分挖掘出多方数据的潜能和深层价值，使得各个合作方的识别模型都能受益于他方数据集的空间分布和模型特征表达能力，从而进一步提升自身的识别能力和泛化能力。


技术实现要素：

5.为了解决现有技术中的上述问题，即如何在保护隐私的基础上，使虹膜特征提取网络学习多个其他平台的虹膜特征数据，同时还保留各合作方的个异性，提高虹膜识别的准确性提高模型的识别性能，本发明提供了一种基于联邦学习的虹膜图像特征提取方法方法，所述方法包括：
6.步骤s100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜
分割和归一化；
7.步骤s200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
8.步骤s300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
9.步骤s400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
10.步骤s500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
11.进一步地，步骤s200包括：
12.步骤s210，设有n个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：
13.其中，n表示虹膜有效区域图像，本地虹膜有效区域图像集的个数为p，m1表示本地虹膜数据集d
a
中的样本数目，m2表示本地虹膜数据集d
b
中的样本数目，mp表示本地虹膜数据集d
p
中的样本数目；
14.每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
15.对应的本地平台的虹膜特征提取网络为ef
a
，ef
b
，......，ef
p
；表示本地虹膜数据集d
a
中的第1个样本的类别标签；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
16.其中，i、j和k为样本标号，表示虹膜图像的本地虹膜特征；
17.步骤s220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成k组特征三元组：
18.其中，表示本地虹膜特征f
a
中的特征集中的锚点特征，表示本地虹膜特征f
a
中与锚点同类别的正样本特征，表示本地虹膜特征f
a
中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；
19.每个本地特征三元组满足：每个本地特征三元组满足：s.t.a，b，c∈1，2，......，m1
20.步骤s230，基于每个所述特征三元组计算本地三元损失l
tri
：
21.其中，(ta，tp，tn)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。
22.进一步地，步骤s300包括：
23.通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：h(
·
)＝[[
·
]]
[0024]
其中，ω和表示加密对象，h(
·
)表示同态加密函数；
[0025]
所述加密本地特征三元组为：
[0026]
通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失l
tri
：：：
[0027]
进一步地，步骤s400包括：
[0028]
步骤s410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
[0029]
其中，l
aa
表示特征集f
a
对特征集f
a
的三元损失，通过；
[0030]
步骤s420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
[0031]
步骤s430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[l
wft
]]：[[l
wft
]]＝∑
i∈{a，b，......，p}
∑
j∈{a，b，......，p}
[[w
ij
]]*[[l
ij
]]＝[[w
aa
]][[l
aa
]]+[[w
ab
]][[l
ab
]]+
…
+[[w
ap
]][[l
ap
]]+[[w
ba
]][[l
ba
]]+[[w
bb
]][[l
bb
]]+
…
+[[w
bp
]][[l
bp
]]+
…
+[[w
pa
]][[l
pa
]]+[[w
pb
]][[l
pb
]]+
…
+[[w
pp
]][[l
pp
]]。
[0032]
进一步地，所述步骤s410包括：
[0033]
步骤s411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地
平台基于所述本地三元损失，获取三元组对损失：平台基于所述本地三元损失，获取三元组对损失：
[0034]
其中，l
aa
表示特征集f
a
对特征集f
a
的三元损失，由特征集f
a
的锚点样本特征正样本特征和特征集f
a
的负样本特征计算得到；l
ab
表示特征集f
a
对特征集f
b
的三元损失，由特征集f
a
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
ap
表示特征集f
a
对特征集f
p
的三元损失，由特征集f
a
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；l
ba
表示特征集f
b
对特征集f
a
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
a
的负样本特征计算得到；l
bb
表示特征集f
b
对特征集f
b
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
bp
表示特征集f
b
对特征集f
p
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；l
pa
表示特征集f
p
对特征集f
a
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
a
的负样本特征计算得到；l
pb
表示特征集f
p
对特征集f
b
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
pp
表示特征集f
p
对特征集f
p
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；
[0035]
步骤s412，汇集所述三元组对损失，生成全局三元损失矩阵。
[0036]
进一步地，步骤s420包括：
[0037]
步骤s421，基于所述加密的特征三元组，在特征空间中通过类平均的计算获取不同虹膜类别的类别中心：
[0038]
其中，c
a
、c
b
和c
p
表示各本地虹膜数据集在特征空间中所有类别的特征中心，中心个数分别是n1、n2、
……
和np，r表示求和函数的变量，表示人脸类别为l；
[0039]
步骤s422，基于所述类别特征中心进行同态加密，生成加密类别特征中心：
[0040]
其中，h表示进行同态加密，表示l2范数,q和s表示求和函数的变量；
[0041]
步骤s423，将所述加密类别特征中心传输至第三方联邦计算平台，第三方联邦计算平台计算距离函数d
qs
：
[0042]
步骤s424，第三方联邦计算服务器基于所述距离函数d
ij
，计算分布差异，并组成特征分布差异矩阵；
[0043]
所述特征分布差异为：
[0044]
其中，emd(a，b)为本地虹膜特征集a和本地虹膜特征集b的类别中心分布差异，d
ij
表示本地虹膜特征集a第i个类别中心到本地虹膜特征集b第j个类别中心的距离，最小化流量flow
ij
表示本地虹膜特征集a迁移到b所需要的最小距离；
[0045]
步骤s425，基于所述特征分布差异矩阵，增加平衡系数，获取瓦瑟斯坦权重矩阵w：
[0046]
其中，和为平衡系数，w
aa
、w
bb
、
……
、w
pp
定义为1，表示数据集对自身的关系，之后将所有非对角线元素进行纵向数据的归一化。
[0047]
进一步地，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，通过梯度反传的方法更新各本地平台的虹膜图像特征提取网络的参数直至损失函数收敛。
[0048]
本发明的另一方面，提出了一种基于联邦学习的虹膜图像特征学习系统，所述系统包括本地数据预处理模块、本地特征提取模块、同态加密模块、信息汇总模块、联邦计算模块、联邦损失传输模块和本地网络更新模块；
[0049]
所述本地数据预处理模块，用于各本地平台的虹膜图像特征提取网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集；基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
[0050]
所述本地特征提取模块，用于基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组；基于所述本地虹膜特征生成本地三元损失；
[0051]
所述同态加密模块，用于对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；并将本地三元损失传输至第三方联邦计算平台；
[0052]
加密所述联邦计算模块，用于所述第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；并将所述瓦瑟斯坦联邦三元损失函数传输至各本地平台；
[0053]
所述本地网络更新模块，用于各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络。
[0054]
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
[0055]
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
[0056]
本发明的有益效果：
[0057]
(1)本发明基于联邦学习的虹膜图像特征提取方法，通过同态加密的方式交互各本地平台的私有的虹膜图像数据集，并通过独立的第三方联邦计算平台计算密文交互信息，使得各本地平台的特征提取网络能够在模型隐私安全和本地数据隐私安全的情况下学习其他平台的虹膜数据，获得更好的特征提取性能获得更好的泛化能力，提取到的特征有更好的可区分性。
[0058]
(2)本发明基于联邦学习的虹膜图像特征提取方法，通过第三方联邦计算平台来汇集各个本地平台对之间的三元损失，并计算出瓦瑟斯坦联邦三元损失，通过瓦瑟斯坦联邦三元损失来训练各本地平台的特征提取网络，仅学习其他合作方特征空间的分布，因此各方提升了性能的同时，又充分保护了各方模型的个异性。
[0059]
(3)本发明基于联邦学习的虹膜图像特征提取方法，通过联邦学习的方法，使各方的虹膜图像特征提取网络相互学习多方数据，利用不同来源的虹膜特征在特征空间中的分布特性和规律，辅助自身模型训练，使得抽取出的特征具备更好的可区分性，从而提高提取出的特征的表达能力和识别准确性。
[0060]
(4)本发明的联邦学习，采用特征联合的方式替代常用的gradient联合的方式，将联邦学习运用到生物识别领域，提高了对生物特征识别的准确性。
[0061]
(5)本发明将联邦学习运用到生物领域中，不同的特征提取模型提取的生物特征具备很大的差异性，单纯依赖于堆叠无限制的虹膜数据并不能提高模型的识别性能，甚至起到反作用，本发明通过设置瓦瑟斯坦权重平衡不同模型由于数据规模、图像质量和采集条件的差异，使得每个特征提取模型都会受益于其他平台的训练数据。
附图说明
[0062]
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0063]
图1是本发明基于联邦学习的虹膜图像特征提取方法实施例的流程示意图；
[0064]
图2是本发明实施例中将各本地平台的特征传输至联邦计算平台，联邦计算平台再将信息分发至各本地平台的原理示意图；
[0065]
图3是本发明实施例中信息传递和处理的原理示意图。
具体实施方式
[0066]
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0067]
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相
互组合。下面将参考附图并结合实施例来详细说明本申请。
[0068]
本发明的一种基于联邦学习的虹膜图像特征提取方法，所述方法包括：
[0069]
步骤s100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
[0070]
步骤s200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
[0071]
步骤s300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
[0072]
步骤s400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
[0073]
步骤s500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
[0074]
各合作方在合作过程中接收的第三方传来的都是信息熵大幅下降的标量损失，几乎无法通过生成方法恢复出足以原始或相似数据
[0075]
本发明针对目前虹膜实际训练中数据安全保护不足，各方数据共享困难，联合学习能力匮乏等问题，建立隐私保护和多方合作的虹膜识别模型联合训练和特征学习框架，基于不同数据集面对相同识别任务时，在特征空间中趋于相近分布的基本原理，即特征空间中同类别样本分布接近，不同类别样本远离，提出了基于沃瑟斯坦特征分布差异加权的联邦三元损失，通过独立第三方交互同态加密后的各方虹膜特征，这些虹膜特征不仅来自于不同的虹膜特征抽取模型，且被抽取的样本来自于多方私有的不同的原始生物个体。这些不同的生物个体包含着不同人种，性别，年龄的差异，在联邦虹膜识别训练和特征学习过程中，各方模型可以广泛地学习不同来源的虹膜特征分布，从而获取更好的泛化性；在另一方面，整个训练过程中原始数据从未离开己方，模型参数各方保密，唯一传递的加密特征对于第三方而言无法解密获取有效信息，回传给各方的信息是计算好的标量损失，信息熵大幅减少，各合作方无法通过生成的方法恢复出足以导致泄露的原始或相似数据，从而联邦虹膜训练框架充分保障了数据安全，模型安全和特征安全。由于仅学习其他合作方特征空间的分布，因此各方提升了性能的同时，又充分保护了各方模型的个异性。综上所述，本发明提出的隐私保护和多方合作下的虹膜联合训练和特征学习方法，在充分保证原始数据安全，各自模型安全的基础上能够提升各方特征提取模型的识别准确性，泛化性和个异性
[0076]
为了更清晰地对本发明基于联邦学习的虹膜图像特征提取方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
[0077]
本发明一种实施例的基于联邦学习的虹膜图像特征提取方法，包括步骤s100
‑
步骤s500，各步骤详细描述如下：
[0078]
步骤s100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜
分割和归一化；
[0079]
步骤s200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
[0080]
本实施例的虹膜图像特征提取网络可以从归一化的虹膜图像中抽取虹膜特征，将其映射到所在的特征空间中，由于本发明提出的联邦虹膜训练框架需要在特征空间进行交互学习，因此所有合作方的虹膜数据被统一映射到相同的特征空间，所有抽取的虹膜特征为相同的维度。
[0081]
在本实施例中，步骤s200包括：
[0082]
步骤s210，设有p个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：集为：
[0083]
其中，n表示虹膜有效区域图像，m1表示本地虹膜数据集d
a
中的样本数目，m2表示本地虹膜数据集d
b
中的样本数目，mp表示本地虹膜数据集d
p
中的样本数目；
[0084]
每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
[0085]
对应的本地平台的虹膜特征提取网络为ef
a
，ef
b
，......，ef
p
；表示本地虹膜数据集d
a
中的第1个样本的类别标签；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
[0086]
其中，i、j和k为样本标号，表示虹膜图像的本地虹膜特征；
[0087]
步骤s220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成k组特征三元组：
[0088]
其中，表示本地虹膜特征f
a
中的特征集中的锚点特征，表示本地虹膜特征f
a
中与锚点同类别的正样本特征，表示本地虹膜特征f
a
中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；
[0089]
在每个特征集中分别随机选取k个三元组对，为了保证模型训练的准确性，三元组对数目k远远大于样本规模最大值。足够多的三元组对选取才能涵盖足够多的特征对组合，得以充分学习，使得特征空间的同类特征得以靠近而不同类特征得以拉远。理论上这里所有不同的三元组对选择方法都适用，在此仅用随机选取组合用于说明方法，但提出的联邦虹膜训练框架包含但不仅限于随机组合的三元组选取方式。
[0090]
每个本地特征三元组满足：每个本地特征三元组满足：s.t.a，b，c∈1，2，......，m1
[0091]
步骤s230，基于每个所述特征三元组计算本地三元损失l
tri
：
[0092]
其中，(ta，tp，tn)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。
[0093]
步骤s300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
[0094]
在本实施例中，步骤s300包括：
[0095]
通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：
h(
·
)＝[[
·
]]]]
[0096]
其中，ω和表示加密对象，h(
·
)表示同态加密函数；
[0097]
所述加密本地特征三元组为：
[0098]
通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失l
tri
：：：
[0099]
步骤s400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
[0100]
为了平衡由于不同虹膜数据集之间由于数据规模、图像质量、采集条件等差异过大可能导致识别性能下降泛化性能变差等负面影响，引入瓦瑟斯坦距离wasserstein distance用于衡量不同分布之间的分布差异。
[0101]
wasserstein distance计算公式可以表示为：
[0102]
在本实施例中，步骤s400包括步骤s410
‑
步骤s430；
[0103]
步骤s410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
[0104]
其中，l
aa
表示特征集f
a
对特征集f
a
的三元损失，通过；
[0105]
在本实施例中，步骤s410包括步骤s411
‑
步骤s412：
[0106]
步骤s411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地平台基于所述本地三元损失，获取三元组对损失：
[0107]
其中，l
aa
表示特征集f
a
对特征集f
a
的三元损失，由特征集f
a
的锚点样本特征
正样本特征和特征集f
a
的负样本特征计算得到；l
ab
表示特征集f
a
对特征集f
b
的三元损失，由特征集f
a
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
ap
表示特征集f
a
对特征集f
p
的三元损失，由特征集f
a
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；l
ba
表示特征集f
b
对特征集f
a
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
a
的负样本特征计算得到；l
bb
表示特征集f
b
对特征集f
b
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
bp
表示特征集f
b
对特征集f
p
的三元损失，由特征集f
b
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；l
pa
表示特征集f
p
对特征集f
a
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
a
的负样本特征计算得到；l
pb
表示特征集f
p
对特征集f
b
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
b
的负样本特征计算得到；l
pp
表示特征集f
p
对特征集f
p
的三元损失，由特征集f
p
的锚点样本特征正样本特征和和特征集f
p
的负样本特征计算得到；
[0108]
步骤s412，汇集所述三元组对损失，生成全局三元损失矩阵。
[0109]
步骤s420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
[0110]
在本实施例中，步骤s420包括步骤s421
‑
步骤s425；
[0111]
步骤s421，基于所述加密的特征三元组，在特征空间中通过类平均的计算获取不同虹膜类别的类别中心：
[0112]
其中，c
a
、c
b
和c
p
表示各本地虹膜数据集在特征空间中所有类别的特征中心，中心个数分别是n1、n2、
……
和np，r表示求和函数的变量，表示人脸类别为l；
[0113]
步骤s422，基于所述类别特征中心进行同态加密，生成加密类别特征中心：
[0114]
其中，h表示进行同态加密，表示l2范数,q和s表示求和函数的变量；
[0115]
步骤s423，将所述加密类别特征中心传输至第三方联邦计算平台，第三方联邦计算平台计算距离函数d
qs
：
[0116]
步骤s424，第三方联邦计算服务器基于所述距离函数d
ij
，计算分布差异，并组成特征分布差异矩阵；
[0117]
所述特征分布差异为：
[0118]
其中，emd(a，b)为本地虹膜特征集a和本地虹膜特征集b的类别中心分布差异，d
ij
表示本地虹膜特征集a第i个类别中心到本地虹膜特征集b第j个类别中心的距离，最小化流量flow
ij
表示本地虹膜特征集a迁移到b所需要的最小距离；
[0119]
步骤s425，基于所述特征分布差异矩阵，增加平衡系数，获取瓦瑟斯坦权重矩阵w：
[0120]
其中，和为平衡系数，w
aa
、w
bb
、
……
、w
pp
定义为1，表示数据集对自身的关系，之后将所有非对角线元素进行纵向数据的归一化。
[0121]
步骤s430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[l
wft
]]：[[l
wft
]]＝∑
i∈{a，b，......，p}
∑
j∈{a，b，......，p}
[[w
ij
]]*[[l
ij
]]＝[[w
aa
]][[l
aa
]]+[[w
ab
]][[l
ab
]]+
…
+[[w
ap
]][[l
ap
]]+[[w
ba
]][[l
ba
]]+[[w
bb
]][[l
bb
]]+
…
+[[w
bp
]][[l
bp
]]+
…
+[[w
pa
]][[l
pa
]]+[[w
pb
]][[l
pb
]]+
…
+[[w
pp
]][[l
pp
]]。
[0122]
步骤s500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
[0123]
在本实施例中，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，通过梯度反传的方法更新各本地平台的虹膜图像特征提取网络的参数直至损失函数收敛。
[0124]
本发明第二实施例的基于联邦学习的虹膜图像特征学习系统，所述系统包括本地数据预处理模块、本地特征提取模块、同态加密模块、信息汇总模块、联邦计算模块、联邦损失传输模块和本地网络更新模块；
[0125]
所述本地数据预处理模块，用于各本地平台的虹膜图像特征提取网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集；基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
[0126]
所述本地特征提取模块，用于基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组；基于所述本地虹膜特征生成本地三元损失；
[0127]
所述同态加密模块，用于对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；并将本地三元损失传输至第三方联邦计算平台；
[0128]
加密所述联邦计算模块，用于所述第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；并将所述瓦瑟斯坦联邦三元损失函数传输至各本地平台；
[0129]
所述本地网络更新模块，用于各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络。
[0130]
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0131]
需要说明的是，上述实施例提供的基于联邦学习的虹膜图像特征提取系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0132]
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
[0133]
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
[0134]
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0135]
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0136]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0137]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系
列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0138]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。