图像处理、模型训练、识别方法、装置、设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及计算机视觉、深度学习等技术领域。


背景技术：

2.随着计算机技术的发展，图像处理技术也得到发展，并应用到人们生活的方方面面。同时，通过图像处理技术可识别的对象或实现的目的也越来越多。
3.随着识别对象和实现目的的多样化，以及图像获取装置获取图像的质量的不一致性，需要图像处理技术能够进一步解决图像质量和识别要求之间的差异。


技术实现要素：

4.本公开提供了一种图像处理、模型训练、识别方法、装置、设备及存储介质。
5.根据本公开的一方面，提供了一种图像处理方法，包括：
6.提取目标图像的第一图像特征，第一图像特征包括至少两组图像特征；
7.对第一图像特征进行融合操作，获得第二图像特征；
8.根据第二图像特征生成图像，得到目标图像的重现图像。
9.根据本公开的另一方面，提供了一种模型训练方法，包括：
10.将目标图像输入待训练的图像处理模型，得到重现图像，待训练的图像处理模型用于执行本公开任意一项实施例所提供的图像处理方法；
11.根据重现图像和参考图像，对待训练的图像处理模型进行训练，得到训练后的图像处理模型。
12.根据本公开的一方面，提供了一种识别方法，包括：
13.获得待识别图像；
14.根据待识别图像，得到重现图像，重现图像是根据本公开任意一项实施例所提供的图像识别方法得到的；
15.对重现图像进行识别，得到识别结果。
16.根据本公开的一方面，提供了一种图像处理装置，包括：
17.第一图像特征获得模块，用于提取目标图像的第一图像特征，第一图像特征包括至少两组图像特征；
18.第二图像特征获得模块，用于对第一图像特征进行融合操作，获得第二图像特征；
19.重现模块，用于根据第二图像特征生成图像，得到目标图像的重现图像。
20.根据本公开的一方面，提供了一种模型训练装置，包括：
21.模型输入模块，用于将目标图像输入待训练的图像处理模型，得到重现图像，待训练的图像处理模型用于执行本公开任意一项实施例所提供的图像处理装置；
22.模型训练模块，用于根据重现图像和参考图像，对待训练的图像处理模型进行训练，得到训练后的图像处理模型。
23.根据本公开的一方面，提供了一种识别装置，包括：
24.待识别图像获得模块，用于获得待识别图像；
25.重现模块，用于根据待识别图像，得到重现图像，重现图像是根据本公开任意一项实施例所提供的图像识别装置得到的；
26.结果模块，用于对重现图像进行识别，得到识别结果。
27.根据本公开的另一方面，提供了一种电子设备，包括：
28.至少一个处理器；以及
29.与该至少一个处理器通信连接的存储器；其中，
30.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
31.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
32.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
33.根据本公开的技术，能够对目标图像进行特征提取，获得至少两组图像特征，根据提取的图像特征进行图像重现，从而，重现的图像能够增强原图像中的部分特征信息，便于后续的图像识别等操作。
34.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
35.附图用于更好地理解本方案，不构成对本公开的限定。其中：
36.图1是根据本公开一实施例的图像识别方法示意图；
37.图2是根据本公开另一实施例的图像识别方法示意图；
38.图3是根据本公开一实施例的模型训练方法示意图；
39.图4是根据本公开又一实施例的模型训练方法示意图；
40.图5是根据本公开一实施例的识别方法示意图；
41.图6a是根据本公开一示例的模型结构示意图；
42.图6b是根据本公开一示例的判别器示意图；
43.图7是根据本公开一示例的识别方法示意图；
44.图8是根据本公开一实施例的图像识别装置示意图；
45.图9是根据本公开另一实施例的图像识别装置示意图；
46.图10是根据本公开另一实施例的图像识别装置示意图；
47.图11是根据本公开另一实施例的图像识别装置示意图；
48.图12是根据本公开一实施例的模型训练装置示意图；
49.图13是根据本公开另一实施例的模型训练装置示意图；
50.图14是根据本公开一实施例的识别装置示意图；
51.图15是根据本公开另一实施例的识别装置示意图；
52.图16是用来实现本公开实施例的图像处理方法的电子设备的框图。
具体实施方式
53.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
54.根据本公开的实施例，提供了一种图像处理方法、模型训练方法及识别方法，图1是根据本公开实施例的图像处理方法的流程示意图，该方法可以应用于可执行图像特征的获取、图像特征的处理、图像重构的电子设备，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行运行图像特征融合、尺寸调整等步骤。其中，终端可以为用户设备(ue，user equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(pda，personal digital assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，图像处理方法包括：
55.步骤s11：提取目标图像的第一图像特征，第一图像特征包括至少两组图像特征；
56.步骤s12：对第一图像特征进行融合操作，获得第二图像特征；
57.步骤s13：根据第二图像特征生成图像，得到目标图像的重现图像。
58.本实施例中，目标图像可以是各种图像采集设备采集的原始图像。也可以是各种图像采集设备采集的原始图像经过剪切、调光等初步处理后的图像。
59.在一种可能的实现方式中，目标图像可以是质量低于设定质量要求，或者清晰度低于设定清晰度要求的图像。
60.提取目标图像的第一图像特征，可以是采用至少两种方式分别各提取一组图像特征，得到至少两组图像特征作为第一图像特征。
61.在一种可能的实现方式中，对第一图像特征进行融合操作，可以是将第一图像特征所包括的至少两组图像特征进行融合。
62.在一种可能的实现方式中，至少两组图像特征，可以是提取不同种类的信息形成的图像特征。比如，可以对目标图像的全局特征进行处理，得到一组图像特征。再提取目标图像中的重点特征，比如需要从目标图像中识别的重点特征(或者目标特征)，得到另一组图像特征。
63.在重现图像用于图像识别的情况下，至少两组图像特征中，一组可以是目标图像的整体特征，另一组可以是与识别相关的目标特征，还可以包括其它侧重点不同的特征。从而在重现的图像中，不仅可以保留目标图像原有的整体特征，还可将目标图像的某方面重点信息凸显出来，至少两组特征融合后重现图像，便于对目标图像中的重点特征进行突出，有利于对重点信息的识别。
64.在一组图像特征中需要包含某方面重点信息，比如第一生物特征相关的信息、第二生物特征相关的信息等，可针对这些相关信息，进行注意力机制的特征提取操作，获得各组图像特征。
65.在重现图像用于图像识别的情况下，每组图像特征都可以仅包含目标图像的某方面的信息，从而融合后的图像特征，经过重现后，能够在重现图像中凸显各组图像特征中所重点包含或提取的信息。
66.在一种可能的实现方式中，获得第一图像特征时，可有针对性地对目标图像中可能包含个人隐私的内容进行去除。
67.在本公开实施例应用于生物特征识别技术时，至少两组图像特征中，一组可以是生物特征增强的图像特征，另一组可以是全局或整体的图像特征。
68.对第一图像特征进行融合操作，获得第二图像特征，可以是将第一图像特征中包括的至少两组图像特征进行简单拼接，获得第二图像特征。也可以是将第一图像特征中包括的至少两组图像特征进行融合的编码或卷积等计算，获得第二图像特征。
69.或者，在另一种可能的实现方式中，也可以采用图像重现操作，对至少两组图像特征进行融合。或者复用步骤s13中的重现方法进行融合。
70.根据第二图像特征生成图像，可以是根据第二图像特征，执行从图像特征到图像的反向处理操作，使得图像能够重现。
71.本实施例中，能够对目标图像进行特征提取，获得至少两组图像特征，根据提取的图像特征进行图像重现，从而，重现的图像能够增强原图像中的部分特征信息，便于后续的图像识别等操作。在一种可能的实时方式中，重现图像可以是超分图像。
72.在一种实施方式中，提取目标图像的第一图像特征，包括：
73.对目标图像执行第一设定操作，得到第四图像特征，第一设定操作包括下述至少之一：卷积计算、修正线性函数计算和语义编码；
74.根据第四图像特征，得到第一图像特征。
75.本实施例中，在第一设定操作包含卷积计算、修正线性函数计算和语义编码中的两种以上的情况下，对目标图像执行第一设定操作，可以是对目标图像依次执行两种以上的操作。
76.比如，在第一设定操作包含卷积计算、修正线性函数计算的情况下，对目标图像执行第一设定操作，可以是对目标图像执行卷积计算，得到卷积特征，再对卷积特征执行修正线性函数计算，得到第一图像特征。
77.在第一设定操作包含卷积计算、修正线性函数计算和语义编码中的两种以上的情况下，两种以上计算或处理操作的执行顺序，可以按照需要进行排列组合。
78.根据第四图像特征，得到第一图像特征，可以是将第四图像特征作为第一图像特征。这种情况下，第一设定操作可以包含卷积计算、修正线性函数计算和语义编码中的两种以上的排列组合。
79.本实施例中，能够对目标图像执行第一设定操作，实现提取第一图像特征，从而能够根据第一图像特征执行后续的特征融合、图像重现等操作。
80.在一种实施方式中，在设定操作包括卷积计算的情况下，根据第四图像特征，得到第一图像特征，如图2所示，包括：
81.步骤s21：对第四图像特征进行自注意力处理操作，得到第五图像特征；
82.步骤s22：对第四图像特征执行第二设定操作，得到第六图像特征，第二设定操作包括下述至少之一：卷积计算、修正线性函数计算和语义编码；
83.步骤s23：将第五图像特征和第六图像特征，作为第一图像特征。
84.本实施例中，自注意力处理操作可用于提取需要重点处理的信息相关的图像特征，即与识别对象或图像处理目的相关的图像特征。比如，若后续操作中，重现图像进一步
用于生物特征识别，则自注意力处理操作可以用于提取与生物特征识别相关的图像特征。
85.对第四图像特征执行第二设定操作，得到第六图像特征，可以是对第四图像特征依次执行第二设定操作中具体包含的子操作，最终得到第六图像特征。
86.在一种具体的实现方式中，第二设定操作包括：卷积计算、修正线性函数计算和语义编码，且卷积计算、修正线性函数计算和语义编码各执行至少一次。则至少一次卷积计算、至少一次修正线性函数计算和至少一次语义编码，可按照任意需要的顺序进行排列组合。
87.本实施例中，通过不同的方式计算获得被融合的第五图像特征和第六图像特征，从而使得最终根据融合特征重现的图像中，不仅能重现第六图像特征中包含的目标图像全部信息，还能重现第五图像特征所通过注意力机制获取的部分信息，进而能够在重现图像中重点凸显出通过注意力机制获取的部分信息，且可以不丢失目标图像中的原有信息。
88.在一种实施方式中，对第一图像特征进行融合操作，获得第二图像特征，包括：
89.将第五图像特征和第六图像特征在通道维度上进行融合，获得第二图像特征。
90.本实施例中，第五图像特征和第六图像特征可各自包含多维特征，每一维特征对应一个通道。将第五图像特征和第六图像特征在通道维度上进行融合，可以是将第五图像特征和第六图像特征进一步合并，使得合并后的图像特征的通道数为第五图像特征的通道数和第六图像特征的通道数之和。
91.本实施例中，将第五图像特征和第六图像特征在通道维度上进行融合，从而融合后的图像特征经过重现后，能够将目标图像中的部分信息凸显出来，有利于后续对图像的识别或处理。
92.在一种实施方式中，对第四图像特征执行设定操作，得到第六图像特征，包括：
93.对第四图像特征依次执行卷积计算、修正线性函数计算和语义编码操作，得到第七图像特征；
94.根据第七图像特征，得到第六图像特征。
95.本实施例中，卷积计算可以执行至少一次，修正线性函数计算可以执行至少一次，语义编码操作也可执行至少一次。
96.卷积计算、修正线性函数计算和语义编码操作，可按照任意需要的顺序执行。
97.本实施例中，对第四图像特征再次执行卷积计算、修正线性函数计算和语义编码操作，从而能够将目标图像中需要修正的信息进行修正，将目标图像中的语义信息所对应的对象进行识别，进而为图像重建提供更多有价值的参考信息，同时，也使得第六图像特征中尽可能包含目标图像中的更多与后续处理相关的数据或信息。
98.在一种实施方式中，根据第七图像特征，得到第六图像特征，包括：
99.对第七图像特征依次执行卷积计算和修正线性函数计算，得到第六图像特征。
100.本实施例中，对第七图像特征进一步执行卷积计算和修正线性函数计算，从而在第六图像特征中保留目标图像中更多有用的信息，使得重现图像效果更佳。
101.在一种实施方式中，对第四图像特征进行自注意力处理操作，得到第五图像特征，包括：
102.对第四图像特征依次执行池化操作、卷积计算和实数映射计算以实现自注意力处理操作，得到第五图像特征。
103.本实施例中，池化操作可以是传统池化(pooling)操作，也可以是软池化(softpool)操作。
104.本实施例中，通过自注意力处理操作，能够使得第五图像特征中包含目标图像中需要注意的信息，有助于后续根据重现后的图像执行识别或者进一步处理操作。
105.在一种实施方式中，根据第二图像特征生成图像，得到目标图像的重现图像，包括：
106.对第二图像特征进行上采样操作，获得第三图像特征；
107.根据第三图像特征，得到目标图像的重现图像。
108.本实施例中，通过上采样操作，能够将图像进行扩大，便于实现一般在图像中的面积较小的生物特征的识别，比如虹膜识别、指纹识别等。
109.在另一种可能的实现方式中，可对第二图像特征执行下采样等尺寸修改操作。
110.在一种实施方式中，对第二图像特征进行上采样操作，获得第三图像特征，包括：
111.对第二图像特征进行卷积计算，得到第八图像特征；
112.对第八图像特征进行像素重组操作，得到第三图像特征。
113.本实施例中，通过卷积、像素重组操作，扩大第二图像特征的尺寸，达到第三图像特征的尺寸满足后续图像重现的要求。
114.本公开实施例还提供一种模型训练方法，如图3所示，包括：
115.步骤s31：将目标图像输入待训练的图像处理模型，得到重现图像，待训练的图像处理模型用于执行本公开任意一项实施例所提供的图像处理方法；
116.步骤s32：根据重现图像和参考图像，对待训练的图像处理模型进行训练，得到训练后的图像处理模型。
117.本公开实施例中，待训练的图像处理模型和训练后的图像处理模型均可以执行本公开任意一项实施例提供的图像处理方法中的步骤，以实现图像重现的功能。
118.本实施例中，能够根据重现图像和参考图像，训练待训练的图像处理模型，从而能够实现通过模型对目标图像的重现。
119.在一种实施方式中，根据重现图像和参考图像，对待训练的图像处理模型进行训练，得到训练后的图像处理模型，如图4所示，包括：
120.步骤s41：根据重现图像和参考图像，确定轮廓识别损失；
121.步骤s42：根据轮廓识别损失，对待训练的图像处理模型进行训练，得到第一优化模型；
122.步骤s43：根据第一优化模型，得到训练后的图像处理模型。
123.根据重现图像和参考图像，确定轮廓识别损失，可以是根据重现图像和参考图像中的参数，计算轮廓识别损失。
124.本实施例中，通过轮廓识别损失，能够优化待训练的图像处理模型的轮廓识别能力。
125.在一种实施方式中，根据第一优化模型，得到训练后的图像处理模型，包括：
126.根据第一优化结构的收敛稳定性和识别结果准确性，对第一优化模型进行训练，得到第二优化模型；
127.根据第二优化模型，得到训练后的图像处理模型。
128.本实施例中，将模型的轮廓识别功能与收敛稳定性和识别结果准确性分开训练，能够保证模型的稳定性。
129.在一种实施方式中，根据第二优化模型，得到训练后的图像处理模型，包括：
130.采用判别器对第二优化模型输出的重现图像和参考图像进行判别，得到判断结果；
131.根据判断结果，对第二优化模型进行训练，得到训练后的图像处理模型。
132.本实施例中，判别器可与待训练的图像识别模型进行同步训练。
133.通过判别器，为待训练的图像识别模型的训练过程提供另外一种参考，提升模型训练的效果。
134.在本公开一种示例中，待训练的模型可包括图像识别模型和判别器。图像识别模型的结构可如图6a所示。整个图像识别模型可以分为特征提取、特征融合、图像上采样、特征重表达四个部分，输入数据可以为低质量图像lr image，输出数据可以为高质量图像hr image。特征提取部分可以包括第一卷积神经网络61。特征融合部分可包括依次设置的第一基础模块(basic block，bb)62、第二基础模块63、第一转换器模块64、第二转换器模块65、第三基础模块66、第二卷积神经网络67组成的第一支路。特征融合部分还可以包括自注意力网络(self-attention，sf)68组成的第二支路。其中，基础模块可用于提取低质量图像的特征。基础模块和自注意力模块用于对低质量的输入图像l(x,y)进行处理，然后按照通道的维度融合(拼接)成新的特征图。本示例中，低质量的输入图像可以是清晰度、分辨率或者其它参数无法满足设定要求的图像。基础模块可表示一个卷积模块，包括镜像池化层或者软池化层(softpool)、卷积层和激活层。经过特征提取后的特征图使用逐次方法进行上采样并进行特征重表达，即上采样至少两次，每次上采样扩大设定的倍数。在一种可能的实现方式中，所有网络模块中可去除batch normalization(bn)层。两条支路融合后的特征，可经过上采样模块69、第三卷积神经网络610、第四卷积神经网络611。
135.图6b为本公开示例提供的判别器示意图。本示例中，判别器输入数据可以为hr image(高质量图片)，输出数据可以为score(分数)，表示图像识别模型和参考的高质量图片之间的差异。判别器可包括第一模块611、第一基础模块(vgg block，visual geometry group block)612、第二基础块613、第三基础块614、第四基础模块615、展平层616、线性计算层617，以及用于输出分数score的分数输出层。其中，第一模块可包括卷积模块、bn层、leakyrelu(leaky线性修正层)的组合。具体的，可包括依次设置的卷积模块、leakyrelu、卷积模块、bn层、leakyrelu层。
136.在本公开一种示例中，针对例如图6a所提供的图像识别模型，可以采用类似训练gan(generative adversarial networks，生成式对抗网络)网络的方式进行训练。但考虑到gan网络容易崩溃，因此在本示例中，可采用阶段训练的方式执行训练。同时，可训练用于判别图像识别模型识别结果的判别器。
137.为了图像识别模型能够更加稳定的训练，可采用模型预热的方式对图像识别模型进行预训练。具体的，模型训练的三个阶段依次为：模型预热，平衡训练，识别训练。
138.在模型预热阶段，可仅使用结构损失(表达轮廓识别结果的损失)与三元组损失(针对正样本和负样本获得的损失)进行监督。这种方法可以使模型快速收敛至能够学习目标大体轮廓的状态，具体使用10个epochs(训练时期)作为预训练阶段。
139.在平衡训练阶段，本示例可加入对抗损失和记忆损失进行训练的监督。对抗损失、记忆损失与模型预热阶段的结构损失和三元组损失所采用的损失函数可以不同。本示例通过多设置一些损失函数，避免模型偶然收敛。在最后的训练阶段之前，由于判别器具有比生成器更好的收敛性，可将判别器的优化步长(即训练速度)设置为生成器的0.3倍，从而使生成器可以与判别器相抗衡(同步完成训练)。第二阶段的训练将持续到200epochs。
140.在识别训练阶段，放开对判别器的优化限制，完成稳定且快速收敛的模型训练。
141.三阶段使用的损失函数可如下式：
142.l
total
(xh,xlabel)＝λ1l
count
(xh，xlabel)+λ2l
ad
(xh，xlabel)+λ3l
per
(xh，xlabel)+λ4l
trip
(xh,xlabel)；
143.本方法的loss包含4个部分，总的loss用l
total
表示，l
cont
表示的是smooth-l1(目标检测领域的回归损失)的损失，l
ad
表示的是对抗损失，l
per
表示的是感知损失，l
trip
表示的是三元组损失。在三阶段训练中，第一个阶段的参数(超参数，调节损失的作用)设置可以是λ1＝1λ2＝0λ3＝0λ4＝2e-2
，e可以为自然对数。在第二阶段，本示例中令λ2＝1λ3＝5e-3
来引入对抗损失和感知损失(模型的感知性能，感知模型的饱和度)来进行训练，以此来增加模型的收敛性和感知性，后续阶段中可设置λ4＝2e-2
，λ1＝2e-4
。xh表示预测数据，xlabel表示标注数据。
144.对比学习的思想可以更加关注于抽象的语义层面的不同性。对于识别问题，模型需要更加关注不同个体的区别而非相似性。识别能力的提升应该从更加抽对象的语义层次而非底层像素细节。受此启发，本示例可引入具有对比学习能力的triplet loss(三元组损失)作为识别能力的监督函数。本示例中，xh可以表示待识别图像，xh
+
可以表示正样本，xh-可以表示负样本。
145.三元组损失如下：
[0146][0147]
其中，f为损失函数，上标+、-表示正负样本，α表示参数。在训练过程中，可将batch size(每次训练时使用的样本数)调整为1(一个样本)，这样可以更好的学习到不同图像的各向异性。并且，每次训练时，可从三张图像中学习到差异并进行迭代更新，三张图像分别为原始样本和正负样本。当生成器逐渐可以和判别器对抗后，可将判别器和生成器的优化步长调至相同，以进行最后阶段的训练。
[0148]
本公开实施例还提供一种识别方法，如图5所示，包括：
[0149]
步骤s51：获得待识别图像；
[0150]
步骤s52：根据待识别图像，得到重现图像。重现图像是本公开任意一项实施例所提供的图像处理方法得到的。
[0151]
步骤s53：对重现图像进行识别，得到识别结果。
[0152]
本公开实施例中，通过对图像进行重现后识别，能够提高识别效果和准确性。
[0153]
在一种实施方式中，对重现图像进行识别，得到识别结果，包括：
[0154]
识别重现图像中的生物特征；
[0155]
根据生物特征与预设生物特征的一致性，得到识别结果。
[0156]
本实施例中，生物特征可以是指纹特征、面部特征、虹膜特征、掌纹特征、形体特征
等可以从生物身上提取到的特征。在目前的现实生活中，生物特征识别应用在各个领域得到了广泛的应用。如金融、安全、民生、政务等领域。在未来社会，数字身份将成为第二种身份证。应用范围非常广泛，比如手机等终端的解锁、小区门禁开通、到餐厅就餐吃饭、超市收银付款、高铁进站、机场安检以及医院看病等场景中，均可采用生物特征对用户进行识别鉴权。
[0157]
本实施例能够识别重现图像中的生物特征，从而在安保、身份验证等场合，能够起到权限检查的作用。
[0158]
在本公开一种示例中，生物特征可以是虹膜特征。虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状薄膜。随着科技的发展，通过自动获取和比对虹膜图像可以识别和认证个人身份，称为虹膜识别。虹膜是一种生物特征，其特点可以被归纳为下面的四个类别：
[0159]
唯一性：虹膜拥有丰富的细节纹理信息，这些信息足以用于个人身份的识别。并且虹膜细节特征主要是由胚胎发育环境的随机因素决定的，每个人的虹膜都不一样，就连双胞胎的虹膜都会不一样，因此人的身份都可以利用虹膜识别出来。虹膜的唯一性使得高精度的身份识别成为可能。
[0160]
稳定性：虹膜从婴儿胚胎期的第3个月起开始发育，到第8个月虹膜的主要纹理结构已经成形，还受到角膜的保护，不易受到外界干扰。另外，虹膜与相邻区域存在着明显的灰度阶变，并且区域边界都接近圆形，所以虹膜区域易于拟合分割和归一化。总结下来，虹膜结构有利于实现一种具有平移、缩放和旋转不变性的模式表达方式。
[0161]
防伪性能好：虹膜的防伪性相比其他生物特征更好，这是因为虹膜的半径小，在可见光下某地域的用户群体的虹膜图像呈现深褐色，看不到纹理信息，如果需要获取清晰虹膜纹理的图像，则需要专用的设备和还需要用户的配合，所以在一般情况下很难盗取他人的虹膜图像。
[0162]
便捷识别性一般：相比与其他识别方式，虹膜识别通常需要采集者在指定距离保持稳定一段时间才能获得较准确的可用于识别的虹膜图像。
[0163]
目前生物特征识别实际应用场景会受到各种各样的因素的影响，比如如遮挡、光斑、运动模糊、离轴、离焦等，在这些情况下拍摄的虹膜图像中提取有用的身份信息特征是一件很有挑战性的事情，因此可以考虑通过本公开实施例提供发图像处理方法，对包含虹膜信息的目标图像进行重现增加图像身份信息，从重现的图像中识别虹膜信息以确认身份，从而提高虹膜图像的识别性能。
[0164]
本公开一种示例中，可以采用本公开实施例提供的模型训练方法训练得到的图像识别模型，进行目标图像的重现，进一步通过重现图像识别虹膜信息，从而既能将低分辨率的图像较好的识别出来，又保证了模型的稳定性。另外，由于图像是经过重现后获取的，并不是直接使用的原始图片，这在一定程度上保护了数据的隐私，避免数据在网络传输过程中导致的隐私泄露。
[0165]
虹膜识别方法的流程如图7所示，首先可将低分辨率的图片71采集到，然后经过训练后的图像识别模型来产生高分辨率的图片74，用于识别。在本示例中，可使用cht(circular hough transform，循环霍夫变换)方法来截取虹膜的有效区域，经过cht方法进行规范化以后，本示例把规范化后的图片72放入uninet(连通网络)模型中来提取特征模板
(feature extraction)，特征模板主要是用于与虹膜模板73特征匹配，然后就可以进行虹膜识别，输出识别评估结果(recognition evaluation)。本示例中，通过标准化操作能够防止虹膜的纹理变形。
[0166]
采用本公开示例提供的图像识别模型，经过实验，可以看到训练后的图像识别模型的超分的性能在3个已知数据集“casia-iris-distance”、“casia-iris-m1”、“casia-iris-offangle”上的都有提升。同时，图像识别模型的峰值信噪比、结构相似性、等错误概率等方面的性能也相比其它模型有所提升。同时，本公开实施例提供的图像识别模型的处理速度也优于一般的卷积神经网络模型。
[0167]
本公开实施例还提供一种图像处理装置，如图8所示，包括：
[0168]
第一图像特征获得模块81，用于提取目标图像的第一图像特征，第一图像特征包括至少两组图像特征；
[0169]
第二图像特征获得模块82，用于对第一图像特征进行融合操作，获得第二图像特征；
[0170]
重现模块83，用于根据第二图像特征生成图像，得到目标图像的重现图像。
[0171]
在一种实施方式中，如图9所示，第一图像特征获得模块包括：
[0172]
第一操作单元91，用于对目标图像执行第一设定操作，得到第四图像特征，第一设定操作包括下述至少之一：卷积计算、修正线性函数计算和语义编码；
[0173]
第二操作单元92，用于根据第四图像特征，得到第一图像特征。
[0174]
在一种实施方式中，在设定操作包括卷积计算的情况下，第二操作单元还用于：
[0175]
对第四图像特征进行自注意力处理操作，得到第五图像特征；
[0176]
对第四图像特征执行第二设定操作，得到第六图像特征，第二设定操作包括下述至少之一：卷积计算、修正线性函数计算和语义编码；
[0177]
将第五图像特征和第六图像特征，作为第一图像特征。
[0178]
在一种实施方式中，如图10所示，第二图像特征获得模块包括：
[0179]
融合单元101，用于将第五图像特征和第六图像特征在通道维度上进行融合，获得第二图像特征。
[0180]
在一种实施方式中，第二操作单元还用于：
[0181]
对第四图像特征依次执行卷积计算、修正线性函数计算和语义编码操作，得到第七图像特征；
[0182]
根据第七图像特征，得到第六图像特征。
[0183]
在一种实施方式中，第二操作单元还用于：
[0184]
对第七图像特征依次执行卷积计算和修正线性函数计算，得到第六图像特征。
[0185]
在一种实施方式中，第二操作单元还用于：
[0186]
对第四图像特征依次执行池化操作、卷积计算和实数映射计算以实现自注意力处理操作，得到第五图像特征。
[0187]
在一种实施方式中，如图11所示，重现模块包括：
[0188]
上采样单元111，用于对第二图像特征进行上采样操作，获得第三图像特征；
[0189]
上采样处理单元112，用于根据第三图像特征，得到目标图像的重现图像。
[0190]
在一种实施方式中，上采样单元还用于：
[0191]
对第二图像特征进行卷积计算，得到第八图像特征；
[0192]
对第八图像特征进行像素重组操作，得到第三图像特征。
[0193]
本公开实施例提供一种模型训练装置，如图12所示，包括：
[0194]
模型输入模块121，用于将目标图像输入待训练的图像处理模型，得到重现图像，待训练的图像处理模型用于执行本公开任意一项实施例所提供的图像处理装置；
[0195]
模型训练模块122，用于根据重现图像和参考图像，对待训练的图像处理模型进行训练，得到训练后的图像处理模型。
[0196]
在一种实施方式中，如图13所示，模型训练模块包括：
[0197]
轮廓损失单元131，用于根据重现图像和参考图像，确定轮廓识别损失；
[0198]
第一优化单元132，用于根据轮廓识别损失，对待训练的图像处理模型进行训练，得到第一优化模型；
[0199]
第一优化处理单元133，用于根据第一优化模型，得到训练后的图像处理模型。
[0200]
在一种实施方式中，第一优化处理单元还用于：
[0201]
根据第一优化结构的收敛稳定性和识别结果准确性，对第一优化模型进行训练，得到第二优化模型；
[0202]
根据第二优化模型，得到训练后的图像处理模型。
[0203]
在一种实施方式中，第一优化处理单元还用于：
[0204]
采用判别器对第二优化模型输出的重现图像和参考图像进行判别，得到判断结果；
[0205]
根据判断结果，对第二优化模型进行训练，得到训练后的图像处理模型。
[0206]
本公开实施例还提供一种识别装置，如图14所示，包括：
[0207]
待识别图像获得模块141，用于获得待识别图像；
[0208]
重现模块142，用于根据待识别图像，得到重现图像，重现图像是根据本公开任意一项实施例提供的图像处理装置得到的；
[0209]
结果模块，用于对重现图像进行识别，得到识别结果。
[0210]
在一种实施方式中，如图15所示，结果模块还包括：
[0211]
生物特征单元151，用于识别重现图像中的生物特征；
[0212]
生物特征判别单元152，用于根据生物特征与预设生物特征的一致性，得到识别结果。
[0213]
通过本公开实施例提供的方法和装置，可以解决在采集图像无法准确识别用户身份的情况。目前大部分产品均使用质量评估的方式对目标用户进行大量重复性采集，直到采集到可以用于识别的清晰图像，从而要求采集设备具有极高的采样率。本公开实施例可以在此基础上作为额外的备用方案，如果固定时间内无法获得有效图像，则启用本发明对低质量图像进行处理，从而使产品获得更好的识别能力。
[0214]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0215]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0216]
图16示出了可以用来实施本公开的实施例的示例电子设备160的示意性框图。电
子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0217]
如图16所示，设备160包括计算单元161，其可以根据存储在只读存储器(rom)162中的计算机程序或者从存储单元168加载到随机访问存储器(ram)163中的计算机程序，来执行各种适当的动作和处理。在ram 163中，还可存储设备160操作所需的各种程序和数据。计算单元161、rom 162以及ram 163通过总线164彼此相连。输入/输出(i/o)接口165也连接至总线164。
[0218]
设备160中的多个部件连接至i/o接口165，包括：输入单元166，例如键盘、鼠标等；输出单元167，例如各种类型的显示器、扬声器等；存储单元168，例如磁盘、光盘等；以及通信单元169，例如网卡、调制解调器、无线通信收发机等。通信单元169允许设备160通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0219]
计算单元161可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元161的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元161执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元168。在一些实施例中，计算机程序的部分或者全部可以经由rom 162和/或通信单元169而被载入和/或安装到设备160上。当计算机程序加载到ram 163并由计算单元161执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元161可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
[0220]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0221]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0222]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0223]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0224]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0225]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0226]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0227]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。