非接触指纹图像增强方法、设备、存储介质和程序产品与流程

1.本发明涉及图像处理技术领域，更具体地涉及一种非接触指纹图像增强方法、一种电子设备、一种计算机可读存储介质和一种计算机程序产品。


背景技术：

2.一些应用场景中，采用非接触的方式采集指纹图像，所采集的指纹图像简称非接触指纹图像。由于指纹具有复杂的纹理且受拍摄时的光照情况等外界因素的影响，因此，非接触指纹图像的部分区域的细节特征可能显示得并不明显。由此，可能对后续的指纹识别造成一定障碍。并且，用于指纹识别的数据库中大多存储的是捺印指纹图像。进行指纹识别的过程中，由于非接触指纹图像与捺印指纹图像在表现形式上存在一些差别，可能导致非接触指纹图像的识别准确率较低。此外，与捺印指纹图像相比，非接触指纹图像不是十分符合用户的检视习惯。
3.因此，亟需一种新的对非接触指纹图像进行处理的技术方案以至少部分地解决上述技术问题。


技术实现要素：

4.考虑到上述问题而提出了本发明。根据本发明的一个方面，提供了一种非接触指纹图像增强方法，包括：
5.获取非接触采集的指纹图像；以及
6.将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像；其中，褶皱为穿过指纹的纹线的不规则条纹。
7.示例性地，将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像，包括：
8.利用训练好的图像处理模型将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像，其中，训练好的图像处理模型是端到端的。
9.示例性地，方法还包括：
10.将第一图像集中的图像进行去褶皱处理，以获得第二图像集，其中，第一图像集中的图像是非接触采集的指纹图像；
11.将第二图像集中的图像输入训练好的生成对抗网络，以输出第三图像集中的图像，其中，第三图像集中的图像是第二图像集中的图像转换为捺印风格后的指纹图像；
12.利用第一训练数据训练初始图像处理模型，得到训练好的图像处理模型；其中，第一训练数据包括：第一图像集和第三图像集。
13.示例性地，将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像，包括：
14.对非接触采集的指纹图像进行去褶皱处理；以及
15.利用训练好的生成对抗网络将去褶皱处理后的指纹图像转换为捺印风格，以生成
增强的指纹图像。
16.示例性地，训练好的生成对抗网络通过如下步骤训练：
17.以多个非接触采集的指纹图像为原始图像集，以多个捺印指纹图像为目标图像集，训练初始生成对抗网络，得到训练好的生成对抗网络；其中，
18.基于原始图像集中的图像和目标图像集中的图像，确定初始生成对抗网络自身的风格转换损失；
19.提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的指纹特征；
20.基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的指纹特征之间的差异，确定指纹特征损失；
21.基于风格转换损失和指纹特征损失，训练初始生成对抗网络，以获得训练好的生成对抗网络。
22.示例性地，提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的指纹特征，包括：
23.分别提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的全局指纹特征和重点区域指纹特征；
24.基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的指纹特征之间的差异，确定指纹特征损失包括：
25.基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的全局指纹特征之间的差异，计算第一特征损失；
26.基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的重点区域指纹特征之间的差异，计算第二特征损失；
27.基于第一特征损失和第二特征损失计算指纹特征损失。
28.示例性地，去褶皱处理，包括以下之一：
29.将待去褶皱图像输入去褶皱模型，以得到去褶皱后的图像；
30.对待去褶皱图像进行离散余弦变换，以得到变换图像；获取待去褶皱图像中的褶皱方向和纹线方向；根据褶皱方向和纹线方向，在变换图像中去褶皱；对变换图像进行反离散余弦变换，以得到去褶皱后的图像；
31.其中，相比于待去褶皱图像，去褶皱后的图像中纹线被增强且褶皱被削弱。
32.示例性地，在利用第一训练数据训练初始图像处理模型之前，方法还包括：
33.获取噪声模板图像；
34.对第一图像集中的图像的第一局部区域进行模糊处理；
35.对于第三图像集中的图像的第三局部区域，利用噪声模板图像的第二局部区域进行替代，以对第三图像集中的图像添加噪声；
36.其中，第一局部区域、第二局部区域和第三局部区域在各自的图像中的对应位置相同；
37.第一训练数据中的第一图像集是第一局部区域进行模糊处理后的第一图像集，第一训练数据中的第三图像集是第三局部区域添加噪声后的第三图像集。
38.示例性地，在利用第一训练数据训练初始图像处理模型之后，方法还包括：
39.获取噪声模板图像；
40.对第一图像集中的图像的第四局部区域进行模糊处理；
41.对于第三图像集中的图像的第六局部区域，利用噪声模板图像的第五局部区域进行替代，以对第三图像集中的图像添加噪声；
42.其中，第四局部区域、第五局部区域和第六局部区域在各自的图像中的对应位置相同；
43.利用第二训练数据训练初始图像处理模型，其中，第二训练数据包括：第四局部区域进行模糊处理后的第一图像集和第六局部区域添加噪声后的第三图像集。
44.示例性地，方法还包括：
45.将非接触采集的指纹图像输入模糊识别模型，以得到非接触采集的指纹图像中的模糊区域；或者检测非接触采集的指纹图像的模糊度，并且基于所检测的模糊度确定非接触采集的指纹图像中的模糊区域；
46.基于模糊区域，在增强的指纹图像中的、与模糊区域对应位置的区域添加噪声。
47.根据本发明另一方面，还提供了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于实现如上所述的非接触指纹图像增强方法。
48.根据本发明再一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其中，计算机程序/指令被处理器执行时用于实现如上所述的非接触指纹图像增强方法。
49.根据本发明又一方面，还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时用于实现如上所述的非接触指纹图像增强方法。
50.根据上述技术方案，可以将非接触采集的指纹图像转换为捺印风格并对捺印风格的指纹图像进行去褶皱处理，由此获得增强的指纹图像。该增强的指纹图像中，不仅手指的纹线更明显而且噪声更少。基于增强的指纹图像进行后续的指纹识别，可以显著提高指纹识别结果的准确性，并且能够为用户提供更好的检视体验。
附图说明
51.通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
52.图1示出了根据本发明一个实施例的非接触指纹图像增强方法的示意性流程图；
53.图2示出了根据本发明一个实施例的非接触采集的指纹图像的示意图；
54.图3示出了根据本发明一个实施例的基于图2的非接触采集的指纹图像进行转换后获得的捺印风格的指纹图像的示意图；
55.图4示出了根据本发明另一个实施例的捺印风格的指纹图像的示意图；
56.图5示出了根据本发明一个实施例的对图4的捺印风格的指纹图像进行去褶皱处
理后得到的指纹图像的示意图；
57.图6示出了根据本发明一个实施例的对初始图像处理模型进行训练的示意性流程图；
58.图7示出了根据本发明一个实施例的训练生成对抗网络的示意性流程图；
59.图8示出了确定指纹特征损失的示意性流程图；
60.图9示出了根据本发明一个实施例的在训练初始图像处理模型之前的对第一训练数据中的图像添加噪声的示意性流程图；
61.图10示出了根据本发明一个实施例的噪声模板图像、第一图像集中的图像以及第三图像集中的图像的示意图；
62.图11示出了根据本发明一个实施例的在利用第二训练数据训练初始图像处理模型的示意性流程图；
63.图12示出了根据本发明一个实施例的非接触指纹图像增强装置的示意性框图；
64.图13示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
65.为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
66.根据本发明的一个方面，提供了一种非接触指纹图像增强方法。图1示出了根据本发明一个实施例的非接触指纹图像增强方法100的示意性流程图。如图1所示，该方法100包括以下步骤。
67.步骤s110，获取非接触采集的指纹图像。
68.可以理解，所谓的“非接触”是指在采集用户指纹的过程中，无需用户将手指紧贴在例如摄像头等图像采集装置上，该摄像头可以自动聚焦到与之空间隔离的用户的手指上，并对其进行图像采集以获取指纹图像的一种指纹图像获取方式。指纹图像中可以示出指纹的纹线，包括脊线和谷线。可以理解，脊线是指指纹纹线中凸起的部分，谷线是指指纹纹线中凹陷的部分。指纹图像可以是通过图像采集装置采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。该预处理操作可以包括对原始图像分别进行3d建模，并将多个3d模型拼接后展开为2d图像的操作。图2示出了根据本发明一个实施例的非接触采集的指纹图像的示意图。其中，为了保证信息安全，图2所示出的是对该指纹图像的局部做了马赛克处理后的图像。参见图2不难看出，如前文背景技术所述，非接触采集的指纹图像中，至少部分区域的细节特征，例如纹线以及各纹线的端点、分叉点等特征点显示得并不明显。
69.步骤s130，将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像。其中，褶皱为穿过指纹的纹线的不规则条纹。
70.为了提高指纹识别结果的准确率，并使指纹图像更加符合用户的检视习惯等目的，可以将图2所示的非接触采集的指纹图像转换为捺印风格的指纹图像。图3示出了根据
本发明一个实施例的基于图2的非接触采集的指纹图像进行转换后获得的捺印风格的指纹图像的示意图。与图2所示指纹图像类似的，在图3示出的，也是局部经马赛克处理的指纹图像。如图3所示，捺印风格的指纹图像中指纹的脊线和谷线之间的对比度更大，指纹的纹理更明显。将图2与图3对比不难看出，在图3中，指纹图像的每个区域的细节特征均可以明显地显示。
71.图4示出了根据本发明另一个实施例的捺印风格的指纹图像的示意图。指纹中除了纹线，还可能包括褶皱。其中，褶皱是指穿过指纹的纹线的不规则条纹。如图4所示，在410区域内，向左下方向倾斜的条纹是手指的纹线，向右下方向倾斜的条纹是褶皱。可以理解，褶皱可能会导致提取到伪特征点，降低指纹识别结果的准确性。因此，可以对捺印风格的指纹图像进行去褶皱处理，以降低褶皱对后续指纹识别结果的影响。图5示出了根据本发明一个实施例的对图4的捺印风格的指纹图像进行去褶皱处理后得到的指纹图像的示意图。如图5所示，经过去褶皱处理之后，该指纹图像中的褶皱已经极大程度上被消除。
72.可以理解，在步骤s130中的风格转换和去褶皱处理可以以任意顺序先后执行，或者同时执行，本技术的实施例对此不做限定。
73.根据上述技术方案，可以将非接触采集的指纹图像转换为捺印风格并对捺印风格的指纹图像进行去褶皱处理，由此获得增强的指纹图像。该增强的指纹图像中，不仅手指的纹线更明显而且噪声更少。基于增强的指纹图像进行后续的指纹识别，可以显著提高指纹识别结果的准确性，并且能够为用户提供更好的检视体验。
74.在根据本发明的第一实施例中，可以利用训练好的图像处理模型将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像。该训练好的图像处理模型是端到端的。将非接触采集的指纹图像输入训练好的图像处理模型，以由该图像处理模型直接输出增强的指纹图像。例如，图像处理模型可以是u型对称网络(unet)或高分辨率网络(hrnet)等任意合理的神经网络模型。可以理解，上述转换过程以及去褶皱过程均在图像处理模型内部同时进行。
75.由此，利用训练好的端到端的图像处理模型对非接触采集的指纹图像进行处理，可以充分地发挥整个图像处理模型的强大学习能力，无需其他计算处理而一次性直接获得增强的指纹图像。在图像处理模型的计算过程中，减少了图像中纹线和特征点等特征的复用，由此减少了图像转换过程以及去褶皱处理过程中的计算量，保证以更快的速度生成增强的指纹图像，提升了图像增强的效率。
76.示例性地，在执行步骤s130之前可以先对初始图像处理模型进行训练，以获得训练好的图像处理模型。图6示出了根据本发明一个实施例的对初始图像处理模型进行训练的步骤s120的示意性流程图。如图6所示，步骤s120可以包括：
77.步骤s121，将第一图像集中的图像进行去褶皱处理，以获得第二图像集。其中，第一图像集中的图像是非接触采集的指纹图像。获得的第二图像集中的图像均是经过去褶皱处理后的指纹图像。
78.步骤s123，将第二图像集中的图像输入训练好的生成对抗网络(gan)，以输出第三图像集中的图像。其中，第三图像集中的图像是第二图像集中的图像转换为捺印风格后的指纹图像。
79.该生成对抗网络可用于对输入的图像进行风格转换。具体而言，其可以将非接触
采集的指纹图像转换为捺印风格的指纹图像。将已经去褶皱处理后的图像，即第二图像集中的图像作为训练好的生成对抗网络的输入，该生成对抗网络可以对应输出转换为捺印风格的指纹图像。可以将输出的指纹图像所形成的集合称为第三图像集。
80.示例性地，该生成对抗网络可以是循环生成对抗网络(cycle-gan)。循环生成对抗网络是功能强大的计算机算法，具有改善数字生态系统的潜力。它能够将非接触指纹图像理想地转换为捺印风格的指纹图像。
81.步骤s125，利用第一训练数据训练初始图像处理模型，得到训练好的图像处理模型。其中，第一训练数据包括第一图像集和所述第三图像集。
82.根据上述步骤s121和步骤s123可以获得第三图像集，可以理解，第一图像集包括以非接触方式采集的指纹图像，第三图像集包括经过去褶皱处理并进行风格转换后获得捺印风格的指纹图像。第三图像集中的图像是第一图像集中的图像进行处理后或获得的，其与第一图像集中的图像具有一一对应关系。可以将第一图像集作为原始输入数据，将第三图像集作为期望输出数据，利用二者对初始图像处理模型进行训练。从而，当将非接触的指纹图像输入训练好的图像处理模型时，该训练好的图像处理模型可以输出相应的去褶皱并风格转换后的指纹图像。
83.通过上述技术方案利用生成对象网络生成初始图像处理模型的监督学习数据，从而可以利用图像处理模型的学习能力对其进行训练。由此，将非接触采集的指纹图像输入至训练好的图像处理模型可以在最大程度上保证输出的去褶皱后的捺印风格的指纹图像的准确性。
84.示例性地，上述步骤s121去褶皱处理可以包括以下操作之一。1)将待去褶皱图像输入去褶皱模型，以得到去褶皱后的图像。2)对待去褶皱图像进行离散余弦变换，以得到变换图像；获取待去褶皱图像中的褶皱方向和纹线方向；根据褶皱方向和纹线方向，在变换图像中去褶皱；对变换图像进行反离散余弦变换，以得到去褶皱后的图像。其中，相比于待去褶皱图像，去褶皱后的图像中纹线被增强且褶皱被削弱。
85.可以理解，待去褶皱图像可以是以非接触方式采集到的原始图像，还可以是对非接触采集的指纹图像进行了风格转换后所获得的捺印风格的指纹图像。在上述步骤s121中，待去褶皱图像是第一图像集中的非接触指纹图像。去褶皱后的图像是第二图像集中的非接触指纹图像。
86.可选地，可以将待去褶皱图像输入至去褶皱模型中，由去褶皱模型直接输出去褶皱后的图像。可以利用任何现有的或未来的可以对待去褶皱图像进行去褶皱处理操作的去褶皱模型实现去褶皱功能，在此不做限制。可以理解的是，可通过下文所述的直接计算的方式生成对应于待去褶皱图像的去褶皱后的图像，用待去褶皱图像和去褶皱后的图像组成的样本图像对初始去褶皱模型进行训练，得到训练好的去褶皱模型。
87.替代地，还可以采用直接计算的方式对待去褶皱图像进行去褶皱操作。首先，对待去褶皱图像进行离散余弦变换，以得到变换图像。可以通过机器或人工标注的方式获取待去褶皱图像中的褶皱方向和纹线方向。可以理解，指纹图像具有天然的方向性。在方向场中，褶皱与纹线具有不同方向，而且纹线相对于褶皱具有更强的规律性。对于指纹图像来说，手指不同部位的褶皱和纹线的方向可能是不同的。由此，可以对指纹图像进行网格划分，针对各个网格分别标注褶皱方向和纹线方向。在获取了褶皱方向和纹线方向之后，可以
利用具体窗函数滤波器(gabor)提取纹线方向的纹线掩膜和褶皱方向的褶皱掩膜，并对纹线掩膜和褶皱掩膜进行离散余弦变换，以分别获得变换纹线掩膜和变换褶皱掩膜。利用变换纹线掩膜和变换褶皱掩膜，在变换图像中去褶皱。具体地，基于变换纹线掩膜和变换褶皱掩膜可以对变换图像进行处理，增强变换图像中的纹线区域、削弱褶皱区域。之后，对处理结果进行反离散余弦变换，最终获得去褶皱后的图像。可以理解，可以将褶皱视为指纹图像中的噪声，将纹线视为指纹图像中的有效信息。为了得到更多的有效信息，在上述过程中对褶皱进行去除削弱的同时还对纹线进行增强。
88.由此，保证了去褶皱操作的有效性，可以生成更为准确的去褶皱后的图像。此外，上述技术方案还提供了多种方式以获得去褶皱后的图像，为用户提供了多种选择，提升了用户的体验。
89.在本发明的第二实施例中，步骤s130将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理以生成增强的指纹图像可以包括：步骤s131和步骤s132。
90.步骤s131，对非接触采集的指纹图像进行去褶皱处理。该步骤s131可以与上述步骤s121类似实现，为了简洁在此不再赘述。
91.步骤s132，利用训练好的生成对抗网络将去褶皱处理后的指纹图像转换为捺印风格，以生成增强的指纹图像。
92.如前所述，训练好的生成对抗网络可以用于对指纹图像进行风格转换。将经由步骤s131后获得的去褶皱处理后的指纹图像输入至训练好的生成对抗网络后可以获得对应的捺印风格的指纹图像。由此，经由去褶皱处理以及风格转换后生成的指纹图像即为增强的指纹图像。
93.通过上述方案采用先去褶皱然后利用生成对抗网络进行风格转换的图像增强方式来处理非接触指纹图像，计算逻辑相对简单，各个阶段的处理质量可控，可以获得期望的增强指纹图像。基于增强的指纹图像可以有效提升指纹识别结果的准确性，并且给用户带来更好的检视体验。
94.图7示出了根据本发明一个实施例的训练上述生成对抗网络以获得训练好的生成对抗网络的示意性流程图。如前所述，训练好的生成对抗网络可以用于获取前述初始图像处理模型的训练数据，还可以直接用于执行上述步骤s123，对非接触采集的指纹图像进行风格转换。在训练生成对抗网络的过程中，以多个非接触采集的指纹图像为原始图像集，以多个捺印指纹图像为目标图像集，训练初始生成对抗网络，得到训练好的生成对抗网络。可以理解，原始图像集中的图像与目标图像集中的图像并不具有一一对应关系，其仅仅分别属于不同风格。
95.具体地，如图7所示，训练生成对抗网络可以包括以下步骤。
96.步骤s710，基于原始图像集中的图像和目标图像集中的图像，确定初始生成对抗网络自身的风格转换损失。
97.示例性地，初始生成对抗网络中可以包括生成器和判别器。首先，生成器可以对输入的原始图像集的图像进行风格转换，以获得转换后的捺印风格的指纹图像。之后，判别器可以对该转换后的捺印风格的指纹图像的风格进行判断。在该实施例中，该转换后的捺印风格的指纹图像的风格可以是非接触指纹图像或捺印风格的指纹图像。可以根据原始图像集中的图像和目标图像集中的图像来分别确定生成器和判别器各自的损失，然后根据生成
器和判别器各自的损失来确定初始生成对抗网络自身的风格转换损失。
98.示例性地，当生成对抗网络为循环生成对抗网络时，风格转换损失还包括循环一致性损失。当生成对抗网络为循环生成对抗网络时，其包括两个生成器g1和g2。其中，g1可以用于对原始风格图像进行风格转换并生成捺印风格图像，g2可以用于对捺印风格图像进行风格转换并生成原始风格图像。将原始图像集中的图像输入g1，g1输出捺印风格图像，再将其输入g2。根据g2输出的原始风格图像和输入g1的原始图像集中的图像之间的逐像素差异确定循环一致性损失。
99.步骤s720，提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的指纹特征。
100.示例性地，可以将原始图像集中的图像和初始生成对抗网络所输出的进行风格转换后的捺印风格的指纹图像分别输入到例如特征提取网络中，以对图像中的指纹特征进行提取。
101.步骤s730，基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的指纹特征之间的差异，确定指纹特征损失。指纹特征可以包括纹线特征以及特征点等。可以理解，后者是对前者进行风格转换所获得的，所以其与前者是一一对应的。理论上，二者中的指纹特征是完全一致的。基于此，在前述步骤s720提取到图像中的指纹特征后，可以将来自原始图像集中的图像的指纹特征与来自进行风格转换后的捺印风格的指纹图像的指纹特征进行比对，以获取二者之间的差异。该差异体现了生成对抗网络进行风格转换时对数据造成的偏离。基于二者之间的差异，可以通过合适的计算方式确定指纹特征损失。
102.步骤s740，基于风格转换损失和指纹特征损失，训练初始生成对抗网络，以获得训练好的生成对抗网络。
103.根据前述步骤s710和步骤s730可以分别获得风格转换损失和指纹特征损失，示例性地，可以将这两个损失进行简单加权求和，以获得总损失。基于该总损失对初始生成对抗网络进行训练，可以获得训练好的生成对抗网络。具体地，训练过程可以包括利用总损失对初始生成对抗网络中的各参数进行更新，直至达到训练结束条件，例如训练达到目标次数或者损失收敛到目标值。
104.在上述技术方案中，在对初始生成对抗网络进行训练的过程中不仅考虑了风格转换损失，还充分考虑了指纹特征损失对训练结果的影响。增加了指纹特征这一约束条件，进一步提高了训练好的生成对抗网络进行指纹图像风格转换的鲁棒性与准确性。
105.在一个具体实施例中，步骤s720提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的指纹特征可以包括：分别提取原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中的全局指纹特征和重点区域指纹特征。
106.例如，可以利用两个独立的网络模型进行指纹特征提取。具体地，可以利用全局特征提取网络分别对原始图像集中的图像和进行风格转换后的捺印风格的指纹图像进行全局指纹特征提取，利用重点区域特征提取网络分别对原始图像集中的图像和进行风格转换后的捺印风格的指纹图像进行重点区域指纹特征提取。其中，重点区域是指指纹图像中的指纹的中心点和三角区。可以理解，中心点位于指纹图像的中心。三角区是指在指纹图像中
指纹的脊线分叉为三种走向的区域。可选地，全局指纹特征和重点区域指纹特征中可以包括指纹的特征点的数目、特征点的位置以及特征点所在脊线的方向等。可以理解，重点区域是在指纹识别过程中相对更受关注的区域，如此，可增加重点区域指纹特征的权重。如果重点区域的指纹特征在风格转换后发生较大改变，可给予更重的惩罚。
107.图8示出了根据本发明一个实施例的基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的指纹特征之间的差异确定指纹特征损失的步骤s730的示意性流程图。如图8所示，步骤s730可以包括：
108.步骤s731，基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的全局指纹特征之间的差异，计算第一特征损失。
109.如上所述，可以将原始图像集中的图像和进行风格转换后的捺印风格的指纹图像分别输入至全局特征提取网络中，以分别输出各自的全局指纹特征。通过对这两个全局指纹特征进行比对，可以获得二者之间的差异。例如，确定二者提取到的特征点的数目之间的差，计算相互对应的特征点之间的位置偏差以及计算相互对应的特征点所在脊线之间的夹角的角度大小等。通过上述全局指纹特征之间的差异可以确定第一特征损失。
110.步骤s732，基于分别自原始图像集中的图像和初始生成对抗网络对原始图像集中的图像进行风格转换后所获得的图像中所提取的重点区域指纹特征之间的差异，计算第二特征损失。
111.与步骤s731类似地，可以将原始图像集中的图像和进行风格转换后的捺印风格的指纹图像分别输入至重点区域特征提取网络中，以分别输出各自的重点区域指纹特征。对两个重点区域指纹特征进行比对的过程可以参见上述步骤s731，为了简洁在此不再赘述。通过该步骤s732可以计算得到第二特征损失。
112.步骤s733，基于第一特征损失和第二特征损失计算指纹特征损失。
113.示例性地，可以对第一特征损失与第二特征损失进行加权求和，以获得指纹特征损失。
114.在上述技术方案中，综合考虑了全局指纹特征与重点区域指纹特征对求解指纹特征损失的影响。有效地增强了指纹特征损失的可靠性，进而保证了生成对抗网络的训练效果。由此，确保了指纹图像能够高质量地增强。
115.在一些应用场景中，非接触采集的指纹图像可能具有模糊区域，这会严重影响指纹识别结果的准确性。模糊区域可以指模糊度大于模糊阈值的区域。模糊阈值可以根据经验进行合理设置。这是因为在图像处理过程中这些模糊区域中可能出现伪特征点，伪特征点会给后续的指纹识别带来极大的负面影响。由此，为了降低模糊区域对指纹识别结果的影响，提出了以下技术方案。
116.根据本发明第三实施例，在前述步骤s125利用第一训练数据训练初始图像处理模型之前，方法还包括步骤s124。图9示出了根据本发明一个实施例的在训练初始图像处理模型之前的对第一训练数据中的图像添加噪声的步骤s124的示意性流程图。如图9所示，步骤s124可以包括以下步骤。
117.步骤s124a，获取噪声模板图像。
118.优选地，噪声模板图像可以与第一图像集中的图像具有相同的大小。例如，噪声模
板图像可以是分布有柔和的随机噪声的图像。
119.步骤s124b，对第一图像集中的图像的第一局部区域进行模糊处理。
120.示例性地，第一图像集中的图像是清晰的、不存在模糊区域的图像。对该图像的第一局部区域进行模糊处理，以在其中形成一个模糊区域。可选地，利用噪声模板图像中的第二局部区域替代该第一局部区域，由此进行第一图像集中的图像的模糊处理。第二局部区域在噪声模板图像中的位置与第一局部区域在第一图像集中的图像中的位置对应。
121.步骤s124c，对于第三图像集中的图像的第三局部区域，利用噪声模板图像的第二局部区域进行替代，以对第三图像集中的图像添加噪声。第一局部区域、第二局部区域和第三局部区域在各自的图像中的对应位置相同。
122.上述用于训练初始图像处理模型的第一训练数据中的第一图像集是第一局部区域进行模糊处理后的第一图像集，第一训练数据中的第三图像集是第三局部区域添加噪声后的第三图像集。利用该第一训练数据训练的图像处理模型，能够识别输入的非接触指纹图像中的模糊区域，并输出对应区域也是模糊区域的捺印风格的指纹图像。
123.图10示出了根据本发明一个实施例的噪声模板图像、第一图像集中的图像以及第三图像集中的图像的示意图。可以理解，图10中所示的第一图像集中的图像中的纹路与第三图像集中的图像中的纹路仅仅用于区分两个图像中的不同区域，不具有其他意义。而噪声模板图像中的纹路用于表示该图像中存在噪声，不是空白图像。
124.在前述步骤s124b中已经对第一图像集中的图像的第一局部区域进行了模糊处理，可以得到如图10中所示的处理后的图像。因此，在该步骤s124c中，基于第一局部区域在第一图像集中的图像中的位置，将第三图像集中的图像中的对应位置确定为第三局部区域。同样地，将噪声模板图像中的对应位置确定为第二局部区域。之后利用噪声模板图像的第二局部区域中的各个像素点对第三图像集中的图像的第三局部区域进行替代，以获得如图10中所示的添加噪声后的图像。
125.之后，可以将对第一图像集中的图像进行模糊处理后获得的图像与噪声模板图像输入到初始图像处理模型中，初始图像处理模型可以输出一个处理结果。将该处理结果与上述第三图像集中的添加噪声后的图像进行比对计算，可以获得对应的损失。基于该损失可以对初始图像处理模型的参数进行更新，以实现对初始图像处理模型的训练，即获得训练好的图像处理模型。替代地，上述噪声模板图像也可以不作为初始图像处理模型的输入，仅利用第一局部区域进行模糊处理后的第一图像集和第三局部区域添加噪声后的第三图像集训练初始图像处理模型。
126.在上述技术方案中，在初始图像处理模型未经训练的情况下，在训练图像集中的图像中加入噪声，以使得训练好的图像处理模型能够识别噪声区域并在输出对应区域也是噪声的捺印风格的指纹图像。由此，避免了待处理的图像中的噪声区域导致图像处理模型所输出的捺印风格的指纹图像中存在伪特征点，可以提高图像处理模型对模糊区域的想象力。进而，显著提高了图像处理模型所输出的捺印风格的指纹图像的后续识别准确率。
127.根据本发明第四实施例，在步骤s125利用第一训练数据训练初始图像处理模型之后，方法还可以包括步骤s126。图11示出了根据本发明一个实施例的利用第二训练数据训练初始图像处理模型的步骤s126的示意性流程图。如图11所示，步骤s126可以包括以下步骤。
128.步骤s126a，获取噪声模板图像。
129.步骤s126b，对第一图像集中的图像的第四局部区域进行模糊处理。
130.步骤s126c，对于第三图像集中的图像的第六局部区域，利用噪声模板图像的第五局部区域进行替代，以对第三图像集中的图像添加噪声。其中，第四局部区域、第五局部区域和第六局部区域在各自的图像中的对应位置相同。
131.步骤s126d，利用第二训练数据训练初始图像处理模型，其中，第二训练数据包括：第四局部区域进行模糊处理后的第一图像集和第六局部区域添加噪声后的第三图像集。
132.本领域普通技术人员通过阅读上述步骤s124的相关描述，可以理解该步骤s126a至步骤s126c的具体技术方案，为了简洁在此不再赘述。在步骤s126d中，利用第二训练数据再次训练初始图像处理模型，由此提高图像处理模型对图像的模糊区域的敏感度，进而提高经其处理的图像的识别准确率。
133.根据本发明第五实施例，用另外一种方案来解决待处理的非接触指纹图像中的模糊区域的问题。该方法除了步骤s110和步骤s120，还可以包括以下两个步骤。首先对非接触采集的指纹图像进行模糊区域识别。示例性地，可以将非接触采集的指纹图像输入模糊识别模型，以得到非接触采集的指纹图像中的模糊区域。在本技术中不对模糊识别模型的结构进行限定，任何现有的或未来的可以识别非接触采集的指纹图像中的模糊区域的模糊识别模型均在本技术的保护范围之内。替代地，可以利用诸如直接计算的方式检测非接触采集的指纹图像的模糊度，并且基于所检测的模糊度确定非接触采集的指纹图像中的模糊区域。例如，当所检测的模糊度超过模糊度阈值时，可以将该模糊度所对应的像素点归为模糊区域，反之则不是模糊区域。然后，基于模糊区域，将增强的指纹图像中的、与模糊区域对应位置的区域添加噪声。这里将前述步骤s120所生成的增强的指纹图像中与步骤s110所获取的非接触采集的指纹图像中的模糊区域对应位置的区域直接增加噪声。
134.由此可以在增强的指纹图像中与原始的非接触采集的指纹图像对应的加入随机噪声，以消除其中的伪特征点对后续的指纹识别的影响，提高指纹识别的准确性。
135.上述非接触指纹图像增强方法中，不仅将非接触采集的指纹图像转换为捺印风格而且进行了去褶皱处理。可以理解，该去褶皱处理是可选的，根据本发明的第二方面，还提供了一种非接触指纹图像转换方法，用于将非接触采集的指纹图像转换为捺印风格。在该方面的实施例中，可以通过计算、模型或计算与模型混合的方式，实现非接触采集的指纹图像到捺印风格的指纹图像的风格转换，而不对图像进行去褶皱处理。
136.根据本发明的第三方面，还提供了一种非接触指纹图像增强装置。图12示出了根据本发明一个实施例的非接触指纹图像增强装置1200的示意性框图。如图12所示，该系统1200可以包括图像获取模块1210和图像转换处理模块1220。
137.图像获取模块1210用于获取非接触采集的指纹图像。
138.图像转换处理模块1220将非接触采集的指纹图像转换为捺印风格并进行去褶皱处理，以生成增强的指纹图像。其中，褶皱为穿过指纹的纹线的不规则条纹。
139.根据本发明的第四方面，还提供了一种电子设备。图13示出了根据本发明一个实施例的电子设备1300的示意性框图。如图13所示，该电子设备1300可以包括处理器1310和存储器1320。其中，存储器1320中存储有计算机程序指令，该计算机程序指令被处理器1310运行时用于实现如上所述的非接触指纹图像增强方法。
140.根据本发明的第五方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令。其中，计算机程序/指令被处理器执行时用于实现如上所述的非接触指纹图像增强方法的相应步骤，并且用于实现根据本发明实施例的非接触指纹图像增强装置中的相应模块。所述计算机可读存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
141.根据本发明的第六方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时用于实现如上所述的非接触指纹图像增强方法。
142.本领域普通技术人员通过阅读上述有关非接触指纹图像增强方法的描述，可以理解非接触指纹图像转换方法、非接触指纹图像增强装置1200、电子设备1300、计算机可读存储介质以及计算机程序产品的具体实施方案以及有益效果，为了简洁，在此不再赘述。
143.尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
144.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
145.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
146.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
147.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
148.本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
149.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
150.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的非接触指纹图像增强装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
151.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
152.以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。