身份识别方法及装置、设备和介质与流程

1.本发明涉及计算机视觉技术领域，更具体地说，涉及基于身份识别方法及装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.随着人工智能的发展，依靠生物特征的身份认证技术近年来得到了广泛的应用，尤其是人脸识别的发展最为迅速，有着非常多的应用场景，例如，身份证人脸合一验证、闸机通行和线下支付等等。与此同时，基于手指和手掌特征的身份认证技术也渐渐得到应用，例如，可以通过识别用户手掌上的掌纹和掌静脉信息，实现对用户的身份进行识别。
3.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

4.本公开提供了一种身份识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
5.根据本公开的一方面，提供了一种身份识别方法，包括：响应于满足第一预设条件，利用红外摄像机获取第一图像，并对所述第一图像进行目标检测，以得到第一目标检测结果；响应于满足第二预设条件，利用可见光摄像机获取第二图像，并对所述第二图像进行目标检测，以得到第二目标检测结果；根据目标检测结果从备选图像中确定出待识别图像，其中，所述目标检测结果包括所述第一目标检测结果和/或所述第二目标检测结果，并且所述目标检测结果为标识码或手的至少一部分中一者，所述备选图像包括所述第一图像和/或所述第二图像；根据所述目标检测结果确定当前身份识别算法；以及通过当前身份识别算法，根据所述待识别图像执行身份识别操作。
6.根据本公开的另一方面，提供了一种身份识别装置，包括：第一获取模块，被配置为响应于满足第一预设条件，利用红外摄像机获取第一图像，并对所述第一图像进行目标检测，以得到第一目标检测结果；第二获取模块，被配置为响应于满足第二预设条件，利用可见光摄像机获取第二图像，并对所述第二图像进行目标检测，以得到第二目标检测结果；第一确定模块，被配置为根据目标检测结果从备选图像中确定出待识别图像，其中，所述目标检测结果包括所述第一目标检测结果和/或所述第二目标检测结果，并且所述目标检测结果为标识码或手的至少一部分中一者，所述备选图像包括所述第一图像和/或所述第二图像；第二确定模块，被配置为根据所述目标检测结果确定当前身份识别算法；以及识别模块，被配置为通过当前身份识别算法，根据所述待识别图像执行身份识别操作。
7.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述
身份识别方法。
8.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述身份识别方法。
9.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述身份识别方法。
10.根据本公开的一个或多个实施例，基于预设条件的满足情况，采用红外摄像机和/或可见光摄像机对目标进行图像的采集，并根据目标的检测结果来确定对应的身份识别算法和待识别的图像，以利用所确定的身份识别算法对待识别图像进行身份识别，从而可以针对不同的目标进行更为灵活地身份识别，满足不同用户在不同条件下的需求，并能够提高身份识别的准确性。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
13.图1示出了根据本发明实施例的身份识别方法的流程图；
14.图2示出了根据本发明实施例的执行注册操作的流程图；
15.图3示出了根据本发明实施例的身份识别操作的流程图；
16.图4示出了根据本发明实施例的多个第一手掌关键点的位置的示意图；
17.图5示出了根据本发明实施例的多个第一兴趣区域的位置的示意图；
18.图6示出了根据本发明实施例的判断第一图像的图像质量是否合格的方法的流程图；
19.图7示出了根据本发明实施例的掌纹识别模型和掌静脉识别模型的训练过程的流程图；
20.图8a、图8b和图8c示出了根据本发明实施例的二值化掌纹图像的示意图；
21.图9示出了根据本发明实施例的基于掌纹和掌静脉进行身份识别的方法的流程图；
22.图10示出了根据本发明实施例的身份识别的方法的流程图；
23.图11示出了根据本发明实施例的身份识别的装置的结构框图；
24.图12示出了能够用于实现本发明的实施例的示例性电子设备的结构框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意
图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
27.在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
28.申请人发现，现有的身份认证技术在使用可见光、红外双摄像头基于生物特征和/或基于二维码等标识码进行身份识别时，未控制双摄像头的采集条件，从而无法兼顾身份识别的准确性和低功耗。
29.为了解决上述问题，本公开基于预设条件的满足情况，采用红外摄像机和/或可见光摄像机对目标进行图像的采集，并根据目标的检测结果是标识码或是手的至少一部分来确定对应的身份识别算法和待识别的图像，以利用所确定的身份识别算法对待识别图像进行身份识别，从而可以针对不同的目标(例如标识码或手的至少一部分)来进行更为灵活地身份识别，满足不同用户在不同情况下的需求，在提升用户体验、提高身份识别的准确性的同时能够降低功耗。
30.以下将结合附图对本公开的身份识别方法进行进一步描述。
31.图1示出了根据本公开示例性实施例的身份识别方法的流程图。
32.如图1所示，所述身份识别方法100可以包括：步骤s101、响应于满足第一预设条件，利用红外摄像机获取第一图像，并对所述第一图像进行目标检测，以得到第一目标检测结果；步骤s102、响应于满足第二预设条件，利用可见光摄像机获取第二图像，并对所述第二图像进行目标检测，以得到第二目标检测结果；步骤s103、根据目标检测结果从备选图像中确定出待识别图像，其中，所述目标检测结果包括所述第一目标检测结果和/或所述第二目标检测结果，并且所述目标检测结果为标识码或手的至少一部分中一者，所述备选图像包括所述第一图像和/或所述第二图像；步骤s104、根据所述目标检测结果确定当前身份识别算法；以及步骤s105、通过当前身份识别算法，根据所述待识别图像执行身份识别操作。
33.由此，基于预设条件的满足情况，采用红外摄像机和/或可见光摄像机对目标进行图像的采集，并根据目标的检测结果是标识码或是手的至少一部分来确定对应的身份识别算法和待识别的图像，以利用所确定的身份识别算法对待识别图像进行身份识别，从而可以针对不同的目标(例如标识码或手的至少一部分)来进行更为灵活地身份识别，支持标识码图像和手掌图像的混合识别，以实现更多实际场景中的应用，例如，手掌与二维码结合的考勤机和手掌与二维码结合的pos机等，满足了不同用户在不同情况下的需求，提升用户体验的同时并能够提高身份识别的准确性。
34.可以理解的，标识码例如可以但不局限于为二维码，例如也可以为条形码。为了便于理解和描述，下面实施例中以标识码为二维码为例来描述本公开实施例中的技术方案。
35.根据一些实施例，步骤s101中的第一预设条件包括目标位于预设范围内且红外摄像机未接收到停止采集信号，步骤s102中的第二预设条件包括目标位于预设范围内；并且所述方法100还包括：响应于所述第二目标检测结果为目标是二维码，向红外摄像机发出停止采集信号。可以理解的是，响应于目标位于预设范围内(例如通过距离传感器检测到目标
处于预设范围)，可见光摄像机和红外摄像机均开始对目标进行图像的主动采集并对采集到的第一图像和第二图像进行目标检测以用于身份识别。可理解的是，基于手掌图像进行身份识别时需要用可见光图像进行掌纹识别、用红外图像进行掌静脉识别以提高准确性；基于识别码进行身份识别仅需一种图像。当检测到可见光摄像机所采集的第二图像为二维码时，向红外摄像机发出停止采集信号，仅利用可见光摄像机进行后续的身份识别流程，以减少红外摄像机的功耗。
36.根据另一些实施例，步骤s101中的第一预设条件包括红外摄像机接收到开始采集信号，步骤s102中的第二预设条件包括目标位于预设范围内，并且所述方法100还包括：响应于所述第二目标检测结果为目标是手的至少一部分，向红外摄像机发出开始采集信号。可以理解的是，在这一实施例中，响应于目标位于预设范围内，仅可见光摄像机开始对目标进行图像的主动采集并对采集到的第二图像进行目标检测。响应于可见光摄像机所采集的第二图像为手的至少一部分时，向红外摄像机发出开始采集信号，以使红外摄像机开始进行第一图像的采集，由此，在确定目标为手的一部分之后，将利用红外摄像机所采集的第一图像以及可见光摄像机所采集的第二图像来进行后续的身份识别，红外摄像机与可见光摄像机的结合时的所采集的手掌图像具备更为丰富的信息量，从而可以提升基于手掌图像进行身份识别的准确性。而响应于可见光摄像机所采集的第二图像为二维码时，无需用红外摄像机进行采集，只用二维码的可见光图像即可进行二维码识别。如此，可兼顾识别的准确性和设备的低功耗性能。相比于目标位于预设范围内时用可见光摄像机和红外摄像机开始采集的方案，一方面，本实施例在检测到目标时只使一个摄像机开始采集，进一步降低了功耗；另一方面在检测到识别码的情况下无需使红外摄像机开启、停止采集，减少了对红外进程的占用。
37.根据另一些实施例，步骤s101中的第一预设条件包括目标位于预设范围内，步骤s102中的第二预设条件包括可见光摄像机接收到开始采集信号，并且所述方法还包括：响应于所述第一目标检测结果为目标是手的至少一部分，向可见光摄像机发出开始采集信号。可以理解的是，在这一实施例中，响应于目标位于预设范围内，红外摄像机开始对目标进行图像的主动采集并对采集到的第一图像进行目标检测。响应于红外摄像机所采集的第一图像为手的至少一部分时，向可见光摄像机发出开始采集信号，以使可见光摄像机开始进行第二图像的采集，由此，在确定目标为手的一部分之后，将利用红外摄像机所采集的第一图像以及可见光摄像机所采集的第二图像来进行后续的身份识别，红外摄像机与可见光摄像机的结合时的所采集的手掌图像具备更为丰富的信息量，从而可以提升基于手掌图像进行身份识别的准确性。在满足相应的预设条件，触发红外摄像机和/或可见光摄像机拍摄图像之后，通过对图像进行目标检测，可以确定目标检测结果为标识码或手的至少一部分中一者。
38.根据一些实施例，步骤s103包括：响应于所述目标检测结果为标识码，确定所述待识别图像为所述第二图像；响应于所述目标检测结果为手的至少一部分，确定所述待识别图像为所述第一图像和所述第二图像。并且步骤s104包括：响应于所述目标检测结果为标识码，确定当前身份识别算法为标识码识别算法；响应于所述目标检测结果为手的至少一部分，确定当前身份识别算法为指掌纹识别算法和指掌静脉识别算法。
39.换言之，当所检测的目标为标识码时，将可见光摄像机所采集的第二图像作为待
识别图像，并利用标识码识别算法对这一待识别图像进行身份识别；当所检测的目标为手的至少一部分时，将红外摄像机所采集的第一图像以及可见光摄像机所采集的第二图像作为待识别图像，并利用指掌纹识别算法和指掌静脉识别算法对红外摄像机以及可见光摄像机所采集的手掌图像进行身份识别。
40.由此，所述方法可以支持标识码图像和手掌图像的混合识别，以实现更多实际场景中的应用，例如，手掌与二维码结合的考勤机和手掌与二维码结合的pos机等。
41.根据一些实施例，所述方法还包括：响应于所述目标检测结果为标识码，使用可见光光源对可见光摄像头进行补光，在补光条件下，再次利用可见光摄像机获取新的第二图像。并且基于新的第二图像对所述标识码进行识别，以提高标识码识别的成功率。
42.在一个示例中，所述方法还包括：在环境光不足的情况下对环境光进行补充，具体的，使用可见光光源对可见光摄像头进行补光，使用红外光光源对红外摄像头进行补光，以在环境光不足的情况下采集到亮度符合要求的清晰图像。由于可见光对人眼造成影响，应尽量减少可见光补光灯打开时间，在可见光摄像头处于采集状态时，可以在环境光下拍摄一张或多张可见光图像用于进行目标检测和测光，检测到目标(例如手或二维码)后打开可见光补光灯进行补光；而红外光补光灯不会对人眼造成影响，可在红外摄像头处于采集状态时即打开。
43.根据一些实施例，身份识别方法100还包括：响应于接收到用户的注册请求，执行注册操作。图2示出了根据本发明实施例的执行注册操作的流程图。如图2所示，所述注册操作200包括：步骤s201、获取该用户的胁迫手部图像，其中，所述胁迫手部图像包括利用红外摄像机获取的第一胁迫手部图像和/或利用可见光摄像机获取的第二胁迫手部图像；步骤s202、提取所述胁迫手部图像中的手部胁迫特征；以及步骤s203、将该手部胁迫特征确定为该用户相应的预设胁迫特征。通过用户注册来采集该用户的胁迫手部图像，并基于所采集的胁迫手部图像提取得到该用户相应的预设胁迫特征以用于特征比对和身份识别。由此，在对用户的手掌进行识别时，可以识别到该用户是否处于受胁迫的状态，并在确定用户受胁迫时采取相应的安全措施来保证用户的安全，从而提升的身份识别方法的安全性能。同时，可以采用红外摄像机和可见光摄像机结合的方式来采集用户的胁迫手部图像，并相应的进行特征提取，使得提取得到的手部胁迫特征更为丰富、完备，以提高身份识别和对是否受胁迫的判断的准确性。
44.可以理解的是，在利用身份识别方法100进行身份识别前，需先录入用户的手掌信息或用户对应的标识码信息，以在后续通过对用户录入的信息和采集到的图像信息进行比对来实现身份识别和认证。
45.在一个示例中，用户在录入手掌信息时，可以选择开启防胁迫功能，并录入一个不同于正常手部图像的胁迫手部图像，比如录入左手的手掌图像用于正常非胁迫情况下的身份认证，录入右手的手掌图像用于受胁迫的情况下的身份认证。示例性的，用户也可以录入胁迫手势下的手部图像作为胁迫手部图像。
46.可以利用红外摄像机和/或可见光摄像机对用户的胁迫手势进行图像采集，并基于所采集的第一胁迫手部图像和/或第二胁迫手部图像来进行相应的手部胁迫特征的提取，例如，从第一胁迫手部图像提取掌静脉和/或从第二胁迫手部图像提取掌纹特征，以得到该用户相应的预设胁迫特征用于特征比对和身份识别。
47.根据一些实施例，用户注册时录入手部胁迫图像，并提取手部胁迫特征录入。在这种情况下，步骤s105中所执行的身份识别操作得到的结果包括：所述目标对应的对象，以及与所述对象的正常特征比中还是与所述对象的胁迫特征比中。可以理解的是，身份识别方法100可以用于识别目标对应的对象是谁，并对该对象的身份进行认证。示例性的，身份识别方法100还可以通过注册操作200来允许用户注册并录入胁迫手势图像，以在受胁迫的情况下开启防胁迫功能，因此，在对待识别图像执行身份识别操作后，能够识别到待识别图像所对应的对象是谁，以及待识别图像是与该对象的正常特征比中还是与该对象的胁迫特征比中，并在确定待识别图像与该对象的胁迫特征比中后，可以执行后台自动报警等保护措施，以实现防胁迫功能并保护用户的安全。
48.根据一些实施例，步骤s201、获取该用户的胁迫手部图像，其包括：获取该用户的初始的胁迫手势图像，并确定所述初始的胁迫手势图像的质量是否合格；以及响应于确定所述初始的胁迫手势图像的质量合格，将该初始的胁迫手势图像作为该用户相应的胁迫手部图像。在用户录入初始的胁迫手势图像后，需先对该图像的质量进行判断，以保证用户录入的胁迫手势图像质量合格并能够用于身份识别，以提供后续身份识别的准确性。
49.根据一些实施例，步骤s201包括：获取该用户的初始的胁迫手势图像，并确定所述初始的胁迫手势图像的质量是否合格；以及响应于确定所述初始的胁迫手势图像的质量不合格，展示备选手势集合；以及将该用户根据所述备选手势集合确定的手势图像作为该用户相应的胁迫手部图像。示例性的，响应于用户录入的初始的胁迫手势图像的质量不合格，可以向用户展示备选手势集合以供用户参考，并对用户根据备选手势集合确定的手势进行图像采集以作为该用户相应的胁迫手部图像。
50.图3示出了根据本发明实施例的身份识别操作的流程图。如图3所示，身份识别操作s105包括：步骤s301、对所述第一图像进行手掌检测，以获取所述第一图像中的第一手掌轮廓线和/或多个第一手指手掌关键点；步骤s302、基于所述第一手掌轮廓线和/或多个第一手掌关键点，确定所述第一图像的多个第一兴趣区域；步骤s303、基于所述多个第一兴趣区域，从第一图像中提取掌静脉特征；步骤s304、对所述第二图像进行手掌检测，以获取所述第二图像中的第二手掌轮廓线和多个第二手掌关键点；步骤s305、基于所述第二手掌轮廓线和多个第二手掌关键点，确定所述第二图像的至少一个第二兴趣区域；步骤s306、基于所述至少一个第二兴趣区域，从第二图像中提取掌纹特征；以及步骤s307、基于所述掌静脉特征和掌纹特征进行身份识别。由此，可以通过手掌轮廓线和多个手掌关键点分别确定第一图像和第二图像中的多个兴趣区域，以获取更全面的掌纹和掌静脉特征用于身份识别，从而能够提高身份识别的准确性。
51.根据一些实施例，所述身份识别方法还包括：基于所述第一图像的掌静脉特征，对所述目标进行活体识别，其中，对所述第二图像进行手掌检测为响应于判定所述目标为活体而执行的。
52.可以理解的是，人体血液中的血红蛋白对红外光具有良好的吸收作用，因此由红外摄像机所采集到的第一图像中可以呈现清晰的皮下静脉血管暗纹，因此，可以利用第一图像的掌静脉特征对目标对象进行活体识别，确定对象是活体后再综合第二图像中的掌纹特征进行进一步的身份认证，以避免识别到伪造的手掌特征。同时，因掌静脉特征隐藏在皮下，在可见光下很难被非法获取，用户的信息安全也得到了更好地保证。
53.根据一些实施例，步骤s301中所获取的多个第一手掌关键点和步骤s304中所获取的多个第二手掌关键点均包括多个手指根部的指节线的两个端点，以及手掌与手腕连接线的两个端点。可以看出，手掌关键点的连线可以包含整个手掌区域。由此，可分别根据多个第一手掌关键点和多个第二手掌关键点确定第一图像和第二图像中手掌区域的位置，关键点位置的设定也保证了由关键点所确定的手掌区域的完整性。
54.图4示出了根据本公开示例性实施例的多个第一手掌关键点的位置的示意图。可以理解的是，所述多个第一手掌关键点可以包括图4中所示出的各点，也可以根据实际的应用场景和需要对关键点的数量及其位置做出调整，本公开不仅仅是限定于图4中所示出的关键点数量及其位置。所述多个第二手掌关键点及其位置与所述多个第一手掌关键点类似，在此不作赘述。
55.在一个示例中，所有手指根部的指节线的两个端点以及手掌与手腕连接线的两个端点等关键点的位置为手掌区域的确定提供了一定的适应性和兼容性。例如，可根据手掌的大小自适应的调节手掌区域的大小，基于关键点所确定的手掌区域可以根据目标对象实际的大小、形状进行自适应的调节，以获得不同大小、形状的手掌区域，并非所有目标对象均截取固定大小的手掌中间区域，从而进一步保证了后续获取掌纹和掌静脉特征的全面性。
56.根据一些实施例，所述第一图像为所述红外摄像机所拍摄的第一视频流中的视频帧，所述第二图像为所述可见光摄像机所拍摄的第二视频流中的视频帧，其中，步骤s301包括：对所述第一图像进行手掌检测，得到多个原始第一关键点；基于所述第一视频流中所述第一图像的至少一个在先视频帧中的多个手掌关键点，修正原始第一关键点，以得到所述第一图像中的多个第一手掌关键点；步骤s304包括：对所述第二图像进行手掌检测，得到多个原始第二关键点；基于所述第二视频流中所述第二图像的至少一个在先视频帧中的多个手掌关键点，修正原始第二关键点，以得到所述第二图像中的多个第二手掌关键点。手掌关键点在视频流不同的视频帧中清晰度可能不同，可以分别通过视频流中位于第一图像和第二图像之前的历史视频帧的历史手掌关键点信息来进行更新和调整第一图像和第二图像的手掌关键点的位置，有助于得到更稳定、准确的关键点。
57.根据一些实施例，步骤s302中所确定的多个第一兴趣区域包括：手掌中间区域、拇指和手腕之间的区域，以及至少一个手指的两个指节线之间区域。
58.发明人发现，绝大多数人的掌静脉和掌纹信息集中在手掌的中间区域，也存在部分人的掌静脉在手掌中间区域比较暗、而在拇指和手腕之间的区域较强，因此，通过引入拇指和手腕之间的区域的特征，能够提高识别过程的泛化性。
59.示例性的，所述多个第一兴趣区域和多个第二兴趣区域还可以包括手指与手掌的交界区域以及整个手掌的区域，以获得更全面的掌纹、掌静脉信息，提高识别结果的准确性。
60.图5示出了据本公开示例性实施例的多个第一兴趣区域的位置的示意图。如图5所示，所述多个第一兴趣区域可以包括：手掌中间区域r1；拇指和手腕之间的区域r2；以及手指与手掌的交界区域r3。可以理解的是，所述多个第一兴趣区域可以包括图5中所示出的各个区域，也可以根据实际的应用场景和需要对兴趣区域的数量和位置做出调整，例如，第一兴趣区域还可以包括食指、中指、环指、小指等手指的指静脉区域。本公开不仅仅是限定于
图5中所示出的兴趣区域数量及位置。所述多个第二兴趣区域的位置与所述多个第一兴趣区域类似，在此不作赘述。
61.根据一些实施例，步骤s307包括：获取所述第二图像中手指根部的指节线特征；基于所述掌静脉特征、掌纹特征、指节线特征和第二手掌轮廓线，进行身份识别。由此，在掌纹、掌静脉特征的基础上引入了指节线特征和轮廓线特征以获取更全面的手掌特征，进一步提升了识别结果的准确率。
62.根据一些实施例，所述身份识别方法还包括：至少基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格；以及至少基于所述多个第二手掌关键点判断所述第二图像的图像质量是否合格，其中，对所述第一图像进行手掌检测为响应于确定所述第一图像的质量合格而执行的，对所述第二图像进行手掌检测为响应于确定所述第二图像的质量合格而执行的。通过在对第一图像和第二图像中的掌纹、掌静脉特征做进一步的识别之前，对第一图像和第二图像先进行质量验证，以及时排除质量不合格的图像。在一个示例中，在所采集的视频流中未获取到合格的图像，则提示用户重新放置手掌并对手掌图像进行补充采集。
63.可以理解的是，图像质量是否合格可以基于多个方面来进行判断，下面的实施例将示例性的对曝光度检测、完整性检测以及清晰度检测给出进一步的描述，但可以理解的是，本公开的技术方案并不局限于仅根据图像的上述三个属性中的至少一个来进行质量判断，也可以根据方法的具体应用场景来增加对图像其他属性的检测，例如手掌的变形检测，以用于判断图像的质量是否合格。
64.根据一些实施例，至少基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格包括：确定所述第一图像中手掌所在区域的各像素的亮度；以及基于所述第一图像中手掌所在区域的各像素的亮度，确定所述第一图像是否过曝，其中，至少基于所述多个第二手掌关键点判断所述第二图像是否合格包括：确定所述第二图像中手掌所在区域的各像素的亮度；以及基于所述第二图像中手掌所在区域的各像素的亮度，确定所述第二图像是否过曝。
65.在一个示例中，可以基于手掌所在区域中亮度饱和区域占整个手掌所在区域的比例来确定，当亮度饱和区域的占比超过一定阈值时，可以认为该图像过曝。通过对各像素亮度的检测，及时排除过度曝光的图像，以避免过曝对掌纹、掌静脉特征识别的影响。
66.根据一些实施例，至少基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格包括：基于所述多个第一手掌关键点判断所述第一图像中的手掌是否完整，至少基于所述多个第二手掌关键点判断所述第二图像是否合格包括：基于所述多个第二手掌关键点判断所述第二图像中的手掌是否完整。
67.根据一些实施例，可以基于手掌关键点的数量以及各个手掌关键点之间的位置关系判断图像中的手掌是否完整。例如，可根据手掌关键点的数量不足、缺少某个手指指根部的指节线的端点来确定图像中的手掌不完整；或是基于手掌与手腕连接线的两个端点距离过近来确定图像中的手掌可能是由于过于倾斜而不完整。手掌完整性的检测保证了后续流程中可以提取到完整的掌纹、掌静脉特征，进而提高识别结果的准确性。
68.根据一些实施例，至少基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格包括：基于所述多个第一手掌关键点，根据预设规则将所述第一图像中的手掌
划分为多个子区域；确定所述多个子区域中每一个子区域的掌静脉清晰度；以及基于所述多个子区域的掌静脉清晰度，确定所述第一图像是否清晰，其中，至少基于所述多个第二手掌关键点判断所述第二图像是否合格包括：基于所述多个第二手掌关键点，根据预设规则将所述第二图像中的手掌划分为多个子区域；确定所述多个子区域中每一个子区域的掌纹清晰度；以及基于所述多个子区域的掌纹清晰度，确定所述第二图像是否清晰。由此，可通过保证掌纹、掌静脉特征的清晰度，来保证对掌纹、掌静脉特征识别的准确性。
69.根据一些实施例，确定图像是否清晰可以包括：对图像进行分格，例如将图像分成20
×
20的网格，每一网格对应一个子区域；确定每一个网格中的图像是否清晰、是否包含足够的生物特征信号，例如，对于第一图像，可以检测每一个网格中是否包含足够的掌静脉特征信号，对于第二图像，可以检测每一个网格中是否包含足够的掌纹特征信号；对每一个网格输出一个清晰度指标，可以确定相应的清晰度指标超过预设阈值的网格为清晰区域；以及根据整张图像中清晰区域的占比来判断该图像是否清晰。
70.图6示出了据本公开示例性实施例的判断第一图像的图像质量是否合格的方法的流程图。如图6所示，基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格的方法600包括：步骤s601、确定所述第一图像中手掌所在区域的各像素的亮度，基于所述第一图像中手掌所在区域的各像素的亮度，确定所述第一图像是否过曝。步骤s602、响应于确定所述第一图像未过曝，基于所述多个第一手掌关键点判断所述第一图像中的手掌是否完整；以及步骤s603、响应于确定所述第一图像中的手掌完整，基于所述多个第一手掌关键点，根据预设规则将所述第一图像中的手掌划分为多个子区域，确定所述多个子区域中每一个子区域的掌静脉清晰度，以及基于所述多个子区域的掌静脉清晰度，确定所述第一图像是否清晰。其中，可以响应于确定所述第一图像过曝，执行步骤s604、重新获取第一图像。可以响应于确定所述第一图像中的手掌不完整，也执行步骤s604、重新获取第一图像。直至获取到未过曝、手掌完整、图像清晰的第一图像。
71.可以理解的，判断图像质量是否合格的方法中各步骤的执行顺序并不局限于上述一种方式，例如，可以最后执行图像是否过曝检测。
72.可以理解的是，基于所述多个第二手掌关键点判断所述第二图像的图像质量是否合格的流程与上述基于所述多个第一手掌关键点判断所述第一图像的图像质量是否合格的流程类似，在此不作赘述。
73.根据一些实施例，所述方法还包括：在步骤s302的确定多个第一兴趣区域之前对所述第一图像进行预处理；以及在步骤s305的确定多个第二兴趣区域之前，对所述第二图像进行预处理。
74.根据一些实施例，对第一图像和第二图像进行预处理可以包括：以多个手掌关键点为锚点，分别对第一图像和第二图像进行薄板样条插值(tps)，以根据手掌关键点之间的位置信息对手掌进行一定程度的形变。这一过程可以一定程度上抵消、校准由拍摄角度、手掌张开或闭合所造成的不规则扭曲。
75.根据一些实施例，对第一图像和第二图像进行预处理还可以包括：参照预设的标准手掌模板，分别将第一图像与第二图像中的手掌方向对齐，以进一步将手掌图像标准化。
76.根据一些实施例，对所述第一图像进行预处理还可以包括：将所述第一图像输入掌静脉识别模型，获取掌静脉识别模型所输出的所述第一图像中手掌的掌静脉，其中，对所
述第二图像进行预处理还可以包括：将所述第二图像输入掌纹识别模型，获取掌纹识别模型所输出的所述第二图像中手掌的掌纹。由此，通过掌静脉识别模型和掌纹识别模型实现对掌静脉和掌纹特征的预测和有效提取。
77.所述第一图像中手掌的掌静脉可以以二值化图像示意，所述第二图像中手掌的掌纹也可以以二值化图像示意。
78.图7示出了据本公开示例性实施例的掌纹识别模型和掌静脉识别模型的训练过程的流程图。如图7所示，所述掌纹识别模型和掌静脉识别模型的训练过程700包括：步骤s701、利用第一边缘检测算法提取第一样本手掌图像中的第一掌静脉图像，以及第二样本手掌图像中的第一掌纹图像，其中，所述第一样本手掌图像由红外摄像机拍摄得到，所述第二样本手掌图像由可见光摄像机拍摄得到；步骤s702、利用第二边缘检测算法提取第一样本手掌图像中的第二掌静脉图像，以及第二样本手掌图像中的第二掌纹图像；步骤s703、融合所述第一掌静脉图像和第二掌静脉图像，以得到所述第一样本手掌图像的真实掌静脉图像；步骤s704、融合所述第一掌纹图像和第二掌纹图像，以得到所述第二样本手掌图像的真实掌纹图像；步骤s705、利用所述第一样本手掌图像和所述第一样本手掌图像相对应的真实静脉图像，对掌静脉识别模型进行调参；以及步骤s706、利用所述第二样本手掌图像和所述第二样本手掌图像相对应的真实掌纹图像，对掌纹识别模型进行调参，从而能够结合两种边缘检测算法提取更加全面、准确的掌纹掌静脉特征。
79.第一边缘检测算法例如可以为gabor算子，第二边缘检测算法例如可以为maximum curvature算子(一种曲率尺度空间的角点检测算法)。gabor算子对细小特征较为敏感，能够提取到很细微的特征；maximum curvature算子能够提取到稳定的主静脉或者是主掌纹特征；因此，将这两种方法提取到的掌纹特征进行融合所得到的掌纹图像具备细致且稳定的特点；同样，融合得到的掌静脉图像中的掌静脉特征相较于单一算子所提取的特征也更为全面和稳定。通过这样的样本所训练出的模型所输出的掌纹和掌静脉特征同样具有特征全面和稳定的效果。
80.图8a、图8b和图8c示出了根据本发明实施例的二值化掌纹图像的示意图。其中，图8a示出了gabor算子提取的二值化掌纹图像，图8b示出了curvature算子提取的二值化掌纹图像，图8c示出了经训练得到的掌纹识别模型输出的二值化掌纹图像。可以看出，掌纹识别模型预测的二值化掌纹图像的掌纹质量更好，既具有掌纹的细微特征也具有稳定的主掌纹特征，从而基于二值化掌纹图像进行身份识别，能够提高识别结果的准确性。
81.根据一些实施例，所述掌静脉特征包括掌静脉的纹理特征和掌静脉的脉络特征，所述掌纹特征包括掌纹的纹理特征和掌纹的纹线特征。可以理解的是，掌静脉的纹理特征和掌纹的纹理特征可以用于表示手掌图像的全局特征；而掌静脉的脉络特征和掌纹的纹线特征可以用于表示手掌图像的细节特征，具体可以包括脉络和纹线的位置坐标、方向等。通过对掌纹、掌静脉的全局特征和局部特征的分级识别，可以提升识别的效率以及识别结果的准确率。
82.图9示出了根据本发明实施例的基于掌纹和掌静脉进行身份识别的方法的流程图。如图9所示，所述基于掌纹和掌静脉进行身份识别的方法900包括：
83.在主线程中，由距离传感器触发红外摄像机线程、可见光摄像机线程和比对线程同时开始工作；响应于检测到其它操作(例如查询操作)，确定缓存中是否有对比结果，响应
于确定有比对结果，则结束。响应于确定没有比对结果，则继续检测是否有其它操作。
84.在红外摄像机线程和可见光摄像机线程中，获取视频流后预先判断比对线程中是否有未完成的比对任务；响应于确定有未完成的比对任务，则在缓冲区中查询是否有比对结果；响应于确定有比对结果，则确定比对结果是否异常，若无异常，则返回比对结果。而响应于确定没有比对结果，则确定是否超时，若超时则返回比对结果，若未超时，则继续确定是否有未完成的比对任务。
85.在红外摄像机线程中，响应于确定没有未完成的比对任务以及确定有未处理的第一手掌的数据，确定是否有未处理的第二手掌的数据：响应于确定有未处理的第二手掌的数据，将第一手掌数据和第二手掌数据放入比对队列；响应于确定没有未处理的第二手掌的数据，则在缓冲区中查询是否有比对结果。响应于确定没有未完成的比对任务以及确定没有未处理的第一手掌的数据，从视频流中获取第一图像并进行手掌检测，确定是否检测到多个第一手掌关键点和第一手掌轮廓线。响应于检测到多个第一手掌关键点和第一手掌轮廓线，确定多个第一兴趣区域，然后确定是否有未处理的第二手掌的数据。响应于未检测到多个第一手掌关键点和第一手掌轮廓线，则在缓冲区中查询是否有比对结果；
86.在可见光线程中，响应于确定有未完成的比对任务或是有未处理的第二手掌的数据，确定是否有gui；响应于确定有gui，则在用户界面输出视频流中的第二图像。响应于确定没有gui，则继续判断是否有未完成的比对任务。而响应于确定没有未完成的比对任务以及确定没有未处理的第二手掌的数据，从视频流中获取第二图像并进行手掌检测，确定是否检测到多个第二手掌关键点和第二手掌轮廓线。响应于检测到多个第一手掌关键点和第一手掌轮廓线，确定多个第二兴趣区域，然后确定是否有gui，响应于确定有gui，则在用户界面输出视频流中的第二图像，并继续判断是否有未完成的比对任务。响应于未检测到多个第一手掌关键点和第一手掌轮廓线，确定是否有gui。
87.在比对线程中，基于第一手掌数据和第一手掌数据进行特征的提取和比对，并将比对结果写入缓冲区；在主线程和红外摄像机线程中分别查询是否有比对结果；若有，则在红外摄像机线程中判断比对结果是否异常，响应于无异常，返回在比对线程中得到的比对结果，即完成基于掌纹和掌静脉进行身份识别的流程，否则，返回确定是否有未完成的比对任务。
88.图10示出了根据本发明实施例的方法1000包括：
89.对ui界面进行操作以进入支付页面，示例性的，可以在支付页面中提示用户出示用于支付的二维码或者刷手掌进行支付。确定距离传感器是否检测到物体，响应于距离传感器检测到物体，触发可见光摄像机获取可见光视频流。判断二维码识别软件是否在可见光视频流中检测到二维码。
90.响应于在可见光视频流中检测到二维码，开始二维码支付流程：从二维码中提取出编码信息并获取对应的id，提取编码信息之前可通过opencv对二维码图像进行视角变化，以提高二维码信息识别、提取的准确率；将获取到的id回传到后台系统以获取与id对应的人员信息，返回二维码对应账户的人员信息。
91.响应于在可见光视频流中未检测到二维码，则进行手掌关键点的检测并判断是否在视频流中检测到手掌；若未检测到手掌，则返回继续获取可见光视频流；响应于在可见光视频流中检测到手掌，对可见光手掌图像进行质量判断，并开始手掌支付流程：获取红外视
频流，并参考可见光图像中的手掌关键点信息进行红外图像的手掌关键点检测，以加快定位关键点，并对红外手掌图像进行质量判断，以获取质量合格的手掌图像；分别在可见光视频流和红外视频流中获取到质量合格的手掌图像后，基于手掌的关键点信息，采集兴趣区域、手掌轮廓线等手掌信息；基于所确定的兴趣区域等信息，进行手掌特征的提取、加密及手掌特征的比对；返回比中的人员信息。最终，在主线程中，将比中的人员信息输出到ui，并完成支付流程。
92.需要说明的，上述仅是以支付场景为例来具体描述本公开实施例中基于掌纹和掌静脉进行身份识别的应用方法，并不限定本公开实施例中基于掌纹和掌静脉进行身份识别的方法仅适用于支付场景，例如，也可以适用于门禁系统。
93.根据本公开的另一方面，提供了一种身份识别装置。如图11所示，身份识别装置1100，包括：第一获取模块1101，被配置为响应于满足第一预设条件，利用红外摄像机获取第一图像，并对所述第一图像进行目标检测，以得到第一目标检测结果；第二获取模块1102，被配置为响应于满足第二预设条件，利用可见光摄像机获取第二图像，并对所述第二图像进行目标检测，以得到第二目标检测结果；第一确定模块1103，被配置为根据目标检测结果从备选图像中确定出待识别图像，其中，所述目标检测结果包括所述第一目标检测结果和/或所述第二目标检测结果，并且所述目标检测结果为标识码或手的至少一部分中一者，所述备选图像包括所述第一图像和/或所述第二图像；第二确定模块1104，被配置为根据所述目标检测结果确定当前身份识别算法；以及识别模块1105，被配置为通过当前身份识别算法，根据所述待识别图像执行身份识别操作。
94.身份识别装置1100的模块1101-1105的操作与前面描述的步骤s101-步骤s105的操作类似，在此不作赘述。
95.身份识别装置1100基于预设条件的满足情况，采用红外摄像机和/或可见光摄像机对目标进行图像的采集，并根据目标的检测结果是标识码或是手的至少一部分来确定对应的身份识别算法和待识别的图像，以利用所确定的身份识别算法对待识别图像进行身份识别，从而身份识别装置1100可以针对不同的目标(例如标识码或手的至少一部分)来进行更为灵活地身份识别，支持标识码图像和手掌图像的混合识别，以实现更多实际场景中的应用，例如，手掌与二维码结合的考勤机和手掌与二维码结合的pos机等，满足了不同用户在不同情况下的需求，提升用户体验的同时并能够提高身份识别的准确性。
96.根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的身份识别的方法。
97.根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的身份识别的方法。
98.根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述的身份识别的方法。
99.图12是示出根据本公开的示例性实施例的电子设备的示例的框图。要注意的是，图12所示出的结构仅是一个示例，根据具体的实现方式，本公开的电子设备可以仅包括图12所示出的组成部分中的一种或多个。
100.电子设备1200例如可以是通用计算机(例如膝上型计算机、平板计算机等等各种计算机)、移动电话、个人数字助理。根据一些实施例，电子设备1200可以是门禁设备或支付设备。
101.电子设备1200可被配置为拍摄图像，对所拍摄的图像进行处理，并且响应于所述处理所获得的数据而提供声音提示。例如，电子设备1200可被配置为拍摄图像，对该图像进行处理以基于处理结果进行身份识别，基于识别结果生成声音数据，并且输出声音数据提醒用户。
102.根据一些实施方式，所述电子设备1200可以被配置为包括门禁设备或支付设备或者被配置为能够可拆卸地安装到门禁设备或支付设备上。
103.电子设备1200可以包括摄像机1204，用于获取图像。摄像机1204可以包括但不限于摄像头或照相机等，被配置为获取包括待识别对象的初始图像。电子设备1200还可以包括电子电路1211，所述电子电路1211包括被配置为执行如前所述的方法的步骤(例如图1的流程图中所示的方法步骤)的电路。电子设备1200还可以包括声音合成电路1205，所述声音合成电路1205被配置为基于身份识别结果合成提示声音。所述声音合成电路1205例如可以通过专用芯片实现。电子设备1200还可以包括声音输出电路1206，所述声音输出电路1206被配置为输出所述声音数据。所述声音输出电路1206可以包括但不限于耳机、扬声器、或振动器等，及其相应驱动电路。
104.根据一些实施方式，所述电子设备1200还可以包括图像处理电路1207，所述图像处理电路1207可以包括被配置为对图像进行各种图像处理的电路。图像处理电路1207例如可以包括但不限于以下中的一个或多个：被配置为对图像进行降噪的电路、被配置为对图像进行去模糊化的电路、被配置为对图像进行几何校正的电路、被配置为对图像进行特征提取的电路、被配置为对图像中的对象进行对象检测和/或识别的电路，等等。
105.上述的各种电路(例如声音合成电路1205、声音输出电路1206、图像处理电路1207、电子电路1211中的一个或多个可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现。例如，上述的各种电路中的一个或多个可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如verilog，vhdl，c++)对硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)进行编程来实现。
106.根据一些实施方式，电子设备1200还可以包括通信电路1208，所述通信电路1208可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、802.11设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
107.根据一些实施方式，电子设备1200还可以包括输入设备1209，所述输入设备1209可以是能向电子设备1200输入信息的任何类型的设备，并且可以包括但不限于各种传感器、鼠标、键盘、触摸屏、按钮、控制杆、麦克风和/或遥控器等等。
108.根据一些实施方式，电子设备1200还可以包括输出设备1210，所述输出设备1210可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、视觉输出终端、振动器和/或打印机等。尽管电子设备1200根据一些实施例用于视障辅助设备，基于视觉的输出设备可以方便用户的家人或维修工作人员等从电子设备1200获得输出信息。
109.根据一些实施方式，电子设备1200还可以包括处理器1201。所述处理器1201可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。处理器1201例如可以是但不限于中央处理单元cpu或微处理器mpu等等。电子设备1200还可以包括工作存储器1208，所述工作存储器1202可以存储对处理器1201的工作有用的程序(包括指令)和/或数据(例如图像、文字、声音，以及其他中间数据等)的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。电子设备1200还可以包括存储设备1203，所述存储设备1203可以包括任何非暂时性存储设备，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、rom(只读存储器)、ram(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。工作存储器1202和存储设备1203可以被集合地称为“存储器”，并且在有些情况下可以相互兼用。
110.根据一些实施方式，处理器1201可以对摄像机1204、声音合成电路1205、声音输出电路1206、图像处理电路1207、通信电路1208、电子电路1211以及电子设备1200包括的其他各种装置和电路中的至少一个进行控制和调度。根据一些实施方式，图12中所述的各个组成部分中的至少一些可通过总线1213而相互连接和/或通信。
111.软件要素(程序)可以位于所述工作存储器1202中，包括但不限于操作系统1202a、一个或多个应用程序1202b、驱动程序和/或其他数据和代码。
112.根据一些实施方式，用于进行前述的控制和调度的指令可以被包括在操作系统1202a或者一个或多个应用程序1202b中。
113.根据一些实施方式，执行本公开所述的方法步骤(例如图1的流程图中所示的方法步骤)的指令可以被包括在一个或多个应用程序1202b中，并且上述电子设备1200的各个模块可以通过由处理器1201读取和执行一个或多个应用程序1202b的指令来实现。换言之，电子设备1200可以包括处理器1201以及存储程序的存储器(例如工作存储器1202和/或存储设备1203)，所述程序包括指令，所述指令在由所述处理器1201执行时使所述处理器1201执行如本公开各种实施例所述的方法。
114.根据一些实施方式，声音合成电路1205、声音输出电路1206、图像处理电路1207、通信电路1208、电子电路1211中的至少一个所执行的操作中的一部分或者全部可以由处理器1201读取和执行一个或多个应用程序1202的指令来实现。
115.软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如所述存储设备1203)中，并且在执行时可以被存入工作存储器1201中(可能被编译和/或安装)。因此，本公开提供存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备(例如视障辅助设备)的处理器执行时，致使所述电子设备执行如本公开各种实施例所述的方法。根据另一种实施方式，软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
116.还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现各个电路、单元、模块或者元件。例如，所公开的方法和设备所包含的电路、单元、模块或者元件中的一
些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如verilog，vhdl，c++)对硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)进行编程来实现。
117.根据一些实施方式，电子设备1200中的处理器1201可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。电子设备1200的其他模块也可以类似地分布。这样，电子设备1200可以被解释为在多个位置执行处理的分布式计算系统。
118.虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。