脸部验证方法、设备以及计算设备与流程

下面的描述涉及脸部验证技术。

背景技术：

1、脸部验证技术是一种生物测量学认证技术并可包括基于出现在静止图像或视频中的脸部来确定用户是否是有效用户。这种脸部验证技术可在不与目标接触的情况下验证目标。

技术实现思路

1、提供本
技术实现要素：
来以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意图识别要求保护的主题的关键特征或必要特征，本发明内容也不意图用于帮助确定要求保护的主题的范围。

2、在一个总体方面，一种处理器实现的脸部验证方法，包括：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部；响应于确定检测的脸部区域表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合来生成合成图像；针对合成图像和预定的第一登记信息执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。

3、执行验证操作的步骤还可包括选择性地：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息来执行验证；当检测的脸部区域被确定为表示局部脸部时，针对合成图像和第一登记信息执行验证。

4、针对检测的脸部区域和第二登记信息执行验证的步骤可包括：基于检测的脸部区域的图像信息与包括参考图像信息的参考图像的图像信息之间的差，来提取输入图像的特征；并基于将提取的特征与多个登记特征之中的与全脸对应的选择的登记特征进行比较的结果，来确定脸部验证是否成功。

5、参考图像信息可对应于参考图像的选择的脸部区域的图像信息，选择的脸部区域可对应于检测的脸部区域的确定的缺失的脸部部分或者检测的脸部区域的确定的局部脸部类型。

6、针对合成图像和第一登记信息执行验证操作的步骤可包括：从从合成图像和参考图像得到的差图像提取特征，并将提取的特征与第一登记信息的登记特征进行比较。

7、确定检测的脸部区域是否表示局部脸部的步骤可基于检测的脸部区域的至少一个确定的位置或者基于根据参考脸部部分的预定位置的至少一个确定的缺少的脸部部分。

8、确定检测的脸部区域是否表示局部脸部的步骤可包括：响应于确定检测的脸部区域包括输入图像的边界的一部分，确定检测的脸部区域表示局部脸部。

9、生成合成图像的步骤可包括：通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息可以是参考图像的被确定为与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息。

10、参考图像的所述部分可以是被确定从检测的脸部区域缺失的全脸的其余部分。

11、确定检测的脸部区域是否表示局部脸部的步骤可包括：响应于确定检测的脸部区域不包括分别与多个预定义的脸部部分区域中的至少一个对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。

12、所述方法还可包括：在检测的脸部区域中检测多个脸部标志点，确定检测的脸部区域不包括所述一个或多个参考脸部标志点的步骤可包括：将检测的所述多个脸部标志点与所述一个或多个参考脸部标志点进行比较。

13、检测在检测的脸部区域中的所述多个脸部标志点中的一个或多个的步骤可在检测脸部区域的步骤中执行，以检测脸部区域。

14、生成合成图像的步骤可包括：通过将检测的脸部区域的图像信息和参考图像的作为参考图像信息的与所述多个预定义的脸部部分区域中的所述至少一个对应的部分的图像信息进行组合，来生成合成图像。

15、可基于所述多个预定义的脸部部分区域中的所述至少一个来确定用于将检测的脸部区域的图像信息与参考图像的所述部分的图像信息进行组合的参考图像的所述部分的位置和形状。

16、针对合成图像和第一登记信息的验证操作可包括：使用特征提取器提取合成图像的特征；基于将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较的结果，来确定输入图像的脸部验证是否成功。

17、所述方法还可包括：基于针对一个或多个参考脸部部分区域对检测的脸部区域中的多个脸部标志点的分析，来确定检测的脸部区域的局部脸部类型。

18、检测脸部区域的步骤可包括检测所述多个脸部标志点中的一个或多个。

19、提取合成图像的特征的步骤可包括：向特征提取器提供合成图像与包括参考图像信息的参考图像之间的差的图像信息。

20、特征提取器可以是包括与多个局部脸部类型分别对应的多个输出层的神经网络。

21、神经网络可包括：公共特征提取器，包括一个或多个训练的神经网络层，被配置为接收检测的脸部区域并提取中间特征；第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于检测的脸部区域被确定为表示全脸，接收中间特征并提取全脸特征信息；第二特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于检测的脸部区域被确定为表示局部脸部，接收中间特征并提取局部脸部特征信息，其中，执行验证操作的步骤可包括：将全脸特征信息与预定的第二登记信息进行比较或者将局部脸部特征信息与第一登记信息进行比较。

22、所述多个登记特征可包括针对多个不同的局部脸部类型中的每个局部脸部类型的对应的登记特征。

23、所述多个局部脸部类型可以是各自不同的局部脸部类型。

24、参考图像信息可从参考图像获得，并且参考图像可以是基于多个训练图像确定的图像，其中，所述多个训练图像用于训练在验证操作中使用的用于从合成图像提取用于与第一登记信息进行比较的特征的特征提取器。

25、特征提取器可包括训练的神经网络，并且所述方法还可包括：使用所述多个训练图像训练用于提取脸部图像特征的神经网络，从所述多个训练图像确定参考图像。

26、所述方法还可包括：确定检测的脸部区域中是否存在遮挡区域，其中，响应于确定检测的脸部区域中存在遮挡区域，还可通过将检测的脸部区域的被确定为存在遮挡区域的图像信息的部分替换为参考图像的与遮挡区域对应的部分的图像信息，来执行合成图像的生成，其中，参考图像包括参考图像信息。

27、所述方法还可包括：检测在检测的脸部区域中的多个脸部标志点，并通过基于检测的多个脸部标志点的确定的位置调节检测的脸部区域来生成检测的脸部区域的图像信息。

28、在一个总体方面，提供一种存储指令的非暂时性计算机可读存储介质，其中，当所述指令由计算硬件执行时使计算硬件实现在此描述的操作中的一个或多个、任何组合或全部。

29、当所述脸部验证方法正被执行时，可不向用户提供表示脸部区域的图像。

30、当所述脸部验证方法正被执行时，可不向用户显示用于激励用户的定位来捕捉输入图像的指南。

31、在一个总体方面，一种脸部验证设备，包括：处理器，被配置为：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部；响应于检测的脸部区域被确定为表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合来生成合成图像；针对合成图像和预定的第一登记信息执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。

32、对于验证操作的执行，处理器可被配置为选择性地：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息执行验证；当检测的脸部区域被确定为表示局部脸部时，针对合成图像和第一登记信息执行验证。

33、参考图像信息可对应于参考图像的选择的脸部部分的图像信息，其中，选择的脸部部分可对应于检测的脸部区域的确定的缺失的脸部部分或者检测的脸部区域的确定的局部脸部类型。

34、对于针对合成图像和第一登记信息的验证操作的执行，处理器可被配置为：得到合成图像与参考图像之间的差，从得到的差提取特征，并将提取的特征与第一登记信息的登记特征进行比较。

35、对于检测的脸部区域是否表示局部脸部的确定，处理器可被配置为：响应于由处理器确定检测的脸部区域包括输入图像的边界的一部分，确定检测的脸部区域表示局部脸部。

36、处理器可被配置为：通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息可以是参考图像的由处理器确定的与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息。

37、参考图像的所述部分可以是由处理器确定为从检测的脸部区域缺失的全脸的其余部分。

38、对于检测的脸部区域是否表示局部脸部的确定，处理器可被配置为：响应于由处理器确定检测的脸部区域不包括与多个预定义的脸部部分区域中的至少一个分别对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。

39、处理器还可被配置为：检测在检测的脸部区域中的多个脸部标志点，并通过将检测的多个脸部标志点与所述一个或多个参考脸部标志点进行比较来确定检测的脸部区域不包括所述一个或多个参考脸部标志点。

40、处理器可被配置为：当执行脸部区域的检测时，检测在检测的脸部区域中的所述多个脸部标志点中的一个或多个。

41、处理器可被配置为：通过将检测的脸部区域的图像信息和参考图像的与所述多个预定义的脸部部分区域中的所述至少一个对应的部分的图像信息进行组合，来生成合成图像。

42、对于针对合成图像和第一登记信息的验证操作，处理器可被配置为：使用特征提取器提取合成图像的特征，并基于由处理器将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较，来确定输入图像的脸部验证是否成功。

43、处理器还可被配置为：确定检测的脸部区域中是否存在遮挡区域，并且响应于确定检测的脸部区域中存在遮挡区域，对于合成图像的生成，处理器还可被配置为：将检测的脸部区域的被确定为存在遮挡区域的图像信息的部分替换为参考图像的与遮挡区域对应的部分的图像信息，其中，参考图像包括参考图像信息。

44、所述设备还可包括：相机，被配置为捕捉包括所述脸部区域的脸部图像，其中，所述脸部验证设备还可被配置为：当包括检测脸部区域的脸部验证处理正被执行时，不显示捕捉的脸部图像。

45、在一个总体方面，一种计算设备包括：相机，被配置为获得用户的脸部图像；显示器，被配置为在获得所述脸部图像期间能够被用户观察到；处理器，被配置为通过将获得的脸部图像与登记的脸部图像进行比较来执行脸部验证，其中，计算设备在脸部验证正被执行时不在显示器上显示获得的脸部图像。

46、处理器可被配置为：当获得的脸部图像包括用户的全脸信息时以及当获得的脸部图像仅包括用户的局部脸部信息时执行脸部验证。

47、响应于获得的脸部图像仅包括用户的局部脸部信息，处理器可被配置为：基于确定的局部脸部信息的类型来生成获得的脸部图像与预定义的参考图像的合成图像，并基于合成图像来执行脸部验证。

48、在一个总体方面，一种处理器实现的脸部验证方法包括：检测输入图像中的脸部区域；通过选择性地执行将预定的第一登记特征和从合成脸部提取的特征进行比较的第一验证操作和执行将预定的第二登记特征与从检测的脸部区域提取的特征进行比较的第二验证操作，来执行输入图像的脸部验证，其中，合成图像包括检测的脸部区域的图像信息和填充信息，第二登记特征是从登记图像提取的特征，第一登记特征是从基于登记图像的合成登记脸部提取的特征。

49、所述方法还可包括：确定检测的脸部区域是否表示局部脸部，其中，选择性地执行第一验证操作和第二验证操作的步骤还可包括：当检测的脸部区域被确定为表示局部脸部时选择执行第一验证操作，当检测的脸部区域不被确定为表示局部脸部时选择执行第二验证操作。

50、填充信息可对应于参考图像的选择的脸部部分的图像信息，其中，当检测的脸部区域被确定为表示局部脸部时，选择的脸部部分可对应于检测的脸部区域的确定的缺失的脸部部分。

51、所述方法还可包括：执行从合成登记脸部提取第一登记特征的第一登记操作，执行从登记图像提取第二登记特征的第二登记操作，其中，合成登记脸部包括登记图像的局部图像信息和登记填充信息。

52、填充信息和登记填充信息可包括相同的参考图像信息。

53、在一个总体方面，一种脸部验证设备包括：公共特征提取器，包括一个或多个训练的神经网络层，被配置为接收脸部图像并输出中间特征；第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于脸部图像被确定为包括全脸信息，接收中间特征并提取脸部验证特征；第二特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于脸部图像被确定为表示局部脸部，接收中间特征并提取另一脸部验证特征。

54、所述设备可包括：处理器，被配置为：当脸部图像被确定为包括全脸信息时，通过将脸部验证特征与捕捉的验证图像的提取的特征进行比较来选择性地执行第一验证操作；当脸部图像被确定为包括局部脸部信息时，通过将所述另一脸部验证特征与基于验证图像的合成脸部的提取的特征进行比较，选择性地执行第二验证操作；基于执行的第一验证操作或第二验证操作的结果来指示输入图像的脸部验证是否成功。

55、所述设备可包括：处理器，被配置为以顺序的次序，执行将登记脸部提供给公共特征提取器的第一登记操作并从第一特征提取器提取脸部验证特征，执行将合成脸部提供给公共特征提取器的第二登记操作并提取所述另一脸部验证特征。

56、公共特征提取器可包括一个或多个卷积层。

57、公共特征提取器可包括一个或多个全连接层或致密层。

58、第一特征提取器和第二特征提取器可各自均包括一个或多个全连接层或致密层。

59、第二特征提取器可被配置为多个单独的特征提取器，其中，第二特征提取器中的每个可被配置为提取不同类型的局部登记脸部信息的特征。

60、在一个总体方面，一种脸部验证设备包括：公共特征提取器，包括一个或多个训练的神经网络层，被配置为提取针对包括全脸信息的登记脸部的第一中间特征以及针对一个或多个合成脸部的一个或多个各自的第二中间特征，其中，所述一个或多个合成脸部均包括各自的登记脸部的局部脸部信息；第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为接收第一中间特征并提取全脸验证特征；以及一个或多个第二特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为分别接收所述一个或多个各自的第二中间特征并提取各自的局部脸部验证特征。

61、第一中间特征的提取和所述一个或多个各自的第二中间特征的提取可并行执行和/或全脸验证特征的提取和各自的局部脸部验证特征的提取被并行执行。

62、所述设备可包括：处理器，被配置为：当捕捉的脸部图像被确定为表示全脸时，通过将全脸验证特征与使用公共特征提取器和第一提取器提取的捕捉的验证图像的特征进行比较来选择性地执行第一验证操作；当捕捉的脸部图像被确定为表示局部脸部时，通过将各个局部脸部验证特征中的至少一个与使用公共特征提取器和所述一个或多个第二特征提取器中的至少一个第二特征提取器基于捕捉的脸部图像的合成验证脸部的提取的特征进行比较，选择性地执行第二验证操作；并基于执行的第一验证操作或第二验证操作的结果来指示输入图像的脸部验证是否成功。

63、在一个总体方面，一种计算设备包括：显示器；相机，被配置为捕捉目标的脸部图像；以及处理器，被配置为通过将捕捉的脸部图像与登记脸部图像进行比较来执行脸部验证，其中，所述计算设备还被配置为当脸部验证正被执行时不在显示器上显示捕捉的脸部图像，其中，处理器被配置为当捕捉的脸部图像表示全脸以及当捕捉的脸部图像表示局部脸部时执行脸部验证。

64、处理器还可被配置为：确定捕捉的脸部图像是否表示局部脸部，响应于捕捉的脸部图像被确定为表示局部脸部，基于捕捉的脸部的局部脸部类型来生成捕捉的脸部图像和选择的参考图像信息的合成脸部，并基于合成脸部来执行脸部验证。

65、通过下面的具体实施方式、附图和权利要求，其他特征和方面将清楚。