人脸匹配方法、电子设备、存储介质和计算机程序产品与流程

本申请涉及图像处理，更具体地涉及一种人脸匹配方法、电子设备、存储介质和计算机程序产品。

背景技术：

1、随着直播、短视频的发展，用户对于人脸特效的需求也越来越高，例如美颜、美妆、3d人脸建模等均需要采用人脸特效。其中，如何将同一个人的正脸图片和侧脸图片，进行精确的配准，即人脸匹配，是一个非常重要的问题。因为在短视频和直播场景下，人脸的朝向并不是固定的，人脸会不断的转动，这就涉及到人的正脸和侧脸的匹配问题。只有匹配得足够精确，人的美颜美妆效果才是自如贴合的，不会发生突变。另外在一些3d人脸特效的应用中，最开始输入的是一张人的正脸，然后对人脸进行了3d建模，施加特效，当人脸转动时，要保证特效能够自然地随着人脸动起来，也需要对人的正脸和侧脸做图像配准，点位对齐。

2、人脸匹配在短视频时代有着广泛的应用，但是并没有一套现成的针对人脸的图像对齐算法。现有技术中，研究图像配准的数据集更多的是关于建筑和普通室内场景。但是，人脸的形状特点跟普通的建筑或者物品有明显的区别，人脸有固定的五官，五官的位置是相对固定的，并且有明显的视觉特征。对于脸颊，额头，下巴等区域，可视为一个不规则的三维平面，并没有明显的棱角或者参照点，不同的人差别很大。并且，随着人脸的转动这些区域呈现的视角变化也很大，现有的图像配准方法无法有效地对人脸进行精确的对齐和配准。

技术实现思路

1、考虑到上述问题而提出了本申请。本申请提供了一种人脸匹配方法、电子设备、存储介质和计算机程序产品。

2、根据本申请的一个方面，提供了一种人脸匹配方法，包括：获取第一人脸图像和第二人脸图像，第一人脸图像和第二人脸图像是针对同一人脸的不同角度采集的图像；对第一人脸图像和第二人脸图像分别进行关键点检测，获得第一人脸图像上的第一人脸关键点集合和第二人脸图像上的第二人脸关键点集合，第一人脸关键点集合和第二人脸关键点集合分别包括人脸上的第一人脸区域内的人脸关键点，第一人脸区域包括人脸轮廓所在的轮廓区域；确定第一人脸关键点集合和第二人脸关键点集合中相互匹配的人脸关键点，以确定第一人脸关键点对集合；从第一人脸图像和第二人脸图像上分别提取至少部分图像区域的图像特征，获得第一人脸图像所对应的第一图像特征和第二人脸图像所对应的第二图像特征，至少部分图像区域包括人脸所在的人脸区域；将第一图像特征和第二图像特征进行特征匹配，以确定第二人脸关键点对集合，第二人脸关键点对集合包括第一人脸图像上的第三人脸关键点集合和第二人脸图像上的第四人脸关键点集合，第三人脸关键点集合中的各人脸关键点与第四人脸关键点集合中的各人脸关键点一一匹配；基于第一人脸关键点对集合和第二人脸关键点对集合，将第一人脸图像中的人脸和第二人脸图像中的人脸进行匹配。

3、根据本申请的另一个方面，还提供了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的人脸匹配方法。

4、根据本申请的又一个方面，还提供了一种存储介质，在存储介质上存储了程序指令，其中，程序指令在运行时用于执行上述的人脸匹配方法。

5、根据本申请的再一个方面，还提供了一种计算机程序产品，计算机程序产品包括计算机程序，其中，所述计算机程序在运行时用于执行上述的人脸匹配方法。

6、根据本申请实施例的人脸匹配方法、电子设备、存储介质和计算机程序产品，通过关键点检测获得至少轮廓区域上的人脸关键点对，并通过特征匹配获得其他人脸关键点对。特征匹配是基于至少部分图像区域的图像特征进行的匹配，其有较大概率能够匹配获得位于轮廓区域以外的区域，甚至是位于轮廓区域和五官区域以外的区域上的关键点对。因此，通过将这两种方法结合，可以充分获取人脸各个区域上的关键点，从而有助于实现较为精准的人脸匹配。

技术特征：

1.一种人脸匹配方法，包括：

2.如权利要求1所述的方法，其中，所述第一图像特征中的各特征点与所述第一人脸图像上的各第一图像块一一对应，所述第一图像特征中的每个特征点代表对应的第一图像块的特征信息，所述第二图像特征中的各特征点与所述第二人脸图像上的各第二图像块一一对应，所述第二图像特征中的每个特征点代表对应的第二图像块的特征信息；

3.如权利要求2所述的方法，其中，所述将所述像素点对集合中位于所述人脸区域内的像素点对确定为所述第二人脸关键点对集合，包括：

4.如权利要求1-3任一项所述的方法，其中，所述基于所述第一人脸关键点对集合和所述第二人脸关键点对集合，将所述第一人脸图像中的人脸和所述第二人脸图像中的人脸进行匹配，包括：

5.如权利要求4所述的方法，其中，所述关键点对分布要求包括第一分布要求、第二分布要求和第三分布要求，所述按照关键点对分布要求，分别对所述第一人脸关键点对集合和所述第二人脸关键点对集合中的人脸关键点对进行筛选，包括：

6.如权利要求5所述的方法，其中，所述第一新人脸关键点对集合包括属于所述目标人脸图像的第五人脸关键点集合，所述第二人脸关键点对集合包括属于所述目标人脸图像的第六人脸关键点集合，

7.如权利要求4所述的方法，其中，所述基于所述第一新人脸关键点对集合和所述第二新人脸关键点对集合组成的所述总人脸关键点对集合，将所述第一人脸图像中的人脸和所述第二人脸图像中的人脸进行匹配，包括：

8.如权利要求1-3任一项所述的方法，其中，所述第一区域还包括至少部分五官区域。

9.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至8任一项所述的人脸匹配方法。

10.一种存储介质，在所述存储介质上存储了程序指令，其中，所述程序指令在运行时用于执行如权利要求1至8任一项所述的人脸匹配方法。

11.一种计算机程序产品，所述计算机程序产品包括计算机程序，其中，所述计算机程序在运行时用于执行如权利要求1至8任一项所述的人脸匹配方法。

技术总结
本申请实施例提供一种人脸匹配方法、电子设备、存储介质和计算机程序产品。方法包括：获取第一人脸图像和第二人脸图像；对第一人脸图像和第二人脸图像分别进行关键点检测，获得第一人脸关键点集合和第二人脸关键点集合；确定第一人脸关键点集合和第二人脸关键点集合中互相匹配的关键点，以确定第一人脸关键点对集合；从第一人脸图像和第二人脸图像上分别提取至少部分图像区域的图像特征，获得第一图像特征和第二图像特征；将第一图像特征和第二图像特征进行特征匹配，以确定第二人脸关键点对集合；基于第一人脸关键点对集合和第二人脸关键点对集合，将第一人脸图像中的人脸和第二人脸图像中的人脸进行匹配。可实现较为精准的人脸匹配。

技术研发人员：辛琪,金宇林
受保护的技术使用者：北京旷视科技有限公司
技术研发日：
技术公布日：2024/1/15