一种人脸图像匹配方法及其系统、可读存储介质与流程

本发明涉及人脸识别技术领域，特别涉及一种基于学习不变特征变换的人脸图像匹配方法及其系统、可读存储介质。

背景技术：

随着计算机视觉研究的不断深入，三维重建技术成为人脸识别数字化保护的有力工具。人脸识别三维建模后生成的较高精度数字化人脸识别三维模型可以有效地为人脸识别提供重要的数据和模型支持。最常用的人脸识别数字化方法有，多角度图像的三维重建。该方法只需要获取目标的照片，便可恢复出该目标的三维模型；具有简单快捷、方便普及的特点。重建步骤中，不同角度的人脸识别图像匹配是三维重建的基础，其准确率将直接影响模型重建的精度。

技术实现要素：

本发明针对人脸识别图像三维重建时特征误匹配率较高、效率较低的问题，提出了一种基于学习不变特征变换的人脸图像匹配方法及其系统、可读存储介质。

为了实现本发明目的，根据第一方面，本发明实施例提供一种人脸图像匹配方法，包括：

获取待配准图像和参考图像；

采用预先训练的卷积神经网络提取所述待配准图像得到第一图像特征，并采用预先训练的卷积神经网络提取所述参考图像得到第二图像特征；

确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域，并确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域；

对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果，对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果确定所述待配准图像和所述参考图像的匹配结果。

优选地，所述第一图像特征和第二图像特征均包括特征点和特征描述符。

优选地，所述确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域包括：

对所述待配准图像进行二值化处理得到第一二值化图像，并用生成的圆形结构元素对所述第一二值化图像进行数学形态上的腐蚀；

利用扫描函数从上到下对所述第一二值化图像进行扫描，并统计出每一行扫描线上特征点的个数得到第一特征点个数分布曲线；

根据所述第一特征点个数分布曲线确定待配准图像分割线。

优选地，所述确定所述待配准图像分割线后进行分区得到第二头部区域和第二躯干区域包括：

对所述待配准图像进行二值化处理得到第二二值化图像，并用生成的圆形结构元素对所述第二二值化图像进行数学形态上的腐蚀；

利用扫描函数从上到下对所述第二二值化图像进行扫描，并统计出每一行扫描线上特征点的个数得到第二特征点个数分布曲线；

根据所述第二特征点个数分布曲线确定待配准图像分割线。

优选地，对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果以及对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果均采用如下方式进行匹配：

对于分别位于不同图像的两个特征点，根据特征描述子向量之间的欧式距离与阈值的比较结果确定所述两个特征点是否为匹配点对。

优选地，设vi为图像，待配准图像为vi，参考图像为v2，则v1和v2中检测到的特征描述子集合为：

其中，为第i个图像的第n个特征点的描述子；

其中，所述根据特征描述子向量之间的欧式距离与阈值的比较结果确定所述两个特征点是否为匹配点对包括：

对每个在f(v2)中搜索它的最近邻l＊⁽¹⁾和次近邻l＊⁽²⁾：

对于任意采用最近邻搜索获得最近邻l＊⁽¹⁾和次近邻l＊⁽²⁾，

当r小于阈值δ时，则v1中的第k个特征点与v2中的第l＊⁽¹⁾个特征点为候选匹配，否则舍弃v1中的第k个特征点。

本发明实施例提供的人脸图像匹配方法在人脸识别图像特征提取及匹配中该方案的正确匹配率可以达到98％，相比于sift和surf方法正确匹配率提高了20％左右，特征点的可重复率提高了10％左右，同时将ransac的迭代时间降低了50％，而且在尺度、光照、角度发生变换时具有较好的鲁棒性。因此本发明实施例提出的方案能够很好地实现特征点的正确匹配，在人脸识别的三维重建中具有很高的使用价值。

根据第二方面，本发明实施例提供一种人脸图像匹配系统，其用于实现所述人脸图像匹配方法，包括：

图像获取单元，用于获取待配准图像和参考图像；

图像特征提取单元，用于采用预先训练的卷积神经网络提取所述待配准图像得到第一图像特征并采用预先训练的卷积神经网络提取所述参考图像得到第二图像特征；

图像分割单元，用于确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域并确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域；

图像匹配单元，用于对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果并对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果；

确定匹配单元，用于根据所述第一匹配结果和所述第二匹配结果确定所述待配准图像和所述参考图像的匹配结果。

优选地，所述图像分割单元包括第一图像分割单元和第二图像分割单元，所述第一图像分割单元用于确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域；所述第二图像分割单元用于确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域。

优选地，所述图像匹配单元包括第一图像匹配单元和第二图像匹配单元，所述第一图像匹配单元用于对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果，所述第二图像匹配单元用于对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果。

根据第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现所述人脸图像匹配方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一所述一种人脸图像匹配方法流程图。

图2为本发明实施例二所述一种人脸图像匹配系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

如图1所示，本发明实施例一提供一种人脸图像匹配方法，包括：

步骤s1、获取待配准图像和参考图像；

步骤s2、采用预先训练的卷积神经网络提取所述待配准图像得到第一图像特征，并采用预先训练的卷积神经网络提取所述参考图像得到第二图像特征；

步骤s3、确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域，并确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域；

步骤s4、对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果，对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果；

步骤s5、根据所述第一匹配结果和所述第二匹配结果确定所述待配准图像和所述参考图像的匹配结果。

其中，所述第一图像特征和第二图像特征均包括特征点和特征描述符。

本实施例中优选采用lift神经网络进行图像特征点的提取，其中，基于lift的人脸识别图像特征点提取需要对输入的人脸识别图像构建尺度空间，之后利用训练好的特征检测卷积神经网络来计算出分数映射金字塔，并采用非极大值抑制的方法筛选出特征点，在方向评估时选择更小的块作为输入，同样利用训练好的方向评估卷积神经网络来评估特征点的方向，最后利用训练好的特征描述子卷积神经网络提取出128维的特征描述符。

其中，深度卷积网络是一种前馈神经网络，其特点是权值共享网络结构和图像的局部感知。通过对大量数据的训练学习，该方法能够获取对平移、缩放和旋转具有不变性的观测数据的显著特征。lift是一种全新的深度卷积网络，它将特征检测、方向评估、描述子计算3个特征提取重要的步骤融合在一起进行学习，并且给出了特定的训练方法，保持了端到端可区分性的特征提取方法。

在本实施例中，所述确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域包括：

对所述待配准图像进行二值化处理得到第一二值化图像，并用生成的圆形结构元素对所述第一二值化图像进行数学形态上的腐蚀；

利用扫描函数从上到下对所述第一二值化图像进行扫描，并统计出每一行扫描线上特征点的个数得到第一特征点个数分布曲线；

根据所述第一特征点个数分布曲线确定待配准图像分割线。

在本实施例中，所述确定所述待配准图像分割线后进行分区得到第二头部区域和第二躯干区域包括：

对所述待配准图像进行二值化处理得到第二二值化图像，并用生成的圆形结构元素对所述第二二值化图像进行数学形态上的腐蚀；

利用扫描函数从上到下对所述第二二值化图像进行扫描，并统计出每一行扫描线上特征点的个数得到第二特征点个数分布曲线；

根据所述第二特征点个数分布曲线确定待配准图像分割线。

具体而言，为了更好的找到分割头部的位置，本发明实施例对上述第一特征点个数分布曲线以及第二特征点个数分布曲线进行平滑处理，经过加入相关的人体先验知识，可以知道出现的第一个波谷为人脸识别头部发髻出现的位置，而第二个波谷即为本发明实施例要找的头部分割线的位置；为了方便找出波谷，本发明实施例使用matlab中计算波峰函数来计算要求的波谷位置，所以需要将图像进行反转。

由于sift、surf匹配算法搜索的有效特征点为分布在重叠区域的特征点，因此传统的匹配算法对图像区域进行全面搜索的策略增加了算法的运行时间，同时也使得匹配错误率增加。因此，本发明实施例提出了对人脸识别图像确定头部分割线后进行分区匹配。

在本实施例中，对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果以及对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果均采用如下方式进行匹配：

对于分别位于不同图像的两个特征点，根据特征描述子向量之间的欧式距离与阈值的比较结果确定所述两个特征点是否为匹配点对。

具体而言，根据人脸识别图像头部分割线的位置，把lift提取的人脸识别图像特征点分为头部区域和躯干区域两部分，之后将分割后的两部分图像特征点分别进行基于欧式距离的两视图特征点匹配。基于欧式距离的人脸识别两视图特征点匹配是通过计算特征向量之间的欧式距离来实现。若位于两幅视图上的两个特征点对应的特征描述子向量之间的欧式距离小于一定阈值则认为这两个点特征对应于同一场景点，即作为一对匹配点对。

其中，设vi为图像，待配准图像为vi，参考图像为v2，则v1和v2中检测到的特征描述子集合为：

其中，为第i个图像的第n个特征点的描述子；

其中，所述根据特征描述子向量之间的欧式距离与阈值的比较结果确定所述两个特征点是否为匹配点对包括：

对每个在f(v2)中搜索它的最近邻l＊⁽¹⁾和次近邻l＊⁽²⁾：

以上两个公式采用的距离计算方法都是欧式距离，所得到的每个向量l＊均为128维，由于最近邻匹配方法得到的匹配点集存在错误的匹配点集，因此，需要进一步采用距离比测试筛选出候选匹配。

对于任意采用最近邻搜索获得最近邻l＊⁽¹⁾和次近邻l＊⁽²⁾，

当r小于阈值δ时，则v1中的第k个特征点与v2中的第l＊⁽¹⁾个特征点为候选匹配，否则舍弃v1中的第k个特征点。

本发明实施例提供的人脸图像匹配方法在人脸识别图像特征提取及匹配中该方案的正确匹配率可以达到98％，相比于sift和surf方法正确匹配率提高了20％左右，特征点的可重复率提高了10％左右，同时将ransac的迭代时间降低了50％，而且在尺度、光照、角度发生变换时具有较好的鲁棒性。因此本发明实施例提出的方案能够很好地实现特征点的正确匹配，在人脸识别的三维重建中具有很高的使用价值。

如图2，本发明实施例二提供一种人脸图像匹配系统，其用于实现所述人脸图像匹配方法，包括：

图像获取单元1，用于获取待配准图像和参考图像；

图像特征提取单元2，用于采用预先训练的卷积神经网络提取所述待配准图像得到第一图像特征并采用预先训练的卷积神经网络提取所述参考图像得到第二图像特征；

图像分割单元3，用于确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域并确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域；

图像匹配单元4，用于对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果并对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果；

确定匹配单元5，用于根据所述第一匹配结果和所述第二匹配结果确定所述待配准图像和所述参考图像的匹配结果。

优选地，所述图像特征提取单元2包括第一图像特征提取单元21和第二图像特征提取单元22，第一图像特征提取单元21用于采用预先训练的卷积神经网络提取所述待配准图像得到第一图像特征，第二图像特征提取单元22用于采用预先训练的卷积神经网络提取所述参考图像得到第二图像特征；

优选地，所述图像分割单元3包括第一图像分割单元31和第二图像分割单元32，所述第一图像分割单元31用于确定所述待配准图像分割线后进行分区得到第一头部区域和第一躯干区域；所述第二图像分割单元32用于确定所述参考图像头部分割线后进行分区得到第二头部区域和第二躯干区域。

优选地，图像匹配单元4包括第一图像匹配单元41和第二图像匹配单元42，第一图像匹配单元41用于对所述第一头部区域和第二头部区域的图像特征进行匹配得到第一匹配结果，第二图像匹配单元42用于对所述第二头部区域和第二头部区域的图像特征进行匹配得到第二匹配结果。

需说明的是，实施例二提出的系统与实施例一的方法相对应，因此，实施例二未详述的其他部分可参阅实施例一所述方法部分得到，此处不再赘述。

根据第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现实施例一所述人脸图像匹配方法。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。