一种基于特征匹配的车辆车脸图像对齐方法

1.本发明属于车脸图像对齐技术领域，具体涉及一种基于特征匹配的车辆车脸图像对齐方法。


背景技术：

2.车脸识别是利用计算机技术通过车脸的图像信息辨别不同身份的技术。车脸识别的一般步骤是采集图像数据、图像预处理、车脸定位、车脸图像规格化、车脸特征提取﹑特征匹配。
3.在车脸识别过程中，为了保证车脸特征库和用于识别的车脸图像特征的统一性，必须保证规格化后的车脸图像在车灯﹑车窗、车牌等部位的相对位置与标准车脸精确配准。车脸配准问题是指在车脸识别过程中，测试图片与训练图片的关键部位的位置是否匹配。大多数被错误识别的样本完全可以通过精确调整车脸的位置得到正确的识别结果，也就是说，车脸识别性能的下降很大程度上是由于自动定位的车脸位置不够准确造成的。因此需要对车脸图像进行车脸对齐，以保证样本的正确识别。
4.现有技术中的车脸对齐方法为基于mtcnn的车脸对齐方法，mtcnn技术是一种基于深度学习的人脸检测和人脸对齐方法。此方法在mtcnn技术的基础上进行解析，选取车前窗左下角、右下角，车头左下角、右下角四个特征点，对标注后的训练集数据进行训练产出模型，并对输出结果进行仿射变换，实现车脸对齐。
5.然而，mtcnn方法是有监督的，需要标注大量样本才能学习到车脸的特征点检测模型。并且其车辆特征点是人为定义的，无法基于更细节的特征进行判断。
6.总之，现有技术存在mtcnn方法是有监督的，需要标注大量样本才能学习到车脸的特征点检测模型。并且其车辆特征点是人为定义的，无法基于更细节的特征进行判断的问题。


技术实现要素：

7.为了克服上述现有技术存在的不足，本发明提供了一种基于特征匹配的车辆车脸图像对齐方法。
8.为了实现上述目的，本发明提供如下技术方案：
9.一种基于特征匹配的车辆车脸图像对齐方法，包括：
10.获取车脸图像数据集；
11.使用特征点提取网络提取所述车脸图像数据集中每一张图像的图像特征点，得到每一张车脸图像的特征点集合，并对多个车脸图像的特征点集合进行特征点匹配；
12.利用dbscan算法对车脸图像进行聚类，聚类过程包括：根据车脸图像特征点集合之间的匹配距离来计算车脸图像之间的距离，将距离相近车脸图像的聚为一类；
13.从每一个类别中找出一个与本类中其它车脸图像的距离之和最小的样本作为车脸模板图像；
14.将待对齐的车脸图像与多个车脸模板图像进行特征点匹配,选取与待对齐的车脸图像相似度最高的车脸模板图像；
15.基于相似度最高的车脸模板图像与待对齐的车脸图像的特征点匹配关系，计算这两组图像特征点集合之间的单应性矩阵h；
16.利用单应性矩阵对待对齐的车脸图像进行几何变换，得到车脸图像的对齐结果。
17.进一步，所述获取车脸图像数据集包括：读取交通卡口采集到的车辆图片，检测获取车脸区域，裁剪获取车脸图像部分，得到车脸图像数据集。
18.进一步，所述选取相似度最高的车脸模板图像包括：根据特征点匹配的距离，选取距离最低的匹配，即为相似度最高的车脸模板图像。
19.进一步，所述单应性矩阵h的计算方法为：
20.设有n组匹配点:他们之间的换算关系为:
[0021][0022]
其中，(ui,vi)和(xi,yi)分别为相似度最高的车脸模板图像与待对齐的车脸图像的像素坐标，[h1,h2,
…
,h9]为单应性矩阵h；
[0023]
根据以上换算关系，可以得到以下关于h1,h2,
…
,h9的线性方程组:
[0024][0025]
即：
[0026][0027]
根据这一共2n组线性方程，可以构造如下线性方程组：
[0028][0029]
该线性方程组的系数矩阵记作a，通过对a做奇异值分解，得到a的特征值最小的特征向量就是[h1,h2,
…
,h9]，即单应性矩阵h。
[0030]
进一步，所述对待对齐的车脸图像进行几何变换，其算法为：
[0031][0032]
其中，(x,y)为待对齐图像的像素坐标，(u,v)为(x,y)对齐到模板后的坐标。
[0033]
进一步，使用superglue特征点提取网络提取车脸图像特征点。
[0034]
本发明提供的一种基于特征匹配的车辆车脸图像对齐方法具有以下有益效果：
[0035]
本发明使用特征点提取网络提取车脸细节丰富、特征明显的特征点，利用dbscan聚类算法对车脸图像进行聚类，聚类后找出一个与本类中其它样本的距离之和最小的车脸图像作为车脸模板图像；将输入的车脸图像与每一个车脸模板图像进行特征点匹配，并选取相似度最高的车脸模板图像，根据相似度最高的车脸模板图像对车脸进行几何变换，从而得到车脸图像的对齐结果。
[0036]
本方法为无监督的方法，不需要任何标注样本，只需采用无监督学习的方法得到车脸模板图像与其特征点集合即可；相较于mtcnn方法的人为定义车辆特征点，本方法得到的特征点完全是由数据驱动的，能够发现人工难以确定的特征点，并且特征点数目也不是事先确定的，是根据车脸图像本身的特点确定的，相较于现有技术更加准确。
附图说明
[0037]
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明实施例的一种基于特征匹配的车辆车脸图像对齐方法流程图；
[0039]
图2为本发明实施例的特征点提取示意图；
[0040]
图3为本发明实施例的特征点匹配示意图；
[0041]
图4为本发明实施例的车脸模板图像特征点图片；
[0042]
图5为本发明实施例的车脸对齐过程图。
具体实施方式
[0043]
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0044]
实施例：
[0045]
如图1-5所示：
[0046]
本发明提供了一种基于特征匹配的车辆车脸图像对齐方法，具体如图1所示，包括：
[0047]
读取交通卡口采集到的车辆图片，获取车脸图像，对车脸图像进行模块化预处理，得到车脸图像数据集。
[0048]
使用superglue特征点提取网络提取车脸图像数据集中每一张图像的图像特征点，并利用特征点匹配算法对车脸图像进行特征点匹配，得到车脸图像特征点集合之间的匹配关系。
[0049]
根据车脸图像特征点集合之间的匹配关系计算得到车脸图像特征点集合之间的匹配距离。
[0050]
利用dbscan算法对车脸样本进行聚类，得到车脸模板图像特征点集合。
[0051]
聚类过程根据两个车脸图像特征点集合之间的匹配距离来计算车脸图像之间的距离，距离相近的相似度高，聚为一类。
[0052]
从每一个类别中找出一个最佳车脸图像作为聚类中心，即车脸模板图像，选取最佳车脸图像包括：选取与本类中其它样本的距离之和最小的样本。
[0053]
将待对齐的车脸图像与多个车脸模板图像进行特征点匹配,选取相似度最高的车脸模板图像。具体的，选取相似度最高的车脸模板图像包括：根据特征点匹配的距离选取距离最低的匹配，即为相似度最高的车脸模板图像。
[0054]
基于相似度最高的车脸模板图像与待对齐的车脸图像的特征点之间的匹配关系，用最小二乘法计算两者之间的单应性矩阵h：
[0055][0056]
其中，h为单应性矩阵。
[0057]
具体的，本发明采用直接线性变换法估计单应矩阵，计算方法如下：假设有n组匹配点:他们之间的换算关系为:
[0058][0059]
其中，(ui,vi)和(xi,yi)分别为相似度最高的车脸模板图像与待对齐的车脸图像的像素坐标，[h1,h2,
…
,h9]为单应性矩阵h；
[0060]
根据以上换算关系，可以得到以下关于h1,h2,
…
,h9的线性方程组:
[0061][0062]
即：
[0063]
[0064]
根据这一共2n组线性方程，可以构造如下线性方程组：
[0065][0066]
该线性方程组的系数矩阵记作a，通过对a做奇异值分解，得到a的特征值最小的特征向量就是[h1,h2,
…
,h9]，即单应性矩阵h。
[0067]
利用单应性矩阵h对车脸进行几何变换，其算法为：
[0068][0069]
其中，(x,y)是待对齐图像的像素坐标，(u,v)是(x,y)对齐到模板后的坐标。
[0070]
如图2为本实施例的提取图像特征点示意图，依据实际需求可以使用但不限于superglue特征提取网络提取车脸图像特征点。
[0071]
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。