本发明涉及模式识别与计算机视觉领域，并将其应用至证件识别系统上，特别是一种基于特征融合匹配的行驶证检测和识别方法。
背景技术：
机动车行驶证是车辆管理的主要证件，通过行驶证可以明确车辆的归属，在交通执法过程中扮演着重要的角色。随着社会信用体系不断完善，行驶证的应用范围不再局限于交通领域，可作为个人信用凭证，应用到保险、银行等部门。所以录入行驶证信息成了一项十分关键的工作，但人工录入效率低、容易出错，而将行驶证卡芯改造成IC卡增加成本。随着文字识别技术的进步，使得行驶证的自动识别成为可能。人们使用移动设备拍摄行驶证图片，经识别系统处理后自动得到文字信息，这种录入方式操作难度较低，能简化相关流程，应用面广，实用性高。
当然，直接从光学图像识别出证件信息也面临着很多的挑战。首先，用户拍摄时的光照环境有所差异，容易造成图像偏暗或偏亮的现象产生，这给图像文字与背景的分离工作造成很大的困难，设计的算法需要根据当前图片的亮度属性自适应地调整分离的阈值，对算法的鲁棒性提出了一定的要求。其次，很多情况下，用户拍摄时很难正对行驶证，导致拍摄的图像中行驶证具有一定角度的倾斜、偏移，所以算法需要确定行驶证的轮廓区域，并将其校正成正对的图像，在校正的过程中，需要排除拍摄的背景和行驶证上覆膜的影响。最后，行驶证上的底纹，在光照偏暗的场景下，会被很多算法当成是文字的边缘，从而被误判成为文字，导致文字识别结果中出现不存在的字符，降低文字识别准确率。
本发明提出的机动车行驶证检测和识别方法基于特征融合匹配的技术，通过背景模板匹配方法对行驶证边缘轮廓的位置进行定位以完成倾斜校正，再经模板分割以及融合二值化方法，得到区域二值化图像，最后通过分类器对二值图像进行识别，得到文字识别结果。在实际应用中，本文所提方法表现得较为出色，对光照变换性、场景复杂性具有较强的适应处理能力，检测和识别时间较短，具有快速、准确率高等优点。
技术实现要素：
本发明的目的在于提供一种基于特征融合匹配的行驶证检测和识别方法，以克服现有技术中存在的缺陷，并解决针对机动车行驶证快速检测和识别问题。
为实现上述目的，本发明采用以下技术方案：一种基于特征融合匹配的行驶证检测和识别方法，其包括以下步骤：步骤A：从行驶证模板图像中提取关键点，计算关键点特征；步骤B：使用分类器判定待检测图像是否为行驶证图像；步骤C：若为行驶证图像，则从图像中提取关键点，计算关键点特征；步骤D：根据提取的关键点特征，进行特征匹配，计算透视变换矩阵，得到行驶证定位和校正结果；步骤E：提取行驶证字段区域图像，进行字段区域图像二值化；步骤F：对字段区域进行文字分割，并使用分类器对文字进行识别，得到行驶证文字内容识别结果。
在本发明一实施例中，所述步骤A中，从行驶证模板图像中提取关键点，计算关键点特征，具体包括以下步骤：步骤A1：从行驶证模版图像中提取候选关键点；步骤A2：对候选关键点进行非极大值抑制操作，筛选关键点：对于候选关键点，在以其为中心5×5像素的邻域内，如果该候选关键点的得分值S为该邻域中所有候选关键点的得分最大值，则将其标记为关键点，否则将其标记为非关键点；步骤A3：计算关键点特征。
在本发明一实施例中，所述步骤A1中，从行驶证模版图像中提取候选关键点，具体包括以下步骤：步骤A11：对图像进行灰度化处理，其灰度化公式如下：
V＝(Vr+Vg+Vb)/3；
其中，Vr、Vg、Vb为图像在RGB颜色空间下各通道的像素值，V为灰度值。步骤A12：对于图像中的每个像素点，按照下面的公式计算其得分值S：
其中，P为当前像素点的灰度值，nr为以当前像素点为中心半径为r的圆上点的个数，为半径为r圆上第in个像素点的灰度值，R为统计半径最大值，pix为函数f的输入参数，t为跳跃阈值；步骤A13：当像素点的得分值S大于设定阈值时，将该像素点标记为候选关键点。
在本发明一实施例中，所述步骤A3中，计算关键点特征，具体包括以下步骤：步骤A31：计算梯度：将图像转换到HSV颜色空间，只取H通道作为其灰度值。对关键点，计算以其为中心的64×64像素邻域内各像素点的梯度，公式如下：
θ＝arctan(Gy/Gx)；
其中，A为以关键点为中心3×3邻域所有像素点灰度值组成的矩阵，为卷积运算，Gx为横向梯度幅值，Gy为纵向梯度幅值，G为梯度幅值，θ为梯度方向；步骤A32：计算特征向量；步骤A33：对特征向量进行降维操作，得到降维后的特征向量。
在本发明一实施例中，所述步骤A32中，计算特征向量，具体包括以下步骤：步骤A321：选取8×8像素大小的滑动窗口，取步长为1，对以关键点为中心64×64像素邻域进行遍历；步骤A322：对滑动窗口内的所有像素点的梯度幅值进行归一化操作，归一化操作定义如下：
其中，mij为滑动窗口内第i行第j列像素点的梯度幅值，M为滑动窗口内所有梯度幅值组成的64维的行向量，||M||1为向量M的1范数，ε为一个小于10-6的常量，为滑动窗口第i行第j列像素点归一化后的梯度幅值；步骤A323：将梯度方向按照10度的间隔分割方向区间，并从1开始给区间编号，初始化各区间分值为0；对滑动窗口内所有像素点，将其梯度幅值累加到梯度对应的方向区间的分值上；按照以下公式得到该关键点的特征向量：
fx,y＝(s(x,y)1,s(x,y)2,...s(x,y)9)T x,y＝1,2,...57，
F＝((f1,1)T,(f1,2)T,...,(f57,57)T)T，
其中，当滑动窗口左上角为以关键点为中心的64×64邻域内第x行第y列时，s(x,y)i是该滑动窗口编号为i区间的分值，T表示矩阵转置，fx,y为该滑动窗口的特征向量，fx,y串联得到该关键点邻域的特征向量F。
在本发明一实施例中，所述步骤A33中，对特征向量进行降维操作，得到降维后的特征向量，具体包括以下步骤：步骤A331：对特征向量进行归一化操作：
其中，fe是原特征向量，||fe||2为fe的2范数，ξ为一个小于10-6的常量，fe*为归一化后的特征向量；步骤A332：将所有关键点的特征向量组合成一个矩阵X＝(F1,F2,...Fn)，其中n为关键点的数量，Fi为第i个关键点的特征向量，对该矩阵的每一行计算其均值μ，标准差σ，并对该行的任一元素值d,按照以下公式更新元素值：
d*＝(d-μ)/σ
其中，d为更新前的值，d*为更新后的值；步骤A333：计算X＝(X1,X2,...,Xn)T的协方差矩阵C(X)，
crow,col＝Cov(Xrow,Xcol)row,col＝1,2,...,n
其中，n为特征的维度，Xrow和Xcol为X的分量，Cov(Xrow,Xcol)为Xrow和Xcol的协方差；
步骤A334：计算C(X)的特征值，然后按照从大到小排序，选取前η个特征值对应的特征向量组成降维矩阵W；步骤A335：按照公式X*＝WTX得到降维后的矩阵X*，矩阵中的每一列即降维后的特征向量。
在本发明一实施例中，所述步骤B中，使用分类器判定待检测图像是否为行驶证图像，具体步骤如下：步骤B1：对包含行驶证的正样本图像和不包含行驶证的负样本图像提取HOG特征，使用支持向量机SVM的方法，训练得到HOG分类器；步骤B2：使用分类器对待检测图像进行分类，如果判断其类别为正样本，则待检测图像包含行驶证，并将其大小归一化到与模板图像一致。
在本发明一实施例中，在所述步骤D中，根据提取的关键点特征，进行特征匹配，计算透视变换矩阵，得到行驶证定位和校正结果，具体包括以下步骤：步骤D1：对模板图像关键点和待检测图像关键的特征进行匹配，计算模板图像与待检测图像之间任意两个关键点的特征向量的距离dist，定义如下：
其中，dist(i,j)为模板图像中第i个关键点的特征向量与待检测图像中第j个关键点的特征向量的距离，xik为模板图像第i个关键点的特征向量的第k个分量，xjk为待检测图像第j个关键点的特征向量的第k个分量，sk为标准差，为待检测图像的第j个关键点的坐标值，为模板图像第i个关键点的坐标值，λ为坐标距离平衡系数；步骤D2：对模板图像中的每个关键点，选择待检测图像中距离最小的关键点作为候选匹配，具体的公式如下：
即对于模板图像中的第i个关键点，选择待检测图像中的第j*个关键点作为一组候选匹配；步骤D3：对所有候选匹配计算其评分T，并对评分按大到小进行排序，只取评分前80％的候选匹配对作为最终的关键点匹配对；其中评分T的计算公式如下：
其中，ω1、ω2为权重系数，ψ为将模板图像和待检测图像左右拼接放置时，该匹配对连线与水平线的夹角，ψm为夹角的最小值，ψs为夹角的标准差，L为连线长度，Lm、Ls分别是连线长度的最小值和标准差；步骤D4：计算透视变换矩阵。每次随机选取4对匹配对，通过最小二乘法计算估计变换矩阵H：
(φi,γi)为模板图像关键点坐标，(φi',γi')为匹配的待检测图像关键点坐标，对于匹配对(φi,γi)→(φi',γi')计算投影误差：
其中，U为匹配对数量，统计投影误差小于设定阈值的匹配对数量n，若当前n值大于上一次随机选取时统计的n时，则更新变换矩阵H*＝H；如果随机选取次数大于其中p为置信度，w＝n/U，则得到最终的变换矩阵为H*，否则重复进行随机选取步骤。
在本发明一实施例中，在所述步骤E中，提取行驶证字段区域图像，进行字段区域图像二值化，具体步骤如下：步骤E1：根据预设的行驶证模板对校正后的行驶证图像进行字段区域分割，使用积分投影法统计文字行的位置：通过最大类间方差法OTSU对图像进行二值化处理。根据二值图像计算水平积分和垂直积分，得到积分投影图像：
其中，(u,v)为图像点坐标，I(u,v)为图像点的灰度值，w、h分别是图像宽度和高度，HP(v)为水平积分，VP(u)为垂直积分；寻找积分投影图像的局部最大值，从该点向两侧移动寻找峰谷：
其中，pr为移动的概率，若产生的随机数(0到1之间)小于pr则接受该次移动；否则不接受移动，重新设置移动步长；E(q')、E(q)分别是移动后的积分值和移动前的积分值，T为迭代阈值，当E(q')>E(q)时，迭代阈值按比率下降，当T≤0时移动结束，其两个峰谷的位置即该文本行的位置；根据文本行位置对字段区域位置进行微调，得到字段区域图像；
步骤E2：进行字段区域图像二值化；通过最大类间方差法OTSU、自适应局部阈值方法对字段区域图像进行二值化，对生成的多个二值图像进行权重融合得到一个二值图像：
score＝τ1OTSU(HSL(L))+τ2OTSU(RGB(R))+τ3OTSU(gray)
+τ4ALT(HSV(V))+τ5ALT(RGB(G))+τ6ALT(gray)
其中，OTSU、ALT分别对应使用上述两种二值方法产生的图像，HSL(L)为图像在HSL颜色空间下的L通道，RGB(R)为RGB颜色空间下R通道，HSV(V)为HSV颜色空间下V通道，τ1:τ6为权重系数，score为权重得分，当其大于阈值时，在最终产生的二值图像中将该点标记为黑色，否则为白色。
在本发明一实施例中，在所述步骤F中，通过如下步骤进行字段区域文字识别：步骤F1：使用积分投影法对字段区域进行文字分割，得到单个文字图像。使用步骤E1所述的积分投影法，只需对垂直积分进行处理，两个峰谷位置即确定一个文字区域；步骤F2：通过样本图像训练Adaboost分类器；将样本图像大小归一化到64×64像素，计算该样本图像的特征，采用Adaboost训练方法对特征进行训练，得到分类器；步骤F3：使用Adaboost分类器对文字图像进行分类，根据分类结果，找到其对应的文字，整合得所有字段的文字识别结果，完成对行驶证的识别。
相较于现有技术，本发明具有以下有益效果：首先，发明提出的机动车行驶证检测定位方法有效解决了现有检测技术中存在的校正准确率偏低、不能适应多场景多光照的问题，其中包括的关键点提取方法提取速度快、角点命中率高、较好地过滤了背景噪声产生的干扰；而通过发明所述方法提取的图像特征，反映了关键点的重要属性，可提高校正的准确率；提出的特征匹配方法可检测到特征的细微差异性，以找到最佳匹配，并通过评分机制进一步减少误匹配的产生；定位使用的校正方法较好地屏蔽了错误匹配产生的影响，容错性较高。然后，发明提出的字段区域二值化方法，以积分融合的方式对传统二值算法进行改进，消除光照和底纹影响，产生的图像中文字笔划清晰，不粘连也不缺失，背景噪声相对较少。最后，发明提出的文字识别方法，通过特征降维等方式进一步提高分类器的判别精度，同时运行性能也得到相应的提高。该发明具有快速、背景鲁棒、光照鲁棒等优点，有较强的实际应用价值。
附图说明
图1为本发明一种基于特征融合匹配的行驶证检测和识别方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步解释说明。
本发明提供一种基于特征融合匹配的行驶证检测和识别方法。针对机动车行驶证自动识别过程中存在的场景适应性不强、识别准确率较低的问题，提出了基于特征融合匹配的机动车行驶证快速检测和识别方法。首先，如图1中A所示，该方法通过提取模板图像的关键点，计算关键点特征，完成对模板图像的特征提取；其次，如图1中B所示，使用分类器对待检测图像进行有效性判断，即待检测图像是否包含有行驶证证件，后和上一个处理步骤一致，进行关键点提取和特征计算；再次，如图1中D所示，对模板图像和待检测图像的特征进行匹配，并根据匹配结果计算透视变换矩阵，以完成对行驶证的校正；然后，如图1中E所示，利用模板分割方法定位字段区域位置，再通过融合二值化方法对字段区域图像进行二值化处理；最后，如图1中F所示，对字段区域图像进行文字切割，通过训练好的分类器对单个文字图像进行分类，整合所有字段的文字识别结果，完成对行驶证的识别。具体步骤如下：
步骤A：从行驶证模板图像中提取关键点，计算关键点特征。
具体的，在所述步骤A中，从行驶证模板图像中提取关键点，计算关键点特征，具体包括以下步骤：
步骤A1：从行驶证模版图像中提取候选关键点。
具体的，在所述步骤A1中，从行驶证模版图像中提取候选关键点，包括以下步骤：
步骤A11：对图像进行灰度化处理，其灰度化公式如下：
V＝(Vr+Vg+Vb)/3
其中，Vr、Vg、Vb为图像在RGB颜色空间下各通道的像素值，V为灰度值。
步骤A12：对于图像中的每个像素点，按照下面的公式计算其得分值S:
其中，P为当前像素点的灰度值，nr为以当前像素点为中心半径为r的圆上点的个数，为半径为r圆上第in个像素点的灰度值，R为统计半径最大值，pix为函数f的输入参数，t为跳跃阈值。
步骤A13：当像素点的得分值S大于设定阈值时，将该像素点标记为候选关键点。
步骤A2：对候选关键点进行非极大值抑制操作，筛选关键点：对于候选关键点，在以其为中心5×5像素的邻域内，如果该候选关键点的得分值S为该邻域中所有候选关键点的得分最大值，则将其标记为关键点，否则将其标记为非关键点。
步骤A3：计算关键点特征。
具体的，在所述步骤A3中，计算关键点特征，包括以下步骤：
步骤A31：计算梯度：将图像转换到HSV颜色空间，只取H通道作为其灰度值。对关键点，计算以其为中心的64×64像素邻域内各像素点的梯度，公式如下：
θ＝arctan(Gy/Gx)
其中，A为以关键点为中心3×3邻域所有像素点灰度值组成的矩阵，为卷积运算，Gx为横向梯度幅值，Gy为纵向梯度幅值，G为梯度幅值，θ为梯度方向。
步骤A32：计算特征向量：选取8×8像素大小的滑动窗口，取步长为1，对以关键点为中心64×64像素邻域进行遍历，统计滑动窗口的梯度方向分布，提取特征向量。
具体的，在所述步骤A32中，计算特征向量，具体包括以下步骤：
步骤A321：选取8×8像素大小的滑动窗口，取步长为1，对以关键点为中心64×64像素邻域进行遍历；
步骤A322：对滑动窗口内的所有像素点的梯度幅值进行归一化操作，归一化操作定义如下：
其中，mij为滑动窗口内第i行第j列像素点的梯度幅值，M为滑动窗口内所有梯度幅值组成的64维的行向量，||M||1为向量M的1范数，ε为一个小于10-6的常量，为滑动窗口第i行第j列像素点归一化后的梯度幅值。
步骤A323：将梯度方向按照10度的间隔分割方向区间，并从1开始给区间编号，初始化各区间分值为0。对滑动窗口内所有像素点，将其梯度幅值累加到梯度对应的方向区间的分值上。按照以下公式得到该关键点的特征向量：
fx,y＝(s(x,y)1,s(x,y)2,...s(x,y)9)T x,y＝1,2,...57
F＝((f1,1)T,(f1,2)T,...,(f57,57)T)T
其中，当滑动窗口左上角为以关键点为中心的64×64邻域内第x行第y列时，s(x,y)i是该滑动窗口编号为i区间的分值，T表示矩阵转置，fx,y为该滑动窗口的特征向量，fx,y串联得到该关键点邻域的特征向量F。
步骤A33：对特征向量进行降维操作，得到降维后的特征向量。
具体的，在所述步骤A33中，对特征向量进行降维操作，得到降维后的特征向量。具体包括以下步骤：
步骤A331：对特征向量进行归一化操作：
其中，fe是原特征向量，||fe||2为fe的2范数，ξ为一个小于10-6的常量，fe*为归一化后的特征向量。
步骤A332：将所有关键点的特征向量组合成一个矩阵X＝(F1,F2,...Fn)，其中n为关键点的数量，Fi为第i个关键点的特征向量。对该矩阵的每一行计算其均值μ，标准差σ，并对该行的任一元素值d,按照以下公式更新元素值：
d*＝(d-μ)/σ
其中，d为更新前的值，d*为更新后的值。
步骤A333：计算X＝(X1,X2,...,Xn)T的协方差矩阵C(X)，
crow,col＝Cov(Xrow,Xcol)row,col＝1,2,...,n
其中，n为特征的维度，Xrow和Xcol为X的分量，Cov(Xrow,Xcol)为Xrow和Xcol的协方差。
步骤A334：计算C(X)的特征值，然后按照从大到小排序，选取前η个特征值对应的特征向量组成降维矩阵W。
步骤A335：按照公式X*＝WTX得到降维后的矩阵X*，矩阵中的每一列即降维后的特征向量。
步骤B：使用分类器判定待检测图像是否为行驶证图像。
具体的，在所述步骤B中，使用分类器判定待检测图像是否为行驶证图像，具体步骤如下：
步骤B1：对包含行驶证的正样本图像和不包含行驶证的负样本图像提取HOG特征，使用支持向量机SVM的方法，训练得到HOG分类器。
步骤B2：使用分类器对待检测图像进行分类，如果判断其类别为正样本，则待检测图像包含行驶证，并将其大小归一化到与模板图像一致。
步骤C：若为行驶证图像，则从图像中提取关键点，计算关键点特征。
步骤D：根据提取的关键点特征，进行特征匹配，计算透视变换矩阵，得到行驶证定位和校正结果。
具体的，在所述步骤D中，根据提取的关键点特征，进行特征匹配，计算透视变换矩阵，得到行驶证定位和校正结果，具体包括以下步骤：
步骤D1：对模板图像关键点和待检测图像关键的特征进行匹配，计算模板图像与待检测图像之间任意两个关键点的特征向量的距离dist，定义如下：
其中，dist(i,j)为模板图像中第i个关键点的特征向量与待检测图像中第j个关键点的特征向量的距离，xik为模板图像第i个关键点的特征向量的第k个分量，xjk为待检测图像第j个关键点的特征向量的第k个分量，sk为标准差，为待检测图像的第j个关键点的坐标值，为模板图像第i个关键点的坐标值，λ为坐标距离平衡系数。
步骤D2：对模板图像中的每个关键点，选择待检测图像中距离最小的关键点作为候选匹配，具体的公式如下：
即对于模板图像中的第i个关键点，选择待检测图像中的第j*个关键点作为候选匹配，即i和j*组成候选匹配。
步骤D3：对所有候选匹配计算其评分T，并对评分按大到小进行排序，只取评分前80％的候选匹配对作为最终结果的匹配对。
其中评分T的计算公式如下：
其中，ω1、ω2为权重系数，ψ为将模板图像和待检测图像左右拼接放置时，该匹配对连线与水平线的夹角，ψm为夹角的最小值，ψs为夹角的标准差，L为连线长度，Lm、Ls分别是连线长度的最小值和标准差。
步骤D4：计算透视变换矩阵。每次随机选取4对匹配对，通过最小二乘法计算估计变换矩阵H：
(φi,γi)为模板图像关键点坐标，(φi',γi')为匹配的待检测图像关键点坐标，对于匹配对(φi,γi)→(φi',γi')计算投影误差：
其中，U为匹配对数量。统计投影误差小于设定阈值的匹配对数量n，若当前n值大于上一次随机选取时统计的n时，则更新变换矩阵H*＝H。如果随机选取次数大于其中p为置信度，w＝n/U，则得到最终的变换矩阵为H*，否则重复进行随机选取步骤。
步骤E：提取行驶证字段区域图像，进行字段区域图像二值化。
步骤F：对字段区域进行文字分割，并使用分类器对文字进行识别，得到行驶证文字内容识别结果。
具体的，在所述步骤E中，提取行驶证字段区域图像，进行字段区域图像二值化，具体步骤如下：
步骤E1：根据预设的行驶证模板对校正后的行驶证图像进行字段区域分割，使用积分投影法统计文字行的位置：
通过最大类间方差法OTSU对图像进行二值化处理。根据二值图像计算水平积分和垂直积分，得到积分投影图像：
其中，(u,v)为图像点坐标，I(u,v)为图像点的灰度值，w、h分别是图像宽度和高度，HP(v)为水平积分，VP(u)为垂直积分。
寻找积分投影图像的局部最大值，从该点向两侧移动寻找峰谷：
其中，pr为移动的概率，若产生的随机数(0到1之间)小于pr则接受该次移动；否则不接受移动，重新设置移动步长。E(q')、E(q)分别是移动后的积分值和移动前的积分值，T为迭代阈值，当E(q')>E(q)时，迭代阈值按比率下降，当T≤0时移动结束，其两个峰谷的位置即该文本行的位置。根据文本行位置对字段区域位置进行微调，得到字段区域图像。
步骤E2：进行字段区域图像二值化。通过最大类间方差法OTSU、自适应局部阈值方法对字段区域图像进行二值化，对生成的多个二值图像进行权重融合得到一个二值图像：
score＝τ1OTSU(HSL(L))+τ2OTSU(RGB(R))+τ3OTSU(gray)
+τ4ALT(HSV(V))+τ5ALT(RGB(G))+τ6ALT(gray)
其中，OTSU、ALT分别对应使用上述两种二值方法产生的图像，HSL(L)为图像在HSL颜色空间下的L通道，RGB(R)为RGB颜色空间下R通道，HSV(V)为HSV颜色空间下V通道，τ1:τ6为权重系数，score为权重得分，当其大于阈值时，在最终产生的二值图像中将该点标记为黑色，否则为白色。
具体的，在所述步骤F中，通过如下步骤进行字段区域文字识别：
步骤F1：使用积分投影法对字段区域进行文字分割，得到单个文字图像。使用步骤E1所述的积分投影法，只需对垂直积分进行处理，两个峰谷位置即确定一个文字区域。
步骤F2：通过样本图像训练Adaboost分类器。将样本图像大小归一化到64×64像素，利用权利步骤A3所述的方法，计算该样本图像的特征，采用Adaboost训练方法对特征进行训练，得到分类器。
步骤F3：使用Adaboost分类器对文字图像进行分类，根据分类结果，找到其对应的文字，整合得所有字段的文字识别结果，完成对行驶证的识别。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。