一种基于像素级联特征的模糊车牌检测方法与流程

本发明涉及图像识别技术领域，具体涉及一种基于像素级联特征的模糊车牌检测方法。

背景技术：

近十几年来，车牌的检测和识别在某些领域已经能够应用，例如：违章车辆的车牌检测识别和停车场车牌检测识别等。拍摄图像中车牌的拍摄质量是影响检测和识别方法的主要影响因素之一，在清晰车牌的检测和识别已经得到较好的解决并有许多成功的应用，但是，在复杂监视大场景下，车牌较小并且具有一定的模糊，其检测仍然是一个非常具有挑战性的问题，在复杂监视大场景下车牌检测中仍然有两种主要难点需要克服：一，拍摄的车牌具有一定的模糊性，二，检测标示牌需要在大分辨率图像中进行搜索，这是一个非常耗时的过程。

Viola提出的基于AdaBoost算法、级联机制和Haar-like特征的快速检测系统，在车牌检测中得到了较好的应用，然而面对模糊车牌检测时却难以胜任。在车牌检测领域，Viola的检测框架已经被成功的应用在多个车牌检测系统中，但其速度和识别率都有待提高，并且都没有涉及模糊的车牌检测问题。在基于AdaBoost的检测方法中，具有代表性的有Dlagnekov等使用AdaBoost方法和Haar-like特征设计的标志牌检测方法，Zhang等使用基于AdaBoost的整体和局部特征设计的标志牌检测方法，这些方法都无法检测模糊车牌，并且面对大分辨率图像时运算速度较慢。

因此，亟需一种针对复杂监视大场景下的模糊车牌检测方法，实现对车牌的快速检测。

技术实现要素：

为解决现有技术存在的不足，本发明公开了一种基于像素级联特征的模糊车牌检测方法，本发明利用像素级联特征，并将其级联成一种检测框架，能够快速实时的检测图像中的不同尺寸车牌，其对检测模糊的车牌的能力超出了已有的基于AdaBoost的方法。

为实现上述目的，本发明的具体方案如下：

一种基于像素级联特征的模糊车牌检测方法，包括以下步骤：

将输入的待测图像利用缩放算法生成金字塔图像集合；

在像素级联检测器的离线训练过程中，通过计算“像素级联特征”生成可供AdaBoost相关算法学习和训练使用的弱分类器；

使用上述生成的弱分类器，构建能够提取车牌颜色像素点特征的强分类器，并进一步将强分类器级联为像素级联检测器即建立包含不同尺寸车牌的级联分类器结构；

利用像素级联检测器，在金字塔图像集合中以预定大小步进地判定该检测区域内是否存在车牌，像素级联检测器的检测能够排除大部分背景窗口，但是得到的检测窗口中仍包含部分背景；

基于HOG特征和SVM分类器进一步判断检测是否存在车牌，标定车牌的位置，按所在的金字塔图像及缩小比例，换算到与原始图像中，确定所检车牌的位置及大小。

进一步的，将输入的待测图像利用缩放算法生成金字塔图像集合，具体的，取缩放比例为s，在模糊小尺寸车牌检测情况下s的经验取值范围为0.87≤s≤0.95,则输入图像可按缩放比例s，将待测图像等比例缩放为原图像尺寸的s,s²,...,sⁿ倍，生成层数为n+1的金字塔图像集合,n为正整数。

进一步的，在线检测过程中，利用像素级联检测器，在金字塔图像集合中以预定大小步进地判定该检测区域内是否存在车牌；在模糊车牌检测过程中，步进b的经验取值范围为5≤b≤10。

进一步的，在HOG特征和SVM分类器的离线训练过程中，通过训练车牌和背景图像样本得到HOG+SVM分类器，将像素级联检测器得的检测窗口作为输入，提取其HOG特征，并使用离线训练的SVM分类器进行二分类，包括车牌和背景，判断该检测窗口是车牌还是背景。

进一步的，在金字塔缩放的图像中标定车牌的位置为(x,y)和大小为(w,h)，按所在的金字塔图像的缩小比例s，换算到原始图像中，确定所检车牌的位置(x/s,y/s)及大小(w/s,h/s)，其中x、y分别为金字塔缩放的图像中车牌所在的位置横坐标及纵坐标，w、h分别为金字塔缩放的图像中车牌的宽度及高度。

进一步的，“像素级联特征”的计算过程为：

构建一个彩色空间通道组成的向量X＝(x₁,x₂,...,x_n)，其中x_i是对应第i个彩色空间的像素点值，共n个彩色通道，对输入图像坐标(i,j)像素点位置使用一个n维的权值向量W进行加权相乘，并加上一个偏移值b，得到颜色通道转换后的像素特征p_ij：

p_ij＝(W*X)_ij+b (1)

进一步的，得到颜色通道转换后的像素特征后，使用AdaBoost方法进行训练，得到权值向量W和偏移值b，其训练过程中使用的弱分类器定义为c，

其中，η_p是训练过程中得到的阈值，σ∈{+1,-1}是一个极性参数。

AdaBoost方法是一种常见的机器学习方法，它能够通过训练正、负训练样本得到能够区分正负样本的弱分类器，这些弱分类器分类能力较弱，只能得到比50％正确率高一些的分类结果，但是将不同的弱分类器加权相加得到一个具有强分类功能的强分类器，该强分类器能够有效的区分正负样本。

进一步的，在检测过程中，面对是缩放算法生成的金字塔图像集合中的矩形检测窗口，因此需要将像素级别的特征转化成矩形特征。

进一步的，将像素级别的特征转化成矩形特征的过程为：标记检测窗口R，其中共有n_R个像素点，像素特征弱分类器c级联成像素级别的强分类器为C，第i个像素级别强分类表示为c(i)，其中c(i)包含的弱分类器表示为c(i)，Sgn函数是二值化函数，其括号内的值大于0则sgn值为1，小于等于0则sgn值为-1，那么矩形特征强分类器表示为S_R：

进一步的，对S_R设置阈值θ_S得到强分类器的分类结果函数H_p，可以判断该窗口是车牌或非车牌，+1代表车牌，0代表非车牌：

虽然像素特征构成的像素级联检测器对车牌和非车牌具有一定的区分能力，但是在复杂大场景下，具有较多的误检，因此在该方法检测后需要使用HOG+SVM检测器进一步排除误检。

本发明的有益效果：

传统基于AdaBoost学习的特征主要有Haar-like特征和MB-LBP特征等特征，这些特征都是一种灰度矩形特征，无法表达车牌的显著颜色特性，并且都是矩形块特征，对模糊和形状变化的鲁棒性不佳。并且，传统Haar-like特征等特性在面对高分辨图像时需要较大的运算量，影响检测方法的实时性。本发明设计的“像素级联特征”能够通过在像素基本对不同颜色进行AdaBoost学习和级联，对车牌的显著颜色特征进行表达，能够达到对模糊车牌鲁棒性检测的目标，并且能够达到很好的实时性。

本方法能够快速的检测高分辨率图像中的不同模糊程度的车牌，并且能够达到很高的检测率。

附图说明

图1为本发明像素级联特征示意图；

图2(a)为本发明检测原图；

图2(b)为本发明利用像素级联检测器的车牌感兴趣区域提取结果；

图2(c)为本发明为最终检测结果；

图3为本发明的检测器结构示意图；

具体实施方式：

下面结合附图对本发明进行详细说明：

传统基于AdaBoost学习的特征主要有Haar-like特征和MB-LBP特征等特征，这些特征都是一种灰度矩形特征，无法表达车牌的显著颜色特性，并且都是矩形块特征，对模糊和形状变化的鲁棒性不佳。并且传统Haar-like特征等矩形特征特性导致了其在面对高分辨图像时，需要较大的运算速度，影响检测方法的实时性。

本发明设计的“像素级联特征”能够通过在像素基本对不同颜色进行AdaBoost学习和级联，对车牌的显著颜色特征进行表达，能够达到对模糊车牌鲁棒性检测的目标，并且能够达到很好的实时性。像素级联特征的主要原理是：充分利用不同彩色空间对像素点的表达能力，使用AdaBoost学习方法学习针对像素点的级联特征，并用来提取车牌颜色区域，然后针对提取的颜色区域将像素级别的特征转化成矩形特征。

如图1所示，一种基于像素级联特征的模糊车牌检测方法，具体步骤如下：

基于车牌具有固定背景颜色的特点，提取像素的一系列不同彩色空间的值，并构建一个彩色空间通道组成的向量X＝(x₁,x₂,...,x_n)，其中x_i是对应第i个彩色空间的像素点值，共n个彩色通道，并且在X＝(x₁,x₂,...,x_n)中，不同的值都进行了相同的归一化操作。

对输入图像坐标(i,j)像素点位置使用一个n维的权值向量W进行加权相乘，并加上一个偏移值b，得到颜色通道转换后的像素特征p_ij：

p_ij＝(W*X)_ij+b (1)

然后，使用AdaBoost方法进行训练，得到权值向量W和偏移值b，其训练过程中使用的弱分类器定义为c，

其中，η_p是训练过程中得到的阈值，σ∈{+1,-1}是一个极性参数。

AdaBoost方法是一种常见的机器学习方法，它能够通过训练正、负训练样本得到能够区分正负样本的弱分类器，这些弱分类器分类能力较弱，只能得到比50％正确率高一些的分类结果，但是将不同的弱分类器加权相加得到一个具有强分类功能的强分类器，该强分类器能够有效的区分正负样本。

在检测过程中，面对是缩放算法生成的金字塔图像集合中的矩形检测窗口，此需要将像素级别的特征转化成矩形特征。记检测窗口R，其中共有n_R个像素点，像素特征弱分类器c级联像素级别的强分类器为C，第i个像素级别强分类表示为c(i)，其中c(i)包含的弱分类器表示为c(i)。Sgn函数是二值化函数，其括号内的值大于0则sgn值为1，小于等于0则sgn值为-1，那么矩形特征强分类器表示为S_R：

对S_R设置阈值θ_S得到强分类器的分类结果函数H_p，可以判断该窗口是车牌或非车牌(+1代表车牌，0代表非车牌)：

虽然像素特征构成的像素级联检测器对车牌和非车牌具有一定的区分能力，但是在复杂大场景下，具有较多的误检，因此在该方法检测后需要使用HOG+SVM检测器进一步排除误检。

在像素级联特征检测基础上，设计基于HOG特征和SVM分类器的检测方法，进一步判断检测是否存在车牌。HOG特征，又称为方向梯度直方图(Histogram of Oriented Gradient)特征，是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HOG特征结合SVM分类器已经被广泛应用于图像识别中。本专利提取具有一定重叠的HOG特征，在50×14的最小检测窗口下，提取的HOG特征为1944维，其参数为：一个block单元为10×4，block中每个小块cell为5×2,步长step为5×2，方向为9个不同方向。将提取的HOG特征使用线性或非线性核函数SVM分类器，取得了较好的检测效果。在具体的检测结果中，图2(a)为本发明检测原图；图2(b)为本发明利用像素级联检测器的车牌感兴趣区域提取结果；图2(c)为本发明为最终检测结果。

如图3所示，一种基于像素级联特征的模糊车牌检测方法，在检测过程中，整个检测步骤如下：

(1)将待测图像利用缩放算法生成金字塔图像集合。

(2)通过计算“像素级联特征”生成可供AdaBoost相关算法学习和训练使用的弱分类器；使用上述生成的弱分类器，建立包含不同尺寸车牌的级联分类器结构。

(3)利用像素级联特征级联结构，在金字塔图像集合中以预定大小步进地判定该检测区域内是否存在车牌。

(4)设计基于HOG特征和SVM分类器的检测方法，进一步判断检测是否存在车牌。

(5)标定车牌的位置，按所在的金字塔图像及缩小比例，换算到与原始图像中，确定所检车牌的位置及大小。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。