一种基于混合倾斜校正和投影法的不定长车牌字符分割方法与流程

本发明涉及计算机视觉领域，特指一种基于混合倾斜校正和投影法的不定长车牌字符分割方法。

背景技术：

智能交通系统已经成为交通管理发展的主流方向，作为实现交通管理自动化的车辆车牌识别技术(License Plate Recognition，LPR)应运而生，LPR系统广泛应用于电子收费站、停车场车辆管理等场合。车牌识别系统主要由牌照图像的采集和预处理、牌照区域的定位和提取、牌照字符的分割和识别等几个组成部分。其中车牌字符分割将提取出来的车牌图片进行处理，分割成单个字符，再由字符识别部分进行单个字符的识别。字符分割是车牌识别技术的一个关键环节，字符分割的准确性直接影响着车牌字符的识别率。

摄像头拍摄到的车辆图像中，车牌位置的边缘与这个图像的边缘基本不会是完全平行的，主要是由拍摄角度、牌照悬挂方式、摄像头的倾斜以及外界环境造成。车身的倾斜不仅影响车牌图像的定位，而且倾斜的车牌增加了字符分割和识别的难度，所以在进行车牌字符分割之前通常要经过倾斜校正的预处理过程。目前常用的是基于直线检测的倾斜校正方法的一个不可缺少的前提条件是车牌图像中必须要有一条足够长的直线，应用到低质量车牌图像的倾斜校正过程中具有一定的局限性，并且基于直线检测的方法运算量大，不适宜应用在车牌实时识别系统中。常用的车牌字符分割方法有基于垂直投影分割方法、基于模板匹配的字符分割方法、以及基于连通区域分割方法。针对长度不一的车牌图像，目前的车牌字符分割算法大部分都需要首先对车牌大小进行归一化处理，然后采用统一尺度对车牌字符进行分割。然而不同的车牌干扰区域存在位置及存在形式是不一样的，把所有的车牌归一化成相同的大小，再针对统一尺度进行分割，不仅不能准确的分割出所有的车牌字符，而且会因大小归一化导致的字符扭曲变形给字符识别增加困难。理想情况下字符间隔都是存在的，但是拍摄过程中导致的字符变形，粘连和噪声信息大大增加了字符分割的难度。针对中国车牌而言，很多中国单个汉字之间也存在间隔，若单纯的通过投影进行字符分割，会将一个字符分割成好几个，例如“川”、“钉”字等；很作车牌字符之间会由于噪声等因素的影响存在粘连的情况；再有，每个国家的车牌大小，车牌字符特点以及字符的分布都是不一样。这些情况都给车牌字符分割带来困难。

面向不定长的车牌字符分割，针对现行车牌字符分割中的问题，提出了基于混合倾斜校正和投影法的不定长车牌字符分割方法。

技术实现要素：

本发明要解决的技术问题在于：针对车牌字符分割这个特定问题，提出一种基于混合倾斜校正和投影法的不定长车牌字符分割方法，有效切分不定长车牌字符，增加字符分割算法的使用范围。

为解决上述技术问题，本发明采取的技术方案具体为：一种基于混合倾斜校正和投影法的不定长车牌字符分割方法，包括如下步骤1)至4)：

步骤1)利用混合倾斜车牌校正方法对车牌进行水平和垂直方向的倾斜校正，其包括：

1.1)根据图像矩阵奇异值的旋转不变特性进行混合倾斜车牌校正的水平校正；

1.2)利用Radon变换和水平错切原理进行混合倾斜车牌的垂直倾斜校正；

步骤2)依序通过灰度变化、反色判断、混合车牌倾斜校正、图像二值化、左右边界定位形态学处理步骤对车牌图像进行优化预处理，其包括：

2.1)利用灰度变换将彩色图像变成灰度图像，再通过反色变换将车牌图像统一成黑底白字图像；

2.2)利用基于RGB彩色空间二值化方法和连续噪声块去噪方法进行车牌左右边界定位，消除车牌左右两边的不定长车牌背景非字符干扰区域；

2.3)结合全局阈值、局部阈值和RGB彩色图像二值化方法对车牌图像进行二值化处理；

2.4)通过开运算和闭运算的形态学处理，进一步优化二值化图像；

步骤3)利用H-S连通域分析和投影法进行车牌字符分割；

步骤4)利用色调平均值统计方法去除伪字符，提高字符分割的准确率。

作为本发明技术方案的进一步改进，所述步骤S2.2.2)中，对步骤S2.2.1中二值图像进行边缘检测，查找所有的连通域，然后根据连通域和字符像素所占连通域百分比来确定大块白色区域是否为非字符背景区域，然后将其设定为黑色背景像素，从而消除了车牌左右两边车牌背景非字符干扰区域。

作为本发明技术方案的进一步改进，所述步骤2.3)具体包括以下内容：

S2.3.1将Niblack算法二值图与RGB彩色空间二值图进行逻辑操作；

S2.3.2根据Otsu算法二值图对步骤S2.3.1的二值图中字符断裂部分进行补全操作。

S2.4通过开运算和闭运算的形态学处理，进一步优化二值化图像。作为本发明技术方案的进一步改进，所述步骤3)具体包括：

S3.1)对二值化图像进行H-S连通域分析对不同的字符区域进行标记，然后将这些字符区域按宽度聚类，取个数最多的那一类的字符区域，再计算这些字符区域的平均值，这样就得到了车牌字符的平均宽度wAVG；同样的，将标记的所有字符区域按上边界、下边界聚类，求得上、下边界的平均值，再适当往上、下扩展一点就得到了车牌的上下边界；

S3.2)在上下边界区域内，对车牌二值图像中每一列进行垂直投影；将步骤3.1)标记的字符区域按横坐标排序，从最左边开始找到第一个和wAVG相差很小的区域，从这个区域的左边界L₀开始切割，从L₀开始往右寻找投影为0的地方L₁，然后判断L₀到L₁之间这个区域是否合法，如果合法，再根据它的宽度和wAVG的关系进行区域的精确化或者合并；再将L₀移至L₁的后面，继续往右寻找新的L₁，直至搜索了所有标记区域后退出循环。

作为本发明技术方案的进一步改进，在所述步骤3)中，包括字符区域合法性判断方法，合法区域的前后合并方法、区域分割方法和区域精确化方法，

所述字符区域合法性判断方法为：

1)区域的上部和下部的空行数的两倍加上内部的空行数小于8；

2)左右粘连的投影和小于8；

3)上下粘连的粘连高度和小于5；

4)如果区域大小只有wAVG/2,它的高度必须大于上下边界之间高度的三分之二；所述合法区域的前后合并方法为：

1)若前后两个合法字符区域的宽度和近似为wAVG，合并为一个字符区域。

2)若如果前后两个合法字符区域的宽度和近似为wAVG的两倍，以他们中间的波谷为分界线将他们切分成两个字符区域；

所述区域分割方法为：

若区域近似为wAVG的两倍，则在此区域中间附近寻找投影值的波谷，以波谷作为分界线将此区域切分成两个字符，并且判断两个字符的合法性；

区域精确化方法：

若某个区域的宽度大于wAVG又不足以分割成两个字符，则对该区域进行精确化处理。

与现有技术相比，本发明具有以下有益效果：

1、结合图像矩阵奇异值的旋转不变特性、Radon变换和水平错切原理进行了快速有效的混合倾斜车牌校正，适应了多种类型的车牌倾斜校正。

2、利用基于RGB彩色空间的二值化方法对车牌图像进行二值化处理，在通过连续噪声块去噪方法去除二值图中的非字符背景区域具有大块白色区域，从而定位出车牌左右边界，消除车牌左右两边的不定长车牌背景非字符干扰区域。

3、结合全局Otsu阈值方法、局部Niblack算法和RGB彩色空间二值化法进行二值化操作，削弱了因单个阈值二值化过程造成的字符与背景粘连或是字符断裂的现象。再通过开运算和闭运算处理，进一步优化二值化结果；

4、利用H-S连通域分析和投影法进行不定长车牌字符分割，在分割过程中设计了字符区域合法性判断方法，合法区域的前后合并方法、区域分割规则和区域精确化规则协助字符分割。

5、利用色调平均值统计方法去除伪字符，提高字符分割的准确率。

附图说明

图1是实施例整体流程图；

图2是实施例所述车牌垂直倾斜图；

图3是实施例所述车牌混合倾斜校正结果图；

图4是实施例所述优化预处理流程图；

图5是实施例所述不定长车牌字符分割算法流程图；

图6是实施例所述不定长车牌字符分割部分结果图。

具体实施方式

以车牌图像为例，结合附图对本发明做进一步详细说明。

图1为本发明实施例的整体流程图。

本实施例为一种基于混合倾斜校正和投影法的不定长车牌字符分割方法，具体包括以下步骤：

步骤S1利用快速有效的混合倾斜车牌校正方法对车牌进行水平和垂直方向的倾斜校正；

车辆的停靠具有一定的随机性，使得拍摄的车牌图像产生一定的倾斜，这将严重影响字符的分割和识别，综合消除水平和垂直方向的倾斜，才能消除车牌倾斜对字符分割的影响。

S1.1根据图像矩阵奇异值的旋转不变特性进行混合倾斜车牌校正的水平校正。

(1)检测车牌图像的垂直边缘，再利用边缘点建立有效的数据点矩阵；

利用Sobel算子检测车牌图像的垂直边缘，设边缘点坐标为V_i(x_i,y_i)，其中列号矩阵为X＝[x₁,x₂,...,x_n]；行号矩阵为Y＝[y₁,y₂,...,y_n]，x_i为边缘点V_i的列号，y_i为边缘点V_i的行号，其中i＝1,2,...,N；N为边缘点的数目。则建立有效数据点矩阵V＝[mX；mY；E]，其中，E＝[1,1,...,1]∈R^1×N；mX是列矩阵中心化形式，如公式(1)所示；mY是行矩阵中心化形式，如公式(2)所示。

mX＝X-mx (1)

mY＝Y-my (2)

其中，列号均值：行号均值：

(2)根据图像矩阵奇异值的旋转不变特性获得水平倾斜角度；

奇异值是矩阵的一个良好的特征，对矩阵的扰动不敏感，而特征值对矩阵的扰动敏感。同样，图像矩阵的奇异值同样具有很好的稳定性和比例、旋转不变性，当图像受到轻微干扰时，它的奇异值不会发生很大的变化。因此，可以利用图像矩阵奇异值的旋转不变性进行车牌的水平倾斜校正。

假定车牌图像的水平倾斜交为α，图像的有效数据矩阵如前面所述的V，未发生倾斜之前车牌图像的某边缘点坐标向量为(x,y)^T，车牌倾斜之后该点的坐标向量为(x₁,y₁)^T，两个坐标向量写成其次坐标的形式为(x,y,1)^T和(x₁,y₁,1)^T，两坐标向量的关系由图像矩阵的旋转公式表示为：

其中，R₀为旋转矩阵，且

对有效数据矩阵V进行旋转校正，角度为α，则V_R＝R₀·V，V_R为校正后的有效数据矩阵。由于所以V_R和V具有相同的奇异值，即V的奇异值具有旋转不变性。对矩阵V进行奇异值分解：V＝U·G·K^T，U∈R^3×3，G∈R^3×N，K∈R^N×N，其中U和K是酋矩阵，G是对角矩阵，而且奇异值矩阵G对应着特征向量U。由奇异值分解公式可得特征向量矩阵U：

可得：求得水平旋转角度α之后，对车牌图像进行水平旋转，消除车牌的水平倾斜。

S1.2利用Radon变换和水平错切原理进行混合倾斜车牌的垂直倾斜校正。

车牌图像经过水平倾斜校正之后，再进行垂直倾斜校正。由图2可看出，车牌图像产生垂直倾斜就是左右变形，即Y方向的错切变形，所以垂直倾斜可以看成图像沿X轴的错切变换，则垂直倾斜校正就是沿X轴方向的逆错切变换，则垂直方向倾斜校正矩阵公式为：

式中，β为垂直倾斜角，(x₁,y₁,1)^T是水平倾斜校正后图像像素坐标向量的齐次坐标形式，(x₂,y₂,1)^T是垂直倾斜校正后图像像素坐标向量的其次坐标形式。

对水平倾斜校正后的车牌图像进行二值化处理，再进行Radon变换，变换后投影区域内值为零数目最多的角度即为错切角，车牌错切角一般不是很大，所以Radon变换角度范围可以选取[-150,150]。获得错切角之后，根据公式(5)进行垂直倾斜校正。图3为车牌混合倾斜校正结果图。

步骤S2依序通过灰度变化、反色变换、图像二值化、左右边界定位以及形态学处理步骤对车牌图像进行优化预处理，其包括：

S2.1利用灰度变换将彩色图像变成灰度图像，在通过反色变换将车牌图像统一成黑底白字图像；

由于人眼对绿色的敏感度高，对红色的敏感度次之，对蓝色的敏感度最低，所以采用加权平均值法对彩色车牌图像进行灰度化处理，公式如下：

式中，g(x,y)像素点(x,y)处的灰度值；f_R(x,y)、f_G(x,y)、f_B(x,y)分别是该点的R、G、B三个颜色通道。

有不同颜色车牌经过灰度变换以后存在两种形式：黑底白字和白底黑字。通过反色变换将车牌的灰度图像统一成黑底白字的形式，便于后续步骤的进行。

S2.2利用基于彩色空间二值化方法和连续噪声块去噪方法进行车牌左右边界定位，消除车牌左右两边的不定长车牌背景非字符干扰区域；

车牌图像左右两边可能存在很多车牌背景非字符区域，这将影响车牌字符分割前的二值化效果，从而影响字符分割的准确率。左右边界定位的步骤：

S2.2.1利用基于彩色空间二值化方法对车牌图像进行二值化处理。假设车牌图像大小为N×M，像素点(x,y)的R、G、B三个颜色通道分量为f_R(x,y)、f_G(x,y)、f_B(x,y)，则计算R、G、B三个颜色通道分量的平均值rAVG、gAVG、bAVG分别为：

假设二值图像结果为B(x,y)，根据公式(10)进行二值化处理。

S2.2.2通过RGB彩色空间二值化得到的二值图的非字符背景区域具有大块白色区域。本发明中采用连续噪声块去噪方法去除这些区域，获得更加精确的车牌的左右边界，其主要思想是：对步骤S2.2.1中二值图像进行边缘检测，查找所有的连通域，然后根据连通域和字符像素所占连通域百分比来确定大块白色区域是否为非字符背景区域，然后将其设定为黑色背景像素，从而消除了车牌左右两边车牌背景非字符干扰区域，便于后续步骤的进行。

S2.3结合全局阈值、局部阈值和RGB彩色图像二值化方法对车牌图像进行二值化处理，削弱了因单个阈值二值化过程造成的字符与背景粘连或是字符断裂的现象，获得了更加优化的二值化结果；

需要对车牌图像进行二值化操作，以便进行字符分割，二值化效果的好坏直接影响这字符分割的准确率。利用Otsu的全阈值二值化方法对车牌图像进行二值化处理，当车牌字符和背景的对比度较弱时，灰度直方图分布范围较小，此时全阈值二值化方法可能丢失目标像素，出现大片的白色区域，同时造成二值化图像中字符粘连的现象。而且局部的Niblack二值化车牌图像得到的二值图像字符过于饱满，字符容易与背景产生粘连，不利于后续的字符分割。由图3所示，基于RGB彩色空间二值化方法得到的二值图像容易出现字符断裂的现象。所以单一的二值化方法并不能得到最佳的二值化效果，影响后续字符分割的准确率。本发明采用全局Otsu二值化法、局部Niblack二值化法与基于RGB彩色空间二值化法相结合的方法对车牌图像进行二值化处理，将三者的二值图结果进行逻辑操作，取长补短，得到更优化的二值化结果，此二值化步骤为：

S2.3.1将Niblack算法二值图与RGB彩色空间二值图进行逻辑操作；

S2.3.2根据Otsu算法二值图对步骤S2.3.1的二值图中字符断裂部分进行补全操作。

S2.4通过开运算和闭运算的形态学处理，进一步优化二值化图像。

对S2.3步骤获得的二值化图像先进行腐蚀运算，再进行膨胀运算。腐蚀操作可以消除噪声点或是小而无意义的点，同时字符存在的空隙也会变大。膨胀运算用来填补了字符空洞，将腐蚀过程产生的空隙桥接起来。形态学处理在一定程度上优化了S2.3中二值化图，进一步改善了字符粘连和断裂的现象，同时细化了车牌图像中的柳钉。图4为优化预处理流程图。

步骤S3利用H-S连通域分析和投影法进行不定长车牌字符分割；

采用H-S连通域分析和投影法进行车牌字符分割的步骤为：

S3.1对二值化图像进行H-S连通域分析对不同的字符区域进行标记，然后将这些字符区域按宽度聚类，取个数最多的那一类的字符区域，再计算这些字符区域的平均值，这样就得到了车牌字符的平均宽度wAVG。同样的，将标记的所有字符区域按上边界、下边界聚类，求得上、下边界的平均值，再适当往上、下扩展一点就得到了车牌的上下边界。

S3.2在上下边界区域内，对车牌二值图像中每一列进行垂直投影。将刚才标记的字符区域按横坐标排序，从最左边开始找到第一个和wAVG相差很小的区域，从这个区域的左边界L₀开始切割，从L₀开始往右寻找投影为0的地方L₁，然后判断L₀到L₁之间这个区域是否合法，如果合法，再根据它的宽度和wAVG的关系进行区域的精确化或者合并。再将L₀移至L₁的后面，继续往右寻找新的L₁，直至搜索了所有标记区域后退出循环。

其中，S3.2中字符区域合法性判断方法，合法区域的前后合并方法、区域分割规则和区域精确化规则如下：

区域合法性判断规则：

1)区域的上部和下部的空行数的两倍加上内部的空行数小于8；

2)左右粘连的投影和小于8；

3)上下粘连的粘连高度和小于5；

4)如果区域大小只有wAVG/2,它的高度必须大于上下边界之间高度的三分之二。

区域合并规则：

1)若前后两个合法字符区域的宽度和近似为wAVG，合并为一个字符区域。

2)若如果前后两个合法字符区域的宽度和近似为wAVG的两倍，以他们中间的波谷为分界线将他们切分成两个字符区域。

这样的区域合并规则解决了将单个汉字分割多个部分的情况，即解决了如中国车牌中的“川”“泸”“吉”汉字被切分成多个字符的情况。

区域分割规则：

1)若区域近似为wAVG的两倍，则在此区域中间附近寻找投影值的波谷，以波谷作为分界线将此区域切分成两个字符，并且判断两个字符的合法性。

这样的区域分割规则避免了多个字符粘连的情况。

区域精确化规则：

若某个区域的宽度大于wAVG又不足以分割成两个字符，则对该区域进行精确化处理，若该区域的垂直投影没有明显的波谷，则去除该区域的左右两边的1/4区域宽度；若该区域的垂直投影存在明显的波谷，则以波谷为分界线切分此区域。

步骤S4利用色调平均值统计方法去除伪字符，提高字符分割的准确率。

不定长车牌的复杂性以及车牌定位过程中获得的车牌非字符区域可能过大，常常导致分割结果中存在伪字符分割结果，并且这些伪字符跟实际字符宽度很接近，分割算法无法识别这些伪字符。本发明利用色调平均值统计方法去除伪字符，提高字符分割的准确率。由于HSV彩色空间模型对颜色比较敏感，能够较好的区分不同的颜色，选用HSV空间的色调H值作为统计特征。

去除伪字符的步骤为：1)将原车牌图像转换到HSV空间；2)采集采集S2.3步骤获得的二值图中白点所在位置的H值，这样能更多的提取到有效像素点，而避免背景像素点的干扰；3)通过聚类分析的方法过滤掉每个分割结果矩形框内的H值奇异点，并分别计算H平均值和方差值；4)再根据伪字符的H平均值跟字符的H平均值相差比较大以及伪字符方差值相对比较大的特征来去除伪字符。

图5为本实施案例不定长车牌字符分割流程图。采用2000张不定长车牌图像，利用本算法进行车牌字符分割，字符分割率达到96.8％，本方法能有效地切分不定长车牌字符，增加了字符分割算法的使用范围。图6为本实施案例不定长车牌字符分割的部分结果图。

本发明中提出的方法实际上可嵌入FPGA实现，运用于车牌识别和视频监控系统中。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。