本发明涉及一种渣土车车牌字符智能识别方法。
背景技术：
车牌识别(License Plate Recognition，LPR)是计算机图像识别技术的一种典型应用，它以数字图像处理、模式识别、计算机视觉等技术为基础，将运动中的汽车牌照从复杂背景中提取并识别出来，它是智能交通系统的重要组成部分，已被广泛应用于自动收费站、智能停车场、车流量监测、安全禁区管理等场所。
LPR系统主要包括车牌定位、倾斜校正、字符分割、字符识别四个部分，国内外学者围绕这四个环节进行了大量的研究，并取得了众多研究成果。车牌定位是LPR系统准确识别的前提，目前车牌定位方法主要可以概括为两大类：一类是基于灰度域的纹理特征，利用车牌先验知识、字符与背景的灰度跳变以及形态学连通域的几何信息等实现车牌定位，但该方法对图像质量要求较高，在图像预处理过程中容易造成伪车牌区域，并且不同环境的相关阈值参数设置也难以统一导致其普适性较低；另一类是基于颜色空间信息，利用车牌与车身的颜色不同，搜寻目标颜色的信息分布并结合车牌先验知识实现车牌定位，此方法适用于特定车型的车牌定位，但是当车身或周边环境的颜色跟车牌颜色相近时难以奏效。此外，图像采集过程中拍摄角度常常会造成车牌水平或垂直倾斜，这会影响字符的准确分割，甚至导致分割失败，因此必须进行车牌倾斜校正。常用的倾斜校正方法有Hough变换、Radon变换、Harris角点检测等，但是上述方法仅仅关注水平倾斜校正而忽略垂直倾斜校正，并且对图像预处理依赖性较高，常常因车牌边框模糊甚至没有边框而导致校正效果不理想。垂直投影是字符分割最常用的方法，将二值化车牌图像通过垂直投影的“波峰”与“波谷”搜索字符的起始-终止列，从而将每个字符分割出来，其难点在于如何去除间隔符、边框的干扰以及特殊“川”字的准确分割。字符识别是车牌字符智能识别系统的最后一个主要环节，常用的识别方法主要有模板匹配法和神经网络法。基于模板匹配的方法实现简单且处理速度快，但其抗干扰性能差。基于神经网络的识别算法具有一定的自适应能力，分类能力强且容错性好，但其对网络的参数取值比较敏感且训练过程需要的模板较多。对于中国车牌字符识别的难点在于结构复杂的汉字识别。
技术实现要素：
本发明要解决的技术问题是克服现有技术的缺陷，提供一种渣土车车牌字符智能识别方法，其识别率高，具有较高的有效性和普适性。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种渣土车车牌字符智能识别方法，其包括以下步骤：
S1、车牌粗定位：
S2、车牌倾斜校正：
S21、采用双线性插值拟合法拟合车牌黄色区域边缘的直线，从而检测车牌的水平、垂直倾斜角度；
S22、采用图像错切变换法实现车牌倾斜校正；
S3、车牌字符分割：
S31、去除水平边框；
S32、去除间隔符；
S33、去除垂直边框；
S34、字符分割；
S4、车牌字符识别，具体识别步骤如下：
S41、将字符模板图像编号，从A～Z、0～9、京～琼，依次编号为1、2、......、65的连续自然数；
S42、字符模板预处理，归一化成32×16规格的图像；
S43、待识别字符图像预处理，归一化成32×16规格的图像，注意保持待识别字符图像跟模板图像预处理过程一致；
S44、将待识别字符依次与65张字符模板进行匹配，并按顺序记录匹配度，最终待识别字符就是匹配度最高的字符模板。
进一步地，所述的车牌粗定位具体包括：
S11、将采集的RGB彩色图像转换到HSV颜色空间，根据黄色在H、S、V 通道的值域，逐行逐列扫描统计黄色像素的个数，分别进行水平投影和垂直投影，确定车牌的起始-终止行和起始-终止列，从而找出车牌的有效区域；其中，黄色在HSV颜色空间各通道的取值分别为：H(0.1-0.3)、S(0.5-1.0)、V(0.35-1.0)；
S12、当查询车牌的起始-终止行或列时，水平投影或垂直投影后先搜寻像素数最多的行或列，然后从该行或列开始逐步向两边搜寻，直至黄色像素数不满足条件即黄色像素数小于a为止，由此便可确定车牌的起始行或列和终止行或列；其中a为2～5的自然数。
进一步地，在步骤S12中，当第一次搜寻终止后，试探性的向两边跨出b个像素，再搜寻黄色像素数是否满足条件，如此循环直至黄色像素不满足条件为止；其中b为4～8的自然数。
进一步地，步骤S31具体是指：去除车牌的上下边框，将图像预处理后的二值图像进行垂直投影，即逐列扫描统计每行白色像素点的个数，然后分析垂直投影的波谷波峰特点，从而找出字符区域。
进一步地，步骤S32具体是指：去除第二个字符和第三个字符之间的间隔符，其具体步骤如下：
S321、将去除水平边框的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S322、统计每个字符的宽度(包括左右边框、间隔符)CH_width；
S323、判断每个字符的宽度是否满足条件CH_width＜(45/440*width/2)；若满足，则该字符是“间隔符”、“1”、“川字一竖”或者“左右边框”；
S324、判断满足S323条件的字符高度是否满足CH_height＜height/3，若满足，则该字符即为“间隔符”，将其置为背景色；
其中“45”表示渣土车车牌的字符实际宽度45mm，“440”表示渣土车车牌的实际宽度440mm，width表示去除水平边框后车牌的宽度，height表示去除水平边框后车牌的高度。
进一步地，步骤S33是指去除车牌的左右边框，具体步骤如下：
S331、将去除间隔符后的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S332、统计每个字符并包括左右边框的宽度CH_width；
S333、从左到右去除车牌左边所有满足条件CH_width＜(45/440*width/2)的字符，直至出现不满足条件为止，同时记录去除字符的个数num_remove；
S333中去除的字符是指车牌的左边框，特殊的包括“川”字的三竖，通过num-find的大小可以判断第一个字符汉字是否是“川”字。
进一步地，步骤S34是指采用垂直投影的方法分割字符，其具体步骤如下：
S341、将去除垂直边框的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S342、从左到右扫描记录每个字符的起始列和终止列，并记录；
S343、通过num-remove的大小判断第一个字符汉字是否是“川”字.若num_remove≥3，则第一字符汉字一定是“川”字，且“川”字已经被去除，然后从左到右依次分割出6个字符即可；若num_remove＜3，则第一个字符汉字一定不是“川”字，则从左到右依次分割出7个字符即可；
S344、字符归一化并保存到一个文件夹中等待识别。
进一步地，步骤S21具体是指：
S211、首先对粗定位的车牌彩色图像从上往下逐行或者从左往右逐列扫描，记录每一列或行第一次出现黄色像素点的坐标；
S212、采用双线性插值拟合法来拟合这些点，便可得到一条拟合直线；
S213、通过这条直线的斜率即可得到车牌的水平或者垂直倾斜角度。
进一步地，步骤S22具体步骤为：
以x轴为依赖轴的错切变换矩阵为
则变换后的图像坐标为
式中shx＝tanα，α是水平错切的角度；
以y轴为依赖轴的错切变换矩阵为
则变换后的图像坐标为
式中shy＝tanβ，β是垂直错切的角度。
本发明所达到的有益效果是：
本发明针对渣土车工作环境恶劣(如车牌生锈或污泥遮挡等)难以识别问题，考虑渣土车车牌特点，采用适宜的基于颜色空间信息的车牌定位方法，通过搜索黄色像素的分布信息实现车牌快速粗定位，并提出了双线性拟合与错切变换相融合方法以实现彩色车牌图像的倾斜校正，有效的避免了Hough变换、Radon变换等倾斜校正方法的缺点。接着，分析间隔符、边框去除的难点及特殊“川”字难以分割的问题，运用统计分析方法有效去除间隔符、多垂直边框、“川”字等特殊问题，最后采用模板匹配法实现字符智能识别，测试实验的高识别率表明本文所提方法具有较高的有效性和普适性。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
一种渣土车车牌字符智能识别方法，其包括以下步骤：
S1、车牌粗定位：
S11、将采集的RGB彩色图像转换到HSV颜色空间，根据黄色在H、S、V通道的值域，逐行逐列扫描统计黄色像素的个数，分别进行水平投影和垂直投影，确定车牌的起始-终止行和起始-终止列，从而找出车牌的有效区域；
S12、当查询车牌的起始-终止行(列)时，水平投影(垂直投影)后先搜寻像素数最多的行(列)，然后从该行(列)开始逐步向两边搜寻，直至黄色像素数不满足条件(黄色像素数小于a)为止，由此便可确定车牌的起始行(列) 和终止行(列)；但是，有时会因为车牌生锈或污泥遮挡等原因造成车牌黄色断裂现象，这时会出现伪起始行(列)和伪终止行(列)。为了避免出现伪起始行(列)和伪终止行(列)，当第一次搜寻终止后，试探性的向两边跨出b个像素，再搜寻黄色像素数是否满足条件，如此循环直至黄色像素不满足条件为止。
其中参数a、b均是经验值，a一般取2-5比较合适，b一般取4-8比较合。
本发明识别的对象是渣土车车牌字符，车牌均为黄底黑字。车身颜色一般跟车牌的颜色不同，故选择基于颜色空间信息的定位法，对于少数车身为黄色的渣土车采用其他方法定位。
S2、车牌倾斜校正：
S21、采用双线性插值拟合法拟合车牌黄色区域边缘的直线，从而检测车牌的水平、垂直倾斜角度：
S211、首先对粗定位的车牌彩色图像从上往下逐行(从左往右逐列)扫描，记录每一列(行)第一次出现黄色像素点的坐标；
S212、采用双线性插值拟合法来拟合这些点，便可得到一条拟合直线；
S213、通过这条直线的斜率即可得到车牌的水平(垂直)倾斜角度；
实现车牌倾斜校正，必须要先知道车牌的水平、垂直倾斜角度。检测倾斜角度的方法是检测一条直线的斜率，目前常用的方法是基于二值图像的Hough变换或Radon变换检测出车牌金属边框的斜率。本发明采用双线性插值拟合法拟合车牌黄色区域边缘的直线，从而检测车牌的水平、垂直倾斜角度。
在这个过程中要特别防止车牌边框附近的黄色像素坐标偏离太远而造成拟合误差过大。在逐行(逐列)扫描检测每一列(行)第一次出现黄色像素点的坐标时，列(行)扫描的范围为这样可以有效的避免统计车牌边框附近的黄色像素坐标，从而降低拟合误差。其中参数λ、γ均是经验值，λ一般取0.2-1.0比较合适，γ一般取4.0-4.8比较合适。
经过粗定位后的车牌区域已经集中于字符周围，其黄色相对突出，此时拟合黄色像素区域边缘直线的误差大大降低。与已有的基于二值图像检测倾斜角度的方法相比，该方法更加精确。
S22、采用图像错切变换法实现车牌倾斜校正，其具体步骤为：
以x轴为依赖轴的错切变换矩阵为
则变换后的图像坐标为
式中shx＝tanα，α是水平错切的角度；
以y轴为依赖轴的错切变换矩阵为
则变换后的图像坐标为
式中shy＝tanβ，β是垂直错切的角度；
由(2)、(4)式可得，错切变换类似于平行四边形扭动，水平错切时垂直边不动，垂直错切时水平边不动，相对图像旋转变换具有明显的优势。
目前常用的倾斜校正方法是得到倾斜角度后采用图像旋转变换法，其缺点是在进行水平校正时也会旋转垂直边缘，进行垂直矫正时同样也会旋转水平边缘。本文为了避免图像旋转变换的缺点，采用图像错切变换法实现车牌倾斜校正。
由于步骤S1的车牌定位过程只实现了车牌的粗定位，而在实际应用中，由于相机的拍摄角度等原因造成车牌水平或垂直倾斜，会影响字符的准确分割，甚至导致字符分割失败，因此车牌倾斜校正至关重要。而倾斜校正实际上是车牌精定位的过程。以往的倾斜校正方法大都是基于图像预处理后的二值图像实现的，而本发明在图像预处理之前，运用双线性插值拟合和错切变换方法，对粗定位的彩色车牌图像实现水平、垂直倾斜校正。
S3、车牌字符分割：
车牌字符分割是将车牌中的每个字符独立的分割出来。目前最常见的方法是基于垂直投影的字符分割，但是大多没有考虑一些特殊情况(如间隔符污损、多垂直边框、“川”字等)或者对其处理方法不具有普适性。本发明依然采用垂直投影法，但是对垂直投影进行大量的统计分析，尤其是对特殊情况进行了详细研究，并且提出了具有一定普适性的处理步骤。
在字符分割之前，将倾斜校正后的彩色车牌图像经过图像灰度化、图像灰度化增强、图像二值化、图像滤波、图像形态学处理等一系列图像预处理过程，转换成二值图像。本发明的字符分割流程为：去除水平边框→去除间隔符→去除垂直边框→字符分割。
S31、去除水平边框：即去除车牌的上下边框，将图像预处理后的二值图像进行垂直投影，即逐列扫描统计每行白色像素点的个数，然后分析垂直投影的波谷波峰特点，从而找出字符区域；
S32、去除间隔符：即去除第二个字符和第三个字符之间的间隔符，具体步骤如下：
S321、将去除水平边框的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S322、统计每个字符的宽度(包括左右边框、间隔符)CH_width；
S323、判断每个字符的宽度是否满足条件CH_width＜(45/440*width/2)；若满足，则该字符是“间隔符”、“1”、“川字一竖”或者“左右边框”；
S324、判断满足Step3条件的字符高度是否满足CH_height＜height/3。若满足，则该字符即为“间隔符”，将其置为背景色。
其中“45”表示渣土车车牌的字符实际宽度45mm，“440”表示渣土车车牌的实际宽度440mm，width表示去除水平边框后车牌的宽度，height表示去除水平边框后车牌的高度；
常见的去间隔符方法是直接通过字符高度去除间隔符，这样同时会消除有效字符的边缘部分，会影响字符识别的精度。本发明所设计的步骤可以有效的避免这个弊端。
S33、去除垂直边框，即去除车牌的左右边框，具体步骤如下：
S331、将去除间隔符后的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S332、统计每个字符的宽度(包括左右边框)CH_width；
S333、从左到右去除车牌左边所有满足条件CH_width＜(45/440*width/2)的字符，直至出现不满足条件为止，同时记录去除字符的个数num_remove；
S333中去除的字符一般是车牌的左边框，特殊的包括“川”字的三竖，通过num_find的大小可以判断第一个字符汉字是否是“川”字；
S34、字符分割：采用垂直投影的方法分割字符，其具体步骤如下：
S341、将去除垂直边框的车牌二值图像进行垂直投影，即逐行扫描统计每列白色像素点的个数；
S342、从左到右扫描记录每个字符的起始列和终止列，并记录；
S343、通过num_remove的大小判断第一个字符汉字是否是“川”字.若num_remove≥3，则第一字符汉字一定是“川”字，且“川”字已经被去除，然后从左到右依次分割出6个字符即可；若num_remove＜3，则第一个字符汉字一定不是“川”字，则从左到右依次分割出7个字符即可；
S344、字符归一化并保存到一个文件夹中等待识别；
本发明设计的去除垂直边框和字符分割的步骤能够准确有效的分割出具有“川”字车牌字符，并且能够避免多垂直边框的影响，具有一定的普适性。
S4、车牌字符识别，具体识别步骤如下：
S41、将字符模板图像编号，从A～Z、0～9、京～琼，依次编号为1、2、......、65；
S42、字符模板预处理，归一化成32×16规格的图像；
S43、待识别字符图像预处理，归一化成32×16规格的图像，注意保持待识别字符图像跟模板图像预处理过程一致；
S44、将待识别字符依次与65张字符模板进行匹配，并按顺序记录匹配度，最终待识别字符就是匹配度最高的字符模板。
第一个字符汉字识别时，让待识别字符与序号为35～65的模板匹配；第二只字符字母识别时，让待识别字符与序号为1～24的模板匹配。这样不仅可以提高识别速度，还可以提高识别精度。
字符识别是智能识别系统的最终目标，也是最后一个环节。字符识别主要包含汉字识别、字母识别、数字识别，其中车牌的第一个字符是汉字、第二个字符是字母、第3-7个字符是字母和数字组合。汉字代表省、自治区、直辖市的简称，主要有京～琼共31个汉字(港、澳、台除外)。字母代表发牌机关代号，由大写英文字母组成，主要有A～Z共24个字母(O和I除外)。数字有0～9共10个。
目前常用的字符识别方法有模板匹配、特征匹配、神经网络等方法。本发明采用高效的模板匹配法对分割出的字符进行了识别。
本发明对建筑工地上采集的154张切合实际的渣土车照片进行了测试实验。模板匹配法和BP神经网络法的识别结果统计如表1所示，其中模板匹配法的实验结果表1所示。
表1字符识别结果
结果显示全部能够实现车牌精确定位，并且在使用简单的模板匹配法进行字符识别的前提下。从表1中可以看出，模板匹配法的识别率可以达到98.9％，并且其识别速率快，平均每张车牌的识别时间仅为1.528s，这表明本发明所提的车牌定位、车牌倾斜校正、车牌字符分割等方法具有较高的有效性和普适性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。