一种lpr车牌筛选识别的方法和系统的制作方法
【专利摘要】本发明涉及一种LPR车牌筛选识别的方法，包括最优车牌采集的步骤和车牌定位的步骤。所述的最优车牌采集的步骤包括车牌过滤的步骤及提取车牌帧数的步骤；车牌过滤的步骤：通过ROI的界定，过滤掉车离摄像头较远或较近的情形；提取车牌帧数的步骤：由抓拍计数器控制，对进入识别区域的车牌连续抓拍N张图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒，抓拍计数器清零。不但可用于停车管理系统还可实现公司车辆的智能管理，完成自动考勤的功能。且车牌的获取不再利用埋设地感线圈的方式，提高系统寿命。
【专利说明】一种LPR车牌筛选识别的方法和系统
【技术领域】
[0001]本发明涉及交通监控系统【技术领域】，具体涉及一种筛选识别车牌的系统。
【背景技术】
[0002]随着经济的增长和人们购买力的不断提高，国内汽车数量大规模增加，尤其是私家车数量的急剧增长，远远超过城市原本配备的停车位，导致国内停车难等问题日益凸显，如何在停车位资源一定的情况下实现对停车场科学、规范、统一的管理成为人们关注的重点。
[0003]车牌识别作为现代智能交通监控【技术领域】中的重要组成部分，在停车场管理方面扮演着重要的角色。除此之外，对智能车牌识别的应用还可实现公司车辆的智能管理，完成自动考勤的功能。
[0004]车牌识别是以计算机视觉、图像处理、模式识别等技术为基础，对前端摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成车牌识别的过程。众所周知，车牌的识别流程大致分为三个步骤，即:车牌的定位，字符分割以及字符的识别。
[0005]目前，车辆检测的传统手段是在路面下埋设地感线圈，车辆经过地感线圈时，地感线圈的电感量发生变化，致使当前线圈与其它电路的探测电路的输出的电信号发生变化，产生车辆检测信号，一般为频率信号，送处理机进行处理，得到车辆进、出停车场的信息。在实际应用中，采用地感线圈检测车辆的方法施工维护费用高、对路面破坏性大，受冰冻、盐碱、繁忙交通的影响大，使用寿命短，一般只有两年。
【发明内容】
[0006]针对以上现有技术中的缺陷，本发明的LPR识别系统不但可用于停车管理系统还可实现公司车辆的智能管理，完成自动考勤的功能。且车牌的获取不再利用埋设地感线圈的方式，提高系统寿命。
[0007]系统车牌的识别大致流程如图1所示，本发明重点在于对车牌的筛选和识别，具体技术方案如下:
[0008]一种LPR车牌筛选识别的方法，包括如下步骤:
[0009]最优车牌采集的步骤:
[0010](I)车牌过滤的步骤:
[0011]通过识别区域(这里统称感兴趣区域R0I)的界定，可以过滤掉车离摄像头较远或者较近的情形。
[0012](2)提取车牌帧数的步骤:
[0013]车牌识别系统设置有计数器，对进入识别区域的车牌连续抓拍N张(一般为3张)图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒(通常为I秒)，抓拍计数器清零。[0014]车牌定位的步骤:
[0015](I)灰度化处理颜色图的步骤:利用公式
[0016]Gray(i, j) = R(i, j)*0.299+G(i, j)*0.587+B(i, j)*0.114
[0017]对采集到的颜色图进行灰度化处理。
[0018](2)对灰度图进行top-hat变换,可有效地去除高光区域；优选的，top-hat变换中kernel 取值为 20*1 ；
[0019](3)继续对灰度图进行二值化处理形成二值图，其阈值的选取优选为利用大津法求取；
[0020](4)继续对二值图进行开闭运算操作，可以快速地消除图像中的椒盐噪声，优选方法如下:
[0021]步骤1:对图像进行闭运算操作，椒盐噪声区域缩小；执行的过程是在输入图像上用一个合适的结构元素B进行先膨胀后腐蚀的操作。该步骤可填充物体内细小空间、连接邻近物体、在不明显改变物体面积时平滑其边界。对于结构元素B的选取，需依据摄像机采集的图像中车牌大小而定，经实验测试B取24x2效果最好。
[0022]步骤2:对图像进行开运算操作，非椒盐噪声区域会被融合；开运算可消除图像中的细小物体、在纤细处分离物体、平滑较大物体的边界时不明显改变其面积。经实验测试结构元素B取2x8最优。
[0023]步骤3:对图像进行腐蚀操作，椒盐噪声区域会再次缩小；结构元素取24x2。
[0024]步骤4:遍历所有区域，将区域面积小于40的区域去除(面积小于40的区域定义为椒盐噪声区域)；具体做法为搜索二值图像中所有连通域，利用车牌面积及长宽比等先验知识将面积较小以及长宽比不满足的区域滤除，面积阈值一般定为40较合适。
[0025](5)优选的，还包括区域融合的步骤:
[0026]步骤1: 二值图中所有轮廓外接矩形放入集合A中；
[0027]步骤2:找到集合A中所有二值图的颜色图，遍历集合A，若目标颜色(蓝、黄等)比率大于设定值，这里的设定值取0.02为最佳，则放入候选矩形集合B中；
[0028]步骤3:计算集合B中所有矩形的几何中心，判断集合B中矩形的位置关系，如果两个矩形边界的距离在限定范围内，这里，设定范围取10-15为最佳，且两个矩形中心点连线与水平线或竖直线之间的角度在设定阈值内，则表示两个矩形在同一水平或竖直方向，此时，在两个矩形中画线，使其融合，这里设定阈值取-10度到+10度之间为最佳。
[0029](6)优选的，还包括搜索矩形区域的步骤:
[0030]步骤1:将经区域融合的二值图对应的矩形放入集合S中；
[0031]步骤2:剔除掉面积小于设定值或长宽比例不在设定范围的矩形，将经上述剔除操作后剩余的车牌归入车牌候选集中。
[0032](7)筛选车牌的步骤:
[0033]步骤5.1:计算候选车牌区域中目标颜色(蓝、黄等)的比率；
[0034]步骤5.2:找到目标颜色比率最大的区域，若目标颜色比率的最大值大于设定值
0.03则进行步骤5.3 (经统计，设定值0.03为最佳)，否则直接将其丢弃；
[0035]步骤5.3:找到目标车牌的二值化黑白图；
[0036]步骤5.4:取区域的1/2高度，从左往右进行黑白跳变扫描，若黑白跳变的次数未超过设定值(经统计，设定值为14时最佳)则丢弃。
[0037]本发明还涉及一种LPR车牌筛选识别的系统，包括最优车牌采集模块和车牌定位模块；
[0038]所述的最优车牌采集模块用于获取理想车牌后送入车牌定位模块进行筛选和识别。
[0039]所述的最优车牌采集模块包括车牌过滤单元和车牌帧数提取单元，所述的车牌过滤单元用于采集车离摄像头适当距离的车牌图像，所述的车牌帧数提取单元用于抓拍并过滤伪车牌。
[0040]所述的车牌定位模块包括灰度化处理单元、top-hat变换单元、二值化处理单元、开闭运算单元、车牌筛选单元，所述的灰度化处理单元用于对采集到的颜色图进行灰度化处理形成灰度图后送入top-hat变换单元,所述的top-hat变换单元用于对图像进行除高光区域处理后送入二值化处理单元，所述二值化处理单元用于对灰度图进行二值化处理后送入车牌筛选单元，所述的车牌筛选单元用于筛除非车牌图像。
【专利附图】
【附图说明】
[0041]图1为车牌识别系统的大致流程示意图；
[0042]图2为本发明的方法流程图；
[0043]图3为本发明筛选车牌的方法流程图；
[0044]图4为本发明中区域融合的过程及效果图；
[0045]图5为车牌旋转示意图；
[0046]图6为较为标准的车牌示意图；
[0047]图7为厚边框车牌示意图；
[0048]图8为左边框精确切割示意图，
[0049]图9为获取车牌倾斜角度示意图。
【具体实施方式】
[0050]下面结合附图对本发明作进一步说明，
[0051 ] 一种LPR车牌识别方法:
[0052]1.获取理想车牌
[0053]由于系统是直接从摄像头的视频流中直接提取图像，车辆进入识别区域时的状态具有连续性、随机性。基于视频流的车牌识别就必须解决如何才能从连续的帧图像中提取最优的车牌。所谓最优车牌是指车牌的大小、位置、倾斜程度等因素对系统当前算法适应性最好。这里最优车牌的提取主要是通过对识别区域的设定以及获取同一辆车图像的张数。
[0054]1.1ROI 设定
[0055]通过识别区域(这里统称感兴趣区域R0I)的界定，可以过滤掉车离摄像头较远或者较近的情形。当车辆远离摄像头时，提取的车牌区域太小，分辨率不足；当车辆距离摄像头很近时，又会导致车牌区域的断裂因此ROI的选定是过滤非理想车牌的首要条件。ROI的选定可以根据具体的摄像头的位置、参数及车辆最佳位置的分布来确定使用的参数。这里ROI区域设定为:[0056]ROI = RECT (O, height/5, width, height/2).[0057]其中width，height分别为输入图像的宽和高。设定ROI还可以减少大量不必要的运算，我们知道，车牌识别系统的实时性要求很高，假如我们在识别上所花费的时间超越我们能容忍的限度，那么即使正确率再好的系统也不具有实用的价值。
[0058]实践中，摄像头拍摄的距离为10m，车辆距离摄像头3m_8m时拍摄的照片中车牌的大小，清晰度是比较好的，因此ROI = (O, height/5, width, height/2)。
[0059]1.2提取车牌帧数
[0060]由于同一辆车在进入识别区域时被抓拍的次数很多，因此我们需要限制抓拍的张数，一般来说同一辆车在不同的时刻抓拍3张就足够了。这里假设为需抓拍N张，继而在这抓拍的N张图像中作为一组进行识别，最后的识别结果由N个结果共同评判(评判的结果可以是:同一组中字符不足7位的以7位为准，都为7位的以首次抓拍的为准)。提取指定的帧数需在程序中设定一个抓拍计数器，每次处理完一张则加1，直到条件不满足时中止抓拍。需要注意到是，此处是在较为理想的情况下。但在实际的部署中，尤其是雨天，地上雨水反射光斑较多形成伪车牌区域，此时容易导致计数器失效，这种状况导致的结果是车辆漏识。(即假若由雨水导致计数器错误超过了设定的抓拍张数，如果此时没有被清零，那么待下一辆车进来时将会被直接忽略导致漏识)。这里解决的办法是，设置一个定时器，在实际的定位中，车牌位置一般都为连续的，在帧间隔不大于Is的情况下计数器在短时间内就会从I递增到N。在雨天时由于伪车牌区域大都由穿着蓝色衣服的行人走过引起，因此计数的间隔是随机的，并且计数间隔时间必然要比正常情形下的时间长。因此这里的做法是:
[0061]Stepl.抓拍前一帧类车牌获取当前时间pre_time = GetLocalTime O ；Step2.抓拍下一帧类车牌获取当前时间curr_time = GetLocalTime O ；
[0062]则两次抓拍的时间差DiffTime = curr_time - pre_time.如果时间差DiffTime的数值大于3s那么可以认定这两次的抓拍并不是同一车辆，或者此时计数器工作是由于伪车牌区域引起的，那么此时可以将抓拍计数器清零处理。
[0063]2、车牌定位
[0064]车牌的定位主要包含两个步骤，其一是车牌的粗定位，其二是精细定位。在车牌定位当中粗定位和精细定位处理的目标不同。在粗定位中，主要的目标是在整个输入图像中正确的寻找到车牌的大致位置，可以包含车牌也可以只包含车牌。此处车牌实际位置不要求很精确，但定位的区域中必须包含车牌。而精细定位的目标是在粗定位中得到的车牌进行车牌的标准化(包括车牌的旋转校正、上下边缘、左右边缘的切割等)，最后的车牌应只包含车牌背景及字符。
[0065]2.1 粗定位(LPRCoarseLocate)
[0066]粗定位的主要工作包括对图像进行必要的预处理，如灰度化、二值化、滤噪等，再者执行数学形态学操作，对二值图进行膨胀腐蚀，为后续的搜索矩形区域做准备。主要的流程为:
[0067]2.1.1灰度化(cvCvtColor)摄像头在采集图像的时候,所采集的数据一般是基于RGB颜色空间的3-通道(channels)的彩色图像，在车牌的粗定位中，需要进行的操作往往是不需要在颜色图下处理的。处理彩色图像所需的计算量是十分巨大的(为单通道的3倍)，粗定位中使用颜色图不仅会导致计算量的猛增，而且还会影响定位的精度。在这里，我们需要将颜色图进行灰度化处理。基于RGB颜色空间转灰度图的公式如下:
[0068]Gray(i, j) = R(i, j)*0.299+G(i, j)*0.587+B(i, j)*0.114
[0069]其中Gray(i，j)为目标图像在点(i，j)上的灰度值，R、G、B为图像三个分量。
[0070]2.1.2.Top-hat
[0071]Top-hat变换也称顶帽变换，Top-hat变换可以有效的去除高光区域。车辆在日光下或是夜间，由于都会光照干扰，太亮的区域不仅会影响二值化效果，而且还干扰车牌区域。对灰度图像进行T op-hat变换可以有效的去除高光的影响。需要注意的是T op-hat变换的核大小的选取，结合车牌的特点以及减少对车牌区域的损坏一般来说取kernel = 20x1较为合适。
[0072]Top-hat变换的原理为:
[0073]
【权利要求】
1.一种LPR车牌筛选识别的方法，其特征在于，包括最优车牌采集的步骤和车牌定位的步骤。
2.根据权利要求1所述的一种LPR车牌筛选识别的方法，其特征在于，所述的最优车牌采集的步骤包括车牌过滤的步骤及提取车牌帧数的步骤； 车牌过滤的步骤:通过ROI的界定，过滤掉车离摄像头较远或较近的情形； 提取车牌帧数的步骤:由抓拍计数器控制，对进入识别区域的车牌连续抓拍N张图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒，抓拍计数器清零。
3.根据权利要求1所述的一种LPR车牌筛选识别的方法，其特征在于，所述的车牌定位的步骤包括: 步骤一:利用公式
Gray(i, j) = R(i, j)*0.299+G(i, j)*0.587+B(i, j)*0.114
对采集到的颜色图进行灰度化处理形成灰度图； 步骤二:对灰度图进行top-hat变换； 步骤三:继续对灰度图进行二值化处理形成二值图； 步骤四:继续对二值图进行开闭运算操作； 步骤五:筛选车牌的步骤: 步骤5.1:计算候选车牌区域中目标颜色的比率； 步骤5.2:若目标车牌背景颜色比例大于设定值则进行步骤5.3，否则直接将其丢弃； 步骤5.3:找到目标车牌的二值化黑白图； 步骤5.4:取区域的1/2高度，从左往右进行黑白跳变扫描，若黑白跳变的次数未超过设定值则丢弃。
4.根据权利要求3所述的一种LPR车牌筛选识别的方法，其特征在于，所述步骤二的top-hat变换中kernel取值为20*1。
5.根据权利要求3所述的一种LPR车牌筛选识别的方法，其特征在于，所述步骤三采用大津法求取阈值。
6.根据权利要求3所述的一种LPR车牌筛选识别的方法，其特征在于，所述步骤四中开闭运算操作包括如下步骤: 步骤4.1:对图像进行开闭运算，缩小椒盐噪声区域； 步骤4.2:对图像进行开运算操作，融合非椒盐噪声区域； 步骤4.3:对图像进行腐蚀操作，再次缩小椒盐噪声区域； 步骤4.4:遍历所有区域，将区域面积小于设定值的区域去除。
7.根据权利要求3所述的一种LPR车牌筛选识别的方法，其特征在于，所述的步骤四对车牌进行开闭运算处理后还设有区域融合的步骤及搜索矩形区域的步骤: 所述的区域融合的步骤包括: 步骤1:二值图中所有轮廓外接矩形放入集合A中； 步骤2:找到集合A中所有二值图的颜色图，遍历集合A，若目标颜色比率大于设定值，则放入候选矩形集合B中； 步骤3:计算集合B中所有矩形的几何中心，判断集合B中矩形的位置关系，如果两个矩形边界的距离在限定范围内且与水平线或竖直线之间的角度在设定阈值内，则在两个矩形中画线，使其融合； 搜索矩形区域的步骤包括: 步骤1:将经区域融合的二值图中对应的矩形放入集合S中； 步骤2:剔除掉面积小于设定值或长宽比例不在设定范围的矩形，将经上述剔除操作后剩余的车牌归入车牌候选集中。
8.—种LPR车牌筛选识别的系统，其特征在于，包括最优车牌采集模块和车牌定位模块； 所述的最优车牌采集模块用于获取理想车牌后送入车牌定位模块进行筛选和识别。
9.根据权利要求8所述的一种LPR车牌筛选识别的系统，其特征在于，所述的最优车牌采集模块包括车牌过滤单元和车牌帧数提取单元，所述的车牌过滤单元用于采集车离摄像头适当距离的车牌图像，所述的车牌帧数提取单元用于抓拍并过滤伪车牌。
10.根据权利要求8所述的一种LPR车牌筛选识别的系统，其特征在于，所述的车牌定位模块包括灰度化处理单元、top-hat变换单元、二值化处理单元、开闭运算单元、车牌筛选单元，所述的灰度化处理单元用于对采集到的颜色图进行灰度化处理形成灰度图后送入top-hat变换单元,所述的top-hat变换单元用于对图像进行除高光区域处理后送入二值化处理单元，所述二值化处理单元用于对灰度图进行二值化处理后送入车牌筛选单元，所述的车牌筛选单元用于筛除非车牌。
【文档编号】G06K9/40GK104036262SQ201410306452
【公开日】2014年9月10日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】蔡志旻, 娄刚, 刘伟, 许焱 申请人:南京富士通南大软件技术有限公司