专利名称：一种快速的车牌定位方法
技术领域：
本发明涉及智能交通系统车牌识别子系统中的自然复杂背景中的车牌定位方法，特别 是一种快速的、利用顶帽变换和文字的纹理特征，由粗到精的车牌定位方法。
技术背景目前我国经济与交通的迅速发展导致机动车辆的大幅增加，对机动车辆的监测管理是 我们面临的问题之一。而车牌号是机动车的重要标识。机动车牌号(简称车牌)定位和识别可 广泛应用于高速公路收费站、停车场入口、机关大门等场合，实现车辆的自动监控和管理， 节约了人力和物力。其中车牌定位是车牌识别的关键步骤，针对车牌定位，当前的研究方 法主要有(1)利用车牌的彩色边缘分布特征；(2)利用车牌和文字颜色组合特点；(3) 利用车牌边框的面积、长宽比；(4)利用车牌字符的角点信息；(5)利用车牌字符笔画 左右边缘之间的互相关矢量图的结构特点。(6)利用车牌纹理特征。现有的车牌定位方法 在光照和天气条件理想的条件下，针对车头车尾等部位，取得了很好的成果。然而车牌识别系统的应用越来越广泛，采集到的车牌图像场景越来越复杂、天气条件的变化程度越来越大，从而会得到不同质量的车牌图像。在车牌的颜色信息不明显和边缘 信息受到干扰时，现有的方法(1) 一 (4)和(6)性能不是很理想，而(5)的方法则要 求车牌图像具有时域信息。中国专利0212 95 0 8.5公开了 一种"车牌自动识别方法"还依赖于车辆检测线圈等基础装 置，该装置对车牌的定位需要较好的自然光照条件，不能适用于移动执法。中国专利申请200610069051.5公开了"一种车牌定位识别、车标定位识别及车型识别的 方法及装置"，该发明利用颜色空间特征及其空间信息特征进行车牌区域定位。但是随着现 在车牌识别系统应用的环境越来越复杂，该发明方法对于车牌颜色信息丢失的情况具有一定不足。中国专利申请200410044488.4公开了 一种"从车辆影像中撷取车牌区域的方法"，该发 明简单的利用车牌影像的水平梯度及垂直梯度整合成梯度二值图像，将高值像素群聚合成 车牌候选区域，然后根据候选区域依照区域内的高度像素值的分布来确定是否为车牌区域。中国专利200510021540.9公开了一种"基于高帽变换和小波变换的车牌提取方法"，该 发明利用高帽变换突出车牌区域，然后通过小波变换对车牌区域进行水平和垂直定位。小波变化的复杂度较高，在对车牌进行垂直和水平扫描的过程中，也容易受到噪声影响。 发明内容本发明要解决的技术问题克服现有方法的不足之处，提供一种基于顶帽变换和文字 纹理的快速车牌定位方法，改方法的对环境的适应性大大增强计算复杂度大大降低，提高 了车牌区域的成功检测率。本发明的技术解决方案 一种快速的、利用顶帽变换和文字的纹理特征，由粗到精的 车牌定位方法，包括以下歩骤(1) 对采集的车牌图像进行灰度转换，得到灰度图像/;(2) 对灰度图像/进行顶帽变换，以消除车牌图像中的大尺寸背景对象；(3) 利用边缘检测算子计算灰度图像/的边缘图EdgeMap;(4) 对得到的边缘图EdgeMap进行二值化操作，并根据边缘像素的密度对边缘像素进 行过滤，删除掉某些由背景形成的低密度像素；(5) 根据车牌号码具有高边缘密度的特点，对边缘图EdgeMap进行形态学膨胀操作，将断裂的边缘像素组合为更大面积的区域；(6) 根据车牌尺寸属性的先验知识，对区域的几何属性进行连通分量分析，删除明显 不符合车牌几何属性的区域，最终得到车牌的候选区域集合，完成粗定位过程；(7) 计算候选区域集合的垂直投影图VPM，对VPM进行离散余弦变换，利用低频系 数重构VPM，重构后VPM记为VPMR;(8) 计算VPMr的紋理描述子，包括均值m、标准偏差o、平滑度i ;山VPM的低频 系数、均值m、标准偏差cr，平滑度R组成描述车牌候选区域的纹理特征向量无；将特征向 量文输入支持向量机进行分类，以此判定候选区域是否车牌区域，完成精定位过程。本发明与现有技术相比的优点在于U)本发明釆用了顶帽变换过滤车牌图像，较好的消除了背景中的树木等大尺寸背景， 减少了背景的干扰，对环境的适应性大大增强。(2)本发明采取了由粗到精的定位方式，相对于以往的车牌定位方法采取逐区域扫描 车牌图像的方式，减少了计算量，提高了方法的计算速度。在粗定位阶段，利用车牌区域 具有较高的边缘密度的特点，根据车牌的边缘密度进行自动生长生成车牌候选区域，然后 再根据候选区域的纹理特征进行分类进行车牌区域精定位。
图1为本发明方法的实现流程图；图2为本发明的只有一个候选区域的车牌区域粗定位过程示意图，其中2a代表车牌图像灰度化后的灰度图像，2b代表图像2a经过顶帽变换后的结果，2c代表对图2b的边缘图， 2d代表图2c经过二值化、边缘过滤后的结果，2e代表对图2d进行形态学膨胀操作后的结 果，2f代表图2e进行连通域分析后的结果，2g代表候选区域在原图像中的对应区域；图3为本发明的具有两个候选区域的车牌区域粗定位过程示意图，其中3a代表车牌图 像灰度化后的灰度图像，3b代表对图3a进行处理后产生的粗定位产生的两个车牌候选区域；图4为本发明的车牌区域VPM图以及重构后的VPMw图，其中4a代表预处理后的车 牌区域，4b代表图4a的垂直投影图VPM， 4c、 4d、 4e和4f分别代表用50、 40、 30和20 个低频描绘子重构VPM后的VPM/ ;图5为本发明的简单背景下车牌定位示例示意图，其中5a代表具有简单背景的车牌图 像，5b代表本发明的方法粗定位的结果，5c代表本发明的方法精定位的结果；图6为本发明的复杂背景下车牌定位示例示意图，其中6a和6d分别代表采集到的车 牌图像，6b和6e分别代表6a和6d粗定位后的结果，6c和6f分别代表6b和6e精定位后 的结果。
具体实施方式
为了方便描述本发明，首先介绍一些概念进行介绍。1.灰度形态学形态学操作包括二值形态学和灰度形态学两种，分别用于二值图像和灰度图像。对于 本文中处理的车牌图像，具有背景复杂、车牌特征较为弱化的特征，所以按传统的处理方 法，先提取边缘特征，然后进行形态学操作和连通域分析，并不能得到很好的结果。所以 要抑制车牌所处自然环境的背景，本发明采用灰度形态学在灰度图像中进行处理。灰度形 态学中，假定A^,力和Wx,力定义在2维离散空间F和5的离散函数，其中yu，力是灰度图像， 6(;c，力是结构元素，则/(x,W关于6(;c,30的灰度形态学膨胀、腐蚀、丌运算和闭运算，分别定 义如下(1) 膨胀(Dilate)，使用结构元素6对图像/的膨胀定义为 <formula>formula see original document page 7</formula>(2) 腐蚀(Erode)，使用结构元素6对图像/的腐蚀定义为 (/ 6)0， J) = min{/0 + ;c '，少+ ') — 60', y') 10 '，e Z)J(3) 开运算(叩en)，结构元素6对图像/的丌运算定义为 (/。W(x,力[(/挑，W"力(4) 闭运算(close)，结构元素6对图像/的闭运算定义为 <formula>formula see original document page 7</formula>2. 顶帽变换过程。一般来说，开运算可以用来去除小的亮点，同时保持所有的灰度级和较大的亮区特性 相对不变，而闭运算可以去除比结构元素6更小的暗色细节。基于丌运算和闭运算的滤波 特性，又可以定义两种算子顶帽(Tophat)变换、底帽(ButtomHat)变换，分别定义如下(1) T叩hat变换，结构元素6对图像/的闭运算定义为 7b/ /w,. A 0，力=[/ - / 。 Z;](x，力(2) ButtomHat变换，结构元素6对图像/的Bottom-hat变换定义为 丑o/row/w/,力0， = 6 — 力T叩-hat和Bottom-hat分别具有高通滤波器的某些特性，其中Top-hat可以检测图像中 的峰，Bottom-hat可以检测图像中的谷。T叩Hat滤波等效于原图/减去原图/和结构元素6 进行开运算后的结果，山于原图丌运算后，小于结构元素6的亮点被腐蚀掉，而原图/大的 灰度级相对不变，所以用原图减去开运算后的结果，剩下的就是被丌运算腐蚀掉的小于结 构元素6的亮点，最终大于结构元素力的背景被抑制。3. 离散余弦变换。将J/尸M表示为坐标对(0,少o)，…,(/C-l，w.,)， K为区域宽度，则r尸M本身也可以表示为 一个序列S(A)的离散余弦变换为= ^柳cos， )", (0 " " -l)—fi/VZ， w = o3(W)称为5"(/t)的频域描绘子。这些系数的离散余弦变换可逆，艮P:柳=(0 " "一 1) ,,-。 」A假定仅使用前尸个系数，而不是使用所有的系数，相当于在上式中令3(")=0，">户-1。 结果得到^(W的近似如下= cos " (0 ^ "一 ))/t的范围仍然是0，…，。换言之，S(it)含有相同数量的点，但在每个点的重构中却用不到如此多的系数项。由于高频分量决定细节部分，而低频分量决定总体形状，所以 可以仅使用前尸个频域描绘子恢复S(Q。 下面对本发明进行详细说明。如图l所示，本发明的具体实现步骤如下(1) 通过摄像或者照相装置，采集得到含有车牌区域的车牌图像；(2) 利用RGB彩色空间和灰度空间的颜色变换公式，对获得的车辆图像进行灰度转换 处理，其转换公式为/^0.299x及+ 0.587xG + 0.ll4xS，其中/表示灰度图像，W、 G和5分 别表示彩色图像红、绿和蓝色三个分量的值；(3) 对灰度图像/进行顶帽变换(Top-hat transform)。顶帽变换的公式为 ro/^加w(x，力-[/-/。6](;c,;;)，结构算子6选取大小为MX 1的水平线性结构算子，根据图像的分辨率，本次实施可以设置1 1 1 11 1 H 1 1 1 1 1 ]。由于顶帽变换等效于原车 牌图像减去原车牌图像与结构算子&开运算后得到的图像，选用合适的结构算子(略大于车 牌号码尺寸)6对原车牌图像进行开运算，就可以得到尺寸大于结构元素的背景，再利用原 图像减去开运算后的结果，就可以去除背景，增强车牌区域。(4) 提取车牌灰度图像的边缘图EdgeMap ，计算公式如下 五啦eM^-M4X(Sw^,S柳,S,。)，其中&, S,, Sw和S朋是采用水平&、垂直Sv、左斜Sw和右斜S^四个方向的Sobel边缘算子得到的边缘图像。(5) 设定二值化的阈值Tc-20，对边缘图EdgeMap(x,y)进行二值化操作。由于灰度值小 于20的边缘像素对于人眼几乎是分辨不出的，所以本发明设定灰度值大于20像素作为前 景，用"1"表示，即纯白颜色；灰度值小于等于20的像素作为背景，用全"0"表示，即纯黑 颜色表示。(6) 边缘过滤。车牌区域具有较高的边缘密度，根据图像分辨率，本次实施可以设置滑 动窗口 W的大小为20X20,在水平和垂直方向以5个像素为步长进行移动，如果窗口覆盖 区域的像素密度低于阈值乙aoo,则将当甜滑动窗口覆盖的边缘像素删除。(7) 基于形态学的区域生长。在车牌区域，字符笔画产生的边缘具有较高的密度，该区 域的边缘像素分布具有两个特点a.在单个字符区域内，形成的边缘密度较高，但是由于 字符笔画颜色一致，产生的边缘具有微小的断裂；b.车牌是水平方向的，所以车牌区域的边 缘像素在水平方向还有方向性，但是字符之l'sj的边缘距离稍大。基于这两个特点，可以在 水平和垂直方向采用不同的尺度，利用形态学闭运算，将车牌区域的边缘像素合并为一个大的连通区域，对边缘图EcfeeMflp(u)遂行形态学膨胀操作的公式如下 EdgeMap(x，y)-(EdgeMap W)O，力其中，形态学算子bl选取PXQ大小的矩形；根据图像的分辨率，本次实施设置bl的值为3X15。(8)基于连通分量分析的候选区域集合，得到符合车牌尺寸属性的连通区域。车牌的尺寸在一定范围，根据这个先验知识，对图像中的每一个连通域R,计算连通域面积A、最 小外接矩形B的高度h和宽度W，规则如下规则1:设定最大高度阈值Th—隨和最小高度阈值Th_min，如果h> Th—隠或h<Th—min，删 除连通域R;规则2:设定最大宽度阈值Tw—隨和最小宽度阈值Tw_min，如果h>Tw—,或w<Tw—min， 删除连通域R。规则3:设定最大高宽比阈值Tr—max和最小高宽比阈值T^,n，计算连通域的高宽比r =^，如果KTr—min或者r〉TV—随，删除连通域R。规则4:设定填充比阈值Tf一min，如果填充比/ = 小于Tf—min，删除连通域R。(9) 经过以上歩骤完成车牌区域粗定位过程，图像中剩下符合车牌尺寸属性的连通区域，本发明将这些区域作为车牌候选区域。以下步骤为精定位过程。(10) 计算候选区域的水平投影图(VPM, Vertical Projection Map),对VPM进行离散余 弦变换，得到频域系数。然后采用低频描绘子，利用离散余弦反变换重构VPM，重构的VMP 用VPM/ 表示，计算过程为a. 将候选车牌区域进行垂直投影，得到垂直投影图VPM，将VPM表示为坐标对形式 (O,yO)，…,(K-I,y^)，尺为区域宽度，则VPM本身也可以表示为一个序列5"(A)-0^;b. 将VPM进行离散余弦变换，变换的公式为c.使用前P个系数，而不是使用所有的系数，相当于令B(u户O， u>P-l。结果得到S(k)的近似如下S(/t)即是VPM经过离散余弦变重构的形式，记为VPMR，和VPM含有同样数量的K(11)计算VPMft的描述子，包括均值m，标准偏差o2，平滑度i 。最终，VPM的低 频系数、均值m、标准偏差ci2，平滑度R组成描述车牌候选区域的纹理特征向量，计算公 式如下~"~<formula>formula see original document page 11</formula>结合VPM^的中低频描绘子，模式向量i定义为3 = {5(0),...,5(19)，,一,及^3} (12)将模式向量i输入支持向量机SVM，判定候选区域是否车牌区域，最终，从多 个候选区域中定位到车牌区域。下面结合实例再说明一下本发明。本发明的方法适用于高速公路入口、收费站、停车 场入口和移动电子警察等任何采用摄像或者照相装置获取的车牌原始图像的位置，可以采 用Delphi、 visual 0++等编程语言来实现生成车牌识别软件，将采集的车牌图像作为车牌识 别软件的输入，输出定位到的车牌区域，进行下一歩的OCR识别。实施过程分为粗定位和精定位两个过程图2是一个粗定位过程的示例。首先，采集到的彩色车牌图像被转换成灰度图像，如 图2a所示；然后对灰度图像进行顶帽变换，如图2b所示；顶帽变换的结果再进行边缘提 取，如图2c所示；边缘图再进行二值化和滤波操作，留下边缘密度较大的区域，如图2d-, 接着进行基于形态学的区域生长，形成大的连通区域，如图2e;最后，对连通区域进行连 通分量分析，删除不满足车牌几何尺寸的区域，完成粗定位过程。如图2f，粗定位过程得 到车牌的候选区域，图2g是候选区域对应的车牌图像区域，可以看到，粗定位过程很好的 找到了潜在的车牌区域。在图3中，车标区域具有相似的边缘特征，也作为车牌候选区域 保留，粗定位过程得到了两个候选区域。对于多个候选区域的情形，需要根据车牌区域的纹理特征來进行进一步的精定位。图 4a是经过粗定位过程得到的候选区域，由图4b可以看到，车牌区域的VPM具有独特的波 峰波谷特征，但是由于噪声的影响，该波峰波谷特征和车牌字符数量并不对应。本发明的 方法采用离散余弦变换重构的VPM/ 则要光滑的多，如图4c、 4d、 4e和4f所示。图4c、 4d、 4e和4f分别是用50、 40、 30和20个低频描绘子重构后的VPM，可以看出，采用20 个低频描绘子重构后得到的VPM; 其波峰波谷的数量和车牌字符数量是一致的。所以，本 发明提取重构的VPMs的纹理描述子作为特征向量，输入支持向量机区分多个候选区域。图5是一个简单背景下精定位过程，图5a、 5b和5c分别是车牌图像、粗定位结果和 精定位的结果。从图5b可以看出，粗定位阶段产生了两个候选车牌区域，经过精定位阶段 的纹理特征判断，粗定位阶段被错误定位到的候选区域被排除。图6是一个复杂背景下的精定位过程，其中6a和6d分别代表采集到的车牌图像，6b 和6e分别代表6a， 6d粗定位后的结果，6c， 6f分别代表6b, 6e精定位后的结果。在初定 位阶段都检测到了多个车牌区域，最终经过精定位过程的纹理特征分析，大部分误定位到 的候选区域都被删除。图6c中，即使精定位阶段也误检到一个车牌区域，观察可以发现， 主要是由于该区域类似于数字'T'，这种情形下，很难通过几何和纹理属性来进行排除，但 是可以在号码识别阶段进一步排除。
权利要求
1、一种快速的车牌定位方法，其特征在于步骤如下(1)对采集的车牌图像进行灰度转换，得到灰度图像f；(2)对灰度图像f进行顶帽变换，以消除车牌图像中的大尺寸背景对象；(3)利用边缘检测算子计算灰度图像f的边缘图EdgeMap；(4)对得到的边缘图EdgeMap进行二值化操作，并根据边缘像素的密度对边缘像素进行过滤，删除掉某些由背景形成的低密度像素；(5)根据车牌号码具有高边缘密度的特点，对边缘图EdgeMap进行形态学膨胀操作，将断裂的边缘像素组合为更大面积的区域；(6)根据车牌尺寸属性的先验知识，对区域的几何属性进行连通分量分析，删除明显不符合车牌几何属性的区域，最终得到车牌的候选区域集合，完成粗定位过程；(7)计算候选区域集合的垂直投影图VPM，对VPM进行离散余弦变换，利用低频系数重构VPM，重构后VPM记为VPMR；(8)计算VPMR的纹理描述子，包括均值m、标准偏差σ、平滑度R；由VPM的低频系数、均值m、标准偏差σ，平滑度R组成描述车牌候选区域的纹理特征向量将特征向量输入支持向量机进行分类，以此判定候选区域是否车牌区域，完成精定位过程。
2、 根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述歩骤(1)中的灰度转换的公式为/ = 0.299xi +0.587xG+0.114x5,其中/表示灰度图像，/ 、 G和5分别表示彩色图像红、绿和蓝色三个分量的值。
3、 根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述歩骤(2)中对灰度图像/进行顶帽变换的公式为7bpto/A(x，y)=[/ — /。W(x,_V)， 6为结构算子，采用大小为 MX1的水平线性结构算子，M的取值根据车牌图像分辨率进行设定。
4、 根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述歩骤(3)计算灰度图像/边缘图EdgeMap的公式为其中SH,Sv,SLD和SRD为水平、垂直、左斜和右斜4个方向的经由Sobel算子得到灰度图像 /的边缘图。
5、 根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述步骤(4)的实现歩骤如下-(1) 设定二值化的阈值Tc,对边缘图EdgeMap进行二值化操作；(2) 车牌区域具有较高的边缘密度，设定一个滑动窗口『，在水平和垂直方向以像素为步 长进行移动，如果窗口覆盖区域的像素密度低于所要求的值阈值rw，则将当前滑动窗口覆盖的 边缘像素删除。
6、根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述歩骤(5)对边缘 图EdgeMap进行形态学膨胀操作的公式如下其中，形态学算子bl选取PXQ大小的矩形，P、 Q的取值根据车牌图像分辨率进行设定。
7、根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述步骤(6)的实现过程为对每一个连通域R，计算连通域面积A、最小外接矩形B的高度h和宽度w，规则如下规则1 :设定最大高度阈值Th—m^和最小高度阈值Th—min，如果h> Th_max或h< Th—min，删除连通域R;规则2:设定最大宽度阈值Tw—匪和最小宽度阈值Tw一麵，如果h〉Tw一隱或w<Tw_mm,删 除连通域R;规则3:设定最大高宽比阈值Tr max和最小高宽比阈值Tt min，计算连通域的高宽比r ，<formula>formula see original document page 3</formula>如果KT^in或者r>TLmax，删除连通域R;规则4:设定最小填充比阈值Tf—min，如果填充比/=7^~小于丁(> 1，删除连通域R。
8、根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述步骤(7)实现过 程如下(1) 将候选车牌区域进行垂直投影，得到垂直投影图VPM，将VPM表示为坐标对形式 (O，yO)，…,(K-l，y^),《为区域宽度，则VPM本身表示为一个序列5^)={^};(2) 将VPM进行离散余弦变换，变换的公式为-(3)使用前P个系数，而不是使用所有的系数，相当于令B(u)=0， u〉P-l。结果得到S(k)EdgeMap(x,y)=(EdgeMap十61)(x，力g(") = a,,》^)coS 、 乂'，(0Sw"-l)的近似如下:<formula>formula see original document page 4</formula>即是VPM经过离散余弦变重构的形式，记为VPMR，和VPM含有同样数量的K个点。 9、根据权利要求1所述的一种快速的车牌定位方法，其特征在于所述步骤(8)的实现 过程如下(1)计算VPMw的均值m,计算公式为<formula>formula see original document page 4</formula>(2)计算VPM/ 的标准偏差a，计算公式为:<formula>formula see original document page 4</formula><formula>formula see original document page 4</formula>算VPMw的平滑度R，计算公式为<formula>formula see original document page 4</formula>(4) 结合VPM/f的中低频描绘子，模式向量i定义为<formula>formula see original document page 4</formula>(5) 将模式向量i输入支持向量机SVM，判定候选区域是否车牌区域c
全文摘要
一种快速的车牌定位方法，利用顶帽变换和文字的纹理特征，主要分为背景消除、车牌区域粗定位和精定位3个步骤，具体为(1)背景消除，将获得的彩色车牌图像转换为灰度图像，利用顶帽变换抑制大尺寸背景对象，突出车牌区域；(2)粗定位阶段，计算图像的边缘图并对边缘图进行二值化、形态学膨胀和连通域分析等操作，得到合理尺寸的车牌候选区域集合；(3)精定位阶段，提取候选区域的纹理特征，利用支持向量机分类器对候选车牌区域进行分类，从而准确定位车牌所在区域。本发明利用了顶帽变换过滤车牌图像，减少了大尺寸背景的干扰，使对环境的适应性大大增强；同时，由粗到精的定位方法更为快捷，计算复杂度大大降低。
文档编号G06K9/36GK101246551SQ20081010158
公开日2008年8月20日 申请日期2008年3月7日 优先权日2008年3月7日
发明者朱成军, 超 李, 池毅涛, 璋 熊 申请人:北京航空航天大学