专利名称：对道路图像进行车牌识别的方法和系统的制作方法
技术领域：
本发明属于数字图像处理及模式识别技术领域，具体涉及一种对道路图像进行车 牌识别的方法和系统。
背景技术：
近年来，随着计算机及互联网技术的飞速发展，各种机动车数量的迅猛增长，各类 信息包括与交通相关的信息呈现爆炸式增长的态势，为了能够更加安全、高效的管理这些 信息，智能交通系统(Intelligence Transportation System)应运而生。智能交通系统可 以在收费卡口，停车场，刑事追踪等方面展现出强大的作用，而对车牌的检测和识别是其最 为核心的组成部分。目前，虽然现在已经有了很多相对成熟的车牌识别产品，但是更高的准确率，更少 的耗时，依然吸引着人们去不断进行研究。实际上，随着相关领域的新发展，例如新的底层 特征的发明，更好的分类算法的提出等，都为车牌识别算法的改进提供了新的机会。另外， 现在商用的车牌识别系统大多只对特定的条件下有比较好的效果，例如特定的光照，距离， 角度，车牌制式(包括颜色、格式、文字)，而在变化了的环境下系统的准确率可能会大大降 低甚至失效，还没有哪个系统可以在各种不同的条件下做到健壮稳定(与人识别车牌的能 力还有很大差距)。在本文的第三部分会对关于这方面的一篇文章进行专门讨论。再有，对 于自然条件拍摄的图片和视频，例如手持或车载摄像机拍摄下来的，进行车牌检测与识别 也是一个值得研究的方向。目前存在的一些车牌识别技术中，大都将整个识别分为三个过程，如图1所示，为 b车牌定位，c车牌字符分割，d车牌字符识别。其中对于b，使用的技术种类繁多，虽然可以分成几类，但类之间的界限并不是很 明显。大致有如下一些方法:A边缘检测后二值化，这个是使用的最多的一种方法，它在与 数学形态学方法结合后，就已经能够得到比较好的就结果了。很常用的一个边缘检测算子
"-ι ο Γ
是纵向sobel算子。它的计算式为-2 0 2，而纵向边缘检测相较于横向，它的优势，而纵
-1 0 1_
向边缘检测相较于横向，它的优势在于一个含有车牌的图像中车的横向边缘较多，而车牌 上字符的纵向边缘较多。这种方法计算快速，效果较好，但是一个很大的缺点就是难以处理 复杂的图像，如何有效地去除不相关的边缘信息，(例如车辆进气口，灯光区域，周围树木， 粗糙的地面等)，是一个非常关键的问题.B数学形态学操作，主要是腐蚀、膨胀，开闭运算 等。C连通区域分析(CCA)，最典型的是四连通和八连通方法以及各种聚类方法，与连通区 域目的相同，分出一些候选区域。D分块分析。将图像分为若干块，分别计算其均值、方差、 边缘信息等特征。滑动窗口。与分块思想类似，但是是逐点计算特征的。E彩色图像处理， 依据RGB颜色信息。F各种分类器，包括Ada-Boost，SVM, ANN, GP, GA等。对于c，现在的技术分为如下几类。A 二值图像处理投影方法。是当前各种文献中使用最多的一种技术，通常的做法是先进行横向投影，剪切掉上下区域；然后进行纵向投 影，切分出每一个字符。B局部自适应二值化。在很多文章中局部自适应二值化或者类似的 方法，它通过分块、逐点或者分字符来计算某一区域内的均值，对比度等特征，然后分别进 行二值化。出C倾斜校正方法。种类比较多，有利用HT定位车牌框的，也有使用颜色信息 的，还有直方图分析的。D层次分割与合并、分裂方法。E数学形态学，腐蚀、膨胀运算。车 牌字符分割这一步其实难度是比较大的，因为如果分割失误或者二值效果不好，后面的字 符识别很有可能就会失效。而不同的光照条件，车牌周围的近似颜色或形状，不同的车牌制 式，都会制约着车牌字符分割的方法，使得目前难以产生极其健壮的分割技术。多数方法都 还只是在特定情况下表现出良好的性能。对于d，0CR(光学字符识别)是模式识别领域的一个重要分支，它的目标是将图像 形式的各种文字识别为文本形式下的。车牌字符识别便是OCR的一种特殊形式，车牌字符 识别的过程可以简化为特征提取与特征匹配。针对字符图像的特征提取的方法多种多样， 有逐像素特征提取法、骨架特征提取法、垂直方向数据统计特征提取法、基于网格的特征提 取法、弧度梯度特征提取法等很多。另外不进行特征提取，或者说将字符图像的黑白值直接 作为特征，依靠分类器的强大分类能力进行识别，也是一种可以采用的方式。而特征匹配的 方法，主要分为以下三种A.基于统计/混合/分层次的分类器B.ANN. C.模板匹配法.其 中ANN是最为常见的且性能较优的。
发明内容
本发明的目的在于提供一种对静态图像进行车牌识别的方法和系统，旨在解决智 能交通系统(ATI)中的核心问题，获取监控图像中的车牌号码，为后面更深层次的应用做 准备。本发明提供的所述车牌识别的方法，包括车牌定位，车牌字符分割和车牌字符识 别三个步骤；所述车牌定位，是对输入的图像进行分割，得到一组车牌候选区。它的输入为一张 图片，大小任意，然后进行预处理，基于DBSCAN的聚类两个步骤，输出一组车牌候选区；所述预处理过程的任务是对原始彩色图像进行处理，生成一张包含边缘信息的二 值图像。它包括图像灰度化，sobel纵向边缘检测+车牌颜色增强，图像二值化三个步骤。所述的sobel纵向边缘检测+车牌颜色增强，是对全图进行sobel纵向检测，在检 测过程中，对于边缘信息p (x，y)，若> K，对其周围x*x邻域进行扫描，对其中每一行，如有 车牌颜色出现，则增强P(x，y)10% ；实施例中K = 30，x = 7 ；这里的车牌颜色只各种车牌 中可能出现的颜色集合。所述基于DBSCAN的聚类是使用DBSCAN密度聚类方法对二值图片进行聚类，将所 有的点划分为几个高密度区，超过一定阈值T的区域称为候选区，阈值T根据实际的场景 大小通过调试而确定。这里将临界半径分为RH和RW，表示长宽方向上的半径，一般RW = 3*RH ；实施例中取RH = 10，RW = 30，T = 300 ；然后计算各个区域的属性，包括长、宽，长宽 比等，删除区域两侧过少的点。最后对候选区的属性进行判断，排除不合形状的区域，输出 可能的候选区。所述的车牌字符分割，是对车牌候选区分别进行字符的分割，删除错误候选区，对每个其他候选得到一组字符块。它包含二次预处理和基于投影的分割两个步骤；所述二次预处理过程，是先对区域图片进行灰度化，然后利用均值阈值将其二值 化，最后通过水平投影，寻找投影图中上下低谷区域，认为其为无用区域，删除之。得到二值 车牌局部图像。所述基于投影的分割，它的输入为二值车牌局部图像，输出是一组图像字符块，通 常为7个(车牌上的字符数)。首先进行垂直投影，认为波谷区为无用区，其它为字符区，以 此划分出若干区域。然后对于区域进行分析判断，以排除非车牌区域。最后再对每一字符 图像切除上下空白。生成一组字符区域。所述车牌字符识别，是对每组字符块进行识别，排除错误候选区，生成识别出的车 牌号码，车牌颜色以及车牌区域坐标。它的输入为单个二值区域，输入是识别出来的字符， 包括汉字、数字和字母。首先如果区域的宽高比> 4，其区域内点密度大于某一阈值，则直 接识别该字符为1。然后将整个二值图像序列作为特征，带入各自分类器进行分类，输出结 果。如果识别的字符不为7个，则认为其为非车牌区域。最终生成识别出的车牌号码，车牌 颜色以及车牌区域坐标。所述的分类器，其特征在于，预先分别对数字、字符和汉字建立二值模板，分类时 采用模板匹配的方式进行识别，输出识别结果。本发明还提供一种车牌识别的系统，包括实现所述的车牌识别方法三个步骤的三 个模块车牌定位模块、车牌字符分割模块和车牌字符识别模块。输入是一张图片，输入是 若干子区域图片和识别结果描述文档xml文件。可以有多种参数选择，具有动态配置参数 的功能，具有动态定义输出的功能，可以输出车牌局部图片、驾驶员位置局部图片、车标局 部图片、车身局部图片、缩略图等，可以方便替换车牌识别方法，易于进行批量处理。所述多种参数选择是指在程序名后加参数，plate, other, all，可以分别只识别车 牌输出号码及位置，只计算输出其他局部图片(由车牌位置推断)和进行全部处理。实现 了关键过程(车牌识别)和其他过程的分离。所述的计算输出驾驶员位置局部图片，依据车牌位置和车型大小，估算驾驶员位 置，并与原图像进行比对，校正后输出驾驶员位置局部图片。所述的计算输出车标局部图片，依据车牌位置，对车牌上方区域进行扫描，寻找车 标，在分割后输出车牌位置局部图片。所述的计算输出车身局部图片，依据车牌位置和车型大小，估算车身位置，并与原 图像进行比对，校正后输出车身局部图片。
图1是车牌识别流程图。图2是车牌定位模块流程图。图3是车牌字符分割模块流程图。图4是对一张图片进行识别的实施例图。图5是车牌识别系统的流程图。
具体实施例方式为了使本发明的目的、技术方案及优点更加明白，以下结合附图及实施例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于 限定本发明。图1示出了车牌识别方法的主要流程。包括车牌定位，车牌字符分割和车牌字符 识别三个阶段。中间传递的值是1或多个车牌候选区域，在b、c、d依次的运行过程当中，错 误的候选区被逐步抛弃。最终输出车牌号码。图2示出了车牌定位模块流程。对于一张输入原始图片，例如图4左上角所示。首 先对它进行灰度化，灰度化的公式为gray = 0. 299R+0. 587G+0. 114B，其中gray代表灰度 值，R，G，B分别为图像的三个分量。其次进行纵向sobel边缘检测，在纵向检测过程当中， 进行对车牌颜色的增强，具体的规则是(蓝色举例)，对于边缘信息P(x，》，若> 30，对其 周围7*7邻域进行扫描，对其中每一行，如有蓝色点出现，则增强p(x，y) 10%，这里蓝色指 (G< 150，R< 150，B>G，B>R)。再次进行二值化，得到一幅黑白点图，如图4中右上角 所示，不难看出，车牌附近的点比较密集，此为下一步聚类的基础。之后采用DBSCAN密度聚类算法得到一组候选区，图2中虚线所示部分为聚类算 法的具体步骤。它的大体思想就是对于密度比较高的区域，认为它们属于同一区域。在此 实施例中，横向半径RH取值为10，纵向半径RW取值为30，密度阈值取250。之后进行后 处理，删除两次空白区域，排除不合形状的区域，在此实施例中，认为车牌区域形状应满足 2.5<长宽比<7，80<长< 220，20<宽<60。至此，定位阶段结束。图4中，右侧中部偏 上的一张图可以看出，共分出了 5个区域，这5个区域即为候选区。中部偏下的图片示出了 车牌的那个候选区的局部图像。图3示出了车牌字符分割模块流程。对于输入的每一个候选区，先进行一系列的 预处理，包括灰度化，二值化和水平投影。图4中最下面中央的是二值化的结果，而它左边 是其对应的水平投影图，它的上面是它在经过上下无用区间切割之后的结果。然后进行基 于投影的分割，具体包括垂直投影、分出字符区和空白区；区域分析、淘汰错误候选；对单 个字符细切分三个过程。结果如图4中央偏下的小图所示，由几条纵向白线切分出了各个 字符。之后带入识别引擎进行文字的识别，输出车牌号码苏BPG016。如图4左侧中部小图 所示。图5示出了车牌识别系统的大体流程。它支持三种不同的使用方式，分别为参数 是all、无参数或参数other但无后续坐标的情况；参数plate的情况；参数other后面加上 两组坐标的情况。在参数为all时，该系统将进行全部操作，先定位并识别车牌，然后由其 计算各种局部区域图片，最后输出。参数Plate表示只识别车牌并输出，参数other表示只 计算各种局部区域图片并输出。这里的局部区域包括，驾驶员区域，车标区域和车身区域。 这些局部区域图片将会为智能交通系统的其他后续应用提供一定的帮助。最后的输出中还 包括一个xml文档，描述识别的结果。
权利要求
一种对道路图像进行车牌识别的方法，其特征在于，包括车牌定位，车牌字符分割和车牌字符识别三个步骤；所述车牌定位，是对输入的图像进行分割，得到一组车牌候选区；所述车牌字符分割，是对车牌候选区分别进行字符的分割，删除错误候选区，对每个其他候选得到一组字符块；所述车牌字符识别，是对每组字符块进行识别，排除错误候选区，生成识别出的车牌号码，车牌颜色以及车牌区域坐标。
2.根据权利要求1所述的方法，其特征在于，所述车牌定位步骤中，输入为一张图片， 大小任意，然后进行预处理、基于DBSCAN的聚类两个步骤；所述预处理过程的任务是对原始彩色图像进行处理，生成一张包含边缘信息的二值图 像；预处理过程包含图像灰度化，sobel纵向边缘检测+车牌颜色增强，图像二值化三个步 骤；所述基于DBSCAN的聚类的任务是对二值图像进行聚类处理，生成一组车牌候选区；其 步骤为使用DBSCAN密度聚类方法对二值图片进行聚类，将所有的点划分为几个高密度 区，超过一定阈值T的区域称为候选区；这里将临界半径分为RH和RW，表示长宽方向上的 半径，Rff = 3*rh ；然后计算各个区域的属性，包括长、宽，长宽比，删除区域两侧过少的点； 最后对候选区的属性进行判断，排除不合形状的区域，输出可能的候选区。
3.根据权利要求2所述的方法，其特征在于所述的sobel纵向边缘检测+车牌颜色增 强，其步骤为对全图进行sobel纵向检测，在检测过程中，对于边缘信息ρ (x, y)，若大于K， 对其周围χ*χ邻域进行扫描，对其中每一行，如有车牌颜色出现，则增强P(χ，y)10%,这里 的车牌颜色指各种车牌中可能出现的颜色集合。
4.根据权利要求1所述的方法，其特征在于所述的车牌字符分割包含二次预处理和基 于投影的分割两个步骤；所述二次预处理过程是对每个候选区进行灰度化，局部二值化，水平投影操作，生成二 值车牌图像；所述基于投影的分割是对二值图像进行垂直投影，然后逐个字符切分，最后输出一组 图像字符块。
5.根据权利要求4所述的方法，其特征在于所述的二次预处理，其步骤为先对区域图 片进行灰度化，然后利用均值阈值将其二值化，最后通过水平投影，寻找投影图中上下低谷 区域，认为其为无用区域，删除之，得到二值车牌局部图像。
6.根据权利要求4所述的车牌识别方法，其特征在于所述的基于投影的分割，其步骤 为首先进行垂直投影，认为波谷区为无用区，其它为字符区，以此划分出若干区域；然后 对于区域进行分析判断，排除非车牌区域；最后再对每一字符图像切除上下空白；生成一 组字符区域。
7.根据权利要求1所述的方法，其特征在于所述的车牌字符识别，其步骤为输入为单 个二值区域，输出是识别出来的字符，包括汉字、数字和字母；首先如果区域的宽高比> 4， 其区域内点密度大于某一阈值，则直接识别该字符为1 ；然后将整个二值图像序列作为特 征，带入各自分类器进行分类，输出结果；如果识别的字符不为7个，则认为其为非车牌区 域；最终生成识别出的车牌号码，车牌颜色以及车牌区域坐标。
8.根据权利要求7所述的车牌识别方法，其特征在于用所述用分类器进行分类，是预 先分别对数字、字符和汉字建立二值模板，分类时采用模板匹配的方式进行识别，输出识别结果。
9.一种车牌识别的系统，其特征在于，包括车牌定位模块、车牌字符分割模块、车牌 字符识别模块三个部分，是基于权利要求1所述的车牌识别方法的；输入是一张图片，输出 是若干子区域图片和识别结果描述文档xml文件；有多种参数选择，具有动态配置参数的功能，具有动态定义输出的功能，输出车牌局部 图片、驾驶员位置局部图片、车标局部图片、车身局部图片、缩略图；方便替换车牌识别方 法，易于进行批量处理；所述多种参数选择是指在程序名后加参数，plate，other，all，分别只识别车牌输出号 码及位置，只计算输出其他局部图片和进行全部处理，实现关键过程和其他过程的分离。
10.根据权利要求9所述的车牌识别系统，其特征在于所述的计算输出驾驶员位置局 部图片，是依据车牌位置和车型大小，估算驾驶员位置，并与原图像进行比对，校正后输出 驾驶员位置局部图片；所述的计算输出车标局部图片，是依据车牌位置，对车牌上方区域进 行扫描，寻找车标，在分割后输出车牌位置局部图片；所述的计算输出车身局部图片，是依 据车牌位置和车型大小，估算车身位置，并与原图像进行比对，校正后输出车身局部图片。
全文摘要
描述了一种进行车牌识别的方法和系统，该方法可以为智能交通系统提供支持，并能广泛应用在停车场，收费卡口，刑事缉拿等方面。方法主要包括定位、字符分割、字符识别三个阶段。有较高的识别率，能够应对较复杂的环境并能达到实时处理的要求。系统封装了上述方法，并提供了不同的参数，可灵活使用。便于分布，批量处理数据。
文档编号G06K9/00GK101872416SQ20101016698
公开日2010年10月27日 申请日期2010年5月6日 优先权日2010年5月6日
发明者冯瑞, 王琰滨, 薛向阳, 金城 申请人:复旦大学