专利名称：一种自动车牌识别方法及其系统的制作方法
技术领域：
本发明涉及一种自动车牌识别方法及其系统。
背景技术：
目前，车牌检测识别系统在交通领域应用已经非常广泛。其主要应用于高速公路 或快速公路的卡口、停车场出入口等。该系统基本实现方式是在各个卡口比较低的位置设 置摄像头，先拍摄到已停止汽车清晰的车牌图像，然后再采用图像检测方法检测出图像中 车牌的位置，接着进行车牌文字的抽取和识别。因此，目前车牌识别系统的实际应用也主要限于卡口，在市场更大、更重要的各类 道路交通场景的应用还非常受限。同时，还易受多方面因素的干扰，如交通视频的分辨率、 车牌识别的准确率、违规车辆的检测和拍照机制不完善等，车牌识别系统在道路监控的应 用存在着较大的瓶颈。目前的违规检测大多基于地感线圈实现，同时也造成可检测的违规事件的种类严
重受限。
发明内容
有鉴于此，本发明针对各类情况复杂的道路交通场景，提供了一种全新的自动车 牌识别方法及其系统。根据本发明的第一方面，提供了一种自动车牌识别方法。该方法包括如下步骤获 取交通场景的视频图像，检测跟踪所述视频图像中的车辆；根据设定的交通事件的报警规 贝U，判断所述检测跟踪车辆是否存在危险事件；当判断车辆存在危险事件时，抽取该车辆的 视频图像；在所述车辆的视频图像中，检测并识别违规车辆的车牌。根据本发明的第二方面，提供了一种自动车牌识别系统。该系统包括高清摄像 头，获取交通场景的视频图像；检测跟踪模块，检测跟踪所述视频图像中的车辆；危险事件 检测模块，根据设定的交通事件的报警规则，判断所述检测跟踪车辆是否存在危险事件；抽 取图像模块，当危险事件检测模块判断车辆存在危险事件时，抽取该车辆的视频图像；车牌 识别模块，在所述车辆的视频图像中，检测并识别违规车辆的车牌。本发明的自动车牌识别方法及其系统不受复杂交通场景的限制，可应用到更多的 交通场景；同时，本发明的方法及其系统使识别交通车辆的违规事件的种类也有较大范围 的扩展。
下面将参照附图对本发明的具体实施方案进行更详细的说明，其中图1是本发明一个实施例车牌识别流程图；图2是本发明另一个实施例车牌识别流程图；以及图3是本发明车牌识别模块结构图。
具体实施方式
为了实现复杂交通场景中车牌的自动识别以及尽可能的检测车辆通常的违规事 件，本发明提供了一种自动车牌识别方法及其系统。接下来将具体说明该方法及其系统。图1示出本发明一个实施例车牌识别流程图。如图1所示，在步骤100，高清摄像 头获取高分辨率的视频图像。然后在步骤102中，对获取到的视频图像中的车辆进行检测 禾口足艮S宗。在一个优选实施例中，检测跟踪所述视频图像中的车辆时，对所述高分辨率视频 图像进行降采样，基于较低分辨率进行车辆的检测跟踪。这样可以减少系统的开销，提高运 算的效率。在步骤104中，设定交通事件的报警规则。当然，报警规则也可以预先设定。在步骤106中，根据设定的规则，判断检测跟踪车辆是否存在危险事件。在一个优选实施例中，判断检测跟踪车辆的危险事件，通过车辆预测速度和深度 标定参数获取图像中车辆的实际速度，然后与设定的报警规则中的速度进行比较。如果检测跟踪的车辆存在危险事件，则在步骤108中，抽取该违规车辆的高分辨 率图像。接着，在步骤110中，检测并识别违规车辆的车牌。该步骤具体为在违规车辆的 高分辨率图像中，确定违规车辆的外框图像，然后进一步定位其车牌的位置，分割车牌的字 符，最终进行识别。识别的时候，可以是一帧图像进行识别，也可以结合多帧图像进行综合 识别。同时在多帧识别的时候，对识别后的字符进行排序和统计，进而提高其识别的精度。接下来，在步骤112中，对违规车辆的车牌以及违规信息进行整理。在步骤114中，把整理好的违规车辆的相关信息通过IP网络传输到控制中心。图2示出本发明另一个实施例车牌识别流程图。如图2所示，在步骤200，高清摄像头获取高分辨率的视频图像。然后在步骤202 中，对获取到的视频图像中的车辆进行检测和跟踪。在一个优选实施例中，摄像头参数和触发规则标定完毕后，首先对高分辨率 (1024X768以上)视频图像做降采样处理。实际上，考虑到处理效率，本发明降低高清图像 的分辨率，例如降为320X240，然后基于降采样后的视频图像进行运动车辆的检测跟踪。在检测跟踪车辆的过程中，考虑交通场景的复杂性特别是车灯的干扰，在一个实 施例中采用运动物体的跟踪方法和车辆的统计检测方法相结合的方式。首先基于运动物体 的检测方法分割场景中的背景和前景，在得到前景区域后再采用基于统计模型的车辆检测 方法搜索所有前景区域，就得到场景中所有车辆的位置，再对检测的车辆进行匹配和持续 足艮S宗。在步骤204中，设定交通事件的报警规则，所述报警规则主要包括道路设定参数 和透视标定参数以及设定的报警规则中的速度等，在步骤206中，根据设定的规则，判断检 测跟踪车辆是否存在危险事件。在一个优选实施例中，判断检测跟踪车辆的危险事件，通过车辆预测速度和透视 标定参数获取图像中车辆的实际速度，然后与设定的报警规则中的速度进行比较。具体地，道路设定参数用来标定图像中各条道路的有效区域，以及道路上车辆的正常行驶方向；标定方法可以采用标定区域的边缘点或者直接设定 道路区域的方法。道路 设定参数需要经过分辨率转换模块转换到处理图像分辨率上。透视标定参数模块接收用户 在操作界面上输入的一些点及线段，以及所设定的点间实际距离或者线段的实际长度，作 为透视标定参数，用于计算场景的透视变换参数，从而实现将像素坐标转换为物理坐标。透 视参数设定模块标定的参数需要经过分辨率转换模块转换到处理图像分辨率上。对检测跟 踪的车辆进行匹配和持续跟踪，以获取各个车辆的平移速度。再结合标定参数，计算车辆实 际的速度。判断各个车辆是否触发了设定的规则，是否存在危险事件和属于违规车辆，如抛 洒物体、停车、行人进入、突然变速、超速、低速、逆行判定、串道、事故、拥堵、火灾烟雾超速、 违规停车、逆行等。如果检测跟踪的车辆存在危险事件，然后在步骤208中，抽取该违规车辆的高分 辨率图像。接着，在步骤210中，检测并识别违规车辆的车牌。该步骤具体为在违规车辆的 高分辨率图像中，确定违规车辆的外框图像，然后进一步定位其车牌的位置，分割车牌的字 符，最终进行识别。识别的时候，可以是一帧图像进行识别，也可以结合多帧图像进行综合 识别。同时在多帧识别的时候，对识别后的字符进行排序和统计，进而提高其识别的精度。接下来，在步骤212中，对违规车辆的车牌以及违规信息进行整理。在步骤216中，把整理好的违规车辆的相关信息通过IP网络传输到控制中心。在整个处理过程中，在步骤200中，同时输出获取的视频图像。接着，在步骤214 中，对输出的视频图像进行压缩，使成为压缩视频流。然后，在步骤216中，一并通过IP网 络传输到控制中心。在一个实施例中，在步骤214中压缩视频码流时，同时将步骤212中整理的违规车 辆信息作为附属信息添加到压缩码流中，然后进行传输并送到控制中心。需补充说明的是，违规车辆的车牌识别时违规车辆的外框还原到原始的高清分辨 率。在高清分辨率图像中各个违规车辆外框内图像，检测车牌的位置，分割车牌中的各个字 符。在获取各个字符的图像，采用统计模式识别方法，结合实现训练好的文字模型识 别各个字符。考虑到违规车辆一般会在视频图像中停留数帧，还可结合多帧的车牌定位和 识别结果来提供识别精度。可检测出第一幅图中车牌的位置，并在后续帧中持续跟踪，提供 车牌定位的精度。多帧的车牌识别结果也可结合起来，对于每个分割字符，基于统计方法的识别模 型都返回数个候选识别结果，将多帧的候选结果综合起来，获取各个字符最佳的识别效果。 如一个字符的某个识别结果在多数帧中排第一候选，在少数帧中不是第一候选，则这个识 别结果即可作为最终的返回值。至此，车牌识别完毕。下面详细说明各种违规情况的判定比较简单的检测抛洒物方法可以如下如果目标类型不是车辆和行人，并且，目标 速度连续TA帧静止，则认为该目标为抛洒物。还可以采用其它的现有技术进行抛洒物检 测。停止车辆检测的一种简单方法为如果某个目标被连续TS帧被类型识别单元判 定为车辆，并且速度小于阈值，则认为其为停止车辆。
行人进入的简单实施例为如果某目标连续TP帧被判定为行人，则认为检测到行 人。对突然变速检测的实施例为如果车辆连续TC帧速度变化值大于阈值，则认为该 车辆突然变速。连续TL帧速度低于阈值的车辆被判定为低速车辆。
连续TH帧速度高于阈值的车辆被判定为超速车辆。连续TN帧，速度方向与所在道路方向夹角大于阈值的车辆，则被判定为逆行车辆。如果某个车道连续TJ帧，占有率大于阈值，则认为该车道拥堵。如果某车辆所在车道ID发生变化，则出现串道。事故检测和火灾烟雾检测算法都有现有技术可以参考。图3示出本发明车牌识别模块结构图。如图3所示，该自动车牌识别系统包括高 清摄像头300，检测跟踪模块312，危险事件检测模块316，抽取图像模块322和车牌识别模 块 324。高清摄像头300获取交通场景的高分辨率视频图像。检测跟踪模块312检测跟踪高清摄像头300获取的所述视频图像中的车辆。危险事件检测模块316根据设定的交通事件的报警规则，判断所述检测跟踪车辆 是否存在危险事件。抽取图像模块322当危险事件检测模块316判断车辆存在危险事件时，抽取该车 辆的高分辨图像。车牌识别模块324在所述车辆的高分辨率图像中，检测并识别违规车辆的车牌。在该实施例中，还包括交通事件报警规则模块314把设定的交通事件的报警规则 传送给危险事件检测模块316，以供其进行危险事件的判断。该模块可与危险事件检测模块 316的功能进行合并，也即危险事件检测模块316同时具备设置交通事件报警规则的功能。在一个实施例中，还包括违规信息整理模块326和控制中心340，其中，该违规信 息整理模块将违规车辆的车牌以及违规信息进行整理，并通过网络传送到控制中心。在一个实施例中，还包括压缩视频模块330在识别违规车辆的车牌同时，将压缩 的视频码流通过网络传输到控制中心。在另一个实施例中，压缩视频模块330可将违规信息整理模块识别的违规车辆的 车牌以及违规车辆信息作为附属信息添加到压缩码流中，将压缩的视频码流通过网络传输 到控制中心。在相关的实施例中，压缩格式包括MPEG4、H. 264、AVS_S等，这些视频压缩的格式 都有预留了附属信息的存储位置。本发明针对道路交通场景中的车牌识别问题，结合智能交通分析框架，提出了一 种基于智能交通分析和高清数字IP摄像头的自动车牌识别系统。该系统采用高清数字IP 摄像头监控交通场景，拍摄视频图像，并结合智能交通分析框架对视频图像进行自动分析， 检测场景中的危险事件，获取各个危险事件发生车辆的图像，再结合车牌的识别方法对车 辆图像进行处理，自动识别出危险车辆的车牌。此时，危险事件的智能检测基于视频实现， 可检测事件的种类大大增加，这样即可最大限度地减少人工的参与，实现完全自动和智能的各类危险车辆的识别和记录。
以上对本发明的具体描述旨在说明具体实施方案的实现方式，不能理解为是对本 发明的限制。本领域普通技术人员在本发明的教导下，可以在详述的实施方案的基础上做 出各种变体，这些变体均应包含在本发明的构思之内。本发明所要求保护的范围仅由所述 的权利要求书进行限制。
权利要求
一种自动车牌识别方法，包括如下步骤获取交通场景的视频图像，检测跟踪所述视频图像中的车辆；根据设定的交通事件的报警规则，判断所述检测跟踪车辆是否存在危险事件；当判断车辆存在危险事件时，抽取该车辆的视频图像；在所述车辆的视频图像中，检测并识别违规车辆的车牌。
2.如权利要求1所述的自动车牌识别方法，其中所述视频图像是高分辨率图像，所述方法包括对所述高分辨率视频图像进行降采样的步骤，基于较低分辨率进行所述车辆检测 跟踪的步骤。
3.如权利要求2所述的自动车牌识别方法，其特征在于所述检测跟踪视频图像中的车辆，是采用运动物体的跟踪方法与车辆的统计检测方法 相结合方式。
4.如权利要求1所述的自动车牌识别方法，其特征在于所述判断检测跟踪车辆的危险事件的步骤包括通过车辆预测速度和深度标定参数获 取图像中车辆的实际速度，然后与设定的报警规则中的速度进行比较的步骤。
5.如权利要求1所述的自动车牌识别方法，其特征在于所述检测并识别违规车辆的车牌的步骤是通过结合统计模式识别方法进行的。
6.如权利要求1所述的自动车牌识别方法，还包括如下步骤 将违规车辆的车牌以及违规信息通过网络传送到控制中心。
7.如权利要求1至6任一项所述的自动车牌识别方法，还包括如下步骤 将获取到的视频图像压缩为视频码流通过网络传输到控制中心。
8.如权利要求7所述的自动车牌识别方法，还包括如下步骤所述压缩的视频码流将违规车辆信息作为附属信息添加到压缩码流中。
9.一种自动车牌识别系统，包括 摄像头(300)，获取交通场景的视频图像；检测跟踪模块(312)，检测跟踪所述视频图像中的车辆；危险事件检测模块(316)，根据设定的交通事件的报警规则，判断所述检测跟踪车辆是 否存在危险事件；抽取图像模块(322)，当危险事件检测模块(316)判断车辆存在危险事件时，抽取该车 辆的图像；车牌识别模块(324)，在所述车辆的图像中，检测并识别违规车辆的车牌。
10.如权利要求9所述的自动车牌识别系统，其特征在于所述视频图像是高分辨率图像，所述检测跟踪模块(312)在检测跟踪视频图像中的车 辆时，对所述高分辨率视频图像进行降采样，基于较低分辨率进行车辆的检测跟踪。
11.如权利要求9所述的自动车牌识别系统，其特征在于所述检测跟踪模块(312)对视频图像中的车辆检测跟踪，采用运动物体的跟踪方法与 车辆的统计检测方法相结合方式。
12.如权利要求9所述的自动车牌识别系统，还包括违规信息整理模块(326)和控制中心(340)，其中，该违规信息整理模块将违规车辆的车牌以及违规信息进行整理，并通过网络传送到控制中心。
13.如权利要求9所述的自动车牌识别系统，还包括压缩视频模块(330)，在识别违规车辆的车牌同时，将获取到的视频图像压缩为视频码 流通过网络传输到控制中心。
14.如权利要求12所述的自动车牌识别系统，还包括压缩视频模块(330)，将违规信息整理模块识别的违规车辆的车牌以及违规车辆信息 作为附属信息添加到压缩码流中，将压缩的视频码流通过网络传输到控制中心。
15.如权利要求12所述的自动车牌识别系统，其特征在于所述危险事件检测模块(316)判断检测跟踪车辆的危险事件，通过车辆预测速度和深 度标定参数获取图像中车辆的实际速度，然后与设定的报警规则中的速度进行比较进行判 断。
16.如权利要求9至15任一项所述的自动车牌识别系统，其特征在于所述车牌识别模块(324)检测并识别违规车辆的车牌是通过结合统计模式识别方法 进行的。
全文摘要
本发明披露了一种自动车牌识别方法及其系统。该系统包括高清摄像头(300)，获取交通场景的视频图像；检测跟踪模块(312)，检测跟踪所述视频图像中的车辆；危险事件检测模块(316)，根据设定的交通事件的报警规则，判断所述检测跟踪车辆是否存在危险事件；抽取图像模块(322)，当危险事件检测模块(316)判断到车辆的危险事件时，抽取该车辆的视频图像；车牌识别模块(324)，在所述车辆的视频图像中，检测并识别违规车辆的车牌。本发明的自动车牌识别方法及其系统，可应用到更多更复杂的交通场景；同时，可识别交通车辆违规事件的种类得到较大范围的扩展。
文档编号G08G1/017GK101964145SQ20091008952
公开日2011年2月2日 申请日期2009年7月23日 优先权日2009年7月23日
发明者王俊艳, 邓亚峰, 黄英 申请人:北京中星微电子有限公司