专利名称：一种融合视频动态跟踪的车牌识别方法和系统的制作方法
技术领域：
本发明属于图像处理识别技术领域，具体涉及一种融合视频动态跟踪的车牌识别方法和系统。
背景技术：
当前，随着计算机和互联网技术的飞速发展，各种机动车的数量快速增长，各类信息包括与交通相关的信息呈爆炸性增长态势。智能交通系统能够更加安全、高效的管理车辆信息，在各种小区，厂区出入口车辆管理系统，收费站系统，道路治安卡口系统，超速、违 停、闯红灯电子警察系统中，展现出强大的作用，而其中对车牌识别是最重要的核心组成部分。在这些应用中自动化系统大部分使用了车牌自动识别技术。车牌识别(VehicleLicense Plate Recognition, VLPR)是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理、交通流量控制指标测量、车辆定位、治安卡口、汽车防盗、高速公路超速自动化监管、闯红灯电子警察、公路收费站等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实的意义。
发明内容
本发明的目的在于提供一种能适应于任何图像质量，可以准确地识别出各种车牌的融合视频动态跟踪的车牌识别方法和系统，在车牌识别的同时还可以提供有关车辆车型(小型车、大型车或摩托车)、车速、行驶轨迹、过程录像和车辆违法状态信息等车辆相关信息，满足用户对于车辆信息的全面需求。一种融合视频动态跟踪车辆的车牌识别系统，包括车辆检测参数和车牌识别相关参数设置单元、图像采集单元、车辆检测和跟踪单元、车牌识别单元和车辆相关信息输出单元;
所述的车辆检测参数和车牌识别相关参数设置单元，用于载入车辆检测和车牌识别的相关参数，供车辆检测和跟踪单元、车牌识别单元读入使用；
所述的图像采集单元，用于采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元和车牌识别单元；
所述的车辆检测和跟踪单元，对图像采集单元上传的车辆视频图像进行车辆外形轮廓的检测和跟踪，先通过帧对减和背景建模获取初步车辆位置，采用sobel边缘灰度图像，进一步获取车辆的水平和垂直边缘，记录下车辆水平和垂直位置，然后通过跟踪器不断记录和比对车辆的外形轮廓，记录下车辆的完整行驶轨迹；通过此跟踪，能准确获取车辆的车型、车速、行驶轨迹、过程录像和车辆违法状态信息的车辆相关信息，并将车辆的外形轮廓扩展图像和车辆相关信息一并上传给车牌识别单元；所述的车牌识别单元，获取由图像采集单元上传的车辆视频图像或车辆静态图像，或经车辆检测和跟踪单元上传的车辆外形轮廓扩展图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元；
所述的车辆相关信息输出单元，将车牌识别单元输出的车牌号码结果，结合车辆检测和跟踪单元输出的包括车辆的车型、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。该车辆检测的设置参数包括车道线、停止线、第一触发线、第二触发线、跟踪区域和检测区域大小。该车牌识别相关参数包括车牌高度宽度、可信度、最小字符高度、最大字符高度、黄牌规则、车牌旋转规则和字符识别规则。所述的车牌识别单元包括车牌总控模块、多层次可疑车牌定位模块、可疑车牌排除模块、车牌图像矫正模块、车牌字符切分模块、车牌字符识别比对模块和车牌识别结果输出丰吴块；
该车牌总控模块，用于对车牌识别单元中的其他六个模块实施控制，统计出最大可信的车牌号码；
该多层次可疑车牌定位模块，对输入的图像通过多层次定位得出可疑连通区域集，以备后面切分识别；
该可疑车牌排除模块，对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元中的车牌固有规则来排除一些非可信的连通区域，获得定位的车牌区域集； 该车牌图像矫正模块，对车牌区域集中每个定位出来的车牌进行水平和垂直方向上的边缘检测，计算出车牌在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像；
该车牌字符切分模块，对矫正的车牌图像进行字符切分，获取刚好贴近字体的字
符图像；
该车牌字符识别比对模块，对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和字符模板进行比对，获取车牌字符识别结果集；
该车牌识别结果输出模块，从上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出包括车牌号码、车牌颜色、车身颜色、车牌图像、车牌在图像的位置信息的车牌号码结果至车辆相关信息输出单元。该车牌固有规则指的是车牌中间有大空格、并且车牌字符个数固定为7个、车牌的宽度和高度比例大概为4. 5、车牌颜色、车牌宽度大小、车牌字符大小。一种融合视频动态跟踪的车牌识别方法，具体包括如下步骤
步骤I、通过车辆检测参数和车牌识别相关参数设置单元载入各种车辆检测和车牌识别的相关参数，供车辆检测和跟踪单元和车牌识别单元调用；
步骤2、所述的图像采集单元采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元和车牌识别单元；
步骤3、所述的车辆检测和跟踪单元对图像采集单元上传的车辆视频图像进行车辆外形轮廓的检测和跟踪；
所述的车辆检测和跟踪单元对输入的车辆视频图像进行多帧灰度对减，并在获取背景模板后，将当前帧与背景模板对减，进一步判断是否检测到车辆的初步外形区域，若检测到车辆的初步外形区域，则将该区域作为检测器比对区域；如果检测不到车辆的初步外形区域，即没有发现移动的可疑区域，那么以车辆检测参数和车牌识别相关参数设置单元中预置的完整检测区域作为 检测器比对区域；然后对检测器比对区域进行车辆外形轮廓检测，若检测器在检测窗口中找到明显的垂直梯度信息时，则车辆外形轮廓被发现，进一步搜索上述检测到垂直梯度信息的检测窗口的垂直梯度值并且测量其平均宽度，从而获得车辆外形轮廓的边长，结合对减的车辆长度，可检测出更可靠的车辆外形轮廓；然后通过跟踪器不断记录和比对车辆的外形轮廓，并记录下车辆的完整行驶轨迹，同时能准确获取车辆的车型、车速、行驶轨迹、过程录像和车辆违法状态信息的车辆相关信息，并将车辆的外形轮廓扩展图像和上述车辆相关信息一并上传给车牌识别单元；
步骤4、所述的车牌识别单元获取由图像采集单元和车辆检测和跟踪单元上传的车辆视频图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元；
步骤41、该车牌识别单元中的多层次可疑车牌定位模块，对输入的图像通过多层次定位算法，定位得出可疑连通区域集，以备后面切分识别；
步骤42、该可疑车牌排除模块对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元中的车牌固有规则来排除一些非可信的可疑连通区域，获得定位的车牌区域集；
步骤43、该车牌图像矫正模块对车牌区域集中每个定位出来的车牌区域进行水平和垂直方向上的边缘检测，计算出该车牌区域在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像；
步骤44、该车牌字符切分模块对矫正的车牌图像进行字符切分，获取刚好贴近字体的字符图像；
步骤45、该车牌字符识别比对模块对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和车辆检测参数和车牌识别相关参数设置单元内的字符模板进行比对，获取最大可信度的车牌字符识别结果集；
步骤46、该车牌识别结果输出模块根据上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出车牌号码结果至车辆相关信息输出单元；
步骤5、所述的车辆相关信息输出单元，将车牌识别单元输出的车牌号码结果，结合车辆检测和跟踪单元输出的包括车辆的车型、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。该多层次可疑车牌定位算法具体包括如下步骤
步骤411、灰度化定位输入的图像；
步骤412、对上述的输入图像以5X5矩形区域循环进行灰度平滑；
步骤413、对上述平滑后的输入图像的每个像数点进行垂直方向的sobel变化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + 1)〈〈I)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出车牌边缘，再次增强灰度图像，则灰度边缘值IpResult [i，j]= gray(i, j-2)+ gray(i, j-1)-gray(i, j+1)- gray(i, j+2)；
步骤414、若每行的灰度边缘均值少于60，则该行灰度比较阈值为15 ;若每行的灰度边缘均值大于60且少于220时，则该行的灰度比较阈值为30 ;若每行的灰度边缘均值大于220时，则该行的灰度比较阈值为20 ;当IpResult [i, j]的绝对值大于该行的灰度比较阈值时，该像数点设为lpFlag[i] [j]；
对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内若存在lpFlag[i][j]，就将这些像素点连通形成连通段，在若干个像素点范围内若不存在lpFlag[i][j]，就跳过这些像素点继续扫描连通工作，待扫描完毕，对上述的连通段进行判断，若该连通段的灰度边缘均值少于60，则该连通段灰度比较阈值为15 ;若该连通段的灰度边缘均值大于60且少于220时，则该连通段的灰度比较阈值为30 ;若该连通段的灰度边缘均值大于220时，则该连通段的灰度比较阈值为20 ;由此，分行分段多层次地获取到灰度 比较阈值；
步骤415、隔行或者隔几行对输入图像的像数点进行判断，若lpFlag[i][j]>0且 IpFlag [i] [j+1] <0 时，将该像数点记为波峰位置 pWhiteArray [nWhitecount++] =(lpFlag[i] [j]+ lpFlag[i] [j]) l ；
若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0时，将该像数点记为波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ；
对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内，若存在波峰或波谷，那么就把连通区域扩展到该波峰或波谷上，一直连通到没有波峰或波谷为止，就产生了可疑连通区域，并初步判断该可疑连通区域的有效性，即该可疑连通区域必须符合初步车牌的宽高比例规则，然后将有效的可疑连通区域加入正式的可疑连通区域集里；
步骤416、确定有效可疑连通区域的左右边界。本发明能在高分辨率的图像下，通过跟踪车辆的外形轮廓，初步定位出车辆的位置，然后在该车辆的位置区域范围内，定位出车牌区域，由车辆识别单元统计并输出最可信的车牌号码，本发明可识别中国大陆的各种车牌，包括蓝牌和黑牌，黄牌和白牌，其中黑牌可识别港、澳车牌；黄牌可以识别单排黄色车牌(教练车也可)，大型车后车牌和摩托车牌；白牌可以识别包括警车车牌，武警车牌和军车车牌，并在系统最后输出车辆的相关信息，包括最大3张过程的图像、车辆通过时间、车牌号码、车牌颜色、车身颜色、车型、车速和车辆违法信息等，满足用户对于车辆信息的全面需求。
图I为本发明的车牌识别系统的系统架构 图2为本发明的车牌识别方法的工作流程 图3为本发明的车辆外形轮廓检测工作流程 图4为本发明的多层次可疑车牌定位算法的工作流程图。以下结合附图和具体实施例对本发明作进一步详述。
具体实施例方式如图I所示，本发明一种融合视频动态跟踪车辆的车牌识别系统，主要包括车辆检测参数和车牌识别相关参数设置单元I、图像采集单元2、车辆检测和跟踪单元3、车牌识别单元4和车辆相关信息输出单元5 ；所述的车辆检测参数和车牌识别相关参数设置单元1，用于载入车辆检测和车牌识别的相关参数，供车辆检测和跟踪单元3、车牌识别单元4读入使用；该车辆检测的设置参数包括车道线、停止线、第一触发线、第二触发线、跟踪区域和检测区域大小等；该车牌识别相关参数包括车牌高度宽度、可信度、最小字符高度、最大字符高度、黄牌规则、车牌旋转规则和字符识别规则等；
所述的图像采集单元2，融合多种图像形式输入，包含静态图像输入，多种视频卡图像输入(即模拟摄像机输入视频信号)，1394卡，USB摄像头，录像文件图像输入，多种网络高清摄像机图像输入，用于采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元3和车牌识别单元4 ；·所述的车辆检测和跟踪单元3，对图像采集单元2上传的车辆视频图像进行车辆外形轮廓的检测和跟踪，先通过帧对减和背景建模获取初步的车辆位置，采用sobel边缘灰度图像，进一步获取车辆的水平和垂直边缘，记录下车辆水平和垂直位置，然后通过跟踪器不断记录和比对车辆的外形轮廓，记录下车辆完整的行驶轨迹；通过此跟踪，即使车辆没有车牌，也可抓拍下来车辆，保证卡口不漏车，并且可以准确获取车辆的车型(小型车、大型车或摩托车)、车速、行驶轨迹、过程录像和车辆违法状态信息等车辆相关信息，并将车辆的外轮廓扩展图像和车辆相关信息一并上传给车牌识别单元4，提高车牌识别效率和准确性；
所述的车牌识别单元4，获取由图像采集单元2上传的车辆视频图像或车辆静态图像，或经车辆检测和跟踪单元3上传的车辆外形轮廓扩展图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元5 ;所述的车牌识别单元4包括车牌总控模块41、多层次可疑车牌定位模块42、可疑车牌排除模块43、车牌图像矫正模块44、车牌字符切分模块45、车牌字符识别比对模块46和车牌识别结果输出模块47 ；
该车牌总控模块41，用于对车牌识别单元4中的其他六个模块实施控制，统计出最大可信的车牌号码；
该多层次可疑车牌定位模块42，对输入的图像通过多层次定位得出可疑连通区域集，以备后面切分识别；
该可疑车牌排除模块43，对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元I中的车牌固有规则来排除一些非可信的车牌区域，获得定位的车牌区域集；该车牌固有规则指的是车牌中间有大空格、并且车牌字符个数固定为7个、车牌的宽度和高度比例大概为4. 5、车牌颜色、车牌宽度大小、车牌字符大小等规则；
该车牌图像矫正模块44，对车牌区域集中每个定位出来的车牌区域进行水平和垂直方向上的边缘检测，计算出车牌在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像；
该车牌字符切分模块45，对矫正的车牌图像进行字符切分，获取刚好贴近字体的
字符图像；
该车牌字符识别比对模块46，对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和车辆检测参数和车牌识别相关参数设置单元内的字符模板进行比对，获取车牌字符识别结果集；
该车牌识别结果输出模块47，从上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出包括车牌号码、车牌颜色、车身颜色、车牌图像、车牌在图像的位置信息的车牌号码结果至车辆相关信息输出单元5 ；
所述的车辆相关信息输出单 元5，将车牌识别单元4输出的车牌号码结果，结合车辆检测和跟踪单元3输出的包括车辆的车型(小型车、大型车或摩托车)、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。如图2所示，本发明一种融合视频动态跟踪的车牌识别方法，具体包括如下步骤 步骤I、通过车辆检测参数和车牌识别相关参数设置单元I载入各种车辆检测和车牌
识别的相关参数，供车辆检测和跟踪单元3和车牌识别单元4调用；该车辆检测的设置参数包括车道线、停止线、第一触发线、第二触发线、跟踪区域和检测区域大小等；该车牌识别相关参数包括车牌高度宽度、可信度、最小字符高度、最大字符高度、黄牌规则、车牌旋转规则和字符识别规则等；
步骤2、所述的图像采集单元2采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元3和车牌识别单元4 ；
步骤3、所述的车辆检测和跟踪单元3对图像采集单元2上传的车辆视频图像进行车辆外形轮廓的检测和跟踪；
如图3所示，所述的车辆检测和跟踪单元3对输入的车辆视频图像进行多帧灰度对减，并在获取背景模板后，将当前帧与背景模板对减，进一步判断是否检测到车辆的初步外形区域，若检测到车辆的初步外形区域，则将该区域作为检测器比对区域；如果检测不到车辆的初步外形区域，即没有发现移动的可疑区域，那么以车辆检测参数和车牌识别相关参数设置单元I中预置的完整检测区域作为检测器比对区域；然后对检测器比对区域进行车辆外形轮廓检测，若检测器在检测窗口中找到明显的垂直梯度信息时，则车辆外形轮廓被发现；由于车辆外形轮廓近似于正方形，则进一步搜索上述检测到垂直梯度信息的检测窗口的垂直梯度值并且测量其平均宽度，从而获得车辆外形轮廓的边长，结合对减的车辆长度，可检测出更可靠的车辆外形轮廓；然后通过跟踪器不断记录和比对车辆的外形轮廓，并记录下车辆的完整行驶轨迹，同时可准确获取车辆的车型(小型车、大型车或摩托车)、车速、行驶轨迹、过程录像和车辆违法状态信息等车辆相关信息，并将车辆的外形轮廓扩展图像和车辆相关信息一并上传给车牌识别单元4 ；
步骤4、所述的车牌识别单元4，获取由图像采集单元2和车辆检测和跟踪单元3上传的车辆视频图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元5 ；
步骤41、该车牌识别单元4中的多层次可疑车牌定位模块42，对输入的图像通过多层次定位算法，不管图像对比度多差，都能从任意质量的图像中凸显车牌在垂直方向上的变化率，从而定位得出可疑连通区域集，以备后面切分识别；
本发明通过不同灰度层面的边缘灰度值来实现定位，并且不是每行进行处理，而是隔行或者隔几行来连通，这样的处理速度比进行二值化边缘算法的定位速度更快，而且二值化是单纯2个值，在对比度比较低情况下，很难突出车牌，而多层次的灰度比较阈值，则能定位出任何光照条件下的车牌，而无须设置不同参数。如图4所示，该多层次可疑车牌定位算法具体包括如下步骤
步骤411、灰度化定位输入的图像；
步骤412、对上述的输入图像以5X5矩形区域循环进行灰度平滑；步骤413、对上述平滑后的输入图像的每个像数点进行垂直方向的sobel变化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + l) l)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出车牌边缘，再次增强灰度图像，则灰度边缘值IpResult [i，j]= gray(i, j-2)+ gray(i, j-1)-gray(i, j+1)- gray(i, j+2)；
步骤414、若每行的灰度边缘均值少于60，则该行灰度比较阈值为15 ;若每行的灰度边缘均值大于60且少于220时，则该行的灰度比较阈值为30 ;若每行的灰度边缘均值大于220时，则该行的灰度比较阈值为20 ;当IpResult [i, j]的绝对值大于该行的灰度比较阈值时，该像数点设为lpFlag[i] [j]；
对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内若存在lpFlag[i][j]，就将这些像素点连通形成连通段，在若干个像素点范围内若不存在lpFlag[i][j]，就跳过这些像素点继续扫描连通工作，待扫描完毕，对上述的连通段进行判 断，若该连通段的灰度边缘均值少于60，则该连通段灰度比较阈值为15 ;若该连通段的灰度边缘均值大于60且少于220时，则该连通段的灰度比较阈值为30 ;若该连通段的灰度边缘均值大于220时，则该连通段的灰度比较阈值为20 ;由此，分行分段多层次地获取到灰度比较阈值；
步骤415、隔行或者隔几行对输入图像的像数点进行判断，若lpFlag[i][j]>0且 IpFlag [i] [j+1] <0 时，将该像数点记为波峰位置 pWhiteArray [nWhitecount++] =(lpFlag[i] [j]+ lpFlag[i] [j]) l ；
若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0时，将该像数点记为波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ；
对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内，若存在波峰或波谷，那么就把连通区域扩展到该波峰或波谷上，一直连通到没有波峰或波谷为止，就产生了可疑连通区域，并初步判断该可疑连通区域的有效性，即该可疑连通区域必须符合初步车牌的宽高比例规则，然后将有效的可疑连通区域加入正式的可疑连通区域集里；
步骤416、确定有效可疑连通区域的左右边界。步骤42、该可疑车牌排除模块43对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元I中的车牌固有规则来排除一些非可信的可疑连通区域，获得定位的车牌区域集；该车牌固有规则指的是车牌中间有大空格、并且车牌字符个数固定为7个、车牌的宽度和高度比例大概为4. 5、车牌颜色、车牌宽度大小、车牌字符大小等规则；步骤43、该车牌图像矫正模块44对车牌区域集中每个定位出来的车牌进行水平和垂直方向上的边缘检测，计算出该车牌区域在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像；
步骤44、该车牌字符切分模块45对矫正的车牌图像进行字符切分，获取刚好贴近字体的字符图像，具体为
采用中值滤波滤除噪声，通过低通滤波获取字符图像背景的照度估值，再从原始图像中减去此照度来矫正光照不均，然后通过对比拉伸变换增加对比度，从而使得切分图像在任何光照下，获取比较好的灰度图像，不会引起切分不全和不好切分的情况；采用局部图像阈值，从而获取比较好的二值化投影，根据垂直投影，获取每个字符切分线，由此获取到车牌切分的字符；在每个字符空格间，获取车牌背景原始象素值，通过HIS判断车牌颜色；若车牌颜色为白色，通过车牌的最大空格位置，可判断车牌为军车、警车还是武警车；若车牌颜色为黄色，则通过车牌字符个数来判断，若车牌字符个数为5，则为双层黄牌，若车牌字符个数为7，则为正常的单层黄牌；
步骤45、该车牌字符识别比对模块46对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和车辆检测参数和车牌识别相关参数设置单元内的字符模板进行比对，获取最大可信度的车牌字符识别结果集；
上述获取的特征包括字符的周边特征(内周边特征和外周边特征)、包括32网格、4行网格、4列网格、斜4行网格和反斜4行网格的字符网格特征、32格字符重心、字符行重心、字符竖重心；
通过获取归一化的字符图像的上述各种特征和字符模板库的各种特征进行比对，获取到最可信的车牌字符。现有的车牌识别字符特征大多数只是采用网格内的黑点数特征，而本发明提取了字符的64种特征点，能准确地识别字符，并能比较可靠地排除容易混淆的字符的识别，如B和8，O、D和Q，A和4，G和6，大大提高的字符识别的精确性；
步骤46、该车牌识别结果输出模块47根据上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出车牌号码结果至车辆相关信息输出单元5 ；步骤5、所述的车辆相关信息输出单元5，将车牌识别单元4输出的车牌号码结果，结合车辆检测和跟踪单元3输出的包括车辆的车型、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属 于本发明技术方案的范围内。
权利要求
1.一种融合视频动态跟踪车辆的车牌识别系统，其特征在于包括车辆检测参数和车牌识别相关参数设置单元、图像采集单元、车辆检测和跟踪单元、车牌识别单元和车辆相关信息输出单兀； 所述的车辆检测参数和车牌识别相关参数设置单元，用于载入车辆检测和车牌识别的相关参数，供车辆检测和跟踪单元、车牌识别单元读入使用；所述的图像采集单元，用于采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元和车牌识别单元；所述的车辆检测和跟踪单元，对图像采集单元上传的车辆视频图像进行车辆外形轮廓的检测和跟踪，先通过帧对减和背景建模获取初步车辆位置，采用sobel边缘灰度图像，进一步获取车辆的水平和垂直边缘，记录下车辆水平和垂直位置，然后通过跟踪器不断记录和比对车辆的外形轮廓，记录下车辆的完整行驶轨迹；通过此跟踪，能准确获取车辆的车型、车速、行驶轨迹、过程录像和车辆违法状态信息的车辆相关信息，并将车辆的外形轮廓扩展图像和车辆相关信息一并上传给车牌识别单元； 所述的车牌识别单元，获取由图像采集单元上传的车辆视频图像或车辆静态图像，或经车辆检测和跟踪单元上传的车辆外形轮廓扩展图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元； 所述的车辆相关信息输出单元，将车牌识别单元输出的车牌号码结果，结合车辆检测和跟踪单元输出的包括车辆的车型、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。
2.根据权利要求I所述的一种融合视频动态跟踪车辆的车牌识别系统，其特征在于该车辆检测的设置参数包括车道线、停止线、第一触发线、第二触发线、跟踪区域和检测区域大小。
3.根据权利要求I所述的一种融合视频动态跟踪车辆的车牌识别系统，其特征在于该车牌识别相关参数包括车牌高度宽度、可信度、最小字符高度、最大字符高度、黄牌规则、车牌旋转规则和字符识别规则。
4.根据权利要求I所述的一种融合视频动态跟踪车辆的车牌识别系统，其特征在于所述的车牌识别单元包括车牌总控模块、多层次可疑车牌定位模块、可疑车牌排除模块、车牌图像矫正模块、车牌字符切分模块、车牌字符识别比对模块和车牌识别结果输出模块； 该车牌总控模块，用于对车牌识别单元中的其他六个模块实施控制，统计出最大可信的车牌号码； 该多层次可疑车牌定位模块，对输入的图像通过多层次定位得出可疑连通区域集，以备后面切分识别； 该可疑车牌排除模块，对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元中的车牌固有规则来排除一些非可信的连通区域，获得定位的车牌区域集； 该车牌图像矫正模块，对车牌区域集中每个定位出来的车牌进行水平和垂直方向上的边缘检测，计算出车牌在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像；该车牌字符切分模块，对矫正的车牌图像进行字符切分，获取刚好贴近字体的字符图像；该车牌字符识别比对模块，对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和车辆检测参数和车牌识别相关参数设置单元内的字符模板进行比对，获取车牌字符识别结果集； 该车牌识别结果输出模块，从上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出包括车牌号码、车牌颜色、车身颜色、车牌图像、车牌在图像的位置信息的车牌号码结果至车辆相关信息输出单元。
5.根据权利要求4所述的一种融合视频动态跟踪车辆的车牌识别系统，其特征在于该车牌固有规则指的是车牌中间有大空格、并且车牌字符个数固定为7个、车牌的宽度和高度比例大概为4. 5、车牌颜色、车牌宽度大小、车牌字符大小。
6.一种融合视频动态跟踪的车牌识别方法，其特征在于具体包括如下步骤 步骤I、通过车辆检测参数和车牌识别相关参数设置单元载入各种车辆检测和车牌识别的相关参数，供车辆检测和跟踪单元和车牌识别单元调用； 步骤2、所述的图像采集单元采集车辆视频图像，并将该车辆视频图像上传给车辆检测和跟踪单元和车牌识别单元； 步骤3、所述的车辆检测和跟踪单元对图像采集单元上传的车辆视频图像进行车辆外形轮廓的检测和跟踪； 所述的车辆检测和跟踪单元对输入的车辆视频图像进行多帧灰度对减，并在获取背景模板后，将当前帧与背景模板对减，进一步判断是否检测到车辆的初步外形区域，若检测到车辆的初步外形区域，则将该区域作为检测器比对区域；如果检测不到车辆的初步外形区域，即没有发现移动的可疑区域，那么以车辆检测参数和车牌识别相关参数设置单元中预置的完整检测区域作为检测器比对区域；然后对检测器比对区域进行车辆外形轮廓检测，若检测器在检测窗口中找到明显的垂直梯度信息时，则车辆外形轮廓被发现，进一步搜索上述检测到垂直梯度信息的检测窗口的垂直梯度值并且测量其平均宽度，从而获得车辆外形轮廓的边长，结合对减的车辆长度，可检测出更可靠的车辆外形轮廓；然后通过跟踪器不断记录和比对车辆的外形轮廓，并记录下车辆的完整行驶轨迹，同时能准确获取车辆的车型、车速、行驶轨迹、过程录像和车辆违法状态信息的车辆相关信息，并将车辆的外形轮廓扩展图像和上述车辆相关信息一并上传给车牌识别单元； 步骤4、所述的车牌识别单元获取由图像采集单元和车辆检测和跟踪单元上传的车辆视频图像进行车牌号码的识别，并输出识别结果至车辆相关信息输出单元； 步骤41、该车牌识别单元中的多层次可疑车牌定位模块，对输入的图像通过多层次定位算法，定位得出可疑连通区域集，以备后面切分识别；步骤42、该可疑车牌排除模块对上述可疑连通区域集利用车辆检测参数和车牌识别相关参数设置单元中的车牌固有规则来排除一些非可信的可疑连通区域，获得定位的车牌区域集； 步骤43、该车牌图像矫正模块对车牌区域集中每个定位出来的车牌区域进行水平和垂直方向上的边缘检测，计算出该车牌区域在水平和垂直方向上的倾斜角度，然后进行水平和垂直方向上的矫正，获得矫正的车牌图像； 步骤44、该车牌字符切分模块对矫正的车牌图像进行字符切分，获取刚好贴近字体的字符图像；步骤45、该车牌字符识别比对模块对上述切分好的字符图像进行归一化处理，获取归一化后的字符图像的各种特征，并和车辆检测参数和车牌识别相关参数设置单元内的字符模板进行比对，获取最大可信度的车牌字符识别结果集； 步骤46、该车牌识别结果输出模块根据上述的车牌字符识别结果集中选出最可信的、最符合输出条件的车牌字符结果，并输出车牌号码结果至车辆相关信息输出单元； 步骤5、所述的车辆相关信息输出单元，将车牌识别单元输出的车牌号码结果，结合车辆检测和跟踪单元输出的包括车辆的车型、车速、行驶轨迹、过程图像、过程录像、车辆违法信息的车辆相关信息，一并输出并保存到系统中。
7.根据权利要求6中的一种融合视频动态跟踪的车牌识别方法，其特征在于该多层次可疑车牌定位算法具体包括如下步骤 步骤411、灰度化定位输入的图像； 步骤412、对上述的输入图像以5X5矩形区域循环进行灰度平滑； 步骤413、对上述平滑后的输入图像的每个像数点进行垂直方向的sobel变化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + 1)〈〈I)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出车牌边缘，再次增强灰度图像，贝1J灰度边缘值IpResult [i，j]= gray (i, j-2)+ gray (i, j-1)-gray(i, j+1)- gray(i, j+2)； 步骤414、若每行的灰度边缘均值少于60，则该行灰度比较阈值为15 ;若每行的灰度边缘均值大于60且少于220时，则该行的灰度比较阈值为30 ;若每行的灰度边缘均值大于220时，则该行的灰度比较阈值为20 ;当IpResult [i, j]的绝对值大于该行的灰度比较阈值时，该像数点设为lpFlag[i] [j]； 对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内若存在lpFlag[i][j]，就将这些像素点连通形成连通段，在若干个像素点范围内若不存在lpFlag[i][j]，就跳过这些像素点继续扫描连通工作，待扫描完毕，对上述的连通段进行判断，若该连通段的灰度边缘均值少于60，则该连通段灰度比较阈值为15 ;若该连通段的灰度边缘均值大于60且少于220时，则该连通段的灰度比较阈值为30 ;若该连通段的灰度边缘均值大于220时，则该连通段的灰度比较阈值为20;由此，分行分段多层次地获取到灰度比较阈值； 步骤415、隔行或者隔几行对输入图像的像数点进行判断，若lpFlag[i][j]>0且 IpFlag [i] [j+1]〈O 时，将该像数点记为波峰位置 pffhiteArray [nffhitecount++]=(lpFlag[i] [j]+ lpFlag[i] [j]) l ； 若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0时，将该像数点记为波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ； 对输入图像自上而下且从左至右扫描像素点，在若干个像素点范围内，若存在波峰或波谷，那么就把连通区域扩展到该波峰或波谷上，一直连通到没有波峰或波谷为止，就产生了可疑连通区域，并初步判断该可疑连通区域的有效性，即该可疑连通区域必须符合初步车牌的宽高比例规则，然后将有效的可疑连通区域加入正式的可疑连通区域集里； 步骤416、确定有效可疑连通区域的左右边界。
全文摘要
本发明一种融合视频动态跟踪车辆的车牌识别方法和系统，包括车辆检测参数和车牌识别相关参数设置单元、图像采集单元、车辆检测和跟踪单元、车牌识别单元和车辆相关信息输出单元；通过跟踪车辆的外形轮廓，初步定位出车辆的位置，然后在该车辆的位置区域范围内，定位出车牌区域，由车辆识别单元统计并输出最可信的车牌号码，在车牌识别的同时还可以提供有关车辆车型、车速、行驶轨迹、过程录像和车辆违法状态信息等车辆相关信息，满足用户对于车辆信息的全面需求。
文档编号G06K9/00GK102722704SQ20121019155
公开日2012年10月10日 申请日期2012年6月12日 优先权日2012年6月12日
发明者陈志阳 申请人:厦门宸天电子科技有限公司