一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法

专利名称：一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
技术领域：
本发明涉及视频图像采集、图像处理、图像识别的系统，属于计算机视觉与模 式识别技术领域和智能交通应用领域，具体为实现车辆管理智能化、违章车辆自 动处理实时化而设计的交通视频自动处理系统。
背景技术：
套牌车辆就是非法套用他人的机动车车牌，车牌是车辆的身份证，近年来，套 牌车现象蔓延全国，以致事故频发，犯罪剧增，影响恶劣，民怨沸腾，扰乱了正 常的社会秩序，如何有力打击此类违法行为，成为交通管理部门的一道难题。
目前，基于车牌识别的"电子警察"技术在城市道路交通、高速路交费、治安卡 口、停车场等各个领域及不同地区己经普及应用，追查套牌车辆的最常用做法是 由计算机自动识别出车牌号，然后查询数据库是否是套牌嫌疑车辆。但是车牌受 部分遮挡、污迹、变形以及环境光照变化大等因素影响时，识别精度大大降低， 误差大，给交警执法和车主带来了不便，因此仅依靠识别车辆牌照来追查套牌车 辆是不够的，车辆身份的判定应该需要更多的特征，如车身颜色、车标、车型等 等，为准确判定车辆身份，有效打击套牌现象，本发明提出了基于车牌识别、车 身颜色和车标识别相结合的套牌车辆识别方法。

发明内容
本发明的目的在于采用完全的交通视频的自动采集和智能处理，实现对车辆牌 照、车身颜色、车辆标志的定位与识别，将采集的车辆信息与车辆数据库记录的 车辆信息比对，对可疑的套牌车辆进行自动报警提示，提示交通警察进一步取证 核实，从而有效的解决和打击目前泛滥的套牌现象，完成交通管理的智能化、处 理的实时化。
本发明的设备是通过如下的技术方案实现的，所述的设备包括视频图像采集的摄像机和图像处理计算机，视频采集用的摄像机通过图像采集卡与图像处理计 算机相连。视频图像采集摄像机可以是CCD摄像机，也可以是数码摄像机，摄像 机可以使用三角支架架设在道路旁，也可以通过固定支架架设在车辆内。为得到 清晰的车牌图像，摄像机最多监控两条车道。图像处理计算机可以是便携式工业 控制机，也可以是普通的笔记本电脑。图像处理计算机具有无线通信的功能，可 以通过无线通信模块或无线网卡实现与交通指挥中心的网络连接。
本发明的套牌车辆识别系统可以在警用汽车内使用，摄像机可以通过固定支架 安置在汽车前挡风玻璃后面，摄像机的电源可以车载12V电源提供，摄像机的输 出通过视频采集卡输入到计算机设备，计算机设备包括笔记本电脑或便携式工控 机，本发明中的计算机设备配备声卡、音箱组成的声音报警设备，车牌定位器定 位车牌位置，车牌识别器识别出车牌字符，车身颜色识别器用于识别车身颜色， 车标定位器根据车牌的位置可以准确定位车标，车标识别根据定位结果识别出车 标，数据库查询器可以根据识别出的车牌结果、车身颜色和车标结果和数据库进 行比对，如果计算机识别出的车辆和实际登记的车辆信息不符或者是在"黑名单" 上的车辆，计算机可以通过声音和软件界面报警，提示执法人员进行进一步核实。 数据库可以是已经下载到计算机的本地数据库，也可以是通过计算机通过无线网 卡和指挥中心建立连接，支持长距离数据传输，实时访问中心数据库，进行查询。
本说明所述的套牌车辆识别系统也可以在道路旁使用，摄像机可以通过三角支 架架设在道路旁，摄像机架设高度与车牌高度接近，拍摄方向可以和车辆行驶方 向一致，也可以面向车辆行驶方向。拍摄角度定义为车辆行驶方向与拍摄方向的 锐角部分， 一般在2CT45度之间，可以监控同方向的两条车道。
本发明所述套牌车辆识别系统采用高分辨率图像采集技术，图像清晰，具有连 续抓拍能力，图像处理速度快，可以确保不同车速下都能抓拍到车辆并识别出车 牌、车身颜色和车标等信息。计算机所保存的信息包括车辆监控地点、车辆行驶 方向、车辆出现时间、车牌、车身颜色、车标等，便于大量的数据文件的分析检 索。
本发明之视频检测器主要完成视频图像中的车辆检测，检测图像中是否有车 辆，如果发现有车辆出现则启动存储图像，并启动识别器，定位和识别车牌、车 辆颜色和车标。视频检测器的工作路程如下
(4) 视频图像获取将摄像机所拍摄的视频图像通过图像采集卡进行捕获。
(5) 背景学习背景图像用于车辆目标的检测，通过几帧图像来获取背景图像。设/,为第t时刻的图像，S,为第t的背景图像5,二i^/,，则下一时 刻的背景有下式产生5,+1= /,+1+(1- )^ "为加权因子'，—i加大当前帧图 像对背景的影响。
(6)目标检测目标检测主要是检测车辆目标，通过当前帧与背景图像相减， 如果灰度差大于设定的阈值，则认为是背景，为减少噪声的影响，因为车 牌部分边缘信息丰富，用一个矩形框进行平滑，如果图像中有大于阈值的 部分，则认为此帧图像中包含有车辆，进行触发，否则认为图像中没有车 辆，不进行处理。
本发明之车牌定位器和识别器、车身颜色识别器和车标定位器、识别器构成 了套牌车辆自动识别处理的核心，车牌定位器的工作流程如下
(5) 获的差分图像视频检测器检测到含有车辆的图像后，马上触发车牌定位 器，车牌定位器根据捕获的图像检测车牌，车牌定位器先将图像用Sobel 算子进行差分，获的图像高频分量。
(6) 寻找候选区域 一般车牌区域的宽度约占图像宽度的l/5至l/7,用与车牌 相似的矩形框，其长度分别从图像长度的1/5至1/7，并在整个图像中滑动， 统计其高频分量的和，并向水平方向投影，统计出水平方向的极大值；再 统计极大值位置上的高频分量之和，向垂直方向投影，取几个垂直方向的 极大值，获的水平和垂直方向得到的极大值位置构成了车牌的候选位置。
(7) 车牌区域的判定候选区域可能有多个，而图像中车牌只有一两个，车牌 区域的判定是根据现有公安部颁布的标准车牌的特点来进行的，目前的车 牌主要分为92式民用车牌(蓝底白字)，双排大车车牌(黄底黑字)，警车、 军车、武警车辆(白底黑字)以及部分02式车牌。判断候选区域是否符合 以上牌照的字符排列规则，如果是，则将可信度提高，如果否，则可信度 降低，排序后排在最前面的为最有可能是车牌的区域。
(8) 字符切分根据判断的车牌类型进行字符切分，代价函数记录切分的过程 中的切分代价，用于衡量为车牌的可能性的大小。
本发明之车牌识别器完成了对车牌字符的识别及车牌最终位置的确认，其工 作流程如下
(5) 字符规整切分获得的车牌单个字符的大小不一，为便于识别，对图像采 用基于字符重心的方法进行规整，统一规整为40x20大小。
(6) 特征抽取只取图像的边缘，再将图像分成8x4大小的子块，抽取每个子块的方向特征，以3x3模板提取每个子块的水平、垂直、-45°， +45°四个 方向的特征。
(7) 字符识别将抽取到的特征与训练特征进行匹配，根据最近邻的原则输出 结果。因为车牌不同位置字符规则不一用，匹配时的范围也不一样， 一般 而言，第一位全部为各省份的简写和军用汉字，第二位为英文字符，第三 和第四位既有可能是英文字母，也有可能是数字，后三位只有数字。
(8) 可信度估计可信度是根据字符切分的代价函数和字符识别时字符的匹配 程度来计算的，根据可信度的大小，最终决定结果输出，并给出最终的车 牌的位置。
本发明之车身颜色识别器主要识别车辆车身颜色，其工作流程如下
(4) 车身颜色定位车牌的位置相对比较精确，根据车牌的位置，在其上方寻 找大片差分值接近零的区域为车身颜色的区域。
(5) 颜色转换摄像机获取的彩色图像的空间模型采用的是RGB彩色模型，每 个像素点有R， G， B三个通道值的组合来共同表示。HIS空间基于人类视觉 系统提出的，用于识别颜色时具有较高的精度，而且计算简单。所以通过 计算公式把车身颜色RGB变换到HSI空间。
(6) 颜色识别在HSI空间，统计色调的变化，同时利用亮度和饱和度等信息， 将车辆颜色进行分类，可以分成黑、白、红、黄、绿、蓝等。
本发明之车标定位与识别器完成了对车标的智能处理，其处理流程如下
(4) 车标粗定位车标的定位首先根据车牌的准确位置，在车牌的正上方一定 区域内进行车标粗定位，寻找车标大概的位置。
(5) 车标细定位在粗定位的区域中可能含有车头横栅格等多余噪声，利用图 像增强技术、数学形态学技术对噪声进行去除，准确定位车标。
(6) 车标识别车标识别采用基于模板匹配技术，将二值化和规整后的车标图 像与已知车标的图像库进行匹配，计算图像间的相似度，最相似者作为车 标结果输出，若相似度小于设定的阈值，而拒识。
本发明之数据库查询与报警装置是套牌车辆识别的前端处理部分，其工作流程 如下
(5)数据库査询由车牌识别器、车身颜色识别器和车标识别器输出的识别结 果，以车牌识别结果为主索引査询，查询本地数据库或通过无线网络连接指挥中心的数据库，再结合车身颜色和车标进行核对。
(6) 自动报警如果以车牌结果在数据库中查询到该为已登记的套牌车辆，设 备直接报警；如果不是已登记的套牌车辆，但识别出车辆信息与记录的车 辆信息不符，设备将报警提示。
(7) 人工校对识别结果总有一定误差，如果识别结果可信度低，但查询的车 辆有套牌嫌疑，设备提示有人工核对，并可对结果进行修改。
(8) 图像保存为保存处罚证据，设备可对抓拍的图像采用.jpg的格式进行保 存。
下面结合附图的详细描述，可以更好地理解本发明技术方案的实质内容，附图 中相同的标记表示相同的装置。


图l是基于车牌、车标和车身颜色套牌车辆识别设备框图； 图2是视频检测器的示意图3是套牌车辆识别处理过程示意图； 图4是数据库査询和报警处理流程图。
具体实施例方式
本发明提出的一种基于车牌、车标和车身颜色信息的套牌车辆识别设备及其 方法是通过如下的技术方案实现的。
图1是基于车牌、车标和车身颜色信息的套牌车辆识别设备框图。如图1所 示，所述的设备包括-
视频检测器用于视频图像的获取、背景学习和目标检测，如果视频检测器检测 到有车辆目标出现，则将图像送入车牌定位器，并启动车牌识别、车身颜色识别 和车标识别。车牌定位器主要定位出车牌的多个候选区域，车牌识别器对每个候 选区域进行字符切分，识别出车牌字符，对每个区域给出一个可信度判断，可信 度最高的作为结果输出。车身颜色识别器根据车牌的准确位置定位车身颜色，并 识别车身颜色，车标定位器也根据车牌定位器给出的车牌位置可以准确定位车标，
车标识别器识别车标。数据库查询器可以根据识别出的车牌结果、车身颜色和车 标结果和数据库进行比对，首先以识别的车牌号码査询本地套牌车辆数据库，如 果是套牌车辆则直接声光报警，如果不在套牌车辆数据库中，则查询指挥中心车 辆数据库，识别出的车牌、车标和车身颜色和实际登记的车辆信息不符，计算机可以通过声音和软件界面报警，提示执法人员进行进一步核实。数据库可以是已 经下载到计算机的本地数据库，也可以是通过计算机通过无线网卡和指挥中心建 立连接，支持长距离数据传输，实时访问中心数据库，进行查询。 图2视频检测器的流程图。其具体步骤如下
视频检测器从输入装置获取视频图像，输入装置可以由CCD摄像机，也可以是 数码摄像机。摄像机可以通过固定支架架设在车内，也可以通过三角支架架设在 道路旁，摄像机的电源由车载电源提供。背景学习用于目标的检测，背景的准确 程度影响到目标检测的准确性，所以背景学习采用加权的方法更新。目标的检测 可以通过帧差的方式获得，如果变化区域超过了设定的阈值，则认为有目标出现， 进行下一步处理，如果没有目标出现，继续目标检测，并更新背景。
图3是车辆信息识别处理流程图。其步骤如下
车牌定位器和识别器、车身颜色识别器和车标定位器、识别器构成了车辆自 动识别处理的核心，车牌定位器是整个处理的基础，视频检测器检测到车辆后， 马上触发车牌定位器，车牌定位器根据车牌部分边缘信息丰富的特点，寻找候选 区域，所找到的候选区域可能有多个，而图像中车牌只有一两个，接下来的车牌 候选区域的判定则根据现有车牌标准，判断候选区域是否符合标准车牌的字符排 列规则，根据符合程度赋予不同的可信度。字符切分根据判断的车牌类型进行切 分，代价函数记录切分的过程中的切分代价，也是用于衡量为车牌的可能性的大 小。车牌识别器完成了对车牌字符的识别及车牌最终位置的确认，特征提取部分 完成了对边缘化后的字符特征抽取，字符识别将抽取到的特征与训练特征进行匹 配，根据最近邻的原则输出结果。可信度是根据字符切分的代价函数和字符识别 时字符的匹配程度来计算的，根据可信度的大小，最终决定结果输出，并给出最 终的车牌的位置。车牌的位置相对比较精确，根据车牌的位置，在其上方寻找大
片差分值接近零的区域为车身颜色的区域。通过计算公式把车身颜色RGB变换到 HSI空间。在HSI空间，统计色调的变化，同时利用亮度和饱和度等信息，将车辆 颜色进行分类，可以分成黑、白、红、黄、绿、蓝等。车标定位与识别器完成 了对车标的智能处理，车标的定位也是根据车牌的准确位置，在车牌的正上方一 定区域内进行车标粗定位，寻找车标大概的位置。在粗定位的区域中可能含有车 头横栅格等多余噪声，利用图像增强技术、数学形态学技术对噪声进行去除，准 确定位车标。车标识别采用基于模板匹配技术，将二值化和规整后的车标图像与 已知车标的图像库迸行匹配，计算图像间的相似度，最相似者作为车标结果输出。图4是数据査询与报警装置。其工作流程如下 由车牌识别器、车身颜色识别器和车标识别器输出的识别结果，以车牌识别 结果为主索引查询，查询本地数据库或通过无线网络连接指挥中心的数据库，再 结合车身颜色和车标进行核对。如果以车牌结果在数据库中查询到该为已登记的 套牌车辆，设备直接报警；如果不是已登记的套牌车辆，但识别出车辆信息与记 录的车辆信息不符，设备将报警提示。识别结果总有一定误差，如果识别结果可 信度低，但査询的车辆有套牌嫌疑，设备提示有人工核对，并可对结果进行修改。 为保存处罚证据，设备可对抓拍的图像采用.jpg的格式进行保存。
以上描述仅仅借助于实施例提供本发明的实现方法。对于本领域的技术人员是 显而易见的，本发明不限于上面提供的实施细节，可以在不脱离本发明特征的情 况下以另外的实施例实现，实施例中的一些部件进行分解、合并或使用处理器实 现。因此，提供的实施例应当被认为是说明性的，而不是限制性的。因此，实现 和使用本发明的可能性是由所附的权利要求限定。因而，由权利要求确定的实现 本发明的各种选择包括等效实施例也属于本发明的范围。
权利要求
1、一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法，其特征在于所述的设备包括视频检测器、车牌定位器、车牌识别器、车身颜色识别器、车标定位器、车标识别器、数据库查询与报警装置等，其中视频检测器可以捕获视频，并检测车辆，将含有车辆的图像传送给车牌定位器，车牌识别器给出识别结果。以车牌位置为相对坐标，车身颜色识别器和车标识别器识别车身颜色和车标，首先以识别的车牌号码查询本地套牌车辆数据库，如果是套牌车辆报警装置则直接声光报警，如果不在套牌车辆数据库中，则查询指挥中心车辆数据库，识别出的车牌、车标和车身颜色和实际登记的车辆信息不符，报警装置可以通过声音和软件界面报警。
2、 根据权利要求1所述的套牌车辆识别设备，其特征在于设备使用灵活，可 以架设在警车内，也可以架设在道路旁，操作简单，安装方便。
3、 根据权利要求l所述的套牌车辆识别设备及方法，其特征在于可以识别车 辆牌照、车身颜色以及车标等车辆信息，并记录时间、地点等相关信息。
4、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于视频检测器的工作流程如下(1) 视频图像获取将摄像机所拍摄的视频图像通过图像采集卡进行捕获。(2) 背景学习通过加权的方式学习背景，加大当前帧图像对背景的影响。(3) 目标检测:通过当前帧与背景图像相减，如果灰度差大于设定的阈值，则 认为是背景，为减少噪声的影响，因为车牌部分边缘信息丰富，用一个矩 形框进行平滑，如果图像中有大于阈值的部分，则认为此帧图像中包含有 车辆，进行触发，否则认为图像中没有车辆，不进行处理。
5、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于车牌定位器的 工作流程如下(1) 获的差分图像:将图像用Sobel算子进行差分，获的图像高频分量。(2) 寻找候选区域:统计其高频分量的和，并向水平和垂直方向投影，获得多 个车牌的候选位置。(3) 车牌区域的判定:判断候选区域是否符合现有车牌的字符排列规则，如果 是，则将可信度提高，如果否，则可信度降低，排序后排在最前面的为最有可能是车牌的区域。 (4)字符切分根据判断的车牌类型进行字符切分，代价函数记录切分的过程 中的切分代价，用于衡量为车牌的可能性的大小。
6、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于车牌识别器的 工作流程如下(1) 字符规整:对图像采用基于字符重心的方法进行规整，统一规整为40x20 大小。(2) 特征抽取:抽取字符的方向线素特征。(3) 字符识别将抽取到的特征与训练特征进行匹配，根据最近邻的原则输出 结果。(4) 可信度估计可信度是根据字符切分的代价函数和字符识别时字符的匹配 程度来计算的，根据可信度的大小，最终决定结果输出，并给出最终的车 牌的位置。
7、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于车身颜色识别 器的工作流程如下(1) 车身颜色定位车牌的位置相对比较精确，根据车牌的位置，在其上方寻 找大片差分值接近零的区域为车身颜色的区域。(2) 颜色转换把车身颜色RGB变换到HSI空间。(3) 颜色识别在HSI空间，统计色调的变化，同时利用亮度和饱和度等信息， 将车辆颜色进行分类。
8、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于车标定位与识 别器的工作流程如下(1) 车标粗定位车标的定位首先根据车牌的准确位置，在车牌的正上方一定 区域内进行车标粗定位，寻找车标大概的位置。(2) 车标细定位:利用图像增强技术、数学形态学技术对噪声进行去除，准确 定位车标。(3) 车标识别车标识别采用基于模板匹配技术，计算图像间的相似度，最相 似者作为车标结果输出，若相似度小于设定的阈值，而拒识。
9、 根据权利要求3所述的识别套牌车辆识别设备，其特征在于车牌识别器的 工作流程如下(1)数据库査询由车牌识别器、车身颜色识别器和车标识别器输出的识别结果，以车牌识别结果为主索引查询，查询本地数据库或通过无线网络连接 指挥中心的数据库，再结合车身颜色和车标进行核对。(2) 自动报警如果以车牌结果在数据库中查询到该为已登记的套牌车辆，设 备直接报警；如果不是已登记的套牌车辆，但识别出车辆信息与记录的车 辆信息不符，设备将报警提示。(3) 人工校对识别结果总有一定误差，如果识别结果可信度低，但查询的车 辆有套牌嫌疑，设备提示有人工核对，并可对结果进行修改。(4) 图像保存为保存处罚证据，设备可对抓拍的图像采用.jpg的格式进行保 存。
全文摘要
本发明公开了一种基于车身颜色、车牌和车标识别的套牌车辆自动识别设备及其方法。所述的设备包括视频检测器、车牌定位器、车牌识别器、车身颜色识别器、车标定位器、车标识别器、数据库查询与报警装置等。根据车牌图像的局部边缘信息丰富的特点，该设备可以在捕获的图像中准确的定位车牌，利用车牌的位置，又提取车身区域和车标的粗略位置，根据提取的粗略位置再准确的提取车身颜色和车标；接下来是车牌字符识别、车身颜色判断和车标识别，根据此三项识别结果就和数据库里的资料进行比对，可以查出是否为套牌车辆，如果是套牌车辆，可以自动报警，由执法人员拦截进行进一步核实。该设备结构化好，操作简单，判别精度高，而且人工设定参数少。该设备还可以应用在欠费车辆、被盗车辆或违章车辆抓逃等。
文档编号G06K9/00GK101630361SQ20081024661
公开日2010年1月20日 申请日期2008年12月30日 优先权日2008年12月30日
发明者宋志敏, 张洪刚, 军 郭 申请人:北京邮电大学;北京弗雷赛普科技发展有限公司