基于图像的车辆品牌识别方法和系统的制作方法
【专利摘要】本发明提供了一种基于图像的车辆品牌识别方法和系统。该方法和系统能够基于在图像中进行多维位置检测来快速识别车辆品牌，且检测率高同时误报较少。
【专利说明】基于图像的车辆品牌识别方法和系统
【技术领域】
[0001 ] 本发明涉及车辆识别，尤其涉及车辆品牌识别。
【背景技术】
[0002]在城市的智能交通系统中，车辆品牌识别是一个重要的组成部分。它可以自动识别车辆的品牌信息，例如某辆车是大众、福特还是解放等。车辆品牌识别在交通管理系统、公安系统和商业系统都有广泛的应用。在交通管理系统中，可根据路网中不同类型车辆的分布和密集度，进行不同的信号灯调节、交警警力配置等等；在公安系统中，最直接的应用是套牌车辆的检测。如果某辆车识别出来的品牌和其车牌在公安系统的记录不一致时，该车辆就有可能是套牌车；在商业系统中，当了解某个区域的车辆品牌分布情况，广告主的广告投放会更有针对性，效果更明显。
[0003]车辆品牌识别在现有文献中没有成熟有效的方法。类似工作主要是车标识别和车型识别:
[0004]车标识别通过对交通视频或交通图像中车体上的车标进行分类得到车辆品牌信息。该方法存在两个问题:1)它要求视频或图像的清晰度高，车标清晰可见，但现阶段的交通视频/图像质量满足不了要求；2)车标分类的前提是车标检测，即检测车标在图像中的位置。目前车标检测技术还不成熟，检测率低同时误报较多，所以车标识别还无法在现实中得到应用。此处，误报是指误认为车标的非车标位置。
[0005]车型识别区分了车辆的种类型号，例如小轿车，小货车、客车和货车等。从功能上看，车型识别是品牌识别的子问题。在车型识别技术的主要方法中，感应线圈测量得到最广泛的应用。感应线圈测量是利用电磁感应原理:当一辆车通过时，线圈的电感发生变化，同时产生一定的波形。通过对波形的分类来得到车型信息。基于感应线圈的方法虽然有成本低廉的好处，但其问题也很明显:1)安装不方便，需要破坏路面；2)波形噪声大，识别率低；3)维护成本高。
[0006]因此，需要一种能够基于在图像中进行多维位置检测来快速识别车辆品牌，且检测率高同时误报较少的方法和系统。
【发明内容】
[0007]本发明提供了一种基于图像的车辆品牌识别方法，该方法包括:检测车牌在输入图像中的位置；校正所检测到的车牌位置；根据经校正的车牌位置计算多个车辆部件位置；从该多个车辆部件位置的每一个抽取特征向量；以及对所抽取的特征向量进行分类并输出车辆的品牌信息。
[0008]在本发明的基于图像的车辆品牌识别方法的一个实施例中，车辆部件位置是利用车辆部件位置和车牌位置的关系来计算的。
[0009]在本发明的基于图像的车辆品牌识别方法的一个实施例中，该多个车辆部件位置是从该车辆的大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等中选择的位置。[0010]在本发明的基于图像的车辆品牌识别方法的一个实施例中，该特征向量包括外形特征和形状特征。
[0011]在本发明的基于图像的车辆品牌识别方法的一个实施例中，该对所抽取的特征向量进行分类的步骤包括:判断该形状特征是否与所存储的标准形状特征相匹配；如果匹配，则基于该外形特征计算该车辆相对于每一品牌的置信度；将该置信度最高的品牌确定为该车辆的品牌。
[0012]在本发明的基于图像的车辆品牌识别方法的一个实施例中，该输入图像可以是车辆车头的图像，或者是车辆车尾的图像。
[0013]本发明提供了一种基于图像的车辆品牌识别系统，该系统包括:车牌检测模块，用于检测车牌在输入图像中的位置；车牌校正模块，用于校正所检测到的车牌位置；车辆部件位置获取模块，用于根据经校正的车牌位置计算多个车辆部件位置；特征抽取模块，用于从该多个车辆部件位置的每一个抽取特征向量；以及品牌分类模块，用于对所抽取的特征向量进行分类并输出车辆的品牌信息。
[0014]在本发明的基于图像的车辆品牌识别系统的一个实施例中，该多个车辆部件位置是从该车辆的大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等中选择的位置。
[0015]在本发明的基于图像的车辆品牌识别系统的一个实施例中，该特征向量包括外形特征和形状特征。
[0016]在本发明的基于图像的车辆品牌识别系统的一个实施例中，该品牌分类模块进一步用于:判断该形状特征是否与所存储的标准形状特征相匹配；如果匹配，则基于该外形特征计算该车辆相对于每一品牌的置信度；将该置信度最高的品牌确定为该车辆的品牌。
[0017]在本发明的基于图像的车辆品牌识别系统的一个实施例中，该输入图像可以是车辆车头的图像，或者是车辆车尾的图像。
[0018]由此，本发明提供了一套成熟有效的车牌品牌识别方案。它既可以处理普清和高清的视频和图像，又可以处理复杂场景下的交通视频和图像。该方案对视频和图像中车辆的行驶方向没有要求，即可处理车辆前部，也可处理车辆尾部。其实现成本低、可靠性高，通过普通计算机、摄像机就可实现，而且识别速度快，在视频分析中使用普通计算机就可以达到实时识别。
【专利附图】
【附图说明】
[0019]图1示出根据本发明实施例的基于图像的车辆品牌识别方法的流程图概览；
[0020]图2示出车牌检测示意图。
[0021]图3示出车牌对齐模型示意图。
[0022]图4示出车牌匹配示意图。
[0023]图5示出车辆部件位置抽取示意图。
[0024]图6示出品牌分类示意图。
[0025]图7示出针对车辆车头的匹配分类结果图。
[0026]图8示出针对车辆车尾的匹配分类结果图。
[0027]图9示出根据本发明实施例的基于图像的车辆品牌识别系统的框图。【具体实施方式】
[0028]在本发明中，车辆品牌识别是基于图像进行的。其输入是单张图像或视频的某帧。
[0029]图1示出了根据本发明实施例的基于图像的车辆品牌识别方法的流程图概览。
[0030]本发明的基于图像的车辆品牌识别方法包括以下步骤:
[0031](a)车牌检测:在步骤101，检测车牌在输入图像中的位置。在该步骤中，对输入图像做车牌检测，其输出是车牌在图像中的位置。在一个实施例中，位置包括了车牌在图像内的坐标、车牌高度和车牌宽度。
[0032]一幅图像可以输出多个车牌位置。如图2的车牌检测示意图所示，该幅图像输出了 3个车牌位置，分别由矩形框代表车牌位置。车辆检测得到的车牌位置的精度不够精确同时也不稳定，会出现偏大/偏小/左右平移等现象。
[0033]目前车牌检测存在各种方案，各有其优缺点。在本实施例中，该步骤采用了AdaBoost+Haar Feature的方案。其优点在于:适用范围广(可处理各种复杂场景)，性能高，同时速度满足需求。
[0034](b)车牌位置校正:在步骤102，校正所检测到的车牌位置。在该步骤中，对车牌检测得到的车牌位置做校正。其输出是车牌在图像中的精确位置。车牌位置校正步骤可在车牌检测的基础上进行校正，得到车牌精确位置。精确位置是车牌品牌识别性能的保证。
[0035]在本实施例中，该步骤采用了二值化的算法，将车牌字符从车牌背景分割出来，从而得到车牌的精确位置。该二值化算法优点在于:速度快，适用范围广。
[0036]在现有技术中，二维的车牌识别与定位方法是公知的。而在本发明中，需要基于图像，对车辆品牌进行快速识别。此时，仅仅进行二维的识别与定位是不够的；需要的是进行多维的识别与定位。
[0037]因此，在本发明的一个实施例中，采用了模型匹配的方式进行车辆的车牌位置校正。以车头为例，车头的模型由N个车辆部件模块构成，每一车辆部件模块表示为(xi, yi, fi),其中(xi，yi)表示车辆部件模块的位置，fi是该车辆部件模块的特征向量。SIFT描述子由于其快速和描述能力强等特性，被用做特征向量。模型的示例见图3。
[0038]在图3中，左侧每个圆圈表示车体上的一个车辆部件模块，右侧是单个车辆部件模块的SIFT示意图。
[0039]在此，使用的是层次匹配的方法，由此在图像上找到最优匹配。首先，对图像的每个位置(x，y)都抽取SIFT特征向量。由于不同品牌/车型的车灯或车标的面积不一致，因此每个位置需要抽取不同尺度的特征向量。然后，在图像找到最优的匹配。求解结束后，会得到每个车辆部件模块的位置和整体的相似度。使用相同的方法匹配车尾模型。最后，通过判断车头/车尾的整体的相似度，可判断车辆图像是车头还是车尾。
[0040]总之，通过车牌位置校正，可得到车辆的方向(车头/车尾)和车体上每个车辆部件模块的结果，具体结果见图4。
[0041](c)车辆部件位置获取:在步骤103，根据经校正的车牌位置计算多个车辆部件位置。在该步骤中，根据车牌对齐输出的车牌位置计算车辆部件位置，其输出是车辆部件位置。这就需要利用车辆部件位置和车牌位置的关系来进行计算。
[0042]根据车牌位置校正步骤中的各车辆部件模块的位置，对图像进行归一化的处理得到标准尺寸。在标准尺寸的图像上得到大灯、雾灯、通气栅等每个车辆部件模块的位置，用一个矩形框表示(X，y, W，h)。具体结果见图5。
[0043](d)特征抽取:在步骤104，从多个车辆部件位置的每一个抽取特征向量。在该步骤中，在车辆部件位置抽取特征向量，其输出是特征向量。特征向量描述车辆部件位置区域的各种特性，但同时能被计算机算法处理。
[0044]在标准尺寸的图像上，每个车辆部件模块都抽取特征向量。特征向量由两个部分构成，一个部分是外形特征；另一部分是形状特征。特征向量的示例图见图6。
[0045]本实施例中的形状特征采用HoG(Histogram of Gradient)的特征向量。主要原因是:不同品牌的车辆主要区别组成部分的形状、纹理和位置上，例如车灯的形状和位置等。HoG能较好地描述这类特性，同时具有抽取速度快的优点。
[0046]而本实施例中的外形特征采用LBP(Local Binary Pattern)的特征向量。
[0047]然后将每个车辆部件模块的特征向量连成一个总的特征向量(fl，f2，f3，...)(x, y, w, h)。
[0048](e)品牌分类:在步骤105，对所抽取的特征向量进行分类并输出车辆的品牌信
肩、O
[0049]在该步骤中，品牌分类包括以下子步骤:1).判断所述形状特征是否与所存储的标准形状特征相匹配；2)如果匹配，则基于所述外形特征计算所述车辆相对于每一品牌的置信度；3)将所述置信度最高的品牌确定为所述车辆的品牌。
[0050]在步骤I)中，判断形状特征是否符合要求。对于不同品牌的车辆，事先存储每个车辆部件模块的标准形状特征，即该车辆部件模块的位置和尺寸。对于每个品牌，计算形状特征和“标准形状特征”之间的差异。如果该差异小于事先设定的阈值，则判断有可能是该品牌的车辆，即该形状特征与所存储的标准形状特征相匹配，进入步骤2)，否则中断。
[0051]在步骤2)中，每个品牌事先利用SVM分类器作为基于外形特征的分类器。利用分类器可以得到该品牌的置信度。
[0052]在步骤3)中，对于所有得到置信度的品牌，选择置信度最高的品牌作为最终的结果。最终结果见图7和图8。
[0053]图7示出针对车辆车头的匹配分类结果。而图8示出针对车辆车尾的匹配分类结果。从图7中可见，针对同一图像内不同车道上的多辆车辆，可基于针对车辆车头的匹配分类，快速、可靠地获取车辆品牌。从图8中可见，针对同一图像内同一车道上的多辆车辆，可基于针对车辆车尾的匹配分类，快速、可靠地获取车辆品牌。
[0054]对特征向量进行分类是机器学习中的标准问题，有大量现成算法可以解决。本实施例采用多类线性支持向量机的方法。主要原因是:速度快、性能高。
[0055]图9示出根据本发明实施例的基于图像的车辆品牌识别系统的框图。
[0056]本发明的基于图像的车辆品牌识别系统包括:车牌检测模块，用于检测车牌在输入图像中的位置；车牌校正模块，用于校正所检测到的车牌位置；车辆部件位置获取模块，用于根据经校正的车牌位置计算多个车辆部件位置；特征抽取模块，用于从所述多个车辆部件位置的每一个抽取特征向量；以及品牌分类模块，用于对所抽取的特征向量进行分类并输出车辆的品牌信息。
[0057]由此，本发明提供了一种能够基于在图像中进行多维位置检测来快速识别车辆品牌，且检测率高同时误报较少的方法和系统。该方法和系统既可以处理普清和高清的视频和图像，又可以处理复杂场景下的交通视频和图像。该方案对视频和图像中车辆的行驶方向没有要求，即可处理车辆前部，也可处理车辆尾部。其实现成本低、可靠性高，通过普通计算机、摄像机就可实现，而且识别速度快，在视频分析中使用普通计算机就可以达到实时识别。
[0058]车辆部件位置是车辆的各个部件的位置，这些部件诸如大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等。
[0059]本文中所描述的示例系统仅是适用于某些实现的示例，并且不旨在对可实现此处所描述的过程、组件和特征的环境、体系结构和框架的使用范围或功能提出任何限制。因此，此处的实现可用于众多环境或体系结构，并且可以在通用或专用计算系统或具有处理能力的其他设备中实现。一般而言，参考附图描述的任何功能都可使用软件、硬件(例如，固定逻辑电路)或这些实现的组合来实现。此处所使用的术语“模块”或“组件”一般表示可被配置成实现规定功能的软件、硬件或软件和硬件的组合。例如，在软件实现的情况下，术语“模块”或“组件”可表示当在一个或多个处理设备(例如，CPU或处理器)上执行时执行指定任务或操作的程序代码。程序代码可被存储在一个或多个计算机可读存储器设备或其他计算机存储设备中。由此，此处所描述的过程、组件和模块可由计算机程序产品来实现。
[0060]尽管根据数个实施例描述了本发明，但本领域的技术人员将意识到本发明不限于所述的实施例，而是可用所附权利要求的精神和范围内的修改和改变来实施本发明，因此将说明书视为说明性的而不是限制性的。
【权利要求】
1.一种基于图像的车辆品牌识别方法，所述方法包括: 检测车牌在输入图像中的位置； 校正所检测到的车牌位置； 根据经校正的车牌位置计算多个车辆部件位置； 从所述多个车辆部件位置的每一个抽取特征向量；以及 对所抽取的特征向量进行分类并输出车辆的品牌信息。
2.如权利要求1所述的基于图像的车辆品牌识别方法，其特征在于，所述车辆部件位置是利用所述车辆部件位置和所述车牌位置的关系来计算的。
3.如权利要求1所述的基于图像的车辆品牌识别方法，其特征在于，所述多个车辆部件位置是从所述车辆的大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等中选择的位置。
4.如权利要求1所述的基于图像的车辆品牌识别方法，其特征在于，所述特征向量包括外形特征和形状特征。
5.如权利要求1所述的基于图像的车辆品牌识别方法，其特征在于，所述对所抽取的特征向量进行分类的步骤包括: 判断所述形状特征是否与所存储的标准形状特征相匹配； 如果匹配，则基于所述外形特征计算所述车辆相对于每一品牌的置信度； 将所述置信度最高的品牌确定为所述车辆的品牌。
6.如权利要求1所述的基于图像的车辆品牌识别方法，其特征在于，所述输入图像可以是车辆车头的图像，或者是车辆车尾的图像。
7.一种基于图像的车辆品牌识别系统，所述系统包括: 车牌检测模块，用于检测车牌在输入图像中的位置； 车牌校正模块，用于校正所检测到的车牌位置； 车辆部件位置获取模块，用于根据经校正的车牌位置计算多个车辆部件位置； 特征抽取模块，用于从所述多个车辆部件位置的每一个抽取特征向量；以及 品牌分类模块，用于对所抽取的特征向量进行分类并输出车辆的品牌信息。
8.如权利要求7所述的基于图像的车辆品牌识别系统，其特征在于，所述车辆部件位置是利用所述车辆部件位置和所述车牌位置的关系来计算的。
9.如权利要求7所述的基于图像的车辆品牌识别系统，其特征在于，所述多个车辆部件位置是从所述车辆的大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等中选择的位置。
10.如权利要求7所述的基于图像的车辆品牌识别系统，其特征在于，所述特征向量包括外形特征和形状特征。
11.如权利要求7所述的基于图像的车辆品牌识别系统，其特征在于，所述品牌分类模块进一步用于: 判断所述形状特征是否与所存储的标准形状特征相匹配； 如果匹配，则基于所述外形特征计算所述车辆相对于每一品牌的置信度； 将所述置信度最高的品牌确定为所述车辆的品牌。
12.如权利要求7所述的基于图像的车辆品牌识别系统，其特征在于，所述输入图像可以是车辆车头的图像，或者是车辆车尾的图像。
【文档编号】G06K9/62GK103488973SQ201310416016
【公开日】2014年1月1日 申请日期:2013年9月12日 优先权日:2013年9月12日
【发明者】朱珑, 林晨曦, 陈远浩, 戎术, 周元剑 申请人:上海依图网络科技有限公司