一种基于虚拟线圈的嵌入式车型识别系统的制作方法
【专利摘要】本发明公开了一种基于虚拟线圈的嵌入式车型识别系统，所述识别系统包括外部程序和数据存储器、外部高速动态存储器SDRAM、图像采集设备、图像AD采样模块、电源控制模块、双核DSP数字信号处理器芯片、虚拟线圈判别单元和车型识别单元，所述图像AD采样模块获取图像采集设备提供的视频图像数据；双核DSP数字信号处理器芯片调用虚拟线圈判别单元对采集到的视频图像进行虚拟线圈判别处理，选取车辆出现时的关键帧图像；双核DSP数字信号处理器芯片调用车型识别单元对关键帧图像进行车型识别计算。本发明提供能够在虚拟线圈的配合下，从视频图像信息中提取有关车辆的特征值并进行结构化描述，可实现对视频图像中的车型识别，便于视频监控系统智能化应用和管理。
【专利说明】一种基于虚拟线圈的嵌入式车型识别系统
【技术领域】
[0001]本发明涉及一种车辆识别技术，具体涉及车型识别技术。
【背景技术】
[0002]近些年，伴随着我国国民经济的快速发展，公路覆盖面积不断扩大，车流量也在增加，但是目前大部分公路仍是采取人工判断车型的办法，这就造成巨大的人员与时间成本，制约着交通运输业的发展。鉴于此种情况，智能交通系统(ITS，IntelligentTransportation System)应运而生,它是世界上交通运输科学技术的前沿，国际上公认的ITS的服务领域有:先进的交通管理系统、出行信息服务系统、商用车辆运营系统、电子收费系统、公共交通运营系统、应急管理系统、先进的车辆控制系统。车型的自动识别是智能交通系统中的关键技术，无论是在交通监控领域，还是在道桥、高速公路以及停车场的全自动收费领域，都有着重要和广泛的应用。
[0003]目前国内外对ITS已经有了较深入的研究和实践。近20年的研究表明:实行ITS，可以使道路的通行能力提高2?3倍，将产生巨大的经济效益和社会效益。交通视频检测设备是ITS的重要组成部分，它实时地检测交通参数，进行数据处理并传送至交管中心。传统的检测方法是在车道下埋置磁感应线圈，当有车辆经过时，产生一个电信号，检测出这辆车正在感应线圈的位置。随着多媒体技术的迅速发展与计算机技术的不断提高，动态图像序列的分析处理技术日益受到人们的青睐，并得到了广泛的应用，根据西方很多城市的报告，在其运行交通控制系统时，至少有25%至35%的电磁线圈检测器处于非工作状态或发生故障。视频检测方法向此类传统检测技术发起了强有力的挑战，并可直接代替线圈检测器，实现各种交通数据的采集。
【发明内容】
[0004]针对上述现有车辆识别技术中采用地磁感应线圈技术所存在的问题，本发明的目的在于提供一种基于虚拟线圈的嵌入式车型识别系统，该系统基于虚拟线圈装置，利用嵌入式双核DSP技术，对关键帧图像进行结构化描述，并进行网络传输，便于视频监控的智能化应用和管理，有效解决现有技术所存在的问题。
[0005]为了达到上述目的，本发明采用如下的技术方案:
[0006]一种基于虚拟线圈的嵌入式车型识别系统，所述识别系统包括外部程序和数据存储器、外部高速动态存储器SDRAM、图像采集设备、图像AD采样模块、电源控制模块，所述识别系统还包括双核DSP数字信号处理器芯片、虚拟线圈判别单元和车型识别单元，所述图像AD采样模块获取图像采集设备提供的视频图像数据；接着，双核DSP数字信号处理器芯片调用虚拟线圈判别单元对采集到的视频图像进行虚拟线圈判别处理，选取车辆出现时的关键帧图像；再者，双核DSP数字信号处理器芯片调用车型识别单元对关键帧图像进行车型识别计算。
[0007]在本系统的优选实例中，所述虚拟线圈判别单元包括中值滤波预处理模块、初始背景估计模块、图像阈值估计模块、车辆图像判定模块，其中双核DSP数字信号处理器芯片中的ARM核首先控制中值滤波预处理模块对图像AD采样模块获取的视频图像数据进行中值滤波预处理；接着，双核DSP数字信号处理器芯片中的DSP核控制初始背景估计模块对预处理的图像进行初始背景估计；接着，DSP核控制图像阈值估计模块对图像进行处理，建立初始阈值估计；最后，ARM核控制车辆图像判定模块根据确定的初始背景估计和初始阈值估计，判断车辆出现的关键帧图像。
[0008]再进一步的，所述初始背景估计模块在虚拟线圈覆盖的区域内，通过连续K帧图像，求出区域内各像素的Y分量平均值，并作出时域Y分量直方图，求出峰值点，之后从k帧以后的图像开始，求出所有像素Y分量的平均值，进行条件判定即可完成初始背景估计。
[0009]再进一步的，所述图像阈值估计模块在虚拟线圈覆盖区域内，首先求出区域内所有像素Y分量的平均值，经过区域内各像素的Y分量值与背景Y分量值之间的平均绝对值差及所有Y分量阈值的平均值间两者的判定，完成阈值估计处理。
[0010]进一步的，所述车型识别单元固化在外部程序和数据存储器中。
[0011]进一步的，所述车型识别单元包括Otsu图像分割模块、几何特征提取模块、车辆特征库匹配判别模块以及结构化描述模块，首先，双核DSP数字信号处理器芯片中的DSP核控制Otsu图像分割模块对关键帧图像进行Otsu图像分割，分割出图像中的车辆子图像；接着，DSP核控制几何特征提取模块对车辆子图像进行车辆几何特征的提取；接着，双核DSP数字信号处理器芯片中的ARM核控制车辆特征库匹配判别模块对提出的车辆几何特征与车辆特征库进行匹配判别；最后，ARM核控制结构化描述模块根据判别结果，进行结构化描述，得到图像结构化描述数据。
[0012]再进一步的，所述Otsu图像分割模块利用Otsu法对关键帧图像的灰度直方图进行统计，求得目标和背景的最大类间方差值，确定最佳阈值，将图像中的车辆子图像分割出来。
[0013]再进一步的，所述几何特征提取模块根据车辆子图像的水平投影和垂直投影得到车体的边界，就可求出车辆的宽度和长度。
[0014]再进一步的，所述结构化描述模块根据车辆特征库匹配判别模块的判别结果，将视频图像关键帧和子图像及图像几何特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据。
[0015]进一步的，所述车型识别系统还包括USB接口的3G无线网络设备，所述USB接口的3G无线网络设备通过数据接口与双核DSP数字信号处理器芯片相互连接。
[0016]本发明提供的车型识别系统，基于虚拟线圈装置，原理简单，易于实现，比起地磁感应线圈的使用其施工简单、无需破除路面、成本也较为低廉，同时应用双核DSP实现对车型识别，并对关键帧图像进行结构化描述，进行网络传输，便于视频监控的智能化应用和管理。
[0017]此车型识别系统可以应用到公路收费系统，能提高公路收费系统的自动化程序，减少收费环节中的人工干预和作弊途径，减轻收费人员的工作强度，并能节省时间，具有广阔的市场前景与应用价值。
【专利附图】
【附图说明】[0018]以下结合附图和【具体实施方式】来进一步说明本发明。
[0019]图1为基于虚拟线圈的嵌入式车型识别系统的系统结构框图；
[0020]图2为基于虚拟线圈的嵌入式车型识别系统中虚拟线圈判别单元的原理示意图；
[0021]图3为基于虚拟线圈的嵌入式车型识别系统中车型识别单元进行识别的原理示意图；
[0022]图4为基于虚拟线圈的嵌入式车型识别系统的具体实例示意图。
【具体实施方式】
[0023]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0024]参见图1，其所示为基于虚拟线圈的嵌入式车型识别系统的系统框图。由图可知，整个识别系统包括外部程序和数据存储器1、外部高速动态存储器SDRAM (2)、双核DSP数字信号处理器芯片3、图像采集设备4、图像AD采样模块5、虚拟线圈判别单元6、USB接口的3G无线网络设备7、电源控制模块8以及车型识别单元9。
[0025]其中，车型识别单元9固化在外部程序和数据存储器I中；外部程序和数据存储器I采用外部断电保存高速程序和数据存储器，其通过数据总线连接于双核DSP数字信号处理器芯片3 ；图像采集设备4与图像AD采样模块5数据相接，图像AD采样模块5通过视频数据总线与双核DSP数字信号处理器芯片3数据相接；虚拟线圈判别单元6与双核DSP数字信号处理器芯片3数据相接;USB接口的3G无线网络设备7通过数据接口与双核DSP数字信号处理器芯片3相互连接，电源控制模块8与系统中各部分电连接，提供各部分的稳定的工作电能。
[0026]由此形成的识别系统在运行时，图像采集设备4实时获取有关车辆的视频图像，图像AD采样模块5获取图像采集设备4提供的视频图像数据，并将采集的视频图像数据通过视频数据总线传至双核DSP数字信号处理器芯片3。
[0027]对于采集到的有关车辆的视频图像数据，双核DSP数字信号处理器芯片3首先调用虚拟线圈判别单元6对采集到的视频图像数据进行虚拟线圈判别处理，选取车辆出现时的关键帧图像；接着，双核DSP数字信号处理器芯片3调用车型识别单元9对关键帧图像进行车型识别计算；最后，将识别计算得到的结果通过USB接口的3G无线网络设备7利用3G无线网络方式进行无线传输。
[0028]上述方案在具体实现时，双核DSP数字信号处理器芯片3采用TI公司的TMS320C6000系列DM6467双核DSP处理器芯片，该处理器具有ARM核和DSP核，拥有128MBytes的NAND Flash存储和256M Bytes的DDR，并且具有高清输入和输出，能够更好的满足现代视频监控中对高分辨率的要求。
[0029]图像采集设备4可以选取微软HD-300高清摄相头，具有CMOS感光元件，USB接口及16:9的宽屏显示.[0030]图像AD采样模块5选用TVP5146芯片，可以配置成六路复合视频信号输入或二路YPbPr分量输入或S-Video和两路复合视频信号输入等多种方式。
[0031]参见图2，虚拟线圈判别单元6用于对采集到的图像进行虚拟线圈判别处理，选取车辆出现时的关键帧图像，其主要由以下四个子模块构成:[0032]a)中值滤波预处理模61，用于对图像进行中值滤波预处理；
[0033]b)初始背景估计模块62，用于对图像进行初始背景估计；
[0034]c)图像阈值估计模块63，用于对图像进行阈值估计；
[0035]d)车辆图像判定模块64，用于对车辆图像进行判定。
[0036]虚拟线圈判别单元6中的中值滤波预处理模块61受控于双核DSP数字信号处理器芯片中的ARM核，对图像进行中值滤波预处理以去除噪声，提高图像质量。
[0037]虚拟线圈判别单元6中的初始背景估计模块62受控于双核DSP数字信号处理器芯片中的DSP核，对经中值滤波预处理模块预处理的图像进行初始背景估计。
[0038]这里的图像初始背景估计是指在实际应用中由于运动对象的遮挡，需要通过一定的准则对连续若干帧图像进行处理，以估计出该视频中虚拟线圈覆盖区域的完整背景。
[0039]在理想情况下，由于采集设备位置固定，所得到的视频序列的完整背景是保持不变的，视频序列中的每一帧图像内容可分为静止的背景和运动的对象，但在实际应用中，背景会出现遮挡现象，因此需要对图像进行初始背景估计。
[0040]本发明中初始背景估计模块进行初始背景估计的过程如下:
[0041]设在视频图像中，由虚拟线覆盖的车道区域为D，且p(x，y)为区域D内对应的背景像素，其具体实现过程如下:
[0042]1.对于连续K帧图像，在每帧图像中分别计算出区域D内各像素Y分量平均值AVGYkO
[0043]2.对AVGYk,在Y轴上作直方图统计。
[0044]3.求出直方图的峰值点Λ。
[0045]4.从第k+l(l > O)帧图像开始，求区域D内所有像素Y分量平均值AVGY(k+1)，如果满足条件IAVGY(k+1)-AVGYmax I ( Δ时，其中Λ为直方图峰值点，像素Y分量值分别作时域平均，以该时域平均值作为区域D内各个像素的背景Y分量估计值。
[0046]虚拟线圈判别单元6中的图像阈值估计模块63受控于双核DSP数字信号处理器芯片中的DSP核。用于在建立初始背景估计之后，对采集到的图像进行处理，以建立初始阈值估计。其具体的实现过程如下:
[0047]1.针对采集到的图像，从第k’+m(m>0)帧图像开始，求出区域D内所有像素Y分量平均值AVGY(k，+m)，并求出满足条件IAVGY(k，+m)-AVGYmax I ( Δ的像素p (x，y)，其中Λ为直方图峰值点。
[0048]2.对D内每个像素P (X，y)，求绝对偏移量D(k，+ni) (X，y)的累积和:
[0049]Sum，y(x, y) +=D (k，+m) (x, y),其中 p (x, y) e D。
[0050]3.当采集到M帧图像满足条件IAVGY(k，+m)-AVGYmax I ( Δ时，对区域D内每个像素D(k，+m) (x, y)的平均值，以该平均值作为区域D内各个像素的Y分量阈值估计为:
[0051]thresholdy (x, y) =Sum' Y (x, y) /M,其中 p(x，y) GD。
[0052]虚拟线圈判别单元6中的车辆图像判定模块64受控于双核DSP数字信号处理器芯片中的ARM核，用于根据初始背景估计模块确定的背景估计和图像阈值估计模块确定的阈值估计，进行判定车辆出现的关键帧图像。
[0053]该模块的具体判定过程如下:
[0054]根据上述的阈值估计确定区域D内是否存在车辆，计算D内各像素P (X，y)的Y分量值与其背景Y分量值之间的平均绝对值差AVGdy、D内所有Y分量阈值的平均值AVGthy,求
[0055]Δ Ty= I AVGdy-AVGthy
[0056]如果ΛΤΥ ΤT，其中Ty (即ThresholdY)为阈值估计，则可以判定图像当中的存在车辆，即选作判定车型的关键帧。
[0057]由此确定的虚拟线圈判别单元6，其具体工作过程是:
[0058](I)从HD-300高清摄相头采集的图像经过TVP5146进行AD采样和转换，产生数字图像，ARM核控制中值滤波预处理模61对数字图像进行中值滤波处理，以减少噪声对图像质量的影响。
[0059](2) DSP核控制初始背景估计模块62在虚拟线圈覆盖的区域内，通过连续K帧图像，求出区域内各像素的Y分量平均值，并作出时域Y分量直方图，求出峰值点，之后从k帧以后的图像开始，求出所有像素Y分量的平均值，进行条件判定即可完成初始背景估计。
[0060](3)同样，DSP核控制图像阈值估计模块63在虚拟线圈覆盖区域内，首先求出区域内所有像素Y分量的平均值，经过区域内各像素的Y分量值与背景Y分量值之间的平均绝对值差及所有Y分量阈值的平均值间两者的判定，可以完成阈值估计处理。
[0061](4) ARM核控制车辆图像判定模块64根据前两步背景估计及阈值估计，可以判定车辆出现的关键帧图像。
[0062]参见图3，车型识别单元9在双核DSP数字信号处理器芯片3的控制下对由虚拟线圈判别单元6判别得到的关键帧图像进行车型识别计算。其主要由以下四个子模块构成:
[0063]a) Otsu图像分割模块91，用于对关键帧图像进行Otsu图像分割；
[0064]b)几何特征提取模块92，用于对分割得到的子图像进行几何特征提取；
[0065]c)车辆特征库匹配判别模块93，用于将几何特征与车辆特征库进行匹配判别；
[0066]d)结构化描述模块94，用于根据判别结果进行结构化描述数据。
[0067]车型识别单元9中的Otsu图像分割模块91受控于双核DSP数字信号处理器芯片3中的DSP核，通过Otsu法对得到的有关车辆的关键帧图像进行图像分割，将图像中的车辆子图像分割出来。具体分割过程如下:
[0068]假设图像f的灰度等级为L，大小为M*N，f (X，y)代表(x, y)对应的像素点。设分割阈值s e Gl, bi，b2表示一个二值灰度级别，则图像f在阈值S上的二值化分割结果可以为:
_9]
[0070]设图像f中灰度级为i的像素点出现的频数为p(i)，那么有:
[0071]=Σ /(U),其中 i e Gl
[0072]假定把图像中的所有像素分成目标和背景两类，分别记为C1和C2，定义:
[0073]目标区域比例:' ⑴=Σ ;
0</<^[0074]背景区域比例
【权利要求】
1.一种基于虚拟线圈的嵌入式车型识别系统，所述识别系统包括外部程序和数据存储器、外部高速动态存储器SDRAM、图像采集设备、图像AD采样模块、电源控制模块，其特征在于，所述识别系统还包括双核DSP数字信号处理器芯片、虚拟线圈判别单元和车型识别单元，所述图像AD采样模块获取图像采集设备提供的视频图像数据；接着，双核DSP数字信号处理器芯片调用虚拟线圈判别单元对采集到的视频图像进行虚拟线圈判别处理，选取车辆出现时的关键帧图像；再者，双核DSP数字信号处理器芯片调用车型识别单元对关键帧图像进行车型识别计算。
2.根据权利要求1所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述虚拟线圈判别单元包括中值滤波预处理模块、初始背景估计模块、图像阈值估计模块、车辆图像判定模块，其中双核DSP数字信号处理器芯片中的ARM核首先控制中值滤波预处理模块对图像AD采样模块获取的视频图像数据进行中值滤波预处理；接着，双核DSP数字信号处理器芯片中的DSP核控制初始背景估计模块对预处理的图像进行初始背景估计；接着，DSP核控制图像阈值估计模块对图像进行处理，建立初始阈值估计；最后，ARM核控制车辆图像判定模块根据确定的初始背景估计和初始阈值估计，判断车辆出现的关键帧图像。
3.根据权利要求2所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述初始背景估计模块在虚拟线圈覆盖的区域内，通过连续K帧图像，求出区域内各像素的Y分量平均值，并作出时域Y分量直方图，求出峰值点，之后从k帧以后的图像开始，求出所有像素Y分量的平均值，进行条件判定即可完成初始背景估计。
4.根据权利要求2所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述图像阈值估计模块在虚拟线圈覆盖区域内，首先求出区域内所有像素Y分量的平均值，经过区域内各像素的Y分量值与背景Y分量值之间的平均绝对值差及所有Y分量阈值的平均值间两者的判定，完成阈值估计处理。
5.根据权利要求1所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述车型识别单元固化在外部程序和数据存储器中。
6.根据权利要求1所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述车型识别单元包括Otsu图像分割模块、几何特征提取模块、车辆特征库匹配判别模块以及结构化描述模块，首先，双核DSP数字信号处理器芯片中的DSP核控制Otsu图像分割模块对关键帧图像进行Otsu图像分割，分割出图像中的车辆子图像；接着，DSP核控制几何特征提取模块对车辆子图像进行车辆几何特征的提取；接着，双核DSP数字信号处理器芯片中的ARM核控制车辆特征库匹配判别模块对提出的车辆几何特征与车辆特征库进行匹配判别；最后，ARM核控制结构化描述模块根据判别结果，进行结构化描述，得到图像结构化描述数据。
7.根据权利要求6所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述Otsu图像分割模块利用Otsu法对关键帧图像的灰度直方图进行统计，求得目标和背景的最大类间方差值，确定最佳阈值，将图像中的车辆子图像分割出来。
8.根据权利要求6所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述几何特征提取模块根据车辆子图像的水平投影和垂直投影得到车体的边界，就可求出车辆的览度和长度。
9.根据权利要求6所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述结构化描述模块根据车辆特征库匹配判别模块的判别结果，将视频图像关键帧和子图像及图像几何特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据。
10.根据权利要求1至9中任一项所述的一种基于虚拟线圈的嵌入式车型识别系统，其特征在于，所述车型识别系统还包括USB接口的3G无线网络设备，所述USB接口的3G无线网络设备通过数据接口与双核DSP数字信号处理器芯片相互连接。
【文档编号】G08G1/017GK103473933SQ201310422703
【公开日】2013年12月25日 申请日期:2013年9月16日 优先权日:2013年9月16日
【发明者】胡传平, 齐力, 梅林 , 汤志伟, 刘云淮, 江洪, 李震宇, 王文斐 申请人:公安部第三研究所