一种交通视频监控图像中的多车牌检测方法与流程

本发明属于图像处理的技术领域，具体而言，涉及一种交通视频监控图像中的多车牌检测方法。

背景技术

交通视频监控以快速监控为主，监控点分布在车流、人流比较集中的道路交叉口、重点路段，通过图像传输通道将路面交通情况实时上传到道路监控指挥中心，中心值班人员可以据此及时了解各区域路面状况，以便调整各路口车辆流量，确保交通通畅。对监控路面车辆的违章情况，能及时发现并安排处理道路交通事故等，而且可以为交通、治安等各类案件的侦破提供技术支持，大大提高公安机关执法办案的水平和效率。

清华大学的智能技术与系统国家重点实验室一直致力于车牌定位的研究，其较早采用boes(bionicobjectexploringstrategy)策略设计出简捷实用的高效模式搜索算法对车牌准确定位，随后，该实验室提出了一种多分辨率下结合数学形态学和字符笔画分析的车牌定位算法，并指出了该算法在车牌区域对比度较低和车牌号码各位字符之间间隔较大时定位效果不理想的不足，但是该方法的检测精度还不能满足交通视频监控的业务需求。

华中科技大学控制科学与工程系于2000年提出了一种基于垂直字符边界特征的车牌定位方法，给出了提高车牌定位精度和泛化能力的措施，但是其算法的运算复杂度较高，无法满足交通领域的实时业务需求。

综上，目前针对交通视频监控图像存在对车牌识别的准确率、效率以及运算的复杂度上均存在较大的不足，是交通视频监控中亟待解决的问题。

技术实现要素：

鉴于此，为了解决现有技术存在的上述问题，本发明提供了一种交通视频监控图像中的多车牌检测方法以达到能够在对车牌的识别准确率和效率方面进行明显提升，简化运算复杂的目的。

本发明所采用的技术方案为：一种交通视频监控图像中的多车牌检测方法，主要包括以下步骤：

(1)对交通监控视频数据的原始视频数据进行预处理，以得到车辆号牌目标对象；

(2)应用可变形部件模型训练车辆号牌目标对象；

(3)应用训练模型特征与车辆号牌目标对象进行特征匹配，以完成检测。

进一步地，所述步骤(1)的具体步骤如下：

1)对原始视频数据进行直方图均衡化处理，以显示出待检测的车辆号牌目标对象；

2)对步骤1)得到的视频图像通过中值滤波法进行去噪处理。

进一步地，所述步骤1)的具体过程如下：

对第i帧图像为fi，以fi中的所有像素点的r值、g值、b值进行统计归类，对r通道、g通道、b通道三个通道图像进行直方图均衡化；然后，对各个通道进行合并，以构成一幅彩色图像。

进一步地，所述步骤2)的具体过程如下：

设定一个矩形滤波模板，使用矩形滤波模板对步骤1)的视频图像进行移动，以fi(x,y,r)或者fi(x,y,g)或者fi(x,y,b)为矩形滤波模板所在位置周围像素值的中值并将该值作为矩形滤波模板中心点像素的像素值；其中，fi(x,y,r)或者fi(x,y,g)或者fi(x,y,b)分别代表图像fi在二维位置(x,y)处的r通道、g通道、b通道的像素值。

进一步地，所述步骤(2)的具体步骤如下：

a、基于方向梯度直方图hog算法，提取第i帧图像fi的hog特征金字塔，令hog特征金字塔为整体特征；

b、采用svm模型训练车辆号牌目标对象的特征，将车辆号牌目标对象设定为由m个组件构成的模型，每个组件模型的部件为n个；令正样本集为ps，负样本集为ns，车辆号牌目标对象的模型训练流程如下：

(a)、将正样本集ps中的标注框按照拍摄角度大致分为m类；

(b)、用svm模型训练m个组件模型的根滤波器p1，p2，.....，pm；

(c)、基于图像空间聚合，将步骤(b)中训练的m个组件模型变换成一个不含有部件的初始根滤波器，同时，将m个组件模型的根滤波器分别通过插值到两倍分辨率空间初始化获取n个部件滤波器；

(d)、用正样本集和负样本集分别去匹配步骤(c)得到的初始根滤波器并计算根滤波器的得分为r(x,y)；对于正样本图像训练得分最高的位置，用最新的位置参数替换旧的位置参数，以此获得新的正样本图像；对负样本图像，用训练得分最低的样本替换旧的样本图像，以获得新的负样本图像；

(e)、重复步骤(d)，当部件滤波器与根滤波器的相交区域的能量最大时，对应的位置参数即为部件的最终位置，按照此流程将n个部件的位置全部训练得到部件特征。

进一步地，所述所述步骤(3)的具体过程如下：

将整体特征和部件特征分别与根滤波器和部件滤波器卷积，然后对部件滤波器的响应进行采样，使之能和根滤波器的响应在同一尺度下进行加权平均，按照公式(1)进行综合得分的计算，得分最高的位置即为目标的横轴、纵轴坐标位置：

其中，r(x,y)为根滤波器的得分，di,l为第i个部件的锚点放在l层的位置(x,y)时,它对根位置得分的最大贡献值，l表示hog特征金字塔的层数编号。

进一步地，所述步骤(e)中通过采用能量函数判断部件滤波器的作用区域与根滤波器的作用区域相交区域的能量最大值，其能量函数如下：

p＝r²+g²+b²

其中，p代表能量值，且其初始值为0；r、g、b分别代表第i帧图像fi中相交区域中所有像素点的r值、g值、b值。

本发明的有益效果为：

1、本发明采用了可变形部件模型训练车辆号牌目标对象，在识别的准确率与效率上具有较大优势，该模型已经在目标检测中得到了多次验证。

2、本发明中可变形部件模型采用的是星型结构的模型，模型由三部分组成：一个相对粗糙但能覆盖整个目标的根滤波器，一组分辨率较高的部件滤波器以及部件滤波器相对于根滤波器的空间位置。其中，根滤波器能够描述目标的整体特征，而部件滤波器则能够描述目标局部更为精细的特征，其分辨率为根滤波器的2倍。同时，该模型在检测过程中采用了金字塔搜索模式，因此，该模型的运算复杂度是可以满足实时计算需求的。同时，该模型又可以通过单次运行，实现多个车辆号牌目标的同时检测，节省了检测时间。

附图说明

图1是本发明提供的交通视频监控图像中的多车牌检测方法中车辆号牌目标对象的模型训练流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本实用新为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

对本实施例中符号变量的定义及英文缩写解释说明如下：

1、原始视频数据：vd；

2、视频流数据中的某一帧(第i帧)图像：fi；

3、r通道：红色调通道；g通道：绿色调通道；b通道：蓝色调通道；

4、(x,y)表示某一帧(第i帧)图像fi的二维横轴、纵轴坐标；

5、fi(x,y)表示图像fi在二维位置(x,y)处的像素值向量；

6、fi(x,y,r)、fi(x,y,g)、fi(x,y,b)分别代表图像fi在二维位置(x,y)处的r通道、g通道、b通道的像素值；

7、hog算法(histogramoforientedgradient,hog)：方向梯度直方图；

8、svm模型(supportvectormachine,svm)——支持向量机。

本发明提供了一种交通视频监控图像中的多车牌检测方法，主要包括以下步骤：

(一)对交通监控视频数据的原始视频数据进行预处理，原始视频数据以vd表示，以得到车辆号牌目标对象，该步骤的具体步骤如下：

1)对原始视频数据进行直方图均衡化处理，以显示出待检测的车辆号牌目标对象；该步骤的具体过程如下：

对第i帧图像为fi，以fi中的所有像素点的r值、g值、b值进行统计归类，对r通道、g通道、b通道三个通道图像进行直方图均衡化；然后，对各个通道进行合并，以构成一幅彩色图像。

2)对步骤1)得到的视频图像(即步骤1)中构成的彩色图像)通过中值滤波法进行去噪处理，该步骤的具体过程如下：

设定一个矩形滤波模板，在本实施例中模板尺寸为5*5，使用矩形滤波模板对步骤1)所得到的视频图像进行移动，以fi(x,y,r)或者fi(x,y,g)或者fi(x,y,b)为矩形滤波模板所在位置周围像素值的中值并将该值作为矩形滤波模板中心点像素的像素值；其中，fi(x,y,r)或者fi(x,y,g)或者fi(x,y,b)分别代表图像fi在二维位置(x,y)处的r通道、g通道、b通道的像素值。

(二)应用可变形部件模型训练车辆号牌目标对象；该步骤的具体步骤如下：

a、基于方向梯度直方图hog算法，整合两种梯度模型：有符号梯度和无符号梯度，得到一个3*(9+18)＝81维的特征向量，通过对其进行主成分分析和解析降维，将原来的81维特征分别对每行每列进行累加降至31维，提取第i帧图像fi的hog特征金字塔，令hog特征金字塔为整体特征；

可变形部件模型将基于滑动窗口进行物体检测和识别，采用hog特征描述方法，并建立hog特征金字塔，其包括：建立图像金字塔和每层生成hog特征。

b、如图1的流程图所示，采用svm模型训练车辆号牌目标对象的特征，将车辆号牌目标对象设定为由m个组件构成的模型，在本实施例中取m＝3，每个组件模型的部件为n个，在本实施例中取n＝5；令正样本集为ps，负样本集为ns，其中，正样本集为包含目标物体的图像样本，负样本集为不包含目标物体的图像样本。

车辆号牌目标对象的模型训练流程如下：

(a)、将正样本集ps中的标注框按照拍摄角度大致分为3类，在本实施例中，分别为基本水平、向左倾斜、向右倾斜三类；

(b)、用svm模型训练3个组件模型的根滤波器p1，p2，p3；

(c)、基于图像空间聚合，将步骤(b)中训练的3个组件模型变换成一个不含有部件的初始根滤波器，同时，将3个组件模型的根滤波器分别通过插值到两倍分辨率空间进行初始化，每个组件模型获取5个部件滤波器。其中，根滤波器的作用区域为整个检测窗口，基本覆盖整个车辆号牌目标对象；部件滤波器置于hog特征金字塔的下几层，覆盖车辆号牌目标对象中更小的部件，具有更高的分辨率；

(d)、用正样本集和负样本集分别去匹配步骤(c)得到的初始根滤波器并计算根滤波器的得分为r(x,y)，其定义为：滤波器向量与以(x,y)为左上角点的子窗口的特征向量的点积。滤波器是以hog金字塔中一个子窗口的用于制定权重的矩形滤波模板，通过滤波确定子窗口中是否含有感兴趣的模式，滤波器向量为滤波器的权重向量；对于正样本图像训练得分最高的位置，用最新的位置参数(x,y)替换旧的位置参数，以此获得新的正样本图像；对负样本图像，用训练得分最低的样本替换旧的样本图像，同样，也用最新的位置参数(x,y)替换旧的位置参数，以获得新的负样本图像；

(e)、重复步骤(d)，当部件滤波器与根滤波器的相交区域的能量最大时，相交区域定义为部件滤波器的作用区域与根滤波器的作用区域两者之间的相交区域，对应的位置参数即为部件的最终位置，按照此流程将n个部件的位置全部训练得到部件特征。

其中，所述步骤(e)中通过采用能量函数判断部件滤波器的作用区域与根滤波器的作用区域相交区域的能量最大值，其能量函数如下：

p＝r²+g²+b²

其中，p代表能量值，且其初始值为0；r、g、b分别代表第i帧图像fi中相交区域中所有像素点的r值、g值、b值。

(三)应用训练模型特征与车辆号牌目标对象进行特征匹配，以完成检测，所述该步骤的具体过程如下：

将整体特征和部件特征分别与根滤波器和部件滤波器卷积，然后对部件滤波器的响应进行采样，使之能和根滤波器的响应在同一尺度下进行加权平均，按照公式(1)进行综合得分的计算，得分最高的位置即为目标的横轴、纵轴坐标位置：

其中，r(x,y)为根滤波器的得分，di,l为第i个部件的锚点放在l层的位置(x,y)时,它对根位置得分的最大贡献值，l表示hog特征金字塔的层数编号。

本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。