视频流中的无牌车辆检测方法和装置与流程

本发明涉及智能交通技术，特别涉及一种视频流中的无牌车辆检测方法和装置。

背景技术

目前对停车场出入口车辆的管理主要采用两种模式。一种模式是地感触发抓拍模式。地感触发需要在地面铺设地感线圈，施工不方便，成本高。而且，有些场景地感触发达不到要求。尤其是，任何一个铁制品经过线圈区域都会被抓拍到，这样会导致误抓拍的比较多，比如自行车，三轮车，摩托车等，这样会导致停车场出入口混乱，干扰的信息多，给后期计费系统的处理增加难度。另一种模式是人工控制抓拍和抬杆方式。在停车场管理系统中，终极的目标是要实行无人职守，完全无障碍通行缴费，而这一方案与目标背道而驰。

技术实现要素：

为了解决在停车场出入口，针对无牌车辆进行车辆的检测，为进场车辆的自动放行和出场无车牌号信息车辆匹配提供信息并减少人工的工作量，本发明提供了一种视频流中的无牌车辆检测方法和装置。

根据本发明的一个方面，提供了一种视频流中的无牌车辆检测方法。所述无牌车辆检测方法包括以下步骤：从所述视频流的多个视频片段中获得用于训练线性的支持向量机(svm：supportvectormachines)分类模型的训练样本集，所述训练样本集包括作为车辆样本的正样本和作为非车辆样本的负样本；从所获得的训练样本集提取所有的正负样本的方向梯度直方图(hog：histogramoforientedgradient)特征；利用所提取的hog特征对所述svm分类模型进行离线训练，以得到初始优化的分类模型；利用所述视频流中的视频信息重新在线训练初始优化的分类模型，以得到最优的分类模型；利用最优的分类模型对所述视频流进行车辆检测。

在本发明的一种改进实施方式中，所述的从所获得的训练样本集提取所有的正负样本的hog特征的步骤包括：对样本图像进行灰度化；采用伽玛校正法对所述图像进行颜色空间的归一化；计算所述图像中的每个像素的梯度；将所述图像划分成各单元；统计每个单元的梯度直方图，即，得到每个单元的描述子；将每预定数量的单元组成一个块，一个块内的所有单元的描述子串联起来得到该块的hog特征；将所述图像内的所有块的hog特征串联起来得到供训练使用的特征向量。

在本发明的一种改进实施方式中，所述的利用所述视频流中的视频信息重新在线训练初始优化的分类模型的步骤包括：根据对所述视频信息的分析，从没有车辆时的场景中提取负样本，并且，以车牌的位置作为参考，提取车牌周围的区域作为正样本；利用所提取的正负样本对所述初始优化的分类模型进行重新训练。

在本发明的一种改进实施方式中，所述的利用最优的分类模型对所述视频流进行车辆检测的步骤包括：进行车牌识别，并判断有无车牌结果；在有车牌结果的情况下，以车牌位置为标准自动地截取车头图像，并输出车牌结果；在无车牌结果的情况下，判断是否已经建立背景模型；在没有建立背景模型的情况下，运用局部二值模式(lbp：localbinarypattern)特征进行背景建模；在已经建立背景模型的情况下，利用分类模型和背景模型判断是否存在无车牌结果的车辆；在存在无车牌结果的车辆的情况下，将检测到的车辆作为无牌车输出。

在本发明的一种改进实施方式中，所述svm分类模型是关于目标和背景的二分类模型。

根据本发明的另一个方面，提供了一种视频流中的无牌车辆检测装置。所述无牌车辆检测装置包括：训练样本集获得模块，用于从所述视频流的多个视频片段中获得用于训练线性的svm分类模型的训练样本集，所述训练样本集包括作为车辆样本的正样本和作为非车辆样本的负样本；hog特征提取模块，用于从所获得的训练样本集提取所有的正负样本的hog特征；离线训练模块，用于利用所提取的hog特征对所述svm分类模型进行离线训练，以得到初始优化的分类模型；在线训练模块，用于利用所述视频流中的视频信息重新在线训练初始优化的分类模型，以得到最优的分类模型；检测模块，用于利用最优的分类模型对所述视频流进行车辆检测。

在本发明的一种改进实施方式中，所述hog特征提取模块还用于：对样本图像进行灰度化；采用伽玛校正法对所述图像进行颜色空间的归一化；计算所述图像中的每个像素的梯度；将所述图像划分成各单元；统计每个单元的梯度直方图，即，得到每个单元的描述子；将每预定数量的单元组成一个块，一个块内的所有单元的描述子串联起来得到该块的hog特征；将所述图像内的所有块的hog特征串联起来得到供训练使用的特征向量。

在本发明的一种改进实施方式中，所述在线训练模块还用于：根据对所述视频信息的分析，从没有车辆时的场景中提取负样本，并且，以车牌的位置作为参考，提取车牌周围的区域作为正样本；利用所提取的正负样本对所述初始优化的分类模型进行重新训练。

在本发明的一种改进实施方式中，所述检测模块还用于：进行车牌识别，并判断有无车牌结果；在有车牌结果的情况下，以车牌位置为标准自动地截取车头图像，并输出车牌结果；在无车牌结果的情况下，判断是否已经建立背景模型；在没有建立背景模型的情况下，运用lbp特征进行背景建模；在已经建立背景模型的情况下，利用分类模型和背景模型判断是否存在无车牌结果的车辆；在存在无车牌结果的车辆的情况下，将检测到的车辆作为无牌车输出。

在本发明的一种改进实施方式中，所述svm分类模型是关于目标和背景的二分类模型。

根据本发明的另一方面，还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序代码，该计算机程序代码被执行时实现如权利要求1-5中任意一项所述的视频流中的无牌车辆检测方法。

在本发明的视频流中的无牌车辆检测方法和装置中，运用hog+svm目标检测方法进行视频中无牌车辆的检测，并与车牌结果融合，达到该类无车牌号信息车辆的正确输出，为停车场出入口收费自动化提供帮助。同时，还采用了在线训练的方法，进一步增强了模型，能有效地适应各种交通场景的复杂变化，例如，夜间光照，运动阴影，恶劣天气等环境条件。

本领域技术人员应当理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

并且，应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1为根据本发明的示例性实施例的无牌车辆检测方法的流程图；

图2为根据本发明的示例性实施例的无牌车辆检测装置的框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本发明针对现有的停车场出入口管理所存在的不足之处而提出了一种基于hog+svm的视频流中的无牌车辆检测方法和装置。其中，运用hog+svm目标检测方法进行视频中无牌车辆的检测，并与车牌结果融合，达到该类无车牌号信息车辆的正确输出，为停车场出入口收费自动化提供帮助。同时，还采用了在线训练的方法，进一步增强了模型，能有效地适应各种交通场景的复杂变化，例如，夜间光照，运动阴影，恶劣天气等环境条件。

为了使本发明的技术方案更加清楚、明白，下面将参照附图并结合具体实施例对本发明进行详细描述。

图1示出了根据本发明的示例性实施例的无牌车辆检测方法的流程图。如图1所示，无牌车辆检测方法包括训练样本集获得步骤s1、hog特征提取步骤s2、离线训练步骤s3、在线训练步骤s4和检测步骤s5。下面具体描述各个步骤。

步骤s1：从采集到的视频流的多个视频片段中获得用于训练线性的svm分类模型的训练样本集。根据照相机在停车场出入口采集到的车辆样本，进行训练正样本(即，车辆样本)的标注。标注的正样本包括各种姿态和光照条件的车辆样本。根据现场拍摄场景特性，标注的区域主要选择车脸部分，而非整个车身，并包含了部分的背景区域。此外，利用照相机在停车场出入口采集到的非车辆经过时的jpeg流，运用滑动窗口的方法进行负样本(即非车辆的样本，可以包括三轮车、行人、摩托车、建筑、地面以及任何除车外出现在拍摄画面的目标)的提取。因此，获得的训练样本集包括作为车辆样本的正样本和作为非车辆样本的负样本。

步骤s2：从步骤s1中获得的训练样本集提取所有的正负样本的hog特征。首先，对样本图像进行灰度化，这里，需要将图像视为三维图像。然后，采用伽玛校正法对灰度化后的图像进行颜色空间的归一化。归一化的目的是为了调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。接着，计算归一化后的图像中的每个像素的梯度，包括梯度大小和方向。这样做是为了捕获轮廓信息，并进一步弱化光照的干扰。接下来，将图像划分成小的单元(cell)，例如，每个cell大小为8*8个像素。随后，统计每个cell的梯度直方图，即，得到每个单元的描述子(descriptor)。接着，将每预定数量的单元组成一个块(block)，一个block内的所有cell的descriptor串联起来得到该块的hog特征descriptor。最后，将图像内的所有block的hog特征descriptor串联起来得到供训练使用的特征向量。综合时间和效果考虑，发明人将训练样本的大小选择为128*64个像素，每一个cell大小为8*8个像素大小,2*2个cell组成一个block,角度范围选择的是0至360度，18等分，最后得到7560维的特征向量。

步骤s3：利用步骤s2中提取的hog特征对svm分类模型进行离线训练，以得到初始优化的分类模型。这里，svm分类模型是线性的二分类模型。在该步骤中，首先，设置包括svm分类模型的参数、迭代次数、误差等参数。然后，基于所设置的参数，将从训练样本集中随机抽取的一定数量(例如，1000至10000)的训练样本的hog特征输入svm分类模型进行训练，得到初始优化的分类模型。

步骤s4：利用视频流中的视频信息重新在线训练初始优化的分类模型，以得到最优的分类模型。具体地，首先，根据对视频信息的分析，从没有车辆时的场景中提取负样本，并且，以车牌的位置作为参考，提取车牌周围的区域作为正样本。然后，利用所提取的正负样本对初始优化的分类模型进行重新训练，从而能够提高检测率并降低误检率。

步骤s5：利用步骤s4中得到的最优的分类模型对视频流进行车辆检测。在该步骤中，首先，进行车牌识别，并判断有无车牌结果。在有车牌结果的情况下，以车牌位置为标准自动地截取车头图像，并输出车牌结果。然而，在无车牌结果的情况下，判断是否已经建立背景模型。

另一方面，如果已经建立背景模型，则利用分类模型和背景模型判断是否存在无车牌结果的车辆。而且，在存在无车牌结果的车辆的情况下，将检测到的车辆作为无牌车输出。

由此可知，在检测步骤s5中，将车辆检测结果与车牌结果融合。如果通过分类模型和背景建模，已经确认有一辆车经过，但是对于有牌车，需要优先输出车牌结果，如果这一过程没有车牌结果，可以将检测到的车辆作为无牌车输出。这样保证一辆车过来，有车牌号，输出车牌号结果，无车牌号抓拍到车辆图片。

采用本实施例的无牌车辆检测方法，可以给出停车场出入口处的车牌识别结果和连续的视频流，并完成无车牌号车辆的输出。同时，可以在停车场入口对无牌车号和有车牌号结果的车辆进行自动抬杆放行。另外，还可以在停车场出口进一步对于有车牌号的车辆自动通过车牌号的匹配收费，对于无车牌号的车辆，则搜索入口无车牌号信息的车辆，进行人工查找，或者进行自动匹配，找到进场信息进行收费。

本发明还提供一种用于实现上述无牌车辆检测方法的装置。图2示出了根据本发明的示例性实施例的无牌车辆检测装置100的框图。如图2所示，无牌车辆检测装置100包括训练样本集获得模块101、hog特征提取模块102、离线训练模块103、在线训练模块104和检测模块105。

训练样本集获得模块101用于从视频流的多个视频片段中获得用于训练线性的svm分类模型的训练样本集。根据照相机在停车场出入口采集到的车辆样本，进行训练正样本(即，车辆样本)的标注。标注的正样本包括各种姿态和光照条件的车辆样本。根据现场拍摄场景特性，标注的区域主要选择车脸部分，而非整个车身，并包含了部分的背景区域。此外，利用照相机在停车场出入口采集到的非车辆经过时的jpeg流，运用滑动窗口的方法进行负样本(即非车辆的样本，可以包括三轮车、行人、摩托车、建筑、地面以及任何除车外出现在拍摄画面的目标)的提取。因此，获得的训练样本集包括作为车辆样本的正样本和作为非车辆样本的负样本。

hog特征提取模块102用于从训练样本集获得模块101获得的训练样本集提取所有的正负样本的hog特征。首先，对样本图像进行灰度化，这里，需要将图像视为三维图像。然后，采用伽玛校正法对灰度化后的图像进行颜色空间的归一化。归一化的目的是为了调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。接着，计算归一化后的图像中的每个像素的梯度，包括梯度大小和方向。这样做是为了捕获轮廓信息，并进一步弱化光照的干扰。接下来，将图像划分成小的单元(cell)，例如，每个cell大小为8*8个像素。随后，统计每个cell的梯度直方图，即，得到每个单元的描述子(descriptor)。接着，将每预定数量的单元组成一个块(block)，一个block内的所有cell的descriptor串联起来得到该块的hog特征descriptor。最后，将图像内的所有block的hog特征descriptor串联起来得到供训练使用的特征向量。综合时间和效果考虑，发明人将训练样本的大小选择为128*64个像素，每一个cell大小为8*8个像素大小，2*2个cell组成一个block,角度范围选择的是0～360度，18等分，最后得到7560维的特征向量。

离线训练模块103用于利用hog特征提取模块102提取的hog特征对svm分类模型进行离线训练，以得到初始优化的分类模型。这里，svm分类模型是线性的二分类模型。在该步骤中，首先，设置包括svm分类模型的参数、迭代次数、误差等参数。然后，基于所设置的参数，将从训练样本集中随机抽取的一定数量(例如，1000至10000)的训练样本的hog特征输入svm分类模型进行训练，得到初始优化的分类模型。

在线训练模块104用于利用视频流中的视频信息重新在线训练初始优化的分类模型，以得到最优的分类模型。具体地，首先，根据对视频信息的分析，从没有车辆时的场景中提取负样本，并且，以车牌的位置作为参考，提取车牌周围的区域作为正样本。然后，利用所提取的正负样本对初始优化的分类模型进行重新训练，从而能够提高检测率并降低误检率。

检测模块105用于利用在线训练模块104得到的最优的分类模型对视频流进行车辆检测。首先，检测模块105进行车牌识别，并判断有无车牌结果。在有车牌结果的情况下，以车牌位置为标准自动地截取车头图像，并输出车牌结果。然而，在无车牌结果的情况下，判断是否已经建立背景模型。

如果没有建立背景模型，则检测模块105运用lbp特征进行背景建模。具体是，在理想的车辆的输出位置附近，选择一块小的区域，运用lbp特征进行背景建模。相当于建立了一个模拟的触发区域，当有目标经过这一块区域时，lbp特征值会偏离背景值，当目标离开时，可以恢复背景状态下的值。提取lbp的过程是，首先将原始图像转换为lbp图，然后统计lbp图的lbp直方图，并以这个向量形式的直方图来表示原始的图像。用lbp特征可以克服光照的干扰，触发灵敏、准确。这样做的目的有两个：i)当一辆车经过的时，会处理多帧图片，用分类模型可以得到多次检测窗口，但是对于实际的应用，同一辆车经过，只需要有一个结果，也就是说必须把车出现到消失分割为一个过程，在这个过程中，尽可能保证在一个固定的位置输出一次结果；ii)在模拟触发区域发生变化时，才输出结果，尽可能保证在一个固定的位置结果输出。利用lbp特征背景建模的进行车辆出现到消失分割过程如下：1)如果在模拟触发区域有连续多帧没有运动，则提取当前区域的lbp直方图，表示建立了背景。如果没有运动，则不断更新背景特征值；2)如果检测到运动，则计算当前模拟触发区域前景和背景的lbp直方图的距离，如果距离大于了固定阈值，则认为当前区域被覆盖，可能是车辆的遮挡，或者其他干扰的遮挡，需要根据单帧图片的结果，判断是否是车经过；3)继续计算当前模拟触发区域前景和背景的lbp直方图的距离，如果距离持续多帧小于固定的阈值，则认为当前车辆已经离开。例如，当一辆车过来时，当前帧计算的模拟触发区域的lbp直方图与背景直方图的距离会大于指定的阈值，这是代表了该区域被覆盖。如果车走了，则模拟触发区域的lbp直方图与背景直方图的距离会小于指定的阈值，表示恢复了背景，只有恢复了背景状态，才允许下一辆车的触发。

另一方面，如果已经建立背景模型，则利用分类模型和背景模型判断是否存在无车牌结果的车辆。而且，在存在无车牌结果的车辆的情况下，将检测到的车辆作为无牌车输出。

作为一个示例，本发明的无牌车辆检测装置可包括存储器和处理器，存储器上存储有计算机程序代码，在处理器被配置为执行存储器上存储的计算机程序代码时，实现如前所述的无牌车辆检测方法的步骤s1-s5。

综上所述，本实施例的无牌车辆检测方法和装置，运用hog+svm目标检测方法进行视频中无牌车辆的检测，并与车牌结果融合，达到该类无车牌号信息车辆的正确输出，为停车场出入口收费自动化提供帮助。同时，还采用了在线训练的方法，进一步增强了模型，能有效地适应各种交通场景的复杂变化，例如，夜间光照，运动阴影，恶劣天气等环境条件。

本发明的各部分可以用硬件、软件、固件或者它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可以用本领域共知的下列技术中的任一项或者他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在流程图中表示或者在此以其它方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

如上针对一个实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。