一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置与流程

本发明涉及检测技术领域，特别是涉及一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置。

背景技术：

随着社会经济的快速发展，汽车等交通工具逐渐兴起，交通安全问题得到了越来越多的关注。

在交通安全领域，对汽车车窗的检测尤为重要。通过对汽车车窗的检测可以判断汽车中的人员是否处于正常驾驶状态，是否有扣安全带，或者是否存在使用手机行为等。

目前，多是由监控人员人工对监控视频图像中出现的汽车车窗进行检测，人力成本较高，效率较低。

技术实现要素：

本发明的目的是提供一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置，以对汽车车窗进行自动截取和实时跟踪，提高检测准确率，减少人力成本，提高效率。

为解决上述技术问题，本发明提供如下技术方案：

一种基于相关滤波和颜色匹配的汽车车窗检测方法，包括：

确定当前帧视频图像中的目标车辆；

基于所述目标车辆在所述视频图像中的位置，确定初始搜索区域；

确定所述初始搜索区域内图像与预先获得的参数模型是否匹配，所述参数模型包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

如果是，则确定所述初始搜索区域内图像中的目标车窗所在区域；

在所述视频图像中截取并存储所述目标车窗所在区域的图像。

在本发明的一种具体实施方式中，所述确定所述初始搜索区域内图像与预先获得的参数模型是否匹配，包括：

获得所述初始搜索区域内图像的相关参数信息；

将获得的相关参数信息分别与预先获得的参数模型中相应的相关参数信息进行匹配；

如果每个相关参数信息的匹配程度均大于预设阈值，则确定所述初始搜索区域内图像与所述参数模型匹配。

在本发明的一种具体实施方式中，所述确定所述初始搜索区域内图像中的目标车窗所在区域，包括：

计算所述初始搜索区域内图像中最接近目标车窗的中心点位置；

基于所述中心点位置，确定新搜索区域；

将所述新搜索区域确定为所述目标车窗所在区域。

在本发明的一种具体实施方式中，所述基于所述中心点位置，确定新搜索区域，包括：

基于所述中心点位置，调整所述初始搜索区域的宽和高，获得调整搜索区域；

按照设定比例扩大所述调整搜索区域，获得新搜索区域。

在本发明的一种具体实施方式中，通过以下步骤预先获得所述参数模型：

采集多个具有前车窗的车辆图片样本，多个车辆图片样本包含多种颜色的信息；

对采集到的车辆图片样本进行训练，确定相关参数信息，所述相关参数信息包括位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

基于所述相关参数信息，建立所述参数模型。

一种基于相关滤波和颜色匹配的汽车车窗检测装置，包括：

目标车辆确定模块，用于确定当前帧视频图像中的目标车辆；

初始搜索区域确定模块，用于基于所述目标车辆在所述视频图像中的位置，确定初始搜索区域；

匹配模块，用于确定所述初始搜索区域内图像与预先获得的参数模型是否匹配，如果是，则触发目标车窗所在区域确定模块，所述参数模型包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

所述目标车窗所在区域确定模块，用于确定所述初始搜索区域内图像中的目标车窗所在区域；

图像截取存储模块，用于在所述视频图像中截取并存储所述目标车窗所在区域的图像。

在本发明的一种具体实施方式中，所述匹配模块，具体用于：

获得所述初始搜索区域内图像的相关参数信息；

将获得的相关参数信息分别与预先获得的参数模型中相应的相关参数信息进行匹配；

如果每个相关参数信息的匹配程度均大于预设阈值，则确定所述初始搜索区域内图像与所述参数模型匹配。

在本发明的一种具体实施方式中，所述目标车窗所在区域确定模块，具体用于：

计算所述初始搜索区域内图像中最接近目标车窗的中心点位置；

基于所述中心点位置，确定新搜索区域；

将所述新搜索区域确定为所述目标车窗所在区域。

在本发明的一种具体实施方式中，所述目标车窗所在区域确定模块，具体用于：

基于所述中心点位置，调整所述初始搜索区域的宽和高，获得调整搜索区域；

按照设定比例扩大所述调整搜索区域，获得新搜索区域。

在本发明的一种具体实施方式中，还包括参数模型获得模块，用于通过以下步骤预先获得所述参数模型：

采集多个具有前车窗的车辆图片样本，多个车辆图片样本包含多种颜色的信息；

对采集到的车辆图片样本进行训练，确定相关参数信息，所述相关参数信息包括位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

基于所述相关参数信息，建立所述参数模型。

应用本发明实施例所提供的技术方案，预先获得参数模型，该参数模型中包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息，在确定当前帧视频图像中的目标车辆后，可以基于目标车辆在视频图像中的位置，确定初始搜索区域，确定初始搜索区域内图像与参数模型是否匹配，如果匹配，则可以确定初始搜索区域内图像中的目标车窗所在区域，在视频图像中截取并存储目标车窗所在区域的图像。可以对汽车车窗进行自动截取和实时跟踪，提高了检测准确率，减少了人力成本，提高效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于相关滤波和颜色匹配的汽车车窗检测方法的实施流程图；

图2为本发明实施例中一种基于相关滤波和颜色匹配的汽车车窗检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种基于相关滤波和颜色匹配的汽车车窗检测方法，该方法可以包括以下步骤：

S110：确定当前帧视频图像中的目标车辆。

在视频监控过程中，可以确定当前帧视频图像中的目标车辆。具体的，可以在监控场景中设置红外线检测设备，通过红外线检测到有车辆进入到视频监控区域时，触发确定当前帧视频图像中的目标车辆。或者，可以通过图像帧差法确定当前帧视频图像中是否存在目标车辆。或者，可以由监控人员指定车辆位置，在接收到监控人员的检测指令时，确定当前帧视频图像中的目标车辆。

确定当前帧视频图像中的目标车辆后，可以继续执行步骤S120的操作。

S120：基于所述目标车辆在所述视频图像中的位置，确定初始搜索区域。

在确定当前帧视频图像中的目标车辆时，可以获得目标车辆在当前帧视频图像中的位置的信息。基于目标车辆在视频图像中的位置P，可以确定初始搜索区域。该初始搜索区域可以是一个矩形区域，表示为R0，由四个参数组成，分别是：Px、Py、Width、Height。其中，Px和Py表示P经过转化的在当前帧视频图像上的像素点位置，Width和Height分别表示初始搜索区域R0的宽和高。

S130：确定所述初始搜索区域内图像与预先获得的参数模型是否匹配。

其中，参数模型包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息。

在本发明的一种具体实施方式中，可以通过以下步骤预先获得所述参数模型：

步骤一：采集多个具有前车窗的车辆图片样本，多个车辆图片样本包含多种颜色的信息；

步骤二：对采集到的车辆图片样本进行训练，确定相关参数信息，所述相关参数信息包括位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

步骤三：基于所述相关参数信息，建立所述参数模型。

为便于描述，将上述三个步骤结合起来进行说明。

预先采集多个具有前车窗的车辆图片样本，多个车辆图片样本包含多种颜色的信息。如采集到1000张具有前车窗的车辆图片，其中车辆具有不同的颜色。对采集到的车辆图片样本进行训练，可以确定相关参数信息，相关参数信息包括位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息。基于相关参数信息，可以建立稳定的参数模型。

具体的，可以将车辆图像样本作为训练样本，初始化训练样本数目，然后初始化位置滤波参数Position、尺度滤波参数Scale和颜色直方图参数ColorHist，以训练样本中的第一幅图像的车窗位置、尺度和颜色直方图的参数值作为初始化值，对其他的样本继续进行训练，稳定后，即可确定相应参数值，从而可以建立参数模型。

在信号处理中，相关性(correlation)用来描述两个因素之间的联系。相关性又分为互相关(cross-correlation)和自相关(auto-correlation)，其中，互相关是指两个信号之间的联系，自相关是指本身在不同频域的相关性。相关性的直观解释就是衡量两个函数在某个时刻的相似程度。

相关滤波器(Correlation Filter)源于信号处理领域，被运用于图像分类等方面。本发明实施例将相关滤波器应用于跟踪，即利用两个信号的相关性，两个信号越相似，其相关值越高。跟踪就是找到与跟踪目标响应最大的项。

相关滤波跟踪的基本原理是，最小输出平方误差和(MOSSE，Minimum Output Sum of Squared Error)，另外一个关键思想是利用密集时空环境上下文(Dense Spatio-Temporal Context)，把周围的图像像素考虑进去，可以借助周围环境来确定目标所在，能够在一定程度上降低跟踪失败的风险。跟踪目标位置，是根据目标出现的概率值(响应)的最大值所对应的像素点位置来确定的。目标框大小变化由模板更新时的尺度变换来确定。除了跟踪准确率高，相关滤波跟踪的一大优点是速度非常快，可以达到669帧/s。

在现有技术中，相关滤波算法仅仅利用图像的灰度值，没有利用图像中有用颜色特征。因此，在相关滤波跟踪中加入颜色特征，可以在一定程度上提高跟踪的准确性。

将图像的颜色特征加入到相关滤波器中主要有两个作用：首先，将相关滤波器在灰度图的求出响应的最大值与颜色分布的最大值做加权求和，求出目标的最大值点位置，此位置即是目标的最佳跟踪点位置。其次，通过迭代训练和参数更新，可以在训练稳定后得到相关滤波参数和关于颜色分布直方图相结合模型。颜色分布直方图体现在目标颜色(前景)和背景的比例，用于判断所跟踪的目标的颜色分布是否匹配该颜色分布模型。

本发明实施例利用相关滤波器中的空间上下文特性和颜色分布直方图特征，考虑到如果车窗的颜色与目标车辆的颜色接近，如黑色车与车窗颜色接近，则可以将上述的响应与颜色分布的权值调整设置为：赋予响应更大的权值，赋予颜色分布的权值更小，有利于改善当出现车窗颜色与车辆颜色接近时车窗跑偏的情况。

在本发明实施例中，可以确定所述初始搜索区域内图像与预先获得的参数模型是否匹配。具体的，可以获得初始搜索区域内图像的相关参数信息，将获得的相关参数信息分别与预先获得的参数模型中相应的相关参数信息进行匹配，如果每个相关参数信息的匹配程度均大于预设阈值，则可以确定初始搜索区域内图像与参数模型匹配。

如果匹配，则可以继续执行步骤S140的操作。如果不匹配，则可以重复执行步骤S110的操作，如图1所示，或者不做处理。

S140：确定所述初始搜索区域内图像中的目标车窗所在区域。

在步骤S130，如果确定初始搜索区域内图像与预先获得的参数模型匹配，则可以在初始搜索区域内图像中确定目标车窗所在区域。

在本发明的一种具体实施方式中，步骤S140可以包括以下步骤：

第一个步骤：计算所述初始搜索区域内图像中最接近目标车窗的中心点位置；

第二个步骤：基于所述中心点位置，确定新搜索区域；

第三个步骤：将所述新搜索区域确定为所述目标车窗所在区域。

为便于描述，将上述三个步骤结合起来进行说明。

在确定初始搜索区域内图像与预先获得的参数模型匹配后，可以计算初始搜索区域内图像中最接近目标车窗的中心点位置P1，基于中心点位置，调整初始搜索区域的宽和高，确定新搜索区域，该新搜索区域也为一个矩形框R1(P1x,P1y,W1,H1)。可以直接将该新搜索区域确定为目标车窗所在区域。

在本发明的一个实施例中，在确定新搜索区域时，可以基于中心点位置，调整初始搜索区域的宽和高，获得调整搜索区域，按照设定比例扩大调整搜索区域，如扩大1.1倍，获得新搜索区域R11(0.9*P1x,0.9*P1y,1.1*W1,1.1*H1)。将该新搜索区域确定为目标车窗所在区域。

S150：在视频图像中截取并存储目标车窗所在区域的图像。

在当前帧视频图像中截取目标车窗所在区域的图像，将截取到的图像显示在监控屏幕上。同时可以将其存储到存储设备中。可以以设定的命名规则进行存储，以便于后续使用该图像进行各种应用。

随着车辆的继续驾驶，车辆会从视频图像中从上端往下移动，对每一帧视频图像均执行本发明实施例所提供的技术方案，可以获得每一帧视频图像中目标车窗所在区域的图像。

应用本发明实施例所提供的方法，预先获得参数模型，该参数模型中包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息，在确定当前帧视频图像中的目标车辆后，可以基于目标车辆在视频图像中的位置，确定初始搜索区域，确定初始搜索区域内图像与参数模型是否匹配，如果匹配，则可以确定初始搜索区域内图像中的目标车窗所在区域，在视频图像中截取并存储目标车窗所在区域的图像。可以对汽车车窗进行自动截取和实时跟踪，提高了检测准确率，减少了人力成本，提高效率。

本发明实施例充分利用图像的彩色信息，利用机器学习的方法对车辆图片样本进行训练，获得参数模型，能够对目标车窗进行定位，并进行自动截取。利用相关滤波器准确对车窗进行跟踪并反馈显示出车窗图像。当出现车窗颜色与车辆颜色接近时，出现车窗跑偏的情况较少。应用本发明实施例所提供的技术方案，车窗检测速度较快，在视频处理中消耗时间较少，效率较高。具有对光照和颜色的鲁棒性、快速实时性及较高的准确率。

主要有以下体现：

本发明实施例利用机器学习的思想，采用一定数量的训练集来进行模型训练。通过一定次数的迭代和参数更新得到稳定的参数模型。该参数模型具有对车窗的检测准确性高和稳定性高的特点。

充分利用原始图像的颜色特征。在搜索区域中，对目标车窗的前景和背景的颜色分布直方图进行分析匹配。加载训练后的参数模型，如果实现目标车窗的匹配，则可以根据概率(响应)的最大值自动判断车窗在图像中具体位置。

跟踪算法的运用。本发明实施例利用相关滤波器(Correlation Filter)来实现对目标的跟踪。当检测到目标与参数模型匹配时，跟踪算法自动对目标进行跟踪。运用相关滤波器跟踪算法的优点在于：利用目标与接下来的视频帧中出现的目标的相关信息，能够大大减少信息冗余；实现对目标的跟踪，大大减少漏检误检率；自动对目标进行跟踪锁定，结合颜色信息，大大减少跑偏的情况，提高检测率和跟踪准确性；跟踪速度快，在视频帧中可以实现实时的快速跟踪。

计算代价低消耗少，在处理视频中的每一帧时不会带来过多计算，减少信息冗余，可以实现实时的目标的自动检测截取与跟踪，具有实时性。

在训练的过程中，由于赋予响应更大权值而颜色分布的权值更小，在程序运行过程中，如果出现车窗的颜色与目标车辆颜色接近(如黑、灰色车与车窗颜色接近)时，车窗跑偏的概率较低，而且具有对光照的鲁棒性。

形变鲁棒性。对目标车窗出现形变的情况，例如小轿车、大客车和泥土车等等，由于训练过程中，相关滤波器中含有的尺度的参数以及经过迭代训练稳定后保存在上述的参数模型中，因此具有对车窗的形变鲁棒性。当出现车窗不全的情况，也能根据参数模型与目标是否匹配，来判断目标为车窗并且定位目标车窗的位置。

相应于上面的方法实施例，本发明实施例还提供了一种基于相关滤波和颜色匹配的汽车车窗检测装置，下文描述的一种基于相关滤波和颜色匹配的汽车车窗检测装置与上文描述的一种基于相关滤波和颜色匹配的汽车车窗检测方法可相互对应参照。

参见图2所示，该装置包括以下模块：

目标车辆确定模块210，用于确定当前帧视频图像中的目标车辆；

初始搜索区域确定模块220，用于基于所述目标车辆在所述视频图像中的位置，确定初始搜索区域；

匹配模块230，用于确定所述初始搜索区域内图像与预先获得的参数模型是否匹配，如果是，则触发目标车窗所在区域确定模块240，所述参数模型包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息。

所述目标车窗所在区域确定模块240，用于确定所述初始搜索区域内图像中的目标车窗所在区域；

图像截取存储模块250，用于在所述视频图像中截取并存储所述目标车窗所在区域的图像。

应用本发明实施例所提供的装置，预先获得参数模型，该参数模型中包含位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息，在确定当前帧视频图像中的目标车辆后，可以基于目标车辆在视频图像中的位置，确定初始搜索区域，确定初始搜索区域内图像与参数模型是否匹配，如果匹配，则可以确定初始搜索区域内图像中的目标车窗所在区域，在视频图像中截取并存储目标车窗所在区域的图像。可以对汽车车窗进行自动截取和实时跟踪，提高了检测准确率，减少了人力成本，提高效率。

在本发明的一种具体实施方式中，所述匹配模块230，具体用于：

获得所述初始搜索区域内图像的相关参数信息；

将获得的相关参数信息分别与预先获得的参数模型中相应的相关参数信息进行匹配；

如果每个相关参数信息的匹配程度均大于预设阈值，则确定所述初始搜索区域内图像与所述参数模型匹配。

在本发明的一种具体实施方式中，所述目标车窗所在区域确定模块240，具体用于：

计算所述初始搜索区域内图像中最接近目标车窗的中心点位置；

基于所述中心点位置，确定新搜索区域；

将所述新搜索区域确定为所述目标车窗所在区域。

在本发明的一种具体实施方式中，所述目标车窗所在区域确定模块240，具体用于：

基于所述中心点位置，调整所述初始搜索区域的宽和高，获得调整搜索区域；

按照设定比例扩大所述调整搜索区域，获得新搜索区域。

在本发明的一种具体实施方式中，还包括参数模型获得模块，用于通过以下步骤预先获得所述参数模型：

采集多个具有前车窗的车辆图片样本，多个车辆图片样本包含多种颜色的信息；

对采集到的车辆图片样本进行训练，确定相关参数信息，所述相关参数信息包括位置滤波参数信息、尺度滤波参数信息和颜色直方图参数信息；

基于所述相关参数信息，建立所述参数模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。