一种基于跟踪轨迹分析的车辆逆行智能检测方法与流程

本发明属于计算机视觉技术领域，具体涉及一种基于跟踪轨迹分析的车辆逆行智能检测方法。

背景技术：

随着社会的不断发展，道路上的车辆越来越多，交通安全问题日益突出，每年因为交通事故伤亡人数触目惊心，而在道路上因逆行导致的交通事故往往会造成极大的危害。现在对于道路安全的重视不断提高，道路上安装了大量的摄像头用于监控，对于这些海量的监控视频数据，以前多是通过人工来进行判断是否出现异常，这样不仅会消耗大量人力且不可能24小时无间断的进行工作。随着智能视频监控技术的发展，一些基本的道路交通异常事件可以实现自动检测。

目前已有的车辆逆行检测方法多是使用光流法、背景建模等方法提取出运动目标，然后通过相似度匹配来实现车辆的跟踪，进而利用车辆轨迹信息判断车辆是否逆行。这种方法实现简单，但是对于光流法来说如果运动目标速度缓慢检测是个难题，背景建模更是容易受到环境的影响。目前在车辆检测跟踪的研究方法中，针对检测部分传统的方法有基于先验知识，利用车底部阴影、车尾灯等先验知识来检测车辆；或者使用更高级的haar_like特征、hog特征训练分类器来检测车辆，但是使用单一的特征训练出的单一分类器难以适用复杂多变的交通场景；或者，使用目前比较流行的基于卷积神经网络的检测方法，虽然效果显著提高，但因其计算量大、难以在普通的硬件设备终端上实时运行。针对车辆目标的跟踪，以往的方法大都是使用卡尔曼滤波、粒子滤波等，这些方法一般只能对单目标进行跟踪，且一旦跟踪出错不能及时修正，效果不可靠。

因此，针对现有技术缺少一种高效，可靠的车辆逆行检测方法以及现有车辆检测技术中单一分类器的分类可靠性有待提高以及现有车辆跟踪方法是对单目标进行跟踪方面的缺陷问题，急需一种基于可靠的车辆检测与跟踪技术基础上实现的车辆逆行检测的方法。

技术实现要素：

本发明提供一种基于跟踪轨迹分析的车辆逆行智能检测方法，可以实现在公路上逆行车辆的快速准确识别，同时在车辆检测过程中，利用两个离线训练的分类器进行二次识别，提高车辆检测结果的可靠性；同时实现对多车辆目标的跟踪，扩大其应用范围。

一方面，本发明提供的一种基于跟踪轨迹分析的车辆逆行智能检测方法，包括如下步骤：

s1：获取摄像头拍摄区域图像上的逆行检测区域和逆行方向标记以及实时获取摄像头的视频数据；

其中，逆行检测区域为包含车辆行驶车道的四边形区域，逆行方法标记为有方向线段；

s2：基于离线训练的一级分类器以及二级分类器从视频数据的当前一帧图像中提取逆行检测区域内的目标车辆区域；

其中，利用一级分类器对当前帧图像进行分类识别获取目标车辆候选区域，再利用二级分类器对所述目标车辆候选区域进行分类识别得到当前帧图像上的目标车辆区域；

其中，所述一级分类器与所述二级分类器离线训练过程的输入数据分别是正样本图像、负样本图像，所述正样本图像中包含车辆，所述负样本图像不包含车辆；

s3：基于步骤s2提取的目标车辆区域分配相关滤波跟踪器，每个核相关滤波跟踪器基于当前帧图像中目标车辆区域以及视频数据中其他帧图像跟踪目标车辆得到对应目标车辆的跟踪信息；

一个核相关滤波跟踪器跟踪一个目标车辆，当前所有核相关滤波跟踪器及对应目标车辆构成当前跟踪队列；

其中，依据步骤s2和步骤s3依次处理视频数据中其他帧图像，且处理过程中若存在识别出的目标车辆不在当前跟踪队列中，所述目标车辆为新目标车辆，并分配一个核相关滤波跟踪器用于跟踪所述新目标车辆；

s4：基于目标车辆的跟踪信息以及逆行方向标记鉴别目标车辆是否在逆行检测区域发生逆行；

其中，跟踪信息包括目标车辆在连续帧图像中的目标检测框位置，所述目标检测框表示目标车辆在各帧图像的跟踪区域；基于目标车辆在连续帧图像中的目标检测框的位置获取目标检测框上同一位置的运动轨迹生长方向，并判断所述运动轨迹生长方法与逆行方向是否相同，若相同，对应目标车辆发生逆行；若不相同，没有发生逆行。

本发明通过跟踪目标车辆的运动轨迹生长方法，并将其与初始设定的逆行方法标记进行比较，进而得出车辆是否逆行的结论，提供了一种自动操作鉴别车辆是否逆行的手段；同时，本发明首先是基于两个级别的分类器进行目标车辆识别，相较于单一分类器的识别结果，本发明提供的方式得到的识别结果的可靠性更高。此外，本发明提供的该方式在跟踪过程中实现了多目标跟踪，每个车辆目标分配一个跟踪器，其与实际应用相加吻合。

进一步优选，若车辆没发生逆行，还包括基于目标车辆的跟踪信息鉴别目标车辆的行驶状态，其过程如下：

首先，基于目标车辆在连续n1帧图像中的目标检测框的位置获取目标检测框上同一位置的运动轨迹生长长度；然后，判断所述运动轨迹生长长度是否大于预设第一阈值l1；

若大于预设第一阈值l1，所述目标车辆正常行驶；

否则，基于目标车辆在连续n2帧图像中的目标检测框的位置获取目标检测框上同一位置的新运动轨迹生长长度，并判断所述新运动轨迹生长长度是否小于预设第二阈值l2；

其中，n2大于n1，l2小于l1；

若小于预设第二阈值l2，判断当前同一时段同一行驶方向是否存在其他目标车辆；

若有其他目标车辆，获取同一时段同一行驶方向的其他目标车辆在连续n1帧中的运动轨迹生长长度；

其中，若其他目标车辆在连续n1帧中的运动轨迹生长长度大于预设第一阈值l1，所述目标车辆处于异常状态；若其他目标车辆在连续n1帧中的运动轨迹生长长度均小于预设第二阈值l2，所述目标车辆处于堵塞状态；若其他目标在连续n1帧中的运动轨迹生长长度小于或等于预设第一阈值l1且大于或等于第二阈值l2，所述目标车辆处于待定状态；

若没有其他目标车辆，所述目标车辆处于异常状态；

若所述新运动轨迹生长长度不小于预设第二阈值l2，所述目标车辆处于待定状态。

本发明利用运动轨迹生长长度还可以鉴别目标车辆的状态，及时检查出异常情况，以便及时调控，为舒缓或接近交通问题提供一定基础。

进一步优选，目标车辆对应的预设第一阈值l1、预设第二阈值l2的取值范围分别为：l1>2/3h，l2<1/3h；

其中，h为跟踪器第一次捕获所述目标车辆时目标检测框的高所占像素值。

从上述表述可知，预设第一阈值l1、预设第二阈值l2是根据目标车辆的目标检测框来定的，那么也就是说每个被跟踪的目标车辆的运动轨迹长度的第一阈值、第二阈值是不同的，这是因为车辆类型不同导致目标检测框大小并不一样。但是预设第一阈值l1、预设第二阈值l2的取值方法是一致的。

其中，n1帧与n2帧取值为经验值，其与实际视频的采集帧率有关，譬如摄像头的采集帧率越大，1帧与n2帧的取值就越大。一般监控摄像头的有效检测距离100米左右，按高速车速120km/h，车辆出现时间3秒左右，假设算法有效识别车辆时间只有2s，视频采集帧率为mfps(每秒m帧)，n1就可以选值为m，n2为2m。

进一步优选，步骤s4中基于目标车辆在连续帧图像中的目标检测框的位置获取目标检测框下边中心点位置的运动轨迹生长方向与长度；

其中，每间隔n1帧记录目标检测框下边中心点位置的坐标值。

每间隔n1帧记录目标检测框下边中心点位置的坐标值，进而串接得到运动轨迹生长方向和长度。其中，每间隔n1帧记录坐标值，而不是记录每帧图像对应的坐标值，可以放置数据冗余，减少了空间浪费同时也不会丢失对目标运动轨迹的表征。n1为大于或等于2的正整数，譬如n1为5。

进一步优选，处理下一帧图像时，还包括如下步骤：

首先，将下一帧图像中当前跟踪队列内的目标车辆所在跟踪区域进行掩码；

其中，利用当前跟踪队列中目标车辆的核相关滤波跟踪器获取目标车辆在下一帧图像中的跟踪区域；

然后，依据步骤s2和步骤s3处理掩码后的下一帧图像。

本发明中掩码的方式为将对应跟踪区域的像素点的像素值均设置为255。从而保证对下一帧图像进行目标车辆区域检测时，识别到的目标车辆为新目标车辆。通过掩码的方式可以使得对应跟踪区域在一级分类器、二级分类器中判定为负样本(即为非目标车辆区域)，加快了检测速度。

进一步优选，利用核相关滤波跟踪器获取对应目标车辆的跟踪信息时，还包括监督目标车辆是否在视野范围内消失或达到逆行检测区域的边界位置；

其中，若在视野范围内消失或目标车辆达到逆行检测区域的边界位置，在当前跟踪队列中将所述核相关滤波跟踪器删除；

其中，通过核相关滤波跟踪器可以预测目标车辆在下一帧的跟踪区域，而视野范围以及逆行检测区域的位置是确定的，因此可以鉴别是否在视野范围或还是还在逆行检测区域内。

进一步优选，利用核相关滤波跟踪器获取对应目标车辆的跟踪信息时，还包括对核相关滤波跟踪器跟踪进行惩罚计分；

其中，基于核相关滤波跟踪器获取目标车辆在下一帧图像中的跟踪区域，并利用预先离线训练的车辆分类器识别跟踪区域是否包含车辆；若不包含车辆，视核相关滤波跟踪器跟踪出错，对其进行惩罚计分；

其中，当概率p大于等于0.5时，包含车辆，当概率p小于0.5时，不包含车辆；车辆分类器得出是车辆的概率为p时，则计分为1-p；

其中，若核相关滤波跟踪器的累积计分达到预设s分，在当前跟踪队列中将所述核相关滤波跟踪器删除；

所述车辆分类器训练过程的输入数据为正样本图像和负样本图像。

核相关滤波跟踪器会一直有跟踪的目标(比如在n+30帧时跟踪器已经把正确的目标丢失了，但是跟踪器还会继续工作，在第n+31帧中找与第n+30帧所跟踪区域最相近的，尽管这已经是一个错误的)。这就是核相关滤波跟踪器在跟踪过程中常出现的目标丢失。本发明使用一个车辆分类器，来鉴别是否出现跟踪目标丢失。同时又考虑到在实际复杂的交通场景中分类器不可能达到准确率百分之百，所以并不是车辆分类器判断跟踪的不是车辆就立马将其从跟踪器中丢弃，而是给了一个惩罚计分，当惩罚达到一定阈值s才将其从跟踪器丢弃。

其中，车辆分类器是一个二分类器，得到的结果其实是一个概率值p，大小在0-1。只在车辆分类器认为不是车辆时才触发计分。本发明中s为经验值，譬如本发明实施例中取值为2。本发明中每个核相关滤波跟踪器只关注一个目标车辆，如果达到惩罚阈值s，该核相关滤波跟踪器就会从跟踪队列中剔除，该核相关滤波跟踪器对应的分类器、计分s都随之清除。

进一步优选，所述一级分类器为基于级联模型的adaboost分类器；所述二级分类器为支持向量机；

其中，所述一级分类器的训练过程基于正样本和负样本的haar_like特征进行训练；

所述二级分类器的训练过程基于正样本和负样本的hog特征构成的特征向量进行训练的。

有益效果

一方面，本发明通过跟踪目标车辆的运动轨迹生长方法，并将其与初始设定的逆行方法标记进行比较，进而得出车辆是否逆行的结论，提供了一种自动操作鉴别车辆是否逆行的手段，摆脱了人工监测的障碍。

另一方面，本发明除了可以鉴别出是否逆行之外，还可以对车辆当前的状态进行识别，识别其是正常行驶还是处于异常状态或处于堵车状态，以便及时调度，为交通管理提供了数据基础。

此外，本发明实现逆行鉴别以及状态鉴别的过程，都需要准确地对目标车辆进行识别与跟踪，本发明利用两个级别的分类器进行目标车辆识别，相较于单一分类器的识别结果，本可以得到可靠性更高的识别结果。同时，

本发明提供的该方式在跟踪过程中实现了多目标跟踪，每个车辆目标分配一个跟踪器，其与实际应用相加吻合。

附图说明

图1是本发明的一种基于跟踪轨迹分析的车辆逆行智能检测方法的流程示意图。

图2是本发明的一种基于跟踪轨迹分析的车辆逆行智能检测方法中车辆检测跟踪和轨迹分析的流程示意图。

图3是本发明的车辆运动轨迹分析中目标检测框运动示意图。

具体实施方式

下面将结合实施例对本发明做进一步的说明。

本发明提供的一种基于跟踪轨迹分析的车辆逆行智能检测方法，包括如下步骤：

s1：获取摄像头拍摄区域图像上的逆行检测区域和逆行方向标记以及实时获取摄像头的视频数据。

其中，由于监控安装后拍摄区域图像中车道位置以及车道方向都是唯一确定以及固定的，因此，只需要对其进行一次初始化处理(人工标记逆行检测区域和逆行方向)。

s2：基于离线训练的一级分类器以及二级分类器从视频数据的当前一帧图像中提取逆行检测区域内的目标车辆区域。

本实施例中，使用国内公开的车辆检测数据集，结合采集的本地城市、高速道路中交通图像数据集，裁剪出车辆作为正样本，裁剪出不包含车辆的交通场景作为负样本，制作成训练使用的正负样本集，正负样本比例大概为1:3，将正负样本统一缩放为24x24。使用正负样本集离线训练一级分类器和二级分类器。

其中，本实施例中一级分类器选用基于级联模型的adaboost分类器。其训练过程计算正负样本的haar_like特征来训练adaboost分类器。即使用haar_like特征中的边缘特征、线性特征，快速计算样本特征积分图，再通过积分图的形式计算haar_like特征。鉴于用于haar_like特征是图像常规特征，因此本发明对其计算获取过程不进行详细赘述。本发明简述一下基于级联模型的adaboost分类器，adaboost作为一种boosting方法，开始时对每一个训练样本赋予一个相等的初始权重，然后在训练集上训练出来一个弱分类器，并计算这个弱分类器的错误率，根据得到的弱分类器错误率重新调整训练集中每个样本的权重，使分类错误样本获得更高的权重、分类正确的样本降低权重。更新完每个样本的权重之后，开始下一轮训练，直到达到设定的迭代次数或者分类器错误率为零，然后根据这些弱分类的权重组合成一个强分类器。本发明将adaboost算法训练出来的分类器作为级联模型中的一个强分类器。每一个强分类器对负样本的判定准确率较高，当某一级强分类器判断出是负样本时，下一级的分类器将不再继续调用，在交通场景情况下一幅图像中大部分都是负样本，都过这种方式可以在级联分类器的初期就舍弃大量负样本，加快了分类器检测速度。同时级联分类器中只有前一级分类器判定为正样本才会送到下一级分类器再次判定，保证了在车辆粗检测阶段就降低车辆候选区域的误检率。

综上可知，本发明利用基于级联模型的adaboost分类器对实时获取的视频帧图像进行车辆检测获取到目标车辆候选区域。譬如对当前帧图像进行车辆检测时，扫描窗口将窗口内的图像送入一级分类器，进而识别出窗口内图像是否包含车辆，若包含车辆，则是目标车辆候选区域；否则不是，则丢弃。

本实施例中二级分类器选为支持向量机，其通过正负样本集计算hog特征得到hog特征描述子，将计算得到的hog特征向量作为输入向量送入支持向量机svm分类器进行训练。其中，使用检测窗口的尺寸为56x56，块大小16x16，细胞大小8x8，块滑动步长8x8，bin数目设为9。同理，由于hog特征是图像常规特征，因此本发明对其计算获取过程不进行详细赘述。本发明构建的二级分类器在实际应用中，用于对一级分类器的分类结果进行进一步鉴定。

综上而言，本发明利用一级分类器对当前帧图像进行分类识别获取目标车辆候选区域，再利用二级分类器对所述目标车辆候选区域进行分类识别得到当前帧图像上的目标车辆区域。

s3：基于步骤s2提取的目标车辆区域分配相关滤波跟踪器，每个核相关滤波跟踪器基于当前帧图像中目标车辆区域以及视频数据中其他帧图像跟踪目标车辆得到对应目标车辆的跟踪信息。

首先，说明一下本发明所使用的核相关滤波跟踪器(kcf)，核相关滤波跟踪器(kcf)是一个单目标跟踪器，跟踪过程为初始时圈定视频流中某个确定的目标，随后利用算法在下一帧图像中找到和初始化目标最相近的一片区域，该区域认为是目标在当前帧的跟踪区域。本发明选用kcf算法。

其次，本发明构建一个多目标跟踪管理模块，用于对目标车辆进行跟踪。多目标跟踪管理模块是针对交通场景中一般都不止一个目标车辆这一情况，设计出的一个融合多个目标跟踪与目标及时更新的管理模块。一个核相关滤波跟踪器跟踪一个目标车辆，当前所有核相关滤波跟踪器及对应目标车辆构成当前跟踪队列。因此，同一个目标车辆在视频流中是同一个核相关滤波器进行跟踪，其利用视频流图像的确定目标车辆在视频流中的跟踪区域。

为了使得视频流中其他帧图像检测出的目标车辆区域为新目标车辆对应区域，本发明下一帧图像时，执行如下操作：

首先，将下一帧图像中当前跟踪队列内的目标车辆所在跟踪区域进行掩码；然后，依据步骤s2和步骤s3处理掩码后的下一帧图像。

其中，利用当前跟踪队列中目标车辆的核相关滤波跟踪器获取目标车辆在下一帧图像中的跟踪区域，然后将对应跟踪区域的全部像素值置为255。从而使得依据步骤s2和步骤s3对下一帧图像进行处理时，识别出的目标车辆均是新目标车辆，即不在当前跟踪队列中的，进而可以分配一个核相关滤波跟踪器跟踪新目标车辆。本发明通过该方式可以快速的识别出新目标区域，这是基于已经掩码处理后的区域在一级分类器中快速被判定为负样本，即不包含车辆。

应当理解，本发明依据步骤s2和步骤s3依次处理其他帧图像，于此同时，核相关滤波跟踪器同步进行跟踪获取对应目标车辆在其他帧图像中的跟踪区域。

为了使得核相关滤波跟踪器具有更加的跟踪效果，本发明对核相关滤波器进行改进，为每个目标车辆配备一个在线监督器，在线监督器回判断目标车辆是否在视野范围内消失或达到逆行检测区域的边界位置。譬如目标车辆在连续帧图像中的目标检测框的左上角坐标或者右下角坐标满足设定的边界阈值，则可以判断出目标车辆已达到逆行检测区域的边界位置，进而将其从跟踪队列中剔除。

此外，本发明还离线训练了一个车辆分类器，用于对核相关滤波器的跟踪效果进行鉴定，判断是跟踪的目标是否发生漂移。其中，车辆分类器与一级分类器、二级分类器相同，均是用于鉴别图像区域是否包含车辆，其离线训练过程也是利用正负样本进行训练，具体是利用正、负样本中每个像素点的梯度信息，并将梯度方向划分为9个bin，统计每个bin中像素点个数，得到正、负样本梯度方向统计直方图，该统计直方图为正、负正样本的特征向量，利用该特征向量进行离线训练。

本实施例中，对某一核相关滤波跟踪器的跟踪效果进行鉴定时，基于核相关滤波器在下一帧检测出的跟踪区域，并计算该跟踪区域梯度方向的统计直方图，进而通过车辆分类器识别出跟踪区域是否有车辆，若有车辆，视为跟踪无误；若无车辆，视为跟踪出错。

本发明中对于每个核相关滤波跟踪器采用上述方法进行惩罚计分，每出错一次时，车辆分类器得出是车辆的概率为p时，则计分为1-p，若累计达到s分，则将其从跟踪队列中剔除。

s4：基于目标车辆的跟踪信息以及逆行方向标记鉴别目标车辆是否在逆行检测区域发生逆行以及检测目标车辆的行驶状态。

本实施例中，一个目标车辆在连续帧图像中的跟踪过程将得到如图3所示的目标检测框。记录目标检测框下边中心位置的坐标值，进而可以得到目标车辆的运动轨迹生长方向以及运动轨迹生长长度。本实施例中优选每间隔n1帧记录目标检测框下边中心位置的坐标值，进而减少空间浪费，防止数据冗余。

本发明基于目标车辆的运动轨迹生长方向来鉴别目标车辆是否逆行以及基于目标车辆的运动轨迹生长长度来鉴别目标车辆的行驶状态，鉴别规则如下：

a关于逆行鉴别：

判断所述运动轨迹生长方法与逆行方向是否相同，若相同，对应目标车辆发生逆行；若不相同，没有发生逆行。

b：关于行驶状态鉴别：

首先，基于目标车辆在连续n1帧图像中的目标检测框的位置获取目标检测框下边中心点的运动轨迹生长长度；然后，判断所述运动轨迹生长长度是否大于预设第一阈值l1；

若大于且没有发生逆行，所述目标车辆正常行驶；

否则，基于目标车辆在连续n2帧图像中的目标检测框的位置获取目标检测框下边中心点的新运动轨迹生长长度，并判断所述新运动轨迹生长长度是否小于预设第二阈值l2；

其中，n2大于n1，l2小于l1；

若小于预设第二阈值l2，判断当前同一时段同一行驶方向是否存在其他目标车辆；

若有其他目标车辆，获取同一时段同一行驶方向的其他目标车辆在连续n1帧中的运动轨迹生长长度；

其中，若其他目标车辆在连续n1帧中的运动轨迹生长长度大于预设第一阈值l1，所述目标车辆处于异常状态，譬如故障停车。若其他目标车辆在连续n1帧中的运动轨迹生长长度均小于预设第二阈值l2，所述目标车辆处于堵塞状态；若其他目标在连续n1帧中的运动轨迹生长长度小于或等于预设第一阈值l1且大于或等于第二阈值l2，所述目标车辆处于待定状态；

若没有其他目标车辆，所述目标车辆处于异常状态；

若所述新运动轨迹生长长度不小于预设第二阈值l2，所述目标车辆处于待定状态。其中待定状态为需要人工鉴别的状态。

综上所示，本发明通过上述方式提供了一种自动鉴别车辆逆行的手段，同时还对车辆的行驶状态进行了鉴别，扩展了其应用范围。

需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。