一种基于单镜头的车辆检测与跟踪方法与流程

本发明属于车辆监控技术领域，具体地说，涉及一种基于无人机单镜头航拍的车辆检测与跟踪方法。

背景技术：

随着我国城镇化建设的加快、经济社会的发展以及人民生活不断的改善，机动车的保有量越来越多，这给交通安全和管理带来了巨大的压力，对车辆监控的难度和重要性也越来越突出。虽然许多专家学者在该领域做了很多研究工作，但仍然存在许多理论难以在实际复杂场景中应用的问题。

目标检测(objectdetection)一直是计算机视觉领域研究的基本课题，cvpr、iccv、iciap等国际顶级会议专门成立小组以促进该领域的研究。在过去二十几年里，虽有大量的学者对目标检测算法进行研究，提出许多优秀算法，但是由于实际应用场景的复杂性，目前还没有一个方法可以实时的，很好的适用于所有的监控场景。当前视频监控在计算机视觉领域已经取得了一定的成就，但在运动目标检测与跟踪这方面仍然有很多问题待解决。

kcf相关卷积滤波器理论上属于一种密度集抽样检测，过度依赖循环矩阵，对于尺度变换的车辆跟踪效果并不理想，初始化的矩阵不能够根据实际车辆位置自适应改变大小，难以处理相邻两帧车辆位移过大的问题。这些问题都会产生分类器模型的误差累计，最终导致跟踪车辆漂移。

技术实现要素：

本发明的目的在于提出了一种基于单镜头的车辆检测与跟踪方法，在相关滤波器跟踪算法基础上引入车辆检测器方法，将检测的车辆区域和跟踪预测的车辆区域分别与学习模型作orb特征点匹配，随后计算各区域之间的重叠率来修正当前车辆位置框，其技术方案如下：

一种基于单镜头的车辆检测与跟踪方法，包括以下步骤：

pd1是检测处第一辆车所在的位置，其他的一样，直到第n辆车；

1)设图像检测出的车辆在图像中的位置是pd(x,y)＝{pd1pd2…pdn}，其中n为检测出的车辆数，预测的位置pt(x,y)，学习模型的位置pm(x,y)。计算检测车辆与学习模型的距离，取最小最短距离

其中rmin为学习模型框的最小边长，如果d＞0检测车辆成功，反之为失败。

2)计算检测位置、预测位置与学习模型的orb特征值匹配数td和tt，再计算检测位置与学习模型之间的重叠率o，最后根据检测位置rectd更新最终位置rectt+1：

rectt+1＝wrectd+(1-w)rectt

其中w为检测位置所占目标框更新的权重，

3)最后模型的更新策略如下：

其中t为特征匹配的数量阈值，经验值为50，n为跟踪漂移后检测到的车辆数量。

步骤3)中，当b＝0时停止更新学习模型，其中第一种情形是检测位置具有高可信度则更新模型，当第一种情形不满足时进入第二种情形，跟踪器具有较高的特征点匹配且重叠率大于0.65，第三种情形是在跟踪器发生漂移后，当检测器检测到与学习模型具有高可信度时继续跟踪，否则停止更新学习模型。

进一步，当丢失的车辆检测到并与学习模型匹配成功后，通过上式中的目标框更新公式继续更新学习模型，将当前位置作为跟踪器的搜寻中心继续跟踪车辆。

本发明的有益效果为：

1)提出将像素点的前景和背景变换频率来修改背景模型的学习率；

2)提出在跟踪过程中将预测位置、检测位置分别与学习模型计算相似度和重叠率，与两者组成权重来更新学习模型以解决形变问题；

3)使用检测出的车辆与学习模型进行特征点匹配，当车辆被遮挡后重新出现时能继续跟踪。

通过实验可以看出改进方法在处理航拍视频中车辆姿态变化时，比传统相关滤波跟踪算法有了明显的改善，实验结果表明，所提出的方法在车辆姿态发生各类变化时具有较好的跟踪效果。

附图说明

图1是自适应学习率改进程序运行界面；

图2是gmm不同学习率下的检测效果；

图3是误差分析曲线图；

图4是学习率运算原理示意图；

图5是频率与学习率映射关系图；

图6是频率与学习率映射效果图；

图7是改进算法对比实验图；

图8是改进算法流程图；

图9是gms特征匹配效果图；

图10是系统运行界面；

图11是车辆目标初始化；

图12是多目标车辆跟踪计数效果图；

图13是驾校航拍视频的跟踪效果比较；

图14是vot2016数据库视频跟踪效果比较。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

1自适应学习率改进

1.1理论分析

高斯混合影响背景建模的参数有学习率、方差、高斯个数以及背景阈值等，其中直接决定背景更新速率的参数是学习率，也就是在这小节研究的重点，首先通过实验探讨一下改变学习率对背景建模会产生怎样影响。验证软件界面如图1所示。

实验中学习率分别取为0.001，0.005，0.01，0.015，0.02，0.025六个不同值，因篇幅有限只展示其中几组数值。对应“fall”视频序列取第1490帧、第2057帧、第3122帧和第3987帧做实验观察学习率对检测的影响。

图2为不同学习率取值的一组检测效果图片，从图1中可以看出随着学习率的增加背景噪声越小，同时车辆目标也出现一定程度的空洞。下面通过背景检测错误率和前景错误率来定量分析学习率的取值。

图3是第1490帧图像在学习率不同取值的曲线图，fe表示前景检测的误差值，即像素属于前景点被判为背景点。be表示背景检测的误差值，即像素属于背景点被错误判断为前景点，score表示该学习率下的检测能力，取值越大综合误差越小，计算方法如下式：

其中，k是常数，取1000调节数量级。从图中可以看出随着学习率的增大，背景检测能力越强，同时目标检测逐渐下降。在区间[0.005,0.020]内，gmm算法检测能力较好，当学习率取0.015时达到最大值。

1.2改进思想

通过上面的分析可以看出学习率对目标检测能力有较大的影响，而高斯混合模型中学习率取常数显然是不合理的。一种好的算法应是学习率在静态背景取相对小的数值，以保证目标检测不会出现空洞，在动态背景中取相对大的数值，以快速适应动态背景的扰动。因此论文提出基于像素点前后背景更换频率来调整学习率的大小。

将新进入的一幅图像与前一帧图像作异或运算，得到一幅二值的图像。在二值图像中若当前像素灰度值为1，则判定像素发生前后背景变化，计数加1，反之则认为没有发生变化，如图4所示。

其中左上角为输入图像，右上角是经过异或运算的图像，左下角是计数各像素点前后背景变化次数的可视化显示，右下角是通过频率计算出的学习率，为了便于显示，将所有数值乘上100倍。

通过可视化，可以很便捷的观察到动态背景和静态背景在图像中的具体位置，因此这里将频率的数值通过式2计算学习率，实现同一幅图像不同学习率的自适应调节：

其中，f是通过频率图像归一化得到，th和tl分别是学习率的最大值、最小值，可以根据以往的经验取0.03和0.005。如图5所示，将区间[0,1]上的频率图像映射到区间[0.005,0.03]的学习率。

图6是一组频率大小与学习率的映射图像，其中第二列为频率图像，第三列为学习率。从图中可以看出在动态背景区域的学习率较亮即，取值较大，而在静态背景区域的学习率较暗，即取值较小。因此实验表明基于像素前后背景变化频率调整背景学习率是可行的，实现在不同区域根据背景的扰动程度取不同学习率。下图是改进后的算法跟原高斯混合背景的对比实验。

图7检测图像均为未经过图像后处理，可以看出自适应学习率的改进方法在前景目标检测能力上的提升和对背景噪声的抑制起到一定的作用。

2基于相关滤波的车辆跟踪改进方法

kcf理论上属于一种密度集抽样检测，过度依赖循环矩阵，对于尺度变换的车辆跟踪效果并不理想，初始化的矩阵不能够根据实际车辆位置自适应改变大小，难以处理相邻两帧车辆位移过大的问题。这些问题都会产生分类器模型的误差累计，最终导致跟踪车辆漂移。为此，论文在相关滤波器跟踪算法基础上引入车辆检测器方法，将检测到的车辆区域和跟踪预测的车辆区域分别与学习模型作orb特征点匹配，以及计算各区域之间的重叠率来修正当前车辆位置框，流程如图8所示。同时，将匹配成功的特征加入学习模型，以便车辆目标遮挡后再次出现时能快速恢复跟踪。

2.1特征点匹配

为满足车辆跟踪实时性的要求，因为orb特征结合了fast和brief的速度优点且作了相应改进，采用二进制对256bit描述子τ(p；x,y)进行存储且用汉明距离完成特征匹配，所以本文采用orb算法对学习模型、预测位置以及检测位置的图片块进行特征提取。

虽然orb特征满足了旋转不变性和尺度不变性，但是相比sift特征、surf特征匹配还是有很多错误匹配点，因此在这里使用gms算法来剔除错误的匹配特征对。gms算法是一种实时性较强的匹配系统，算法基于网格栅格化统计，统计每个网格内运动平滑量进行局部区域的特征匹配，通过“类间均值最大，类内方差最小”原则推导出网格中正确和错误匹配的概率分布，找出最大概率p值。

如图9左边是学习模板中的车辆图像，右图是车辆向前行驶一段距离(间隔10帧后)的图像，分别在两幅图像中创建2000个orb特征点进行匹配，可以看出gms匹配后仅保留了95个正确匹配的特征点。

2.2学习模型更新算法

4)设图像检测出的车辆在图像中的位置是pd(x,y)＝{pd1pd2…pdn}，其中n为检测出的车辆数，预测的位置pt(x,y)，学习模型的位置pm(x,y)。计算检测车辆与学习模型的距离，取最小最短距离

其中rmin为学习模型框的最小边长，如果d＞0检测车辆成功，反之为失败。

5)计算检测位置、预测位置与学习模型的orb特征值匹配数td和tt，再计算检测位置与学习模型之间的重叠率o，最后根据式(6)通过检测位置rectd更新最终位置rectt+1：

rectt+1＝wrectd+(1-w)rectt(6)

其中w为检测位置所占目标框更新的权重，

6)最后模型的更新策略如下：

其中t为特征匹配的数量阈值，经验值为50，n为跟踪漂移后检测到的车辆数量。当b＝0时停止更新学习模型，其中第一种情形是检测位置具有高可信度则更新模型，如果不满足第一种情形进入第二种情形，跟踪器具有良好的跟踪效果且重叠率大于0.65，第三种情形是在跟踪器发生漂移后，当检测器检测到与学习模型具有匹配关系，且具有高可信度时继续跟踪，否则停止更新学习模型。

3实验结果分析

本实验硬件环境：cpuintelcorei7-7700hq，主频2.8ghz，内存16gb，visualstudio作为程序开发平台，实验数据为驾校科目二练车的两段航拍视频(drivingschool1.avi和drivingschool2.avi)以及vot2016数据库中无人机航拍车辆跟踪遮挡的视频(tc_carchasing_ce1.avi)。

3.1系统界面

实验采用mfc框架编写窗口界面，如图10展示了对单张图像车辆检测的实验，完成了haar-like+adaboost、hog+svm以及yolov2方法的车辆检测，同时将这些方法融入到移动摄像机车辆跟踪场景，主要完成第一帧车辆目标检测的初始化。

当选择的文件为视频时，程序禁用图像车辆检测按钮且启用固定和移动摄像机场景下的按钮，根据选择的按钮功能和车辆跟踪模式进行单辆车跟踪或多辆车同时跟踪。针对固定摄像机的视频可以选择两种场景进行实验，而无人机航拍视频只适用于移动摄像机场景下的实验，如图11：

最后，在完成车辆检测与跟踪功能实现的同时，实验还附加完成到路口车辆计数功能，见图12。

3.2改进算法实验

为验证学习模型在跟踪过程中是否进行更新，在这里采用学员车辆驾校s型曲线处驾驶时进行测试。学员车辆在转弯前后学习模型的更新过程，在视频第1100帧时，检测器检测到的车辆与学习模型是两张不同姿态的图片，在视频第1400帧时，算法的跟踪器更新了学习模型，这时检测出的车辆与模型之间有匹配的特征点对。

图13展示了两段驾校航拍视频跟踪的效果，第二列图中蓝色框为传统kcf算法跟踪的位置，第三列图中白色框为检测器检测出的车辆位置，橘黄色框(使用的是随机颜色，为了区分不同车辆的跟踪)为改进算法是最终跟踪车辆位置。在视频1第195帧和视频2第125帧时，车辆没有发生较大的尺度变化，两个跟踪框无太大区别；在视频1第1095帧和视频2第1330帧时，因拍摄距离和角度变化，可以看出传统kcf算法跟踪框和初始框相似，不能随着目标车辆发生改变，改进的跟踪方法基本框住目标车辆；在视频1第1540帧和视频2第2161帧时，传统kcf跟踪算法发生漂移，而改进的跟踪算法依旧能较好的对车辆进行跟踪。通过对比可以看出我们提出的改进方法在处理车辆变化取得了良好的跟踪效果。

图14展现在vot2016数据库视频中遮挡情形的跟踪对比，在140帧时车辆被桥梁遮挡，而改进的方法在173帧时正确跟踪到目标车辆，传统kcf未能跟踪正确，通过对比可以看出我们提出的改进方法在处理车辆发生遮挡情况下取得了良好的跟踪效果。

4小结

在发明首先分析了学习率对混合高斯模型的影响并提出改进方法，实现在动态背景中不同区域的学习率取值自适应，其次将车辆检测和跟踪算法结合起来，提出相应改进方法并完成综合实验。通过实验可以看出改进方法在处理航拍视频中车辆姿态变化时，比传统相关滤波跟踪算法有了明显的改善，实验结果表明，所提出的方法在车辆姿态发生各类变化时具有较好的跟踪效果。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。