一种基于机器学习的前方车辆检测与跟踪方法与流程

本发明属于图像处理与模式识别技术领域，特别是一种基于机器学习的前方车辆检测与跟踪方法，用于车载视频中的前方车辆目标，检测并跟踪其运动轨迹。

背景技术：

开发车载驾驶辅助系统(driverassistancesystem)需要了解涉及自身车辆附近道路车辆运动状况，确定其他车辆在道路上的位置是das的关键信息。因此，鲁棒性强的车辆检测和车辆跟踪研究是关键。

目前，研究人员通过使用诸如基于雷达或激光雷达的有缘传感器来解决此问题，然而，基于单目视觉的车辆检测和跟踪的研究在降低成本和维护费用以及信息保真方面具有较好的优势。但在公路和城市交通中，仅仅使用单目相机来检测和跟踪前方车辆仍然是一个具有挑战性的任务。主要难点有以下几个方面：首先，随着车载摄像头的安装，车辆检测算法面临着变化的背景和照明环境的巨大变化。其次，各种各样的车辆在公路和城市交通中有不同的形状和颜色，数量之大导致对车辆的建模十分困难。第三，在道路上的自身车辆和前方车辆都是处于运动状态中，也是如此，在图像空间中的车辆的大小和位置是多种多样的。

许多车辆检测的方法已被广泛使用：(1)基于已知知识的方法；(2)特征匹配方法；(3)传感器融合方法。基于已知知识的方法是利用车辆本身的特征来识别对象，并得到假定潜在的车辆位置，例如线结构，车辆阴影，图像对称，等等。以上研究主要着重于车辆单一特征的检测，图像背景中也既有可能具有这些特征，会导致大量误检。

技术实现要素：

针对现有技术的不足，本发明提出了一种基于机器学习的前方车辆检测与跟踪方法。

本发明解决技术问题所采取的技术方案为：

步骤1、获取实时车辆的视频信息。

步骤2、对获取的视频帧进行图像预处理、图像灰度化，提取车辆目标的区域。

步骤3、利用先验知识，根据一般场景和相机的成像视野，截取感兴趣区域，去除天空、周围部分建筑以及广告牌标志的干扰。

步骤4、利用lbp特征训练的分类器对感兴趣区域进行目标检测，得到包含车辆的候选区域。

4.1、车辆lbp特征提取

在3*3的窗口中，以中心单个像素为阈值，比较周围像素与其灰度值的大小，若比其大的，则改点像素被标志为1，否则为0；即可得出8位二进制，得到该窗口中心像素点的lbp值，将其转换为十进制即为lbp值。

4.2、分类器模型训练

首先，将只有车辆的图片作为正样本，没有包括车辆的图片作为负样本，并将其都用lbp算子描述；然后用gentleadaboost的分类器模型训练得到不同的弱分类器，并将按一定的权重叠加起来，组成最终想要的强分类器；最后，将视频图像序列作为输入，经分类器检测得到候选车辆。

步骤5、利用haar特征训练的分类器和hog特征训练的分类器对上述包含车辆的候选区域进行目标检测，剔除非车辆区域。

5.1、车辆haar特征提取

采用边缘特征、线性特征、中心特征或对角线特征组成特征模板，并用其来计算样本的haar特征积分图。

5.2、车辆hog特征提取

将样本图像分成小的连通区域，然后采集其中各像素点的梯度或边缘的方向直方图，再训练得到adaboost特征分类器。

步骤6、得到车辆检测目标后，采用改进的核相关滤波算法，跟踪车辆目标，并且每隔10帧比较检测结果和跟踪结果是否正确，超过阈值范围，则用检测结果对跟踪结果进行修正。

本发明的有益效果是：本发明具有受光照变化影响较小、成本较低并且误检漏检率低等优势。

附图说明

图1为基于lbp特征学习的级联分类器训练和检测过程；

图2为基于haar特征学习的级联分类器训练和检测过程；

图3为基于hog特征学习的级联分类器训练和检测过程；

图4为跟踪测试过程；

图5为本发明车检测与跟踪流程图。

具体实施方式

以下结合附图5对本发明作进一步说明。

本发明包括如下步骤：

步骤1、获取实时车辆的视频信息；

步骤2、对获取的视频帧进行图像预处理、图像灰度化，提取车辆目标的区域；

步骤3、利用先验知识，根据一般场景和相机的成像视野，截取感兴趣区域，去除天空、周围部分建筑以及广告牌标志等等干扰；

步骤4、利用lbp特征训练的分类器对感兴趣区域进行目标检测，得到包含车辆的候选区域；

4.1、车辆lbp特征提取

lbp是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的特征。lbp算子定义为在3*3的窗口中，以中心单个像素为阈值，比较周围像素与其灰度值的大小，若比其大的，则改点像素被标志为1，否则为0。因此即可得出8位二进制，得到该窗口中心像素点的lbp值，将其转换为十进制即为lbp值。

4.2、分类器模型训练

首先，将只有车辆的图片作为正样本，没有包括车辆的图片作为负样本，并将其都用lbp算子描述。然后用gentleadaboost的分类器模型训练得到不同的弱分类器，并将按一定的权重叠加起来，组成最终想要的强分类器。最后，将视频图像序列作为输入，经分类器检测得到候选车辆。如图1所示。

步骤5、利用haar特征训练的分类器和hog特征训练的分类器对上述包含车辆的候选区域进行目标检测，剔除非车辆区域，提高准确率；

5.1、车辆haar特征提取

haar算子是用特定的特征，如边缘特征、线性特征、中心特征和对角线特征组成特征模板，并用其来计算样本的haar特征积分图。具体过程如图2所示。

5.2、车辆hog特征提取

hog算子是将样本图像分成小的连通区域，然后采集其中各像素点的梯度或边缘的方向直方图，再训练得到adaboost特征分类器。具体过程如图3所示。

步骤6、得到车辆检测目标后，采用改进的核相关滤波(kcf)算法，跟踪车辆目标，并且每隔10帧比较检测结果和跟踪结果是否正确，超过阈值范围，则用检测结果对跟踪结果进行修正。

本发明中的车辆跟踪算法简单描述即是一旦检测结果得到某个车辆，该算法会在其周围分别向上、向下移动不同的像素得到新的样本图像，直接增加了样本的数量，然后训练得到分类器，即可检测到车辆。本发明中设计了两个一样的相关滤波器，用来分别实现目标跟踪和尺度变换。分别定义为位置滤波器(translationfilter)和尺度滤波器(scalefilter)。位置滤波器用来定位当前帧中的目标，尺度滤波器用来估计当前帧中的目标尺度大小。两个滤波器是相互独立的，从而可以选择不同的特征种类和特征计算方式来训练和检测。

先从跟踪目标中提取出一组灰度图像f1，f2，…，ft作为训练样本，并将其对应的滤波器输出设为g1，g2，…，gt，最佳的相关滤波器需要满足以下条件^[18]：

ε的最小值可以通过下式求解：

一般来说，gj可以是任意形状的输出。为了方便计算，在此假设输出的gj是高斯函数，其峰值位于fj的中心位置。

g＝h*f(3)

经过傅里叶变换可得

即可得到相关滤波器h。

首先在第n帧时，用车辆检测中检测到的目标，提取hog特征作为输入进行训练。然后假设输出是高斯型函数，那么就可以反推得到相关滤波器h。然后在第n+1帧提取hog特征作为输入，通过相关滤波器得到相应的输出y。计算过程中一般的算法比较慢，使用循环矩阵和ifft来加快运算速度。

如图4，测试部分是将下一帧的图像作为测试输入z，经过相关滤波器h即可得到相应的输出y。并且过程中使用ifft，换算到频域，可使得计算加快许多，这也是本发明的一大优势。

本发明介绍了一种基于机器学习的车辆检测与跟踪方法，其中包括车辆检测和车辆跟踪两个过程。在车辆检测阶段，采用lbp特征和adaboost分类器训练结果大致检测出路面前方的车辆；再采用haar特征和hog特征的训练结果来验证这些位置来消除非车辆目标。车辆跟踪阶段，采用改进的核相关滤波(kcf)算法。试验结果表明，在不同天气情况下，基于此算法的车辆检测与跟踪方法具有检测率高、跟踪效率高，能够达到实时检测的要求。车辆检测和跟踪准确率在90％以上。下表是本发明实施例与其他方法对比结果。

不同环境下前向车辆检测与跟踪准确率