基于相关滤波和颜色直方图统计的目标跟踪方法及ADAS系统与流程

本发明涉及高级驾驶辅助系统的计算机视觉技术，特别涉及基于相关滤波和颜色直方图统计的目标跟踪方法及系统。

背景技术：

随着汽车时代的全面来临，机动车大量增加，汽车安全技术受到越来越多的重视。其中高级驾驶辅助系统(ADAS)在汽车安全领域中起着至关重要的作用。在基于计算机视觉技术的高级驾驶辅助系统(ADAS)中，目标跟踪是一项关键技术，包括车辆(摩托车、电动车、自行车)跟踪、行人跟踪等。实时、准确、稳定可靠的目标跟踪输出是保证用户体验的前提。

目标跟踪已经被研究了很多年，有很多优秀的算法被提出来处理各种各样不同的任务。其中相关滤波跟踪算法具有速度快的优点，根据原始文献[David S.Bolme et al.,Visual Object Tracking using Adaptive Correlation Filters,CVPR 2010]的结果，相关滤波跟踪算法可以达到近700帧/秒的速度，因而受到了广泛的关注和拓展。

中国专利也有较多涉及，比如：中国专利申请201410418797.7，一种基于核化相关滤波高速自动多目标跟踪方法，采用了核化的相关滤波目标跟踪技术，解决了目标多尺度问题，并扩展到多目标跟踪场景。由于原始的相关滤波器仅仅使用了目标灰度值这一种特征对目标外表进行建模，因而是一种单通道的滤波器。

又比如，为了对抗光照、旋转、遮挡等因素的影响的中国专利申请201510037323.2，提出了一种基于多通道混合特征的相关滤波器。中国专利申请201610204160.7提出了一种能够应对目标跟踪过程中尺寸发生变化的相关滤波算法。然而，单纯的相关滤波算法难以很好地应对目标形变、遮挡等因素的影响。在高级驾驶辅助系统的应用背景下，跟踪的行人可能发生姿态上的变化，车辆在转向时也会发生形态上显著的变化。对于这些情况，单纯的相关滤波跟踪算法容易产生跟踪漂移，可能会造成虚报警，使用户体验下降。

技术实现要素：

本发明要解决的技术问题是，提出基于相关滤波和颜色直方图统计的目标跟踪方法，利用两种跟踪算法的互补性，能够同时保证跟踪算法的速度以及准确度，大大减少跟踪目标漂移的情况，在驾驶辅助系统中有着良好的应用前景。

解决上述技术问题，本发明提供了基于相关滤波和颜色直方图统计的目标跟踪方法，其包括：

1)从起始视频帧中锁定待跟踪目标，即用一定尺寸的矩形框选中目标所在的图像区域，并将矩形框显示在当前图像上。提取目标区域的HOG(Histogram of Oriented Gradients)特征，以及颜色直方图统计信息。利用所提取的HOG特征和颜色直方图统计信息生成初始跟踪器，具体来讲：(a)利用所提取的HOG特征生成初始相关滤波器；(b)利用所提取的颜色直方图统计信息，生成初始颜色直方图权重向量。

2)基于当前的跟踪器，对视频流中的下一帧图像进行处理，包括两个方面：提取图像帧的HOG特征，得到特征图像，利用当前的相关滤波器h_t对特征图像进行卷积操作，得到模板响应值(Template response)f_tmpl(x)；提取图像帧的颜色直方图统计信息，利用当前的颜色直方图权重向量β_t，计算得到直方图响应值(Histogram response)f_hist(x)。

3)对模板响应值f_tmpl(x)和直方图响应值f_hist(x)进行融合，得到最终的响应值f(x)。基于融合后的响应值，对目标进行目标检测和定位，具体为：查找响应值极大位置点p，p点即为目标在当前图像帧中的位置，实现目标的定位和跟踪。

4)根据当前图像帧的目标定位和跟踪结果，将目标所在的区域用矩形框选中并显示在当前图像帧上，矩形框尺寸和前一帧的保持一致。利用当前图像帧的跟踪结果更新相关滤波器和直方图的权重向量。具体为：提取目标区域的HOG特征，根据相关滤波器的更新法则，生成新的相关滤波器h_t+1；提取颜色直方图统计信息，根据直方图权重向量的更新法则，生成新的权重向量β_t+1。

5)重复步骤2)-4)实现对视频流的连续帧进行循环处理，对目标进行连续跟踪。

本发明还提供了ADAS系统，所述系统被配置为运行基于相关滤波和颜色直方图统计的目标跟踪方法。

本发明的有益效果：

由于相关滤波跟踪算法是基于模板匹配的，目标形态的显著变化容易产生较大的匹配误差。因此，相关滤波跟踪算法较难处理的情况是跟踪目标的外表形状发生较大改变的情形(例如遮挡、行人姿态变化)。然而目标外表形状的改变一般不会使其颜色分布产生显著的变化，基于颜色统计信息的跟踪算法能较好地应对这类情况，恰好能对相关滤波算法的缺点进行补充。本发明基于相关滤波和颜色直方图统计的目标跟踪方法，利用了相关滤波跟踪算法和基于颜色统计信息的跟踪算法的互补性，利用基于颜色统计信息的跟踪算法对相关滤波跟踪算法的缺点进行了有效的补充，进而能同时保证跟踪结果的实时性以及准确度，有效地降低了跟踪结果的漂移和虚报警的发生。

附图说明

图1是本发明基于相关滤波和颜色直方图统计的目标跟踪方法流程示意图；

图2是图1中的优选实施方式示意图；

图3是图1中的操作流程演示示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

可以理解，本申请中所提到的相关滤波器是一种图像块(image patch)匹配的模板。图像相关操作即是采用这个模板在整个图像上进行滑动，然后计算每个滑动窗口位置的图像patch和这个模板的内积结果，得到的结果就是这个窗口位置的相关滤波响应值。所谓内积计算就是：在image patch范围内，逐像素相乘，然后累加求和。而图像匹配模板最简单的形式可以是从图像中直接裁一块出来，但是这种方式的模板对目标的判别性不够，而相关滤波器是一种判别性更强的模板。

图1是本发明基于相关滤波和颜色直方图统计的目标跟踪方法流程示意图；步骤S100提取目标区域的HOG特征和颜色直方图统计信息，生成初始跟踪器；步骤S101根据所述初始跟踪器，在下一帧提取图像帧的HOG特征和颜色直方图统计信息，利用当前的滤波器h_t对特征图像进行卷积操作，得到模板响应值f_tmpl(x)；提取图像帧的颜色直方图统计信息，利用当前的颜色直方图权重向量β_t，计算得到直方图响应值f_hist(x)；步骤S102对所述f_tmpl(x)和所述f_hist(x)进行融合，得到目标最终的响应值f(x)，并根据f(x)对目标进行目标检测和定位；步骤S103根据所述当前图像帧的目标定位和跟踪的结果，将目标所在的区域用与前一帧尺寸保持一致的矩形框选中，并显示在当前图像帧上；步骤S104重复上述步骤进行连续跟踪。

基于上述特征，本申请具备如下的技术效果：利用了相关滤波跟踪算法和基于颜色统计信息的跟踪算法的互补性。由于相关滤波跟踪算法是基于模板匹配的，目标形态的显著变化容易产生较大的匹配误差，而基于颜色统计信息的跟踪算法能较好地应对这类情况，恰好能对相关滤波算法的缺点进行补充。

图2是图1中的优选实施方式示意图；步骤S100提取目标区域的HOG特征和颜色直方图统计信息，生成初始跟踪器；步骤S101根据所述初始跟踪器，在下一帧提取图像帧的HOG特征和颜色直方图统计信息，利用当前的滤波器h_t对特征图像进行卷积操作，得到模板响应值f_tmpl(x)；提取图像帧的颜色直方图统计信息，利用当前的颜色直方图权重向量β_t，计算得到直方图响应值f_hist(x)；还包括：步骤S105利用当前图像帧的跟踪结果更新上述滤波器和上述直方图权重向量，以当前帧目标所处的位置p_t+1为中心，选取一个矩形图像块I_t+1，图像块的尺寸和前一帧目标图像区域尺寸保持一致；步骤S102对所述f_tmpl(x)和所述f_hist(x)进行融合，得到目标最终的响应值f(x)，并根据f(x)对目标进行目标检测和定位；步骤S103根据所述当前图像帧的目标定位和跟踪的结果，将目标所在的区域用与前一帧尺寸保持一致的矩形框选中，并显示在当前图像帧上；步骤S104重复上述步骤进行连续跟踪。

发明原理：

图3是图1中的操作流程演示示意图，融合相关滤波和颜色直方图统计的目标跟踪方法包含以下步骤：

1)从起始视频帧中锁定跟踪目标，即用一定尺寸的矩形框选中的目标所在图像区域，并将矩形框显示在当前图像上。提取目标区域的HOG(Histogram of Oriented Gradients)特征，以及颜色直方图统计信息。利用所提取的HOG特征和颜色直方图统计信息生成初始跟踪器。

具体来讲：(a)利用所提取的HOG特征生成初始相关滤波器h_t；(b)利用所提取的颜色直方图统计信息，生成初始颜色直方图权重向量β_t。

1.1)生成初始相关滤波器h_t可以通过求解以下的岭回归(ridge regression)问题得到：

其中，l_tmpl(h；Χ_t)为损耗函数，用于测量滤波器响应值和设计响应值之间的差异，Χ_t为输入样本，表示滤波器h的欧几里德范数，λ_tmpl为权重因子。通常，我们采用最小二乘法方法来进行相关滤波器的求解。一种常用的基于平方形式的损耗函数l_tmpl(h；Χ_t)为

式中，表示二维图像相关操作，h^k为滤波器h的第k个通道分量，x_k为提取的HOG特征图像的第k个通道分量，K为HOG特征图像以及滤波器h的通道数。y为设计的滤波器响应值，通常设定为σ＝0.5的二维高斯分布，中心点位于特征图像x_k的中心。

本实施例的一个优选方案中，HOG特征计算的元胞(cell size)尺寸为4×4因而，对如下最小化问题进行求解即可得到相关滤波器h_t

直接求解式(1)的复杂度太高，一种快速求解的方法是将问题转换到傅里叶域进行求解。在傅里叶域，式(1)对应为：

式(2)中，⊙表示逐元素点乘操作，带有帽子的变量均为对应变量的傅里叶变换，如为h^k的傅里叶变换。

式(2)所示的最小化问题可以拆分为D个相互独立的K×K的线性问题，其中D为特征图像x_k元素个数。第j个问题表达为：

对于j＝1,…,D (3)

式中和均为K×1的向量，P是一个连接操作，当其作用于一个K通道图像的第j个位置时，产生的效果是：将各通道的第j个元素按照顺序连接生成一个K×1的向量，即：P(a(j))＝[a¹(j),a²(j),…,a^K(j)]

式(3)具有闭式解，其结果为

式中，矩阵和向量b(j)分别为：

根据式(4)，(5)以及(6)即可完成D个独立子问题的求解，然后合成得到傅里叶域的K通道滤波器

最后利用傅里叶逆变换表示傅里叶逆变换)，即可得到相关滤波器h_t。

1.2)生成初始颜色直方图权重向量β_t可以通过求解如下的岭回归(ridge regression)问题得到

l_hist(β；Χ_t)为损耗函数，用于测量颜色直方图统计量的线性回归结果与设计回归值之间的差异，Χ_t为输入样本，表示权重向量β的欧几里德范数，λ_hist为权重因子。通常，我们采用最小二乘法方法来进行权重向量的求解，一种常用的基于平方形式的损耗函数l_hist(β；Χ_t)为：

式(7)包含M个独立项，其中M为颜色直方图统计中直方柱(bins)的个数。式(7)中为目标的前景区域，为目标的背景区域，为区域中，第j个直方柱不为0的元素个数之和。

从式(7)可以看出，权重向量β_t的每个元素β^j可以单独计算，因此相应的岭回归模型的最优解为：

对于j＝1,…,M (8)

其中，即为在区域中，第j个直方柱不为0的像素所占的比例。

本发明的一个优选方案中，颜色直方图统计信息是基于RGB颜色空间完成的，颜色直方图的直方柱(bins)的个数为32×32×32。

2)基于当前的跟踪器，对视频流中的下一帧图像进行处理，包括两个方面：提取图像帧的HOG特征，得到特征图像，利用当前的相关滤波器h_t对特征图像进行卷积操作，得到模板响应值(Template response)f_tmpl(x)；提取图像帧的颜色直方图统计信息，利用当前的颜色直方图权重向量β_t，计算得到直方图响应值(Histogram response)f_hist(x)。以上一帧目标所处的位置p_t为中心，选取一个尺寸比较的大的图像块(patch)I_t+1，分别计算在I_t+1上的模板响应和颜色直方图响应。

2.1)利用当前的相关滤波器h_t计算图像块I_t+1的模板响应值计算图像块I_t+1的HOG特征图z_t+1，然后利用如下公式计算模板响应值f_tmpl(x)

式中，表示傅里叶逆变换，为相关滤波器h^k的傅里叶变换，为HOG特征图的傅里叶变换。

2.2)利用当前的颜色直方图权重向量β_t计算图像块I_t+1的颜色直方图统计信息响应值

对于图像块I_t+1，逐像素计算直方图统计信息。根据直方图权重向量以及积分图像，计算得到图像块I_t+1区域稠密的颜色直方图统计信息响应分布图f_hist(x)。

3)对模板响应值f_tmpl(x)和直方图响应值f_hist(x)进行融合，得到目标最终的响应值f(x)。基于融合后的响应值，对目标进行目标检测和定位，具体为：查找响应值极大位置点p，p点即为目标在当前图像帧中的位置，实现目标的跟踪。本发明采用一种简单的线性组合方式对模板响应值和颜色直方图响应值进行融合，计算方法如下：

f(x)＝γ_tmplf_tmpl(x)+γ_histf_hist(x)

式中，γ_tmpl和γ_hist为融合系数。本发明一个优选方案可将γ_tmpl和γ_hist设置为，γ_tmpl＝0.3,γ_hist＝0.7。

基于融合之后的响应图f(x)，查找响应极大值点p，p点在图像帧中的位置即为跟踪目标在当前帧的位置p_t+1，即完成了目标在当前帧的定位和追踪。

4)根据当前图像帧的目标定位和跟踪结果，将目标所在的区域用矩形框选中并显示在当前图像帧上，矩形框尺寸和前一帧的保持一致。

利用当前图像帧的跟踪结果更新相关滤波器和直方图的权重向量。具体做法为：以当前帧目标所处的位置p_t+1为中心，选取一个矩形图像块(patch)I_t+1，图像块的尺寸和前一帧目标图像区域尺寸保持一致。

4.1)更新相关滤波器

提取图像块I_t+1的HOG特征图z_t+1，并计算

对于j＝1,…,D

对于j＝1,…,D

其中，P为式(3)、(4)和(5)所述的连接操作。根据如下更新法则，得到新的和b_t+1(j)

b_t+1(j)＝(1-η_tmpl)b_t(j)+η_tmplb'(j) (10)

其中，η_tmpl为更新速率。本发明的一个优选方案为：η_tmpl＝0.01。

求解D个如公式(4)所示的K×K的线性问题，即可得到新的相关滤波器。

4.2)更新直方图权重向量

对于图像块I_t+1，逐像素计算直方图统计信息，分别得到和其中，即为在区域中，第j个直方柱不为0的像素所占的比例。根据如下更新法则，得到新的和

其中，η_hist为更新速率。本发明的一个优选方案为：η_hist＝0.04。

根据公式(8)即可计算得到新的颜色直方图权重向量β_t+1。

5)重复步骤2)-4)实现对视频流的连续帧进行循环处理，对目标进行连续跟踪。

虽然本公开以具体结构特征和/或方法动作来描述，但是可以理解在所附权利要求书中限定的本公开并不必然限于上述具体特征或动作。而是，上述具体特征和动作仅公开为实施权利要求的示例形式。