一种自适应分块的核相关滤波跟踪方法与流程

本发明涉及数字图像处理技术领域，尤其涉及一种自适应分块的核相关滤波跟踪方法。

背景技术

目标跟踪是计算机视觉领域的研究热点，在精确制导、智能交通、视频监控、人机交互等多个领域有着广泛应用。虽然在过去的二十年间已取得巨大进展，但仍然面临背景变化、遮挡、光照变化、目标形变等因素的干扰。

已有多种目标跟踪算法表现出了优异的性能。近年来，相关滤波器被引入目标跟踪，并且取得了良好的跟踪结果。bolme等提出最小输出平方误差和(mosse)，首次将相关滤波的思想引入目标跟踪中。henriques等提出基于核循环结构检测跟踪(csk)，利用密集采样与核函数简化计算步骤，该方法效率高，平均跟踪速度可达数百帧每秒；后于2015年又公开了将csk方法中的单通道扩展为多通道，使用hog特征替换原始灰度特征，提出了核相关滤波(kcf)跟踪方法。danelljan等在csk的基础上使用了颜色特征，提出了cn跟踪方法。但是上述方法都是固定尺寸的跟踪方法。为了解决尺度自适应问题，danelljan和yang在kcf的基础上引入尺度自适应机制，分别提出了samf方法和dsst方法，这两种方法是解决尺度变化问题的代表算法。dsst与samf解决目标尺度变化的思想相似：对当前帧目标按照预设尺寸放大与缩小，从不同尺度中找到最优匹配值作为新的目标尺度。段伟伟和徐玉龙等在核相关滤波基础上使用分块的方法实现了多尺度跟踪，但是这两种方法对图像固定分块，当目标纵横比变化明显时，便无法获得准确的跟踪结果。

技术实现要素：

本发明的目的在于提供一种自适应分块的核相关滤波跟踪方法，以获得准确的跟踪结果。

为实现上述技术目的，本发明采用如下技术方案：

一种自适应分块的核相关滤波跟踪方法，在初始帧中框选目标区域，计算纵横比，根据纵横比值将图像划分为若干分块并计算每个分块的超像素块；以超像素块为单位提取hog特征、灰度特征、纹理特征训练分类器，计算跟踪响应图，并根据响应图计算平均峰值相关能量，当任意一块能量值小于阈值时，证明跟踪丢失，以上一帧目标区域的纵横比为基础重新选择分块方法，否则根据每一分块间的相互位置关系，获取目标最终位置与尺寸。

进一步的，所述方法具体包括如下步骤：

s100读取视频序列，获取初始帧，在初始帧中选定目标区域；

s200根据目标区域的纵横比将图像划分为若干分块，并确定每块的搜索区域；

s300分别计算每个分块的超像素分块；

s400分别提取每个超像素分块的灰度特征、hog特征和纹理特征，计算系数矩阵，训练获得如下非线性分类器；

s500获取下一帧，根据上一帧的分块目标位置获取当前帧的分块搜索区域，计算相关滤波响应图；

s600基于相关滤波响应图计算平均峰值相关能量，如下式所示：

式中fmax、fmin、fw,h分别表示响应最高、最低、和w,h位置上的响应；

当每一分块的平均峰值相关能量值都大于或等于历史均值时，继续执行s700；当其中任意一块的值小于历史均值时，当前帧使用上一帧的目标位置，转到s200；

进一步的，所述s200中，计算目标区域纵横比，纵横比参数设置为t1＝1.4，t2＝0.6，当纵横比大于或等于t1，将目标水平二等分，纵横比小于或等于t2，将目标垂直二等分，纵横比大于t2小于t1时，将目标四等分。

进一步的，所述s300中，超像素分块的计算方法如下：

s310选定数字初始化聚类中心，划定所属类别的初始地区；

s320在种子点3*3邻域内，计算所有像素点梯度值，将种子点移到梯度最小的位置；

s330取每个聚类中心一定邻域范围内的所有像素，计算每个像素点至聚类中心的距离，将像素点归类为最小距离的聚类中心；

s340重复s330直到误差收敛；

s350对图像进行连通性处理。

将图像转化为超像素计算，可大大提升计算速度。

进一步的，所述s400中，利用一维gabor滤波器获取纹理特征，一维实gabor滤波器表示为：

式中，σ为高斯函数的标准差，x0为函数的中心点坐标，u0为余弦波的中心频率；将gabor滤波的中心频率确定为3/64，3/32，3/16，获得三个滤波器模板，将模板宽度设置为1，角度步长设为15°，即设置了24个方向；

利用上述三个滤波器获取纹理特征，步骤如下：

s410将图像灰度值映射到[0，1]区间中；

s420将上述三个滤波器模板的基准点分别对准像素点s，沿着方向j，j∈{1,2,3,...24}得到滤波响应值，并分别归一化；

s430计算同方向的三个归一化滤波值和归一化后的光谱值的加权平均值作为像素点的24个方向的纹理值；

s440比较像素点s的24个纹理值，将最小值作为像素点s的最终角度纹理特征；

s450依次选择每一像素点，重复s410～s440，获得完整的角度纹理特征值。

跟踪视频中的每一点沿着任一方向都有一个纹理特征，但沿着某一特定方向的纹理特征能最好地描述物体。因此，本发明设定了一种提取规则，选取某一特定方向的纹理特征，如此获得的纹理特征即为角度纹理特征。

本发明的方法可以在目标纵横比发生变化的情况下自适应分块避免跟踪结果错误，并基于超像素的hog特征、灰度特征和纹理特征进行分类器训练，在目标与周围背景颜色一致或高度相似时，能够更好地兼顾图像的微观特征与宏观特征，提高跟踪精度；并根据平均峰值相关能量进行跟踪丢失判断，实现快速、准确、有效的目标跟踪。

附图说明

图1是本发明方法的流程图；

图2是本发明滤波器模板设置图。

具体实施方式

下面结合附图说明和具体实施方式对本发明的技术方案作进一步描述。

如图1所示，本发明的跟踪方法步骤如下：

s100读取视频序列，获取初始帧，在初始帧中选定目标区域；

s200根据目标区域的纵横比将图像划分为若干分块，并确定每块的搜索区域；

本实施例中的分块方法为，计算目标区域纵横比，纵横比参数设置为t1＝1.4，t2＝0.6，当纵横比大于或等于t1，将目标水平二等分，纵横比小于或等于t2，将目标垂直二等分，纵横比大于t2小于t1时，将目标四等分。

s300分别计算每个分块的超像素分块；

超像素分块的计算方法如下：

s310选定数字初始化聚类中心，划定所属类别的初始地区；

s320在种子点3*3邻域内，计算所有像素点梯度值，将种子点移到梯度最小的位置；

s330取每个聚类中心一定邻域范围内的所有像素，计算每个像素点至聚类中心的距离，将像素点归类为最小距离的聚类中心；

s340重复s330直到误差收敛；

s350对图像进行连通性处理。

s400分别提取每个超像素分块的灰度特征、hog特征和纹理特征，计算系数矩阵，训练获得如下非线性分类器；

利用一维gabor滤波器获取角度纹理特征，一维实gabor滤波器表示为：

式中，σ为高斯函数的标准差，x0为函数的中心点坐标，u0为余弦波的中心频率；将gabor滤波的中心频率确定为3/64，3/32，3/16，获得三个滤波器模板，将模板宽度设置为1，角度步长设为15°，即设置了24个方向；如图1所示为滤波器模板宽度、方向设置的示意图。

利用上述三个滤波器获取纹理特征，步骤如下：

s410将图像灰度值映射到[0，1]区间中；

s420将将图1所示的三个滤波器模板的基准点分别对准像素点s，沿着方向j，j∈{1,2,3,...24}得到滤波响应值，并分别归一化；

s430计算同方向的三个归一化滤波值和归一化后的光谱值的加权平均值作为像素点的24个方向的纹理值；

s440比较像素点s的24个纹理值，将最小值作为像素点s的最终角度纹理特征；

s450依次选择每一像素点，重复s410～s440，获得完整的角度纹理特征值。

s500获取下一帧，根据上一帧的分块目标位置获取当前帧的分块搜索区域，计算相关滤波响应图；

s600基于相关滤波响应图计算平均峰值相关能量，如下式所示：

fmax、fmin、fw,h分别表示响应最高、最低、和(w,h)位置上的响应；

当每一分块的平均峰值相关能量值都大于或等于历史均值时，继续执行s700；当其中任意一块的值小于历史均值时，当前帧使用上一帧的目标位置，转到s200；

上式用以反映响应图的震荡情况，当apce突然减小时，说明发生目标遮挡、丢失，下一帧将不采用本帧的跟踪结果，而重新以上一帧目标区域的纵横比为基础选择分块方法，进行分块跟踪。

当目标纵横比值变化较大，已不满足初始帧的分块情况时，如果继续使用初始帧的分块方式，将会增加目标中心位置与尺寸的误差；或者当分块目标被遮挡或已丢失，却未进行判断，都使得误差累计到了下一帧，影响最终的跟踪结果。kcf的响应图在跟踪准确时是一个接近理想的二维响应图，而在遇到遮挡、目标丢失、严重不匹配等情况下响应图震荡剧烈。因此本发明通过计算平均峰值相关能量apce来判断目标是否被遮挡以及是否需要重新分块。

s700将响应值最大的位置作为分块目标的新位置；

s800根据子块间的相对位置关系，确定目标尺寸与位置；

以目标水平二分块为例，进入下一帧，计算两个分块的中心位置间距离，当该距离大于初始两个分块的中心位置间距离时，认为目标放大，此时计算计算两个分块的中心位置连线的中点，得到目标的中心位置，目标尺寸由分块所获得的最大范围确定。同理，当当前帧两个分块的中心位置间距离小于初始两个分块的中心位置间距离时，认为目标缩小，获取目标中心位置后，目标尺寸由分块的最小范围确定。

s900根据下式更新目标模型的外观模型和系数矩阵

式中和分别表示在当前帧得到的外观模型和系数矩阵；η为学习速率；

s1000重复s300～s900直至视频处理结束。