背景感知的大分类间隔相关滤波目标跟踪方法与流程

本发明涉及计算机视觉领域，更具体的涉及一种背景感知的大分类间隔相关滤波目标跟踪方法。

背景技术：

2018年，wangmengzuo等在题为《learningsupportcorrelationfiltersforvisualtracking》的论文中提出一种基于支持相关滤波的目标跟踪方法，不同于传统相关滤波跟踪的方法，其在支持向量机的框架下构造了一种判别型相关滤波器，利用以目标为中心的特征图区域作为训练样本采集区域，以特征图区域循环平移的方式密集采集样本，能够在一定程度上克服相关滤波器学习过程中的噪声样本问题，但是这一方法无法回避由于特征图循环平移导致的边界效应问题。2017年，galoogahi等在题为《learningbackground-awarecorrelationfiltersforvisualtracking》的论文中提出通过对包含目标的大尺寸图像区域进行裁剪获得用于相关滤波器学习的训练样本，即将大尺寸图像区域作循环平移，在循环平移后的图像区域上按照目标的尺寸裁剪出图像区域作为训练样本来计算得到相关滤波器，在一定程度上缓解了边界效应，但是该相关滤波器是在岭回归框架下学习得到，对于噪声样本较为敏感。图像特征在做循环平移操作时会产生伪像，也即边界效应。在岭回归框架下学习对于目标与背景具有高判别性的相关滤波器，通过引入特征图的裁剪操作来避免相关滤波器学习中的边界效应问题，以此在提升相关滤波器判别性的同时缓解相关滤波器学习的边界效应问题

技术实现要素：

1、发明目的。

本发明提出了一种背景感知的大分类间隔相关滤波目标跟踪方法，解决滤波器学习的边界效应。

2、本发明所采用的技术方案。

本发明一种背景感知的大分类间隔相关滤波目标跟踪方法：

步骤1：在视频的当前帧中确定目标图像区域，如果是第一帧，手工标定出目标图像区域，如果非首帧，则为算法检测出的目标图像区域，并围绕目标中心选择3倍目标尺寸大小的矩形框作为样本采集图像区域；

步骤2：支持相关滤波器的学习

在矩形框区域内提取梯度直方图hog特征图x，将x每个通道上的特征图作循环平移产生训练样本；

步骤2.1根据平移量赋予样本类别标签；

步骤2.2迭代计算向量；其中在计算的过程中，其中为支持相关滤波器w扩展所得支持相关滤波器的傅里叶变换结果，在处理裁剪矩阵乘积的作用时，先构造出与大小一致的全零矩阵，随后将该矩阵中心块用同样大小的支持相关滤波器的权值矩阵w傅里叶变换结果替换；

步骤3：如果当前帧不是第一帧，则更新支持相关滤波器；

步骤4：在下一帧中，围绕上一帧的目标中心位置裁剪出目标尺寸3倍大小的区域作为目标搜索区域，同样先构造出与大小一致的全零矩阵，随后将该矩阵中心块用同样大小的支持相关滤波器的权值矩阵替换，计算频域形式的响应图将其作傅里叶反变换得到空域上的响应图，最后取相应图上最大值所对应的坐标值与中心位置的偏移量作为目标位置相对上一帧中位置的偏移量，最终，目标在当前帧中的位置就为上一帧中目标位置加上偏移量可得。

更进一步，所述的步骤2.1根据平移量赋予样本类别标签按照如下步骤进行：

假设第t+1帧视频为当前帧，在当前帧中确定目标图像以后，围绕目标中心取目标尺寸3倍的图像区域作为训练样本的采集区域，通过双线性插值算法将其缩放至第一帧中目标尺寸的3倍大小，在其上提取梯度直方图特征，形成特征图x＝[x1，x2，…，xk]，其中，k是通道数，xi∈r^m×1是每个通道上的m维特征向量；每个通道上特征图作循环平移形成样本集，其被用于支持相关滤波器(w，b)的学习，其中，是支持相关滤波器的权值矩阵，b是偏移量；根据每个样本的位置平移量δc计算每个样本为正样本的似然度值：

l(x)＝r·exp(-α||δc||^β)(1)

γ取值为0.2，α取值为0.05，指数β取值为2。根据上式的结果对每个位置上采集的样本赋予类别标签：

上式中，x表示样本，y表示类别标签，lu表示判定为正样本时的似然度阈值，具体取值0.09，ll表示判定为负样本时的似然度阈值，具体取值0.001，也即当l(x)大于lu时，x的类别标签为正样本，当l(x)小于ll时，x的类别标签为负样本。当似然度值l(x)位于lu和ll之间时，将样本x归为未分类；φu表示样本标签不确定的样本集合。

更进一步，为了获得可对后续视频中图像区域进行分类的支持相关滤波器，在样本集上学习相关滤波器(w，b)；另外，设置矩阵p∈r^m×d，形式上通过p与每个通道上特征图xi的乘积对样本进行裁剪，围绕目标中心裁剪出与目标特征图尺寸大小相同的特征区域形成样本；相应的目标函数设置如下：

上式中wj为w中的第j列向量，ξ＝[ξ1ξ2…，ξm]是松弛向量，λ＞0是正则参数，实际取值为0.01。y＝[y1y2，…，yn]是类标签向量；令则式(3)可改写为：

上式中e表示误差向量，1是每个元素都为1的m维向量；将上式转换到频域内进行求解，可以提高计算效率；

上式中，表示特征图x的傅里叶变换结果，f表示离散傅里叶矩阵，表示求kronecker积，是标签向量y的离散傅里叶变换结果。表示标签向量y与误差向量e点积后的离散傅里叶变换结果。使用交替优化算法，单独对每个变量求解；

更进一步，步骤2.2按迭代计算向量，具体为：

初始化：设置b＝0，h＝1，ζ＝1，μ＝0.001；

①按式(6)计算e：

②按式(7)计算w：

其中，是频率域上的拉格朗日算子向量。

③按式(8)计算

④按式(9)计算偏移量b：

b＝mean(y+y⊙e)(9)

上式对(y+y⊙e)求取平均值。

⑤按式(10)计算y：

⑥按式(11)计算

⑦按式(12)计算μ：

μ＝min(μmax，c·μ)(12)

上式中c是一个增长常数，设置为10。以上①～⑦迭代反复执行，循环迭代次数设置为10。

更进一步，步骤3：如果当前帧不是第一帧，则更新支持相关滤波器，具体步骤如下：

假设在第t帧中计算得通过均值移动的方式更新支持相关滤波器，那么当前帧中最终相关滤波器就为：

bt+1＝(1-η)bt+ηb(14)

上式中η是学习率，取值为0.95。

更进一步，计算频域形式的响应图新输入视频帧中目标的检测具体为：

在下一帧中确定目标图像时，同样围绕上一帧中的目标中心位置确定目标尺寸3倍的图像区域作为当前帧中的目标搜索区域，通过双线性插值算法将其缩放至第一帧中目标尺寸的3倍大小，在其上提取梯度直方图特征xt+1，通过傅里叶变换将其转化到频域得到其与支持相关滤波器在频域上的点积可以获得频域上的响应图

再通过对的离散傅里叶变换可得空域上的响应图lt+1，最后取相应图上最大值所对应的坐标值与中心位置的偏移量作为目标位置相对上一帧中位置的偏移量；最终，目标在当前帧中的位置就为上一帧中目标位置加上偏移量可得。

3、本发明所产生的技术效果。

本跟踪方法由于借助了支持相关滤波器完成目标跟踪，对于目标与背景的区分能力强，受背景的干扰少，因此跟踪的稳定性更好。

附图说明

图1本发明流程图。

图2第一帧中目标图像区域和样本采集图像区域的确定。

图3为第100帧的跟踪结果。

图4为第700帧上的跟踪结果。

具体实施方式

实施例

(1)支持相关滤波器的学习

假设第t+1帧视频为当前帧，在当前帧中确定目标图像以后，围绕目标中心取目标尺寸3倍的图像区域作为训练样本的采集区域，通过双线性插值算法将其缩放至第一帧中目标尺寸的3倍大小，在其上提取梯度直方图(hog)特征，形成特征图x＝[x1，x2，…，xk](其中，k是通道数，xi∈r^m×1是每个通道上的m维特征向量)。每个通道上特征图作循环平移形成样本集，其被用于支持相关滤波器(w，b)的学习(其中，是支持相关滤波器的权值矩阵，b是偏移量)。根据每个样本的位置平移量δc计算每个样本为正样本的似然度值：

l(x)＝γ·exp(-α||δc||^β)(1)

γ取值为0.2，α取值为0.05，指数β取值为2。根据上式的结果对每个位置上采集的样本赋予类别标签：

上式中，x表示样本，y表示类别标签，lu表示判定为正样本时的似然度阈值，具体取值0.09，ll表示判定为负样本时的似然度阈值，具体取值0.001，也即当l(x)大于lu时，x的类别标签为正样本，当l(x)小于ll时，x的类别标签为负样本。当似然度值l(x)位于lu和ll之间时，将样本x归为未分类。φu表示样本标签不确定的样本集合。

为了获得可对后续视频中图像区域进行分类的支持相关滤波器，在样本集上学习相关滤波器(w，b)。另外，设置矩阵形式上通过p与每个通道上特征图xi的乘积对样本进行裁剪，实际效果是围绕目标中心裁剪出与目标特征图尺寸大小相同的特征区域形成样本。相应的目标函数设置如下：

上式中wj为w中的第j列向量，ξ＝[ξ1ξ2…，ξm]是松弛向量，λ＞0是正则参数，实际取值为0.01。y＝[y1y2，…，yn]是类标签向量。令则式(3)可改写为：

上式中e表示误差向量，1是每个元素都为1的m维向量。将上式转换到频域内进行求解，可以提高计算效率。

上式中，表示特征图x的傅里叶变换结果，f表示离散傅里叶矩阵，表示求kronecker积，是标签向量y的离散傅里叶变换结果。表示标签向量y与误差向量e点积后的离散傅里叶变换结果。使用交替优化算法，单独对每个变量求解。

初始化：设置b＝0，h＝1，ζ＝1，μ＝0.001。

①按式(6)计算e：

②按式(7)计算w：

其中，是频率域上的拉格朗日算子向量。

③按式(8)计算

④按式(9)计算偏移量b：

b＝mean(y+y⊙e)(9)

上式对(y+y⊙e)求取平均值。

⑤按式(10)计算y：

⑥按式(11)计算

⑦按式(12)计算μ：

μ＝min(μmax，c·μ)(12)

上式中c是一个增长常数，设置为10。以上①～⑦迭代反复执行，循环迭代次数设置为10。

假设在第t帧中计算得通过均值移动的方式更新支持相关滤波器，那么当前帧中最终相关滤波器就为：

bt+1＝(1-η)bt+ηb(14)

上式中η是学习率，取值为0.95。

新输入视频帧中目标的检测

在下一帧中确定目标图像时，同样围绕上一帧中的目标中心位置确定目标尺寸3倍的图像区域作为当前帧中的目标搜索区域，通过双线性插值算法将其缩放至第一帧中目标尺寸的3倍大小，在其上提取梯度直方图特征xt+1，通过傅里叶变换将其转化到频域得到其与支持相关滤波器在频域上的点积可以获得频域上的响应图

再通过对的离散傅里叶变换可得空域上的响应图lt+1，最后取相应图上最大值所对应的坐标值与中心位置的偏移量作为目标位置相对上一帧中位置的偏移量。最终，目标在当前帧中的位置就为上一帧中目标位置加上偏移量可得。