自适应特征融合的多尺度相关滤波视觉跟踪方法与流程

技术特征：

1.一种自适应特征融合的多尺度相关滤波视觉跟踪方法，包括以下步骤：

步骤1、初始化：目标周围区域，理想尺度滤波输出标准差，滤波器正则化权重因子λ,λ1,λ2，跟踪模型学习因子η，权重更新因子δ，尺度级数S，尺度增量因子a，响应阈值T的初始化设置；并且采用的Hog特征大小为4pixel×4pixel的目标单元，采用M×N的网格单元表示目标候选窗口图像块z的大小，并与跟踪框大小成比例；

步骤2、采用上下文感知相关滤波框架读取视频序列，该框架分为三个步骤，分别为分类器训练、位置预测和模型更新，其中分类器训练的具体步骤如下：

步骤2A、分类器将目标候选窗口图像块z的所有通过循环移位得到的训练样本形成数据矩阵D0和期望输出y，通过优化如下公式(1)：

可以得到一个对目标图像块具有高响应，对上下文图像块接近零响应的滤波器h；

步骤2B、将上下文图像块作为正则化矩阵加入公式(2)：

在每一帧中采样k个上下文图像块，其中Di∈R^n×n和D0∈R^n×n为相应的循环矩阵，R^n×n为n×n维的样本空间，i，k为循环矩阵Di的下标，它们包含了形成各种干扰项和复杂背景的全局上下文图像块，λ1和λ2为正则化权重因子防止过拟合；

步骤2C、由于目标图像块内包含许多上下文图像块，而且生成了一个(k+1)n×n维的数据矩阵C∈R^(k+1)n×n，公式(2)写成如下公式(3):

其中

为新的期望输出。

步骤2D、由于目标函数fp(h,C)是凸函数，可以通过求导将其最小化得到公式(4)：

其中，λ1为正则化权重，为新的期望输出；

步骤2E、利用循环矩阵的性质可求得其在傅利叶域的封闭解为：

其中，·为矩阵元素之间的点积，λ1和λ2为正则化权重更新因子防止过拟合；

通过公式(5)训练得到一个对目标图像块具有高响应而对上下文区域具有低响应的滤波器h，并将其用于目标位置预测；

位置预测具体步骤如下：将得到的滤波器h和下一帧候选窗口图像块z卷积，Z为其循环矩阵,然后查找所有测试样本响应向量yp(z,h)的最大响应的位置为目标的预测位置,对于给定的单个候选窗口图像块z，分类器的响应输出为如下公式(6)：

其中为逆傅里叶变换，·表示元素点积运算；

模型更新的具体步骤如下：采用线性插值法来更新参数，其更新方式如下公式(7a)、(7b)：

其中i是当前帧的序号，η是学习因子，为预测位置由训练样本通过公式(5)得到的分类器参数；为预测位置的目标外观模型；

步骤3、采用上下文感知相关滤波框架对目标图像块提取Hog特征；

步骤3A、使用公式(6)计算滤波响应值记为HogRt；

步骤3B、对计算得到的响应值HogRt进行归一化处理，并根据响应值所占比例分配权重；Hog特征在t帧的归一化权重为如下公式(8)：

其中，fHog为Hog特征对应分类器的输出响应值，fCN为CN特征对应分类器的输出响应值；

步骤4、采用上下文感知相关滤波框架对目标图像块提取颜色(CN)特征；

步骤4A、使用公式(6)计算滤波响应值记为CNRt；

步骤4B、对计算得到的响应值CNRt进行归一化处理，并根据响应值所占比例分配权重,CN特征在t帧的归一化权重为如下公式(8)：

其中，fHog为Hog特征对应分类器的输出响应值，fCN为CN特征对应分类器的输出响应值；

步骤5、用第t帧的权重来更新原有的Hog特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，为Hog特征在第t帧权重，

步骤6、用第t帧的权重来更新原有的CN特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，为CN特征在第t帧权重，

步骤7、根据各特征响应值大小为Hog特征和CN特征分配权重，将得到的最终融合后的响应图进行线性加权融合得到如下公式(12)：

并将得到的最大响应图Rmax用于目标的初始位置估计；

步骤8、引入一种自适应尺度估计机制，提高尺度变化适应能力，具体步骤如下：

首先提取尺度评估目标图像块尺寸为:

其中，P、R分别为目标前一帧的宽、高，a为尺度因子，s为尺度滤波长度；

步骤8A、由于输入样本中某一个图像块具有d维特征描述，为了得到最佳尺度相关滤波器w,可以通过最小化如下代价函数即公式(14)：

其中，w为相关滤波器，g为理想相关输出，l表示特征的某一维度，λ为正则项系数；

步骤8B、公式(14)在频域中的解为公式(15)：

其中代表复共轭，λ为正则项权重因子，t为帧序号；d,k为特征维度数；

步骤8C、为了得到鲁棒的结果，对公式(15)中的W^l分子分母分别进行更新：

其中η为学习因子，代表复共轭，λ为正则项权重因子，t为帧序号，d,k为特征维度数；

步骤8D、在下一帧中，尺度滤波器的响应可通过求解公式(18)来确定：

步骤9、设定一个响应阈值T,当公式(12)得到的最大响应值Rmax>T时，更新位置滤波模型即公式(7a)和公式(7b)，尺度滤波模型即公式(16)和公式(17)；

步骤9A、当前序列滤波模型更新结束后，然后再更新公式(10)、公式(11)对应的两种特征权重更新因子；

步骤10、若公式(12)得到的最大响应值Rmax<T，则不更新当前序列滤波模型，而采用步骤8所述的尺度估计方法进行尺度估计，并进入至下一帧目标的跟踪。