一种基于增广样本的流形正则化相关滤波目标跟踪方法与流程

本发明涉及一种基于增广样本的流形正则化相关滤波目标跟踪方法，属于计算机视觉、模式识别、人机交互、视频监控以及图像压缩技术领域。

背景技术：

目标跟踪是计算机视觉领域重要的前沿课题，是学术界和工业界关注的焦点之一。它旨在从视频或图像序列中定位场景中的感兴趣目标，并估计目标的运动状态，包括位置、尺度、旋转角度等。鲁棒而精确的目标跟踪可以为人体运动分析、事件检测、行为和场景理解等计算机视觉高层任务提供支撑和输入，因而可以促进计算机视觉自身的发展。同时，在实际应用方面，由于软件硬件技术的飞跃发展，目标跟踪在智能监控、人机交互、图像压缩等领域的巨大应用价值也日益突显。

近年来，基于相关滤波的目标跟踪方法取得了巨大成功，但是也存在一些缺陷：

(1)在2012年europeanconferenceoncomputervision会议论文集第702至715页，题目为：“exploitingthecirculantstructureoftracking-by-detectionwithkernels”文章中，探索了核矩阵的循环结构，使用潜在的大量训练样本学习一个判别式的回归模型，不仅提升了目标跟踪算法的运算效率而且提升了算法的跟踪准确度。但是，这种方法没有考虑样本的空间流形结构，导致在空间结构中相邻的样本之间的分类标记相差较大。

(2)在2015年ieeetransactionsonpatternanalysisandmachineintelligence第37卷第3号第583页至596页，题目为：“high-speedtrackingwithkernelizedcorrelationfilters”文章中，通过引入更加有效的矩阵对角化技术对(1)中文章的算法进行重新推导，使得算法在目标跟踪上的准确度进一步提升。然而，此方法同样没有空滤到样本的空间结构，同样导致在空间结构中相邻的样本的标记不同，而且无法解决目标的尺度变化和旋转问题。

(3)在2014年europeanconferenceoncomputervision会议论文集第254至265页，题目为：“ascaleadaptivekernelcorrelationfiltertrackerwithfeatureintegration”文章中，通过利用尺度自适应的机制来估计目标的尺度大小，在一定程度上解决了目标在运动过程中的尺度变化问题。它还提出一种特征集成的策略进一步提升了目标跟踪的准确性。然而，该方法只考虑到了有目标所生产的样本，而没有考虑到其周围的负样本以及新的图像帧中的无标记样本，容易导致学习到的分类模型过拟合。

(4)在2015年ieeeinternationalconferenceondigitalsignalprocessing会议论文集第1035至1038页，题目为：“arotationadaptivecorrelationfilterforrobusttracking”文章中，提出用由目标旋转得到的多个不同的具有特定旋转角度的目标模板学习多个相关滤波模型来估计目标的旋转角度，有效的解决了目标的选择问题。但是，该算法无法给流形空间中相近的样本赋予相同的标记，而且算法训练多个滤波模型的计算量也会成倍提升。

(5)在2015年ieeeinternationalconferenceoncomputervision会议论文集第4310至4318页，题目为：“learningspatiallyregularizedcorrelationfiltersforvisualtracking”文章中，考虑的相关滤波器分类模型的内部的空间位置信息，提出一种空间正则的判别式相关滤波目标跟踪算法，有效的提升分类模型的准确度。然而，该方法仍然没有考虑更多的样本，包括有标记样本和无标记样本，因此，容易导致分类模型过拟合。

(6)在2012年ieeeconferenceoncomputervisionandpatternrecognition会议论文集第1854至1861页，题目为：“robusttrackingviaweaklysupervisedrankingsvm”文章中，提出一种在线拉普拉斯排序的支持向量跟踪算法，考虑了样本的空间结构信息，在目标跟踪上取得好的结构。但是，该算法只通过采样得到训练样本，无法产生丰富的训练样本集合，严重影响学习到的分类模型的准确度。

上述已有的基于流形及相关滤波的跟踪方法已经能够进行有效的目标跟踪，但是通过对这些相关工作进行研究，两个主要的发现促使提出本发明的目标跟踪方法：

第一，大多数基于相关滤波的目标跟踪方法仅采用有标记的样本来学习核化岭回归模型。而事实上，高维样本特征空间的内在流形几何结构是由有标记样本和无标记样本共同构成的。在目标跟踪中特征空间位于流形的假设基础之上，我们认为一个良好的分类器不仅能够考虑到无标记的样本，还应该具有给流形空间中相近的样本赋予相同的标记的能力。因此，利用由有标记和无标记样本所构成的流形空间来训练一个高性能的分类模型是目标跟踪的一个关键问题。

第二，几乎所有基于相关滤波的目标跟踪算法都只采用由目标区域提取的单个基样本循环移位所产生的数据来训练分类模型。但是，由于训练样本的个数相对较少，所以只用这些训练数据所学习到的分类模型的性能可能是次优的。而且，分类器不仅可能对这些数据过拟合，还容易受到背景复杂、快速运动或相似目标所导致的目标表观变化的影响。我们注意到，目标区域周围几乎无穷无尽的负的基样本都被忽略了，而这些负样本可能有助于训练一个更具判别力的分类模型。因此，引入有效利用这些负样本的方法对增强模型的分类能力具有重要意义。

技术实现要素：

本发明的目的是针对现有基于相关滤波的跟踪方法未考虑流形空间结构导致分类不准确的问题以及未考虑到目标区域周围负基样本而导致的跟踪漂移问题，提出了一种基于增广样本的流形正则化相关滤波目标跟踪方法。

一种基于增广样本的流形正则化相关滤波目标跟踪方法，包括如下步骤：

s1、分别在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本以及在当前帧图像中上一帧图像目标所在区域提取出无标记的基样本；这三类基样本组成增广基样本集合；

其中，所述的上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本是有标记基样本；所述的提取的基样本可以是梯度直方图特征、灰度特征、深度特征；

s2、根据s1中有标记和无标记基样本大小，生成由有标记基样本循环移位得到的所有样本对应的标记矩阵；

s3、利用s1生成的增广基样本集合及s2生成的标记矩阵，结合核矩阵和拉普拉斯矩阵的块循环结构，使用分块学习策略学习一个流形正则的最小二乘相关滤波分类模型；

s4、判断当前视频的帧数是大于还是等于第二帧，并分别进行相应操作，具体为：

s4.1如果当前帧数等于视频的第二帧，则保存当前分类模型；

s4.2如果当前帧数大于第二帧，则利用当前帧的分类模型对保存的上一帧分类模型按照一定的学习率进行更新；

其中，s4.2所述的学习率取值范围为0到1；

s5、利用s4保存的分类模型对s1中无标记基样本循环移位所产生的所有无标记样本采用快速分块检测的算法确定其标记，再根据此标记信息确定当前目标位置；

s6、判断当前帧数是否是最后一帧，并进行相应操作，具体为：

s6.1如果当前帧数是最后一帧，表明跟踪结束，跳至s7；

s6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至s1，继续下一帧图像的目标跟踪；

s7、输出每一帧图像的目标状态；

至此，从s1到s7完成了一种基于增广样本的流形正则化相关滤波目标跟踪方法。

有益效果

本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法用于定位视频或图像序列中的感兴趣目标，与已有目标跟踪方法相比，具有以下有益效果：

1、本发明采用一种半监督的方式在特征空间服从流形假设的基础上预测无标记样本的标记，显著的提升了基于相关滤波的分类模型的分类准确度性能；

2、本发明通过利用从目标区域和非目标区域分别提取正负基样本生成增广基样本集，极大的丰富了训练样本数量，有助于进一步提升分类模型的判别能力；

3、本发明提出一种求解优化问题的分块快速算法，能够提到目标跟踪的预算效率，使其可以应用到实时的系统中。

附图说明

图1是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的流程图；

图2是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的由增广基样本生成增广样本的示意图以及不同增广样本排列所形成的核矩阵示意图；

其中，(a)由增广基样本生成增广样本的图，第一行为增广基样本，(b)是由增广基样本生成增广样本循环移位生成的样本组织形式为x＝[p¹x1，...，p¹xm，...，p^sx1，...，p^sxm]^t时的核矩阵k示意图，(c)是由增广基样本生成增广样本循环移位生成的样本组织形式为x＝[p¹x1，...，p^sx1，...，p¹xm，...，p^sxm]^t时的核矩阵k′示意图；其中{x1，...，xm}表示m个基样本，p^t表示矩阵p的t次幂，其中0s-1是一个具有s-1个零元素的列向量，is-1是一个大小为(s-1)×(s-1)的单位矩阵，表每个基样本的维度；

图3是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的示意图。

具体实施方式

本发明的一种基于增广样本的流形正则化相关滤波目标跟踪方法提出将目标跟踪任务看作是一个半监督的分类问题，在假设样本特征空间位于流形的基础之上，结合样本的循环结构，建立一个基于流形正则的相关滤波分类模型。与已有方法不同的是，本发明充分考虑到了无标记样本和有标记样本之间的空间位置关系，使得无标记样本的标记预测更加准确。同时，为了使得算法更具判别力，本发明提出一种扩充训练样本集合的方法，避免了分类模型对小样本集合的过拟合问题。此外，本发明建立了该目标跟踪方法的优化模型，并利用矩阵的块循环结构，提出一种基于分块的快速求解算法，使得该方法能够应用于实时的目标跟踪任务中去。

以下通过具体实施例详细描述本发明的实施方式，实施例不作为对本发明的保护范围的限制。

实施例1

s1、分别在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本以及在当前帧图像中上一帧图像目标所在区域提取出无标记的基样本；这三类基样本组成增广基样本集合；

其中，所述的上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本是有标记基样本；所述的提取的基样本可以是梯度直方图特征、灰度特征、深度特征；

具体实施时，图像帧来源于视频监控采集的rgb图像；可以提取上一帧图像中目标区域的1个图像块以及目标区域左右两边与目标相邻并具有同样大小的2个图像块，以及在当前帧图像中上一帧图像目标所在区域提取出一个图像块；图像块归一化宽高为32×32；

然后在这些图像块上分片提取每个图像块的梯度直方图特征，每片图像宽高大小为4×4，得到3个基样本，维度为8×8×31；

s2、根据s1中有标记和无标记基样本大小，生成由有标记基样本循环移位得到的所有样本对应的标记矩阵；

对于由正的基样本循环移位生成的每个样本的标记服从高斯函数，位于目标中的样标记为1，其他样本标记则根据其与目标中心的距离逐渐衰减到0；对于所有由负的基样本循环移位生成的样本其标记均为0；只保留3个基样本对应的3标记矩阵即可，无需生成循环移位后的样本；

s3、利用s1生成的增广基样本基集合及s2生成的标记矩阵，结合核矩阵和拉普拉斯矩阵的块循环结构，使用分块学习策略学习一个流形正则的最小二乘相关滤波分类模型；

给定由有标记基样本循环移位生成的l个有标记的样本集合xi表示第i个样本，yi是xi的标记；以及由无标记基样本循环移位生成的个无标记的样本集合本发明旨在通过极小化下面的优化函数寻找再生核hilbert空间(reproducingkernelhilbertspace，rkhs)(记为)上的最优分类函数f^*，mercer核κ为rhhs上的再生核：

其中，f^*表示最优的分类函数，表示使后面的式子达到小值时f的取值，表示f属于再生核hilbert空间∈表示属于，∑表示求和符号，f(xi)表示将样本xi代入函数f中的值，||·||κ是由rkhs上mercer核κ诱导的范数，n＝l+u表示所有样本的个数，λ和γ表示一个预定的常数，w是一个相似性度量矩阵其每个元素wij表示样本xi和样本xj的相似性度量权重，f＝[f(x1)，f(x2)，…，f(xn))]^t，[...]^t表示中括号内向量或矩阵的转置，l＝d-w是拉普拉斯矩阵其中对角矩阵d的每个对角元素给定样本v,其回归值可以表示为：

其中αi是n维拉格朗日乘子α的第i个元素；α的解析形式为：

其中对角矩阵的前l个对角元素为1，diag是一个向量对角化算子，表示将其后的向量转换一个对角矩阵，表示n×n维的实数空间，是一个单位矩阵，是s2中所有基样本移位得到的样本对应样本的标记矩阵展开组成的向量，表示n维的实数空间，核矩阵k的每个元素为kij＝k(xi，xj)，(·)^-1表示括号里矩阵的逆；

训练该分类模型的样本是s1中所提取的增广基样本循环移位生成的，核矩阵k可以分解为

其中是矩阵的第f块，每块的每个元素f＝1，...，s，s表示基样本的维度，diag(·)是一个块对角算子，即将其后的元素转换成块对角矩阵；其中是kronecker积，in是一个n×n的单位矩阵，fs是一个大小为s×s的离散傅里叶变换矩阵；向量x的傅里叶变换核矩阵每块的每个元素其中是向量的第f个元素；令k(i，j)＝[k1(i，j)，k2(i，j)，...，ks(i，j)]^t表示由第i个和第j个基样本所生成的所有样本的计算的核向量，则向量假设存在m基样本{x1，x2，...，xm}，用于循环移位的转置矩阵为：

其中0s-1是一个具有s-1个零元素的列向量，is-1是一个大小为(s-1)×(s-1)的单位矩阵。图2(b)是由增广基样本生成增广样本循环移位生成的样本组织形式为x＝[p¹x1，...，p¹xm，...，p^sx1，...，p^sxm]^t时的核矩阵k示意图，(c)是由增广基样本生成增广样本循环移位生成的样本组织形式为x＝[p¹x1，...，p^sx1，...，p¹xm，...，p^sxm]^t时的核矩阵k′示意图；

同理，拉普拉斯矩阵l可以分解为

为了便于阐述，令δ＝λl，α的解析形式写为：

其中，块对角矩阵

式中单位矩阵零矩阵可以验证，j＝u^-1ju；标记向量其每个组成成分f＝1，...，s表示所有基样本在转移矩阵p^f下生产的样本的标记；因此，α的解可以写为

其中，f＝1，...，s；

根据线性矩阵的卷积定理，uy的计算可以通过对每个基样本的所有循环移位样本的标记向量执行傅里叶变换得到；也就是说，如果我们令则有表示中第f块的第i个元素，表示对y(f)进行傅里叶变换后的第i个元素；所以，

因此，本发明中分类模型α的学习可以转换成求解对的求解可以转换成分块求解s个子问题，而且每个子问题都是可以独立计算的；

具体实施时，基样本的个数n＝3，子问题的个数s＝8×8＝64，由有标记的基样本循环移位可以生成的有标记样本个数l＝3×8×8＝192，由无标记的基样本循环移位可以生成的无标记样本个数u＝1×8×8＝64，常数λ＝10^-9，γ＝10^-7，核函数使用高斯核函数；

s4、判断当前视频的帧数是大于还是等于第二帧，并分别进行如下操作：

s4.1如果当前帧数等于视频的第二帧，则保存当前分类模型；

s4.2如果当前帧数大于第二帧，则利用当前帧的分类模型对保存的上一帧分类模型按照一定的学习率进行更新；

其中，所述的学习率取值范围为0到1；

具体实施时，步骤s4.2采用一个学习率常数ε＝0.01对模型进行更新；假设在第m-1帧中确定目标时采用的模型参数为我们根据第m-1帧目标的位置采取正负基样本在第m帧中上一帧目标所在位置区域选取无标记基样本，重新学习一个模型参数那么，如果m＝2，则进入步骤s4.1，即使用进行后续步骤；如果，m＞2，在第m帧跟踪是模型的参数更新准则为

跟踪第m帧中目标的模型参数为

s5、利用s4保存的分类模型对s1中无标记基样本循环移位所产生的所有无标记样本采用快速分块检测的算法确定其标记，再根据此标记信息确定当前目标位置；

给定一个测试基样本z，具体实施中的测试基样本z即s1所述无标记基样本，所有循环移位样本的标记可以由下式计算得到：

f(z)＝(k^z)^tα，

其中，k^z表示基样本z的所有循环移位样本与由增广基样本循环移位生成的全部的增广样本集合的核矩阵；矩阵k^z也是一个块循环的矩阵，它的对角化形式可以写为

其中，

因此，

测试基样本的所有循环移位样本的标记向量f(z)可以通过对f(z)进行反傅里叶快速计算，而不需要计算大矩阵的逆问题；然后利用f(z)计算出一个无标记基样本的置信图，然后根据置信图确定当前目标的中心位置；图3最右边两图分别展示了本发明的一种基于增广样本的流形正则化相关滤波目标跟踪方法中置信图和与之对应测试基样本；

s6、判断当前帧数是否是最后一帧，并进行如下操作：

s6.1如果当前帧数是最后一帧，表明跟踪结束，跳至s7；

s6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至s1，继续下一帧图像的目标跟踪；

s7、输出每一帧目标的状态；

具体实施中，目标的状态为目标的中心位置坐标[x，y]以及目标的宽高[w，h]。

至此，从s1到s7完成了一种基于增广样本的流形正则化相关滤波目标跟踪方法。

实施例2

将实施例1中的由视频监控采集的rgb图像改成由红外设备采集的红外图像，或者其他具体视频采集设备或者连续图像生成设备获取的图像数据，该目标跟踪方法依然有效。

实施例3

将实施例1中的梯度直方图特征改为灰度特征、lab颜色特征、hsv颜色特征、神经卷积网络过程中的特征图以及其他的全局图像特征，本发明依然有效。

实施例4

将实施例1中高斯核函数改为线性核函数、多项式核函数以及其他可以使得核矩阵具有块循环结构的核函数，本算法依然有效。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、局部改进等，均应包含在本发明的保护范围之内。