一种基于高置信度更新补充学习的跟踪算法的制作方法

本发明涉及一种基于高置信度更新补充学习的跟踪算法，特别是一种视频跟踪方法，属于图像处理领域，

背景技术

目标跟踪是计算机视觉领域的核心问题之一，在人机交互、视频监控、增强现实等领域有广泛的应用。尽管在过去的几十年里该领域已经取得了很多进步，但由于光照变化、几何形变、局部遮挡、背景混乱、快速运动等干扰，对任意目标的跟踪仍然是一个非常具有挑战性的任务。

近年来涌现出很多基于相关滤波的目标跟踪算法，能较好的进行视频单目标跟踪，其中具有代表性的是实时颜色补充学习目标跟踪算法。但是，基于补充学习的实时目标跟踪算法(staple)方法在更新滤波器时并没有考虑当前帧结果的可靠性，而是全部更新。使得不可靠的响应结果严重影响到训练出来的滤波器，错误积累到一定程度之后将导致跟踪失败。

技术实现要素：

本发明要解决的技术问题是针对现有目标跟踪算法在更新滤波器时没有考虑当前帧结果的可靠性而导致跟踪失败的不足，提出一种基于高置信度更新补充学习的跟踪算法，在实时补充学习跟踪(staple)的基础上加入了高置信度检测步骤，从而使得跟踪算法更稳健、准确。

为解决上述技术问题，本发明提出一种基于高置信度更新补充学习的跟踪算法(hclt)，包括训练可检测帧图片的岭回归滤波分类器、输入当前帧及分类器参数得到当前帧的相关滤波分类器的检测响应值、计算相关滤波响应的置信度、根据置信度sⁿ与阈值θⁿ的大小关系判断是否更新分类器参数、计算连续不更新的帧数并对超过10帧的强制更新、通过融合颜色补充学习器的响应得到最终的跟踪位置、输出当前帧跟踪结果及分类器参数七个步骤；具体过程如下：

(1)利用标准的相关滤波框架，训练出一个可检测每帧图片得到检测响应值的岭回归滤波分类器，即其中，rcf是图片检测响应值，z表示新的帧图片，下标c表示特征层，f^-1表示离散傅立叶逆变换，^表示离散傅立叶变换，是是经过离散傅立叶变换之后的相关滤波器系数，x是所有循环样本组成的矩阵，y表示标签矩阵，λ是正则项系数，＊表示共轭操作；

(2)输入当前帧及分类器参数，利用滤波分类器得到当前帧的相关滤波分类器的检测响应值；

(3)计算相关滤波响应的置信度其中，μcf是rcf中所有元素的均值，σcf是rcf的标准差；

(4)计算第n帧的阈值其中，ρ是固定的阈值比例参数，sⁱ是第i帧的置信度得分，i＝1，2，3，......，n-1；根据置信度s与阈值θ的大小关系判断是否更新分类器参数，若当前帧的置信度sⁿ大于当前帧的阈值θⁿ，则更新相关滤波分类器系数，若当前帧的置信度sⁿ小于当前帧阈值θⁿ，则不更新；

(5)计算出连续不更新的帧数l，若l≥10，则强制更新；

(6)利用融合颜色补充分类器r＝ηrch+(1-η)rcf，对图像进行融合颜色补充学习，得到最终的响应值，r中最大值的位置就是跟踪结果，即最终的跟踪位置；其中，η是融合系数，rch是颜色直方图响应；

(7)输出最大响应值的位置，即当前帧跟踪结果，再输出更新后的分类器参数，用于下一帧的跟踪。

所述步骤(2)中的当前帧和分类器参数是根据上一帧的结果得到的，检测响应值是根据相关滤波分类器检测得到的响应值；步骤(4)中的阈值是根据步骤(3)中置信度的稳定程度计算得到的；步骤(5)中的连续不更新的帧数通过步骤(4)中的是否更新参数统计出来；步骤(6)中的颜色补充分类器是每帧都更新的；步骤(7)中的跟踪结果是响应最大值的位置。

所述步骤(1)中λ值的取值是0.01，步骤(3)中标准差σcf即每帧响应rcf(向量)的平均值。步骤(6)中融合系数η的取值是0.4。λ、η的取值范围可以根据实际需要具体确定。

本发明的原理是：

首先利用标准的相关滤波框架，训练出一个岭回归分类器。目标是找到一个函数f(z)＝w^tz，使得在循环样本{xi}上的检测结果和回归目标{yi}之间的平方误差最小，即：

利用岭回归的相关推导，可直接得到系数矩阵的闭式解w＝(x^tx+λl)^-1x^ty，其中x表示所有循环样本组成的矩阵，y表示标签矩阵。进一步地，利用离散傅立叶变换，可以快速计算出系数矩阵

这里的帽子＾表示离散傅立叶变换，＊表示共轭操作，⊙表示元素级的乘法，除法表示元素级的除。

检测时，当输入新的帧图片z时，其检测结果为r＝w^tz，利用离散傅立叶变换，可简化为

这里的f^-1表示离散傅立叶逆变换，同上＾、⊙分别表示离散傅立叶变换和点乘。

在使用多通道特征，如hog特征时，同kcf[5]一样，本发明在检测时直接将多层特征在通道方向上求和，即

这里的下标c是特征层。求得当前帧的相关滤波分类器响应图。

本发明引入一种高置信度更新策略，对于cf响应值rcf，计算其置信度得分

其中，rcf是根据式(4)得到的相关滤波总响应，μcf是rcf中所有元素的均值，σcf是其标准差。可以观察到，当响应rcf的峰值相对于周边较强时，置信度得分会变高；反之会降低。

根据置信得分上述的性质，本发明设定一个阈值，这个阈值θ是每帧都变化的，第n帧的阈值θⁿ这样设计

其中，sⁱ是第i帧的置信度得分，ρ是固定的阈值比例参数。得到当前帧阈值θⁿ之后，若当前帧的置信度sⁿ大于当前帧阈值时，即判断为当前帧的响应结果可信，随即使用当前帧的跟踪结果来更新相关滤波器；反之，不更新。

接下来，计算出连续不更新的帧数，若超过10帧，则强制更新。这样就防止了过久的不更新导致跟踪器不能自适应目标表观变化的问题。

在得到稳定性加权的相关滤波响应rcf和颜色直方图响应rch之后，采用一种线性加权的结合方式得到最终的颜色补充分类器响应r＝ηrch+(1-η)rcf，其中η是融合系数，r中最大值的位置就是跟踪结果；通过融合颜色补充分类器的响应，得到最终的响应图；输出最大响应值的位置即当前帧跟踪结果，再输出更新过后的分类器参数，用于下一帧的跟踪。

本发明提出的基于高置信度更新补充学习的跟踪算法(high-confidenceupdatecomplementarylearnertracker，hclt)，根据标准相关滤波分类器得到相关滤波响应值，计算相关滤波响应的峰旁此(peak-to-sideloberatio，psr)作为响应置信度，若该置信度大于平均阈值则当前帧继续更新相关滤波器，如果小于平均阈值则停止更新滤波器；接着计算出持续不更新的帧数，如果有连续10帧不更新时，则强制更新；最后通过融合颜色补充学习器的响应，得到总响应，响应中最大值的位置即为跟踪结果。跟踪过程中有效地利用响应置信度得分，使得原更新策略变得更高效、稳健、准确，显著地提高跟踪算法的鲁棒性，在目标遭受部分遮挡、旋转、尺度变化、快速运动、剧烈光照变化等各种情况时，依然可以有效地跟踪到目标物体，具有不受跟踪目标环境变化影响、可以有效地跟踪到目标物体等优点、

附图说明

图1为本发明的流程图。

图2为本发明的原理图。

图3为本发明实施例与其它主流跟踪算法的成功率对比图。

图4为本发明实施例与其它主流跟踪算法的精度对比图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详尽描述，实施例中未注明的技术或产品，均为现有技术或可以通过购买获得的常规产品。

实施例1：如图1、2所示，本基于高置信度更新补充学习的跟踪算法(hclt)包括训练可检测帧图片的岭回归滤波分类器、输入当前帧及分类器参数得到当前帧的相关滤波分类器的检测响应值、计算相关滤波响应的置信度、根据置信度sⁿ与阈值θⁿ的大小关系判断是否更新分类器参数、计算连续不更新的帧数并对超过10帧的强制更新、通过融合颜色补充学习器的响应得到最终的跟踪位置、输出当前帧跟踪结果及分类器参数七个步骤；具体过程如下：

(1)利用标准的相关滤波框架，训练出一个可检测每帧图片得到检测响应值的岭回归滤波分类器，即其中，rcf是图片检测响应值，z表示新的帧图片，下标c表示特征层，f^-1表示离散傅立叶逆变换，^表示离散傅立叶变换，是经过离散傅立叶变换之后的相关滤波器系数(即学到的相关滤波器系数)，x是所有循环样本组成的矩阵，y表示标签矩阵，λ是正则项系数，＊表示共轭操作；

(2)输入当前帧及分类器参数，利用滤波分类器得到当前帧的相关滤波分类器的检测响应值；

(3)计算相关滤波响应的置信度其中，μcf是rcf中所有元素的均值，σcf是向量rcf的标准差；

(4)计算第n帧的阈值其中，ρ是固定的阈值此例参数，sⁱ是第i帧的置信度得分，i＝1，2，3，......，n-1；根据置信度s与阈值θ的大小关系判断是否更新分类器参数，若当前帧的置信度s″大于当前帧的阈值θⁿ，则更新相关滤波分类器系数，若当前帧的置信度sⁿ小于当前帧阈值θⁿ，则不更新；

(5)计算出连续不更新的帧数l，若/≥10，则强制更新；

(6)利用融合颜色补充分类器r＝ηrch+(1-η)rcf，对图像进行融合颜色补充学习，得到最终的响应值，r中最大值的位置就是跟踪结果，即最终的跟踪位置；其中，η是融合系数，rch是颜色直方图响应；

(7)输出最大响应值的位置，即当前帧跟踪结果，再输出更新后的分类器参数，用于下一帧的跟踪。

本方法步骤(2)中的当前帧和分类器参数是根据上一帧的结果得到的，检测响应值是根据相关滤波分类器检测得到的响应值；步骤(4)中的阈值是根据步骤(3)中置信度的稳定程度计算得到的；步骤(5)中的连续不更新的帧数通过步骤(4)中的是否更新参数统计出来；步骤(6)中的颜色补充分类器是每帧都更新的；步骤(7)中的跟踪结果是响应最大值的位置。

本方法步骤(1)中λ＝0.01，步骤(3)中标准差σcf是向量rcf标准差(即每帧响应rcf向量的平均值)，步骤(6)中融合系数η＝0.4。

本实施例中采用成功率图(successrateplots)和精度图(precisionplots)两种评价准则对跟踪器的性能进行评估。在成功率图中，横坐标表示重叠阈值(overlapthreshold)，纵坐标表示成功率(successrate)，重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。类似地，在精度图中，横坐标表示位置误差阈值(locationerrorthreshold)，单位是像素，纵坐标表示精度(precision)。

通过上述两种评价方式，选取50个视频序列验证本实施例提供的目标跟踪方法，这些视频序列含有不同的挑战因素，包括光照变化、尺寸变化、遮挡、变形、快速运动、运动模糊、面内旋转、超出范围、面外旋转、背景混乱和低分辨率。同时，将本发明方法hclt实施例的跟踪方法与现有的9种主流跟踪方法进行了比较，包括cfnet、staple_ca、dlssvm、siamfc、acfn、hdt、csr-dcf、staple以及rpt。图3和图4分别为本实施例和其他几种主流跟踪方法的成功率和精度的对比，图中可以清楚地反映出本发明方法hclt的优势。

本基于高置信度更新补充学习的跟踪算法(hclt)的跟踪过程中有效地利用了响应置信度得分，使得原更新策略变得更高效、稳健、准确，显著地提高跟踪算法的鲁棒性，在目标遭受部分遮挡、旋转、尺度变化、快速运动、剧烈光照变化等各种情况时，依然可以有效地跟踪到目标物体，

上面结合附图对本发明的技术内容作了说明，但本发明的保护范围并不限于所述内容，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下对本发明的技术内容做出各种变化，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。