一种视觉目标跟踪自适应的模板融合方法与流程

本发明属于目标跟踪
技术领域：
，更具体地，涉及一种视觉目标跟踪自适应的模板融合方法。
背景技术：
：目标跟踪广泛应用于生产和生活领域。无论在军用还是民用方面，目标跟踪都是重要的组成部分。视觉目标跟踪技术在生态环境保护、飞行安全、畜牧业自动化等领域都有重要意义。例如在机场驱鸟方面，机场内的飞鸟也会对航空公司造成隐患，不但造成巨大的经济损失，还对乘客安全带来了严重的威胁。因此需要对机场的飞鸟进行跟踪，作为驱离的依据。另外，无人机作为一种新兴的智能飞行器有着行动灵活，起飞及飞行要求低，不受场地制约，升空速度快，滞空时间较长，获取容易，控制距离较远等特点。而针对无人机群的跟踪也是无人机大量应用和避免无人机对机场等重要设施造成影响的重要手段。同时，在畜牧业和动物研究方面，许多动物如牛群、羊群、鸟群等，也是以集群方式行动。无论是研究动物的迁徙方式，还是为了防止放牧过程中牲畜离群，都需要有效的获取这些动物的迁移和运动信息。因此研究人员往往需要对这些目标群体进行跟踪处理并获得每个个体的运动轨迹。在多目标跟踪任务中，如果目标之间空间距离十分接近，可能出现目标之间的遮挡或运动轨迹交叉等情况，很容易产生混淆。动物类目标在运动过程中可能会产生不同程度的形变，例如鸟类在挥动翅膀时产生的形变，目标的形态与尺度变化使得目标模板难以保证对目标状态变化的适应性。如果使用静态模板可能会导致跟踪性能不佳，而一般的动态模板容易受到背景污染，例如，相关滤波，其在目标出现运动模糊、部分遮挡等干扰时，仍然根据这些目标区域进行模板更新，从而容易产生模板污染。技术实现要素：针对现有技术的缺陷和改进需求，本发明提供了一种视觉目标跟踪自适应的模板融合方法，其目的在于通过一方面判断当前模板是否更新，另一方面自适应地计算模板加权系数，能够更好抵抗跟踪过程中出现的干扰情况。为实现上述目的，按照本发明的第一方面，提供了一种视觉目标跟踪自适应的模板融合方法，该方法包括以下步骤：s1.将上一帧的目标特征图与当前帧的特征图进行卷积计算，得到目标上一帧的响应图；s2.计算目标上一帧的响应图的极大值和均值的比值；s3.当比值小于等于设定阈值时，当前帧的目标模板直接沿用上一帧的目标模板，当比值大于设定阈值时，当前帧的目标模板为上一帧的目标模板和上一帧的目标特征图加权融合图；s4.对当前帧的目标模板和第一帧的目标特征图进行加权融合，得到当前帧的融合模板，以此更新当前帧的目标模板。优选地，目标上一帧的响应图的计算公式如下：其中，z表示目标图像，s表示当前帧图像；表示特征提取函数；b表示二维偏置矩阵，m表示当前帧帧号。优选地，特征提取函数采用人工设计或者深度学习网络训练得到。优选地，当前帧的目标模板计算公式如下：其中，z表示目标图像，m表示当前帧帧号，β表示模板更新系数，ratio表示目标上一帧的响应图的极大值和均值的比值，σ表示设定阈值，用于判断是否应该更新目标模板，表示上一帧的目标特征图，表示上一帧的目标模板，第一帧的目标模板初始化为第一帧的目标特征图优选地，β＝0.5，σ＝1。优选地，当前帧的融合模板计算公式如下：其中，表示当前帧的融合模板，表示当前帧的目标模板，表示第一帧的目标特征图，z表示目标图像，m表示当前帧帧号，λ表示模板加权系数。优选地，模板加权系数计算公式如下：其中，f1(z,s)表示计算出的响应图，f2(z,s)表示计算出的响应图。为实现上述目的，按照本发明的第二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视觉目标跟踪自适应的模板融合方法。总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：(1)本发明通过计算响应图的极值和均值比值，用于判断是否进行模板更新，由于过滤掉目标响应程度较弱的帧，避免将一些质量较差的帧用于模板更新，从而提高了模板的质量，以取得更好的跟踪效果。(2)本发明自适应计算模板融合系数，从计算公式中可知，与当前帧响应较强的模板会获得更大的更新权重，既进行了目标状态的更新，又减小了目标模糊、遮挡(此时与当前帧响应较弱，更新时的权重小)对模板的污染，对于视频数据的利用更加充分，有效抑制目标跟踪过程中的目标形变和背景对模板污染的问题，提高了跟踪过程中的模板质量。附图说明图1为本发明提供的一种视觉目标跟踪自适应的模板融合方法流程图；图2为本发明提供的统计结果对比准确率图；图3为本发明提供的统计结果对比成功率图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，本发明提供了一种视觉目标跟踪自适应的模板融合方法，该方法包括以下步骤：步骤s1.将上一帧的目标特征图与当前帧的特征图进行卷积计算，得到目标上一帧的响应图。优选地，目标上一帧的响应图的计算公式如下：其中，z表示目标图像，s表示当前帧图像；表示特征提取函数；b表示二维偏置矩阵，m表示当前帧帧号。优选地，特征提取函数采用人工设计或者深度学习网络训练得到。本实施例采用孪生网络作为目标模板特征提取网络，但是本发明在使用过程中不局限于这一种特征提取方式。全卷积孪生网络的训练过程硬件环境包括：一个cpu，型号为intel(r)core(tm)i7-6850k，6核心，12线程的cpu，主频3.60ghz；两个gpu，型号为nvidiagtx1080ti；内存64gb。实验的软件环境包括：ubuntu16.04操作系统，深度学习框架为tensorflow。网络的训练数据使用ilsvrc-vid数据集。这个数据集中全部4417个视频数据都用于训练及调整网络参数。迭代训练方法采用随机梯度下降方法。参数初始化方法为xavier方法。训练迭代轮次为50，每个轮次训练50000个图像对。批次大小设为32。初始学习率设为0.01，学习率指数衰减，最低学习率为0.00001。输入图片对之间的最大间隔帧为100。没有特别说明时，β依经验取0.5。步骤s2.计算目标上一帧的响应图的极大值和均值的比值。将目标上一帧的响应图的极大值和均值的比值作为衡量当前帧和上一帧中目标的差异度，比值越小，表明差异度越大。步骤s3.当比值小于等于设定阈值时，当前帧的目标模板直接沿用上一帧的目标模板，当比值大于设定阈值时，当前帧的目标模板为上一帧的目标模板和上一帧的目标特征图加权融合图。当比值小于等于设定阈值时，表明两者差异度大，这种情况是由于目标模糊或遮挡导致，所以，本发明为了不把背景污染引入目标模板，当前帧的目标模板沿用上一帧目标模板；当比值大于设定阈值时，表明差异度小，当前帧的目标模板为上一帧的目标模板和上一帧的目标特征图加权融合图。优选地，当前帧的目标模板计算公式如下：其中，z表示目标图像，m表示当前帧帧号，β表示模板更新系数，ratio表示目标上一帧的响应图的极大值和均值的比值，σ表示设定阈值，用于判断是否应该更新目标模板，表示上一帧的目标特征图，表示上一帧的目标模板，第一帧的目标模板初始化为第一帧的目标特征图优选地，β＝0.5，σ＝1。步骤s4.对当前帧的目标模板和第一帧的目标特征图进行加权融合，得到当前帧的融合模板，以此更新当前帧的目标模板。优选地，当前帧的融合模板计算公式如下：其中，表示当前帧的融合模板，表示当前帧的目标模板，表示第一帧的目标特征图，z表示目标图像，m表示当前帧帧号，λ表示模板加权系数。优选地，模板加权系数计算公式如下：其中，f1(z,s)表示计算出的响应图，f2(z,s)为计算出的响应图。本发明将当前帧的目标模板和第一帧的目标特征图进行加权融合，得到当前帧的融合模板，避免引入跟踪过程中目标模糊或者遮挡的对模板的影响。具体地，目标污染越小，当前帧的目标模板和当前帧的特征图相似度就越高，则响应结果f1(z,s)越大，max(f1(z,s))就越大，当前帧模板占融合模板的比例就越大；如果当前帧受到一些干扰，目标的特征变化就比较大，当前帧的目标模板和当前帧的特征图相似度越低，响应结果f1(z,s)越小，max(f1(z,s))就越小，当前帧模板占融合模板的比例就越小，第一帧特征图占融合模板的比例就越大，而第一帧特征图作为最准确的先验知识，避免在模板更新过程中引入干扰信息。模板加权系数的分母是为了归一化，使得模板加权系数λ在[0,1]区间。得到当前帧的融合模板后，进一步用于目标跟踪时，还包括以下步骤：利用卷积计算响应图和跟踪结果再取响应图fse(z,s)最大值处作为当前目标的跟踪结果。若当前帧的全部目标跟踪未完成，则继续进行下一个目标i＝i+1，返回步骤s1，否则，判断图像序列或视频数据是否结束，若未结束，则m＝m+1，返回步骤s1，若是，表明跟踪结束，输出视频中除第一帧以外其余帧中全部目标的位置。根据表1的参数进行实验。表1图2和图3分别是基于融合模板的视觉目标跟踪算法性能统计结果对比准确率图和成功率图。准确率图的横坐标为中心位置误差距离阈值，单位为像素。纵坐标为对应该阈值的距离精度。成功率图的横坐标为交并比阈值。纵坐标为对应该阈值的重叠精度。表2为实验统计结果。相对于实验test1、test2，基于融合模板的视觉目标跟踪算法具有明显优势。对于融合模板的实验fusion，准确率曲线面积提高了0.1133，成功率曲线面积提高了0.0766，所以可以看出融合模板的效果非常明显。这个实验结果说明了本发明算法的有效性。可以看到，本发明算法的曲线的表现显然更优。表2序号实验名称准确率曲线面积成功率曲线面积1test10.48590.41082test20.48950.40943fusion0.62660.5092此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视觉目标跟踪自适应的模板融合方法。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12