基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置与流程

本发明涉及计算机视觉跟踪领域领域，更具体地说，涉及一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置。

背景技术：

目标跟踪算法是计算机视觉中用于处理视频图像信息的重要技术手段，并且有着广泛的应用场景，如机器人、视频监控、智能交通等。近几十年来，研究者提出了多种优秀的目标跟踪算法，在实际环境中的目标跟踪仍然面临着一系列的挑战。目标跟踪的过程中要面对目标快速移动、背景复杂、遮挡、光照变化等不定因素的挑战,常常导致跟踪失败，对跟踪算法鲁棒性要求很高。

一般来说，目标跟踪可以分成生成式模型和判别式模型，对于生成式模型，当目标处于复杂环境中，由于仅仅考虑如何准确的构建目标模型，而忽略了周围的目标背景信息，使得跟踪效果不理想。而判别式模型通过训练和更新分类器来获取目标和背景信息，此类算法表现出良好的跟踪性能。相关滤波跟踪-correlationfiltertracking作为判别式模型的一种，提出以来，其就出色的性能和速度优势，在跟踪领域引起很大关注。目前基于深度学习方法的目标跟踪方法和基于深度特征的相关滤波目标跟踪方法对目标的特征提取较好，因此在对抗复杂环境干扰时具有较好的鲁棒性，但是现有大多数该类方法速度非常慢，难以达到实时性，而极少数高速的该类方法跟踪效果比较差。因此传统的核化相关滤波跟踪方法在近几年使用较多。

基于核化相关滤波目标跟踪方法主要过程：

(1)初始化阶段：根据目标的初始化信息，在目标周围区域进行循环移位采样，根据移位样本的中心距离真实目标中心，形成高斯标签作为样本的标签值。提取样本特征，同时使用岭回归方法，训练学习得到滤波器。

(2)跟踪阶段：在待跟踪的搜索区域(上一帧的目标位置)进行特征提取，将学习到的滤波器与搜索区域进行卷积操作，得到响应图的最大值点即为目标中心位置。

(3)模型更新阶段：为了确保模型的鲁棒性，减少模型漂移，每一帧之间使用固定的学习率来进行模型更新。

相关滤波跟踪方法在各项跟踪性能指标均有良好的表现，但考虑跟踪场景中，目标难免存在被遮挡和目标丢失等问题。且相关滤波跟踪方法在采样过程中不能明确区分正负样本，而分类器只取置信图最大的点作为目标。当跟踪算法在处理目标被遮挡时，滤波器学习了不必要的噪音，导致模板随后每一帧都进行更新，使得错误不断累积，最终导致跟踪失败。通过大量的试验表明，当目标存在遮挡时，通过跟踪算法得到置信图，并进一步确定目标位置的方法会存在多峰响应问题。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的通过相关滤波算法在跟踪目标中无法解决目标被遮挡和目标被丢失，导致跟踪失败的技术问题缺陷，本发明提供一种基于多峰响应的抗遮挡目标跟踪方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于多峰响应的抗遮挡目标跟踪方法，其特征在于，具体包括如下步骤：

s1：读取t-1时刻的图像数据，从读取到的图像数据中，设定一跟踪目标α，并进一步确定目标α的中心位置，以及目标α的宽度wt-1和高度ht-1；

s2：在读取的t-1时刻的图像数据中，以目标α的中心位置为中心，划定宽度为wt-1、高度为ht-1的图像区域作为第一目标区域，进行hog特征和cn特征提取；

s3、在第一目标区域中，利用尺度金子塔模型，以目标α的中心位置为中心进行按比例放缩，得到s个尺寸不同的图像区域；放缩的比例系数为：

其中，r为尺度系数，参数s取值为正整数；符号“[]”表示其内部包含的参数按照四舍五入进行取整；

s4、将步骤s3所得的s个尺寸不同的图像区域调整到统一尺寸后，进行hog特征提取；根据提取到的hog特征值，构建t-1时刻下的尺度滤波器模板；

s5、根据步骤s2中提取到的hog特征和cn特征，构建t-1时刻下的位置滤波器模板；

s6：读取t时刻的图像数据，以t-1时刻目标α的中心位置为中心，划定宽度为wt-1，高度为ht-1的图像区域为第一候选区域；根据步骤s5中构建的构建位置滤波器模板，进一步确定t时刻下目标α的中心位置；根据步骤s6中构建的尺度滤波器模板，进一步确定t时刻下目标α的宽度wt和高度ht；

s7、以t时刻目标α的中心位置为中心，划定宽度为wt，高度为ht的图像区域为第二目标区域；

s8：利用核化相关滤波计算方法，结合步骤s7所得的第二目标区域，进一步求得t时刻下的位置响应置信图y1和尺度响应置信图y2；

s9：利用步骤s8计算所得到的位置响应置信图y1进行遮挡检测，若当前时刻存在目标遮挡，则进行遮挡处理；若不存在目标遮挡，则执行步骤s10；

s10：根据位置响应置信图y1和尺度响应置信图y2，进一步更新t时刻下的位置滤波器模板和尺度滤波器模板；

s11、重复步骤s6-s10，直到全部时刻的图像数据都处理完毕。

进一步的，步骤s5中，构建t-1时刻下的位置滤波器模板包括如下步骤：

s51、以t-1时刻的目标α的中心位置为中心，提取m通道的hog特征，将m通道的hog特征作为基样本x^m，由x^m经过循环移位得到若干个训练样本，对每个训练样本赋予对应的标签y^m；

s52、通过下述公式得到分类器系数w^m，所得参数w^m使得分类器f(z)＝(w^m)^tz最小：

其中：λ为正则化参数；i,j均为正整数，代表i行j列；

s53、引入核函数，将样本从低维空间映射到高维空间进行训练，所述分类器系数w^m转化为高维空间的系数a^m，参数a^m即为t-1时刻位置滤波器模板：

其中，符号“^”代表离散傅里叶变换；其中，κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列。

进一步的，步骤s4中，以t-1时刻的目标α的中心位置为中心，将n通道的hog特征作为基样本xⁿ，由xⁿ经过循环移位得到若干个训练样本，对每个训练样本赋予对应的标签yⁿ；使用同样的方式可以求得t-1时刻的尺度滤波器模板为：

其中，符号“^”代表离散傅里叶变换；κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列；λ为正则化参数。

进一步的，步骤s8中，提取第二目标区域的hog特征z^m和cn特征zⁿ，将z^m和zⁿ通过循环移位后，通过以下公式计算得到t时刻下的位置响应置信图y1：

其中，f^-1表示傅里叶逆变换，a^m和aⁿ分别为步骤s5和s4中得到的位置滤波器模板和尺度滤波器模板，x^m和xⁿ为t-1时刻中提取到的基样本，“·”为矩阵点乘符号；κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列；q＝{m,n}。

进一步的，步骤s9中，进行遮挡检测的步骤包括：

s91、对步骤s8得到的位置响应置信图y1进行一维投影，得到一个长峰波，所述长峰波包括多个峰，将多个峰组合成一个峰组num：

num＝[num1,num2,...,numn]；

其中numn代表第n个峰，n≥1；

s92、利用函数findpeaks(double(num))，计算峰组中每个峰对应的峰值，进一步得到峰值组peaks：

peaks＝[peak1,peak2,...,peakn]；

其中，peakn代表第n个峰的峰值；

s93、将峰值组peaks中每一项峰值与第一阈值threshold1比较，得到峰组中峰值大于第一阈值的个数peaks_num；所述第一阈值threshold1为峰值阈值；

s94、若peaks_num＞threshold2，其中，threshold2为峰值个数阈值；则认为在t时刻，所述目标α被遮挡，进一步进行遮挡处理；反之则没有存在遮挡，进入步骤s10。

进一步的，步骤s94中遮挡处理具体包括以下步骤：

s941、若判断t时刻下存在目标遮挡，利用t-1时刻的目标中心点位置，生成高斯分布状二维矩阵w1，使用以下公式来更新t时刻的位置响应置信图y′1：

y′1＝w1·y1；

其中，y1为t时刻的位置响应置信图；

s942、在更新后的响应置信图y′1中，将置信图中最大值的点作为t时刻的目标中心点，且t时刻下的位置滤波器模板更新为：

其中，和分别为t时刻和t-1时刻下提取到的基样本，q＝{m,n}；和分别t时刻和t-1时刻下hog特征模板；和分别t时刻和t-1时刻下cn特征模板；由和共同构成t时刻下的位置滤波器模版，和共同构成t-1时刻下的位置滤波器模板；

s943、对更新后的响应置信图y′1进行一维投影，并做遮挡检测；若目标依然被遮挡，则再次更新t时刻的位置响应置信图y1和尺度响应置信图y2，直到t时刻下目标不被遮挡，并进一步执行步骤s10。

进一步的，步骤s10中，t时刻的位置滤波器模板的更新步骤包括：

s101、将位置响应置信图y1中最大值的点作为t时刻的目标中心点；以目标中心点为中心，同步骤s5，进行按比例放缩，得到s个尺寸不同的图像区域的尺度响应值；

s102、根据步骤s101，找到最大尺度响应值n'所对应的图像区域：

其中，w’t和h’t为图像区域的宽度和高度，wt-1和ht-1分别为所述第一候选区域的宽度和高度；r为尺度系数；另外，参数s取值为正整数；符号“[]”表示其内部包含的参数按照四舍五入进行取整；w’t和h’t即为当前所求的最佳图像尺度；

s103、根据得到的最佳图像尺度，更新t时刻的位置滤波器模板，确定t时刻下目标α所处的最佳中心位置；以最佳中心位置为中心，划定宽度为w’t，高度为h’t的最佳图像区域；提取所述最佳图像区域的hog特征和cn特征将t时刻的位置滤波器模板通过下述公式进一步的更新为：

其中，η为学习率，和分别为t时刻和t-1时刻下提取到的基样本，q＝{m,n}；和分别t时刻和t-1时刻下hog特征模板；和分别t时刻和t-1时刻下cn特征模板；和共同构成t时刻下的更新后的位置滤波器模板。

进一步的，t时刻的尺度滤波器模板更新步骤同位置滤波器模板的更新步骤相同。

本发明提出的一种基于多峰响应的抗遮挡目标跟踪系统/装置，采用基于多峰响应的抗遮挡目标跟踪方法进行抗遮挡目标跟踪。

进一步的，所述抗遮挡目标跟踪系统/装置包含计算机存储介质，该计算机存储介质内集成有计算机程序，用于执行基于多峰响应的抗遮挡目标跟踪方法。

在本发明所述的一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置中，针对大部分相关滤波类跟踪算法无法很好解决目标跟踪过程中目标被遮挡，分类器不能明确区分正负样本，最终导致跟踪失败问题，提出了一种遮挡检测和遮挡处理机制算法。

实施本发明的提出的一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置，具有以下有益效果：

1、所述基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置，当目标出现遮挡，大多数相关滤波跟踪算法会出现误跟踪，将挡住目标的物体认为是目标，进而进行模板的跟新，导致模型漂移，最终跟踪失败。而本方法是首先检测出当前帧目标被遮挡，停止当前帧的模板更新，不会学习到错误的信息，防止模型漂移。

2、所述抗遮挡相关滤波跟踪方法及系统/装置中增加遮挡处理机制，在找出当前帧最佳的目标位置，且当目标再次出现时，依然跟踪正确，从而进一步提高了跟踪算法的精确度和鲁棒性。

3、当响应置信图中多峰和最高峰的响应超过所设的阈值，判断当前帧目标出现被遮挡情况。其次，使用上一帧目标中心点生成高斯分布的二维矩阵与响应置信图进行点乘操作，得到新的置信图。最后，停止当前帧模型更新。实验表明，在处理目标被遮挡的视频序列时，该算法与其他算法比较，在跟踪精度上有着明显提升。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明公开的一种基于多峰响应的抗遮挡相关滤波跟踪方法整体流程图；

图2是本发明公开的目标存在遮挡情况下的遮挡检测和处理流程图；

图3是本发明实施例公开的的一种在数据集otb-100上(选取遮挡较为严重10个视频)测试结果中目标存在遮挡情况下基于位置错误阈值精度对比图；

图4是本发明实施例公开的的一种在数据集otb-100上(选取遮挡较为严重10个视频)测试结果中目标存在遮挡情况下基于覆盖率阈值对比图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本实施例中，实验软件平台采用matlab2016a，并且配置了vs2015与matconvent库文件。运行环境为intelcorei5-6500cpu，主频3.2ghz，8gb内存。本发明的平均跟踪速度为36.0fps，可以满足实时性要求。

请参考图1，其为本发明公开的一种基于多峰响应的抗遮挡相关滤波跟踪方法整体流程图；其中，本发明公开的一种基于多峰响应的抗遮挡目标跟踪方法，具体包括如下步骤：

s1：读取t-1时刻的图像数据，从读取到的图像数据中，设定一跟踪目标α，并进一步确定目标α的中心位置，以及目标α的宽度wt-1和高度ht-1；

s2：在读取的t-1时刻的图像数据中，以目标α的中心位置为中心，划定宽度为wt-1、高度为ht-1的图像区域作为第一目标区域，进行hog和cn特征提取；

s3、在第一目标区域中，利用尺度金子塔模型，以目标α的中心位置为中心进行按比例放缩，得到s个尺寸不同的图像区域；放缩的比例系数为：

其中，r为尺度系数，参数s取值为正整数；相应的，符号“[]”表示其内部包含的参数按照四舍五入进行取整；

s4、将步骤s3所得的s个尺寸不同的图像区域调整到统一尺寸后，进行hog特征提取；根据提取到的hog特征值，构建t-1时刻下的尺度滤波器模板；其中，以t-1时刻的目标α的中心位置为中心，将n通道的hog特征作为基样本xⁿ，由xⁿ经过循环移位得到若干个训练样本，对每个训练样本赋予对应的标签yⁿ；使用同样的方式可以求得t-1时刻的尺度滤波器模板为：

其中，符号“^”代表离散傅里叶变换；其中κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列；λ为正则化参数。

s5、根据步骤s2中提取到的hog特征和cn特征，构建t-1时刻下的位置滤波器模板；其中，构建t-1时刻下的位置滤波器模板包括如下步骤：

s51、以t-1时刻的目标α的中心位置为中心，提取m通道的hog特征，将m通道的hog特征作为基样本x^m，由x^m经过循环移位得到若干个训练样本，对每个训练样本赋予对应的标签y^m；

s52、通过下述公式得到分类器系数w^m，所得参数w^m使得分类器f(z)＝(w^m)^tz最小：

其中：λ为正则化参数；i,j均为正整数，代表i行j列；

s53、引入核函数，将样本从低维空间映射到高维空间进行训练，所述分类器系数w^m转化为高维空间的系数a^m，参数a^m即为t-1时刻位置滤波器模板：

其中，符号“^”代表离散傅里叶变换；其中，κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列。

s6：读取t时刻的图像数据，以t-1时刻目标α的中心位置为中心，划定宽度为wt-1，高度为ht-1的图像区域为第一候选区域；根据步骤s5中构建的构建位置滤波器模板，进一步确定t时刻下目标α的中心位置；根据步骤s6中构建的尺度滤波器模板，进一步确定t时刻下目标α的宽度wt和高度ht；

s7、以t时刻目标α的中心位置为中心，划定宽度为wt，高度为ht的图像区域为第二目标区域；

s8：利用核化相关滤波计算方法，结合步骤s5所得的第二目标区域，进一步求得t时刻下的位置响应置信图y1和尺度响应置信图y2；其中，提取第二目标区域的hog特征z^m和cn特征zⁿ，将z^m和zⁿ通过循环移位后，通过以下公式计算得到t时刻下的位置响应置信图y1：

其中，f^-1表示傅里叶逆变换，a^m和aⁿ分别为步骤s5和s4中得到的位置滤波器模板和尺度滤波器模板，x^m和xⁿ为t-1时刻中提取到的基样本，·为矩阵点乘符号；其中κ()为核矩阵的快速计算公式，i,j均为正整数，代表i行j列；q＝{m,n}。

s9：利用步骤s6计算所得到的位置响应置信图y1进行遮挡检测，若当前时刻存在目标遮挡，则进行遮挡处理；若不存在目标遮挡，则执行步骤s10；

s10：根据位置响应置信图y1和尺度响应置信图y2，进一步更新t时刻下的位置滤波器模板和尺度滤波器模板；其中，t时刻的位置滤波器模板的更新步骤包括：

s101、将位置响应置信图y1中最大值的点作为t时刻的目标中心点；以目标中心点为中心，同步骤s5，进行按比例放缩，得到s个尺寸不同的图像区域的尺度响应值；

s102、根据步骤s101，找到最大尺度响应值n'所对应的图像区域：

其中，w’t和h’t为图像区域的宽度和高度，wt-1和ht-1分别为所述第一候选区域的宽度和高度；r为尺度系数；另外，参数s取值为正整数；相应的，其中“[]”表示其内部包含的参数按照四舍五入进行取整；w’t和h’t即为当前所求的最佳图像尺度；

s103、根据得到的最佳图像尺度，更新t时刻的位置滤波器模板，确定t时刻下目标α所处的最佳中心位置；以最佳中心位置为中心，划定宽度为w’t，高度为h’t的最佳图像区域；提取所述最佳图像区域的hog特征和cn特征将t时刻的位置滤波器模板通过下述公式进一步的更新为：

其中，η为学习率，和分别为t时刻和t-1时刻下提取到的基样本，q＝{m,n}；和分别t时刻和t-1时刻下hog特征模板；和分别t时刻和t-1时刻下cn特征模板；和共同构成t时刻下的更新后的位置滤波器模板。

本实施例中，在所述的跟踪过程中，具体设计的参数包括：正则化参数λ＝10^-4，尺度数目s＝33，尺度系数r为1.02，学习率η＝0.025，第一阈值threshold1＝0.13，第二阈值threshold2＝2。

需要说明的是，t时刻的尺度滤波器模板更新步骤同位置滤波器模板的更新步骤相同。

s11、重复步骤s6-s10，直到全部时刻的图像数据都处理完毕。

请参考图2，其为本发明公开的目标存在遮挡情况下的遮挡检测和处理流程图，其中，步骤s9中进行遮挡检测的步骤包括：

s91、对步骤s8得到的位置响应置信图y1进行一维投影，得到一个长峰波，所述长峰波包括多个峰，将多个峰组合成一个峰组num：

num＝[num1,num2,...,numn]；

其中numn代表第n个峰，n≥1；

s92、利用函数findpeaks(double(num))，计算峰组中每个峰对应的峰值，进一步得到峰值组peaks：

peaks＝[peak1,peak2,...,peakn]；

其中，peakn代表第n个峰的峰值；

s93、将峰值组peaks中每一项峰值与第一阈值threshold1比较，得到峰组中峰值大于第一阈值的个数peaks_num；所述第一阈值threshold1为峰值阈值；

s94、若peaks_num＞threshold2，其中threshold2为峰值个数阈值；则认为在t时刻，所述目标α被遮挡，进一步进行遮挡处理；反之则没有存在遮挡，进入步骤s10。本步骤中，遮挡处理具体包括以下步骤：

s941、若判断t时刻下存在目标遮挡，利用t-1时刻的目标中心点位置，生成高斯分布状二维矩阵w1，使用以下公式来更新t时刻的位置响应置信图y′1：

y′1＝w1·y1；

其中，y1为t时刻的位置响应置信图；

s942、在更新后的响应置信图y′1中，将置信图中最大值的点作为t时刻的目标中心点，且t时刻下的位置滤波器模板和尺度滤波器模板更新为：

其中，和分别为t时刻和t-1时刻下提取到的基样本，q＝{m,n}；和分别t时刻和t-1时刻下hog特征模板；和分别t时刻和t-1时刻下cn特征模板；其中，和共同构成t时刻下的位置滤波器模版，和共同构成t-1时刻下的位置滤波器模板；

s943、对更新后的响应置信图y′1进行一维投影，并做遮挡检测；若目标依然被遮挡，则再次更新t时刻的位置响应置信图y1和尺度响应置信图y2，直到t时刻下目标不被遮挡，并进一步执行步骤s10。

本实施例中，将本发明在otb-100进行试验，选取遮挡较为严重的10个视频序列，分别是girl2、david3、tiger1、tiger2、walking、walking2、woman、bird2、human3、humna6。同时与kcf、dcf_ca、srdcf、saple_ca、dsst、samf这几个跟踪算法进行比较。试验结果分别选取基于位置错误阈值的精确率和基于覆盖率阈值的成功率，如图3和图4所示，可以看出，本发明在对抗目标遮挡的鲁棒性上有着明显的优势。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。