基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法

基于浅
‑
中
‑
深三级特征融合与可变矩形窗滤波的siamese网络跟踪方法
技术领域
1.本发明属于目标跟踪领域，特别是siamsmdfff(siamese shallow
‑
middle
‑
deep feature fusion filter)：基于浅
‑
中
‑
深三级特征融合与可变矩形窗滤波的siamese网络跟踪器。


背景技术：

2.目标跟踪是机器视觉领域中具有重要研究意义的课题之一，其相关技术被广泛应用于模式识别、无人驾驶、人机交互、智能机器人和智慧医疗等领域。目标跟踪任务通常在视频图像序列第一帧中使用矩形框选定需要跟踪的目标，并在后续帧中持续标注出目标对象所在的空间位置，得到目标的运动轨迹。
3.传统的目标跟踪方法，如均值漂移、粒子滤波和卡尔曼滤波等，均表现出易受背景信息或环境因素干扰导致跟踪失败，且对于目标形状、尺度和速度等各类变化的鲁棒性亟待提高等不足。随后出现的基于相关滤波的目标跟踪方法，在利用傅里叶变换和循环矩阵理论的基础上，通过核函数的引进、图像特征的替换、尺度估计方法的设计和降维策略的使用等操作，大幅提高了跟踪性能。近年来，随着深度学习技术的发展，出现了将cnn提取的深度特征与相关滤波相结合的跟踪方法，同时还出现了构造端到端的深度网络完成目标跟踪的方法，其中孪生网络类型的跟踪器展现出了其在平衡速度和精度两个方面的优良性能。
4.基于孪生网络的目标跟踪方法将目标跟踪任务转化为相似性匹配任务，利用数据集，通过端到端的方式训练跟踪器。训练好的跟踪器在跟踪过程中不再进行网络权重的在线更新，从而保证了跟踪器的速度。但是传统的孪生网络类型的跟踪器通常只使用最后一层cnn提取到的包含语义信息的深层特征完成相似性匹配，并没有充分利用包含细致的表观信息、对相似物干扰鲁棒性较好的浅层特征以及在浅层的表观特征和深层的语义特征之间起过渡作用的中层特征。此外，为了进一步提高跟踪器的性能，传统方法通常使用余弦窗对得分图进行滤波以抑制背景干扰的负面影响，但是余弦窗滤波对目标相似物干扰的抑制效果有限。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于具有互补性质的浅
‑
中
‑
深三级特征融合与基于聚类的可变矩形窗滤波相结合的孪生网络跟踪器。首先，从浅、中、深三类网络层提取出对应的特征图并进行特征级别的融合得到互补特征图；然后，将孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，再将这对相似性得分图进行分数级别的融合得到最终的得分图；最后，由于视频相邻帧之间符合严格的时间序列关系，目标运动状态具有连续性，从而可以对目标的运动方向进行预测，因为目标实际运动与得分图峰值点位置变化具有映射关系，所以可沿目标运动方向对得分图进行滤波。在滤波过程中，我们首先寻找得分图的峰值点，以峰值点作为初始聚类中心完成聚类，然后计算聚类中心与最
远聚类点的距离，最后以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。实验证明，siamsmdfff相较于传统跟踪器在多项性能方面均有明显提高。
6.本发明的技术方案如下：
7.s1，构建一种浅
‑
中
‑
深三级特征融合孪生网络；
8.s2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图；
9.s3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图；
10.s4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；
11.s5，以该距离控制矩形窗尺寸大小的变化，完成对最终得分图的滤波。
12.进一步，上述方案中构建浅
‑
中
‑
深三级特征融合孪生网络具体为：网络选用resnest作为siamese骨干网络，同时去掉resnest最后的全连接层以使其适用于目标跟踪任务。
13.进一步，上述浅
‑
中
‑
深三级特征融合具体为，利用浅、中、深三类网络层提取出对应的特征图通过权值相加进行特征级别的融合得到互补特征图。
14.进一步，上述相似性得分图具体为，将孪生网络两条分支的互补特征图通过相关计算，便得到一对相似性得分图，再将这对相似性得分图进行分数级别的融合得到最终的得分图。
15.进一步，上述计算聚类中心与最远聚类点的距离具体为，借助得分图中峰值点与图像帧中目标位置的映射关系，通过计算峰值点距离图像中心点的位移矢量得到目标的运动方向，通过在得分图中建立等尺寸的平面直角坐标系xoy对位置进行量化，确定目标位置t(x
t
,y
t
)，得到目标运动方向d。
[0016][0017]
通过对得分图进行三维映射，x轴和y轴对应分值点位置，z轴对应得分图的分值，能够以分值的层级大小为标准对不同位置的得分点进行聚类。聚类时首先以峰值点t为初始聚类中心，实现同一层级的得分点的聚类以及不同层级的得分点的划分。在完成聚类后，可计算得到最高层级中最远聚类点s和峰值点t之间的距离r。
[0018][0019]
进一步，上述控制矩形窗尺寸大小的变化具体为，以峰值点为圆心，以r为半径，可得到一个圆形覆盖范围，矩形窗的两边应与圆形相切以保证滤波范围最有效。因此，在引入矩形窗函数rect(p)时，设置矩形窗宽度w＝2r，此外，由于得分图尺寸大小为25
×
25，所以矩形窗长度l至少应该设置为以r控制矩形窗的大小变化，以d控制矩形窗的滤波方向，二者配合实现对矩形滤波窗的控制，最终对于得分图中任意点p(x
i
,y
i
)(1≤i≤25)，若在矩形窗内，其分值将被保留，而矩形窗外的分值将被置零。
[0020][0021]
本发明的优点及有益效果如下：
[0022]
基于孪生网络的目标跟踪器展现了其相较于传统目标跟踪方法在平衡跟踪速度和精度方面的优良性能，但传统的孪生网络跟踪器通常只使用最后一层cnn提取到的包含语义信息的深层特征完成相似性匹配，并没有充分利用包含细致的表观信息的浅层特征以及在浅层的表观特征和深层的语义特征之间起过渡作用的中层特征。同时传统方法通常使用余弦窗对得分图进行滤波以抑制背景干扰的负面影响，但是余弦窗滤波对目标相似物干扰的抑制效果有限，导致跟踪器对相似物干扰的鲁棒性较差。本发明提出了siamsmdfff。siamsmdfff利用浅、中、深三类特征进行特征级别的融合得到互补特征图，通过将浅层的表观信息、中层的局部轮廓信息和深层语义信息融合能够实现不同类别特征之间的优势互补。之后利用互补特征图经相关计算而来的得分图在分数级别进行融合得到最终的得分图，然后寻找得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离，最后以该距离控制矩形窗尺寸大小的变化对得分图进行滤波，通过将矩形滤波窗控制在一个尽可能小的范围内，以克服目标相似干扰物在跟踪过程中的负面影响，提高跟踪器的鲁棒性。实验结果证明，siamsmdfff相较于传统跟踪器在多项性能方面均有明显提高。
附图说明
[0023]
图1为浅
‑
中
‑
深三级特征融合孪生网络结构图；
[0024]
图2为基于聚类的可变矩形窗滤波原理图。
具体实施方式
[0025]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0026]
本发明解决上述技术问题的技术方案是：
[0027]
s1，提出了一种浅
‑
中
‑
深三级特征融合孪生网络，网络选用resnest作siamese为骨干网络，同时去掉resnest最后的全连接层以使其适用于目标跟踪任务。
[0028]
s2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图。
[0029]
s3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图。
[0030]
s4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离。借助得分图中峰值点与图像帧中目标位置的映射关系，通过计算峰值点距离图像中心点的位移矢量得到目标的运动方向，通过在得分图中建立等尺寸的平面直角坐标系xoy对位置进行量化，确定目标位置t(x
t
,y
t
)，得到目标运动方向d。
[0031]
[0032]
通过对最终得分图进行三维映射，x轴和y轴对应分值点位置，z轴对应得分图的分值，能够以分值的层级大小为标准对不同位置的得分点进行聚类，其中，层级的设置可以按需要进行调整，根据得分图中所有位置点的分值范围而定。聚类时首先以峰值点t为初始聚类中心，实现同一层级的得分点的聚类以及不同层级的得分点的划分。在完成聚类后，可计算得到最高层级中最远聚类点s和峰值点t之间的距离r。
[0033][0034]
s5，以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。以峰值点为圆心，以r为半径，可得到一个圆形覆盖范围，矩形窗的两边应与圆形相切以保证滤波范围最有效。因此，在引入矩形窗函数rect(p)时，设置矩形窗宽度w＝2r，此外，由于得分图尺寸大小为25
×
25，所以矩形窗长度l至少应该设置为以r控制矩形窗的大小变化，以d控制矩形窗的滤波方向，二者配合实现对矩形滤波窗的控制，最终对于得分图中任意点p(x
i
,y
i
)(1≤i≤25)，若在矩形窗内，其分值将被保留，而矩形窗外的分值将被置零。
[0035][0036]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。