一种基于联合检测跟踪框架的视频目标提取方法

1.本发明涉及视频目标检测方法，属于监控视频智能分析领域。


背景技术：

2.近年来，随着视频监控技术的发展，智能监控越来越受到关注，人们寄希望于智能监控技术来增强视频监控系统的功能和自动化程度。场景中的行人，车辆等都是视频监控系统中重要的监控目标类别，不同的场景下，重要的目标不同。如在广场的监控、机场大厅的监控中，最重要的目标是行人。在高速公路上的检控，最重要的目标是车辆，因此视频中的对于不同目标的的智能监控技术非常重要。作为视频目标智能监控技术的一个基本步骤，视频目标提取方法的主要目的是把视频中的目标提取出来，并将目标图像录入数据库供后期检索分析。
3.一般情况下，视频中的目标跟踪有两种方式。一是基于检测的方法，即在图像中进行目标的检测，一种是基于跟踪，即在已知目标后，在视频中进行目标的连续跟踪。基于检测的方法又可分为基于图像的检测方法和基于运动的检测方法，基于图像的检测方法是采用目标的特征，从图像中把目标检测出来，基于运动的检测方法是将视频中变化(运动)的区域检测出来，并采用一定的方法来判定是否为特定目标。不管是哪种目标提取方法，都存在精度、鲁棒性不足的问题。


技术实现要素：

4.针对监控视频目标没提取问题，本发明提出一种结合了检测和跟踪网络的视频目标提取方法，即基于联合检测跟踪网络进行视频目标的提取。
5.为实现上述发明目的，本发明采用的技术方案包括如下步骤：
6.第一步：将第t帧和第t-n帧的图像通过特征提取网络和re-id网络，进行特征层的提取。
7.第二步：对下采样的结果使用矩阵乘法，构建代价立方体。
8.第三步：计算两帧图像中不同像素点之间的偏移距离。
9.第四步：根据第三步和第四步分别得到的代价立方体和偏移距离，进行两帧之间的目标绑定。
10.第五步：对于第四步匹配到的当前帧的不同目标特征图，根据对应的偏移距离，乘以不同的权值。
11.第六步：将第四步中的t-n偏移距离，根据和当前帧的时间间隔，加权后融入到当前帧。
12.与现有技术相比，本发明的有益效果是：
13.(1)相比于传统的联合检测跟踪算法，对于目标部分遮挡场景，有更好的效果。
14.(2)对于目标运动模糊，能更好的进行检测和跟踪。
附图说明
15.图1为：输入帧图像预处理过程。
16.图2为：算法整体流程图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
18.如图2所示，本具体实施方式中，基于联合检测跟踪网络的跟踪方法包括下述处理步骤：
19.步骤1：输入帧图像预处理。
20.对于输入的不同帧图像，需要进行以下相同的预处理过程。如图1所示，首先，不同帧图像要通过权值共享的resnet特征提取网络；然后，将通过特征提取网络之后的结果再通过re-id网络；最后，对得到的特征图a
t
和a
t-n
进行矩阵乘法，得到代价立方体c。
[0021][0022]
得到的c
i,j,k,l
代表t时刻的(i,j)点与t-n时刻的(k,l)点之间的相似度。
[0023]
步骤2：计算两帧图像不同像素点之间的偏移距离o。
[0024]
以当前帧的目标x为例，其在当前帧的中心点位置为(i,j)，那么便可以找到其在c中对应的一个二维的代价矩阵图c
i,j
,c
i,j
里是目标x的中心点与t-n时刻所有点的匹配相似度，在拿到c
i,j
之后，首先将c
i,j
进行两个方向的最大量池化，池化核大小分别为hc*1和1*wc,然后再接softmax函数，得到两个向量和这两个向量分别代表着目标x的中心点在t-n时刻中的水平和垂直位置的可能性。其次，定义了水平和垂直方向的两个偏移量模板，m
i,j
和v
i,j
,计算方法如下：
[0025]mi,j,l
＝(l-j)*s1≤l≤wcꢀꢀꢀ
(2)
[0026]vi,j,k
＝(k-i)*s1≤k≤hcꢀꢀꢀ
(3)
[0027]
其中s是a
i,j
的下采用步长。m
i,j,l
即为目标x出现在t-n时刻的(*,l)位置的水平位移。最终，偏移量计算为：
[0028][0029]
步骤3：根据代价矩阵和目标偏移，进行对象匹配。
[0030]
普通的re-id损失注重类内不同，与检测损失不是很兼容。这里提出一个损失函数，来改善re-id和检测的不兼容性，并进行不同帧之间的目标匹配。
[0031][0032]
其中，当t-n帧中的目标(k,l)出现在t帧中的(i,j)时，α＝1，否则为0。
[0033]
步骤4：对于上一步匹配到的对象，根据偏移距离进行特征图修正。
[0034]
令特征图中的原像素值为m1,更正后像素值为m2,偏移距离为d，则：
[0035][0036]
步骤5：将跟踪得到的偏移量加权到原始特征图上，作为下一帧网络的输入。
[0037]
其中，不同帧的偏移量权值由不同帧距离当前帧的时间间隔决定，对于第t-n帧的偏移量，在第t帧的权值k为：
[0038][0039]
以上所述，仅为本发明的具体实施方式，本说明中所公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征或/和步骤外，均可以任何方式组合。


技术特征：
1.一种基于联合检测跟踪框架的视频目标提取方法，其特征在于，包括以下步骤：第一步：将第t帧和第t-n帧的图像通过特征提取网络和re-id网络，进行特征层的提取；第二步：对下采样的结果使用矩阵乘法，构建代价立方体；第三步：计算两帧图像中不同像素点之间的偏移距离；第四步：根据第三步和第四步分别得到的代价立方体和偏移距离，进行两帧之间的目标绑定；第五步：对于第四步匹配到的当前帧的不同目标特征图，根据对应的偏移距离，乘以不同的权值；第六步：将第四步中的t-n偏移距离，根据和当前帧的时间间隔，加权后融入到当前帧。2.如权利要求1所述方法，其特征在于，步骤3中所设计的损失函数，该损失函数旨在有效的改善re-id任务和检测任务的不兼容问题。3.如权利要求1所述方法，其特征在于，步骤5中根据不同特征图中对应的偏移距离，对于原始特征图进行更新令特征图中的原像素值为m1,更正后像素值为m2,偏移距离为d，则：4.如权利要求1所述方法，其特征在于，步骤6中将跟踪偏移量，加权到当前帧图像的权值设计，其中，不同帧的偏移量权值由不同帧距离当前帧的时间间隔决定，对于第t-n帧的偏移量，在第t帧的权值k为：

技术总结
本发明公开了一种基于联合检测跟踪网络的多目标跟踪方法。本发明结合传统的检测和跟踪的算法，两个任务共享特征提取网络。本发明提出了基于代价矩阵的损失函数提出了基于代价矩阵的损失函数该损失函数有效的改善了检测任务和Re-ID任务的不兼容问题。本发明提出了根据目标的偏移距离，对原始特征图进行调整。本发明提出了结合多帧的跟踪线索，通过求和的方式和当前帧的图像一起输入到网络中，有效的改善了检测的效果，提高了算法在部分遮挡场景下的检测效果。测效果。测效果。


技术研发人员：贾海涛 张洋 常乐 许文波 罗欣 冷庚
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：2022.11.03
技术公布日：2023/1/31