本发明涉及一般的图像数据处理或产生，具体涉及一种长短期目标记忆的多目标追踪方法。
背景技术：
1、多目标追踪方法旨在解决视频序列中目标运动轨迹的预测问题，现存在的方法常采取检测-追踪的范例，首先通过检测模型实现单帧图片的目标定位，然后基于简单的启发式策略，如空间和外观相似度，建立前后帧目标之间的关联，从而实现目标轨迹的预测，尽管上述方法已经取得不错的性能表现，但启发式策略仍不足以对复杂的时序变化进行建模，如目标的不规则运检索、目标的运动模糊以及目标之间的遮挡等。
2、因此，为提升多目标追踪方法的通用性，解决不同场景下，多目标追踪任务的时序建模问题，目标追踪方法技术领域迫切需要一种长短期目标记忆的多目标追踪方法。
技术实现思路
1、本发明是为了解决多目标追踪方法的通用性，提供一种长短期目标记忆的多目标追踪方法，基于detr结构的启发，首先拓展detr中query的物理概念为检测query和追踪query，辅以追踪感知的标签匹配策略，实现检测和追踪任务的解耦；其次嵌入记忆模块，传递以及更新连续帧之间的标签匹配信息，提高模型对于长短期目标的记忆能力，使得模型足以解决复杂的时序建模问题。
2、本发明提供一种长短期目标记忆的多目标追踪方法，包括以下步骤：
3、s1、视频序列中的图片逐帧依次经过多目标追踪模型的图像预处理算法得到预处理后图片：
4、图像预处理为一个图像处理流程，包括调整图像的大小和归一化，调整图像的大小以适应模型对于输入图像尺寸的需求，归一化提高模型的收敛速度；
5、s2、初始化，i=1；
6、s3、将预处理后图片的第i帧输入多目标追踪模型的特征提取网络得到多尺度的特征图，将多尺度的特征图融合位置信息和特征图等级信息后输入多目标追踪模型的编码器进行多尺度特征融合，然后进行置信度预测和回归预测，query包括检测query和追踪query，通过追踪感知的标签匹配策略进行检测query和追踪query的标签匹配并作为多目标追踪模型的监督信息；
7、特征提取网络旨在获取图像多尺寸的特征图，进而融合纹理信息和语义信息；
8、s4、将检测query和追踪query输入多目标追踪模型的解码器，解码器进行检测query与追踪query之间，检测query、追踪query与不同等级特征图之间的信息交互；
9、解码器中还嵌入记忆模块，记忆模块通过置信度进入阈值和置信度退出阈值传递、更新连续帧之间的追踪信息，输出第i帧的追踪结果、为下一帧预处理后图片提供追踪query信息；
10、s5、i=i+1，返回步骤s3，直至全部预处理后图片目标追踪完成，一种长短期目标记忆的多目标追踪方法完成。
11、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，步骤s1中，图像预处理算法将视频序列中的图片逐帧依次调整尺寸大小并进行归一化；
12、步骤s3中，特征提取网络为resnet50。
13、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，步骤s3中，编码器由可变形卷积模块组成。
14、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，步骤s3中，编码器为deformable detr的编码器；
15、追踪感知的标签匹配策略包括一致性匹配策略和匈牙利匹配策略，一致性匹配策略在视频序列中建立待追踪目标之间的时序、语义和位置关系，匈牙利匹配策略建立检测query与新出现目标之间的联系；
16、记忆模块用于加强追踪信息关于内容的稳定性。
17、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，步骤s3中，一致性匹配的标签匹配策略为：
18、；
19、其中，为第帧已匹配目标的检测query所对应的预测信息；为第帧追踪query的信息，为第帧追踪query的信息，，为并集；
20、通过和传递以及更新追踪信息；
21、当和第i帧标签信息匹配且iou大于一致性匹配阈值时，则和第i帧预处理后图片的标签信息保持一致，进入步骤s4；
22、当和第i帧标签信息不匹配，或者iou小于等于一致性匹配阈值时，第i帧新出现的标签信息为，检测query的预测信息和进行匈牙利匹配。
23、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，匈牙利匹配阶段的方法为：
24、；
25、其中，为标签转移方式，为第帧检测query的预测；为第帧新出现的标签信息；为建立和之间的代价矩阵；
26、匈牙利匹配阶段在搜索空间中找到最小成本的标签转移方式，匈牙利匹配完成后进入步骤s4；
27、一致性匹配阈值为0.5。
28、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，步骤s4中，记忆模块利用置信度进入阈值从筛选出追踪信息并分配目标id、汇总为。
29、记忆模块利用置信度退出阈值和连续k帧条件的协同保留有追踪价值的的子集合。
30、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，当追踪query所对应的预测置信度大于或等于置信度进入阈值时，保留，分配目标id、汇总为。
31、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，当追踪query所对应的预测置信度大于或等于置信度退出阈值时，将保留；
32、当不满足连续k帧追踪query所对应的预测置信度均小于置信度退出阈值时，且不满足连续k帧都满足上述条件时，则认为追踪目标可能被遮挡，则保存，后续再追踪；
33、当连续k帧的追踪query所对应的预测置信度均小于置信度退出阈值时，且连续k帧都满足上述条件时，则认为追踪目标丢失，则删除追踪query，后续不再追踪。
34、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，将置信度进入阈值、置信度退出阈值和连续k帧条件的协同筛选出的追踪query作为记忆模块网络输入；
35、记忆模块包括依次连接的mha、ffn和add&norm，mha的输出也同时输入add&norm，记忆模块输出。
36、本发明所述的一种长短期目标记忆的多目标追踪方法，作为优选方式，多目标追踪模型的训练集、验证集和测试集为自然场景下多目标追踪的数据集；验证阶段和测试阶段采用相同网络结构的记忆模块；
37、解码器为deformable detr的解码器，解码器包括n个自注意力模块和n个交叉注意力模块；
38、多目标追踪模型的损失函数为：
39、；
40、其中，为第帧图片的目标数量；为追踪损失，为检测损失；和由两部分组成：边界框回归损失和分类损失；
41、当利用训练集、验证集和测试集分别训练、验证和测试多目标追踪模型，且验证结果和测试结果达到目标值时得到训练好的多目标追踪模型。
42、本发明具有以下优点：
43、本发明提供一种长短期目标记忆的多目标追踪方法，输入视频序列中的图片依次经过预处理算法，完成视频序列的预处理；在首帧图片缺乏有效追踪信息的前提下，依赖检测模型完成目标的定位以及索引的分配；对于后续帧的目标检测以及追踪而言，记忆模块可提供有效的追踪信息，且置信度进入阈值和置信度退出阈值可协同筛选出高质量的追踪信息，完成目标轨迹的空间建模。相较以往的多目标追踪方法，本发明一种长短期目标记忆的多目标追踪方法，能够显著提高在目标的不规则运动、目标的运动模糊以及目标遮挡场景下的多目标追踪性能，具有一定的实际使用价值。