一种低帧率水面航行多目标跟踪方法、系统及电子设备

本发明涉及目标跟踪处理领域，特别是涉及一种低帧率水面航行多目标跟踪方法、系统及电子设备。

背景技术：

1、目前，水面航行目标跟踪技术以其在军事中的特殊需求而受到广泛关注，该技术对特定海域监控、港口流量统计、海洋安全管理、未知舰船身份识别以及未知舰船行为分析都具有十分重要的战略意义。但是该技术会受到海浪干扰、云雾遮挡、水面游弋目标运动速度以及方向改变因素的影响，同时低质量视频图像也会给目标跟踪带来一定的难度，一些低分辨率的视频会导致图像特征模糊化，进而导致目标识别失败，而另一些低帧率或者帧缺失的视频会导致跟踪目标在跟踪的途中发生丢失，因此如何提高识别与跟踪的准确率是人们关注的重点。

2、以往的舰船跟踪算法包含有相关滤波(cf)，但是由于相关滤波只考虑到了局部的特征信息，很容易受到背景杂波的干扰，对目标的尺度变化和部分遮挡情况表现力不佳。后来有人提出了背景差分法，虽然此方法对精度有所提高，但是此方法更新过于缓慢，会导致出现背景模型过时、无法适应环境变化的问题。此外，对于场景的突变和动态背景的适应性较差，近些年来有人提出了利用残差神经网络的方法对舰船目标进行识别与定位跟踪，此方法对高分辨率的舰船目标具有很好的抗干扰能力，但对于低分辨率的舰船目标跟踪的视频图像，识别性能有所下降，并不能满足跟踪要求。

技术实现思路

1、为解决现有技术存在的上述问题，本发明提供了一种低帧率水面航行多目标跟踪方法、系统及电子设备。

2、为实现上述目的，本发明提供了如下方案：

3、一种低帧率水面航行多目标跟踪方法，包括：

4、采用多尺度超分辨率重建算法对目标图像进行处理，得到重建后的图像；所述目标图像基于游弋舰船的视频得到；

5、将重建后的图像输入至舰船识别网络得到权值文件；所述舰船识别网络基于改进后的yolov5s网络构建得到；

6、采用舰船跟踪网络基于所述权值文件确定目标行进轨迹，并标记id；所述舰船跟踪网络基于deepsort算法构建得到。

7、可选地，所述多尺度超分辨率重建算法对目标图像进行处理的过程包括：

8、对所述目标图像进行抽帧处理；

9、采用第一层卷积对抽帧处理后的目标图像进行初步的特征提取；

10、采用层次特征融合结构对初步提取的特征进行多尺度特征融合与局部残差学习，得到层次特征融合图像；

11、采用像素混组放大层对所述层次特征融合图像进行放大，并经过一次卷积后得到重建后的图像。

12、可选地，在采用层次特征融合结构对初步提取的特征进行多尺度特征融合与局部残差学习，得到层次特征融合图像的过程中，多尺度特征融合表示为：

13、

14、

15、

16、

17、

18、式中，ω代表权重，b代表偏置，上标注代表所在层数，下标注代表所在层中使用卷积核的大小；[·，·]代表连接参数，σ代表relu函数，s1代表第1个3*3卷积结构和激活函数，s2代表第2个3*3卷积结构和激活函数，p1代表第1个5*5卷积结构和激活函数，p2代表第2个5*5卷积结构和激活函数，s'代表经过一个1*1的卷积结构和激活函数；

19、对每一个msrb卷积块均采用残差网络学习得到多尺度残差块，为：

20、mn＝s′+mn-1；

21、式中，mn代表第n个msrb卷积块的输入，mn-1代表第n-1个msrb卷积块的输出，s'+mn-1表示通过一个快速连接和元素执行的多残差网络加法。

22、可选地，层次特征融合结构的构建过程包括：通过在每一msrb卷积块的输入上设置输出端，并将每一个输出端导入到一个1×1卷积层使得融合完的特征通道压缩到一定的通道数量，以形成一个层次特征融合结构。

23、可选地，所述舰船识别网络的构建过程包括：

24、将sa注意力机制引入到yolov5s网络的neck部分的三个分支上，得到舰船识别网络；

25、其中，sa注意力机制采用shuffleunits将空间注意力机制和通道注意力机制进行结合；

26、sa注意力机制种，所述通道注意力机制使用全局平均池化嵌入全局信息后，生成通道统计信息，并使用sigmoid激活函数基于通道统计信息得到通道注意力机制的输出；

27、所述空间注意力机制使用groupnorm获取空间统计信息后，采用fc·增强空间统计信息，得到空间注意力机制的输出；

28、采用通道洗牌操作对由通道注意力机制的输出以及空间注意力机制的输出形成的特征组进行重排，以使不同组之间进行信息流通。

29、可选地，采用舰船跟踪网络基于所述权值文件确定目标行进轨迹，并标记id，具体包括：

30、基于所述权值文件得到目标检测框；

31、采用卡尔曼滤波算法基于所述目标检测框预测目标轨迹；

32、基于目标轨迹，采用匈牙利算法对所述目标轨迹中当前帧的预测框以及下一帧的检测框进行欧氏距离匹配；

33、匹配到检测框后，将所述目标检测框的类别标签和id赋予到所述目标轨迹的跟踪目标检测框上，以得到目标行进轨迹，完成对识别的舰船目标进行轨迹跟踪和id标记。

34、可选地，采用卡尔曼滤波算法基于所述目标检测框预测目标轨迹，具体包括：

35、采用卡尔曼滤波算法确定目标检测框的当前状态；

36、将当前状态预测估计的误差进行线性更新，得到当前状态的预测估计误差，根据当前状态以及当前状态的预测估计误差确定卡尔曼增益；

37、基于卡尔曼增益得到当前状态和下一状态的权重分配情况；

38、基于所述权重分配情况对当前状态和下一状态进行加权求和得到最优估计值，将所述最优估计值作为下一时刻的先验估计输入，以此循环得到所述目标轨迹。

39、可选地，基于目标轨迹，采用匈牙利算法对所述目标轨迹中当前帧的预测框以及下一帧的检测框进行欧氏距离匹配，具体包括：

40、将当前帧的预测框设置为包括n个像素点的特征组，作为第一特征组；

41、将下一帧的检测框均设置为包括n个像素点的特征组，作为第二特征组；

42、采用欧氏距离公式确定第一特征组和第二特征组间的距离，将距离最小对应的检测框作为目标轨迹的跟踪目标检测框。

43、根据本发明提供的具体实施例，本发明公开了以下技术效果：

44、本发明针对低帧率或者帧缺失的舰船图像导致跟踪结果丢失重新分配id以及云雾和海浪对识别网络造成干扰的问题，通过采用多尺度超分辨率重建算法对目标图像进行处理，以增强图像的分辨率。通过采用基于改进后的yolov5s网络构建得到舰船识别网络，以实现对低帧率的舰船视的精确识别。通过采用舰船跟踪网络基于权值文件确定目标行进轨迹，并标记id，能够进一步对低帧率的舰船目标图像的跟踪效果进行显著提升。

45、进一步，本发明提供了一种低帧率水面航行多目标跟踪系统，所述系统用于实施上述提供的低帧率水面航行多目标跟踪方法；所述系统包括：

46、图像预处理模块，用于采用多尺度超分辨率重建算法对目标图像进行处理，得到重建后的图像；所述目标图像基于游弋舰船的视频得到；

47、舰船识别网络模块，用于将重建后的图像输入至舰船识别网络得到权值文件；所述舰船识别网络基于改进后的yolov5s网络构建得到；

48、舰船跟踪网络模块，用于采用舰船跟踪网络基于所述权值文件确定目标行进轨迹，并标记id；所述舰船跟踪网络基于deepsort算法构建得到。

49、再进一步，本发明还提供了一种电子设备，该电子设备包括：

50、存储器，用于存储器计算机程序；

51、处理器，与所述存储器连接，用于调取并执行所述计算机程序，以实施上述提供的低帧率水面航行多目标跟踪方法。

52、因本发明提供的上述系统和电子设备实现的技术效果与本发明提供的低帧率水面航行多目标跟踪方法实现的技术效果相同，故在此不再进行赘述。