基于最小熵准则更新的跟踪方法、系统、电子设备及介质

本发明涉及目标跟踪领域，特别是涉及一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质。

背景技术：

1、目标跟踪是计算机视觉的重要课题，在无人机、行人检测、监控和热红外跟踪等领域被广泛应用。当前，深度学习被广泛应用于视觉目标跟踪领域，特别是基于transformer结构的跟踪模型解决了孪生网络跟踪在相关性操作因线性匹配时语义丢失的缺陷，得到了较好的跟踪性能。然而其忽视了模型更新的重要性，当目标外观受到复杂环境影响时，极易模型漂移。

2、为了应对跟踪过程中复杂环境的影响，使跟踪器适应目标和环境变化，模型更新是关键。具体来说，chen,x.等人提出了一种基于transformer结构的视觉跟踪方法transformer tracking(transt)。尽管transt通过加入一个基于注意力机制的特征混合网络解决了线性操作这一局部线性匹配过程会丢失语义信息的缺陷，但其忽略了很重要的模型更新。当跟踪遇到遮挡、光照变化等挑战时，它们会失去鲁棒性和准确性，所以加入模型更新技术十分必要。

技术实现思路

1、本发明的目的是提供一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质，能够在跟踪遇到遮挡、光照变化时提高对目标跟踪的效果。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于最小熵准则更新的跟踪方法，所述跟踪方法包括：

4、获取由待跟踪视频图像组成的帧图像跟踪序列；

5、从所述帧图像跟踪序列的预设的初始帧中确定所述跟踪目标的位置，得到初始帧目标位置；

6、根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量；

7、从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置；

8、根据所述第t帧图像的目标位置，应用卷积神经网络，确定第t帧图像的特征向量；

9、将所述目标特征向量和所述第t帧图像的特征向量输入特征融合网络，得到第t帧图像的多个所述跟踪目标的预测框和各所述预测框对应的预测分数；

10、根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板；

11、当第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板时，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；

12、当第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板时，根据第t帧图像对应的高置信度模板的最小熵比率和动态标记模板的最小熵比率，确定待更新的模板，并对所述动态标记模板进行更新；所述动态标记模板由所述帧图像跟踪序列的前t-1帧图像确定的高置信度模板组成；

13、判断所述第t帧图像是否为所述帧图像跟踪序列的最后一帧图像；

14、当所述第t帧图像不是所述帧图像跟踪序列的最后一帧图像时，根据所述待更新的模板，应用卷积神经网络，确定待更新的特征向量，并将所述待更新的特征向量与所述目标特征向量进行融合，得到更新后的目标特征向量，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；

15、当所述第t帧图像为所述帧图像跟踪序列的最后一帧图像时，得到跟踪结果；所述跟踪结果为待跟踪视频图像中所述跟踪目标的在各帧图像中的位置。

16、可选地，根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量，具体包括：

17、根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征；

18、对所述目标特征进行重塑，得到帧图像跟踪序列的目标特征向量。

19、可选地，根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：

20、从各所述预测框对应的预测分数中选取大于预设的分数阈值的预测框，得到初始预测框序列；

21、从所述初始预测框序列中确定最大预测分数对应的第一预测框和最小预测分数对应的第二预测框；

22、计算所述第一预测框和所述第二预测框的中心偏移量；

23、根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板。

24、可选地，根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：

25、当所述中心偏移量小于预设中心偏移量阈值时，第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板；

26、当所述中心偏移量大于预设中心偏移量阈值时，第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板。

27、可选地，所述特征融合网络由基于自注意力的自我上下文增强模块和基于交叉注意力的交叉特征增强模块组成。

28、可选地，将所述待更新的特征向量与所述目标特征向量进行线性融合，得到更新后的目标特征向量。

29、一种基于最小熵准则更新的跟踪系统，应用于上述的基于最小熵准则更新的跟踪方法，所述跟踪系统包括：

30、第一获取模块，用于获取由待跟踪视频图像组成的帧图像跟踪序列；

31、第一位置确定模块，用于从所述帧图像跟踪序列的预设的初始帧中确定所述跟踪目标的位置，得到初始帧目标位置；

32、第一特征向量去顶模块，用于根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量；

33、第二位置确定模块，用于从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置；

34、第二特征向量去顶模块，用于根据所述第t帧图像的目标位置，应用卷积神经网络，确定第t帧图像的特征向量；

35、分数确定模块，用于将所述目标特征向量和所述第t帧图像的特征向量输入特征融合网络，得到第t帧图像的多个所述跟踪目标的预测框和各所述预测框对应的预测分数；

36、第一判断模块，用于根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板；

37、第二获取模块，用于当第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板时，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；

38、待更新模板确定模块，用于当第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板时，根据第t帧图像对应的高置信度模板的最小熵比率和动态标记模板的最小熵比率，确定待更新的模板，并对所述动态标记模板进行更新；所述动态标记模板由所述帧图像跟踪序列的前t-1帧图像确定的高置信度模板组成；

39、第二判断模块，用于判断所述第t帧图像是否为所述帧图像跟踪序列的最后一帧图像；

40、第三获取模块，用于当所述第t帧图像不是所述帧图像跟踪序列的最后一帧图像时，根据所述待更新的模板，应用卷积神经网络，确定待更新的特征向量，并将所述待更新的特征向量与所述目标特征向量融合，得到更新后的目标特征向量，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；

41、结果确定模块，用于当所述第t帧图像为所述帧图像跟踪序列的最后一帧图像时，得到跟踪结果；所述跟踪结果为待跟踪视频图像中所述跟踪目标的在各帧图像中的位置。

42、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于最小熵准则更新的跟踪方法。

43、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于最小熵准则更新的跟踪方法。

44、根据本发明提供的具体实施例，本发明公开了以下技术效果：

45、本发明提供的一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质，通过使用最小熵准则判断模板置信度可以提供可靠的历史信息，当跟踪出现严重遮挡或环境影响时，提升跟踪鲁棒性；将高置信度模板与初始帧融合特征向量，可解决transformer跟踪过程中缺乏非线性表达能力的问题，增强跟踪器的精度和成功率；当目标发生快速运动、遮挡、尺度变化和平面内旋转等挑战时，跟踪器仍能进行准确有效的跟踪。