目标跟踪方法、装置及存储介质与流程

本技术属于计算机视觉领域，特别是涉及一种目标跟踪方法、装置及存储介质。

背景技术：

1、目标跟踪是计算机视觉领域中一个重要研究分支，其任务是在给定初始帧中待跟踪目标的位置和大小信息后，通过特征提取、感兴趣区域识别等技术手段在后续帧中实现对跟踪目标的定位。目标跟踪技术已经广泛应用于视频监控、自动驾驶、医疗领域、虚拟现实等领域。现有的目标跟踪方法的算法复杂度较高，对运算设备的性能要求较高。对于性能较低的边缘设备，如嵌入式设备等，部署现有的目标跟踪方法，则会出现运算速度较慢的情况，进而导致目标跟踪错误或者失败，影响目标跟踪效果。而现有的轻量化跟踪模型，大都是单一模态，并且网络结构的深度也较小，准确性不高。

2、因此，如何在利用轻量化模型的前提下，提高目标跟踪的准确性是亟待解决的技术问题。

技术实现思路

1、本技术的目的在于提供一种目标跟踪方法、装置及存储介质，能够在利用轻量化模型的前提下，提高目标跟踪的准确性。

2、第一方面，本技术实施例提供了一种目标跟踪方法，该方法包括：获取可见光模板图像和红外模板图像，可见光模板图像是可见光图像序列的第n帧中的待跟踪目标图像，红外模板图像是红外图像序列中与可见光模板图像对应的图像，n为正整数；

3、利用浅层网络对可见光模板图像和红外模板图像进行处理，得到模板融合特征图；

4、利用浅层网络对可见光搜索图像和红外搜索图像进行处理，得到搜索融合特征图，可见光搜索图像是可见光图像序列的第n+x帧图像，红外搜索图像是红外图像序列中与可见光搜索图像对应的图像，x为正整数；

5、利用深层网络对模板融合特征图和搜索融合特征图进行处理，得到可见光搜索图像中每一像素点的类别和待跟踪目标的预测框，该类别用于表示像素点处于前景或背景；

6、根据可见光搜索图像中每一像素点的类别，从预测框中确定可见光搜索图像中待跟踪目标的包围框。

7、本技术通过设计浅层网络和深层网络，简化了目标跟踪模型的结构，通过减少高通道的复杂计算，节省了计算资源和存储资源，使得网络更加轻量化。通过结合可见光图像和红外图像，有效提高了目标跟踪的准确性。

8、在第一方面的一种可能的实现方式中，浅层网络包括浅层特征提取模块和融合模块，浅层特征提取模块用于提取可见光图像和红外图像的特征，融合模块用于融合可见光图像和红外图像的特征，得到融合特征图；

9、利用浅层网络对可见光模板图像和红外模板图像进行特征提取和特征融合，得到模板融合特征图，包括以下步骤：

10、利用浅层特征提取模块对可见光模板图像和红外模板图像进行特征提取，得到可见光模板特征图和红外模板特征图；

11、利用融合模块对可见光模板特征图和红外模板特征图进行特征融合，得到模板融合特征图；

12、利用浅层网络对可见光搜索图像和红外搜索图像进行处理，得到搜索融合特征图，包括以下步骤：

13、利用浅层特征提取模块对可见光搜索图像和红外搜索图像进行特征提取，得到可见光搜索特征图和红外搜索特征图；

14、利用融合模块对可见光搜索特征图和所述红外搜索特征图进行特征融合，得到搜索融合特征图。

15、在这种实现方式中，通过浅层网络对可见光图像和红外图像的特征进行了提取和融合，得到融合特征图。具体而言，该浅层网络的输入是可见光模板图像和红外模板图像时，得到模板融合特征图，或者，该浅层网络的输入是可见光搜索图像和红外搜索图像时，得到搜索融合特征图。浅层特征提取模块在进行特征提取时，可见光图像和红外图像所使用的卷积参数不共享，从而可以学习不同模态的特定特征。

16、在第一方面的一种可能的实现方式中，深层网络包括模板分支、搜索分支和检测头，模板分支用于提取模板图像的特征，搜索分支用于提取搜索图像的特征，该模板分支的卷积参数和搜索分支的卷积参数相同，检测头用于对特征图进行分类和回归；

17、利用深层网络对模板融合特征图和所述搜索融合特征图进行处理，得到可见光搜索图像每一像素点的类别和待跟踪目标的预测框，包括以下步骤：

18、利用模板分支对模板融合特征图进行特征提取，得到模板分支特征图；

19、利用搜索分支对搜索融合特征图进行特征提取，得到搜索分支特征图。

20、利用检测头对模板分支特征图和搜索分支特征图进行深度互相关，得到可见光搜索图像中每一像素点的类别和待跟踪目标的预测框。

21、在这种实现方式中，上述浅层网络得到的模板融合特征图和搜索融合特征图作为深层网络的输入，深层网络是一种孪生网络，具有双分支结构，经过模板分支和搜索分支分别提取模板融合特征图和搜索融合特征图后，得到模板分支特征图和搜索分支特征图。并且，该模板分支的卷积参数和搜索分支的卷积参数相同；卷积参数相同，可以指卷积核参数相同，或进一步地，网络架构和卷积核参数都完全相同，从而保证对模板融合特征图和搜索融合特征图进行相同的转换，能够最大程度发挥孪生网络的相似性识别功能。之后检测头对两个分支特征图进行深度互相关，使得两分支特征图进行信息的嵌入，得到可见光搜索图像中每一像素点的类别，也就是分类图，以及，得到待跟踪目标的预测框，也就是回归图。

22、在第一方面的一种可能的实现方式中，检测头对模板分支特征图和搜索分支特征图进行深度互相关，得到可见光搜索图像中每一像素点的类别和待跟踪目标的预测框，包括以下步骤：

23、在深层网络的最后三层，利用检测头对每层的模板分支特征图和搜索分支特征图分别进行卷积操作，得到每层的模板分类图、模板回归图、搜索分类图和搜索回归图；

24、在深层网络的最后三层，利用检测头对每层的模板分类图和搜索分类图进行深度互相关，得到第一分类图，以及对每层的模板回归图和搜索回归图进行深度互相关，得到第一回归图；

25、将第一分类图加权平均后映射到可见光搜索图像，得到可见光搜索图像中每一像素点的类别；

26、将第一回归图加权平均后映射到可见光搜索图像，得到可见光搜索图像中每一像素点对应的待跟踪目标的预测框。

27、在这种实现方式中，通过卷积将模板分支特征图和搜索分支特征图进行任务解耦，得到分类图和回归图；其中，分类图用于得到像素点的类别，也就是该像素点属于前景或背景；回归图用于得到像素点对应的待跟踪目标的预测框。之后再进行互相关，将不同分支的特征进行嵌入，得到相关特征。同时，为了提高识别和定位的准确性，在深层网络的最后三层，均存在检测头。通过多级特征融合的方式，使得不同层级的特征得以聚合，共同推断跟踪目标的位置。

28、在第一方面的一种可能的实现方式中，当像素点属于前景时，像素点的类别为1，或者，当像素点属于背景时，像素点的类别为0；根据可见光搜索图像中每一像素点的类别，从预测框中确定可见光搜索图像中待跟踪目标的包围框，包括以下步骤：

29、对预测框进行缩放变化惩罚，得到惩罚因子；

30、将惩罚因子与可见光搜索图像中每一像素点的类别相乘，加窗处理后得到预测框的得分；

31、根据非极大值抑制算法，选择得分最高的预测框作为可见光搜索图像中待跟踪目标的包围框。

32、在这种实现方式中，通过惩罚因子对尺度变化较大的预测框进行惩罚；为了抑制中心点距离变化较大的预测框，进一步进行余弦加窗。最后，通过非极大值抑制算法舍弃重叠的预测框，选择得分最高的预测框作为可见光搜索图像中待跟踪目标的包围框。

33、在第一方面的一种可能的实现方式中，上述方法是利用加速器架构执行的，该加速器架构包括：

34、片外动态随机存储器dram、静态随机存储器sram、控制器、以及由多个处理单元pe构成的pe阵列；片外dram用于存储输入图像和滤波器权重；sram用于对从片外dram加载的输入图像和滤波器权重以及pe阵列计算得到的中间数据进行缓存，中间数据包括部分和；pe阵列用于进行数据计算，pe阵列的pe之间通过可重构开关连接，该可重构开关用于配置pe得到与滤波器权重的大小相对应的pe集；控制器用于根据预设数据流结构控制pe阵列的配置和数据的流向，以及数据的写入和写出，该预设数据流结构包括行固定rs数据流。

35、在第一方面的一种可能的实现方式中，每个pe之间在垂直方向上通过可重构开关连接；每两列pe之间在水平方向上通过可重构开关连接。

36、在第一方面的一种可能的实现方式中，可重构开关是用通路晶体管制成的；可重构开关是通过调整通路晶体管上的栅极电压来配置端口路径的。

37、在第一方面的一种可能的实现方式中，sram包括滤波器权重存储器、输入图像存储器以及部分和存储器，上述滤波器权重存储器、输入图像存储器以及部分和存储器，均通过共享总线与pe阵列连接，其中，滤波器权重存储器用于存储滤波器权重，输入图像存储器用于存储输入图像，部分和存储器用于存储部分和。

38、在第一方面的一种可能的实现方式中，上述控制器具体用于：确定与滤波器权重的维度相适应的pe集；根据rs数据流，从滤波器权重存储器中读取滤波器权重的行数据，并输入到pe集的左边缘pe；根据rs数据流，从输入图像存储器中读取输入图像的行数据，并输入到pe集的左边缘pe和下边缘pe；滤波器权重的行数据横向移动，输入图像的行数据对角移动，滤波器权重的行数据和输入图像的行数据在pe中进行卷积，得到部分和，部分和数据垂直向上移动进行累加。

39、第二方面，本技术实施例提供了一种目标跟踪模型的训练方法，该训练方法包括：获取训练数据，该训练数据包括训练图像序列以及训练图像序列的跟踪目标标注结果；训练图像序列包括可见光图像序列和红外图像序列；利用训练数据对跟踪模型进行训练，得到目标跟踪模型；目标跟踪模型的损失函数包括分类损失函数和回归损失函数。

40、第三方面，本技术还提供了一种目标跟踪装置，该装置具有实现第一方面或第二方面任意可能的实现方式中的方法的功能。具体地，该装置包括实现第一方面或第二方面的任意一种方法的单元。

41、第四方面，提供了一种目标跟踪模型的训练装置，该装置包括由软件和/或硬件组成的用于执行第二方面中的任意一种训练方法的单元。

42、第五方面，本技术还提供了一种加速器架构，该加速器架构能够用于执行第一方面或第二方面任意可能的实现方式中的方法，该加速器架构包括：

43、片外动态随机存储器dram、静态随机存储器sram、控制器、以及由多个处理单元pe构成的pe阵列；片外dram用于存储输入图像和滤波器权重；sram用于对从片外dram加载的输入图像和滤波器权重以及pe阵列计算得到的中间数据进行缓存，中间数据包括部分和；pe阵列用于进行数据计算，pe阵列的pe之间通过可重构开关连接，该可重构开关用于配置pe得到与滤波器权重的大小相对应的pe集；控制器用于根据预设数据流结构控制pe阵列的配置和数据的流向，以及数据的写入和写出，该预设数据流结构包括行固定rs数据流。

44、第六方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，当处理器执行计算机程序时能够实现第一方面或第二方面的任意一种方法。

45、第七方面，本技术还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第二方面的任意一种方法。

46、第八方面，本技术还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或第二方面的任意一种方法。

47、本技术实施例与现有技术相比存在的有益效果是：

48、本技术通过设计浅层网络和深层网络，简化了目标跟踪模型的结构，通过减少高通道的复杂计算，节省了计算资源和存储资源，使得网络更加轻量化。通过结合可见光图像和红外图像两个模态的图像特征，有效提高了目标跟踪的准确性。

49、另外，本技术的目标跟踪方法是利用加速器架构来执行的，通过可重构开关配置pe集，使其与目标cnn层的大小相适应，并根据目标cnn层的数据流模式定制pe间的连接，从而大大提高pe的利用率，实现高速的卷积运算。通过硬件加速的方式，将本技术提供的跟踪算法部署到与之并行的加速器架构上，使边缘端设备实现准确高效的目标跟踪。