基于SiamFC++的无人机目标跟踪模型训练方法和装置与流程

本发明涉及无人机，具体涉及一种基于siamfc++的无人机目标跟踪模型训练方法和装置。

背景技术：

1、裁剪是压缩神经网络工作的常用技术。一般来说，裁剪结构可以分为两种：权重裁剪和卷积核裁剪。前者涉及去除单个权重或神经元，后者涉及移除整个通道或卷积核，但实现相当大的加速度要容易得多。裁剪比率表示要去除多少权重或卷积核，通常有两种方法可以确定比率或比率：第一种是预先定义全局比率或多层比率。第二种是间接调整裁剪比例，例如，使用基于正则化的裁剪方法，这需要大量的工程调整才能达到特定的比率。另外还存在裁剪的步骤问题，是一步到位还是逐步裁剪等。因此，如何对神经网络模型进行有效裁剪仍然是一个悬而未决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于siamfc++的无人机目标跟踪模型训练方法和装置。

2、依据本发明的一个方面，提供了一种基于siamfc++的无人机目标跟踪模型训练方法，所述方法包括：

3、基于siamfc++构建无人机目标跟踪模型，所述无人机目标跟踪模型包括主干网络、颈部网络、头部网络和卷积核裁剪模块；

4、获取基于模板的目标图像集和无人机拍摄的搜索图像集，并将所述目标图像集和搜索图像集分别输入到所述主干网络中提取目标特征图和搜索特征图；

5、将所述目标特征图和图像特征图分别输入到所述颈部网络中，根据所述目标特征图得到目标分类特征和目标回归特征，根据所述图像特征图得到搜索分类特征和搜索回归特征，分别对所述目标分类特征和所述搜索分类特征、所述目标回归特征和所述搜索回归特征进行互相关运算；

6、分别将互相关运算结果输入到所述头部网络中，得到分类特征和回归特征，并基于所述分类特征和所述回归特征对所述无人机目标跟踪模型进行训练。

7、在一些实施方式中，所述主干网络为一个，所述颈部网络为两个，所述头部网络为两个，均分别包括所述卷积核裁剪模块，且所述卷积核裁剪模块被配置为：随机地或者按照比例地确定裁剪的卷积核。

8、在一些实施方式中，随机或者按照比例确定裁剪的卷积核包括：

9、分别确定卷积层中各特征图的等级值，根据各所述特征图的等级值确定相应卷积核的等级；

10、根据各卷积核的等级对各所述卷积核进行降序排序；

11、对于排序后的卷积核，按照预设比例或者按照随机的数量对排在尾部的卷积核进行裁剪。

12、在一些实施方式中，所述卷积核裁剪模块还被配置为：

13、计算所述主干网络、颈部网络和头部网络中任一卷积核对应的特征图的rank函数的平均值；

14、根据所述rank函数的平均值按照降序排列所述卷积核；

15、根据经验知识库确定要裁剪的卷积核的比例；

16、裁剪去除排列在尾部的所述比例的卷积核。

17、在一些实施方式中，裁剪去除排列在前面的所述个数的卷积核之后还包括：

18、对保留的卷积核按照初始权重进行初始化，从而实现无人机目标跟踪模型的压缩调整。

19、在一些实施方式中，分别将互相关运算结果输入到所述头部网络中，得到分类特征和回归特征还包括：

20、在得到所述分类特征的同时得到对各分类进行评价的质量评估值；

21、将所述质量评估值与预测分数相乘得到相应选择框的得分。

22、在一些实施方式中，基于所述分类特征和所述回归特征对所述无人机目标跟踪模型进行训练还包括：

23、分别设置分类损失、质量评估损失和回归损失对训练进行监督；

24、其中，所述分类损失为focal损失，所述质量评估损失为二元交叉熵损失，所述回归损失为iou损失。

25、依据本发明的另一个方面，提供了一种基于siamfc++的无人机目标跟踪模型训练装置，所述装置包括：

26、模型构建模块，适于基于siamfc++构建无人机目标跟踪模型，所述无人机目标跟踪模型包括主干网络、颈部网络、头部网络和卷积核裁剪模块；

27、特征图提取模块，适于获取基于模板的目标图像集和无人机拍摄的搜索图像集，并将所述目标图像集和搜索图像集分别输入到所述主干网络中提取目标特征图和搜索特征图；

28、互相关运算模块，适于将所述目标特征图和图像特征图分别输入到所述颈部网络中，根据所述目标特征图得到目标分类特征和目标回归特征，根据所述图像特征图得到搜索分类特征和搜索回归特征，分别对所述目标分类特征和所述搜索分类特征、所述目标回归特征和所述搜索回归特征进行互相关运算；

29、平行处理模块，适于将互相关运算结果分别输入到所述头部网络中，得到分类特征和回归特征，并基于所述分类特征和所述回归特征对所述无人机目标跟踪模型进行训练。

30、依据本发明的又一方面，提供了一种基于siamfc++的无人机目标跟踪模型训练系统，包括：无人机平台、图像传感器和机载图像处理板，所述图像传感器和所述记载图像处理板设置在所述无人机平台上；

31、所述机载图像处理板包括处理器以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据上述实施方式中任一项所述的基于siamfc++的无人机目标跟踪模型训练方法。

32、依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现根据上述中任一项基于siamfc++的无人机目标跟踪模型训练方法。

33、由上述可知，根据本发明公开的上述技术方案首次实现了无人机目标跟踪模型的压缩，提高了目标跟踪效率和精度。

34、进一步的，无人机目标跟踪模型通过引入回归分支和分类分支，提升了选择框的跟踪精度，与现有基于深度学习的跟踪器相比，在效率和精度之间实现了平衡。

35、并且，上述技术方案具有通用性和实时性，为解决无人机跟踪问题提供了一个全新的视角和方案。

36、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种基于siamfc++的无人机目标跟踪模型训练方法，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述主干网络为一个，所述颈部网络为两个，所述头部网络为两个，分别包括所述卷积核裁剪模块，且所述卷积核裁剪模块被配置为：随机地或者按照比例地确定裁剪各网络中卷积层的卷积核。

3.根据权利要求2所述的方法，其特征在于，随机地或者按照比例地确定裁剪各网络中卷积层的卷积核包括：

4.根据权利要求1所述的方法，其特征在于，所述卷积核裁剪模块还被配置为：

5.根据权利要求4所述的方法，其特征在于，裁剪去除排列在前面的所述个数的卷积核之后还包括：

6.根据权利要求1-5中任一项所述的方法，其特征在于，分别将互相关运算结果输入到所述头部网络中，得到分类特征和回归特征还包括：

7.根据权利要求6所述的方法，其特征在于，基于所述分类特征和所述回归特征对所述无人机目标跟踪模型进行训练还包括：

8.一种基于siamfc++的无人机目标跟踪模型训练装置，所述装置包括：

9.一种基于siamfc++的无人机目标跟踪模型训练系统，其特征在于，包括：无人机平台、图像传感器和机载图像处理板，所述图像传感器和所述记载图像处理板设置在所述无人机平台上；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现根据权利要求1-7中任一项所述的基于siamfc++的无人机目标跟踪模型训练方法。

技术总结
本发明公开了一种基于SiamFC++的无人机目标跟踪模型训练方法，所述方法包括：基于SiamFC++构建无人机目标跟踪模型，该无人机目标跟踪模型中包括卷积核裁剪模块；获取基于模板的目标图像集和无人机拍摄的搜索图像集，并将所述目标图像集和搜索图像集分别输入到主干网络中提取目标特征图和搜索特征图；将所述目标特征图和图像特征图分别输入到颈部网络中，对得到的目标分类特征和搜索分类特征、目标回归特征和搜索回归特征进行互相关运算；将互相关运算结果分别输入到头部网络中，得到分类特征和回归特征，然后继续训练。上述方案首次实现了无人机目标跟踪模型的压缩，提高了目标跟踪效率和精度。

技术研发人员：任雪峰
受保护的技术使用者：北京卓翼智能科技有限公司
技术研发日：
技术公布日：2024/1/16