一种基于知识蒸馏的轻量化SAR图像目标检测方法

本发明属于雷达，具体涉及一种基于知识蒸馏的轻量化sar图像的目标检测方法。

背景技术：

1、近年来由于网络深度的增加以及计算能力的不断提高，基于深度学习的目标检测方法开始占据主流。目前，基于深度学习的目标检测方法可以分为两类。一类是以fast r-cnn、faster r-cnn等为代表的两阶段目标检测算法，此类方法通常会先获取候选区域，然后再对候选区域进行分类与边界框的回归，因此在检测精度上具有优势；另一类是以yolo、ssd为代表的单阶段目标检测算法，此类方法直接在网络中提取特征来预测物体分类和位置，因此在检测速度上具有优势。redmon j等人在2016年提出了yolo算法，但此时的yolo算法只有速度优势，精度上远不如双阶段目标检测算法。此后为了弥补yolo算法在检测精度上的劣势，不断有新的yolo系列算法涌现。2017年redmon j再次提出yolov2，一年后又提出yolov3。2020年bochkovskiy a等人以及ultralytics公司相继提出yolov4以及yolov5。2021年，ge z等人提出yolox。2022年，xu s等人提出pp-yoloe，美团团队提出yolov6，bochkovskiy a等人提出yolov7。纵观yolo系列算法的发展历程，yolo系列的目标检测新方法往往会结合当前目标检测领域的最新进展，追求模型精度与速度的最佳权衡。

2、当前基于卷积神经网络的sar目标检测方法大多以设计更复杂的模型达到更高的检测精度为目的，但是复杂模型带来了较大的参数量与计算量，这一方面导致模型难以在雷达终端设备中的部署问题，另一方面，由于sar图像往往是大场景图像，当使用复杂模型检测场景大图时会产生严重的检测耗时，难以满足实时性要求。目前，基于卷积神经网络的模型轻量化的方法大致可分为以下两大类：第一类为结构压缩方法；第二类为参数压缩方法。已有研究表明，通过结构压缩方法能够将深度学习模型的参数量与计算复杂度降低，提高模型在测试阶段的推理判决速度，从而满足模型部署与实时性目标检测的需要，但当这些方法应用于sar目标检测时，由于sar场景广阔且复杂，轻量化后的sar目标检测模型往往会有较大的性能下降，难以满足sar目标检测的精度要求，因此如何实现精度与速度的最佳权衡，依然需要进一步研究。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了一种基于知识蒸馏的轻量化sar图像的目标检测方法。

2、本发明要解决的技术问题通过以下技术方案实现：

3、一种基于知识蒸馏的轻量化sar图像的目标检测方法，所述目标检测方法包括：

4、步骤1、获取待检测的sar图像；

5、步骤2、将所述待检测的sar图像输入至训练好的轻量化的学生网络，得到目标检测结果；

6、其中，以yolox-s模型为基线构建所述轻量化的学生网络；所述轻量化的学生网络利用训练好的教师网络进行训练，且所述轻量化的学生网络的损失函数包括非蒸馏损失与蒸馏损失，以使所述训练好的轻量化的学生网络结合顶层知识蒸馏与隐层知识蒸馏的知识蒸馏方法进行目标检测，得到目标检测结果。

7、可选地，所述教师网络包括改进的yolox-x目标检测网络，所述改进的yolox-x目标检测网络是通过将yolox-x目标检测网络中的定位分支的输出由(cx1，cy1，w1，h1)替换为(l1，t1，r1，b1)得到的网络，所述改进的yolox-x目标检测网络的损失函数是通过将所述yolox-x目标检测网络的iou损失函数替换为dfl损失函数与diou损失函数之和得到的损失函数，其中，(cx1，cy1)为第一预测框的中心点坐标，w1为第一预测框的宽度，h1为第一预测框的宽度，l1、t1、r1、b1为第一预测框的中心点到第一预测框的四条边框的距离。

8、可选地，以yolox-s模型为基线构建所述轻量化的学生网络，具体包括：

9、在yolox-s模型的基础上，将yolox-s模型的backbone替换为mobilenetv3-small，在mobilenetv3-small与yolox-s模型的neck之间添加引导卷积模块，且yolox-s模型中的所有3*3卷积替换为深度可分离卷积，并将yolox-s模型中的定位分支的输出由(cx2，cy2，w2，h2)替换为(l2，t2，r2，b2)，其中，(cx2，cy2)为第二预测框的中心点坐标，w2为第二预测框的宽度，h2为第二预测框的宽度，l2、t2、r2、b2为第二预测框的中心点到第二预测框的四条边框的距离。

10、可选地，所述轻量化的学生网络的训练方法包括：

11、s1、获取sar数据训练集，所述sar数据训练集包括多个带真实标签的sar训练图像；

12、s2、训练教师网络，得到训练好的教师网络，所述训练好的教师网络的参数固定不变；

13、s3、将若干所述sar训练图像分别输入所述训练好的教师网络和所述轻量化的学生网络，得到所述训练好的教师网络输出的若干第一向量、所述训练好的教师网络的backbone输出的第一特征图、所述训练好的教师网络的neck输出的第二特征图、所述轻量化的学生网络输出的若干第二向量、所述轻量化的学生网络的mobilenetv3-small输出的第三特征图以及所述轻量化的学生网络的neck输出的第四特征图；

14、s4、利用所述第一向量、所述第一特征图、所述第二特征图、所述第二向量、所述第三特征图和所述第四特征图计算所述轻量化的学生网络的损失函数；

15、s5、基于s4所计算的所述轻量化的学生网络的损失函数，利用梯度下降法对所述轻量化的学生网络各层的参数进行更新，得到更新后的轻量化的学生网络；

16、s6、重复执行s3至s5，直至所述更新后的轻量化的学生网络收敛，得到所述训练好的轻量化的学生网络。

17、可选地，步骤s3包括：

18、s3.1、对所述轻量化的学生网络进行随机初始化；

19、s3.2、从所述sar数据训练集中随机选取n个带真实标签的sar训练图像，并将n个带真实标签的sar训练图像分别输入所述训练好的教师网络和所述轻量化的学生网络，得到所述训练好的教师网络输出的若干第一向量、所述训练好的教师网络的backbone输出的第一特征图、所述训练好的教师网络的neck输出的第二特征图、所述轻量化的学生网络输出的若干第二向量、所述轻量化的学生网络的mobilenetv3-small输出的第三特征图以及所述轻量化的学生网络的neck输出的第四特征图，每个所述第一向量和每个所述第二向量均对应一个预测框；

20、其中，所述第一向量和所述第二向量的长度均为4*m+n+1，4*m为定位分支的输出，n为分类的输出，1为置信度分支的输出。

21、可选地，所述轻量化的学生网络的损失函数的非蒸馏损失包括所述轻量化的学生网络的定位分支的输出计算的diou损失和dfl损失、分类分支的输出计算的第一bce损失、置信度分支的输出计算的第二bce损失；

22、所述轻量化的学生网络的损失函数的蒸馏损失包括定位知识蒸馏损失、基于预测引导的特征蒸馏损失和置信度蒸馏损失。

23、可选地，所述定位知识蒸馏损失的获取方法包括：

24、通过将所述轻量化的学生网络的定位分支输出的定位输出概率分布向量设置为以所述训练好的教师网络的定位分支输出的定位输出概率分布向量为软标签计算得到所述定位知识蒸馏损失。

25、可选地，所述基于预测引导的特征蒸馏损失的获取方法包括：

26、分别计算所述第一特征图和所述第三特征图之间的第一欧式距离、所述第二特征图和所述第四特征图之间的第二欧式距离，并将所述第一欧式距离作为第一隐层特征差异、所述第二欧式距离作为第二隐层特征差异；

27、计算所述训练好的教师网络的分类分支的输出张量和所述轻量化的学生网络的分类分支的输出张量之间的第三欧式距离，并将所述第三欧式距离作为分类预测的差异；

28、基于所述第一隐层特征差异、所述第二隐层特征差异和所述分类预测的差异得到所述基于预测引导的特征蒸馏损失。

29、可选地，所述置信度蒸馏损失的获取方法包括：

30、根据所述轻量化的学生网络的置信度分支输出的第一置信度和所述训练好的教师网络的置信度分支输出的第二置信度得到所述置信度蒸馏损失。

31、可选地，所述轻量化的学生网络的损失函数表示为：

32、lall＝αldiou+βldfl+lcls+lobj+γlld+δlfd+εlobjkd

33、其中，ldiou表示diou损失，ldfl表示dfl损失，lcls表示第一bce损失，lobj表示第二bce损失，lld表示定位知识蒸馏损失，lfd表示基于预测引导的特征蒸馏损失，lobjkd表示置信度蒸馏损失，α、β、γ和δ均表示超参数。

34、与现有技术相比，本发明的有益效果：

35、本发明首先以yolox-s模型为基线构建轻量化的学生网络，这种轻量化的学生网络不仅能满足模型在雷达终端设备部署的要求，而且推理速度快，能实现对地检测的实时性要求，另一方面轻量化的学生网络利用训练好的教师网络进行训练，并结合知识蒸馏方法，轻量化的学生网络的损失函数包括非蒸馏损失与蒸馏损失，使训练好的轻量化的学生网络能够结合顶层知识蒸馏与隐层知识蒸馏的知识蒸馏方法进行目标检测，得到目标检测结果，由此能够充分提取教师网络中有利于轻量化的学生网络学习的知识，从而更好地提高轻量化的性能，使得轻量化模型的检测精度可与复杂大模型相比较，实现对地检测的精度要求。

36、以下将结合附图及对本发明做进一步详细说明。