一种基于SSD改进的不平衡数据及复杂背景下水下小目标检测方法

本发明涉及计算机视觉与图像处理，尤其涉及一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法。

背景技术：

1、随着深度卷积神经网络的出现，研究人员在目标检测任务方面取得了重大进展。水下目标检测旨在定位和识别水下场景中的物体。这项研究因其在海洋学、水下航行和鱼类养殖等领域的广泛应用而受到持续关注。然而，由于复杂的水下环境和照明条件，这仍然是一项具有挑战性的任务。

2、传统的ssd(single shot multibox detector)算法，是一种单阶段目标检测算法，采用多级特征图进行多级输出，有效提升了算法对于不同尺度的目标的检测能力。在许多通用检测数据集上都取得了理想的效果。然而，在处理水下目标检测方面仍然存在不足。这是因为，首先，水下探测数据集稀缺，并且可用的水下数据集和实际应用中的对象通常很小。而ssd检测算法随着网络层数加深，特征图的分辨率也在减小，无法有效地检测图像中的小目标。其次，实际的水下数据集的图像是杂乱的。在水下场景中，波长相关的吸收和散射会显著降低水下图像的质量，这导致了许多问题，如能见度损失、弱对比度和颜色变化，这使得通用的目标检测算法在具有复杂背景的水下环境中检测精度难以满足需求。

技术实现思路

1、本发明针对水下图像的能见度低、背景复杂、目标占比小、样本不平衡，传统的ssd算法在具有复杂背景的水下环境中检测精度难以满足需求的问题，提出一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，本发明使用空洞卷积(dilatedconvolution)能在不丢失分辨率的同时扩大感受野，一方面更大的感受野也可以更好地检测大目标，另一方面高分辨率可以精确定位目标；对于大多数水下环境中的图像，背景都比较复杂，目标在图像中的占比较小，多维像素注意力网络可以很好地在检测过程中消除复杂背景的影响；最后，对于水下图像的样本类别呈现的不平衡分布，我们在分类器中引入知识蒸馏加强了对少样本类别的训练，有效提高检测精度。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，包括：

4、步骤1：使用vgg16作为前端骨干网络，将vgg16第conv3_3处的输出作为第一层用于预测的特征层，在vgg16模型的conv3_3之后嵌入多维像素注意力网络，以消除水下环境的复杂背景；在多维像素注意力网络之后使用膨胀率为r且具有relu激活的空洞卷积，依次生成剩余需要预测的多个特征层；将生成的多个特征层对应的特征图输入联合加权知识蒸馏与多尺度特征蒸馏模块，以提升具有较少的样本类别的水下小目标检测性能；

5、步骤2：调整原始不平衡的水下图像数据集中待检测图片大小并输入至步骤1改进后ssd的网络；

6、步骤3：基于步骤1改进后ssd的网络对水下小目标进行检测。

7、进一步地，多个特征层(包括第一层用于预测的特征层，以及剩余需要预测的多个特征层)的特征图具有不同的大小。

8、进一步地，所述多维像素注意力网络由像素注意力和cbam注意力相结合构成。

9、进一步地，所述多维像素注意力网络中，具体执行以下步骤：

10、在像素注意力网络中，第一层特征层f1的特征图通过一个具有不同比值卷积核的初始结构，然后通过卷积操作学习一个双通道显著性映射，得到的显著性图分别表示前景和背景的得分；然后，对显著性图执行softmax操作，并选择其中一个通道与f1的特征图相乘；最后，得到了一个新的信息特征图a1；

11、采用监督性学习的方法：首先，根据样本真实标签得到一个二进制映射作为标签，然后利用二进制映射的交叉熵损失和显著性映射作为注意力损失；此外，使用cbam作为辅助注意力网络。

12、进一步地，所述联合加权知识蒸馏与多尺度特征蒸馏模块中，具体执行以下步骤：

13、基于生成的多个特征层对应的特征图，采用实例采样和交叉熵损失对其继续训练得到一个教师模型

14、通过添加一个加权知识蒸馏损失和多尺度特征蒸馏损失来重新训练一个学生模型ψθ,ω，在此过程中，运用来自训练好的教师模型的多尺度特征与预测，为训练出更好的学生模型留下了可学习的空间。

15、进一步地，按照下式计算加权知识蒸馏损失lrkl：

16、

17、其中abs()表示绝对值函数，权重因子wi为

18、

19、其中ti和si分别代表教师模型和学生模型的类别预测概率，c代表类别数量，ni代表第i类的样本数量。

20、进一步地，按照下式计算多尺度特征蒸馏损失lkf：

21、

22、其中，和是将教师模型学习到的多尺度特征vt与学生端的特征vs分别进行归一化得到的，n代表模型提取的特征图个数。

23、进一步地，所述联合加权知识蒸馏与多尺度特征蒸馏模块中，最终的分类损失ljwafd为：

24、得到分类损失ljwafd：

25、

26、其中，lce表示地面真实标签和学生模型预测之间的交叉熵损失，y＝(y1,y2,...,yc)∈rc表示一个图像数据点的真实标签向量，c代表类别数量，yi表示y的第i个分量，zs表示学生模型的输出，表示学生模型的输出的估计类别概率，超参数α和β控制了各个蒸馏量，而δ、γ分别代表多尺度特征蒸馏和加权知识蒸馏的缩放参数，t代表知识蒸馏的温度。

27、与现有技术相比，本发明具有的有益效果：

28、本发明设计的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，设计的有监督多维像素注意力网络能够有效消除水下图像复杂背景的影响。针对水下环境中出现的类别不平衡分布问题提出了联合加权知识蒸馏与多尺度特征蒸馏模块，使得样本数量较少的类别也能获得较好的识别检测效果，与原始ssd算法相比，大大提高了稀有类别的检测能力，减小了由于样本分布不平衡对模型检测能力的影响。在训练过程中，随着骨干网络对水下图像特征的提取，特征图的分辨率也在变小，本发明新增一层膨胀率为3的空洞卷积，使网络可以具有多尺度卷积核，进而增强模型检测小物体的能力。最终与原始ssd目标检测模型相比，本发明中的设计更加适用于具有复杂背景的水下图像检测。

技术特征：

1.一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，多个特征层的特征图具有不同的大小。

3.根据权利要求1所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，所述多维像素注意力网络由像素注意力和cbam注意力相结合构成。

4.根据权利要求3所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，所述多维像素注意力网络中，具体执行以下步骤：

5.根据权利要求1所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，所述联合加权知识蒸馏与多尺度特征蒸馏模块中，具体执行以下步骤：

6.根据权利要求5所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，按照下式计算加权知识蒸馏损失lrkl：

7.根据权利要求6所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，按照下式计算多尺度特征蒸馏损失lkf：

8.根据权利要求7所述的一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法，其特征在于，所述联合加权知识蒸馏与多尺度特征蒸馏模块中，最终的分类损失ljwafd为：

技术总结
本发明公开一种基于SSD改进的不平衡数据及复杂背景下水下小目标检测方法，包括：对SSD的网络进行改进：使用VGG16作为前端骨干网络，将第Conv3_3处的输出作为第一层特征层，在Conv3_3之后嵌入多维像素注意力网络；在多维像素注意力网络之后使用膨胀率为r且具有ReLU激活的空洞卷积，依次生成剩余需要预测的多个特征层；将生成的多个特征层对应的特征图输入联合加权知识蒸馏与多尺度特征蒸馏模块；调整原始不平衡的水下图像数据集中待检测图片大小并输入至改进后SSD的网络；基于改进后SSD的网络对水下小目标进行检测。本发明大大提高了稀有类别的检测能力，减小了由于样本分布不平衡对模型检测能力的影响。

技术研发人员：于俊洋,何义茹,谷航宇,潘顺杰,辛致宜,赵宇曦
受保护的技术使用者：河南大学
技术研发日：
技术公布日：2024/1/14