一种基于对比学习的低照度目标检测方法

本发明属于计算机视觉和深度学习领域，涉及目标检测，具体涉及一种低照度下的目标检测方法。

背景技术：

1、随着社会的不断地发展以及人们的生活水平不断提高，目标检测技术越来越广泛的应用于人们的日常生活中。低照度场景与我们的生活息息相关，然而现有的大多数目标检测算法是针对非退化图像进行检测的，其在低照度条件下精度极大降低。在低照度场景下，由于光线昏暗或曝光不足，得到的图像通常存在亮度低、对比度低、噪声大等问题。其中最直接的解决方案之一是改善硬件，例如使用红外监控或增加相机的光圈。然而，这些硬件改进会使成本过高并且约束较多，难以实现各类目标在低照度下的检测。因此，很多研究仍然集中在软件算法解决方案上。目前针对低照度场景下的目标检测方法大多集中在以下两种方法上：

2、1.基于低照度图像增强的目标检测方法：通过对低照度图像进行增强可以一定程度上提高图像的视觉质量从而提高低照度下的目标检测精度。然而这种方法不论采用传统的方式或者基于深度学习的方式对低照度图像进行增强都需要大量的计算，使检测的实时性难以实现；另一方面采用先增强图像的方式提高目标检测检测精度会导致结果不稳定，难以适应不同低照度场景下的目标检测。此外，在增强低照度图像的同时可能会造成信息丢失，现有的低照度增强方法在增强图像同时会引入额外的噪声和模糊，从而导致原图像中的信息丢失，进而给后续的目标检测任务带来困难。

3、2.基于域适应的低照度图像目标检测方法：通过采用域适应的方法可以使原有的目标检测模型更适应于低照度图像的数据分布。然而域适应需要大量的标注数据来完成，这对于低照度目标检测的任务来说非常困难。一方面公开的低照度目标检测数据集较少，而构建低照度数据集需要耗费大量人力物力；另一方面低照度数据的多样性也是域适应面临的问题，因为低照度数据分布可能与原数据分布差异较大，因此需要更多数据使模型具有更强的鲁棒性。

4、此外，现有的目标检测骨干网络大都采取有监督的方式进行训练，这种在标注信息引导下训练的方式使得提取的特征在更具针对性的同时泛化性变差，而采取无监督训练方式得到的骨干网络提取的特征在提升特征泛化性的同时由于没有标注信息的引导，特征所包含的针对目标检测的位置和类别信息会有一定程度的减少。

5、综上，当前低照度目标检测方法主要存在以下问题：一、现有的基于图像增强的低照度目标检测方法不能满足实时性需求且模型泛化能力差，难以适应不同的低照度场景；二、基于域适应的低照度目标检测方法对低照度数据集过度依赖。三、现有骨干网络提取特征泛化性差。为了实现低照度下实时精确检测本发明将针对上述问题展开研究。

技术实现思路

1、本发明是为了解决现有的低照度目标检测方法中检测速度慢以及模型泛化能力差导致难以在不同低照度场景下实现实时精确检测的问题，提出了一种基于对比学习的低照度目标检测方法，并通过设计多尺度特征融合和特征增强模块进一步提高了低照度目标检测的精度，可应用在夜间或低环境光照场景下的车辆视觉辅助驾驶、智能视频监控系统的目标检测识别以及机器人智能视觉导航等领域，具有广泛的应用价值。

2、一种基于对比学习的低照度下目标检测方法，本发明的实现方案包括以下步骤：

3、步骤一、对比学习训练所需数据集的收集和预处理，预处理后的图像作为对比学习网络训练的数据，预处理后的数据由图像集pa、图像集pb和图像块集pc组成，其中，a表示随机裁剪操作，b表示添加高斯模糊操作，c表示随机曝光操作。

4、步骤二、构建由全局-全局、全局-局部和多级编码损失共同构成的对比学习网络并采用步骤一获得的数据进行训练；其中，对比学习网络编码模块中的骨干网络r采用resnet50特征提取网络；使用训练后的骨干网络r对输入图像进行特征提取，输出骨干网络r的后三层特征r3,r4,r5；

5、步骤三、构建基于注意力的多尺度特征融合模块，将步骤二得到的特征r3,r4,r5与有监督训练得到的骨干网络y所提取的特征y3,y4,y5采用基于注意力的多尺度特征融合模块进行融合，得到融合后的特征f3,f4,f5；

6、步骤四、构建特征增强模块，采用特征增强模块增强步骤三所得的融合后的特征f5的感受野，得到增强后的特征e5。

7、步骤五、将步骤三得到的融合后的特征f3,f4和步骤四得到的增强后的特征e5输入目标检测网络检测头得到预测结果，构建目标检测网络损失函数，在低照度目标检测数据集exdark上进行训练。当验证集损失不再降低时停止训练，最终得到最优的低照度目标检测模型。

8、本发明的有益效果是：

9、本发明提出一种基于对比学习的低照度目标检测的方法，可以针对低照度图像实现实时精确检测，且检测时无需图像的低照度增强过程。解决了现有的基于低照度增强算法的目标检测网络难以在各类低照度场景下实现实时精确检测的问题，且由于所提方法基于无监督方式训练主干网络，避免了对低照度数据集的过分依赖。

技术特征：

1.一种基于对比学习的低照度目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤一所述的对比学习训练所需数据集来源于低照度目标检测开源数据集exdark。

3.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤一所述的对比学习训练所需数据集预处理过程如下：

4.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤二所述的骨干网络r采用的是基于moco v2训练的resnet50特征提取网络预训练模型，步骤二所述的全局-全局、全局-局部和多级编码损失共同构成的对比学习网络的构建及训练过程如下：

5.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤三所述的有监督训练得到的骨干网络y采用yolo v7骨干网络的预训练模型，步骤三所述基于注意力的多尺度特征融合模块的工作过程如下：

6.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤四所述特征增强模块的工作过程如下：

7.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤五所述目标检测网络检测头采用yolo v7网络的检测头，步骤五所述目标检测网络损失函数采用yolo v7目标检测网络损失函数，总的损失函数losstotal的计算公式如下式所示：

8.根据权利要求1所述的一种基于对比学习的低照度目标检测方法，其特征在于，步骤五所述目标检测网络的训练过程如下：

技术总结
一种基于对比学习的低照度目标检测方法，属于计算机视觉和深度学习领域。本发明方法综合了对比学习技术和计算机视觉领域目标检测技术，实现了低照度环境下的实时目标检测功能。本发明的方法在进行低照度图像的特征提取过程中，采用了将基于对比学习训练的骨干网络提取的特征和基于有监督训练的骨干网络提取的特征进行融合的方法，这样避免了传统的基于有监督训练的特征提取网络特征提取的特征泛化性差的问题以及采用先增强再检测的方法检测速度慢的问题，提高了低照度下目标检测的精度及实时性；同时本发明中的方法采用特征增强的技术提高了特征的感受野，进一步解决了实际低照度环境目标检测中对目标检测结果的高精度的需求。

技术研发人员：遆晓光,高峰
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/1/15