基于图像增强和图匹配的领域自适应夜间目标检测方法

本发明属于目标检测，更进一步涉及一种领域自适应夜间目标检测方法，可用夜间监控及夜间智能驾驶辅助。

背景技术：

1、目标检测算法在计算机视觉领域中扮演关键角色，其在实际应用中作为技术基石可识别和定位图像或视频中的特定物体。而日夜环境的变化会造成在日间数据集训练的目标检测算法面对夜间目标时，检测准确率大幅下降。且夜间数据集又存在采集、标注困难的问题，因此研究领域自适应的夜间目标检测方法，对智能技术的广泛应用具有重要的现实意义。

2、当前，领域自适应技术可以分为传统迁移学习，领域对抗方法和特征对齐方法，其中：

3、传统迁移学习，是利用在源领域上预训练好的模型参数初始化目标领域的模型。领域对抗方法，是学习不同领域中共有的特征作为目标检测依据，特征对齐方法，是通过调整源领域和目标领域的特征表示，使它们特征空间中分布一致。

4、现有技术中，由于迁移学习方法大多关注将日间领域目标检测算法直接应用在夜间领域，不考虑日夜领域间分布差异，同时迁移过程由模型内部进行难以解释，使得无法有效地归纳领域间的差异并做出相应的算法调整。同时，只注意领域共有特征的领域对抗方法会导致目标检测算法在日间数据上的过拟合。因而无法得到良好的目标检测效果及具有可解释的领域自适应过程。

5、申请公布号为cn116524326a的专利文献公开了“一种基于语义分割和自训练的夜间图片领域自适应方法”。其实现方案为：步骤1：设置源域日间图像数据集，使用有监督方式初始化学生模型；步骤2：在源域数据集中对稀有类进行抽样；步骤3：根据源域和目标域夜间数据集，生成渐进域数据集；步骤4：分别在多个教师模型上训练源域数据集、目标域数据集以及渐进域数据集；步骤5：集成不同的教师模型参数以更新学生模型参数；步骤6：重复步骤1～步骤5的若干次进行迭代。该发明虽说缓解了传统的自训练中存在的噪声信号监督造成的确认偏差问题，可利用多个教师模型专门对学生模型指导，使得知识迁移更加平滑；引入教师知识-学生反馈机制提高模型抗干扰能力。但由于该发明采用渐进域策略来学习风格特征，而忽略了检测物体的结构特征，因而检测的准确率低，同时由于其使用教师学生模型的本身限制，故存在过拟合的风险，使得检测结果偏向日间领域特征，出现大规模漏检夜间目标的情况。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种基于图像增强和图匹配的领域自适应夜间目标检测方法，以对夜间图像数据的结构信息进行增强，减小漏检，提高对夜间目标检测的准确性。

2、本发明的技术思路是：通过构建信噪比引导图像增强模块，获得具有清晰结构信息的夜间图像数据；通过构建图匹配模块，以更符合物体实际结构部件的方式进行特征点采样，同时使用具有良好解释性的图匹配方法完成特征对齐转化，实现以日间数据训练的模型直接识别夜间目标；通过构建包括目标检测模块和验证模块的夜间目标检测模型，获得准确的目标识别结果。

3、根据上述思路，本发明实现步骤包括如下：

4、1)构建日间训练集、夜间训练集和夜间测试数据集：

5、1a)获取领域自适应领域常用数据集bdd100k，区分出该数据集中的日间数据和夜间数据，并将日间数据作为日间数据训练集；

6、1b)将区分出来的夜间数据按7:1的比例划分为夜间数据训练集i1和夜间数据测试集i2；

7、2)对夜间图像集进行增强：

8、2a)将夜间图像集i输入现有resnet18网络，获得结构信息的图像集ir，并对夜间图像集i依次进行去噪和归一化的预处理，得到去噪图像集ic和信噪比分布图集snr；

9、2b)将去噪图像集ic以信噪比分布图snr为权重，并与结构信息的图像集ir叠加，获得增强后的夜间训练集i1’和夜间测试数据集i2’；

10、3)构建由vgg骨干特征提取网络、两个卷积层、目标建议识别层、非极大值抑制层依次级联构成的目标检测模块；

11、4)构建由全连接层和多层感知层级联组成图匹配模块；

12、5)将日间数据训练集和增强后的夜间图像训练集i1’分别输入目标检测模块，获得各自的检测结果，并保留模块中通过vgg骨干特征提取网络提取的各自对应特征图组；

13、6)对步骤5)得到的两个检测结果，对其所对应的特征图组进行含目标区域的切片，并对所得的两组切片组分别进行逐点聚类，再从各聚类簇中随机采样一点，得到两组采样特征点组；

14、7)将两组采样特征点组一起输入到图匹配模块，获得两组采样特征点之间的匹配结果；

15、8)根据两组采样特征点之间的匹配结果和采样点在检测结果中的类别信息，计算图匹配损失lossmat；

16、9)根据步骤5)得到的两组检测结果及其对应的真实目标信息，共同计算目标识别损失lossdec，并将该目标识别损失与步骤8)中的图匹配损失lossmat加和，得到更新总损失lossall；

17、10)使用更新总损失lossall分别对目标检测模块和图匹配模块的参数进行更新；

18、11)重复步骤5)～10)直到达到设定的迭代次数，得到训练好的目标检测模块和图匹配模块；

19、12)将增强后的夜间测试数据集i2’输入训练好的目标检测模块，得到夜间目标的最终检测结果。

20、本发明与现有技术相比较，具有以下优点：

21、其一，本发明由于构建了图像增强模块，能通过增强夜间图像低信噪比区域，丰富图像的结构信息，获得更稳定图像输入，进而减小了目标检测的漏检概率；

22、其二，本发明由于构建了包含聚类的图匹配模块，能获得更符合物体实际结构分布的图像特征采样点，进一步提高了目标检测模型的精度。

技术特征：

1.一种基于图像增强和图匹配的领域自适应夜间目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于步骤2a)中对夜间图像集i的预处理，实现如下：

3.根据权利要求1所述的方法，其特征在于步骤2b)中使用去噪图像集ic、信噪比分布图集snr与结构信息的图像集ir获得增强图像集i′，其公式为；

4.根据权利要求1所述的方法，其特征在于，步骤3)所构建目标检测模块中的骨干特征提取网络和两个卷积层，其功能及参数分别如下：

5.根据权利要求1所述的方法，其特征在于，步骤4)所构建图匹配模块中的全连接层和多层感知层，其功能及参数分别如下：

6.根据权利要求1所述的方法，其特征在于，步骤6)对特征图组的两组切片组分别进行逐点聚类，实现如下：

7.根据权利要求1所述的方法，其特征在于，步骤8)中计算图匹配损失lossmat，公式如下；

8.根据权利要求1所述的方法，其特征在于，步骤9)中计算目标识别损失lossdec，公式如下；

9.根据权利要求1所述的方法，其特征在于，步骤9)中计算更新总损失lossdec，公式如下；

10.根据权利要求1所述的方法，其特征在于，步骤10)中使用更新总损失lossall分别对目标检测模块和图匹配模块的参数进行更新，公式如下：

技术总结
本发明公开了一种基于图像增强和图匹配的领域自适应夜间目标检测方法，主要解决现有技术面对夜间目标检测数据量小，数据参杂噪声时检测准确率低及夜间漏检概率高的问题，其实现方案为：构建日间训练集、夜间训练集和夜间测试集；增强夜间图像的低信噪比区域；构建目标检测模块和图匹配模块；通过目标检测模块对日夜间训练集进行检测和特征图的获取；通过匹配模块对齐日夜领域特征；使用目标检测损失和图匹配损失迭代更新目标检测模块和图匹配模块的参数；使用训练迭代后的目标检测模块检测夜间测试集，得到领域自适应目标检测结果。本发明能增强夜间图像结构信息，获得具有语意含义的代表特征点，目标检测结果准确，漏检概率低，可用于夜间目标检测。

技术研发人员：何立火,王正濠,柯俊杰,韩博,路文,王笛,高新波
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/3/17