一种基于卷积神经网络的实时低照度图像目标检测方法

本发明属于深度学习、计算机视觉领域，具体涉及一种基于卷积神经网络的实时低照度图像目标检测方法。

背景技术：

1、随着深度学习在计算机视觉领域的发展，目标检测算法逐渐演化为one-stage与two-stage两个分支。一阶段算法将目标检测任务视为定位与分类的回归问题，两阶段算法先对候选区域选取，再对候选区域分类。相较于一阶段算法，两阶段算法往往需要部署在算力较大的平台且花费的检测时间较长，不满足目标检测任务的实时性要求。现有的r-cnn、ssd、yolo等目标检测算法在通用数据集imagenet、coco、voc中可取得较好的检测效果，被广泛应用在智慧交通、人脸识别、病理分析、工业检测等领域中。然而，真实世界中的成像受光照及设备影响，捕获的图像存在对比度不足、信噪比低的问题。低质量图像不仅影响视觉效果，也使下游视觉任务更困难，严重影响了算法的检测精度。

2、研究者们通常使用两类方法来处理低照度图像的检测问题，一类方法使用热成像或红外传感器等设备进行图像获取，但这类方法对物理设备要求高且成本高昂；另一类通过图像增强技术还原图像质量，但传统的直方图均衡化或基于retinex的方法侧重于恢复图像的对比度，无法恢复图像真实色彩。随着深度学习在图像处理领域的应用，利用卷积神经网络可以提取算法模型高层语义，学习图像对比度及光照色彩等特征，产生了更具表现力的效果。此方法不以视觉感官来评判图像质量，而是与下游视觉任务结合，将图像增强作为目标检测的预处理操作，级联增强器与检测器，形成“增强+检测”的策略，降低低照度图像对目标检测算法的影响。

技术实现思路

1、本发明为了解决在低照度环境下目标检测精度低的问题，提出了一种基于卷积神经网络的实时低照度图像目标检测方法。针对低照度图像对比度不足、信噪比低的特点，该方法在不利用照明、红外等物理设备的前提下，利用深度网络对图像进行增强与恢复，通过数据增强的方式优化用于训练神经网络的数据集。本发明所要解决的技术问题主要有两个，一是图像增强恢复图像的同时放大了噪声，检测模型对模糊物体的识别能力较低；二是增强器与检测器级联在实际运用中参数量过大，计算量过高，无法满足在算力较小的嵌入式平台实现实时检测的要求。

2、针对问题一，本发明设计了基于通道注意力机制的特征融合模块，构成关注像素级信息的特征提取网络，利用融合模块将增强图像与原始图像的低级特征融合，加强对模糊物体的识别能力；针对问题二，对增强器做轻量化处理，使用深度可分离卷积替换深度网络中的普通卷积，大幅减少增强器的网络参数量，提高增强器处理速度与推理能力。本发明采用的技术方案如下：

3、一种基于卷积神经网络的实时低照度图像目标检测方法，包括以下步骤：

4、步骤一、配置深度学习软件环境，配置基于卷积神经网络的图像增强算法与目标检测算法环境；

5、步骤二、构建低照度图像数据集，获取真实低照度图像并对图像进行标注，汇总为标签数据集；

6、步骤三、建立增强恢复模块，使用权重机制抑制图像增强带来噪声放大的问题；

7、步骤四、构造深度神经网络，建立增强器与检测器级联的检测模式。其中先对数据集进行图像增强，作为检测网络的预处理部分，再进行特征提取与检测活动；

8、步骤五、轻量化网络，首先在预处理过程对图像下采样处理，其次将标准卷积替换为深度可分离卷积，保证网络实时性需求；

9、步骤六、优化网络，在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，使整体模型在精度与速度上达到平衡；

10、步骤七、训练神经网络模型，验证低光照环境检测效果。

11、具体的：

12、步骤一所述目标检测算法为基于候选区域的两步算法或基于回归的单步算法，图像增强算法为直方图图像增强算法、色调映射图像增强算法或retinex图像增强算法；

13、步骤二所述真实低照度图像数据集为合成数据集，首先利用网络获取真实低照度图像数据集并筛选公共数据集中低照度图像进行扩充。其次对图像进行标注，汇总为标签数据集。最后将标签数据集随机划分为训练集、验证集和测试集；

14、步骤三所述增强恢复模块以双通道的形式，首先将增强图像与原始图像作为输入进行融合，利用通道注意力机制为每个特征通道添加一个权重。其次通过神经网络学习特征图中每个通道的重要性。最后根据权重聚合双通道的输入特征通道，提高模块对目标特征信息通道的关注，抑制图像增强时噪声放大的影响；

15、步骤四所述增强器与检测器级联网络为低照度图像增强算法、级联模块和目标检测算法组成，包含图像预处理层、特征融合层、特征提取层和预测层。其中所述低照度图像增强算法作为网络的预处理层增强图像质量，低照度图像增强算法包含直方图均衡化方法、基于retinex理论或曲线映射的方法，所述的级联模块为步骤三中增强恢复模块，所述目标检测算法包含基于候选区域的两步算法或基于分类回归的单步算法，通过cspdarknet、vgg或mobilenet等网络模型进行特征融合，通过特征金字塔fpn、panet或bifpn等网络结构进行特征提取，通过3×3和1×1的卷积模块进行分类回归，计算交并比，预测目标出现在先验框中的概率；

16、步骤五所述模型轻量化对预处理部分先将下采样后的小比例图像作为预处理层的输入，降低卷积层学习的计算成本。其次通过上采样将增强后的图像恢复到原始分辨率，代入后续的活动中。最后将普通卷积替换为深度可分离卷积，参数量可减少至原来的十分之一；

17、步骤六所述优化模型在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，特别在计算能力有限情况下，注意力机制可将计算资源分配给更重要的任务，使神经网络具备专注于空间信息及通道信息的特征提取能力，使整体模型在精度与速度上达到平衡。

18、步骤七所述模型训练部分首先将低照度图像数据集按8:1:1随机分为训练集、验证集与测试集，生成低照度图像目标检测模型。其次验证模型检测效果，在低照度条件下拍摄真实图像，将图像分别送入传统目标检测模型与基于本发明的低照度目标检测模型，验证模型检测效果；

19、本发明有益效果：

20、首先，本发明利用图像增强算法作为目标检测的预处理步骤，更适用于低照度图像的特征提取，可以提高神经网络对低照度图像识别的精确度。其次，本发明设计了基于通道注意力机制的增强恢复模块，对图像增强带来的图像噪声放大问题进行权重规定，获得了质量更高的图像。再次，本发明下采样图像进行预处理，降低模型对算力的要求，可以将模型应用在移动端或嵌入式设备等算力较低的平台。然后，本发明在特征提取阶段使用深度可分离卷积替换标准卷积，使整体模型在检测速度上得到了提升，满足实时检测的需求。最后，本发明无需使用红外成像等硬件设备对图像处理，成本较低。

技术特征：

1.一种基于卷积神经网络的实时低照度图像目标检测方法，其步骤包括：

2.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤一所述目标检测算法为基于候选区域的两步算法或基于回归的单步算法；图像增强算法为直方图图像增强算法、色调映射图像增强算法或retinex图像增强算法。

3.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤二所述真实低照度图像数据集为合成数据集，首先利用网络获取真实低照度图像数据集并筛选公共数据集中低照度图像进行扩充；其次对图像进行标注，汇总为标签数据集；最后将标签数据集划分为训练集、验证集及测试集。

4.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤三所述增强恢复模块以双通道的形式首先将增强图像与原始图像作为输入进行融合，利用通道注意力机制为每个特征通道添加一个权重；其次通过神经网络学习特征图中每个通道的重要性；最后根据权重聚合双通道的输入特征通道，提高模块对目标特征信息通道的关注，抑制图像增强时噪声放大的影响。

5.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤四所述“增强+检测”网络为低照度图像增强算法、级联模块和目标检测算法组成，包含图像预处理层、特征融合层、特征提取层和预测层。其中所述低照度图像增强算法作为网络的预处理层增强图像质量，低照度图像增强算法包含直方图均衡化方法、基于retinex理论或深度曲线估计的方法；所述的级联模块为权利要求4中增强恢复模块；所述目标检测算法包含基于候选区域的两步算法或基于分类回归的单步算法，通过cspdarknet、vgg或mobilenet等网络模型进行特征融合，通过特征金字塔fpn、panet或bifpn等网络结构进行特征提取，通过3×3和1×1的卷积模块进行分类回归，计算交并比，预测目标出现在先验框中的概率。

6.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤五所述模型轻量化对预处理部分先将下采样后的小比例图像作为预处理层的输入，降低卷积层学习的计算成本；其次通过上采样将增强后的图像恢复到入原始分辨率，代后续的活动中；最后将普通卷积替换为深度可分离卷积，参数量可减少至原来的十分之一。

7.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤六所述优化模型在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，使整体模型在精度与速度上达到平衡。

8.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤七所述模型训练部分先将低照度图像数据集按8:1:1随机分为训练集、验证集与测试集，生成低照度图像目标检测模型；其次验证模型检测效果，在低照度条件下拍摄真实图像，将图像分别送入无图像增强的目标检测模型与权利要求1中的低照度目标检测模型，验证模型检测效果。

技术总结
本发明公开了一种基于卷积神经网络的实时低照度图像目标检测方法，应用于计算机视觉技术领域，本发明包括：构建真实低照度图像数据集；基于图像增强过程，对高分辨率图像进行下采样，降低计算成本；利用深度曲线估计恢复低光照图像对比度，提高图像质量；基于目标检测过程，使用轻量化网络来满足检测模型整体实时性要求；使用高效坐标注意力机制，关注通道与空间位置信息，增强网络的特征学习能力；将图像增强作为目标检测的预处理部分，形成“增强+检测”模型；为每个特征通道添加一个权重并学习特征图中每个通道的重要性，建立双通道融合原始图像与增强图像，抑制图像增强带来噪声放大的影响。建立原始图像与增强图像间的互补关系。

技术研发人员：袁宥
受保护的技术使用者：江苏科技大学
技术研发日：
技术公布日：2024/1/16