一种基于双层交替深度网络的雾霾图像目标检测方法

本发明涉及计算机视觉，具体的涉及一种基于双层交替深度网络的雾霾图像目标检测方法。

背景技术：

1、雾霾图像目标检测是指在雾霾等低能见度或恶劣天气条件下，利用计算机视觉技术和图像处理方法，自动识别和定位图像中的目标物体。这项技术旨在通过分析图像中的特征和模式，准确地检测出雾霾天气下的各种目标，如车辆、行人、建筑物等，并将其位置信息以及其他相关属性提取出来，以支持各种应用领域，如交通安全、城市监控、灾害救援等。为了应对雾霾天气带来的挑战，雾霾图像目标检测任务在众多领域具有实际应用价值。

2、雾霾图像目标检测方法可以划分为三类：1)采用目标检测方法直接预测雾霾图像、2)先采用去雾方法实现图像的雾霾去除，再采用目标检测方法预测去雾后的图像的方法、3)去雾与目标检测联合模型的方法实现雾霾图像目标检测。采用目标检测方法直接预测雾霾图像由于雾霾图像常常呈现出色调偏灰、能见度低、对比度降低等特点，给人朦胧、模糊的感觉，很难准确地从雾霾图像中检测目标。先采用去雾方法实现图像的雾霾去除，再采用目标检测的方法预测去雾后图像的方法使用两步完成目标检测任务，但目标检测的结果受去雾网络的影响，且网络复杂不易训练，网络鲁棒性和泛化性较低。尽管现有雾霾图像目标检测方法取得了一定进展，但是仍然存在一些缺陷，其中主要问题是很难满足通用性和鲁棒性的要求。

技术实现思路

1、为了解决上述技术问题，本发明采用一种基于双层交替深度网络的雾霾图像目标检测网络框架，本发明设计了一个双层网络结构，在深层去雾阶段融合目标检测特征，使去雾网络关注检测的区域，提升检测性能。

2、为了达到上述目的，本发明是通过以下技术方案实现的：一种基于双层交替深度网络的雾霾图像目标检测方法，所述方法包括以下步骤：

3、步骤1、基于大气散射模型构造网络训练数据集，并对其进行预处理操作；

4、步骤2、将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像；浅层去雾网络由透射图生成网络和大气光图生成网络双分支网络构成；

5、步骤3、将浅层去雾图像传递给yolov3检测网络与多尺度空间注意力模块mssam；

6、步骤4、将步骤2与步骤3的输出输入到融合模块进行特征融合，然后传递给深层去雾网络，生成深层去雾图像；

7、步骤5、将深层去雾图像输入yolov3检测网络，得出目标检测结果。

8、进一步地，步骤1所述的基于大气散射模型构造网络训练数据集，并对其进行预处理操作，具体步骤如下：

9、步骤1.1，选取voc2007训练与预测数据集和voc2012训练与预测数据集中包含人等物种目标8111张图像，构造voc_norm训练数据集；选取voc2007测试数据集中包含人等物种目标的2734张图像，构造voc_norm_test测试数据集；

10、步骤1.2，将voc_norm训练数据集基于大气散射模型公式随机加雾，有雾图像与干净图像数量比为2:1，一共24333张图像，构造混合训练数据集；将voc_norm_test测试数据集基于大气散射模型公式随机加雾，生成2734张雾霾图像，构造voc_fog_test测试数据集；

11、步骤1.3，选取包含4322张雾霾图像rtts数据集构造rtts测试数据集；最后将所有数据集中的voc标注数据的图像标签转为yolo标注数据；

12、

13、其中，x为图像像素点位置，d(x)为景深图，ρ为像素点到中心点的欧拉距离，row与col分别为图像的高与宽，根据图像尺寸生成对应图像大小的景深图d(x)；i为0-9的随机整数，β为散射因子，每张图像随机初始化两个i值，生成随机的散射因子β；t(x)为透射图，由景深图d(x)与散射因子β生成对应的透射图t(x)；i(x)为雾霾图像，gt(x)为干净图像，a(x)为大气光图；

14、步骤1.4、将训练数据集中的图像尺寸调整为512×512，训练采用多尺度训练方式，再将图像按照70％-150％随机缩放或放大，并对随机缩放或放大后的图像进行数据增强操作进行归一化处理，输入图像的数据0-255，归一化成0-1。

15、进一步地，透射图生成网络与大气光图生成网络，每个分支网络包括批量标准化bn、两个3×3卷积、relu激活层和sigmoid激活层，步骤2所述的将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像，具体操作如下：

16、输入一张雾霾图像i(x)，经过双分支网络分别输出与通过大气散射模型变换公式生成浅层去雾图像特征j(x)：

17、

18、步骤2生成与中间变量的网络构成具体操作如下：

19、

20、

21、

22、其中，i(x)为浅层去雾网络的输入图像，输入图像尺寸为3×512×512；首先，经过批量标准化bn将输入图像i(x)标准化，为bn标准化后的图像特征；然后，经过两分支网络分别输出与与为浅层去雾网络输出的等效大气光图与透射图，在每一个分支网络中，第一个卷积层输出特征维度为12×512×512，经过第二个卷积层输出特征维度为3×512×512；conv3×3为3×3卷积操作，表示级联操作。

23、进一步地，步骤3所述的将浅层去雾图像传递给yolov3检测网络与多尺度空间注意力模块mssam，具体步骤如下：

24、步骤3.1，目标检测特征提取部分，将浅层去雾图像输入yolov3检测网络输出目标检测，提取目标检测的三种尺寸特征；

25、步骤3.2，多尺度特征重构部分，首先，分别使用上采样将三种尺寸特征转化成统一尺寸；然后，将多尺度特征融合；最后，使用上采样将特征尺寸与输入的浅层去雾图像尺寸统一；

26、步骤3.3，空间注意力特征生成部分，使用空间注意力网络sam将步骤3.2重构后的特征生成空间注意力特征；

27、步骤3.4，将生成的空间注意力特征与输入的浅层去雾图像相乘。

28、步骤3.3中，空间注意力网络sam包括批量标准化bn、两个1×1卷积、relu激活层和sigmoid激活层，空间注意力网络sam构成具体操作如下：

29、

30、其中，sin为sam的输入特征，sout为sam的输出特征，conv1×1为1×1卷积操作。

31、进一步地，步骤4所述的将步骤2与步骤3的输出输入到融合模块进行特征融合，具体操作如下：

32、sfout＝xsfin1+(1-x)sfin2

33、x＝sigmoid(conv1×1(z)·conv1×1(z))

34、

35、xh＝gaph(sfin1+sfin2)

36、xw＝gapw(sfin1+sfin2)

37、其中，sfin1和sfin2为融合模块的两个输入特征，sfout为融合模块的输出特征，gaph和gapw分别为在纵轴和横轴维度上平均池化操作，gaph将特征c×h×w转变成c×1×w，gapw将特征c×h×w转变成c×h×1，再交换维度转变成c×1×h，cat操作将特征拼接在一起；sigmoid与relu为激活层，bn为批量标准化。

38、进一步地，步骤5中所述yolov3检测网络具体操作如下：

39、yolov3网络定义为：

40、yout1,yout2,yout3＝yolov3(j^(x))

41、其中，j^(x)为yolov3检测网络的输入图像，yout1，yout2，yout3为yolov3检测网络不同尺寸的检测结果；当输入图像尺寸为512×512时，yout1，yout2，yout3输出的特征维度分别为3×16×16×10，3×32×32×10，3×64×64×10，yout1将512×512的输入图像划分32×32的网格，每个网格中有3个先验框，一共有3×16×16个预测框，负责预测中心在网格中的目标，用于检测图像中的大物体；yout2将输入图像划分成16×16的网格，用于检测图像中的中等物体；yout3将输入图像划分成8×8的网格，用于检测图像中的小物体；每个预测框分别预测10个数据，分别为目标边界框中心偏移量(tx,ty)，宽高缩放因子(tw,th)，目标置信度conf以及对应5个类别预测的概率。

42、本发明的有益效果是：(1)本发明通过设计去雾与目标检测的联合网络，相比于去雾网络+目标检测网络，使网络易于训练；相比于目标检测网络，增加少量的参数同时提升了网络雾霾图像目标检测的性能。

43、(2)本发明通过设计两阶段网络，浅层去雾网络从整体上恢复图像信息，深层去雾网络从局部上恢复目标检测有关区域的图像信息，图像在浅层去雾的特征上通过深层去雾降低了雾霾对目标检测效果的影响。

44、(3)本发明通过设计目标检测多尺度空间注意力网络，提取图像中不同部分的重要性，减少对目标检测无关信息的处理，使去雾网络关注需目标检测的区域，去除目标检测的区域背景特征和无用信息，提升目标检测的准确率。