一种分类引导的无人机成像浓雾去除方法

本发明涉及图像处理的，尤其涉及一种分类引导的无人机成像浓雾去除方法，用于对无人机浓雾环境下成像进行去雾处理。

背景技术：

1、雾是一种由空气中饱和的水蒸气凝结形成小水滴(雾)和粉尘(霾)的自然现象，由于空气中小水滴和粉尘发生光学吸收和散射，导致无人机成像质量严重下降，可见度降低，大大影响人眼的主观视觉效果，从而限制了各种视觉系统的性能。计算机视觉任务，如目标检测、目标跟踪和区域分割等都依赖于具有最小退化的高质量图像。而无人机图像通常是在较高的高度捕获得到的，雾的厚度更厚并且图像退化更严重，阻碍了上述计算机视觉任务的发展。

2、早期基于图像先验(手工先验)的方法通过计算雾的浓度反向得到去雾结果，但是由于该算法的不稳定性，导致在应用到真实场景时，容易发生结果不一致的现象，使生成的图像不够自然。并且该方法受到先验假设的限制，如果图像与假设的不一致，会使图像的色调和纹理信息发生改变，不能满足高质量的计算机视觉任务。

3、与图像先验方法相比，卷积神经网络具有更好的特征表示能力，这得益于其庞大的数据集和强大的计算能力。目前大多数基于深度学习的去雾方法是通过直接获取图像信息达到去雾效果，该方法减少了参数的不准确性带来的影响，并且相比较于图像先验方法，基于深度学习的方法速度更快，去雾效果更好。但是，基于深度学习的方法依赖于大量成对的有雾图和无雾图，在现实生活中难以同时捕获到有雾图像和无雾图像，在应用到真实场景时会产生明显的过拟合问题。现有的去雾方法研究主要集中在薄雾去雾方法上，但是高空雾分布不均匀，无人机捕获到的雾成像不均匀，导致图像中雾的厚度有明显的差异，因此以往用于处理均匀薄雾的去雾方法在浓雾成像环境下性能较差。并且，目前缺少无人机浓雾数据集，对研究无人机浓雾去除方法造成了一定的限制。结合深度学习的优点以及现有去雾方法存在的缺陷，研究一种高效的既可以生成最具有真实性的、没有失真扭曲的无雾图，又同时保留丰富的纹理信息和色调的浓雾去除方法和一个接近真实的无人机浓雾数据集对研究非常重要。

技术实现思路

1、针对现有基于深度学习的去雾方法依赖于大量成对的有雾图和无雾图，在应用到真实场景时会产生明显的过拟合问题，用于处理均匀薄雾的去雾方法在浓雾成像环境下去雾性能较差的问题，本发明提出一种分类引导的无人机成像浓雾去除方法，能够在小规模图像输入的情况下实现对无人机浓雾图像的去除，且薄雾和浓雾去除效果均较好。

2、为了达到上述目的，本发明的技术方案是这样实现的：一种分类引导的无人机成像浓雾去除方法，其步骤如下：

3、s1、设计雾扩散方法生成无人机浓雾数据集；

4、s2、设计用于无人机浓雾图像的去雾网络：设计图像类别特征提取和纹理信息跳跃迁徙结构实现无人机浓雾图像的特征提取；

5、s3、训练去雾网络：将步骤s1中生成的无人机浓雾数据集中的无人机浓雾图像作为去雾网络的输入，设计多任务损失函数训练去雾网络，得到最终训练好的去雾模型；

6、s4、利用步骤s3中的去雾模型对有雾图像进行去雾得到去雾图像。

7、优选地，对visdrone2019无人机数据集中图像的rgb三通道进行加雾处理，生成一个具有不同浓雾厚度的多类别无人机浓雾数据集；生成的方法为：指定亮度和设置固定雾浓度值或者随机初始化亮度、雾浓度值，调整选定的位置和确定雾的尺寸大小，将雾添加到图像的rgb三通道上。

8、优选地，所述雾扩散方法由雾的中心点开始扩散合成，离雾中心越远，雾的浓度越弱；且：

9、

10、zn＝e(-beta*n)

11、hfog＝imgf[u][v][:]zn+λ(1-zn)

12、其中，u和v分别表示图像的长和宽，n表示当前像素到中心像素的距离，q为设置的雾化尺寸，ce[]代表中心点位置，ce[0]和ce[1]分别表示中心点的行坐标和纵坐标，zn代表透射率，beta是控制透射率衰减速度的参数，λ代表亮度，imgf[u][v][:]表示图像进行归一化操作后的尺寸大小和通道数，hfog表示获取到的图像的像素数据即rgb值。

13、优选地，所述无人机浓雾数据集包含1559对雾图和无雾图，76张非成对雾图；通过设置浓度的随机参数，在雾图像生成过程中将图像根据雾浓度和雾大小分为薄雾、浓雾和团雾三种。

14、优选地，使用无人机浓雾数据集的浓雾图和对应的真实无雾图作为训练数据集训练去雾网络，非成对合成浓雾图以及捕获的真实浓雾图作为测试数据集。

15、优选地，所述去雾网络包括图像类别特征提取结构和纹理信息跳跃迁徙结构，图像类别特征提取结构利用残差线性模块作为基础，通过归一化操作和线性操作得到包含相关类别特征信息的特征图a1；

16、纹理信息跳跃迁徙结构的特征提取方法包括：对特征图a1进行反射填充，获取更加全面的图像特征得到特征图b1；对特征图b1进行步长为1、卷积核为3×3的卷积操作得到特征图b2；对特征图b2进行下采样操作获取到图像分辨率大小变为原来一半、通道数变为原来2倍的特征图b3；对特征图b3进行多次残差迁移操作得到特征图b4；对特征图b4进行上采样操作获取到图像分辨率和通道数恢复原始输入图像的特征图b5；对特征图b5进行卷积核为3×3的卷积操作得到特征图b6；对特征图b6和特征图b2进行跳跃连接操作，然后经过反射填充和卷积核为3×3的卷积操作得到特征图c1；对特征图c1进行卷积核为3×3的卷积操作和tanh激活函数得到特征图c2。

17、优选地，所述反射填充操作是将输入数据沿着所有轴添加反射对称的填充且输入数据上下左右填充相同的大小，对于给定的卷积核大小k和填充数p，输入数据中第m个元素对应的r值为：

18、r＝输入数据[m-k+2pl]

19、其中，l为0或1，r表示填充的值；

20、所述跳跃连接操作为长跳跃连接，将第一层的输出与后续层的输出进行像素级别的相加再输出；

21、所述残差迁移操作使用卷积层进行维度匹配和调整，保持输入和输出的空间大小一致；通过多次卷积和跳跃连接操作将过程中的输出进行像素级别的相加操作，使生成器更好的学习目标域和源域之间的映射关系。

22、优选地，所述多任务损失函数为：

23、

24、其中，k为类别总数，n为样本总数，gi,j为第i个样本的真实类别为j，fi,j为第i个样本被错误分类为j类别的概率，a代表有雾图像域，b代表无雾图像域，x代表雾图，y代表无雾图，pdata(x)表示来自域a的图像数据分布，pdata(y)表示来自域b的图像数据分布，表示从图像数据分布pdata(x)中采样得到的样本x，表示从图像数据分布pdata(y)中采样得到的样本y，|| ||1表示l1范数用于计算原始图像和转换后图像之间的差异，生成器gab表示转换雾图为无雾图，gab(x)表示雾图x经过生成器gab生成的无雾图像，db表示判断所输入的图像是来自无雾图像域b的无雾图y还是生成的无雾图像gab(x)的判别器，生成器gba表示转换无雾图为有雾图，gba(y)表示无雾图y经过生成器gba生成的有雾图像，da表示判断输入的图像是来自域有雾图像域a的雾图x还是生成的有雾图像gba(y)的判别器。

25、优选地，在生成的无人机浓雾数据集和hsts数据集上选取非成对合成浓雾图以及捕获的真实浓雾图作为测试数据集，利用无参考图像质量评价方法和全参考图像质量评价方法来评价生成的去雾图像。

26、优选地，所述无参考图像质量评价方法的评价指标为时间；所述全参考图像质量评价方法的评价指标包括峰值信噪比、结构相似性和学习感知图像块相似度。

27、与现有技术相比，本发明的有益效果：利用一种雾扩散方法对无人机清晰图像进行加雾处理以生成无人机浓雾数据集，无人机浓雾数据集包含生成的合成浓雾图和拍摄的真实浓雾图，被用作训练数据集和测试数据集；通过设计图像类别特征提取和纹理信息跳跃迁徙结构实现特征提取，以实现对无人机浓雾图像去雾，使得去雾后的图像不易产生过曝、失真扭曲、色差和去雾不干净等现象，并且去雾后的图像含有丰富的纹理信息和良好的视觉效果。相比较于先前的图像先验的或者深度学习的去雾方法，本发明能够在小规模图像输入的情况下实现对无人机浓雾图像的去除，薄雾和浓雾去除效果均较好，纹理信息和色调恢复自然，不易产生过曝和失真扭曲等现象。