一种基于注意力机制的CycleGAN去雾方法

本发明专利属于图像处理，具体涉及一种一种基于注意力机制的cyclegan去雾方法。

背景技术：

1、雾与霾广泛存在于在自然界中。潮湿环境中地面附近的水蒸气，容易与灰尘结合成为细微水滴或在低温条件下凝结成为冰晶，这种细微水滴和冰晶与空气组成的气溶胶系统称作雾。城市环境中存在着硝酸、硫化物以及灰尘等颗粒物与空气结合的气溶胶系统称作霾。雾霾灾害令我国的交通安全、航空安全甚至军事安全等领域受到严峻的挑战。交通安全领域，在雾霾天气下，道路监控以及车辆疏导系统的能见度降低，起雾的低清晰度图像会对目标检测的效果造成极大的干扰。在航空安全领域，在民航客机的起飞和降落阶段，雾霾会对飞行员们的视野产生阻挡，会造成航班的延误、备降甚至于停运等恶劣的状况。在军事安全领域，雾霾天气会带来可见光波段的遮挡造成信息损失，各类观测卫星，制导反导的精确性能受到影响。因此，为了保障计算机视觉处理系统在雾霾天气下满足我国交通安全、航空安全以及军事安全等方面的需要，将带雾图像进行还原去雾处理，提高图像的清晰度、对比度，具有极为重要的现实意义。

2、随着移动设备、便携计算机的用户量扩张以及计算机算力的大幅度提升，图像处理、图像风格迁移、基于图像内容的检索与分类、图像生成等领域已经逐渐发展成为结合多个学科，生成对抗网络(gan)是这些领域的重要技术。目前已有研究人员利用gan和注意力机制(senet)进行去雾处理，engin等人在去雾问题中使用了循环神经对抗网络，以此避免训练样本少的问题，xu qin等人则在去雾算法中将通道注意力、像素注意力二者结合，赋予重要特征以更多权重。liang等提出了强基线模型swinir，此模型在图像超分辨率、去噪等方面表现优秀。注意力机制是自深度学习快速发展后广泛应用于自然语言处理、统计学习、图像检测、语音识别等领域的核心技术。

技术实现思路

1、有鉴于此，本发明专利结合cyclegan与注意力机制，提出了一种基于注意力机制的cyclegan去雾方法。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。

2、本发明专利采用的技术方案如下：

3、一种基于注意力机制的cyclegan去雾方法，包括以下步骤：

4、步骤1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；

5、步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；

6、步骤3：每个残差网络块间使用注意力机制(squeeze-and-excitation networks，senet)进行连接，根据通道的重要程度进行通道的权重赋予；

7、步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。

8、所述步骤1具体包括以下步骤：

9、1.1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像数据集，并将其用于网络模型训练，其中成对图像数据集生成方法具体为：

10、单张训练数据增广为成对数据集的实现方法，等价为待增广图像图像从源域x转换到目标域y获得对应成对图像，而循环生成对抗网络就是通过训练一个将图像从源域x转换到目标域y映射g，这样g(x)的图像分布能够和使用对抗损失的图像分布y有一致。

11、1.2：对损失函数进行改进优化，调整完整损失情况，结合优化后的损失函数生成最终网络模型，以实现图像的转换。

12、所述步骤2具体包括以下步骤：

13、2.1：基于步骤1生成的网络模型，输入真实图像并进行下采样操作；

14、2.2：对经过下采样操作的真实图像通过9个残差网络块进行特征图提取。

15、所述步骤3具体包括以下步骤：

16、3.1：使用注意力机制对每个残差网络块进行连接；

17、3.2：对步骤2.2提取的特征图进行squeeze操作，获取确定各个通道特征的重要性的权值，该权值具有全局感受野，然后针对所以通道进行全局均值池化处理，最终获取具有全局感受野的特征图；

18、3.3：对具有全局感受野的特征图进行excitation操作，借助全连接层反向影响到特征图，通过预测特征图对应通道的重要性，获取该通道的重要程度，并对通道进行权重赋予。

19、所述步骤4具体包括以下步骤：

20、4.1：基于步骤3.3获取的带有权重的通道，对特征图进行上采样还原操作，输出获得去雾图像。

21、综上所述，由于采用了上述技术方案，本发明的有益效果是：

22、本发明将cyclegan去雾算法和注意力机制结合，提出了一种基于注意力机制的cyclegan去雾算法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题。

技术特征：

1.一种基于注意力机制的cyclegan去雾方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤1具体包括以下步骤：

3.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤2具体包括以下步骤：

4.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤3具体包括以下步骤：

5.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤4具体包括以下步骤：

技术总结
本发明公开了一种基于注意力机制的CycleGAN去雾方法，属于图像去雾处理技术领域领域，解决了图像颜色失真、目标细节模糊等问题；本发明首先对输入图片进行采样，通过9个残差网络块进行特征提取，每个残差模块间使用Senet进行连接，然后根据通道的重要程度进行权重赋予，提取特征，进行上采样还原，得到去雾图像。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。

技术研发人员：杨昕梅,傅宇婧,杨承,邬云舒,刘流
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/1/15