基于生成对抗网络的条件式烟雾图像生成方法及系统

本发明涉及视频火灾探测和深度学习领域，具体涉及一种基于生成对抗网络的条件式烟雾图像生成方法及系统。

背景技术：

1、基于深度学习的烟雾检测模型需要大量的图像数据进行训练，然而目前已公开的火灾烟雾数据集规模太小，场景多样性不足，难以支持基于深度学习的烟雾探测技术的研究。此外，由于没有统一的场景丰富的火灾烟雾测试集，不同烟雾检测算法的性能难以进行准确的对比。由此可见，数据不足正是限制图像烟雾探测技术发展的重要因素。虽然已经有学者尝试使用图像处理软件或三维建模软件制作合成烟雾视频图像，但这种合成烟雾图像与真实图像的深层特征存在差异，使用这种合成烟雾图像作为训练数据时，对烟雾检测模型性能的提升不明显。生成对抗网络可以在对抗训练中从真实烟雾图像中学习深层图像特征，然而生成对抗网络存在训练不稳定，梯度消失，模式崩溃等问题。图像中的烟雾呈半透明特征且没有固定的形状，现有的生成对抗网络不适用于多样化烟雾图像的生成。因此，如何有效地提取并表现烟雾的静态特征，生成指定背景的烟雾图像，构造用于烟雾检测模型训练的大规模数据集成为一个亟待解决的问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于生成对抗网络的条件式烟雾图像生成方法及系统。

2、本发明技术解决方案为：一种基于生成对抗网络的条件式烟雾图像生成方法，包括：

3、步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；

4、步骤s2：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；

5、步骤s3：将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；

6、步骤s4：针对目标场景进行火灾数值模拟，通过计算得到所述目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将所述目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将所述具有缺失区域的背景图像和所述烟雾轮廓掩码输入到所述训练好的多尺度扩展融合生成网络，在所述具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。

7、本发明与现有技术相比，具有以下优点：

8、本发明公开了一种基于生成对抗网络的条件式烟雾图像生成方法，该方法能够在博弈对抗中学习到烟雾深层特征在不同背景中的表达，实现复杂背景下烟雾纹理的合理填充，实验结果表明该方法生成的指定场景的烟雾图像与较少的真实图像混合训练可以实现互补作用，训练中的检测模型可以在真实烟雾图像中学习到烟雾的特征分布，同时可以在生成图像中学习到接近真实烟雾的特征与新背景特征深度融合的情况，因此提高了检测模型对于新场景的鲁棒性。该方法可应用在视频火灾探测领域，具有较高的应用价值，提供了解决困扰目前视频火灾探测存在的数据不足问题的新方法。

技术特征：

1.一种基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，包括：

2.根据权利要求1所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，所述步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像，具体包括：

3.根据权利要求2所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，所述步骤s2：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像，具体包括：

4.根据权利要求3所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，所述步骤s3：将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络，具体包括：

5.一种基于生成对抗网络的条件式烟雾图像生成系统，其特征在于，包括下述模块：

技术总结
本发明涉及一种基于生成对抗网络的条件式烟雾图像生成方法及系统，其方法包括：S1：将训练集中烟雾图像中的烟雾区域扣除，形成对应的无烟背景图像、烟雾轮廓掩码和真实烟雾图像；S2：将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，得到生成的烟雾图像；S3：将生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导两个网络对抗训练，得到训练好的多尺度扩展融合生成网络；S4：对目标场景进行火灾数值模拟，得到缺失区域的背景图像和烟雾轮廓掩码并输入训练好的多尺度扩展融合生成网络，获得烟雾生成图像。本发明提供的方法解决了目前视频火灾探测存在的训练数据不足问题。

技术研发人员：张启兴,霍一诺,张永明
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/15