一种基于深度可分离卷积的多尺度融合烟雾分割方法

本发明涉及图像处理和神经网络，尤其是涉及一种基于深度可分离卷积的多尺度融合烟雾分割方法。

背景技术：

1、在各种灾害中，火灾是最普遍威胁公众安全和社会发展的主要灾害之一。在火灾初期，烟雾往往先于火焰产生，因此烟雾检测对于预防火灾和保障人民安全意义重大。传统的烟雾检测技术通常基于传感器感烟、感温或颗粒浓度等，但存在延迟，这会导致火势迅速蔓延而无法控制，且需安装在火灾发生点附件，这就限制了传感器适合应用于小型室内空间。此外，传感器不能提供火灾初始位置、传播方向、规模、增长速度等信息。随着计算机视觉的不断发展，基于图像处理技术的烟雾检测技术取得了很大的进步，从图像中监测定位烟雾，比传统的传感器更加快速准确，且更适用于开阔、野外场景中的烟雾探测。传统图像处理技术需要借助专业知识人工提取特征，然而得到的烟雾特征只局限于颜色、边缘和简单纹理。

2、近年来，基于深度学习的烟雾检测技术得到迅速发展，以深度卷积神经网络代替人工操作提取目标特征，按照输出形式可分为两类：一是通过目标检测的方法，输出矩形框实现对烟雾区域识别和标注；二是通过语义分割的方法，针对图像中所有像素点类别判定并输出分割图。语义分割法能更好地提取烟雾的本质特征，以检测对象边缘为界限区分不同目标区域，实现精细化识别分割。全卷积网络(fcn)是语义分割领域的开山之作，利用卷积层替代全连接层，输出二维图像。此后出现了编码解码器架构，研究者们利用该架构进行烟雾分割取得了较理想的效果。但是，现有的烟雾分割方法同样面临诸多挑战：(1)很难同时捕获足够的上下文信息和不同层级特征图的细节信息；(2)烟雾具有尺度多变、边缘模糊和半透明等特性，使得精确分割烟雾的难度显著增加。现有的烟雾分割方法没有特别关注到多变和模糊边缘的纹理细节信息带来的挑战。

技术实现思路

1、为解决现有技术存在的问题，本发明提出了一种基于深度可分离卷积的多尺度融合烟雾分割方法，结合烟雾形态特点和工程应用的需求，搭建了一个适用于烟雾分割的高效网络模型。以采用深度可分离卷积的改进xception为骨干网络，与基于空洞卷积的金字塔构型(atrous spatial pyramid pooling,aspp)组成分割模型编码模块，并在其中应用了通道注意力来增强模型的特征表达能力，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成解码模块，能够较为精确的分割烟雾。

2、本发明解决其技术问题所采用的技术方案是：

3、第一方面，本发明提供一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：

4、获取待分割的烟雾图像；

5、将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；

6、其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进xception的骨干网络和改进的aspp_se模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。

7、所述烟雾分割网络模型的训练方法包括：

8、步骤s1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；

9、步骤s2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；

10、步骤s3、搭建烟雾分割网络，以采用深度可分离卷积的改进xception为骨干网络，与改进的aspp_se模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；

11、步骤s4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。

12、在一些实施例中，步骤s1中，利用网站爬虫或分帧截取烟雾视频获得不同场景下的烟雾图像，进行筛选将烟雾图像统一为能进行网络训练的规格，并分割标注图像。

13、在一些实施例中，步骤s2中，利用数据增强技术对原始烟雾数据集进行数据增强处理，包括：对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放以及随机亮度、饱和度和对比度变化操作进行数据增强，扩充烟雾数据集。

14、在一些实施例中，步骤s3中，编码模块采用改进的xception作为骨干网络，初始图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为初始图像1/16的特征向量；中间流是主要特征学习模块，由8个重复的分离卷积模块dscm直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接；采用残差连接的中间流结构，用1×1卷积把输入通道数降为600后，将8个分离卷积模块均分成4组，每组以残差连接再次使用1×1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量；

15、将骨干网络提取的第四特征张量输入改进的aspp_se模块，改进的aspp_se模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1×1标准卷积，用于保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，用于特征提取来获得不同的感受野；第五个支路是全局平均池化，用于获取全局特征；在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及sigmoid函数，生成通道注意力权重向量；分别对第一个支路、第二个支路、第三个支路、第四个支路的特征图采用通道注意力权重向量进行加权；将第一个支路、第二个支路、第三个支路、第四个支路、第五个支路输出的特征图在通道维度上堆叠，经过1×1标准卷积融合不同尺度的信息；并将该输出与骨干网络提取的第四特征张量相乘，作为编码模块输出的特征张量。

16、在一些实施例中，步骤s3中，解码模块采用通道特征增强模块、多尺度特征融合模块、卷积和上采样，通过上采样恢复图像尺寸并完成烟雾图像分割；

17、对来自编码模块输出的特征张量通过双线性插值2倍上采样得到第一特征图；

18、对来自骨干网络的第一特征张量、第二特征张量、第二特征张量采用通道特征增强模块进行通道特征增强分别得到第一通道注意力特征图、第二通道注意力特征图、第三通道注意力特征图；

19、采用多尺度特征融合模块将第一通道注意力特征图和第一特征图进行特征融合得到第一融合特征图，第一融合特征图经过2倍上采样后与第二通道注意力特征图进行特征融合得到第二融合特征图；第二融合特征图经过2倍上采样后与第三通道注意力特征图进行特征融合得到第三融合特征图；

20、将第三融合特征图进行3×3卷积后2倍上采样操作，输出烟雾分割结果图。

21、在一些实施例中，所述通道特征增强模块引入通道注意力机制，通道注意力机制包括压缩和激活两部分；

22、压缩部分通过全局平均池化对通道进行压缩，对第i个通道有:

23、

24、其中，w×h表示原特征图分辨率，μ表示h×w×c为的特征图，c为总通道数，μi表示该特征图中通道为i的二维矩阵；通过全局平均池化，第i个通道的特征映射为zi，压缩过程得到1×1×c的一维向量；

25、激活部分通过两层全连接层来获得通道间的关系表达：

26、s＝σ(g(z,w))＝σ(w2(δ))

27、先通过一个权重为w1的第一全连接层降低通道数为原来的1/h，经过relu函数δ激活后输入权重为w2的第二全连接层恢复通道数，最后用sigmoid函数σ生成归一化通道权重s，其尺度为1×1×c；

28、将归一化通道权重与原特征图对应通道相乘，得到通道注意力特征图。

29、在一些实施例中，步骤s4包括：将训练集的烟雾图像作为烟雾分割网络的输入图像，统一输入图像的大小，网络使用带动量的随机梯度下降算法进行训练，循环次数设置为200000，动量为0.9，初始学习率设置为1×10-4，终止学习率设置为1×10-5，学习率随训练次数线性递减；根据计算机配置batchsize设置为4，aspp空洞卷积速率设置为6，12，18。

30、第二方面，本发明提供了一种基于深度可分离卷积的多尺度融合烟雾分割装置，包括处理器及存储介质；

31、所述存储介质用于存储指令；

32、所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。

33、第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。

34、本发明的有益效果是，面对烟雾具有尺度多变、边缘模糊和半透明等特性，本发明能够精确分割烟雾，能对烟雾边界进行精细化处理。与现有技术相比，本发明改进了编码和解码模块，设计了一些模块来充分提取多尺度特征之间和特征内部的相关信息，且引入注意力机制，筛选出更具区分力的通道信息，并指导恢复底层的空间细节。改进网络兼顾了分割精度和检测效率，显著地提高了烟雾像素的分割精度，为烟雾检测领域提供了新的参考。