一种基于深度混合神经网络的烟雾检测方法与流程

本发明利用深度混合神经网络所实现的烟雾检测方法，可对工厂烟囱、火炬所冒出的烟雾进行识别，判断烟雾为白烟或非白烟，由于不同种类的烟雾含有的有毒有害废气的比例不同，需对其及时判断以便进行控制。将基于深度混合神经网络的烟雾检测方法应用于废气处理系统，对废气的产生和排放过程进行精确的实时控制，不仅可以显著减少有毒有害气体的排放，同时还降低了能耗。基于深度混合神经网络对烟雾检测既属于图像识别领域，又属于人工智能领域。

背景技术：

近年来，我国一直致力于保护环境，节能减排，减少大气污染。其中，新版《环境空气质量标准》和分别针对火电、钢铁、水泥、化工行业和非电燃煤锅炉等行业的排放标准是促使各企业实施烟雾处理工程的最有力政策。但是，由于传统的火电、化工等行业在我国经济中占有较大的比重，废气的排放量依然很大，并且缺乏对废气排放实施实时控制的技术手段，尤其是难以对烟雾种类进行区分，导致空气污染问题依然困扰着很多企业。

当煤和石油燃烧时,燃烧废气主要是氮气、氮氧化物、co2、o2和水蒸气,气体是无色的,即使有少量粉尘与烟雾和水蒸气凝结在一起,气体也会是白色的。之所以没有形成白烟,主要是因为烟雾含有固体碳，往往是由于各种可燃气体的不完全燃烧造成的。非白烟中含有大量的no2、so2、o3、co、pm2.5、pm10等有毒有害气体，所以对两种烟雾进行有效的识别对于燃烧过程和废气排放的控制从而减少有毒有害气体的排放有重要意义。

传统烟雾探测的方法主要依靠人工观测或传感器。但由于人力资源有限，成本较高，基于人工观察的方法不能长期快速有效地监测烟雾。另一方面，由于环境变化的影响，基于烟雾颗粒采样或相对湿度采样的烟雾传感器也很可能会出现严重的时滞性，同时也不能完全覆盖检测区域。总体而言，现有的烟雾检测方法难以满足需求。对此，使用传统的图像识别方法，例如使用图像局部直方图方差的方法、提取图像形状特征和颜色信息的方法以及基于小波分析的支持向量机方法来检测烟雾，但是由于烟雾图像的特征难以提取，这种方法效果并不理想。

近年来，使用卷积神经网络进行图像识别的技术取得了长足的发展，尤其是随着现代计算机运算能力的提高，使用深度卷积神经网络通过对大量样本的学习可有效地提取目标的特征从而实现精确的图像识别。z.yin、b.wan、f.yuan、x.xia、j.sh提出了一种深度归一化卷积神经网络(dncnn)并将其应用于烟雾检测，取得了一定的效果。但是深度归一化卷积神经网络存在着参数过多、运算较慢的问题，不利于对烟雾进行及时有效的检测。本方法通过深度混合神经网络，减少了深度归一化卷积神经网络五分之四的参数，并且识别准确率高于深度归一化卷积神经网络，将人工智能应用于烟雾检测上，有利于对烟雾进行实时而正确的分类，从而有效提高了对燃烧以及废气排放的控制效率，减少了有毒有害气体的排放。

技术实现要素：

本发明获得了一种基于深度混合神经网络的烟雾检测方法，结合了深度归一化卷积神经网络的优点，将其与一种全新的基于跳连的卷积神经网络进行结合，构成了深度混合神经网络，从而实现了通过输入的烟雾图像对烟雾进行准确、实时的分类，解决了对烟雾图像进行实时检测的难题。为对燃烧过程以及废气的排放过程进行精确地实时控制创造了条件；

本发明采用了如下的技术方案及实现步骤：

一种基于深度混合神经网络的烟雾检测方法，通过对输入的烟雾图像进行判断，判断烟雾为白烟或非白烟；

其特征在于，包括以下步骤：

(1)提出并搭建一种新的深度混合神经网络；

深度混合神经网络是由基于跳连的卷积神经网络和深度归一化神经网络通过特征融合的方式所组合得到的，其具体结构见图1。其中，基于跳连的卷积神经网络是一种全新的神经网络，它的结构见图2，具体如下：

第一层为卷积层，包含32个9维卷积核，卷积核移动步长为1，使用relu激活函数。第二层为卷积层，包含64个1维卷积核，卷积核移动步长为1，使用relu激活函数。第三层、第四层、第五层为归一化卷积层，均包含64个3维卷积核，卷积核移动步长为1，使用relu激活函数。第六层为归一化卷积层，包含64个1维卷积核，卷积核移动步长为1，使用relu激活函数。第七层为池化层，池化范围为3维，移动步长为2，采用最大池化法。第八层、第九层为归一化卷积层，均包含128个3维卷积核，卷积核移动步长为1，使用relu激活函数。第十层为池化层，池化范围为3维，移动步长为2，采用最大池化法。第十一层、第十二层为归一化卷积层，均包含256个3维卷积核，卷积核移动步长为1，使用relu激活函数。第十三层为归一化卷积层，均包含2个1维卷积核，卷积核移动步长为1，使用relu激活函数。第十四层为池化层，采用全局平均池化。

对于深度归一化神经网络，由于其参数数量主要集中于第二部分的全连接层，所以去除了全连接层，将其在全连接层之前的特征提取部分的输出与基于跳连的卷积神经网络在其第十二层、第十三层之间进行了特征融合的操作，从而共同构成了深度混合神经网络。

以下给出四个关于深度混合神经网络的具体操作。

①卷积与归一化操作。通过训练出的卷积核对输入图像进行卷积运算，再对卷积运算提取出的特征向量进行批量归一化处理，以此来提高网络的训练速度并且避免陷入过拟合的问题。对每个特征向量fj进行归一化得到归一化特征向量的公式如下：

式(1)中，和分别为批量均值和批量方差，n为每个特征向量的维数，fj,i为样本批量中第i个样本的第j个特征，其中i为大于等于1小于等于样本总数的任意正整数，j为大于等于1小于等于特征向量总数的任意正整数，ε为一取值很小的任意正常数，此处设为0.0001。但是，归一化会使每个特征向量的代表力下降因此，引入两个自由参数，并通过批量标准化中的比例和移位步骤转换标准化特征来解决这个问题，具体转换方式如式(2)所示：

其中b(fj)为转换得到的标准化特征，式中α、β初始值随机，通过后续训练得到最优值。

②跳连操作。为加速神经网络的特征传播，解决梯度消失和梯度爆炸的问题，新的基于跳连的卷积神经网络，采用了跳跃连接的方式来连接第1层输出的特征映射f1与第5层输出的特征映射f5，跳连操作所使用的1维卷积核如下：

f6＝max(0,ω6*[f1,f5]+b6)(3)

上式中，[f1,f5]表示将f1和f5两个三维特征映射矩阵在第三维度进行连接。ω6和b6表示第六卷积层的权重矩阵和偏移量矩阵，权重矩阵和偏移量矩阵作为该神经网络的参数由后续训练取得最优值，其初始值取随机值，f6为第六层得到的特征映射。

③全局平均池化。为减少深度混合神经网络的参数，同时避免过拟合的问题，在神经网络第十三层，利用由2个维数为1的卷积核构成的卷积层将256个特征映射变为2个特征映射。这2个特征映射经过第十四层的全局平均池化层得到全局平均池化值qt，全局平均池化值由式(4)得到：

式(4)中，ps,t代表在第t个特征映射中的第s个像素值，其中s为大于等于1小于等于像素点总数的任意正整数，由于特征映射有两个，t的取值为{1,2}，s是全部像素点的总数。给出图像所隶属于第u类的概率由以下归一化指数函数计算得出：

式(5)中，qu为给出图像隶属于第u类的可能，被划归的种类u为{1,2}。其中v的取值为{1,2}，qu为第u类的全局平均池化值，qv为第v类的全局平均池化值，e为自然常数。

④特征融合。此处将深度归一化神经网络的特征提取部分所得的特征映射与基于跳连的卷积神经网络提取出的特征映射进行融合。具体操作为通过一个1维卷积核对两个特征映射进行卷积运算，该1维卷积核作为该神经网络的待定参数，其初始值取随机值。

(2)对训练所用数据集先进行图像归一化处理后进行数据增强处理，这两种方法具体操作如下：

采用像素最大最小归一化方法来实现图像归一化以突出图像特征更有利于特征提取，见下式(6)。

式(6)中，yn为归一化处理后的像素值，yr为原像素值，ymax和ymin为图像中像素值的最大值与最小值。

数据增强，针对训练数据中白烟、非白烟样本不平衡的问题，对白烟图像进行水平翻转、垂直翻转、180°翻转的操作，具体操作见图3，将翻转后的图像作为新的图像加入到训练数据集中，增加较少种类的训练样本个数。

(3)以经过(2)中所示方法处理后的图像为输入对神经网络及其参数进行训练；

对于提出的神经网络的训练过程分为以下三步。首先，只训练基于跳连的卷积神经网络。第二步，将深度归一化神经网络的特征提取部分和基于跳连的卷积神经网络合并为深度混合神经网络，每次冻结一部分参数只优化剩下的参数，重复此法直至所有参数都经过训练。最后，再将深度混合神经网络全部的参数一同带入训练，得到深度混合神经网络的参数。

本发明的创造性主要体现在：

(1)本发明针对烟雾图像的特征难以提取的特点，提出了使用基于跳连的卷积神经网络对烟雾图像进行识别。通过跳连的方式，有效的解决了在深度神经网络中梯度消失和梯度爆炸的问题，加快了特征传播，使得提取的图像特征更为有效，神经网络训练效果显著提高；

(2)本发明设计了全局平均池化层，大量减少了深度混合神经网络中的参数数量，不仅显著提高了神经网络的训练速度，而且使图像识别的运算效率大幅提高，使网络具有参数少，运算快，鲁棒性高等特点；

(3)本发明采用了特征融合的方法来融合从深度归一化卷积神经网络和基于跳连的卷积神经网络中提取出的特征，结合了深度归一化卷积神经网络的优点，从而显著提高了烟雾检测的准确率。

附图说明

图1是本发明深度混合神经网络结构图

图2是本发明基于跳连的卷积神经网络结构图

图3是本发明数据增强操作示意图

图4是本发明在50次到300次训练中，进行各次训练后与深度归一化神经网络(dncnn)、基于跳连的卷积神经网络(scnn)的识别正确率对比

具体实施方式

本发明获得了一种基于深度混合神经网络的烟雾检测方法，结合了深度归一化卷积神经网络的优点，将其与一种全新的基于跳连的卷积神经网络进行结合，构成了深度混合神经网络，从而实现了通过输入的烟雾图像对烟雾进行准确、实时的分类，解决了对烟雾图像进行实时检测的难题。为对燃烧过程以及废气的排放过程进行精确地实时控制创造了条件；

本发明采用了如下的技术方案及实现步骤：

1.提出并搭建一种新的深度混合神经网络；

深度混合神经网络是由基于跳连的卷积神经网络和深度归一化神经网络通过特征融合的方式所组合得到的，其具体结构见图1。其中，基于跳连的卷积神经网络是一种全新的神经网络，它的结构见图2，具体如下：

第一层为卷积层，包含32个9维卷积核，卷积核移动步长为1，使用relu激活函数。第二层为卷积层，包含64个1维卷积核，卷积核移动步长为1，使用relu激活函数。第三层、第四层、第五层为归一化卷积层，均包含64个3维卷积核，卷积核移动步长为1，使用relu激活函数。第六层为归一化卷积层，包含64个1维卷积核，卷积核移动步长为1，使用relu激活函数。第七层为池化层，池化范围为3维，移动步长为2，采用最大池化法。第八层、第九层为归一化卷积层，均包含128个3维卷积核，卷积核移动步长为1，使用relu激活函数。第十层为池化层，池化范围为3维，移动步长为2，采用最大池化法。第十一层、第十二层为归一化卷积层，均包含256个3维卷积核，卷积核移动步长为1，使用relu激活函数。第十三层为归一化卷积层，均包含2个1维卷积核，卷积核移动步长为1，使用relu激活函数。第十四层为池化层，采用全局平均池化。

对于深度归一化神经网络，去除了其中的全连接层，将其在全连接层之前的特征提取部分的输出与基于跳连的卷积神经网络在其第12层、第13层之间进行了特征融合的操作，从而共同构成了深度混合神经网络。

以下给出四个关于深度混合神经网络的具体操作。

(1)卷积与归一化操作。通过训练出的卷积核对输入图像进行卷积运算，再对卷积运算提取出的特征向量进行批量归一化处理，此处将每一个训练批量的样本个数设为96。对每个特征向量fj进行归一化得到归一化特征向量的公式如下：

式(1)中，和分别为批量均值和批量方差，n为每个特征向量的维数，fj,i为样本批量中第i个样本的第j个特征，其中i为大于等于1小于等于样本总数的任意正整数，j为大于等于1小于等于特征向量总数的任意正整数，ε为一取值很小的任意正常数，此处设为0.0001。再对提取出的特征进行比例和移位操作进行转换，具体转换方式如式(2)所示：

其中b(fj)为转换得到的标准化特征，式中α、β初始值随机，通过训练得到最优值。

在第三层、第四层、第五层、第六层、第八层、第九层、第十一层、第十二层、第十三层卷积层中使用批量归一化方法。

(2)跳连操作。新的基于跳连的卷积神经网络，采用了跳跃连接的方式来连接第1层输出的特征映射f1与第5层输出的特征映射f5，跳连操作所使用的1维卷积核如下：

f6＝max(0,ω6*[f1,f5]+b6)(3)

上式中，[f1,f5]表示将f1和f5两个三维特征映射矩阵在第三维度进行连接。ω6和b6表示第六卷积层的权重矩阵和偏移量矩阵，权重矩阵和偏移量矩阵作为该神经网络的参数由后续训练取得最优值，其初始值取随机值，f6为第六层得到的特征映射。

(3)全局平均池化。在神经网络第十三层，利用由2个维数为1的卷积核构成的卷积层将256个特征映射变为2个特征映射。这2个特征映射经过第十四层的全局平均池化层得到全局平均池化值qt，全局平均池化值由式(4)得到：

式(4)中，ps,t代表在第t个特征映射中的第s个像素值，其中s为大于等于1小于等于像素点总数的任意正整数，由于特征映射有两个，t的取值为{1,2}，s是全部像素点的总数。给出图像所隶属于第u类的概率由以下归一化指数函数计算得出：

式(5)中，qu为给出图像隶属于第u类的可能，被划归的种类u为{1,2}。其中v的取值为{1,2}，qu为第u类的全局平均池化值，qv为第v类的全局平均池化值，e为自然常数。

(4)特征融合。此处将深度归一化神经网络的特征提取部分所得的特征映射与基于跳连的卷积神经网络提取出的特征映射进行融合。具体操作为通过一个1维卷积核对两个特征映射进行卷积运算，该1维卷积核作为该神经网络的参数由后续训练取得最优值，其初始值取随机值。

2.对训练所用数据集先进行图像归一化处理后进行数据增强处理，这两种方法具体操作如下：

采用像素最大最小归一化方法来实现图像归一化，见下式(6)。

式(6)中，yn为归一化处理后的像素值，yr为原像素值，ymax和ymin为图像中像素值的最大值与最小值。

数据增强，训练样本集中共有2200张非白烟图像和8500白烟图像，对白烟图像进行水平翻转、垂直翻转、180°翻转的操作，将翻转后的图像作为新的图像加入到训练数据集中，增加白烟图像个数，具体操作见图3。

3.以经过步骤2处理后的图像为输入对神经网络及其参数进行训练。

对神经网络的参数进行训练的具体方法如下：

引入了glorot均匀分布初始化方法来完成对神经网络中各权值的初始化。而后，引用了动量和学习率衰减以及随机梯度下降的训练方法，动量系数为0.9，学习率衰减系数为0.0001，随机梯度下降法的随机系数设为0.9，初始学习速率为0.01，小批量的批量样本个数为96，训练的损失函数为交叉熵损失函数。

对于提出的神经网络的训练过程分为以下三步。首先，只训练基于跳连的卷积神经网络，训练次数为300。第二步，将深度归一化神经网络的特征提取部分和基于跳连的卷积神经网络合并为深度混合神经网络，每次冻结80％的参数只优化剩下的20％的参数，训练次数为300，重复此法直至所有参数都经过训练。最后，再将深度混合神经网络全部的参数一同带入训练，训练300次后，得到深度混合神经网络的最优参数。

通过以上方法训练出的深度混合神经网络在对测试数据集中18522组白烟图像和19060组非白烟图像，共计37582组数据进行分类测试，正确率可达99.5％，在50次到300次训练中，进行各次训练后与深度归一化神经网络(dncnn)、基于跳连的卷积神经网络(scnn)、深度混合神经网络(dmnn)的识别正确率对比见图4。