一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法与流程

本发明涉及一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法，属于图像处理、机器视觉、深度学习、环境保护领域。

背景技术：

火灾探测任务对人员安全至关重要。传统的火灾探测器基于粒子采样，温度采样，相对湿度采样和烟雾进行分析，由于成本低且原理简单，得到广泛应用。因为传感器需要与燃烧产物或环境气体进行物理接触，所以必须安装在靠近火源的地方，否则难以迅速检测到火灾。人们发现烟雾经常发生在火灾之前，因此检测烟雾比检测火灾更有价值。随着图像处理和数码相机的高速发展，研究人员将注意力转移到基于图像的烟雾检测技术，该技术可以在图像中识别烟雾，同时采取报警措施。显然，在大多数情况下，图像的烟雾检测比传统检测器更合适应用在空间较大的环境中，例如森林火灾的应用。

近年来，深度学习在图像分类和识别方面取得了巨大成功，它可以自动提取特征，省去了一般图像处理方法中繁琐的数据处理过程，并且较一般的方法具有很高的准确率。深度学习的局限性在于需要大量手动标记的样本图，而数据的收集非常困难且昂贵，迁移学习的出现可以很好的解决这个问题，通过预训练模型参数初始化可以为新模型迁移优化的参数，使模型很快收敛，并且具有很高的精度。

因此，本发明提出了一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法进行烟雾图片的检测分类。

技术实现要素：

本发明提出了一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法，将数据集输入到两条通道分别训练，并且在第一条通道中使用迁移学习以保证模型迅速优化收敛，同时学习到泛化性能较好的特征，第二条通道用来提取烟雾图片的细节特征，最后进行特征融合以得到更全面的特征，提高网络模型的分类性能。

本发明的技术方案，包括下列步骤：

步骤1：准备烟雾和非烟雾图像作为两类数据样本。

步骤2：对步骤1中的图像归一化大小并进行数据扩充；

步骤3：将卷积神经网络的结构设计为双通道网络，两条通道网络同时独立训练，其中第一条网络结合迁移学习提取泛化性能较好的特征，第二条网络对数据集直接细节特征提取，在两条网络末端进行特征连接、融合，生成训练网络模型文件并保存；

步骤4：以训练好的模型对实际烟雾和非烟雾图像进行分类，得到分类结果。

与现有技术相比，本发明的有益效果是：

本发明解决了数据集不足模型易过拟合的问题，采用了数据扩充和迁移学习的方法，使模型更快收敛到高精度。并且，双通道的网络结构使得模型可以独立训练，保证了模型的鲁棒性，提高了泛化性能，提高了模型的分类性能。

附图说明

图1总体框架示意图，即摘要附图；

图2(a)烟雾图像；

图2(b)云图像；

图2(c)墙图像；

图2(d)水面图像；

图3迁移学习原理图；

图4第一条通道：基于迁移学习的alexnet网络结构图；

图5第二条通道：细节提取的精简cnn结构图；

图6双通道网络的融合结构图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。图1给出了按照本发明的一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法的流程图。如图1所示，按照本发明的一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法包括：

1.准备烟雾和非烟雾图像，在非烟雾数据集中加入天空中的云、光滑的墙壁、车身和水面图像以丰富训练样本；

2.对步骤1中的图像大小归一化为227*227，并进行数据扩充，作为后续网络训练的数据集；

3.将卷积神经网络的结构设计为双通道网络，两条通道网络同时训练，其中第一条网络结合迁移学习提取泛化性能较好的特征，第二条网络对数据集直接细节特征提取，在两条网络末端进行特征连接、融合，生成训练网络模型文件并保存；

4.用训练模型对实际烟雾和非烟雾图片进行分类，得到分类结果。

下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.实验对象

本发明参照网站上的公共数据集构建数据集：http：//staff.ustc.edu.cn/～yfn/vsd.html。而根据hongdatian和philipo.ogunbona的研究发现，具有挑战性的图像会导致单个图像烟雾检测问题中的错误分类或错误检测。具有挑战性的图像容易与烟雾分类错误的原因可分为三类：与烟雾具有相同的物理形成过程，与烟雾具有相同的透明度和相同的同质性。第一类包括共享类似物理形成过程的物体，如雾，云和蒸汽。由于阴影和玻璃具有类似烟雾的透明属性，因此可以将它们视为第二类的代表性样本。第三类包括光滑的墙壁，天空，衣服和车身，因为它们的图像斑块具有高度同质性。此外，机器很难将水面与烟雾区别开，因为两者都具有透明性和高同质性。所以本发明收集了其中四个具有挑战性的图像，包括天空中的云、光滑的墙壁、车身和水面，作为非烟雾图像的补充。烟雾图像和具有挑战性的非烟雾图像如图2所示。

2.图像预处理

2.1图像归一化

将收集到的数据集图像进行大小归一化，本发明的模型的图像输入需要227*227的大小，并且由于图像的归一化，在一定程度上可以加快网络的收敛。

2.2数据扩充

数据规模对训练网络的性能影响很大，由于烟雾图像数据集较少，本次工作只搜集到了9794张符合实验要求的烟雾和非烟雾样本，因此，本发明将数据集整体顺时针旋转90°来扩充数据集，以减少实验过拟合的风险。

3基于迁移学习的双通道卷积神经网络

3.1基于迁移学习的alexnet

随着cnn网络的设计变得更加复杂和深入，网络训练的成本日益增加并且对训练数据有着更大的需求。迁移学习将训练好的模型参数分享到新模型中，加快模型的收敛速度并优化新模型的参数，使网络不必从头学习。迁移学习的使用不仅解决了数据集不足的问题，而且预训练模型参数的迁移还提高了新模型的整体性能。

为了减少两个域之间的差异并提高目标域的分类性能，使用迁移学习在源域和目标域的特征空间中找到共同的特征表示。迁移学习的过程是将他们的知识从已学习的相关任务迁移到新任务以提高绩效。在深度神经网络的迁移学习中，第一步是在基本数据集上训练基本网络，然后将学习的特征返回或迁移到另一个目标网络以训练目标任务的数据集。在本发明中，在第一条通道中使用了迁移学习，为新模型带来了更多具有高泛化性能的特征。方框图如图3所示。

alexnet由5个卷积层和3个完全连接的层组成，它的结构使其在检测图像方面表现优异，因此本发明选择alexnet作为网络结构的基本框架。第一条通道网络结构如图4所示。在第一个通道中，有一个alexnet的经典结构用于广义特征提取，它使用包含丰富的低级特征的预训练模型初始化参数。预训练模型是通过使用经典网络alexnet训练imagenet大规模数据集获得的。该模型用于初始化新模型第一个卷积层(conv1)到最后一个池化层(pool5)的权重参数。

第一条通道网络使用从大量自然图像训练获得的预训练模型参数进行初始化，再提取烟雾特征作为目标图像特征，利用迁移学习，可以快速提取目标任务的特征，提高分类准确率。

3.2细节提取网络

虽然迁移学习解决了数据集不足的问题，但新模型只是利用了预训练模型在大数据集下训练的参数，使新模型能够快速学习优秀的泛化特征。对于实验整体而言，获得目标图像的细节特征同样重要，更全面的特征将使最终分类更加准确。因此，第二条通道的网络在alexnet基础上进行调整和修改，最后确定四层卷积层的卷积神经网络，用于目标数据集的单独训练，以获得烟雾图像的细节特征。网络结构如图5，包含四个卷积层(conv1_1-conv4_1)和一个池化层(pool2_1)

3.3融合网络结构

为了提高整个网络的稳健性，网络的两条通道被设计为独立地提取特征，原始数据集在开始时分别输入两条通道中进行训练。然后第一条通道中pool5的特征与第二条通道中的conv4_1特征经过concat层时进行融合，并将融合后的特征输入到全连接层。全连接层全面集成两条通道网络的各自特征，通过提取全面的特征增强网络的整体分类性能。模型的结构如图6所示。

网络训练时，每个卷积层都提取了各种各样的特征，容易造成特征数量过多和特征分散的问题，本发明使用正则化来规范化特征，通过计算每次激活的均值和方差来对特征进行规范化。

m代表小批次的大小，xi，f代表批次中第i类样本中的第f个特征。通过均值和方差，可以对每一个特征做如下处理：

其中ξ是一个小的正常数，提高数值稳定性。模型中的池化方法使用max-pooling来减少学习过程中的计算量和参数，并防止过度拟合。

与其他网络不同，这两个网络末端有一个concat连接层，用于融合两个网络提取的特征，然后将融合的特征输入到全连接层。全连接层和softmax层形成线性分类模块，将特征向量转换为烟雾和非烟雾的输出概率，从而达到对输入的图片进行分类的效果。

本发明的一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法，将采用迁移学习策略的alexnet网络作为第一条通道，而用于细节提取的精简cnn作为第二条通道。两条通道分别进行训练，最后进行特征融合，丰富了特征信息，保证了网络的健壮性。分类结果表明，该方法可以在烟雾图像分类上实现较高的分类性能。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。