一种基于深度学习的火灾检测方法与流程

本发明属于图像处理技术中的火灾检测领域，尤其涉及一种基于深度学习的火灾检测方法。

背景技术：

深度学习近年来的发展突飞猛进，使越来越多的人工智能应用得以实现，其以卷积神经网络为核心，卷积神将网络(cnns)已经被大量的用于计算机视觉任务，如目标分类、目标分割以及目标检测等。故近来许多学者和研究者也将深度学习应用于火灾检测领域，其中有用传统的卷积神经网络结构alexnet，vggnet，googlenet及resnet等模型进行火灾图像分类，以及r-cnn,fastr-cnn,fasterr-cnn，yolo,ssd等模型进行火灾图像的定位检测。

尽管以上深度学习模型都在一定基础上提高了火焰检测准确率，但是由于深度学习需要大量的数据集，其所用的数据集通常都是谷歌和百度上搜索的大火灾图片，所以对于一些特定场景下，如背景与火焰相近，以及火灾蔓延变大前的小火苗等的检测的准确率还是很低，故针对这些问题，提出将低层特征与高层特征使用跳跃连接的方式进行特征融合，并根据火灾发生过程中火焰形状不断变化的特性使用可形变卷积进行特征提取，有效地提高了火焰检测的准确率并且大大地降低了误识率，并且对于不同场景的火焰以及小火焰等都有较好的检测效果。

技术实现要素：

本发明提出一种基于深度学习的火灾检测方法，使用可形变卷积以及池化等操作提取火灾特征，并利用跳跃式连接方式将低层特征与高层特征进行融合，有效地提高了火灾检测方法的可靠性和适用性，而且对于不同场景的火灾和不同火势(火焰的大小)的火灾都有较好的检测效果。

本发明采用的技术方案如下：

本发明提出了一种基于深度学习的火灾检测方法，包括以下步骤：

步骤1：接收输入的图像，所述图像中可能包括待检测的火灾信息；

步骤2：构建跳跃连接卷积神经网络，所述跳跃连接卷积神经网络中包括可形变卷积结构；

步骤3：利用跳跃连接卷积神经网络中的可形变卷积及池化等操作对输入图像进行火灾特征提取，并利用跳跃连接对低层级特征与高层级特征进行融合，得到火灾特征映射图；

步骤4：使用多种尺寸的滑动窗口对步骤3中的火灾特征映射图进行特征向量提取，进行火灾候选框的预测；

步骤5：对步骤4中的每一个火灾候选框进行区域可形变池化(roi可形变池化)，得到相同维度的深度特征；

步骤6：将步骤5中的深度特征输入到全连接层进行火灾的分类预测与定位。

进一步地，所述步骤3中利用跳跃连接卷积神经网络中的可形变卷积及池化等操作对输入图像进行火灾特征提取，其中的可形变卷积结构的输出定义如下：

其中，卷积核的大小是3×3，感受野r定义为r＝{(-1,-1),(-1,0),…,(0,1),(1,1)}，p0是感受野区域r中的元素，w表示每个采样点p的值与卷积核对应位置的权值，x是输入特征图，δpn是在标准卷积的基础上增加的偏移量，n是感受野区域中的元素个数。且由于偏移量δpn通常是一个非常小的数，为得到该点的值采用双线性插值的方法，插值公式如下：

其中p表示可形变卷积结构的输出定义中的p＝p0+pn+δpn，q列举的是在特征图x中的空间位置，g(p,q)是二维的双线性插值的核，为了提高计算的速度将二维核函数分别分解为在x和y方向上的一维核函数g(qx,px)和g(qy,py)，如下式所示：

g(q,p)＝g(qx,px)*g(qy,py)

g(a,b)＝max(0.1-|a-b|)

进一步地，所述步骤3中利用跳跃连接对浅层级特征与高层级特征进行融合，因为在卷积神经网络不断进行特征学习的过程中，浅层特征具有丰富的细节和定位信息，高层特征具有丰富的语义信息，从低层级到高层级，细节信息不断的减少，而语义信息不断的增加，为了将细节信息与语义信息互补，故跳跃连接是将卷积过程中的最低层与最高层、次低层与次高层，以此类推进行连接，并利用concat将两层级的特征图进行融合，得到更加丰富的火灾特征。

进一步地，所述步骤4中使用多种尺寸的滑动窗口对火灾的特征映射图进行候选目标区域预测，其滑动窗口的尺寸分别为3×3，5×5，7×7，利用不同尺寸的滑动窗口能够更加充分的提取出图像中不断变化的火灾目标。

进一步地，所述步骤5中对每一个火灾候选框进行区域可形变池化，其可形变池化的输出定义如下：

其中bin是指将w×h大小的矩形区域池化成的子区域，nij为每个子区域内像素的个数，p0是每个子区域左上角的坐标，δpij为偏移量，定义如下式：

其中，是采用区域池化操作和全连接操作得到的偏移量，γ是预先定义的标量用来调整偏移量的大小，根据经验设定γ＝0.1。

本发明与现有技术相比具有以下有益效果：

本发明针对目前火灾检测技术存在的不足，如在不同场景下，火焰的检测算法不能很好的适应，检测的准确率低，误识率高等问题，以及现有的基于深度学习的火灾检测方法存在的对于背景与火焰相似以及小火苗的检测率低的问题，首次提出了一种基于深度学习的火灾检测方法；相比于传统的基于图像的算法，本发明的检测方法对于不同场景下的火灾检测的准确率和误检率都得到了良好的保证；相比于现有的深度学习火灾检测算法，本发明对于背景与火焰相近的场景以及不同火势的火灾都有较好的检测效果，有效地提高了火焰检测的准确率，降低了误识率，而且具有较强的鲁棒性，具有较好的应用前景。

附图说明

图1为本发明一种基于深度学习的火灾检测方法的流程图；

图2为本实施例中图像中包括火灾信息的分类和定位效果图；

图3为本实施例中图像中包含类似火灾信息的分类结果图。

具体实施方式

为了进一步说明，下面结合附图及实施例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。

在火灾发生过程中火焰的形状由于受到风向，燃烧物等因素的影响不断发生变化，通过可形变卷积以及可形变池化等操作进行火灾的特征提取及检测，且考虑到深度学习过程中的低层级的特征具有丰富的细节和定位信息，高层级的特征具有丰富的语义信息，从底层到高层级不断进行特征学习，使得细节信息不断的减少，而语义信息不断增加的缘故，使用跳跃连接的方式将低层特征与高层特征相融合，得到丰富的火焰特征。首先通过多次可形变卷积以及池化等操作进行特征提取，并利用浅层与高层跳跃连接的方式进行特征融合得到火灾特征映射图；其次使用滑动窗口对火灾特征映射图进行火焰目标区域预测，并对每一个火焰候选目标区域进行区域可形变池化操做得到相同维度的深度特征；最后将深度特征输入到全连接层进行火灾的分类与定位。由于本发明将浅层特征与高层特征相融合，并利用具有几何形变能力的卷积神经网络，从而有效地解决了对于背景与火灾相类似场景以及火势蔓延变大前期的小火苗检测的误检率高以及准确率低的问题。

实施例1

如图1所示，本发明提供一种基于深度学习的火灾检测方法，包括以下步骤：

步骤1：接收输入的图像，所述图像中可能包括待检测的火灾信息；

所述的输入图像，对于数据集中图像样本的尺寸大小没有要求，但在作为卷积神将网络的输入前，所有图像样本都被处理为统一尺寸128×128。

步骤2：构建跳跃连接卷积神经网络，所述跳跃连接卷积神经网络中包括可形变卷积结构；

所述的跳跃连接卷积神经网络，由5层可形变卷积，批量归一化，激活函数以及最大池化操作构成，并将从输入到最后一层操作进行一低层一高层的跳跃连接。

步骤3：利用跳跃连接卷积神经网络中的可形变卷积及池化等操作对输入图像进行火灾特征提取，并利用跳跃连接对浅层级特征与高层级特征进行融合，得到火灾特征映射图；

所述的可形变卷积，即在标准卷积的基础上对方块卷积核中的每个卷积采样点加一个偏移量，以实现对任意形变的卷积操作，如对于火灾这种形状变化不规则的目标进行卷积，定义如下：

其中，卷积核的大小是3×3，感受野r定义为r＝{(-1,-1),(-1,0),…,(0,1),(1,1)}，p0是感受野区域r中的元素，w表示每个采样点p的值与卷积核对应位置的权值，x是输入特征图，δpn是在标准卷积的基础上增加的偏移量，n是感受野区域中的元素个数。

由于偏移量δpn通常是一个非常小的数，为得到该点的值采用双线性插值的方法，公式如下所示：

其中p表示可形变卷积输出定义中的p＝p0+pn+δpn，q列举的是在特征图x中的空间位置，g(p,q)是二维双线性插值的核，为了提高计算的速度将二维核函数分别分解为在x和y方向上的一维核函数g(qx,px)和g(qy,py)，计算公式如下：

g(q,p)＝g(qx,px)*g(qy,py)

g(a,b)＝max(0.1-|a-b|)

所述的利用跳跃连接对浅层级特征与高层级特征进行融合，因为在卷积神经网络不断进行特征学习的过程中，浅层特征具有丰富的细节和定位信息，高层特征具有丰富的语义信息，从低层级到高层级，细节信息不断的减少，而语义信息不断的增加，为了将细节信息与语义信息互补，故跳跃连接是将卷积过程中的最低层与最高层、次低层与次高层，以此类推进行连接，并利用concatenate将两层级的特征图进行拼接融合，得到更加丰富的火灾特征。

步骤4：使用多种尺寸的滑动窗口对步骤3中的火灾特征映射图进行特征向量提取，进行火灾候选框的预测；

所述多种尺寸的滑动窗口分别为3×3，5×5，7×7，利用不同尺寸的滑动窗口能够更加充分的提取出图像中不断变化的火灾目标。

步骤5：对步骤4中的每一个火灾候选框进行区域可形变池化(roi可形变池化)，得到相同维度的深度特征；

所述可形变池化与可形变卷积的思想类似，对区域池化操作引入偏移量，使目标特征的表达更加准确，其定义如下：

其中bin是指将w×h大小的矩形区域池化成的子区域，nij为每个子区域内像素的个数，p0是每个子区域左上角的坐标，δpij为偏移量，定义如下式所示：

其中，是采用区域池化操作和全连接操作得到的偏移量，γ是预先定义的标量用来调整偏移量的大小，根据经验设定γ＝0.1。

步骤6：将步骤5中的深度特征输入到全连接层进行火灾的分类预测与定位。本实施例中输入图像中包括火灾信息的分类和定位具体效果如图2所示，输入图像中包含类似火灾信息的具体分类结果如图3所示。

本发明采用准确率以及误检率来衡量火焰检测算法的可行性，表1为火焰检测算法在标准数据库中不同场景下准确率和误检率的统计结果。

表1准确率和误检率统计结果

说明：表中正样本集即为包括火灾信息的图像，负样本集为不包括火灾信息的图像；其中正样本集为了更清晰的检测本发明所提出的火灾检测方法的优势，将大火灾图像与小火苗及背景相近的图像分别进行统计准确率和误检率。

通过表1的统计结果可知，本发明提出的火焰检测方法在各种环境下均有较好的检效果，但当火灾极小时或是有与火灾极其相近的目标还是会造成误检。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。