火焰烟雾检测方法及装置与流程

本发明属于智能安防技术领域，尤其涉及一种火焰烟雾检测方法及装置。

背景技术：

火灾是日常生活中最常见的灾害之一，它往往给人们的生命财产造成巨大损失。因此，火灾的预防和检测非常重要。

传统的火焰烟雾检测方法在检测火灾时往往会综合火焰烟雾的静态特征和动态特征进行检测。这种检测方式存在较大的弊端。原因在于火焰烟雾的静态特征和动态运动特征混合在一起检测时，会影响到动态特征检测所需要的图像信息的连续性，使得最终的实时检测效果并不是很理想，而且耗时较长。

考虑到发生火灾时，火焰烟雾的移动具有一些独特的运动特征，传统的图像处理方法即可快速的对这些动态特征进行检测；而在某一场景下，发生火灾时，火焰烟雾的静态特征几乎不发生变化，或者发生的变化较小，其复杂性高，可辨识性差，采用传统的图像处理方法很难准确的对其进行检测。

技术实现要素：

为克服上述现有的火焰烟雾检测方法检测效果差的问题或者至少部分地解决上述问题，本发明实施例提供一种火焰烟雾检测方法及装置。

根据本发明实施例的第一方面，提供一种火焰烟雾检测方法，包括：

获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；

获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；

其中，所述深度学习模型根据火焰烟雾的图像样本和所述图像样本中火焰烟雾的静态检测结果进行训练获取；

根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

具体地，获取视频的每帧中火焰烟雾的动态特征的步骤之前还包括：

基于三帧插法检测出所述视频的每帧中火焰烟雾的运动区域；

基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域；

将每帧中所述三帧插法和所述背景减法检测出的运动区域进行或运算，获取每帧中火焰烟雾的最终运动区域；

相应地，获取视频的每帧中火焰烟雾的动态特征的步骤包括：

获取每帧的火焰烟雾的最终运动区域中火焰烟雾的动态特征。

具体地，基于三帧插法确定所述视频的每帧中火焰烟雾的运动区域的步骤包括：

计算所述视频的当前帧与紧邻所述当前帧的前一帧之间的差分图像，以及紧邻所述当前帧的后一帧与所述当前帧之间的差分图像；

对两个所述差分图像进行与操作；

对与操作的结果进行二值化处理，对二值化处理的结果进行形态学处理，获取当前帧中所述三帧插法检测出的火焰烟雾的运动区域。

具体地，通过以下公式基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域：

其中，p(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素做背景减运算的结果，b(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的背景强度，b(x,y,i+1)所述视频的第i+1帧中坐标为(x,y)的像素的背景强度，t(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的运动阈值，f(x,y,i)所述视频的第i帧中坐标为(x,y)的像素值，λ为调节参数。

具体地，获取每帧的火焰烟雾的最终运动区域中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果的步骤包括：

获取每帧中所述最终运动区域的位置，将相邻两帧之间所述最终运动区域的位置进行对比，判断所述最终运动区域是否符合火焰烟雾的整体移动稳定性的特征；

统计相邻两帧中所述最终运动区域的面积，将连续的相邻两帧中所述最终运动区域的面积进行对比，判断所述最终运动区域的面积是否符合火焰烟雾的面积随时间逐步变大的特征；

基于光流法获取所述最终运动区域的主运动方向，并判断所述主运动方向是否符合火焰烟雾由下向上运动的特征；

若所述最终运动区域符合火焰烟雾的整体移动稳定性、面积随时间逐步变大和由下向上运动的特征，则获知所述最终运动区域为火焰烟雾区域，否则不是火焰烟雾区域。

具体地，获取每帧中所述最终运动区域的位置，根据所述位置判断所述最终运动区域是否符合火焰烟雾的整体移动稳定性的特征的步骤包括：

获取每帧中所述最终运动区域的中心点，以及位于所述最终运动区域的底部的像素点的正上方且距离所述底部的像素点为所述最终运动区域的高度的预设比例的目标像素点；

计算相邻两帧中所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率；

若所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率均在预设范围内，则获知所述最终运动区域符合火焰烟雾的整体移动稳定性的特征。

具体地，获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域的步骤包括：

基于火焰烟雾的颜色模型获取所述视频的每帧中的火焰烟雾疑似区域；

基于lbp方法获取所述火焰烟雾疑似区域的纹理特征；

根据所述纹理特征获取所述火焰烟雾疑似区域中的火焰烟雾目标区域，将所述火焰烟雾目标区域作为所述火焰烟雾的静态区域。

具体地，所述火焰烟雾的颜色模型为：

r≥g＞b；

r＞rt；

|r-g|<it；

|r-b|<it；

|g-b|<it；

其中，r为火焰烟雾的像素在rgb颜色空间中的红色通道的值，g为火焰烟雾的像素在rgb颜色空间中的绿色通道的值，火焰烟雾的像素在rgb颜色空间中的蓝色通道的值，rt、st和it为预设阈值，s为火焰烟雾的像素的饱和度。

根据本发明实施例第二方面提供一种火焰烟雾检测装置，包括：

动态检测模块，用于获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；

静态检测模块，用于获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；

其中，所述深度学习模型根据火焰烟雾的图像样本和所述图像样本中火焰烟雾的静态检测结果进行训练获取；

融合检测模块，用于根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的火焰烟雾检测方法。

本发明实施例提供一种火焰烟雾检测方法及装置，该方法通过采用两个异步线程实现对火焰烟雾静态特征和动态特征的分离检测，然后再在各个时间点采用第三个总体检测线程对动态检测结果和静态检测结果做综合判断，得到最终的火焰烟雾检测结果，大大缩短火焰烟雾的检测时间，满足了火焰烟雾检测实时性的要求，而且检测的准确度也更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的火焰烟雾检测方法整体流程示意图；

图2为本发明实施例提供的火焰烟雾检测方法中利用深度学习卷积神经网络检测火焰烟雾静态特征的流程示意图；

图3为本发明实施例提供的火焰烟雾检测方法的完整流程示意图；

图4为本发明实施例提供的火焰烟雾检测装置整体结构示意图；

图5为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的一个实施例中提供一种火焰烟雾检测方法，图1为本发明实施例提供的火焰烟雾检测方法整体流程示意图，该方法包括：s101，获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；

具体地，在对视频中的每帧进行火焰烟雾检测之前，对视频中的每帧进行预处理，预处理包括色彩平衡。色彩平衡有两个步骤，一是通过比例因子规范地估计每帧亮度和色度。假设在每帧中存在良好的颜色分布，使用灰度世界算法，计算每帧上r、g和b平面中图像强度的平均值，得到的三个图像强度的矢量被称为图像的光线值；二是使用乘法因子独立地缩放每个r、g和b平面，该乘法因子将灰度值转化为r、g和b平面中每帧的平均强度。如果缩放值大于最大可能强度，它就被确定为最大值。色彩平衡后，将对待检测视频中的图像序列分别进行独立的火焰烟雾静态特征和动态特征检测。

动态特征为火焰烟雾在相邻帧中表现出来的动态的特征。在进行火焰烟雾的动态特征检测时，分析火焰烟雾在相邻帧中表现出来的动态特征是否符合火焰烟雾的实际动态特征，从而得出每帧中火焰烟雾的动态检测结果。火焰烟雾的实际动态特征包括火焰烟雾区域整体移动的相对稳定性、火焰烟雾区域的面积随着时间逐步增长的特性以及火焰烟雾区域的主要运动方向为由下向上。

s102，获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；其中，所述深度学习模型根据火焰烟雾的图像样本和所述图像样本中火焰烟雾的静态检测结果进行训练获取；

火焰烟雾的静态特征主要是火焰烟雾的颜色、纹理等外表特征。火焰的颜色通常在红黄色或红色范围内，而至少在火灾开始时，烟雾的颜色从蓝白色到白色不等，由于自然环境中的云雾等物体颜色与烟雾颜色相近，且火焰烟雾的静态特征存在复杂性高，可辨识度差等特点，单纯依靠颜色来检测火焰烟雾并不可行，而纹理特征不依赖于图像颜色或亮度的变化,能够反映图像的同质现象。因此，可以采用颜色和纹理特征作为火焰烟雾检测的静态特征，并对其进行检测，能够取得较好的效果。但是最终判定是否发生火灾，还得综合火焰烟雾动态特征的检测结果。

本实施例将使用静态特征检测出的静态区域输入到深度学习模型中进行检测。深度学习模型为卷积神经网络，卷积神经网络包括卷积层、池化层和全连接层。其中，卷积层负责提取图像中的局部特征，池化层用来大幅降低参数量级，全连接层类似传统神经网络的部分，用来输出结果。卷积层和池化层中，每一层的节点和上一层的部分节点相连，全连接层中的所有节点和上一层中的所有节点均有连接，经过全连接层后即可得到输出。

利用预处理后的火焰烟雾图像样本集对卷积神经网络进行训练，并结合mobilenet深度可分离卷积网络模型进行，只提取火焰烟雾的静态特征，实现火焰烟雾图像的动态特征和静态特征分离检测。mobilenet可将标准卷积神经网络分解成深度卷积和逐点卷积，这样可以减少计算量，并控制训练模型不至于过大。卷积神经网络(convolutionalneuralnetwork，cnn)使用一个区域建议网络(regionproposalnetwork)产生可能包含物体的建议区域，并且利用这些建议区域进行微调来对物体进行分类和定位，整个处理过程大约是每秒7帧，但这远远不能满足实时性的要求。由于实际应用中，若不能及时检测出火灾，将对人们的生命财产安全造成巨大损失，为此，使用mobilenet-ssd取消区域建议网络(regionproposalnetwork)的加速处理过程，最后在tensorflow-gpu(gpu加速版本)框架下对火焰烟雾静态特征进行提取训练。tensorflow深度学习框架是一个基于数据流编程(dataflowprogramming)的符号数学系统，被广泛应用于各类深度学习(deeplearning)算法的编程实现。采用在tensorflow-gpu(gpu加速版本)框架下有效地提高了提取训练效率，满足火焰烟雾静态特征检测实时性的要求。

利用深度学习卷积神经网络检测火焰烟雾静态特征的具体流程如图2所示。上半部分为火焰烟雾静态特征样本集提取训练流程，火焰烟雾静态特征图像数据集经过数据归一化等预处理后送入卷积神经网络模型中进行训练，得到训练好的网络模型。下半部分为火焰烟雾静态特征检测流程，对传输的实时待检测视频流一系列的处理后，将静态区域图像传进训练好的网络模型中进行检测，最后得出火焰烟雾静态特征检测结果。该检测结果将与火焰烟雾的动态特征检测结果进行综合，得出最终的火焰烟雾检测结果。

s103，根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

由于火焰烟雾的动态特征与静态特征是采用异步线程分离检测的，两个线程的执行过程互不干扰。利用深度学习的方法只检测火焰烟雾的静态特征，而火焰烟雾动态特征的检测可与火焰烟雾静态特征检测同步进行，或在静态特征检测之前进行检测。最后，采用第三个总体检测线对取视频图像序列中每间隔预设帧图像，如三帧图像做一次动、静态检测结果的融合判断，如第1帧，第5帧、第9帧……等。综合判断的具体做法为最终的火焰烟雾检测结果rfinal由火焰烟雾的静态特征检测结果rq与动态特征检测结果rs相与得到，即rfinal＝rq∩rs，当火焰烟雾静态特征检测到有火焰烟雾时，rq＝1，否则rq＝0；当火焰烟雾动态特征检测到有火焰烟雾时，rs＝1，否则rs＝0，则：

只要有一帧图像的融合判断结果检测出存在火焰烟雾，就显示待检测的视频中存在火情。火焰烟雾检测的完整流程图如图3所示。

本实施例通过采用两个异步线程实现对火焰烟雾静态特征和动态特征的分离检测，然后再在各个时间点采用第三个总体检测线程对动态检测结果和静态检测结果做综合判断，得到最终的火焰烟雾检测结果，大大缩短火焰烟雾的检测时间，满足了火焰烟雾检测实时性的要求，而且检测的准确度也更高。

在上述实施例的基础上，本实施例中获取视频的每帧中火焰烟雾的动态特征的步骤之前还包括：基于三帧插法检测出所述视频的每帧中火焰烟雾的运动区域；基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域；将每帧中所述三帧插法和所述背景减法检测出的运动区域进行或运算，获取每帧中火焰烟雾的最终运动区域；相应地，获取视频的每帧中火焰烟雾的动态特征的步骤包括：获取每帧的火焰烟雾的最终运动区域中火焰烟雾的动态特征。

具体地，通常假设用于火焰烟雾检测的视觉传感器固定在某个位置和方向，保持视野和背景场景固定。随着环境中空气的流动，火焰烟雾的形状会随着时间发生改变，从而呈现出一种快速运动的状态，且火焰会呈现出一种抖动的状态。因此，要对视频中火焰烟雾的动态特征进行分析，首先需要将视频的每帧中火焰烟雾的运动区域检测出来。在一段待检测视频中，相邻两帧的差值即为像素的变化值，发生变化的像素即为运动区域。因此，本实施例首先采用三帧插法确定视频的每帧中火焰烟雾的运动区域；然后采用背景减法对运动区域进行检测；最后将三帧插法的检测结果和背景减法的检测结果进行或运算，得到最终的运动区域。确定最终运动区域后，分析最终运动区域的动态特征是否符合火焰烟雾的实际动态特征。

本实施例通过三帧插法和背景减法分别对视频图像进行检测，可保证检测出的运动区域更加完善和精确，为后续火焰烟雾动态特征的精确分析打下基础。

在上述实施例的基础上，本实施例中基于三帧插法确定所述视频的每帧中火焰烟雾的运动区域的步骤包括：计算所述视频的当前帧与紧邻所述当前帧的前一帧之间的差分图像，以及紧邻所述当前帧的后一帧与所述当前帧之间的差分图像；

设待检测视频的n帧图像序列中第i-1帧、第i帧和第i+1帧的图像分别为f(i-1)，f(i)和f(i+1)，其对应的任一坐标为(x,y)的像素点的灰度值分别为f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)。差分图像d(x,y,i)和d(x,y,i+1)分别为：

d(x,y,i)＝|f(x,y,i)-f(x,y,i-1)|；

d(x,y,i+1)＝|f(x,y,i+1)-f(x,y,i)|；

对两个所述差分图像进行与操作；

对差分图像d(x,y,i)和d(x,y,i+1)进行与操作，得到d′(x,y,i)，即

d′(x,y,i)＝d(x,y,i)∩d(x,y,i+1)；

对与操作的结果进行二值化处理，对二值化处理的结果进行形态学处理，获取当前帧中所述三帧插法检测出的火焰烟雾的运动区域。

再对d′(x,y,i)进行二值化处理，得到二值化后的图像d″(x,y,i)为：

其中，t为对图像d′(x,y,i)二值化时的预设阈值，通过对第i帧图像f(i)应用otsu算法确定预设阈值t。

最后，再对d″(x,y,i)进行连通性分析等形态学处理，从而得到火焰烟雾的运动区域d″′(x,y,i)。

在上述实施例的基础上，本实施例中通过以下公式基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域：

其中，p(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素做背景减运算的结果，b(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的背景强度，b(x,y,i+1)所述视频的第i+1帧中坐标为(x,y)的像素的背景强度，b为火焰烟雾检测的动态背景模型，t(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的自适应运动阈值，f(x,y,i)所述视频的第i帧中坐标为(x,y)的像素值，λ为调节参数，本实施例使用相同的调节参数λ进行自适应运动阈值和背景模型的更新。

最后，将三帧插法的检测结果d″′(x,y,i)与背景减法的检测结果p(x,y,i)做或运算，得到最终的运动区域s(x,y,i)。s(x,y,i)即为视频的当前帧中最终的运动区域。

在上述实施例的基础上，本实施例中获取每帧的火焰烟雾的最终运动区域中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果的步骤包括：获取每帧中所述最终运动区域的位置，将相邻两帧之间所述最终运动区域的位置进行对比，判断所述最终运动区域是否符合火焰烟雾的整体移动稳定性的特征；

具体地，火灾发生时，燃烧是一个持续的过程，非人为干扰下的燃烧过程不会突然消失。随着新的可燃物被点燃，火焰烟雾区域会发生整体移动且具有相对稳定性，即使火灾处于快速蔓延的时候，火焰烟雾也不会出现跳跃式的移动。因此，若视频中的运动区域出现跳跃式移动，可加以排除。

统计相邻两帧中所述最终运动区域的面积，将连续的相邻两帧中所述最终运动区域的面积进行对比，判断所述最终运动区域的面积是否符合火焰烟雾的面积随时间逐步变大的特征；

火灾发生过程中，随着新的可燃物被点燃，火焰烟雾的运动区域的面积也会逐渐增大。本实施例通过统计相邻两帧中火焰烟雾的运动区域的面积，再对面积的大小进行对比，判定火焰烟雾的运动区域面积是否随时间逐步变大。运动区域的面积大小通过统计该运动区域内所包含的像素点个数获取，算法步骤如下：

(1)首先，为二值图像s(x,y,i)中的每个像素点设置一个访问标记v(x,y)，并初始化所有像素点的v(x,y)＝0，设置一个空队列q和一个变量sum，该变量用来统计进入队列中的像素点个数，也即运动区域的像素点个数，初始化sum＝0，然后逐行扫描整个二值图像帧。

(2)当扫描到像素值为255的像素点p(x0,y0)时，令访问位v(x0,y0)＝1，表示该像素点已访问，并将像素点p(x0,y0)放入队列中，sum加1；

(3)将队列中的队尾元素取出，从该像素点的四邻域中取一个像素值为255的像素点，然后重复步骤(2)，若其四邻域内无像素值为255的像素点，则重复(3)；

(4)队列为空时，算法结束。sum的值即为运动区域的面积大小。

基于光流法获取所述最终运动区域的主运动方向，并判断所述主运动方向是否符合火焰烟雾由下向上运动的特征；

采用光流法确定最终运动区域的运动方向时，首先给最终运动区域的每个像素点赋予一个速度矢量，这样就形成了光流场。根据最终运动区域的运动，检测视频的变化，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间最终运动区域的运动方向。

若所述最终运动区域符合火焰烟雾的整体移动稳定性、面积随时间逐步变大和由下向上运动的特征，则获知所述最终运动区域为火焰烟雾区域。

在上述实施例的基础上，本实施例中获取每帧中所述最终运动区域的位置，将相邻两帧之间所述最终运动区域的位置进行对比，判断所述最终运动区域是否符合火焰烟雾的整体移动稳定性的特征的步骤包括：获取每帧中所述最终运动区域的中心点，以及位于所述最终运动区域的底部的像素点的正上方且距离所述底部的像素点为所述最终运动区域的高度的预设比例的目标像素点；

具体地，为了更加准确地描述运动物体的移动速度，本实施例通过运动区域的中心点，以及位于运动区域底部像素点正上方且距离底部为运动区域高度预设比例的目标像素点的相对移动速度作为判断运动区域整体移动的依据。例如，预设比例为1/3。首先，获取运动区域的中心点坐标(xk,yk)和目标像素点坐标(xk,yk)。设当前帧中第k个运动区域的大小为mk×nk，则该运动区域中的像素点坐标为(xk,yk)，则中心像素点坐标为：

同理，可求得位于运动区域底部像素点正上方且距离底部为运动区域高度预设比例的目标像素点坐标(xk,yk)。

计算相邻两帧中所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率；

用(xk(i),yk(i))和(xk(i+1),yk(i+1))分别表示相邻两帧二值化图中的运动区域，(xk(i),yk(i))和(xk(i+1),yk(i+1))分别表示相邻两帧二值化图中运动区域的中心点坐标，(xk(i),yk(i))和(xk(i+1),yk(i+1))分别表示相邻两帧二值化图中运动区域的目标像素点坐标。vkx(i)和vky(i)分别表示第i帧中第k个运动区域的中心点在水平方向和垂直方向的相对运动速率，则

若所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率均在预设范围内，则获知所述最终运动区域符合火焰烟雾的整体移动稳定性的特征。

上式中,vkx(i),vky(i)∈[p1,p2]。p1和p2为其上下限，且均为0到1之间的实数。同理，可得到目标像素点在水平方向和垂直方向的相对运动速率。如果运动区域中心点的相对运动速率和目标像素点的相对运动速率都在该上下限以内，则说明运动区域具有整体移动稳定性的特征，为火焰烟雾区域；否则，该运动区域被排除。

在上述各实施例的基础上，本实施例中获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域的步骤包括：基于火焰烟雾的颜色模型获取所述视频的每帧中的火焰烟雾疑似区域；基于lbp方法获取所述火焰烟雾疑似区域的纹理特征；根据所述纹理特征获取所述火焰烟雾疑似区域中的火焰烟雾目标区域，将所述火焰烟雾目标区域作为所述火焰烟雾的静态区域。

具体地，首先基于单独的颜色模型使用火焰烟雾的颜色特征来检测视频中每帧的火焰烟雾疑似区域。再对其纹理特征进行检测，以排除环境中与火焰烟雾颜色类似的图像区域，得到火焰烟雾区域，将使用静态特征检测出的火焰烟雾区域作为火焰烟雾的静态区域。

自然环境中的云雾等干扰物和烟雾难以根据颜色特征进行区分,它们之间的差异就是颜色的空间分布和组合的不同,这就是具有不同的纹理,因此进一步对火焰烟雾疑似区域提取纹理特征。本实施例采用lbp(localbinarypatterns，局部二值模式)方法提取火焰烟雾疑似区域的纹理特征。lbp方法是计算机视觉中一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。

为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，本实施例使用改进后的lbp算子，改进后的lbp算子将3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，允许在半径为r的圆形邻域内有任意多个像素点。本实施例采用改进后的lbp算子对火焰烟雾视频图像进行处理，得到火焰烟雾目标区域图像，然后将其送入深度学习模型进行检测。

在上述各实施例的基础上，本实施例中所述火焰烟雾的颜色模型为：

r≥g＞b；

r＞rt；

|r-g|<it；

|r-b|<it；

|g-b|<it；

其中，r为火焰烟雾的像素在rgb颜色空间中的红色通道的值，g为火焰烟雾的像素在rgb颜色空间中的绿色通道的值，火焰烟雾的像素在rgb颜色空间中的蓝色通道的值，rt、st和it为预设阈值，s为火焰烟雾的像素的饱和度。

具体地，为了找到火焰像素，第一个滤波器选择在hsi颜色空间中具有适当色调的像素。然后，为h不考虑红黄色范围之外0°到60°的任何像素。让所考虑像素的强度为红色通道r、绿色通道g和蓝色通道b。色彩过滤器恰好对应到rgb区域，其中r≥g，g＞b。滤波器的结果是对于所有选定像素而言，在rgb颜色空间中r≥g＞b。

为了防止选择低亮度和低饱和度的红色像素，进一步滤除低红色和低饱和度的像素。对于红色级别，应用一个简单的阈值，即r＞rt。其中r是像素的红色等级，rt是通过校准训练视频确定的红色等级的经验阈值。对于饱和度，应用稍微复杂的规则。最后一步过滤掉任何低于阈值it的火焰像素强度。阈值it可由otsu算法确定。通过火焰烟雾的颜色模型可得出火焰烟雾的颜色特征。

在本发明的另一个实施例中提供一种火焰烟雾检测装置，该装置用于实现前述各实施例中的方法。因此，在前述火焰烟雾检测方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图4为本发明实施例提供的火焰烟雾检测装置整体结构示意图，该装置包括动态检测模块401、静态检测模块402和融合检测模块403；其中：

动态检测模块401用于获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；

动态特征为火焰烟雾在相邻帧中表现出来的动态的特征。动态检测模块401在进行火焰烟雾的动态特征检测时，分析火焰烟雾在相邻帧中表现出来的动态特征是否符合火焰烟雾的实际动态特征，从而得出每帧中火焰烟雾的动态检测结果。火焰烟雾的实际动态特征包括火焰烟雾区域整体移动的相对稳定性、火焰烟雾区域的面积随着时间逐步增长的特性以及火焰烟雾区域的主要运动方向为由下向上。

静态检测模块402用于获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；其中，所述深度学习模型根据火焰烟雾的图像样本和所述图像样本中火焰烟雾的静态检测结果进行训练获取；

火焰烟雾的静态特征主要是火焰烟雾的颜色、纹理等外表特征。火焰的颜色通常在红黄色或红色范围内，而至少在火灾开始时，烟雾的颜色从蓝白色到白色不等，由于自然环境中的云雾等物体颜色与烟雾颜色相近，且火焰烟雾的静态特征存在复杂性高，可辨识度差等特点，单纯依靠颜色来检测火焰烟雾并不可行，而纹理特征不依赖于图像颜色或亮度的变化,能够反映图像的同质现象。因此，静态检测模块402可以采用颜色和纹理特征作为火焰烟雾检测的静态特征，并对其进行检测，能够取得较好的效果。但是最终判定是否发生火灾，还得综合火焰烟雾动态特征的检测结果。

静态检测模块402将使用静态特征检测出的静态区域输入到深度学习模型中进行检测。深度学习模型为卷积神经网络，卷积神经网络包括卷积层、池化层和全连接层。其中，卷积层负责提取图像中的局部特征，池化层用来大幅降低参数量级，全连接层类似传统神经网络的部分，用来输出结果。卷积层和池化层中，每一层的节点和上一层的部分节点相连，全连接层中的所有节点和上一层中的所有节点均有连接，经过全连接层后即可得到输出。

融合检测模块403用于根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

由于火焰烟雾的动态特征与静态特征是采用异步线程分离检测的，两个线程的执行过程互不干扰。利用深度学习的方法只检测火焰烟雾的静态特征，而火焰烟雾动态特征的检测可与火焰烟雾静态特征检测同步进行，或在静态特征检测之前进行检测。融合检测模块403采用第三个总体检测线对取视频图像序列中每间隔预设帧图像做一次动、静态检测结果的融合判断。

本实施例通过采用两个异步线程实现对火焰烟雾静态特征和动态特征的分离检测，然后再在各个时间点采用第三个总体检测线程对动态检测结果和静态检测结果做综合判断，得到最终的火焰烟雾检测结果，大大缩短火焰烟雾的检测时间，满足了火焰烟雾检测实时性的要求，而且检测的准确度也更高。

在上述实施例的基础上，本实施例中还包括获取模块，用于基于三帧插法检测出所述视频的每帧中火焰烟雾的运动区域；基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域；将每帧中所述三帧插法和所述背景减法检测出的运动区域进行或运算，获取每帧中火焰烟雾的最终运动区域；相应地，动态监测模块具体用于：获取每帧的火焰烟雾的最终运动区域中火焰烟雾的动态特征。

在上述实施例的基础上，本实施例中获取模块用于计算所述视频的当前帧与紧邻所述当前帧的前一帧之间的差分图像，以及紧邻所述当前帧的后一帧与所述当前帧之间的差分图像；对两个所述差分图像进行与操作；对与操作的结果进行二值化处理，对二值化处理的结果进行形态学处理，获取当前帧中所述三帧插法检测出的火焰烟雾的运动区域。

在上述实施例的基础上，本实施例中获取模块通过以下公式基于背景减法检测出所述视频的每帧中火焰烟雾的运动区域：

其中，p(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素做背景减运算的结果，b(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的背景强度，b(x,y,i+1)所述视频的第i+1帧中坐标为(x,y)的像素的背景强度，t(x,y,i)为所述视频的第i帧中坐标为(x,y)的像素的运动阈值，f(x,y,i)所述视频的第i帧中坐标为(x,y)的像素值，λ为调节参数。

在上述实施例的基础上，本实施例中动态检测模块具体用于：获取每帧中所述最终运动区域的位置，将相邻两帧之间所述最终运动区域的位置进行对比，判断所述最终运动区域是否符合火焰烟雾的整体移动稳定性的特征；统计相邻两帧中所述最终运动区域的面积，将连续的相邻两帧中所述最终运动区域的面积进行对比，判断所述最终运动区域的面积是否符合火焰烟雾的面积随时间逐步变大的特征；基于光流法获取所述最终运动区域的主运动方向，并判断所述主运动方向是否符合火焰烟雾由下向上运动的特征；若所述最终运动区域符合火焰烟雾的整体移动稳定性、面积随时间逐步变大和由下向上运动的特征，则获知最终运动区域为火焰烟雾区域，否则不是火焰烟雾区域。

在上述实施例的基础上，本实施例中动态检测模块用于:获取每帧中所述最终运动区域的中心点，以及位于所述最终运动区域的底部的像素点的正上方且距离所述底部的像素点为所述最终运动区域的高度的预设比例的目标像素点；计算相邻两帧中所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率；若所述中心点在水平方向和垂直方向的相对运动速率，以及所述目标像素点在在水平方向和垂直方向的相对运动速率均在预设范围内，则获知所述最终运动区域符合火焰烟雾的整体移动稳定性的特征。

在上述各实施例的基础上，本实施例中静态检测模块用于:基于火焰烟雾的颜色模型获取所述视频的每帧中的火焰烟雾疑似区域；基于lbp方法获取所述火焰烟雾疑似区域的纹理特征；根据所述纹理特征获取所述火焰烟雾疑似区域中的火焰烟雾目标区域，将所述火焰烟雾目标区域作为所述火焰烟雾的静态区域。

在上述实施例的基础上，本实施例中所述火焰烟雾的颜色模型为：

r≥g＞b；

r＞rt；

|r-g|<it；

|r-b|<it；

|g-b|<it；

其中，r为火焰烟雾的像素在rgb颜色空间中的红色通道的值，g为火焰烟雾的像素在rgb颜色空间中的绿色通道的值，火焰烟雾的像素在rgb颜色空间中的蓝色通道的值，rt、st和it为预设阈值，s为火焰烟雾的像素的饱和度。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communicationsinterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取视频的每帧中火焰烟雾的动态特征，根据获取的每帧中的动态特征获取每帧中火焰烟雾的动态检测结果；获取所述视频的每帧中火焰烟雾的静态特征，根据每帧中火焰烟雾的静态特征确定每帧中火焰烟雾的静态区域，将所述静态区域输入到深度学习模型中，输出每帧中火焰烟雾的静态检测结果；根据每帧中火焰烟雾的动态检测结果和静态检测结果，确定所述火焰烟雾的最终检测结果。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。