一种基于视频分析的烟火检测方法及装置与流程

本发明属于智能火灾监控技术领域，具体涉及一种基于视频分析的烟火检测方法及装置。

背景技术：

火灾检测系统在很多领域都有很重要的应用，比如森林、仓库、油田、农场防火等。传统的烟火检测装置主要是应用一些传感器，通过检测热气流、烟雾固体悬浮颗粒等来检测烟火，这些检测装置需要与火源近距离的接触，无法满足森林、农场等开阔场景的需求。另外，在火灾燃烧的初期，通常会有烟雾释放，因此为了尽早的进行火灾预警，烟雾检测也很重要。鉴于以上所述，基于视频的烟火检测方法被提出。

目前的基于视频的烟火的检测方法主要有：利用火焰和烟雾的颜色特征进行检测，包括在RGB色彩空间中火焰的R分量的值要大于G和B分量的值并且R的值要大于特定阈值，烟雾主要呈现深灰色或者浅灰色，在HSV空间中，火焰的饱和度要大于特定阈值。申请号为CN201510141324.1的中国专利公开了一种通过对疑似烟雾区域的特征统计，利用预先设置的特征统计决策判断是否为烟雾，这些特征包括邻帧相似特征、空间相似特征、梯度密度特征以及颜色模型特征。申请号为CN201210273296.5的中国专利公开了一种基于边缘检测算子的火灾图像探测系统，对图像进行增强、滤波后经灰度拉伸提高图像的对比度后，利用边缘检测算子对单帧图像进行边缘检测，根据检测后的数据计算火焰特征参数。申请号为CN201110191805.5的中国专利公开了一种利用递归背景估计算法提取运动区域，然后根据混合高斯颜色模型提取火焰颜色特征，根据视频序列降采样提取时域特征，根据小波变换提取频域特征后判断是否符合火焰特征。申请号为201010276036. 4的中国专利通过提取前景的边缘然后判断边缘形状是否存在尖角来获取火焰的尖角特征，通过前景像素的亮度变化次数来获取火焰的闪烁特征，然后结合颜色特征、帧序列的图像相关性以及利用小波分解的方法进行图像高频能量检测来判断视频中是否存在火焰，通过周长的平方与面积的比值得到的烟雾的不规则特征、通过前景面积的不断增大来获得烟雾的扩散性特征，然后结合颜色特征、边缘能量减少特征、色彩饱和度特征判断视频图像中是否存在烟雾。

目前，现有技术存在以下缺陷：

（1）易漏报

现有技术中根据火焰的形态特征，比如根据圆形度、尖角特征判断是否为火焰，根据扩散性、向上运动、背景模糊等特征判断是否为烟雾的方法容易引起漏报，因为火焰和烟雾的大小形状是非常不固定的，变化大多数并不连续，很容易受到风吹和光照的影响，有时很难满足以上特征。

（2）易误报

现有技术中单独利用颜色特征结合少量的外形特征或者运动特征来判断是否存在烟火的方法，对运动外形不规则的情况，如人、树叶、阴影等非刚性物体活动，容易产生过敏误报。

（3）运算量大，硬件实现困难

现有技术中基于主运动方向积累检测烟火的方法容易引起较大的内存消耗，利用小波变换的频域特征检测烟火的方法需要较高的运算精度，硬件实现有局限性。

技术实现要素：

为弥补现有技术的不足，本发明提供一种基于视频分析的烟火检测方法及装置，通过对实时视频中的火焰和烟雾的静态特征和动态特征分析来检测烟火并进行告警。

本发明是通过如下技术方案实现的：

一种基于视频分析的烟火检测方法，其特殊之处在于：

包括以下步骤：

（1）视频图像数据采集

输入的原始视频数据可以是摄像机实时采集的视频，也可以是已保存好的视频文件；

（2）视频图像预处理

对输入的图像进行缩放、色彩空间转换预处理；

（3）前景目标提取

对视频帧序列进行背景建模后提取运动目标，根据混合高斯背景建模、背景统计模型、码本背景模型及背景差分法中的一种或几种方法相结合的方式进行背景建模后提取运动目标；

（4）火焰静态特征检测

所述火焰静态特征为火焰的颜色、亮度、饱和度特征，通过识别运动前景区域中的每个像素是否符合所述静态特征，得到每帧图像运动区域中的疑似火焰区域；

（5）火焰动态特征检测

所述火焰动态特征包括火焰形状变化特征、火焰面积变化特征和火焰亮度变化特征；

火焰形状变化特征：通过计算运动前景区域的周长与面积之比得到运动目标的形状特征p_la，然后计算连续两帧运动前景的形状变化特征c_pla；

火焰面积变化特征：通过计算相隔N帧图像的疑似火焰区域面积变化量得到火焰面积变化特征；

火焰亮度变化特征：通过计算的疑似火焰区域的亮度图，统计特定时间区间内连续N帧亮度图像中的相同位置的像素变化值大于设定阈值的像素个数；

（6）火焰报警决策

根据步骤（4）和步骤（5）所述的火焰静态特征和动态特征是否在事先设定好的阈值范围内判断是否触发火焰报警；

（7）烟雾静态特征检测

所述烟雾静态特征包括烟雾形状特征、烟雾颜色特征和烟雾占比特征；

烟雾形状特征：通过计算运动前景区域的周长与面积之比得到运动目标的形状特征p_la；

烟雾颜色特征：通过识别运动前景区域中的每个像素颜色是否符合烟雾颜色特征，得到每帧图像运动区域中的疑似烟雾区域；

烟雾占比特征：通过计算每帧图像中疑似烟雾区域的面积占整个运动前景面积的比值，得到每帧图像的烟雾占比特征；

（8）烟雾动态特征检测

所述烟雾动态特征包括烟雾形状变化特征、烟雾亮度变化特征、烟雾面积变化特征和烟雾发烟点固定特征；

烟雾形状变化特征：通过计算运动前景区域的周长与面积之比得到运动目标的形状特征p_la，然后计算连续两帧图像运动前景的形状变化特征c_pla；

烟雾亮度变化特征：通过计算疑似烟雾区域的亮度图，统计特定时间区间内连续N帧亮度图像中的相同位置的像素变化值大于设定阈值的像素个数；

烟雾面积变化特征：通过计算相隔N帧图像的疑似烟雾区域面积变化量得到烟雾面积变化特征；

烟雾发烟点固定特征：通过计算当前帧疑似烟雾前景图像与相隔K帧的两帧图像中相同位置同时存在疑似烟雾前景的面积占当前帧疑似烟雾前景面积的比值得到发烟点固定性特征；

（9）烟雾报警决策

根据步骤（7）和步骤（8）所述的烟雾静态特征和动态特征是否在事先设定好的阈值范围内判断是否触发烟雾报警。

本发明的一种基于视频分析的烟火检测方法，步骤（1）中输入的视频图像是RGB、YUV等色彩空间表示的彩色视频帧序列。

本发明的一种基于视频分析的烟火检测方法，步骤（5）中所述运动前景区域的周长指前景连通区域的边缘像素个数，所述运动前景区域的面积是指前景连通区域内的像素个数；所述形状变化特征c_pla为连续两帧图像的形状特征p_la差的绝对值；步骤（5）中所述疑似火焰面积变化量为两帧图像的疑似火焰面积变化值与其中面积较大的一帧的面积比值，面积变化值为两帧图像疑似火焰的面积之差的绝对值。

本发明的一种基于视频分析的烟火检测方法，步骤（7）中所述运动前景区域周长指前景连通区域的边界的像素个数，所述运动前景区域的面积是指前景连通区域内的像素个数；步骤（7）中所述疑似烟雾区域的面积是指疑似烟雾连通区域内的像素个数。

作为优选方案，本发明的一种基于视频分析的烟火检测方法，步骤（8）中所述烟雾动态特征还包括烟雾主运动方向特征。

进一步的，本发明的一种基于视频分析的烟火检测方法，所述主运动方向特征检测包括以下步骤：在疑似烟雾区域的亮度图中计算特征点，特征点包含但不限于Harris角点、FAST角点、SIFT特征点、SURF特征点，对检测出的特征点在后续的图像中进行跟踪，跟踪算法包含但不限于光流法、三步搜索法，根据跟踪结果判断疑似烟雾的运动方向，把特征点的运动方向分为M个区间，找出在特定时间区间内特征点分最多的方向区间（主运动方向区间）及该区间中特征点个数，通过计算分布在主运动方向区间的特征点与总的特征点数目的比值得到烟雾主运动方向特征。

本发明的一种基于视频分析的烟火检测方法，步骤（8）中所述形状变化特征c_pla为连续两帧图像形状特征p_la差的绝对值；步骤（8）中所述疑似烟雾面积变化特征为两帧图像的疑似烟雾面积之差的绝对值与其中面积较大的一帧的面积比值。

用于实现一种基于视频分析的烟火检测方法的装置，包括视频数据采集设备、视频数据分析设备、智能网络接收设备，所述视频数据采集设备为摄像机；所述视频数据分析设备包括摄像机、NVR、PC中的一种或几种，视频数据分析设备内依次连接设有前景目标提取模块、火焰静态特征检测模块、火焰动态特征检测模块、火焰报警决策模块、烟雾静态特征检测模块、烟雾动态特征检测模块、烟雾报警决策模块、烟火报警联动决策模块；所述智能网络接收设备包括视频画面处理器、矩阵切换主机、报警器。

进一步的，用于实现一种基于视频分析的烟火检测方法的装置，所述前景提取模块采用混合高斯背景建模、背景统计模型、码本背景模型及背景差分法中的一种或几种背景建模方法相结合的方式；所述火焰动态特征检测模块采用火焰亮度及形状持续变化的属性；所述烟雾静态特征检测模块加入了烟雾占比特征；所述烟雾动态特征检测模块采用了烟雾的形状变化属性、面积变化属性、亮度变化属性、发烟点固定属性及主运动方向一致性属性中的全部或多种特征相结合的方式。

本发明的有益效果是：

（1）本发明报警准确率高，由于火焰和烟雾的形态多变性特征，本发明结合火焰和烟雾的多种特征且报警决策机制为统计在一定时间区间内同时满足多种特征的次数大于设定阈值时触发报警。多种特征融合的方法可以有效地减少非刚性运动物体引起的误报，在特定时间区间内同时满足以上特征的次数限制是一个区间，要求并不那么严格，覆盖范围广，可有效减少漏报，相比于单独依靠一种或两种特征并且严格控制阈值的方法判断视频画面中是否存在烟火的方法稳定性要好；

（2）本发明前景目标检测采用多种背景建模方法相结合的方式，可同时检测出相对透明的烟雾和运动较慢的烟雾，避免小面积的薄烟和慢烟漏报；

（3）本发明采用火焰和烟雾多种特征相结合的方式检测烟火，特别是火焰和烟雾的形状变化特征、烟雾的占比特征、发烟点固定特征、烟雾的主运动方向特征等，可以有效地减少漏报和误报，提高烟火检测的准确性；

（4）本发明通过跟踪的方式统计特定时间段内连续多帧图像运动目标的主运动方向，根据主运动方向特征检测烟雾，可有效地排除类似烟雾的非刚性运动物体引起的误报；

（5）本发明方法操作简单且对设备要求低，运算复杂度低且不会产生较大的内存消耗，易于硬件实现。

附图说明

附图1是本发明的基于视频分析的烟火检测方法的流程示意图。

附图2是本发明的用于实现基于视频分析的烟火检测方法的装置的结构示意图。

具体实施方式

为了更清楚的阐述本发明的技术的目的、实现流程和优点，下面结合附图对本发明的实施方式进行进一步的详细阐述，列举出的实施例仅是本申请的一部分实施方式，而不是所有实施方式穷举，并且在不冲突的情况下，本发明中的实施方式中特征可以相互结合。

实施例1

一种基于视频分析的烟火检测方法，该方法可读取摄像机实时采集的视频或者已保存的视频文件，提取火焰和烟雾的特征后分析监控场景中是否存在火灾，并依据分析结果判断是否触发烟火报警，如附图1所示，该实施例包括如下步骤：

S111、输入待检测的视频数据，假定传入的视频数据是YUV格式的，进行降采样后帧率为10fps；

S112、对输入的视频数据预处理；

具体地，分别把原始视频进行缩放处理后的每一帧图像转化到RGB空间的彩色图像color_image和灰度图像gray_image，用于后续处理。

S113、对预处理后的视频图像进行背景建模，得到运动目标前景图像fg_image；

具体地，对预处理后的视频图像进行背景建模处理得到前景图像。包括：1）对预处理后的灰度图进行混合高斯背景建模，得到混合高斯前景图像，在本实施例中，混合高斯模型选择3个，学习速率设置为0.001；2）前景图像去噪，对前景目标区域进行连通区域检测，删除面积小于5的连通区域。

S121、判断运动前景区域中的每个像素是否符合火焰的静态特征得到疑似火焰区域；

尽管火焰的颜色会因为燃烧物的不同等因素而呈现出不同的分布，但火焰开始燃烧通常是由红色逐渐变为黄色的，即火焰的颜色变化区间为“红—黄”，因此在火焰颜色信息的判断中，是否满足R＞G＞B是一个很重要的依据；另外，在火焰的颜色中，红色R分量是最主要的一个部分，需要大于一定阈值；并且火焰是一个光源，需要满足一定的亮度条件；背景的亮度变化会影响火焰区域的饱和度，为了避免受到背景亮度的影响，提取出的疑似火焰区域的饱和度需要超过某个特定的阈值。

具体地，计算预处理得到的RGB彩色图像对应于运动前景图像中相同位置的每一个像素的RGB值是否符合火焰的静态特征，计算规则如下：

假设

规则一：为前景区域中的像素

规则二：

规则三：

规则四：

规则五：

式中，为像素在图像中的横纵坐标值，为像素点的三分量的最小值,，为三分量的和，规则四中，，规则五中，为像素点的亮度值，如果同时满足以上五个规则时，则认为为疑似火焰点，否则为非火焰点，式中分量的阈值一般为110~125，本实施例设置为120，饱和度的阈值一般为55~75，本实施例设置为75，亮度阈值设置为80。

在这一过程中，若为被判定为疑火焰像素点，把疑似火焰前景图像fg_add_fire_image对应位置的像素值置为255，否则全部置为0。

S122、通过计算连续帧前景图像连通区域的周长面积之比的变化获得火焰的形状变化特征；

具体地，若一帧图像中疑似火焰区域的像素个数超过10个，则计算当前帧去噪后的前景图像中所有连通区域的周长面积之比p_la，所述连通区域的周长为前景图像中所有连通区域边缘像素个数的总和，所述连通区域的面积为所有连通区域内像素个数的总和；然后计算连续两帧图像的形状变化特征c_pla，c_pla=abs(p_la-pre_p_la)，式中pre_p_la为上一帧运动前景的周长与面积之比，若满足条件：c_pla < 0.05 或者p_la>0.8&&c_pla < 0.1，则判定连续两帧图像的形状特征是稳定的，统计一个检测单元中形状特征稳定的帧数state_count_pla_num_f，本实施例检测单元设置为1s。

S123、计算火焰的面积变化特征；

具体地，1）保存连续5帧图像的疑似火焰区域的面积（像素个数），计算相隔4帧图像的疑似火焰面积的变化值fire_area_change；2）计算面积变化值fire_area_change与两帧中较大面积的比值p_area，若p_area在区间[0.02,5]内，则判定符合火焰面积变化特征；3）统计1s内符合火焰面积变化特征的帧数count_fire_area_num_f。

S124、计算火焰的亮度变化特征；

具体地，1）把疑似火焰图像fg_add_fire_image与灰度图像gray_image做“与”操作，得到火焰灰度掩膜图像fire_i（火焰亮度图）；2）对连续两帧亮度图像求帧差获得亮度差值图像diff_fire_i；3）把diff_fire_i二值化，在本实施例中，二值化阈值设置为30，大于设定阈值的像素值置为1，小于阈值的像素值置为0；4）把1s内所有二值化后亮度差值图像进行累加，获得亮度差值累积图像fire_i_sum；5）统计亮度差值累积图像fire_i_sum中像素值为10的个数fire_sum_i_num。

S125、火焰报警决策机制；

具体地，假设视频帧率为10fps，1s（一个检测单元）判断一次，若同时满足以下三个条件时，则触发火焰报警：

条件一：形状特征稳定的帧数state_count_pla_num_f小于3帧；

条件二：亮度累积图像中像素值为10的数目fire_sum_i_num大于5；

条件三：符合面积变化特征的帧数count_fire_area_num_f大于8。

火焰报警解除：

当符合火焰静态特征的疑似火焰区域消失时（疑似火焰像素个数小于10），火焰报警解除。

S131、判断运动前景区域中的每个像素是否符合烟雾的颜色特征得到疑似烟雾区域；

不同的燃烧物产生的烟雾的颜色也不一样，大多数情况下的烟雾是灰色的，有时也会出现青烟，灰色的烟分为深灰色和浅灰色，在色彩空间中就意味着、、三个分量的值都是接近的。也就是说，这些灰色调在颜色空间中可以用（亮度）来描述，浅灰色和深灰色区域的范围分别用灰度级到到表示，而对于青烟，它的蓝色分量的值往往大于其它两个分量的值。

具体地，计算预处理得到的RGB彩色图像中对应前景图像中相同位置的每一个像素的RGB值是否符合烟雾的颜色特征，计算规则如下：

假设

规则一：为前景像素

规则二：

规则三：

规则四：

式中，为像素在图像中的横纵坐标值，为像素点的三分量的最大值，为像素点三分量的最小值，的亮度值。如果像素点为前景像素点，同时满足规则二和规则三或者同时满足规则三和规则四时，则认为为疑似烟雾点，否则为非烟雾点，式中的典型取值范围一般为15~20，的取值略高于，本实施例中取，，深灰色和浅灰色烟雾状点的像素值取值范围分别为、，本实施例中取L=80，D=220。

在这一过程中，若为疑似烟雾像素点，把疑似烟雾前景图像fg_add_smoke_image对应位置的像素值置为255，否则全部置为0。

S132、计算烟雾的占比特征；

具体地，计算疑似烟雾前景图像fg_add_smoke_image中的非零像素个数与运动前景图像fg_image中的非零像素个数的比值p_sf，统计1s内p_sf大于0.35的帧数count_psb_num_f。

S133、计算烟雾的形状特征；

具体地，若一帧图像中疑似烟雾区域的像素个数超过10个，则计算当前帧前景图像中所有连通区域的的周长面积之比p_la，若p_la大于0.3，则符合烟雾的形状特征，所述连通区域的周长为前景图像fg_image中所有连通区域边缘像素个数的总和，所述连通区域的面积为所有连通区域内像素个数的总和；统计1s内符合烟雾形状特征的帧数count_pla_num_f。

S134、烟雾的形状变化特征；

具体地，在上一步骤中得到了烟雾的形状特征p_la，在此基础上，计算连续两帧图像的形状变化特征c_pla，c_pla=abs(p_la-pre_p_la)，式中pre_p_la为上一帧运动前景的周长与面积之比，若满足条件：c_pla < 0.05 或者p_la>0.8&&c_pla<0.1，则判定连续两帧图像的前景的形状特征是稳定的，统计1s内形状特征稳定的帧数state_count_pla_num_f。

S135、烟雾面积变化特征；

具体地，1）保存连续5帧图像的疑似烟雾区域的面积（像素个数），计算相隔4帧图像的疑似烟雾面积的变化值smoke_area_change；2）计算疑似烟雾面积变化值smoke_area_change与两帧中较大面积的比值p_area，若p_area在区间[0.1,0.7]内，则判定符合烟雾面积变化特征；3）统计1s内符合烟雾面积变化特征的帧数count_smoke_area_num_f。

S136、烟雾的亮度变化特征；

具体地，1）把获得的疑似烟雾图像fg_add_smoke_image与灰度图像gray_image做“与”操作，得到烟雾灰度掩膜图像smoke_i（烟雾亮度图）；2 ）对连续两帧亮度图像求帧差得到亮度差值图像diff_smoke_i；3）把diff_smoke_i二值化，在本实施例中，二值化阈值设置为15，大于设定阈值的像素值置为1，小于阈值的像素置为0；4）把1s内所有二值化后的亮度差值图像进行累加，获得亮度差值累积图像smoke_i_sum；5）统计亮度差值累积图像smoke_i_sum中像素值大于7的个数smoke_sum_i_num。

S137、发烟点固定特征；

具体地，统计相隔1s的两帧疑似烟雾图像fg_add_smoke_image相同位置共同存在疑似烟雾前景的像素个数count_pp_and_image，计算count_pp_and_image与当前帧疑似烟雾像素个数的比值p_and_pixel，若p_and_pixel大于0.25，则符合发烟点固定特征。

S138、烟雾报警决策；

具体地，假设视频帧率为10fps，把烟雾的检测周期设定为5s，每个检测单元（1s）需要满足的条件：

条件一：1s内烟雾亮度累积图像中符合条件的像素个数大于5；

条件二：1s内满足烟雾面积变化特征的帧数比例大于0.6；

条件三：1s内满足烟雾形状特征的帧数比例大于0.6；

条件四：1s内满足烟雾形状变化特征的帧数比例大于0.7；

条件五：1s内满足烟雾占比特征的帧数比例大于0.7；

条件六：相隔1s的疑似烟雾图像中共同存在前景的像素个数与当前帧疑似烟雾前景像素个数的比值大于0.25。

在一个检测周期（5s）内，分别统计满足以上每个条件的单元个数，若满足上述每个条件的单元数大于设定阈值，则把对应条件的标志位置1，在本实施例中取，当每个判断条件的标志位都为1时，则判定视频中有烟雾存在，触发烟雾报警。

烟雾报警解除：

当连续1s的时间内画面中都没有具有烟雾颜色的前景存在时，烟雾报警解除。

实施例2

本实施例在实施例1的基础上增加了烟雾主运动方向特征检测，附图1中步骤S238，烟雾在燃烧形成的热气流下，运动方向较为一致且相对缓慢和稳定，利用特征点跟踪算法可以获得疑似烟雾运动的平均偏移量和相位（方向）信息，以区别其它运动物体的干扰。主运动方向特征检测包括以下步骤：

烟雾主运动方向特征判断条件：

条件一：一个检测周期（5s）内，主运动方向相同（在同一个方向区间）的单元数目；

条件二：主运动方向向上时，一个检测周期（5s）内，满足。

满足以上两个条件中的任何一个时，把烟雾主运动方向特征标志位置1，每两个检测周期（10s)清零一次。

烟雾报警决策：

当同时满足实施例1中所提烟雾报警判定条件和烟雾主运动方向特征时触发烟雾报警，报警解除方式同实施例1。

实施例3

本实施例在实施例1的基础上做了以下改进：

在实施例1的步骤S113背景建模获取运动前景的过程中增加了帧差求前景的方式，做法如下：

具体地，对预处理后的每一帧图像进行背景建模后获取前景图像包括：1）对预处理后的灰度图进行混合高斯背景建模，混合高斯模型可选择3~5个，在本实施例中选择5个，得到混合高斯前景图像；2）对当前帧灰度图与上一帧灰度图做帧差后得到帧差图像，把帧差图像二值化处理，二值化阈值可以取5~10之间的数，在本实施例中取8，得到帧差前景图像；3）把高斯前景图像和帧差前景图像做“或”操作后的图像作为最终的前景图像fg_image；4）前景图像去噪，对fg_image进行连通区域检测，删除面积小于5的连通区域。

其余步骤同实施例1。

采用帧差法和混合高斯背景建模法相结合的方式求前景的目的是：结合两者的优点，利用混合高斯背景建模的方法对浓度较低的烟或者远景慢烟通常检测不出，而帧差求前景的方法检测出的前景通常是不完整的，利用两者相结合的方式可以有效地解决该问题，得到比较完整的运动前景，减少漏报。

具体地，实施例2中的烟雾主运动方向特征与实施例3中混合高斯背景建模法结合帧差法求前景的方式可不同时出现在同一个工作流程中，例如实施例1与实施例2中的技术方案相结合，或者实施例1与实施例3的技术方案相结合，或者实施例1与实施例2以及实施例3中的技术方案相结合。

实施例4

一种基于视频分析的烟火检测方法，包括以下步骤：

S411、输入待检测的视频数据，假定传入的视频数据是YUV格式的，进行降采样后帧率10fps；

S412、对输入的视频数据预处理；

具体地，分别把原始视频缩放后的每一帧转化为RGB空间的彩色图color_image和灰度图gray_image，用于后续处理；

S413、对预处理后的每一帧图像进行背景建模，得到运动目标前景图像；

具体地，所述对预处理后的每一帧图像进行背景建模后获取前景图像包括：1）对预处理后的灰度图进行混合高斯背景建模，在本实施例中，混合高斯模型选择5个，得到混合高斯前景图像fg_image；2）前景图像去噪，对fg_image进行连通区域检测，删除面积小于10的连通区域。

S421、判断运动前景区域中的每个像素是否符合火焰的静态特征得到疑似火焰区域；

该过程的具体实施方式同实施例1；

S422、通过计算连续帧前景图像连通区域的周长与面积之比的变化获得火焰的形状变化特征；

具体地，若一帧图像中疑似火焰区域的像素个数超过10个，则计算当前帧前景图像中所有连通区域的的周长面积之比p_la，所述连通区域的周长为前景图像中所有连通区域边缘像素个数的总和，所述连通区域的面积为所有连通区域内像素个数的总和；然后计算连续两帧图像的形状变化特征c_pla，c_pla=abs(p_la-pre_p_la)，式中pre_p_la为上一帧运动前景的周长面积之比，若满足条件：c_pla < 0.03 或者p_la>0.8&&c_pla < 0.07，则判定连续两帧图像的形状特征是稳定的，统计一个检测单元内形状特征稳定的帧数state_count_pla_num_f，本实施例检测单元设置为1s。

S423、计算火焰的面积变化特征；

该过程的具体实施方式同实施例1；

S424、计算火焰的亮度变化特征；

具体地，1）把获得的疑似火焰图像fg_add_fire_image与灰度图像gray_image做“与”操作，得到火焰灰度掩膜图像fire_i（火焰亮度图）；2）对连续两帧亮度图像做帧差获得亮度差值图像diff_fire_i；3）把diff_fire_i二值化，在本实施例中，二值化阈值设置为12，大于设定阈值的像素值置为1，小于阈值的像素置为0；4）把1s内所有二值化后的亮度差值图像进行累加，获得亮度差值累积图像fire_i_sum；5）统计亮度差值累积图像fire_i_sum中像素值为大于7的个数fire_sum_i_num。

S425、火焰报警决策机制；

具体地，假设视频帧率为10fps，1s判断一次，若同时满足以下三个条件时，则触发火焰报警：

条件一：形状特征稳定的帧数state_count_pla_num_f小于3帧；

条件二：亮度累积图像中像素值大于7的数目fire_sum_i_num大于3；

条件三：符合面积变化特征的帧数count_fire_area_num_f大于6。

火焰报警的解除方式同实施例1。

S431、判断运动前景区域中的每个像素是否符合烟雾的颜色特征得到疑似烟雾区域；

该过程的具体实施方式同实施例1；

S432、计算烟雾的占比特征；

具体地，计算疑似烟雾前景fg_add_smoke_image的像素个数与前景图像fg_image的像素个数的比值p_sf，统计1s内p_sf大于0.3的帧数count_psb_num_f；

S433、计算烟雾的形状特征；

具体地，若一帧图像中疑似烟雾区域的像素个数超过10个，则计算当前帧前景图像中所有连通区域的的周长面积之比p_la，若p_la大于0.25，则符合烟雾的形状特征，所述连通区域的周长为前景图像中所有连通区域边缘像素的总和，所述连通区域的面积为所有连通区域内像素个数的总和；统计在1s内符合烟雾形状特征的帧数count_pla_num_f；

S434、烟雾的形状变化特征

具体地，在上一步骤中得到了烟雾的形状特征，在此基础上，计算连续两帧图像的形状变化特征c_pla，c_pla=abs(p_la-pre_p_la)，式中pre_p_la为上一帧运动前景的周长面积之比，若满足条件：c_pla < 0.03 或者p_la>0.8&&c_pla<0.05，则判定连续两帧图像的形状特征是稳定的，统计1s内形状特征稳定的帧数state_count_pla_num_f。

S435、烟雾面积变化特征

该过程的具体实施方式同实施例1；

S436、烟雾的亮度变化特征

具体地，1）把获得的疑似烟雾图像fg_add_smoke_image与灰度图像做“与”操作，得到烟雾灰度掩膜图像smoke_i（烟雾亮度图）；2）计算连续两帧亮度图的差值图像diff_smoke_i；3）把diff_smoke_i二值化，在本实施例中，二值化阈值设置为12，大于设定阈值的像素值置为1，小于阈值的像素置为0；3）把1s内的二值化后的所有亮度差值图像进行累加，获得亮度差值累积图像smoke_i_sum；4）统计亮度差值累积图像smoke_i_sum中像素值大于6的数目smoke_sum_i_num；

S437、发烟点固定特征

具体地，统计相隔1秒的两帧疑似烟雾图像fg_add_smoke_image相同位置同时存在前景的像素个数count_pp_and_image；计算count_pp_and_image与当前帧像素个数的比值p_and_pixel，若p_and_pixel大于0.15，则符合发烟点固定特征。

S438、烟雾报警决策

具体地，把烟雾的检测周期设定为10s，每个检测单元（1s）需要满足的条件：

条件一：1s内烟雾亮度累积图像中符合条件的像素个数大于3；

条件二：1s内满足烟雾面积变化特征的帧数比例大于0.6;

条件三：1s内满足烟雾形状特征的帧数比例大于0.7；

条件四：1s内满足烟雾形状变化特征的帧数比例大于0.7；

条件五：1s内满足烟雾占比特征的帧数比例大于0.8；

条件六：相隔1s的疑似烟雾图像共同存在前景的像素个数与当前帧疑似烟雾前景像素个数的比值大于0.15。

在一个检测周期（10s）内，分别统计满足以上每个条件的单元数，若满足上述每个条件的单元数大于设定阈值，则把对应条件的标志位置1，在本实施例中取，当每个判断条件的标志位都为1时，则判定视频中有烟雾存在，触发烟雾报警。

烟雾报警解除方式同实施例1。

具体地，实施例4与实施例1是并列关系，不可同时发生在同一工作流程中，但可以和实施例2或者实施例3中的技术方案相结合，或者实施例4与实施例2以及实施例3中的技术方案相结合。

实施例5

本实施例提供一种烟火检测装置，如附图2所示，可供实施例1-4使用，该装置包括：

视频数据采集设备，为所有可以采集视频图像的设备，本发明实施例采用的是网络视频摄像机；

视频数据处理设备，可以为摄像机、NVR、PC端等设备，本发明实施例采用的是前端摄像机；

信号接收处理设备，可以为视频画面处理器、矩阵切换主机、NVR、PC等一种或多种的组合，同时也可外接报警器。

具体地，所述视频数据处理设备中的处理过程还包括以下几个模块：

1）视频图像预处理模块，用于对原始视频图像进行缩放和色彩空间转换；

2）运动前景提取模块，用于获得视频图像中的运动物体区域；

3）火焰静态特征提取模块，用于获得视频图像中的疑似火焰区域，该模块中包含火焰颜色特征提取单元；

4）火焰动态特征提取模块，用于判断运动物体的运动特征是否符合火焰的动态特征，该模块中包含火焰形状变化特征检测单元、火焰面积变化特征检测单元、火焰亮度变化特征检测单元；

5）火焰报警决策模块，用于判断是否发出火焰报警信号，具体地，根据火焰动态特征提取模块的输出信息是否在设定的阈值范围内判断是否触发火焰报警；

6）烟雾静态特征提取模块，用于获得视频图像中的疑似烟雾区域及符合烟雾形状特征和占比特征的区域，具体地，该模块包括烟雾颜色特征检测单元、烟雾形状特征检测单元、烟雾占比特征检测单元；

7）烟雾动态特征提取模块，用于判断运动物体的运动特征是否符合烟雾的动态特征，该模块中包含烟雾形状变化特征检测单元、烟雾面积变化特征检测单元、烟雾亮度变化特征检测单元、发烟点固定特征检测单元、烟雾主运动方向特征检测单元；

8）烟雾报警决策模块，用于判断是否发出烟雾报警信号，具体地，根据烟雾的静态特征提取模块和动态特征提取模块的输出信息是否在设定的阈值范围内判断是否触发烟雾报警；

9）烟火报警决策模块，用于判断是否发出烟火报警信号，具体地，根据火焰报警决策模块和烟雾报警决策模块输出信息判断是否发出烟火报警信息。

具体地，所述信号接收处理设备用于接收视频数据处理设备所发出的报警信息，并联动报警，例如报警灯闪烁、蜂鸣器、发送报警邮件等。