火焰检测方法和系统与流程

本发明涉及火灾监控技术领域，特别是涉及一种火焰检测方法和系统。

背景技术：

目前，火灾监控绝大多数还是采用特殊的传感器对烟火进行检测，比如烟敏传感器、温敏传感器、光敏传感器或者由这些基础传感器组成的复合传感器，这些传感器主要是通过检测火灾中的烟火、温度和光学特性等在燃烧过程中所产生的副产物来检测火灾。

但是，在其他情况下，也有可能产生这些副产物，这就会导致采用传统传感器检测设备来检测火灾具有较高的误报率；另外，传统的传感器检测设备，其每一个传感点只能监控周围有限的局部空间，存在很大的局限性，也不适用于室外开放的大环境。

综上所述，现有的火灾检测方法准确性较差、适用范围小。

技术实现要素：

基于此，有必要针对现有的火灾检测方法准确性较差、适用范围小的技术问题，提供一种火焰检测方法和系统。

一种火焰检测方法，包括如下步骤：

利用摄像监控设备拍摄火灾监控区域的视频流图像，从每帧视频流图像中提取得到运动历史图像；

对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像；

对所述运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出火焰区域候选块；

筛选若干帧连续的视频流图像的火焰区域候选块，并获取各帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；

根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率；

当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。

上述火焰检测方法，通过对摄像监控设备拍摄的火灾监控区域的视频流图像分别进行运动历史图像提取和类火焰颜色像素提取，得到运动历史图像和类火焰颜色图像；再对运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出视频流图像的火焰区域候选块，进一步筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率，当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。通过上述技术方案，本申请的火焰检测方法能够对火灾监控区域的视频流图像实时进行火焰检测，提高了火灾检测方法的准确性；而且，本发明的火焰检测方法适用范围广，进一步提高了火灾检测方法的准确性。

一种火焰检测系统，包括：

第一提取模块，用于利用摄像监控设备拍摄火灾监控区域的视频流图像，从每帧视频流图像中提取得到运动历史图像；

第二提取模块，用于对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像；

筛选模块，用于对所述运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出火焰区域候选块；

获取模块，用于筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；

计算模块，用于根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率；

判定模块，用于当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。

上述火焰检测系统，通过第一提取模块和第二提取模块对摄像监控设备拍摄的火灾监控区域的视频流图像分别进行运动历史图像提取和类火焰颜色像素提取，得到运动历史图像和类火焰颜色图像；再通过筛选模块对运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出视频流图像的火焰区域候选块，并通过获取模块进一步筛选若干帧连续的视频流图像的火焰区域候选块，并获取各帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；通过计算模块根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率，利用判定模块当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。通过上述技术方案，本申请的火焰检测系统，能够对火灾监控区域的视频流图像实时进行火焰检测，提高了火灾检测的准确性；而且，本发明的火焰检测系统适用范围广，进一步提高了火灾检测的准确性。

附图说明

图1为本发明的其中一个实施例的火焰检测方法流程图；

图2为利用本发明的另一个实施例的火焰检测方法对视频流图像进行运动历史图像提取，得到运动历史图像的示意图；

图3为利用本发明的另一个实施例的火焰检测方法对视频流图像进行类火焰颜色像素提取，得到类颜色图像的示意图；

图4为本发明的另一个实施例的火焰检测方法流程图；

图5为利用本发明的另一个实施例的火焰检测方法对火焰区域候选块进行轮廓点特征提取后的图像；

图6为本发明的其中一个实施例的火焰检测系统的结构示意图；

图7为本发明的另一个实施例的火焰检测系统的结构示意图。

具体实施方式

为了更进一步阐述本发明所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本发明的技术方案，进行清楚和完整的描述。

如图1所示，图1为本发明的其中一个实施例的火焰检测方法流程图，包括如下步骤：

步骤S101：利用摄像监控设备拍摄火灾监控区域的视频流图像，从每帧视频流图像中提取得到运动历史图像；

在实际应用中，可以利用设置在火灾监控区域的摄像监控设备，例如，摄像头，来拍摄火灾监控区域的视频流图像，再对该视频流图像进行运动历史图像提取，得到运动历史图像。

本步骤所述的运动历史图像(Motion History Image，MHI)是一种简单高效的运动分割方法，其利用连续图像中目标轮廓在空间上的相关性，将对应的每帧图像不同时刻加权叠加形成运动历史图像，然后进行分割得到最终目标。

在其中一个实施例中，本发明的火焰检测方法，所述从每帧视频流图像中提取得到运动历史图像的步骤可以包括：

式中，MHI表示运动历史图像，D(x,y,t)表示t时刻图像帧I(x,y,t)与t-1时刻图像帧I(x,y,t-1)在位置(x,y)处的二值差分图，T表示二值差分图D(x,y,t)对场景变换的敏感程度阈值，τ表示控制MHI包含运动信息持续时间的长短。

在上述实施例中，T一般20，由上述公式可知，随着时间的推移，当前帧对应轮廓总是具有最大灰度值(最亮)，而过去的轮廓在当前MHI中将会越来越小(变暗)；当过去帧与当前帧的时间间隔超过设置的时间区段时，其值被置零。

利用上述方法，对视频流图像进行运动历史图像提取的提取效果，如图2所示，图2为利用本发明的另一个实施例的火焰检测方法对视频流图像进行运动历史图像提取的示意图，其中，图2(a)表示视频流图像的原始图像，图2(b)表示对图2(a)进行运动历史图像提取后得到的MHI图像，图2(c)表示对图2(b)中的MHI图像进行二值化后并进行形态学处理后的图像。

步骤S102：对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像；

在实际应用中，由于火焰最直观的特征是颜色特征，通常火焰的颜色属于“红-黄”颜色区间，从最简单的RGB颜色模型来看，则有R≥G and G＞B，并且R是火焰的最重要部分，需要满足R＞R_T，R_T表示预设的红色分量阈值。另外，为了减少背景亮度的影响，类火焰像素的饱和度需要超过某个设定的阈值。

在其中一个实施例中，本发明的火焰检测方法，所述对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像的步骤可以包括：

式中，F_C(x,y)表示类火焰颜色图像的类火焰像素，R_T表示预设的红色分量阈值、S_T表示预设的饱和度阈值，F_C(x,y)＝1表示位置(x,y)的像素为类火焰像素，R(x,y)、G(x,y)、B(x,y)和S(x,y)分别表示位置(x,y)处的红色分量、绿色分量、蓝色分量和饱和度，R_max表示红色分量的最大值，“*”表示相乘。

在实际应用中，R_T和S_T根据实际需要进行设置，R_max一般取255。

利用上述方法，对视频流图像进行类火焰颜色像素提取的提取效果，如图3所示，图3为利用本发明的另一个实施例的火焰检测方法对视频流图像进行类火焰颜色像素提取，得到类颜色图像的示意图，其中，图3(a)表示视频流图像的原始图像，图3(b)表示对图3(a)进行类火焰颜色像素提取后得到的类火焰图像。

步骤S103：对所述运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出火焰区域候选块；

如图4所示，图4为本发明的另一个实施例的火焰检测方法流程图，所述对所述运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出火焰区域候选块的步骤S103可以包括：

步骤S1031：对所述运动历史图像MHI和类火焰颜色图像F_C进行逻辑“与”运算，得到可能的火焰区域F_P；

步骤S1032：对所述可能的火焰区域F_P进行联通区域标记，得到多个联通块；

步骤S1033：对所述多个联通块进行跟踪，并提取确定所述多个联通块的中心位置；

步骤S1034：当所述联通块的中心在连续两帧的视频流图像中的位置变化量小于预设阈值，筛选该联通块为火焰区域候选块。

在实际应用中，通过对火灾现场的观察和分析，火灾中心一般在一个小区域内跳动，因此，火焰区域候选块满足下式：

|c(t)-c(t-1)|＜T；

式中，c(t)、c(t-1)分别表示连续两帧可能的火焰区域F_P的中心，T为预设阈值，在实际应用中，T可以取可能的火焰区域F_P宽度的1/3。

因此，满足上述公式的火焰区域就是火焰区域候选块。

步骤S104：筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；

在其中一个实施例中，本发明的火焰检测方法，所述获取各个帧视频图像的火焰区域候选块的火焰跳动次数的步骤可以包括：

上式中，当J(t)等于1时，表示当前帧的火焰区域候选块发生了一次跳动；当J(t)等于0时，表示当前帧的火焰区域候选块未发生火焰跳动，s(t)、s(t-1)、s(t-2)分别表示当前帧t、前一帧(t-1)和前两帧(t-2)的火焰区域的面积。

在实际应用中，由于实用性和稳定性的要求，考虑的火焰动态特征为火焰的跳动性、轮廓点的光流能量。由于空气和气流等影响，火焰在燃烧过程中会出现跳跃。因此，可以采用面积变化和边缘的跳动幅度对火焰区域进行验证。

在其中一个实施例中，本发明的火焰检测方法，所述获取各帧视频图像的火焰区域候选块的边缘跳动幅度值的步骤可以包括：

式中，E(t)表示当前帧t视频图像的火焰区域候选块的边缘跳动幅度值，E_ffe表示当前帧t视频图像的火焰区域候选块的轮廓点光流能量，Contour表示由各个帧视频图像的火焰区域候选块的轮廓点组成的集合，N_C表示总的轮廓点数，x_p、y_p、x_q、y_q分别表示前后两帧轮廓点对应的位置坐标。

在上述实施例中，在获取各帧视频图像的火焰区域候选块的边缘跳动幅度值的步骤之前，还可以包括：

根据得到的各帧视频图像的火焰区域候选块，提取各个火焰区域候选块的火焰轮廓点信息，如图5所示，图5为利用本发明的另一个实施例的火焰检测方法对火焰区域候选块进行轮廓点特征提取后的图像，图5中的黑色线条即为火焰区域候选块的轮廓点。然后，再采用例如金字塔Lucas-Kanade光流法等提取轮廓点的光流特征。

步骤S105：根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率；

在其中一个实施例中，本发明的火焰检测方法，所述根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率的步骤还可以包括：

式中，R(t)表示当前帧t视频图像的火焰候选块为火焰区域的概率，E(i)表示第i帧视频图像的火焰区域候选块的火焰跳动次数，J(i)表示第i帧视频图像的火焰区域候选块的边缘跳动幅度值，N表示视频图像的总帧数。

在上述实施例中，本发明结合火焰区域候选块中的火焰跳动情况和边缘跳动幅度值，通过统计发生在过去N帧中同时满足跳动条件和能量条件的火焰区域候选块，并判定该火焰区域候选块为火焰区域。

步骤S106：当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。

在实际应用中，当R(t)大于0.3时，就可以判定当前帧t视频图像的火焰区域候选块对应的火灾监控区域产生了火灾，并及时通知相关工作人员进行处理。

上述火焰检测方法，通过对摄像监控设备拍摄的火灾监控区域的视频流图像分别进行运动历史图像提取和类火焰颜色像素提取，得到运动历史图像和类火焰颜色图像；再对运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出视频流图像的火焰区域候选块，进一步筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率，当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。通过上述技术方案，本申请的火焰检测方法能够对火灾监控区域的视频流图像实时进行火焰检测，提高了火灾检测方法的准确性；而且，本发明的火焰检测方法适用范围广，进一步提高了火灾检测方法的准确性。

在其中一个实施例中，本发明的火焰检测方法，在所述判定当前帧t视频图像的火焰区域候选块对应的火灾监控区域产生了火灾的步骤之后，还可以包括：

系统通过软件方法触发报警，以便尽快通知相关的工作人员进行处理，尽可能低降低火灾带来的损失。

本发明的火焰检测方法，采用基于视频分析的火灾检测技术，即，利用计算机对设于火灾监控区域的摄像头采集的现场图像信息进行火灾特性的识别，判断烟火情况并及时报警，尽可能地降低火灾带来的损失，不仅提高了火灾检测的准确性；而且，适用范围广，能够对较大范围的区域进行火灾检测。另外，本发明的火焰检测方法，成本低、系统安装灵活、不受场地限制。在需要监控的场景，只需安装摄像头，使其能够覆盖的监控区域，就可以实现大范围的监控，不受空间和距离的影响。再者，报警及时，系统可以实时监测监控场景，当检测到火灾时，系统及时报警；另外，也可以与公安系统、火警系统完成联网，减少火灾造成的生命财产损失。扩展性强，视频监控除了防控火灾、检测烟雾以外，也可以记录监控区域内的活动，还可以作为证据和为事后的调查提供依据。

如图6所示，图6为本发明的其中一个实施例的火焰检测系统的结构示意图，包括：

第一提取模块101，用于利用摄像监控设备拍摄火灾监控区域的视频流图像，从每帧视频流图像中提取得到运动历史图像；

在实际应用中，可以利用设置在火灾监控区域的摄像监控设备，例如，摄像头，来拍摄火灾监控区域的视频流图像，再对该视频流图像进行运动历史图像提取，得到运动历史图像。

本实施例所述的运动历史图像(Motion History Image，MHI)是一种简单高效的运动分割方法，其利用连续图像中目标轮廓在空间上的相关性，将对应的每帧图像不同时刻加权叠加形成运动历史图像，然后进行分割得到最终目标。

在其中一个实施例中，本发明的火焰检测系统，所述第一提取模块101还可以用于：从每帧视频流图像中提取得到运动历史图像，具体为：

式中，MHI表示运动历史图像，D(x,y,t)表示t时刻图像帧I(x,y,t)与t-1时刻图像帧I(x,y,t-1)在位置(x,y)处的二值差分图，T表示二值差分图D(x,y,t)对场景变换的敏感程度阈值，τ表示控制MHI包含运动信息持续时间的长短。

在上述实施例中，T一般20，由上述公式可知，随着时间的推移，当前帧对应轮廓总是具有最大灰度值(最亮)，而过去的轮廓在当前MHI中将会越来越小(变暗)；当过去帧与当前帧的时间间隔超过设置的时间区段时，其值被置零。

在实际应用中，由于火焰最直观的特征是颜色特征，通常火焰的颜色属于“红-黄”颜色区间，从最简单的RGB颜色模型来看，则有R≥G and G＞B，并且R是火焰的最重要部分，需要满足R＞R_T，R_T表示预设的红色分量阈值。另外，为了减少背景亮度的影响，类火焰像素的饱和度需要超过某个设定的阈值。

第二提取模块102，用于对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像；

在其中一个实施例中，本发明的火焰检测系统，所述第二提取模块102还可以用于：对所述视频流图像进行类火焰颜色像素提取，得到类火焰颜色图像，具体为：

式中，F_C(x,y)表示类火焰颜色图像的类火焰像素，R_T表示预设的红色分量阈值、S_T表示预设的饱和度阈值，F_C(x,y)＝1表示位置(x,y)的像素为类火焰像素，R(x,y)、G(x,y)、B(x,y)和S(x,y)分别表示位置(x,y)处的红色分量、绿色分量、蓝色分量和饱和度，R_max表示红色分量的最大值，“*”表示相乘。

在实际应用中，R_T和S_T根据实际需要进行设置，R_max一般取255。

筛选模块103，用于对所述运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出火焰区域候选块；

在其中一个实施例中，本发明的另一个实施例的火焰检测系统的筛选模块103还可以用于：

对所述运动历史图像MHI和类火焰颜色图像F_C进行逻辑“与”运算，得到可能的火焰区域F_P；

对所述可能的火焰区域F_P进行联通区域标记，得到多个联通块；

对所述多个联通块进行跟踪，并提取确定所述多个联通块的中心位置；

当所述联通块的中心在连续两帧的视频流图像中的位置变化量小于预设阈值，筛选该联通块为火焰区域候选块。

在实际应用中，通过对火灾现场的观察和分析，火灾中心一般在一个小区域内跳动，因此，火焰区域候选块满足下式：

|c(t)-c(t-1)|＜T；

式中，c(t)、c(t-1)分别表示连续两帧可能的火焰区域F_P的中心，T为预设阈值，在实际应用中，T可以取可能的火焰区域F_P宽度的1/3。

因此，满足上述公式的火焰区域就是火焰区域候选块。

获取模块104，用于筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；

在其中一个实施例中，本发明的火焰检测系统，所述获取模块104还可以用于：获取各个帧视频图像的火焰区域候选块的火焰跳动次数，具体为：

上式中，当J(t)等于1时，表示当前帧的火焰区域候选块发生了一次跳动；当J(t)等于0时，表示当前帧的火焰区域候选块未发生火焰跳动，s(t)、s(t-1)、s(t-2)分别表示当前帧t、前一帧(t-1)和前两帧(t-2)的火焰区域的面积。

在实际应用中，由于实用性和稳定性的要求，考虑的火焰动态特征为火焰的跳动性、轮廓点的光流能量。由于空气和气流等影响，火焰在燃烧过程中会出现跳跃。因此，可以采用面积变化和边缘的跳动幅度对火焰区域进行验证。

在其中一个实施例中，本发明的火焰检测系统，所述获取模块104还可以用于：获取各帧视频图像的火焰区域候选块的边缘跳动幅度值，具体为：

式中，E(t)表示当前帧t视频图像的火焰区域候选块的边缘跳动幅度值，E_ffe表示当前帧t视频图像的火焰区域候选块的轮廓点光流能量，Contour表示由各个帧视频图像的火焰区域候选块的轮廓点组成的集合，N_C表示总的轮廓点数，x_p、y_p、x_q、y_q分别表示前后两帧轮廓点对应的位置坐标。

在上述实施例中，本发明的火焰检测系统的获取模块104还可以用于：在获取各帧视频图像的火焰区域候选块的边缘跳动幅度值之前，根据得到的各帧视频图像的火焰区域候选块，提取各个火焰区域候选块的火焰轮廓点信息，再采用例如金字塔Lucas-Kanade光流法等提取轮廓点的光流特征。

计算模块105，用于根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率；

在其中一个实施例中，本发明的火焰检测系统，所述计算模块105还可以用于：根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率，具体为：

式中，R(t)表示当前帧t视频图像的火焰候选块为火焰区域的概率，E(i)表示第i帧视频图像的火焰区域候选块的火焰跳动次数，J(i)表示第i帧视频图像的火焰区域候选块的边缘跳动幅度值，N表示视频图像的总帧数。

在上述实施例中，本发明结合火焰区域候选块中的火焰跳动情况和边缘跳动幅度值，通过统计发生在过去N帧中同时满足跳动条件和能量条件的火焰区域候选块，并判定该火焰区域候选块为火焰区域。

判定模块106，用于当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。

在实际应用中，当R(t)大于0.3时，就可以判定当前帧t视频图像的火焰区域候选块对应的火灾监控区域产生了火灾，并及时通知相关工作人员进行处理。

上述火焰检测系统，通过第一提取模块101和第二提取模块102对摄像监控设备拍摄的火灾监控区域的视频流图像分别进行运动历史图像提取和类火焰颜色像素提取，得到运动历史图像和类火焰颜色图像；再通过筛选模块103对运动历史图像和类火焰颜色图像进行逻辑与运算，筛选出视频流图像的火焰区域候选块，并通过获取模块104进一步筛选若干帧连续的视频流图像的火焰区域候选块，并获取各个帧视频图像的火焰区域候选块的火焰跳动次数和边缘跳动幅度值；通过计算模块105根据所述火焰跳动次数和边缘跳动幅度值，计算得到各个火焰区域候选块为火焰区域的概率，利用判定模块106当所述概率超过预设值，判定该火焰区域候选块对应的火灾监控区域产生火灾。通过上述技术方案，本申请的火焰检测系统，能够对火灾监控区域的视频流图像实时进行火焰检测，提高了火灾检测的准确性；而且，本发明的火焰检测系统适用范围广，进一步提高了火灾检测的准确性。

如图7所示，图7为本发明的另一个实施例的火焰检测系统的结构示意图，在所述判定模块106之后，还可以包括：

报警模块107，用于通过软件方法触发报警，以便尽快通知相关的工作人员进行处理，尽可能低降低火灾带来的损失。

本发明的火焰检测系统，采用基于视频分析的火灾检测技术，即，利用计算机对设于火灾监控区域的摄像头采集的现场图像信息进行火灾特性的识别，判断烟火情况并及时报警，尽可能地降低火灾带来的损失，不仅提高了火灾检测的准确性；而且，适用范围广，能够对较大范围的区域进行火灾检测。另外，本发明的火焰检测方法，成本低、系统安装灵活、不受场地限制。在需要监控的场景，只需安装摄像头，使其能够覆盖的监控区域，就可以实现大范围的监控，不受空间和距离的影响。另外，也可以将本发明的火焰检测系统集成到现有的监控系统中，实现零成本扩展。再者，报警及时，系统可以实时监测监控场景，当检测到火灾时，系统及时报警；另外，也可以与公安系统、火警系统完成联网，减少火灾造成的生命财产损失。扩展性强，视频监控除了防控火灾、检测烟雾以外，也可以记录监控区域内的活动，还可以作为证据和为事后的调查提供依据。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。