一种适应多场景的火焰识别预警方法与流程

本申请涉及图像识别技术领域，具体而言，涉及一种适应多场景的火焰识别预警方法及系统。

背景技术：

随着社会的进步，我国工业技术水平及经济水平日益提高，城市中各种大型建筑及设施结构复杂，功能趋近自动化，同时对于安全生产生活方面的需求也日益迫切，对于消防安全，防火防烟系统的可靠性及稳定性也提出了更高的需求。火灾严重损害人民的身心健康以及经济财产，是不可忽视的多发性问题，其巨大的破坏性可想而知，所以火灾的预防及监测，火焰识别具有重要的意义。传统火灾探测器有感温、感烟和感光等,只能对某个特定信息特征进行判定,受环境和空间等条件影响,识别效果不好。而随着计算机视觉和图像处理技术的逐渐成熟,产生了视频图像的火灾监测系统，相较于传统的火灾监控，其具有识别速度快，误报率低，操作方便的特点。

基于图像的火焰识别，又分为传统的识别方法与基于深度学习的识别方法。传统的识别方法步骤繁琐，自适应能力差，且依据颜色的判断及一般处理难以区分火焰及类火焰，准确率低。

综上可见，现有技术对火焰识别还存在上述的许多不足之处，难以获得可靠的火焰识别结果，也就无法实现对火灾的及时预警。

技术实现要素：

为了解决上述背景技术中存在的技术问题，本申请提供了一种适应多场景的火焰识别预警方法及系统。

本申请的第一方面提供了一种适应多场景的火焰识别预警方法，所述方法包括：

s1，获取多场景的火焰图像，将其输入深度学习识别模型以进行训练；

s2，实时获取当前场景图像，判断所述当前场景图像对应的当前光照场景；

s3，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型，所述深度学习识别模型对所述当前场景图像进行识别，并输出火焰识别结果；

s4，基于所述火焰识别结果决定是否输出预警信息。

可选地，所述光照场景包括强光场景、弱光场景。

可选地，所述判断所述当前场景图像对应的当前光照场景，包括：

提取出所述当前场景图像中的静态区域，将所述当前场景图像中的所述静态区域二值化，对二值化后的静态区域图像按方位进行切分，分别识别其中的光线强度，将切分后的各静态区域图像的光线强度进行加权求和，若所述和值大于第一阈值，则判定所述当前场景图像为强光场景，否则为弱光场景；其中，权重基于所述当前场景的属性来预先设定。

可选地，所述当前场景图像包括普通图像和红外图像；

则，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型，包括：

若所述当前光照场景为强光场景，则将所述当前场景图像中的红外图像输入训练好的深度学习识别模型；若所述当前光照场景为弱光场景，则将所述当前场景图像中的普通图像输入训练好的深度学习识别模型。

可选地，所述深度学习识别模型对所述当前场景图像进行火焰识别，包括：

基于波动特性、运动特性及闪烁特性对所述当前场景图像中的各连通区域进行火焰识别。

可选地，所述基于波动特性、运动特性及闪烁特性对所述当前场景图像中的各连通区域进行火焰识别，具体包括：

1)采用如下方法计算各连通区域的波动特性：

式中，fluc为波动特性值，xi表示各连通域的第i个垂向阶梯取值，即将各连通区域的轮廓直方图转化之后的各阶梯高度值；为i个垂向阶梯高度值的均值；a、b、c为预先设定的幂值；

若所述波动特性值fluc大于第二阈值，则判定该连通区域满足波动特性条件。

2)采用如下方法计算各连通区域的运动特性：

通过若干帧所述场景图像计算各所述连通区域的横向运动幅度，若所述横向运动幅度大于第三阈值，则判定具有运动特性，该连通区域满足运动特性条件。

3)采用如下方法计算各连通区域的闪烁特性：

式中，flas为闪烁特性值，m为各连通域的状态变化累计值，t(i)-t(i-1)为每次状态变化的时间间隔值；

若所述闪烁特性值flas大于第四阈值，则判定该连通区域满足闪烁特性条件。

4)采用如下公式计算火焰识别值：

firetrue＝αf1-βm+γf2

式中，fire_true为火焰识别值，f1为波动特性归一化值，其与所述波动特性值fluc大于第二阈值的程度正相关；m为运动特性归一化值，其与所述横向运动幅度大于第三阈值的程度正相关；f2为闪烁特性归一化值，其与所述闪烁特性值flas大于第四阈值的程度正相关；α、β、γ分别为f1、m、f2的预设权重，但是，若f1＞θ1f2＞θ2，则调整β＝β′，且β′＜β，其中，θ1、θ2为预设阈值。

若所述火焰识别值fire_true大于第五阈值，则判定该连通区域为火焰。

可选地，步骤s1中，在所述将其输入深度学习识别模型以进行训练之前，还包括：

对所述多场景的火焰图像中的火焰进行人工标注。

本申请的第二方面提供了一种适应多场景的火焰识别预警系统，所述系统包括获取模块、深度学习识别模型及预警模块：

所述获取模块，用于获取多场景的火焰图像，将其输入深度学习识别模型以进行训练；还用于实时获取当前场景图像，判断所述当前场景图像对应的当前光照场景，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型；

所述深度学习识别模型，用于基于所述多场景的火焰图像进行训练，以及，对所述当前场景图像进行识别，并输出火焰识别结果；

所述预警模块，用于基于所述火焰识别结果决定是否输出预警信息。

本申请的第三方面还提供了一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前所述方法的步骤。

本申请的第四方面还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如前所述方法的步骤。

本申请的有益效果在于：

本申请的方案基于不同光照场景下的图像来训练深度学习识别模型，这样训练出来的深度学习识别模型具有更好的泛化性，可以适应更多场景下的火焰识别。另外，本申请的方案设置了基于不同的光照场景来识别不同的场景图像，即在强光场景下输入红外图像进行火焰识别，在弱光场景下使用普通图像进行识别，进一步地提高了对不同场景的适应性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种适应多场景的火焰识别预警方法的流程示意图；

图2是本申请实施例公开的一种适应多场景的火焰识别预警系统的结构示意图；

图3是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

实施例一

请参阅图1，图1是本申请实施例公开的一种适应多场景的火焰识别预警方法的流程示意图。如图1所示，本申请实施例的一种适应多场景的火焰识别预警方法，所述方法包括：

s1，获取多场景的火焰图像，将其输入深度学习识别模型以进行训练；

s2，实时获取当前场景图像，判断所述当前场景图像对应的当前光照场景；

s3，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型，所述深度学习识别模型对所述当前场景图像进行识别，并输出火焰识别结果；

s4，基于所述火焰识别结果决定是否输出预警信息。

在本申请实施例中，本申请的方案采集不同光照场景下的图像来训练深度学习识别模型，这样训练出来的深度学习识别模型具有更好的泛化性，使得在对各种场景下的火焰识别时均能保证较高的识别准确率。其中，本申请所利用的深度学习识别模型可为基于各种原生或改进或融合的神经网络算法的模型。

可选地，所述光照场景包括强光场景、弱光场景。

其中，强光场景、弱光场景可以简单地基于室外、室内场景进行区分，也可以基于光照强度进行区分，从而提高光照场景识别准确性。

可选地，所述判断所述当前场景图像对应的当前光照场景，包括：

提取出所述当前场景图像中的静态区域，将所述当前场景图像中的所述静态区域二值化，对二值化后的静态区域图像按方位进行切分，分别识别其中的光线强度，将切分后的各静态区域图像的光线强度进行加权求和，若所述和值大于第一阈值，则判定所述当前场景图像为强光场景，否则为弱光场景；其中，权重基于所述当前场景的属性来预先设定。

在本申请实施例中，由于场景图像中的动态区域会存在人/物的频繁活动，而频繁活动会导致反射光强产生较大的波动，对整个场景的光强识别容易产生较大的干扰，所以，本申请仅对其中的静态区域进行切分、识别；对于静态区域的识别，可以基于若干帧图像之间的差分识别技术提取出来，而该技术属于图像识别领域的常规技术，本申请对此不再赘述。其中当前场景的属性(比如仓库、大卖场、办公室等)可以预先输入，不同属性的场景中光线照射的区域是不同的，比如，仓库、办公室场景中，灯光基本都是顶部向下直射为主，此时，应当给地面区域设置较大的权重，墙壁设置相对较小的权重，对于顶部来说，为了避免灯光本身造成的干扰，给其设置最小的权重；而对于大卖场来说，除了顶部向下直射的灯光之外，该场景中通常还会设置较多的氛围灯光，比如广告屏幕等，而这些强光源大多设置于墙壁之上，所以，可以给地面设置最大的权重，而给顶部和墙壁区域均设置较小的权重；另外，对于户外场景，则可以给地面设置最大的权重，而墙壁区域容易出现阴影，为降低阴影的干扰，给墙壁设置最小的权重，而给顶部设置中间大小的权重。对于具体的权重的大中小设置范围，可以由本领域技术人员根据实际情况作出，本申请对此不做具体限定。

可选地，所述当前场景图像包括普通图像和红外图像；

则，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型，包括：

若所述当前光照场景为强光场景，则将所述当前场景图像中的红外图像输入训练好的深度学习识别模型；若所述当前光照场景为弱光场景，则将所述当前场景图像中的普通图像输入训练好的深度学习识别模型。

其中，当当前光照场景为强光场景时，由于火焰光芒本身弱于场景中强光线(例如太阳光线、高亮度灯光光线)，且光芒较小，在太阳光线的照射下会变的更小且轮廓模糊不清，此时，如果还是基于普通图像进行识别进行很难发现火焰，或存在较大的误判可能。所以，本申请设计了在强光场景时将红外图像输入深度学习识别模型，此时火焰在红外图像中就会比较明显、突出，对于识别来说更为准确、容易。

可选地，所述深度学习识别模型对所述当前场景图像进行火焰识别，包括：

基于波动特性、运动特性及闪烁特性对所述当前场景图像中的各连通区域进行火焰识别。

可选地，所述基于波动特性、运动特性及闪烁特性对所述当前场景图像中的各连通区域进行火焰识别，具体包括：

1)采用如下方法计算各连通区域的波动特性：

式中，fluc为波动特性值，xi表示各连通域的第i个垂向阶梯取值，即将各连通区域的轮廓直方图转化之后的各阶梯高度值；为i个垂向阶梯高度值的均值；a、b、c为预先设定的幂值；

若所述波动特性值fluc大于第二阈值，则判定该连通区域满足波动特性条件。

2)采用如下方法计算各连通区域的运动特性：

通过若干帧所述场景图像计算各所述连通区域的横向运动幅度，若所述横向运动幅度大于第三阈值，则判定具有运动特性，该连通区域满足运动特性条件。

3)采用如下方法计算各连通区域的闪烁特性：

式中，flas为闪烁特性值，m为各连通域的状态变化累计值，t(i)-t(i-1)为每次状态变化的时间间隔值；

若所述闪烁特性值flas大于第四阈值，则判定该连通区域满足闪烁特性条件。

在本申请实施例中，本申请利用了火焰具有的波动特性、运动特性及闪烁特性对火焰进行识别，并采用如上公式来分别提取出各连通区域的波动特性、运动特性及闪烁特性。

4)采用如下公式计算火焰识别值：

firetrue＝αfl-βm+γf2

式中，fire_true为火焰识别值，f1为波动特性归一化值，其与所述波动特性值fluc大于第二阈值的程度正相关；m为运动特性归一化值，其与所述横向运动幅度大于第三阈值的程度正相关；f2为闪烁特性归一化值，其与所述闪烁特性值flas大于第四阈值的程度正相关；α、β、γ分别为f1、m、f2的预设权重，但是，若f1＞θ1、f2＞θ2，则调整β＝β′，且β′＜β，其中，θ1、θ2为预设阈值。

若所述火焰识别值fire_true大于第五阈值，则判定该连通区域为火焰。

其中，当满足f1＞θ1、f2＞θ2时，说明该连通区域的波动性和闪烁性比较明显，高度相似火焰，所以，此时调低运动特性归一化值m的权重同时按比例调高波动性和闪烁性的权重，也即增强了对该连通区域横向运动的容忍度，尤其是对于大火苗来说，其横向运动也是比较明显的，本申请如此设置可以降低此种波动性和闪烁性比较明显的情况下横向运动导致误判的可能性。

可选地，步骤s1中，在所述将其输入深度学习识别模型以进行训练之前，还包括：

对所述多场景的火焰图像中的火焰进行人工标注。

在本申请实施例中，在对深度学习识别模型进行训练之前的准备工作的重要内容就是标注，即由人工将训练集中的场景图像的火焰部分圈画出来，然后，将这些人工标注过的训练输入深度学习识别模型进行训练。当然，与上述对应的是，训练集中的图像也是与光照场景对应的，即若为强光场景则将训练集中的图像替换为红外图像，弱光场景仍为普通图像。

可选地，所述方法还包括评价步骤，采用如下公式分别计算准确率、召回率和误报率：

其中，fn为存在火焰但识别结果为不存在；fp代表不存在火焰但识别结果为存在；tn代表不存在火焰识别结果也为不存在；tp代表存在火焰识别结果也为存在。

其中，火焰真实存在与否的真实结果可基于预警信息的被处理状态来判断，例如，当识别结果为存在火焰时，若预警信息被确认，则判定火焰真实存在，若预警信息被拒绝，则判定火焰真实不存在；当识别结果为不存在火焰时，继续检测后续预设时段内所述当前场景图像中是否出现灭火行为，若是，则判定火焰真实存在，若否，则判定火焰真实不存在。通过上述判断方式，就可以简单可靠的确定出fn、fp、tn、tp的值了，当准确率、召回率和误报率不能满足对应阈值时，说明深度学习识别模型需要进一步的优化更新。

其中，灭火行为可通过检测当前场景图像是否识别到非固定状态的灭火器来判断。如果场景图像中出现灭火器，则说明存在潜在灭火行为，同时进一步判断该灭火器是否在大于时间阈值的时段内处于静止状态，若是，则说明该灭火器是原本就放在场景图像中，否则说明灭火器处于被使用状态，即发生了灭火行为。

实施例二

请参阅图2，图2是本申请实施例公开的一种适应多场景的火焰识别预警系统的结构示意图。如图2所示，本申请实施例的一种适应多场景的火焰识别预警系统，该系统与实施例一中的方法是对应的；所述系统包括获取模块、深度学习识别模型及预警模块：

所述获取模块，用于获取多场景的火焰图像，将其输入深度学习识别模型以进行训练；还用于实时获取当前场景图像，判断所述当前场景图像对应的当前光照场景，基于所述当前光照场景将所述当前场景图像输入训练好的深度学习识别模型；

所述深度学习识别模型，用于基于所述多场景的火焰图像进行训练，以及，对所述当前场景图像进行识别，并输出火焰识别结果；

所述预警模块，用于基于所述火焰识别结果决定是否输出预警信息。

实施例三

请参阅图3，图3是本申请实施例公开的一种电子设备的结构示意图。如图3所示，本申请实施例的一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述方法的步骤。

实施例四

本申请实施例的还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如实施例一所述方法的步骤。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。