结合易混目标排除的基于视频分析的火焰检测方法与流程

本发明涉及火焰检测方法，尤其涉及一种结合易混目标排除的基于视频分析的火焰检测方法。

背景技术：

火焰的监测具有重要的意义，正确的火焰监测可帮助人们及早发现室内外的火灾，有效减小生命财产的损失。基于视频分析的火焰检测方法对实时传入的视频序列进行分析和判断，自动确定出具有火焰的图像帧。

基于视频分析的火焰检测方法可分为传统的依赖特征的方法与利用深度学习网络的方法。依赖特征的方法需要利用专门的算法从视频序列或图像帧中抽取特定的特征，然后利用专门的分类器进行火焰和非火焰的二分类。利用深度学习网络的方法不需要任何其他算法抽取特征，而是由网络自动提取出对火焰判识最有效的特征，并在此基础上判断特征所对应图像区域是否为火焰。上述两类方法都存在如下问题：夜间的车灯很容易被误判为火焰，我们的统计分析显示，超过70％的火焰目标的误报由于夜间的车灯引起；假如通过调高或调低阈值的方式来减少此类误判，则很可能导致真正的火焰目标被漏报(即把真正的火焰目标判定为非火焰目标)的情况。

技术实现要素：

为了解决现有技术中的问题，本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法。

本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。

作为本发明的进一步改进，将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。

作为本发明的进一步改进，所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的xml文件作为网络的输入，xml文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的xml文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。

作为本发明的进一步改进，该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。

作为本发明的进一步改进，对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。

作为本发明的进一步改进，假设终选火焰目标区域的图像矩阵为i，而前两帧图像的相应区域的图像矩阵分别为i1,i2，i与i1,i2的差值图像矩阵分别为q1(m,n)＝i(m,n)-i1(m,n)，q2(m,n)＝i(m,n)-i2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，q1的范数定义为

本发明的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。

附图说明

图1是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的流程图。

图2是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的最近距离示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1所示，一种结合易混目标排除的基于视频分析的火焰检测方法，使用双深度模型，首先利用训练好的火焰目标检测深度模型判别出火焰目标区域(称为初选火焰目标区域)；然后将训练好的车灯检测深度模型应用于这些目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真正的火焰目标区域外；经过车灯检测深度模型筛选的初选火焰目标区域被最终标记为火焰目标区域(称为终选火焰目标区域)；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。完整火焰目标区域检测的流程如图1所示。分析判别出夜间车灯为第一大火焰误判对象，并提出合理的结合易混的夜间车灯排除的火焰检测思路与方法为本发明的重要创新点。

由于夜间车灯为最主要的火焰误报来源，所以提出建立专门的模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。将与车灯目标区域存在重叠的初选火焰目标区域判定为非真实火焰目标区域的合理性显而易见。而将与车灯目标区域二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域的物理意义如下：由于本发明只对初选火焰目标区域进行是否为车灯目标的判识，因此，一个车灯目标区域肯定位于一个初选火焰目标区域内，检测出车灯目标区域后，覆盖其的初选火焰目标区域一定为虚假火焰目标。但与此同时，与该车灯目标区域距离很近的初选火焰目标区域也大概率为虚假火焰目标，因此也应该设置规则将其排除在外。阈值r通过基于大量视频的实验确定。图2形象给出了初选火焰目标区域与车灯目标区域间最近距离的示例。

图2初选火焰目标区域与车灯目标区域间最近距离的示例。图中两个矩形框分别代表一个初选火焰目标区域与一个车灯目标区域。图中的水平短实线的长度即为这两个目标区域间的最近距离，而其他连接两个矩形框边缘的线段的长度都大于该距离。

本发明所指夜间车灯特指夜晚天气条件下，启用了照明灯源的车灯，具体包括轿车、货车、单人骑行的电动助力车、警车等的夜间车灯。此前尚没有人专门对夜间车灯进行基于深度模型的判识。基于夜间车灯为最主要的火焰误报来源的发现，本发明专门对夜间车灯进行数据采集与检测。

数据采集包括夜间车灯图像数据(即正例数据)与其他所有非夜间车灯图像数据(即反例数据)的采集。正例数据与反例数据的适宜比例为1:5左右，以恰当反映反例数据大大多于正例数据的现实。正例数据与反例数据都具有较大的多样性，且正例数据一共来自5000多图像帧，反例数据一共来自25000多图像帧。

深度网络结构设置为32层的网络，其中网络的主要部分为依次进行的包括卷积层、池化层与正则化层的10个网络子层(合计30层)以及后续的两个全连接层。

该深度网络的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的xml文件作为网络的输入，xml文件给出图像中所有夜间车灯区域的矩形框位置(如果存在夜间车灯)。对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化。反例图像(即不包括夜间车灯的图像)的xml文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。该深度网络完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍(假如初选火焰目标区域为300x400像素的矩形区域，则其1.2倍为360x480像素的矩形区域)作为该深度网络的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框(如果网络判定初选火焰目标区域中存在车灯)及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标，并据此确定出终选火焰目标区域。

火苗具有显著的运动特性，而本发明的网络模型只对单帧图像进行检测，因此，网络无法利用火苗的运动特性进行火焰判定。为此，本发明的最后步骤为对终选火焰目标区域进行运动特性分析。具体如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了改步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。假设终选火焰目标区域的图像矩阵为i，而前两帧图像的相应区域的图像矩阵分别为i1,i2。i与i1,i2的差值图像矩阵分别为q1(m,n)＝i(m,n)-i1(m,n)，q2(m,n)＝i(m,n)-i2(m,n)。符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，例如，i(m,n)表示i中位于第m行、第n列的像素。q1的范数定义为

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。