基于红外视频图像的火焰检测识别方法与流程

本发明涉及计算机视觉技术领域，特别是一种基于红外视频图像的火焰检测识别方法。

背景技术：

近年来，大空间建筑火灾、矿井火灾、森林火灾、隧道火灾等频繁发生不仅使人类的生命和财产受巨大损失，也对人类生态环境造成了极大的破坏。随着科学的不断进步，人们开始着眼于智能视频分析的研究来防范火灾，基于图像视频分析的火焰检测和识别方法得到了快速的推广。

基于图像视频分析的火焰检测和识别方法通常包括了疑似火焰区域的提取和火焰识别。疑似火焰区域的提取是火焰识别的前提，将火焰图像从背景中分离出来是火灾探测的基础，关系到后续特征提取的可靠性和目标识别的准确度。采用基于背景模型的差分法的疑似火灾区域提取，该算法通过基于背景模型实现对火焰的有效检测，结合区域聚类增长的算法，最终实现区域提取。这些方法是假定初始化背景不包含运动目标的训练序列，限制了背景模型的使用条件。

还有一些算法往往结合焰色模型的运动检测进行干扰源排除，灵敏度受图像采集设备好坏和运动检测算法优劣的局限，并且一般可见光图像的焰色模型只针对偏红、偏黄的焰色设计，局限性较大。

基于视频图像的火焰检测可利用火焰的运动、颜色、时频等特征实现火焰识别。其中，仅利用颜色等静态特征的火焰识别方法，容易受到类似与火焰颜色景物干扰，影响了系统的鲁棒性。Phollips等人利用火焰的灰度直方图强度以及相邻帧的时间变化进行火焰识别，同样需要比较好的检测环境(较少的移动的非火焰亮光干扰)，而且其实验数据为自己主观确定的，若输入数据发生变化，则效果会大打折扣。Yamagishi等人提出了一种基于神经网络的火焰检测方法，算法的计算量比较大。同时，某些夜间受到受到影响，无法保证全天候监控。

技术实现要素：

为克服现有技术中存在的不足，本发明提供一种基于红外视频图像的火焰检测识别方法，该方法通过提取疑似火焰区域以及相邻两帧疑似火焰区域的目标匹配，再根据设定的目标置信度和相邻两帧相同目标区域的相关性进行火焰目标，能够有效快速地识别出火焰目标，识别过程中对目标内存的动态删除能减少算法运行过程中对计算机内存的消耗，同时利用了红外光图像的物理特性，使得在夜间环境下也能成功地识别火焰目标。

为实现上述技术目的，本发明采用如下技术方案：

一种基于红外视频图像的火焰检测识别方法，包括以下步骤：

S1利用红外摄像机采集红外视频图像，获得前一帧和本帧红外光图像。为了及时识别出火焰目标，需要一边采集图像一边按照下面的方法处理图像。

S2分别提取前一帧和本帧红外光图像中的疑似火焰区域；

S3对前一帧和本帧红外光图像的疑似火焰区域进行目标匹配；

S4本帧红外光图像的疑似火焰区域的各目标的删除判定和火焰目标识别；

S5输入新的下一帧的红外光图像，继续利用步骤S2-S4来完成新一帧的火焰目标识别。

本发明S2中通过对S1中采集的红外光图像进行基于图像亮度的图像分割，从而提取出疑似火焰区域。具体包括以下步骤：

S2.1假设红外光图像最大灰度值为Max，则选取Max为区域生长的种子点。

S2.2求解种子点为中心的邻域内像素的平均灰度值，将种子点的邻域内的各个像素点的灰度值和此平均灰度值之差的绝对值与设定的阈值T进行比较。

S2.3若是小于设定的阈值T，则将该像素点与种子点合并，并作为新的种子点；若大于或等于设定的阈值T，则舍弃；继续判定下一个像素点。

S2.4依次重复步骤S2.2和S2.3，直到红外光图像中所有符合步骤S2.2和步骤S2.3中要求的像素点都合并到某个区域中，而这个区域就是疑似火焰区域。

采用S2.1至S2.4中的方法分别提取前一帧和本帧红外光图像中的疑似火焰区域。

本发明S3包括以下步骤：

S3.1分别通过8邻域连通域标记法来标记相邻两帧图像的疑似火焰区域的各目标以及获得各个目标的外接矩形。

S3.2记录相邻两帧红外光图像中各个目标的外接矩形的左上点A₁、左下点A₂、右上点A₃、右下点A₄以及外接矩形的中心点O。

S3.3如果本帧红外光图像中某个目标的外接矩形的点A₁、点A₂、点A₃、点A₄以及点O的这五个点中，存在某个点或某几个点在前一帧红外光图像中的某个目标的外接矩形内，就初始判断这相邻两帧红外光图像的这两个目标为相同目标。

S3.4如果本帧红外光图像中的目标与前一帧红外光图像中两个以上的目标存在步骤S3.3中的情况，即相邻两帧红外光图像存在多个目标相匹配的情况，则需要进行二次匹配；二次匹配的原则为：根据本帧红外光图像中该目标的外接矩形的上述五个点包含在前一帧红外光图像中的另外一个目标的外接矩形内的个数以及两目标的外接矩形的中心点的距离进行判断，即包含点的个数最多以及两中心点之间的距离最近，则说明这两个目标为相同目标。在此，两中心点的距离采用欧式距离，设O₁(x₁,y₁)和O₂(x₂,y₂)分别为两目标外接矩形的中心点，则两中心点的欧式距离计算方法为：

d＝sqrt((x₁-x₂)²+(y₁-y₂)²) (1)

S3.5如果本帧红外光图像中任一目标的外接矩形的点A₁、点A₂、点A₃、点A₄以及点O的这五个点中，均不存在在前一帧红外光图像中的任一目标的外接矩形内，即本帧红外光图像中疑似火焰区域的各目标与前一帧红外光图像中疑似火焰区域的各目标都不匹配，说明此目标为新出现的目标，则记录该目标的位置，给该目标设定生存置信度believe，初始化为30，以及设定火焰置信度，初始化为0，疑似火焰目标数目加1。

本发明S4包括以下步骤：

S4.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若该目标在前一帧红外光图像或者前一帧红外光图像之前已经被标为火焰目标，则对该目标进行删除操作。

S4.1.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，对于前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域，如果该目标在前一帧红外光图像或者前一帧红外光图像之前已经判定为火焰目标，判断本帧红外光图像中该目标区域是否还存在明亮区域；其中明亮区域是指在该区域中存在像素点的灰度值大于或等于Max，则该区域为明亮区域。

S4.1.2若该前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域存在明亮区域，则该目标区域的生存置信度believe加2，再判定其生存置信度believe是否大于200或是小于0，若是，则删除此目标，释放该目标的内存；否则，继续保留此目标。

S4.1.3若该前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域不存在明亮区域，则该目标区域的生存置信度believe减2，再判定其生存置信度believe是否大于200或是小于0，若是，则删除此目标，释放该目标的内存；否则继续保留此目标。

S4.2由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若该目标在前一帧红外光图像以及前一帧红外光图像之前没有被标为火焰目标，则对其进行火焰目标识别。

S4.2.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若前一帧红外光图像和本帧红外光图像的相同目标之前没有被标记为火焰目标且该目标为步骤S3中判断出的并非疑似火焰区域出现的新目标，根据本帧红外光图像中该目标的位置更新疑似火焰信息，并且计算两个相邻两帧红外光图像的疑似火焰区域中相同目标的相关性,相同目标的相关性计算公式为：

上式中，X₁(n₁,n₂)为前一帧红外光图像中某个目标的某点(n₁,n₂)的像素值，X₂(n₁,n₂)为本帧红外光图像相同点的像素值；M₁和M₂为单帧红外光图像的水平和垂直像素的点数；n₁和n₂为图像中某点的坐标，m₁和m₂为偏移量。

噪声的影响可能使两帧出现虚假匹配现象，为了消除这种影响，对C(m₁,m₂)作归一化处理，归一化后定位为

其中，和表示前一帧红外光图像和本帧红外光图像的相同目标区域(即前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域)的平均像素值强度，即：

S4.2.2若是相关系数大于设定的阈值T，则此目标生存置信度believe减1，以及火焰置信度score减1；目标的生存置信度believe是否大于200或是小于0，若是则删除此目标，释放该目标的内存。

S4.2.3若是相关系数小于设定的阈值T，则生存置信度score加1，believe的值加1，并且更新火焰信息，判断此时的score是否大于10，若是，则判定此目标为火焰目标；若score不大于10，则判断目标的生存置信度believe是否大于200或是小于0，若是则删除此目标，释放该目标的内存。

与现有技术相比，本发明具有以下有益效果：

1)本发明利用亮度阈值方法分别对相邻两帧红外图像进行处理获得两图像各自的疑似火焰区域，通过连通域标记方法对疑似火焰区域中的各连通域进行标记，再通过相邻两帧的疑似火焰区域进行目标匹配，对相邻两帧的匹配成功且已经标记为火焰的目标进行删除判定，即当该目标生存置信度believe是否大于200或是小于0，若是则删除此目标，释放该目标的内存，这样能减少算法在运行过程中的对计算机内存的占用。

2)本发明在相邻两帧的疑似火焰区域进行目标匹配的过程中，考虑到了多个目标相似的情况，进行了二次匹配获得最佳接近的两目标。

3)本发明利用相邻两帧目标区域的相关性和置信度记性火焰判定，该方法通过红外视频图像能有效地、快速地识别出火焰目标，利用了红外图像的物理特性，使得在夜间环境下也能成功地识别火焰目标，同时火焰识别过程中动态的删除目标内存，能够降低算法运行过程对计算机内存的消耗。

附图说明

图1为本发明的流程图；

图2是本发明实施例的相邻两帧的疑似火焰区域的目标匹配流程图；

图3是本发明实施例的目标删除判定操作流程图；

图4是本发明实施例的火焰目标识别流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为本发明基于红外视频图像的火焰检测识别方法的流程图，本发明包括以下步骤：

一种基于红外视频图像的火焰检测识别方法，包括以下步骤：

S1利用红外摄像机采集红外视频图像，获得前一帧和本帧红外光图像。为了及时识别出火焰目标，需要一边采集图像一边按照下面的方法处理图像。

S2分别提取前一帧和本帧红外光图像中的疑似火焰区域；

红外线辐射是自然界存在的一种最为广泛的电磁波辐射，它是基于任何物体在常规环境下都会产生自身的分子和原子无规则的运动，并不停地辐射出热红外能量，分子和原子运动愈剧烈，辐射的能量愈大，反之辐射的能量愈小。红外摄像机根据物体发射或反射的红外线成像，不同焰色的火焰在红外视频图像中均具有较高亮度。火焰发生的过程伴随着发光、发热的现象，火焰发生区域的温度要明显高于周围环境的温度。

鉴于其热相图的亮度分布与温度高低成正比的，本发明通过对采集得到的红外光图像进行基于图像亮度的图像分割，从而初步提取出高温物体区域，高温物体区域即疑似火焰区域。具体步骤如下：

S2.1假设红外光图像最大灰度值为Max，则选取Max为区域生长的种子点；

S2.2求解种子点为中心的邻域(如为3×3的窗口邻域)内像素的平均灰度值，将种子点的邻域内的各个像素点的灰度值和此平均灰度值之差的绝对值与设定的阈值T进行比较；

S2.3若是小于设定的阈值T，则将该像素点与种子点合并，并作为新的种子点；若大于或等于设定的阈值T，则舍弃；继续判定下一个像素点。

S2.4依次重复步骤S2.2和S2.3直到红外光图像中所有符合要求(即符合步骤S2.2和步骤S2.3中要求)的像素点都合并到某个区域中，而这个区域就是疑似火焰区域。

采用S2.1至S2.4中的方法分别提取前一帧和本帧红外光图像中的疑似火焰区域。

S3对前一帧和本帧红外光图像的疑似火焰区域进行目标匹配；参照图2为相邻两帧红外光图像的疑似火焰区域的目标匹配流程图，包括以下步骤：

S3.1分别通过8邻域连通域标记法来标记相邻两帧图像的疑似火焰区域的各目标以及获得各个目标的外接矩形；

S3.2记录相邻两帧红外光图像中各个目标的外接矩形的左上点A₁、左下点A₂、右上点A₃、右下点A₄以及外接矩形的中心点O；

S3.3如果本帧红外光图像中某个目标的外接矩形的点A₁、点A₂、点A₃、点A₄以及点O的这五个点中，存在某个点或某几个点在前一帧红外光图像中的某个目标的外接矩形内，就可以初始判断这相邻两帧红外光图像的这两个目标为相同目标；

S3.4如果本帧红外光图像中的目标与前一帧红外光图像中两个以上的目标存在步骤S3.3中的情况，即相邻两帧红外光图像存在多个目标相匹配的情况，则需要进行二次匹配。二次匹配的思想为：根据本帧红外光图像中该目标的外接矩形的上述五个点(目标的外接矩形的左上点A₁、左下点A₂、右上点A₃、右下点A₄以及外接矩形的中心点O)包含在前一帧红外光图像中的另外一个目标的外接矩形内的个数，以及两目标的外接矩形的中心点的距离进行判断，即包含点的个数越多以及中心点之间的距离越近，则说明这两个目标为相同目标。

计算两点之间的距离采用欧氏距离。假设O₁(x₁,y₁)和O₂(x₂,y₂)分别为两目标外接矩形的中心点，则欧式距离为：

d＝sqrt((x₁-x₂)²+(y₁-y₂)²) (1)

S3.5如果前一帧红外光图像的某个目标根据步骤S3.3中方法与前一帧中各个目标进行匹配，均不存在步骤S3.3中出现的结果，即本帧中疑似火焰区域的各目标与前一帧中疑似火焰区域的各目标都不匹配，说明此目标为新出现的目标，则记录该目标的位置，给该目标设定生存置信度believe，初始化为30，以及设定火焰置信度，初始化为0，疑似火焰目标数目加1。

S4本帧红外光图像的疑似火焰区域的各目标的删除判定和火焰目标识别；

S4.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若该目标(即前一帧红外光图像和本帧红外光图像的相同目标)在前一帧红外光图像或者前一帧红外光图像之前已经被标为火焰目标，则对该目标进行删除操作；图3为目标删除判定操作流程图。

S4.1.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，对于前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域，如果该目标在前一帧红外光图像或者前一帧红外光图像之前已经判定为火焰目标，判断本帧红外光图像中该目标区域是否还存在明亮区域；其中明亮区域是指在该区域中存在像素点的灰度值大于或等于Max，则该区域为明亮区域；

S4.1.2若该前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域存在明亮区域，则该目标区域的生存置信度believe加2，再判定其生存置信度believe是否大于200或是小于0，若是，则删除此目标，释放该目标的内存；否则，继续保留此目标。

S4.1.3若该前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域不存在明亮区域，则该目标区域的生存置信度believe减2，再判定其生存置信度believe是否大于200或是小于0，若是，则删除此目标，释放该目标的内存；否则继续保留此目标。

S4.2由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若该目标在前一帧红外光图像以及前一帧红外光图像之前没有被标为火焰目标，则对其进行火焰目标识别；

判断出疑似火焰区域中是否存在火焰目标，从而进行报警响应。由于火焰然受时气体羽流的卷吸特性和空气流动的影响，燃烧的火焰表现出不停的振荡特性，这种振荡特性可以利用图像的相关性来实现火焰火灾识别。图4为火焰目标识别流程图，本发明采用了提基于目标的相关性和置信度的火焰判定方法，其实现过程如下：

S4.2.1由步骤S3的目标匹配获得前一帧红外光图像和本帧红外光图像的相同目标，若前一帧红外光图像和本帧红外光图像的相同目标之前没有被标记为火焰目标且该目标为步骤S3中判断出的并非疑似火焰区域出现的新目标，根据本帧红外光图像中该目标的位置更新疑似火焰信息，并且计算两个相邻两帧红外光图像的疑似火焰区域中相同目标的相关性,相同目标的相关性计算公式为：

上式中，X₁(n₁,n₂)为前一帧红外光图像中某个目标的某点(n₁,n₂)的像素值，X₂(n₁,n₂)为本帧红外光图像相同点的像素值；M₁和M₂为单帧红外光图像的水平和垂直像素的点数；n₁和n₂为图像中某点的坐标，m₁和m₂为偏移量。

噪声的影响可能使两帧出现虚假匹配现象，为了消除这种影响，对C(m₁,m₂)作归一化处理，归一化后定位为

其中，和表示前一帧红外光图像和本帧红外光图像的相同目标区域(即前一帧红外光图像和本帧红外光图像中具有相同目标的目标区域)的平均像素值强度，即：

S4.2.2若是相关系数大于设定的阈值T，则此目标生存置信度believe减1，以及火焰置信度score减1；目标的生存置信度believe是否大于200或是小于0，若是则删除此目标，释放该目标的内存；

S4.2.3若是相关系数小于设定的阈值T，则生存置信度score加1，believe的值加1，并且更新火焰信息，判断此时的score是否大于10，若是，则判定此目标为火焰目标；若score不大于10，，则判断目标的生存置信度believe是否大于200或是小于0，若是则删除此目标，释放该目标的内存。

S5输入新的下一帧的红外光图像，继续利用步骤S2-S4来完成新一帧的火焰目标识别。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。