基于RGB重构的森林图像切割后的火焰/烟雾识别方法与流程

本发明涉及基于RGB重构的森林图像切割后的火焰/烟雾识别技术。

背景技术：

近年来，随着工业和社会的飞速发展，给人们带来了巨大的便利，同时也给环境带来了巨大的损害。世界上的森林以每年2000公顷的速度减少，面积相当于2800个足球场那么大，且减少速度逐渐加快。而因为森林火灾造成的森林面积损失尤为巨大。森林火灾在许多林业国家都是一种严重的自然灾害，而且不论是发达国家还是发展中国家，对森林大火都缺乏有效的控制手段。我国是森林资源相对较少的国家，森林火灾对于我们这个少林国家的损失是非常严重的，有效的预防和减少森林火灾的发生是当前十分迫切的问题。森林防火的一项重要环节就是及时发现燃火点并及早扑灭，防止其大规模扩散从而最大限度地降低损失；尤其是在林区面积大、地形复杂、偏远的不适宜人工看护的区域更需要借助技术手段来对林区进行火灾监控。

在各个国家与地区日益加大森林火灾防控的背景下，许多高新不断被应用到森林火灾检测中。特别是近几年新的森林火灾监测技术发展相当迅速，主要有以下四种：

1)、卫星遥感监测：卫星遥感监测主要是热红外遥感，就是在遥感探测平台上安装热红外波段的传感器，利用温度高于绝对温度的物体都能向外发射能量，而着火点的辐射能量明显比周围温度高的特性来识别森林火灾。但卫星遥感监测成本过高，技术难度过大。

2)、传统视频图像监测：用即时监控摄像头将监测的信息实时反馈给监控中心。地面电视监测能较集中和迅速地对林区内进行扫描，提高了监测的效率。但是需要监控中心24小时有值班人员职守，容易因为值班人员的态度和精神状态影响森林火灾的实时监测效果，不仅过度消耗人力且设备较多维护困难。

3)、地面红外监测：为了定位林火，地面红外监测通常是在山顶瞭望塔上安装红外监测设备，监测附近的森林情况。巴西经过在亚马逊雨林的多年试验，研制出的一种检测林火红外设备，基于感知林火造成的温度差异，在大区域范围内对林区进行监控，及时发现火情。所以红外监测已经成为国际上森林防火监测及研究最为高效的技术手段。但同样热红外摄像头造价高昂不适宜推广，尤其是要达到较远距离的观测效果以及精度的话，成本会呈指数型增加。

4)、大面积铺设传感器节点：通过大面积布置传感器节点，利用这些节点收集温度、湿度、烟雾等信息，通过有线或无线的通信，实时的将观察到的林区数据传送到后端的指控中心。在目前的技术水平下，大规模部署传感器节点也面临着高昂的成本问题，且大规模传感器通信技术难度较大。

综上所述，目前的森林火灾检测和监控技术免不了存在成本高昂、技术难度大或者人力消耗过大等特点，以至于这些技术并不能适宜大规模的推广。所以亟待更好的识别算法来减轻成本压力和减少工作量及处理复杂度。

目前图像处理中最常用的两个彩色图像模型是RGB模型和HSV模型。HSV通过对色调、饱和度和亮度来描述彩色图像，更面向视觉感知。而RGB模型是由R、G、B三分量混合成各种色彩来描述彩色图像的，是一种面向硬件设备和计算机的彩色图像模型。

森林火灾检测算法主要是进行火焰检测和烟雾检测。虽然都需要将图像进行预处理、图形滤波、边缘检测、图像分割等操作后再进行特征提取，但经过这些处理步骤后，原图像已经变成灰度或二值图像，此时再进行提取特征。这样做，首先对干扰信息没有进行较好的抑制，对有效信息也未进行加强；其次特征提取时是基于处理后的图像，图像原始信息已经改变，有效信息可能被破坏从而提取的特征值不具有较好的可信度。也有些不对图像进行可疑区域分割或者不进行前序处理，而直接对原始图像进行特征提取。这样做，一是没有排除掉干扰信息；二是没有区分太阳、自然烟雾，造成误判的可能性极高。

技术实现要素：

本发明的目的是为了解决在森林防火背景下，现有方法难以避免太阳带来的错误识别，以及现有方法不能有效区分燃烧烟雾与自然烟雾，导致的系统适用度低，误判率高的问题。从而提出一种基于RGB重构的森林图像切割后的火焰/烟雾识别方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、首先输入普通CCD拍摄的待处理的森林图片P₀；

步骤二、选择要处理矩阵D的中值作为初始的阈值，当要处理的是尚未判别的图像时D＝R₀，当要处理的是判别为烟雾的图像时D＝[R₀,G₀,B₀]。首先抽离出原始图片P₀的R矩阵R₀，对图像的R₀分量进行最佳阈值分割，令D＝R₀，Threshold_D初值等于(min(D₀)+max(D₀))/2，然后循环迭代更新Threshold_D的值，利用将图像分割为两部分，分别为r₁、r₂，其中r₁为数值大于阈值区域，r₂为数值小于等于阈值区域；

步骤三、RGB重构把R分量最后分割的区域r₁值全置为255，r₂的值全部置为0，变为R₁；把原始图片P₀的G矩阵G₀的r₁区域的值全置为255，r₂的全部置为0，变为G₁；把原始图片P₀的B矩阵B₀的r₁区域、r₂区域全部置为255，变为B₁；

步骤四、以突出火焰、烟雾成分为目的，基于RGB重构修正RGB转灰度图像的公式。一般的图像处理通常将RGB图像转换为灰度图像gray，而在此发明技术中针对火焰与烟雾图像，分别用了两种不同的加权方式来修正得到的图像gray_i(i＝fire,smog)，先取i＝fire；

步骤五、对得到的gray_i进行中值滤波得到image_filter，再对image_filter使用prewitt算子进行图像分割得到处理后的图像BW；

步骤六、将得到的BW图像先进行腐蚀，然后膨胀，其中腐蚀的结构元素小于膨胀的结构元素，生成BW_open；

步骤七、计算BW_open中非负元素所占比例，若小于阈值T_smog则判定为烟雾图像，若大于阈值T_smog，则可能是火焰或者太阳；

步骤八、若判定为烟雾，直接跳至步骤十四；若判定为疑似火焰区域直接对BW_open进行第一次预切割，缩小可疑区域范围，记录切割位置矩阵L₁，并将切割后的图像进行硬判决，小于0的值置为0，大于0的值置为255，得到图像BW_reset；

步骤九、计算BW_reset中的各个区域的大小，其中面积最大的部分为Sbw_max，对于面积小于的区域删去，只保留面积足够大的主区域进行后续分析，此时图像记为BW_del；

步骤十、对BW_del进行切割，缩小可疑区域范围，记录切割位置矩阵L₂，切割后的图像为BW_cut；

步骤十一、根据两次切割的位置矩阵L₁、L₂，在原图P₀上进行切割，切割后的图像为P_cut；

步骤十二、对P_cut进行灰度处理、中值滤波后得到p_cut，此处灰度处理公式传统灰度处理公式，即gray，中值滤波操作同步骤五；

步骤十三、判定是火焰区域还是太阳区域，找到p_cut元素的最大值max(p_cut)，再乘以一个加权因子k(k<1)；找到p_cut元素中在区间[k·max(p_cut)max(p_cut)]上的值，将这些值都置为255，其他区间的值置为0，得到p_reset；计算p_reset中的各个区域的大小，其中面积最大的部分为Sp_max，对于面积小于的区域删去，只保留面积足够大的主区域进行后续分析，此时图像记为p_del；将p_del再次进行切割，计算切割后图形非零区域所占比值，若大于门限T_sun则判定为太阳；

步骤十四、当判定为烟雾时，返回步骤二，步骤二修改为对RGB三分量的全局自适应阈值迭代分割即D＝[R₀ G₀ B₀]；步骤三不做变化；步骤四令i＝smog；再依次执行步骤五到步骤十一；

步骤十五、跟据步骤十得到的图形BW_cut，找到其数值为零元素的位置，将步骤十一切割得到的图形的RGB三分量相应位置处均置为零，便得到只含有连通区域面积最大那几部分的烟雾图像，得到P_new；

步骤十六、统计P_new的特征信息，区分它是因火灾来的燃烧烟雾还是自然烟雾，这些特征信息有目标区域RGB归一化值、目标区域RGB标准差、纹理相关性和平稳度；

步骤十七、将提取的特征，输入用燃烧烟雾和自然烟雾训练好的BP神经网络中进行识别，判定是自然烟雾还是燃烧烟雾。

步骤二中，对图像的R₀分量进行最佳阈值分割的方法为：

令D＝R₀，迭代阈值Threshold_D初值等于(min(D₀))+max(D₀))/2，然后循环迭代更新Threshold_D的值，利用Threshold_D将图像分割为两部分，分别为r₁、r₂，其中r₁为数值大于阈值区域，r₂为数值小于等于阈值区域；min(D₀)表示初始时矩阵D的所有元素的最小值、max(D₀)初始时矩阵D的所有元素的最大值。

步骤二中阈值分割最初是基于R分量矩阵R₀，当步骤八判定为烟雾时，改为基于全局，即：R、G、B三分量的阈值迭代分割，具体为：

步骤A、选择要处理矩阵D的中值作为初始的阈值：

Threshold_D＝(min(D₀)+max(D₀))/2

利用Threshold_D将图像分割为两部分，分别为r₁、r₂，其中r₁为数值大于阈值区域，r₂为数值小于等于阈值区域；

步骤B、分别计算r₁和r₂区域数值的均值μ₁和μ₂；

步骤C、更新迭代阈值为：

Threshold_D＝(μ₁+μ₂)/2

重复步骤A至C循环迭代，直到前后两个阈值之差的绝对值小于1时停止迭代。

步骤六中，将得到的BW图像先进行腐蚀，然后膨胀，具体通过如下公式实现：

腐蚀操作公式：

E(BW)＝BWΘS¹

其中：S¹是腐蚀的结构元素；Θ表示腐蚀，用结构元素S¹扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0；

膨胀操作公式：

其中：S²是膨胀的结构元素；表示膨胀，用结构元素S²扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1；

步骤八中，对BW_open进行第一次预切割，具体为：依次从图像矩阵的第一行、第一列、最后一行和最后一列进行搜索，找到最先出现大于零元素的所在行列，缩小可疑区域范围，记录切割位置矩阵L₁；

步骤十中，对步骤九得到的图像进行切割，具体为：依次从图像矩阵的第一行、第一列、最后一行和最后一列进行搜索，找到最先出现大于零元素的所在行列，缩小可疑区域范围，记录切割位置矩阵L₂。

步骤十三中，判定是太阳还是火焰区域，具体为：

步骤A、寻找步骤十二中得到的图像的最高亮度[k·max(p_cut) max(p_cut)]范围内的值；

步骤B、将这些值全部置为255，其他区间的值置为0，得到p_reset；

步骤C、计算p_reset中的各个区域的大小，其中：面积最大的部分记为Sp_max，将面积小于的区域删去，此时图像记为p_del；

步骤D、将图像p_del再次进行切割，计算切割后图形非零区域所占比值；

然后根据判决门限T_sun进行判断。

步骤十六中，目标区域RGB归一化值、目标区域RGB标准差、纹理相关性和平稳度为：

各分量的均值为：μ_j(j＝r,g,b)

各分量的归一化值为：

各分量的标准差为：

式中：N_j表示所在矩阵分量元素的个数；x_ij表示所在矩阵分量的第i行、第j列的元素的值；这里的r、g、b分别对应于R、G、B三分量矩阵，j＝r表示处理的是R分量矩阵。

步骤十六中，纹理相关性利用下式进行统计：

其中：

i表示图像的第i行、j表示图像的第j列；P(i,j)表示图像的第i行、第j列的元素的值。

步骤十六中，平稳度利用下式进行计算：

本发明运用的基于火焰、烟雾特征的RGB分量重构的方法修正灰度转换公式，来突出图像中火焰、烟雾部分而破坏掉其他干扰部分，可不断缩小目标区域以达到精确识别的目的。且在处理过程中，不断删去干扰区域，最后对原图像仅保留目标最主要的部分(目标面积最大的几个部分)的像素，而没有背景的干扰，这样便可在图像中精确的寻找到疑似火焰、烟雾的区域，把这些区域分割出来，此时再做特征提取，便完全是对要识别目标提取特征，而不含有干扰区域带来的影响，因此能得到可信度极高且极准确的特征信息。在识别火焰时，根据太阳颜色、亮度分布均匀的特性，又可以区分出是太阳区域还是火灾区域。在烟雾识别时，利用自然烟雾与木材燃烧所产生烟雾RGB分量的不同，以及两种烟雾纹理特征的不同，又可进一步区分出是自然烟雾还是燃烧烟雾。具有林区背景下良好的火灾检测识别功能。

附图说明

图1是实施例提出的基于RGB重构的森林图像切割后的火焰/烟雾识别方法的RGB重构图；

图2是实施例提出的基于RGB重构的森林图像切割后的火焰/烟雾识别方法的缩小可疑区域的切割模型图；

图3是实施例提出的基于RGB重构的森林图像切割后的火焰/烟雾识别方法中为区分自然烟雾、燃烧烟雾而使用的BP神经网络模型图；

图中：第一层的输入为：特征矩阵；第一层神经元个数：N1＝19；第二层神经元个数：N2＝2；两层的传递函数均为：logsig；网络训练函数：Trainrp；输出结果：2个；

图4是具体实施提出的基于RGB重构的森林图像切割后的火焰/烟雾识别方法中通过训练得到的BP神经网络性能图；

图5是具体实施例提出的基于RGB重构的森林图像切割后的火焰/烟雾识别方法流程图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，本发明的实施方式不仅限于处理图片，亦可用于视频图像处理，亦可用于其他目标RGB值与背景RGB值相差较大情况下的物体识别。

本发明基于安装在林区高地的普通摄像头，拍摄实时画面进行林火监控识别的设想而设计出森林背景下火焰以及烟雾图像分割的方法，并切割出可疑区域、剥离信息区域与背景区域，且删除小的区域仅在原图中保留最主要的区域，再对信息区域提取图像特征的方法来判定是否有火灾发生，且有效避免将太阳、自然烟雾进行误判的情况。

本实施方式的一种基于RGB重构的森林图像切割后的火焰、烟雾识别的方法，具体是按照以下步骤制备的：

步骤一、首先输入普通CCD拍摄的待处理的森林图片P₀；

步骤二、考虑到森林火灾识别中最重要的是识别出火焰，火焰中R分量在[201 255]区间，首先抽离出原始图片P₀的R矩阵R₀，对R₀进行自适应最佳阈值迭代分割，令D＝R₀；

1)、选择要处理矩阵D的中值作为初始的阈值：

Threshold_D＝(min(D₀)+max(D₀))/2

利用Threshold_D将图像分割为两部分，分别为r₁、r₂，其中r₁为数值大于阈值区域，r₂为数值小于等于阈值区域；

2)、分别计算r₁、r₂区域的数值均值μ₁、μ₂；

3)、新的迭代阈值为：

Threshold_D＝(μ₁+μ₂)/2

如此循环迭代，直到前后两个阈值只差的绝对值小于1时停止迭代；

步骤三、RGB重构，找到原图像中R分量最占据优势的区域r₁，最大程度破坏其他干扰区域。

1)、步骤二完成之后将R分量最后分割的区域r₁值全置为255，r₂的值全部置为0，变为R₁；

2)、把原始图片P₀的G矩阵G₀的r₁区域的值全置为0，r₂的全部置为255，变为G₁；

3)、把原始图片P₀的B矩阵B₀的r₁区域、r₂区域全部置为255，变为B₁；

步骤四、以突出火焰、烟雾成分为目的，基于RGB重构修正普通的彩色RGB图像转灰度图像的公式。传统常用的RGB转灰度图像的公式：

gray＝0.2989×R+0.5870×B+0.1140×G

本发明中针对疑似火焰区域：

gray_i＝1.2×R₀-0.9×B₀-0.9×G₀(i＝fire)

本发明中针对疑似烟雾区域：

gray_i＝1.2×R₀-0.9×B₁-0.9×G₁(i＝smog)

最开始时令i＝fire；

步骤五、对得到的gray_i进行中值滤波得到image_filter，再对image_filter使用prewitt算子进行图像分割得到处理后的图像BW；

中值滤波原理为，线确定奇数像素窗口W，在W内取数值中间值，然后代替要处理图像gray_i的值，得到：

image_filter(x,y)＝Med{f(x-k,y-l),(k,l∈W}

边缘分割prewitt算子其模板为：

对image_filter进行处理得到：

步骤六、将得到的BW图像先进行腐蚀，然后膨胀，其中腐蚀的结构元素小于膨胀的结构元素，生成BW_open；

腐蚀操作公式：E(BW)＝BWΘS¹，其中S¹是腐蚀的结构元素

膨胀操作公式：其中S²是膨胀的结构元素

一般把先腐蚀后膨胀的运算称为开运算，本发明因二者所用的结构元素不同而分开表示，其中膨胀的结构元素要大于腐蚀的膨胀元素，以更好的消去结构小的区域，连通大区域。这对于应对复杂森林背景下由于树叶或树枝造成的影响具有重要作用。

步骤七、经过上述步骤处理，图像中非火焰疑似区域的值几乎均被置为负数，此时计算BW_open中非负元素所占比例，若小于阈值T_smog则判定为烟雾图像，若大于阈值T_smog，则为疑似火焰区域；

步骤八、若判定为烟雾，直接跳至步骤十四；若判定为疑似火焰区域直接对BW_open进行第一次预切割。切割算法为依次从图像矩阵的第一行、第一列、最后一行和最后一列进行搜索，找到最先出现大于零元素的所在行列(如图3所示)缩小可疑区域范围，记录切割位置矩阵L₁，并将切割后的图像进行硬判决，小于0的值置为0，大于0的值置为255，得到图像BW_reset；

步骤九、计算BW_reset中的各个区域的大小，其中面积最大的部分为Sbw_max，对于面积小于的区域删去，只保留面积足够大的主要区域进行后续分析即可，此时图像记为BW_del；

步骤十、对BW_del进行切割，切割方法同步骤八，不断缩小包含最主要的可疑区域的面积，记录切割位置矩阵L₂，切割后的图像为BW_cut；

步骤十一、根据两次切割的位置矩阵L₁、L₂，在原图P₀上进行切割，切割后的图像为P_cut；

步骤十二、对P_cut进行灰度处理、中值滤波后得到p_cut，此处灰度处理公式传统灰度处理公式，即gray，中值滤波操作同步骤五；

步骤十三、判定是火焰区域还是太阳；

1)、找到p_cut元素的最大值max(p_cut)，再乘以一个加权因子k(k<1)；

2)、找到p_cut元素中在区间[k·max(p_cut)max(p_cut)]上的值；

3)、将这些值都置为255，其他区间的值置为0，得到p_reset；

4)、计算p_reset中的各个区域的大小，其中面积最大的部分为Sp_max，对于面积小于的区域删去，此处操作同步骤九，此时图像记为p_del；

5)、将p_del再次进行切割，此处操作同步骤八，计算切割后图形非零区域所占比值，若大于门限T_sun则判定为太阳，且在不是烟雾的情况下小于门限则为火焰；

步骤十四、当判定为烟雾时，返回步骤二，步骤二修改为对RGB三分量的全局自适应阈值迭代分割，即D＝[R₀ G₀ B₀]；步骤三不做变化；步骤四令i＝smog；再依次执行步骤五到步骤十一；

步骤十五、跟据步骤十得到的图形BW_cut，找到其数值为零元素的位置，将步骤十一切割得到的图形的RGB三分量相应位置处均置为零，便得到只含有连通面积最大的几部分的烟雾图像，得到P_new；

步骤十六、统计P_new的特征信息，区分它是因火灾来的燃烧烟雾还是自然烟雾，这些特征信息有目标区域RGB归一化值、目标区域RGB标准差、纹理相关性和平稳度；

其中各分量的均值为：μ_j(j＝r,g,b)

其中各分量的归一化值为：

其中各分量的标准差为：

在统计纹理相关性和平稳度时，首先要产生一个灰度共生矩阵，然后再来统计图像的能量、对比度、相关性、熵和平稳度等。本专利中针对自然烟雾与燃烧烟雾的特性，仅采用为相关性和平稳度两种纹理特征。

统计纹理相关性，它是度量空间灰度共生矩阵在行或列方向上的相似程度：

其中：

平稳度反应图像纹理的粗糙度，粗纹理的平稳度较大，细纹理的平稳度较小：

步骤十七、将上面提取的特征，输入用燃烧烟雾和自然烟雾训练好的BP神经网络中进行识别，判定是自然烟雾还是燃烧烟雾；

本实施方式效果：本发明运用的一种基于RGB重构的森林图像切割后的火焰、烟雾识别方法。目的在于基于火焰、烟雾区域与背景区域RGB三分量值的不同，最大程度破坏背景区域，以不断缩小目标区域。在缩小目标区域的过程中，又只考虑特征最明显的区域，即符合特征的面积最大的那些连通区域，删除小的、可能造成误判的区域。经过强化火焰特征的修正灰度公式处理之后，再经过滤波、切割、腐蚀和膨胀，依据非负元素所占比例判断出是烟雾还是火焰疑似区域。

如果是烟雾，可再改用基于RGB三分量重构的，优化烟雾分量抑制背景的修正灰度公式处理，最后再根据纹理特征判断是自然烟雾还是燃烧烟雾；如果是火焰疑似区域，由于太阳的亮度最大，且颜色、纹理等分布均匀，通过寻找最大亮度范围区域在整个切割出的删去次要部分的可疑区域中的比例，即可判断是太阳还是火焰。

本发明中，步骤七中当rate>9×10^-3时，判定为火焰疑似区域；当rate≤9×10^-3判定为烟雾区域。

本发明中，步骤十三中当T_sun>0.56时判定为太阳；当T_sun≤0.56时判定为火焰。

本发明中，从图像里剥离出最具有烟雾特性的区域，进行特征分析；基于目标区域RGB归一化值、目标区域RGB标准差、纹理相关性和平稳度(见表1)来联合判断图像是火焰烟雾还是自然烟雾。此处可利用加权公式来处理，也可利用神经网络训练样本数据来处理。训练的BP神经网络的性能如图4所示。

表1

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。