一种多信息融合的视频火焰烟雾检测方法与流程

本发明属于计算机视觉与模式识别领域，特别涉及一种多信息融合的火焰烟雾检测方法。

背景技术：

智能视频监控技术的行业应用在国内处于刚起步的状态。传统的视频监控行业需要大量的人力资源来人工观看各路网络摄像头，并判断是否有违法行为或者灾难事件的发生。这种监控模式不仅浪费了大量的人力财力，而且容易发生疏忽遗漏的情况。因此，把计算机视觉中的相关技术应用到视频监控领域，作为一种辅助手段来提高监控事件的准确性，减少人力资源的投入，是一种主流的行业趋势。

随着目前国内环境污染问题的凸显，国家开始对污染源进行控制，其中一项关键的政策就是禁止秸秆燃烧，秸秆燃烧所产生的有毒气体，不仅会加重雾霾状况，而且会对人类和其他生物的健康造成威胁。目前检测秸秆燃烧的方法是人工视频监控，这种方法不仅消耗大量人力财力，而且容易产生遗漏现象，如果能够利用机器学习和模式识别的理论来设计一种火焰和烟雾检测技术，让计算机来智能地检测这种状况，将大大的提高检测的鲁棒性，减少人力资源的投入。

火焰和烟雾检测虽然是两种不同的技术，但是两者具有相似的框架。这个框架通常包括1)前景检测、2)模式识别。因为火焰和烟雾是运动的，通过前景检测能够消除静止的相似物体对于检测的影响，如天空中的云、红颜色衣服的房子。模式识别这一步通过对火焰(烟雾)的特性进行多模式构建，来进一步的区别火焰(烟雾)与干扰物，提高检测的准确率，减少虚警概率。这一步往往是算法设计的核心，所设计模式的合适与否往往决定了算法的最终性能。

前景检测的方法有很多，一般分为背景建模、帧间差分和光流法等。一般在火焰和烟雾检测中所用到的前景检测算法都比较简单。在进行模式识别时，第一步就是目标特征模式的构建，特征的合适与否往往决定了我们能否把目标与背景区别开来。特征的设计有两种普遍的方法，第一种是人为设计，第二种就是让计算机自己去学习特征(如深度学习)。第二种方法需要巨大数量的训练样本，但是目前具有标签的火焰(烟雾)样本库很少，所以基本上没有文献采用这种方法去学习火焰(烟雾)的特征。

现存的一些火焰烟雾检测方法只采用较为单一的火焰烟雾特性进行检测，虽然它们在简单固定的环境中具有较好的检测效果，但是在自然场景中往往会产生较多的误检和漏检。为了使烟雾火焰检测可以正真应用到实际监控场景，而不是纸上谈兵，我们设计了一个多信息融合的火焰烟雾检测方法，对火焰烟雾的多种特性进行提取并融合，有利于减少实际场景中的误检，提高系统的鲁棒性。我们的火焰检测方法能够能够实时运行并且计算机资源占用率低，能够在一台普通的服务器虚拟机上并行运行100路。

技术实现要素：

本发明的目的是克服现有技术的不足，提供一种多信息融合的火焰烟雾检测方法，以解决现有火焰烟雾检测方法在自然场景中检测准确率低的问题。

本发明采用的技术方案为：首先采用一种对视频抖动不敏感的变化像素检测方法对视频图像中有较大变化的像素进行检测，然后对这些像素进行颜色特性检测，得到所有符合火焰烟雾颜色的像素。再对这些像素进行连通区域分割，得到所有变化较大且符合火焰烟雾颜色特性的区域。对这些区域进行简单的形态学处理，再对这些区域的形状、面积、位置进行逻辑判断，剔除一些明显不是火焰烟雾的区域，得到最终的火焰烟雾检测结果。具体步骤如下：

步骤1：输入初始图像

输入第一帧初始图像并作为历史图像进行保存。

步骤2：变化像素检测

输入下一帧图像，把这幅图像中的每个像素点与历史图像中的邻域像素点进行差值计算并取绝对值，再取所有绝对值的最小值进行阈值比较，大于阈值的像素点被认为是前景点，小于阈值的像素点被认为是背景点。这样可以消除视频抖动对于前景点检测的干扰。判断公式如下：

其中，r表示坐标(x，y)的邻域，i表示时间，表示t时刻图像中(x，y)坐标处的像素值，thres表示阈值。

步骤3：颜色特性检测

对步骤2中提取的所有前景点进行火焰烟雾颜色特性判断。烟雾的颜色偏白并且r、g、b三个通道相似，它的灰度会随着背景关照变化而变化，所以采用相对值比较的方法。烟雾的颜色检测公式如下：

其中，ix，y表示图像中(x，y)坐标处的像素灰度值，iavg表示整幅图像的平均灰度值，r，g，b分别表示每个像素的三个颜色通道，thres1和thres2表示阈值。

火焰颜色偏红，因为火焰是光源，它的颜色基本不随背景光照变化而变化，所以采用绝对值比较。火焰的颜色检测公式如下：

其中，ix，y表示图像中(x，y)坐标处的像素灰度值，r，g，b分别表示每个像素的三个颜色通道，thres1和thres2表示阈值。

通过颜色检测后，我们能够得到一幅二值图像，所有符合烟雾或者火焰颜色特性的像素点标记为1，其他点标记为0。然后我们对整幅图像进行分块，在每个分块里面统计烟雾火焰点的比例，大于一定比例的点被认为是正检点，这样可以排除部分噪声点对于检测的干扰。公式如下：

其中，r表示坐标(x，y)的邻域，thres表示阈值。

步骤4：连通区域分割

通过颜色检测以后，我们得到一幅二值图，每个像素表示它是否属于烟雾或者火焰，取值范围是[0，1]，1表示烟雾或火焰，0表示背景。但是我们无法通过单一的像素来判断是否是烟雾或者火焰，因此我们需要提取出成片的烟雾或者火焰，这里的联通区域分割就是提取出图像中所有的烟雾火焰块。对颜色检测后的二值图像提取轮廓，得到多个疑似烟雾或者火焰的区域。

步骤5：形状、面积、位置逻辑判断

烟雾火焰的形状一般都是不规则的，所以如果步骤4中得到的区域是矩形或者三角形，则认为干扰区域，直接排除；如果检测区域的面积过小，很可能也是干扰物，直接排除；如果检测区域位于整幅图像的边缘处，则可能由于图像边缘效应造成干扰，直接排除。

步骤6：综合判断

如果经过步骤2-5，我们检测到了火焰或者烟雾区域，则认为这幅图像中存在火焰或者烟雾，对所有烟雾区域用白色边缘进行标示，对所有火焰区域用红色边缘进行标示。

附图说明

图1为多信息融合的火焰烟雾检测方法的总体流程图。

图2为实施例中的火焰烟雾检测效果图。

具体实施方式

下面结合具体实施例，对本发明的技术方案做进一步的详细说明。

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例对一段农田秸秆焚烧视频进行火焰烟雾检测，该视频从实际监控摄像头中获取，背景中具有较多的干扰物，图2消失了火焰烟雾的检测效果。具体的实施方法包括以下步骤：

步骤1：输入初始图像

提取视频中的第一帧图像进行输入，作为历史图像进行保存。

步骤2：变化像素检测

输入下一帧图像，把这幅图像中的每个像素点与历史图像中的邻域像素点进行差值计算并取绝对值，再取所有绝对值的最小值进行阈值比较，大于阈值的像素点被认为是前景点，小于阈值的像素点被认为是背景点。这样可以消除视频抖动对于前景点检测的干扰。判断公式如下：

其中，r表示坐标(x，y)的邻域，这里取9×9的邻域；t表示时间，表示t时刻图像中(x，y)坐标处的像素值，thres表示阈值，这里取thres＝15。

步骤3：颜色特性检测

对步骤2中提取的所有前景点进行火焰烟雾颜色特性判断。烟雾的颜色偏白并且r、g、b三个通道相似，它的灰度会随着背景关照变化而变化，所以采用相对值比较的方法。烟雾的颜色检测公式如下：

其中，ix，y表示图像中(x，y)坐标处的像素灰度值，iavg表示整幅图像的平均灰度值，r，g，b分别表示每个像素的三个颜色通道，thres1和thres2表示阈值，这里取thres1＝20，thres2＝0.15。

火焰颜色偏红，因为火焰是光源，它的颜色基本不随背景光照变化而变化，所以采用绝对值比较。火焰的颜色检测公式如下：

其中，ix，y表示图像中(x，y)坐标处的像素灰度值，r，g，b分别表示每个像素的三个颜色通道，thres1、thres2和thres3表示阈值，这里取thres1＝200，thres2＝30。

通过颜色检测后，我们能够得到一幅二值图像，所有符合烟雾或者火焰颜色特性的像素点标记为1，其他点标记为0。然后我们对整幅图像进行分块，在每个分块里面统计烟雾火焰点的比例，大于一定比例的点被认为是正检点，这样可以排除部分噪声点对于检测的干扰。公式如下：

其中，r表示坐标(x，y)的邻域，thres表示阈值，这里取thres＝0.3。

步骤4：连通区域分割

通过颜色检测以后，我们得到一幅二值图，每个像素表示它是否属于烟雾或者火焰，取值范围是[0，1]，1表示烟雾或火焰，0表示背景。但是我们无法通过单一的像素来判断是否是烟雾或者火焰，因此我们需要提取出成片的烟雾或者火焰，这里的联通区域分割就是提取出图像中所有的烟雾火焰块。对颜色检测后的二值图像提取轮廓，得到多个疑似烟雾或者火焰的区域。

步骤5：形状、面积、位置逻辑判断

烟雾火焰的形状一般都是不规则的，所以如果步骤4中得到的区域是矩形或者三角形，则认为干扰区域，直接排除；如果检测区域的面积小于图像总面积的0.05％，很可能也是干扰物，直接排除；如果检测区域与图像的边缘的距离小于20像素，则可能由于图像边缘效应造成干扰，直接排除。

步骤6：综合判断

如果经过步骤2-5，我们检测到了火焰或者烟雾区域，则认为这幅图像中存在火焰或者烟雾，对所有烟雾区域用白色边缘进行标示，对所有火焰区域用红色边缘进行标示。最终的检测结果如图2所示。

以上所述仅为本发明的较佳实施例而已，并不以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。