一种基于稠密光流的视频图像烟雾检测方法与流程

本发明属于数字图像及视频处理领域范畴，应用本发明的方法可以检测出火灾发生时视频图像中的烟雾。

背景技术：

火给人类带来光明和温暖，是人类迈向文明时代的标志，然而火若是在时间和空间上失去控制的燃烧就会造成灾害。在各类灾害中，火灾最经常最普遍地危害公众安全和社会发展。火灾不仅毁坏物质财产，还严重威胁着人的生命健康和安全，一旦发生会给我们造成不可挽回的损失。因此，如果能够在火灾发生初期及早发现，并将其扑灭才可以最大限度的降低火灾造成的危害。

传统的火灾报警系统一般是基于红外传感器或烟雾传感器的，这是目前来说比较成功的，也是应用最为广泛的火灾报警器，但是这类报警器在室内大型仓库和室外大空间场所(如机场、车站、购物中心)中，或存在强气流的地方，由于无法迅速采集火灾发出的烟温变化信息，因此不能准确及时的发出报警信号，难以满足在火灾发生早期预警的要求。而且传感器容易因外界环境的作用而发生老化或损坏，而导致出现事故后的漏报和误报现象发生。

目前，随着人们安防意识的不断增强，视频监控系统已经被广泛的安装在各种公共场所，因此可以通过光学成像的视频烟雾探测技术来及早发现火灾隐患，其作用距离可以相对较远，不需要等到烟雾接近或到达设备安装的地方便能感知其发生与否，而且响应速度也会较快。现在基于视频的火灾预警研究中，很多是对火焰的识别，但是通过研究火灾发生的规律可以知道，在火灾发生早期总是会先有大量烟雾产生，如果在视频画面中看到明火，通常火灾已经开始了一段时间，或者有时候已到了不能掌控的阶段。所以“烟为火始”，火灾发生的前期通常会产生烟雾，若能在视频中及时地检测到烟雾则可提供更早的火灾预警。

基于视频监控的火灾烟雾检测系统，安装在有需求的大空间场所中，可比传统的火灾探测系统更有效的提高火灾预警的及时准确性。通过对摄像头采集到的视频序列图像进行智能分析和判断，来实现实时自动的探测火灾。而且只要是在摄像头的视野范围内，都可被及时的发现火灾隐患。

技术实现要素：

本发明提出一种可以检测视频图像火灾烟雾的方法。技术方案如下：

一种基于稠密光流的视频图像烟雾检测方法，包括下列的步骤：

1)由混合高斯背景建模法提取运动区域

a)设当前帧的rgb图像为ik,由混合高斯背景建模法得到其运动前景sk；

b)对sk进行形态学中的腐蚀和膨胀操作，然后利用ostu算法计算经过形态学处理的sk的图像分割阈值t，并分割出运动图像blockk；

c)在blockk中采用四相邻域标记法，提取连通区，并根据各连通区边界扩展形成一个外接矩形区域，由此方法可初步提取当前帧中多个运动区域：

rg＝{rg1,rg2,rg3...}

2)由帧差法提取运动区域

a)设当前帧的灰度图像为gk,与之相邻的前一帧灰度图像为gk-1，将gk与gk-1作差得到前景图像sk；

b)采用与步骤1)中同样的处理，得到当前帧中的多个运动区域：

rs＝{rs1,rs2,rs3...}

3)对步骤1)和2)中的运动区域，合并有交集的运动区域，剔除没有交集的运动区域：

r＝{r1,r2,r3...}

4)对步骤3)中得到的运动区域分成上、中、下三个均等大小的矩形区域，对前后两帧中同一矩形区域的特征点进行跟踪，得其运动偏移量，即在所得到的矩形区域中计算稠密光流，由此得到矩形区域中每个像素点的光流场；

5)对步骤3)中得到的运动区域分成上、中、下三个均等大小的矩形方块，利用sobel算子得到相应的梯度矢量；

6)对步骤4)和步骤5)得到的光流矢量和梯度矢量进行预处理，并将特征向量输入直方图中进行提取相应的特征维数，将所得到的特征输入支持向量机进行训练和识别烟雾。

附图说明

附图为使用本发明算法得到的检测结果：

图1为运动区域的提取；

图2为对运动区域进行光流法，并使用平均偏移量和mean-shift算法处理后得到的光流场。

图3(a)和(b)分别为烟雾光流失量相位直方图和人员走动光流失量相位直方图

图4本发明专利的算法流程图

具体实施方式

本发明专利通过观察烟雾运动的特性，提出一种基于稠密光流和边缘特征的烟雾检测算法。该算法首先将彩色图像进行灰度化处理，从而缩小图像的数据、提高运行的效率，对所得到的灰度图形用运动目标检测的方法得到运动物体的前景图像，对前景图像进行二值化处理以及形态学滤波，然后利用混合高斯背景建模和帧差相结合的方法，提取运动区域。之后将此运动区域池化为上、中、下三部分，并在每个池化区域提取光流矢量特征和边缘方向直方图。考虑到烟雾运动在时域中的连续相关性，提取相邻三帧的烟雾特征向量以提高算法的鲁棒性。最后使用支持向量机进行训练和检测烟雾。

以下说明基于稠密光流的视频图像烟雾检测方法的具体实施步骤：

1.图像的灰度化

将彩色图像转化成灰度图像的方法有：

a)取rgb分量的平均值

b)取rgb分量中数值最大的值作为灰度值。

gray＝max(r,g,b)

c)对rgb分量取加权平均，得到灰度值。

gray＝ωrr+ωgg+ωbb

2.运动区域的提取

方法中运动前景的提取采用混合高斯背景建模和帧差相结合的方法。

假设当前帧的rgb图像为,由混合高斯背景建模法和帧差相结合的方法得到其运动前景，为了消除孤立噪声点的影响，需要对进行形态学中的腐蚀和膨胀操作。然后利用ostu算法计算图像的分割阈值t，并分割出运动图像。最后，在所得到的多个分割出的运动图像中采用四相邻域标记法，提取连通区，并根据各连通区边界扩展形成一个外接矩形区域r。

3.对图像边缘特征的提取

对步骤2中得到的运动区域r分成上、中、下三个均等大小的矩形方块,然后在上、中下三个分块中提取相应的边缘特征。本发明根据实际中的应用情形，将运动区域分成上、中、下三部分，原因如下：由于烟雾在扩散过程往往形成类似于“倒立三角形”的形状，底部烟雾较为稀疏且光流场的相位分布较为集中，烟雾上部分较为稠密且随着空气流动向四周扩散的轨迹明显。若没有进行分块则会丢失烟雾的空间分布信息，为了保留更多的空间特性，需要对运动区域进行适当的池化。考虑到进行远距离烟雾视频拍摄时，画面中烟雾所占面积将会减少，此时不宜将池化数量设置太大。具体提取方法下面进行说明。

如果以i代表原始图像，gx＝sx*i代表经横向边缘检测的图像，gy＝sy*i代表经纵向边缘检测的图像，即图像的梯度为[gx,gy]^t。所以每个像素点的梯度矢量为[gx(x,y),gy(x,y)]^t，可以求得其极坐标形式[m(x,y),θ(x,y)]^t，即可以得到梯度的幅值m和幅角θ。相应的计算方法如下所示：

θ(x,y)＝arctan(gx(x,y)/gy(x,y))

为了消除方向符号对算法的影响以及减小特征向量的维数，本文中将在(180°,360°]范围的梯度方向投射到[0°,180°]之间。然后将梯度方向在[0°,180°]之间的幅角均匀的量化为θ1,θ2,θ3...θk，k个区间，即边缘方向直方图有k柱。其中k值可根据实际情况进行选取，k越大其计算准确性将越高，但同时算法的计算量也将线性增加，k值太小则提取的特征维数太少，将造成识别效果不佳，本文根据算法在实际中的应用情形将k设为9。缘方向直方图第k柱的值由方向属于θk的梯度幅值相加得到，相应的计算方法如下所示：

式中，θk代表第k区间的取值范围。

通过下式进行归一化：

式中，fk为第k区间的边缘方向特征归一化的结果，为了避免出现分母为零的情况，ε为取值非常小的正整数。

4.对图像光流特征的提取

对步骤2中得到的运动区域r分成上、中、下三个均等大小的矩形方块,然后在上、中下三个分块中提取相应的光流特征，具体提取方法下面进行说明。

由于光流法对光照等因素比较敏感，以及其他因素对所得到的光流场将会产生影响，这就需要对所得到的光流场进行处理。本发明方法中采用平均偏移量：利用运动分割算法获取可疑运动目标，并对前后两帧运动目标的特征点进行跟踪，得其运动偏移量。假定某一区域内有n个特征点，第i个特征点前后两帧的坐标分别为(xi，yi)、(x′i，y′i)。偏移量为li，则判断li的大小，当li小于2个像素点距离时则剔除该像素点；当li大于2个像素点距离时则保留该像素点。

假设ik为原始灰度图像，ik+1为其对应的下一帧图像，r为步骤2得到的运动区域。对ik和ik+1图像中r区域的每个像素点pi,j使用gunnarfarneback稠密光流法可得到相应的光流场f(x,y)，fx,i,j、fy,i,j为光流场的水平分量和垂直分量，进而可以求得光流矢量的幅值和相位信息。

对于处理后的光流矢量f(x,y)，根据下式求取相应的相位信息：

为了消除方向符号对算法的影响以及减小特征向量的维数，本文算法将在(π,2π]范围的相位投射到[0,π]之间。

将ang(pi,j)的取值范围分成n等份,以便将ang(pi,j)量化。n的值可以根据需要选取,n越大,其计算精度将越高,但计算量也将线性增加。所以各个取值区间为[(k-1)π/n,kπ/n],其中k＝1,…,n。设λk表示光流矢量的相位ang(pi,j)分布在第k区间内的个数,m表示所有光流矢量的相位总个数,则：

通过归一化可得到n维的光流相位分布向量。

采用类似的方法可得到相应的光流幅值分布向量。

5.svm支持向量机的融合

在具体实现中，综合考虑实际应用中的需求，本发明专利将运动区域r的原始灰度图像i池化为上、中、下三部分，用(b0,b1,b2)表示，即n取值为3。在b0中将边缘方向直方图e0的维数设为9维，光流相位分布向量s0设为18维，光流幅值分布向量l0设为9维，则上层池化区域中烟雾特征向量f0＝{e0,s0,l0}的维数为36维。由于烟雾在b0和b1中运动轨迹均较为明显，因此本发明专利将b1相应的特征向量维数设置和b0中一致，即烟雾特征向量f1＝{e1,s1,l1}的维数为36维。一般b2为烟雾运动的底层部分，此区域中烟雾较稀疏，因而将边缘方向直方图e2的维数设为9维，光流相位分布向量s2设为9维，光流幅值分布向量l2设为6维，则下层池化区域中烟雾特征向量f2＝{e2,s2,l2}的维数为24维。由上可得单帧烟雾特征向量f＝{f0,f1,f2}的维数是96。考虑到烟雾运动在时域上具有连续的相关性，本发明专利采用连续三帧图像的烟雾特征向量首尾相连，即总维数为96x3＝288。

将所得到的总维数为288的特征向量输入支持向量机svm进行训练和识别。