专利名称:视频图像序列中烟雾的检测方法及装置的制作方法
技术领域：
本发明涉及图像处理及视频监控，尤其涉及一种视频图像序列中烟雾的检测方法及装置。
背景技术：
根据火灾产生规律，火情烟雾的出现早于明火的出现，因此烟雾检测技术被广泛地应用于火情早期预警中。在烟雾检测技术中，基于视频的烟雾检测由于其非接触性、成本较低等优势成为研究的热点。
美国专利申请US 2007/0019071A1公开了一种烟雾检测方法，采用背景估计来提取图像中烟雾区域。公开号为CN 101059435A的中国专利申请公开了一种基于彩色CCD图像分析的森林火情烟雾检测方法，采用小波分析和多特征融合算法对图像进行烟雾检测。 上述烟雾检测方法都单纯的采用背景分割而未考虑到烟雾的运动方向，这种方法容易受到光照、噪声以及背景纹理的影响。
公开号为CN101395643A的中国专利申请公开了一种利用摄像机检测烟雾的方法。该方法首先确定视频图像中运动区域的方法和大小来检查该运动区域是否可能存在烟雾，然后在检测到可能存在烟雾时，依据表征烟雾的信息来分析该运动区域的至少一部分是否存在烟雾。该方法需要多个信息来提高检测可靠度并且计算比较复杂。
公开号为CN 101339602A的中国专利申请公开了一种基于光流法的视频火灾烟雾图像识别方法，通过计算前景图像中所有角点光流速度大小组成数组的平均值和方差及光流速度方向组成数组的平均值和方差，来检测烟雾区域。但是由于方法建立在背景上，因此受光照、噪声以及背景纹理的影响仍存在。
综上所述，目前迫切需要提出一种消除光照、噪声以及背景纹理的影响且计算简单的烟雾检测的方法及装置。
发明内容
有鉴于此，本发明的主要目的在于消除光照、噪声以及背景纹理的影响，以较低的计算成本提高烟雾检测的可靠性。
为达到上述目的，按照本发明的第一个方面，提供了一种视频图像序列中烟雾的检测方法，该方法包括步骤
第一步骤，计算视频图像帧的帧间差分图像中各像素的光流方向；
第二步骤，根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值；
第三步骤，根据各像素对应的积分值确定各像素是否是烟雾点；
第四步骤，获取由所有烟雾点构成的初始检测区域；和
第五步骤，判断所获取的初始检测区域是否为烟雾区域。
按照本发明的另一个方面，提供了一种视频图像序列中烟雾的检测装置，该装置包括
光流方向计算单元，用于计算视频图像帧的帧间差分图像中各像素的光流方向；
积分值计算单元，用于根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值；
烟雾点确定单元，根据各像素对应的积分值确定各像素是否是烟雾点；
初始检测区域获取单元，用于获取由所有烟雾点构成的初始检测区域；和
烟雾区域判定单元，用于判断所获取的初始检测区域是否为烟雾区域并输出与烟雾区域相关的信息。
图1示出了按照本发明的视频图像序列中烟雾的检测方法的总体流程图；
图2示出了按照本发明的视频图像序列中烟雾的检测方法中的第一步骤的流程图；
图3示出了按照本发明的视频图像序列中烟雾的检测方法中的第五步骤的流程图；
图4示出了按照本发明的视频图像序列中烟雾的检测装置的示意框图；
图5示出了按照本发明的第一优选实现方式的视频图像序列中烟雾的检测方法的流程图；
图6示出了按照本发明的第一优选实现方式的视频图像序列中烟雾的检测装置的示意框图；
图7示出了按照本发明的第二优选实现方式的视频图像序列中烟雾的检测方法的流程图；和
图8示出了按照本发明的第二优选实现方式的视频图像序列中烟雾的检测装置的示意框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
图1表示按照本发明的视频图像序列中烟雾的检测方法的总体流程图。如图1所示，按照本发明的视频图像序列中烟雾的检测方法可以包括以下步骤
第一步骤101，计算视频图像帧的帧间差分图像中各像素的光流方向；
第二步骤102，根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值；
第三步骤103，根据各像素对应的积分值确定各像素是否是烟雾点；
第四步骤104，获取由所有烟雾点构成的初始检测区域；和
第五步骤105，判断所获取的初始检测区域是否为烟雾区域。
下面将详细介绍上述各个步骤。为了减少光照等的影响，本发明计算的是帧间差分图像的光流。
第一步骤
图2示出了按照本发明的视频图像序列中烟雾的检测方法的第一步骤的流程图。 如图2所示，该第一步骤包括
步骤201，计算相邻两帧视频图像的帧间差分图像。
步骤202，根据帧间差分图像计算各个像素相应的光流方向。
本步骤中假设t时刻的帧间差分图像中像素点m(x，y)的像素值为I (x，y，t)，其对应的光流方向为G =(WpVi)，其中Ut表示光流X方向分量，Vt表示光流y方向分量。设在很短的时间间隔dt内，像素点m(x，y)的像素值不变，则有
I (x+utdt, y+vtdt, t+dt) = I (χ, y, t)
展开得
权利要求
1.一种视频图像序列中烟雾的检测方法，该方法包括步骤第一步骤，计算视频图像帧的帧间差分图像中各像素的光流方向； 第二步骤，根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值； 第三步骤，根据各像素对应的积分值确定各像素是否是烟雾点； 第四步骤，获取由所有烟雾点构成的初始检测区域；和第五步骤，判断所获取的初始检测区域是否为烟雾区域； 其中，第五步骤包括 计算初始检测区域的光流方向的直方图；针对所述初始检测区域，统计其光流方向的直方图中的同值像素的个数并且确定出这些个数中的最大值；计算所述初始检测区域中同值像素个数的最大值的周边范围所包含的同值像素个数在直方图中的所有像素个数中所占的比例；判断所述同值像素个数的最大值的周边范围所包含的同值像素个数在直方图中的所有像素个数中所占的比例是否大于预定的第七阈值T7，如果所述比例大于第七阈值T7，则将所述初始检测区域判定为烟雾区域并输出与烟雾区域相关的信息，其中T7的取值范围为 0. 6 < T7 < 0. 8。
2.按照权利要求
1所述的方法，其中第一步骤包括a)依次计算所述视频图像序列中每两个相邻视频图像帧之间的帧间差分图像，得出帧间差分图像序列；b)计算帧间差分图像序列中各帧间差分图像中各像素m(x，y)的光流方向％_，其中 P为大于0的整数且ρ代表帧间差分图像的序号，每一个帧间差分图像中各像素的光流方向构成一个光流方向图像。
3.按照权利要求
2所述的方法，其中第二步骤包括c)以帧间差分图像序列中的第η个帧间差分图像中各像素的光流方向作为第 η+1个帧间差分图像中对应的各像素位置上的背景方向do^)，并且令各像素位置对应的方向判定值rmmx, y等于方向判定值初始值，令各像素位置对应的积分值Ex, y等于积分值初始值；d)从第η+1个帧间差分图像开始直到最后一个帧间差分图像，针对每一个帧间差分图像，基于帧间差分图像中各像素的光流方向和对应像素位置上的背景方向Fs^Sk之间的夹角大小，其中i为大于0的整数，计算第n+i个帧间差分图像中各像素对应的方向判定值numx,y的值，基于所计算出的方向判定值numx,y的值判定第n+i个帧间差分图像中各像素光流方向的类别，并且确定下一帧间差分图像中各像素位置上的背景方向；e)从第η+1个帧间差分图像开始直到最后一个帧间差分图像，针对每一个帧间差分图像，基于帧间差分图像中各像素光流方向的类别，计算各像素对应的积分值Ex,y的值。
4.按照权利要求
3所述的方法，其中第三步骤包括f)根据步骤e)得出的所述积分值Ex,y的值确定各像素是否是烟雾点。
5.按照权利要求
3所述的方法，其中，步骤d)包括从第n+1个帧间差分图像开始直到最后一个帧间差分图像，针对每一个帧间差分图像，按照下式将帧间差分图像中各像素的光流方向FronTi,力和所述各像素位置上的背景方向之间的夹角大小与预定的第一阈值Tl相比较来判定各像素光流方向的状态state I厂》!(;，) ““ ^s>h(jc，3o| > Ti，state = 1 — ^Bm(x，y)—乃’ State = 0 如果state = 0，则将下一帧间差分图像中相同像素位置上的背景方向更新为 C,,,) =O^xF5X) +O.lxFJ^)’并且若 numx,y 大于 0，则 numx,y = numx,y-l ；若 numx,y 等于 0，则使numx, y的值保持为0;
6.按照权利要求
5所述的方法，其中步骤e)包括从第n+1个帧间差分图像开始直到最后一个帧间差分图像，针对每一个帧间差分图像，如果像素点m(x，y)的光流方向的类别为同向，则将该像素点m(x，y)对应的光流方向积分值Ex,y加上第一固定值Dl ；如果像素点m(x，y)的光流方向的类别为反向，则将该像素点m(x，y)对应的光流方向积分值Ex,y减去第二固定值D2 ；如果像素点m(x，y)的光流方向的类别为混乱，则该像素点m(x，y)对应的光流方向积分值Ex, y保持不变；其中，8 < Dl < 20且Dl为整数，8 < D2 < 20且D2为整数。
7.按照权利要求
6所述的方法，其中第三步骤包括如果像素点m(x，y)对应的光流方向积分值Ex, y大于预定的第五阈值T5，则该像素点 m(x, y)为烟雾点，其中，150彡T5彡200且T5为整数。
8.按照权利要求
1所述的方法，其中第一步骤包括a)计算当前视频图像帧与前一视频图像帧之间的帧间差分图像；b)计算所述帧间差分图像中各像素m(x，y)的光流方向Vm(x,y)，这些光流方向构成一个光流方向图像。
9.按照权利要求
8所述的方法，其中第二步骤包括c)如果所述帧间差分图像中的各像素位置不存在相应的背景方向，则将所述各像素 m(x, y)的光流方向Vm(x,y)作为相同像素位置上的背景方向VBm(x,y)，且令各像素位置对应的方向判定值rmmx, y等于方向判定值初始值，令各像素位置对应的积分值Ex, y等于积分值初始值，并且返回到步骤a)，否则执行步骤d)；d)基于所述帧间差分图像中各像素的光流方向Vm(x,y)和相同像素位置上的背景方向 VBffl(x,y)之间的夹角大小，计算所述帧间差分图像中各像素对应的方向判定值rmmx,y的值，基于方向判定值numx, y的值判定所述帧间差分图像中各像素光流方向的类别，并且重新确定各像素位置上的背景方向；e)根据帧间差分图像中各像素光流方向的类别，计算各像素对应的积分值Ex,y的值。
10.按照权利要求
9所述方法，其中第三步骤包括f)根据步骤e)得出的所述积分值Ex,y的大小确定所述帧间差分图像中各像素是否是烟雾点，如果存在烟雾点，则执行步骤g)， 如果不存在烟雾点，则返回步骤a)；g)如果判定为烟雾点的像素个数大于预定的第八阈值T8，则执行第四步骤，否则返回到步骤a)。
11.按照权利要求
9所述的方法，其中步骤d)包括按照下式将帧间差分图像中各像素的光流方向Vm(x,y)和所述各像素位置上的背景方向 VBffl(x,y)之间的夹角大小与预定的第一阈值Tl相比较来判定各像素光流方向的状态state Vm(x,y)-VBm(xjy) I > Tl, state = 1 Vm(x,y)-VBm(xjy) I ( Tl, state = 0如果state = 0，则将该像素位置上的背景方向VBm(x,y)更新为0. 9XVBm(x,y)+0. IXVmix, y)，并且若numx, y大于0，则numx, y = numx, y_l ；若numx, y等于0，则使numx, y的值保持为0 ； 如果state = 1，若numx,y小于第二阈值T2，则numx,y = numx,y+l，否则numx,y保持不变， 当numx,y彡预定的第三阈值T3时，判定像素点m(x，y)的光流方向Vm(x,y)的类别为同向，且使该像素位置上的背景方向保持不变；当numx,y >第三阈值T3且numx,y <预定的第四阈值T4时，判定像素点m(x，y)的光流方向Vm(x,y)的类别为混乱，且使该像素位置上的背景方向保持不变；当皿!1^>第四阈值T4时，判定像素点m(x，y)的光流方向Vm(x,y)的类别为反向，且将该像素位置上的背景方向更新为该像素点的光流方向VBm(x,y) =Vfflix,y), 其中T3 < T4彡T2。
12.按照权利要求
11所述的方法，其中步骤e)包括如果像素点m(x，y)的光流方向的类别为同向，则将该像素点m(x，y)对应的光流方向积分值Ex,y加上第一固定值Dl ；如果像素点m(x，y)的光流方向的类别为反向，则将该像素点m(x，y)对应的光流方向积分值Ex,y减去第二固定值D2 ；如果像素点m(x，y)的光流方向的类别为混乱，则该像素点m(x，y)对应的光流方向积分值Ex, y保持不变。
13.按照权利要求
12所述的方法，其中步骤f)包括如果像素点m(x，y)对应的光流方向积分值Ex, y大于预定的第五阈值T5，则该像素点 m(x,y)为烟雾点并且执行步骤g)；如果所有的光流方向积分值Ex,y都小于预定的第五阈值 T5，则返回步骤a)。
14.按照权利要求
13所述的方法，此外还包括步骤第六步骤，输出所述与烟雾区域相关的信息并清除背景方向。
15.按照权利要求
3或9所述的方法，其中，所述方向判定值初始值和积分值初始值均为0。
16.一种视频图像序列中烟雾的检测装置，该装置包括光流方向计算单元，用于计算视频图像帧的帧间差分图像中各像素的光流方向； 积分值计算单元，用于根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值；烟雾点确定单元，根据各像素对应的积分值确定各像素是否是烟雾点； 初始检测区域获取单元，用于获取由所有烟雾点构成的初始检测区域；和烟雾区域判定单元，用于判断所获取的初始检测区域是否为烟雾区域并输出与烟雾区域相关的信息；所述烟雾区域判定单元进行以下操作 计算初始检测区域的光流方向的直方图；针对所述初始检测区域，统计其光流方向的直方图中的同值像素的个数并且确定出这些个数中的最大值；计算所述初始检测区域中同值像素个数的最大值的周边范围所包含的同值像素个数在直方图中的所有像素个数中所占的比例；判断所述同值像素个数的最大值的周边范围所包含的同值像素个数在直方图中的所有像素个数中所占的比例是否大于预定的第七阈值T7，如果所述比例大于第七阈值T7，则将所述初始检测区域判定为烟雾区域并且输出与烟雾区域相关的信息，其中 0. 6 彡 T7 彡 0. 8。
17.按照权利要求
16所述的装置，其中光流方向计算单元包括帧间差分图像计算模块，用于依次计算所述视频图像序列中每两个相邻视频图像帧之间的帧间差分图像，得出帧间差分图像序列；光流方向计算模块，用于计算帧间差分图像序列中各帧间差分图像中各像素m(x，y) 的光流方向KmpO^，其中P为大于0的整数且P代表帧间差分图像的序号，每一个帧间差分图像中各像素的光流方向构成一个光流方向图像。
18.按照权利要求
17所述的装置，其中积分值计算单元包括输入端模块，用于接收第η个到最后一个帧间差分图像中各像素的光流方向，并且以帧间差分图像序列中的第η个帧间差分图像中各像素的光流方向作为第n+1个帧间差分图像中对应的各像素位置上的背景方向dte>0，并且令各像素位置对应的方向判定值rmmx, y等于方向判定值初始值，令各像素位置对应的积分值Ex, y等于积分值初始值；光流方向类别判定模块，用于从输入端模块接收第n+1个到最后一个帧间差分图像中各像素的光流方向以及背景方向^>0^，针对每一个帧间差分图像，基于帧间差分图像中各像素的光流方向^^tjo和对应像素位置上的背景方向^^i)之间的夹角大小，其中i为大于 0的整数，计算第n+i个帧间差分图像中各像素对应的方向判定值numx,y的值，基于方向判定值numx, y的值判定第n+i个帧间差分图像中各像素光流方向的类别，并且确定下一帧间差分图像中各像素位置上的背景方向；积分值计算模块，用于从第n+1个帧间差分图像开始直到最后一个帧间差分图像，基于帧间差分图像中各像素光流方向的类别，计算各像素对应的积分值Ex,y的值。
19.按照权利要求
18所述的装置，其中烟雾点确定单元进行以下操作 根据积分值计算单元得出的所述积分值Ex, y的值确定各像素是否是烟雾点。
20.按照权利要求
18所述的装置，其中，光流方向类别判定模块进行以下操作 从输入端模块接收第n+1个到最后一个帧间差分图像中各像素的光流方向以及背景方向^X(M)，按照下式从第n+1个帧间差分图像开始将一个帧间差分图像中各像素的光流方向&ι，”和所述各像素位置上的背景方向之间的夹角大小与预定的第一阈值Tl相比较来判定各像素光流方向的状态state Kn(x,y) ~ ^Bm(x,y) > 凡 State = 1 ^mfx,y}21.按照权利要求
20所述的装置，其中积分值计算模块进行以下操作接收光流方向类别判定模块输出的第n+1个到最后一个帧间差分图像中各像素光流方向的类别，并且从第n+1个帧间差分图像开始到最后一个帧间差分图像，针对每一个帧间差分图像， 如果像素点m(x，y)的光流方向的类别为同向，则将该像素点m(x，y)对应的光流方向积分值Ex,y加上第一固定值Dl ；如果像素点m(x，y)的光流方向的类别为反向，则将该像素点m(x，y)对应的光流方向积分值Ex,y减去第二固定值D2 ；如果像素点m(x，y)的光流方向的类别为混乱，则该像素点m(x，y)对应的光流方向积分值Ex, y保持不变；其中，8 < Dl < 20且Dl为整数，8 < D2 < 20且D2为整数。
22.按照权利要求
21所述的装置，其中烟雾点确定单元进行以下操作如果像素点m(x，y)对应的光流方向积分值Ex, y大于预定的第五阈值T5，则该像素点 m(x, y)为烟雾点，其中，150彡T5彡200且T5为整数。
23.按照权利要求
16所述的装置，其中光流方向计算单元包括帧间差分图像计算模块，用于计算当前视频图像帧与前一视频图像帧之间的帧间差分图像；光流方向计算模块，用于计算所述帧间差分图像中各像素m(x，y)的光流方向Vm(x,y)，这些光流方向构成一个光流方向图像。
24.按照权利要求
23所述的装置，其中积分值计算单元包括 背景方向存储器；输入端模块，用于从光流方向计算单元接收帧间差分图像中各像素m(x，y)的光流方向Vm(x,y)并且从所述背景方向存储器中读取背景方向，如果所述背景方向存储器中不存在各个像素位置上的背景方向，则将所述各像素m (X， y)的光流方向Vm(x,y)作为相同像素位置上的背景方向VBm(x,y)存储在所述背景方向存储器中，且令各像素位置对应的方向判定值numx,y等于方向判定值初始值，令各像素位置对应的积分值Ex, y等于积分值初始值，如果所述背景方向存储器中存在各个像素位置上的背景方向，则输出所接收到的帧间差分图像中各像素m(x，y)的光流方向Vm(x,y)以及从所述背景方向存储器中读取的背景方向；光流方向类别判定模块，用于基于所述帧间差分图像中各像素的光流方向Vm(x,y)和对应像素位置上的背景方向VBm(x,y)之间的夹角大小，计算所述帧间差分图像中各像素对应的方向判定值mimx, y的值，基于方向判定值numx,y的值判定所述帧间差分图像中各像素光流方向的类别，并且确定下一帧间差分图像中各像素位置上的背景方向；积分值计算模块，用于根据帧间差分图像中各像素光流方向的类别，计算各像素对应的积分值Ex, y的值。
25.按照权利要求
M所述装置，其中烟雾点确定单元包括烟雾点确定模块，用于根据积分值计算模块得出的所述积分值Ex, y的大小确定所述帧间差分图像中各像素是否是烟雾点，如果存在烟雾点，则输出烟雾点的信息；烟雾点个数统计模块，用于统计所述烟雾点确定模块确定的烟雾点的个数，当烟雾点的个数大于预定的第八阈值T8时，则输出所有的烟雾点的信息。
26.按照权利要求
M所述的装置，其中光流方向类别判定模块进行以下操作按照下式将帧间差分图像中各像素的光流方向Vm(x,y)和所述各像素位置上的背景方向 VBffl(x,y)之间的夹角大小与预定的第一阈值Tl相比较来判定各像素光流方向的状态state
27.按照权利要求
26所述的装置，其中积分值计算模块进行以下操作如果像素点m(x，y)的光流方向的类别为同向，则将该像素点m(x，y)对应的光流方向积分值Ex,y加上第一固定值Dl ；如果像素点m(x，y)的光流方向的类别为反向，则将该像素点m(x，y)对应的光流方向积分值Ex,y减去第二固定值D2 ；如果像素点m(x，y)的光流方向的类别为混乱，则该像素点m(x，y)对应的光流方向积分值Ex, y保持不变。
28.按照权利要求
27所述的装置，其中烟雾点确定模块进行以下操作如果像素点m(x，y)对应的光流方向积分值Ex, y大于预定的第五阈值T5，则该像素点 m(x,y)为烟雾点并且输出所有烟雾点的信息。
29.按照权利要求
28所述的装置，此外还包括输出单元，用于在接收到烟雾区域判定单元输出的与烟雾区域相关的信息时，清空所述背景方向存储器并且输出所述与烟雾区域相关的信息。
30.按照权利要求
18或24所述的装置，其中，所述方向判定值初始值和积分值初始值均为0。
专利摘要
本发明提供了一种视频图像序列中烟雾的检测方法，该方法包括步骤第一步骤，计算视频图像帧的帧间差分图像中各像素的光流方向；第二步骤，根据各像素的光流方向与相同像素位置上的背景方向之间的偏离量确定各像素光流方向的类别，并基于各像素光流方向的类别，计算各像素对应的积分值；第三步骤，根据各像素对应的积分值确定各像素是否是烟雾点；第四步骤，获取由所有烟雾点构成的初始检测区域；和第五步骤，判断所获取的初始检测区域是否为烟雾区域。本发明不需要建立背景，能消除光照、噪声以及背景纹理的影响，提高了烟雾检测的可靠性。
文档编号G06T7/20GKCN101794450 B发布类型授权 专利申请号CN 200910237654
公开日2011年12月14日 申请日期2009年11月13日
发明者陆奇星 申请人:北京智安邦科技有限公司导出引文BiBTeX, EndNote, RefMan专利引用 (5),