专利名称：一种基于光流法的视频火灾烟雾图像识别方法
技术领域：
本发明属于火灾探测技术领域，具体涉及计算机图像处理和视频火灾探测、特别涉及基于光流法的视频火灾烟雾图像识别方法。
背景技术：
可视火灾探测技术根据探测对象及识别算法的不同，可分为火焰图像探测技术和烟雾图像探测技术。其中烟雾图像识别探测技术能够较早发现火灾，实现早期火灾探测。荷兰的《模式识别期刊》(Pattern Recognition Letters，2006，2749-58)介绍的一种基于小波变换的烟雾识别方法，根据背景图像在烟雾遮挡下边缘变模糊的特点，利用2层小波变换高频子带研究烟雾的模糊遮挡特征，小波变换能够较好地提取图像中的点奇异特征，但不能很好地提取线奇异特征，存在一定的局限性。2007年在美国奥兰多举行的阻燃和探测研究与应用大会(Suppression and Detection Research and ApplicationConference，SUPDET 2007，Orlando，Florida，March5-8，2007)上，熊子佑等提出了一种利用高斯混合模型提取烟雾运动区域，然后通过分析轮廓的不规则性来识别烟雾的方法，但是由于烟雾边缘并不明显以及噪声的影响，这种方法在复杂监控条件下的应用效果不好。中国专利公告号CN1325903C介绍的一种基于像素级的烟雾检验方法，可以通过检测监控图像的像素亮度值所在区间来识别烟雾，基于像素亮度的识别方法虽然识别速度较快，但由于很多环境物体和烟雾具有相近的色彩统计特征，因此误报相当严重。国内外现有关于可视烟雾探测技术研究已经提出的特征提取方法或产品大多采用基于像素级的研究方法，尚不能准确反应出烟雾的运动特征，仍然存在漏报、误报问题，这些系统在复杂环境下的稳定性、适应性也比较差。
光流法是机器视觉中运动图像分析的重要方法。光流法最初是在荷兰人工智能杂志(Artificial Intelligence，17，1981，185-203)提出的。当物体运动时，在图像上对应物体的亮度模式也在运动，光流是指图像亮度模式的表观(或视在)运动。设I(x，y，t)是图像点(x，y)在时刻t的像素值，如果u(x，y)和v(x，y)是该点光流的x和y分量，假定点在t+δt时运动到(x+δx，y+δy)时，像素值保持不变，则光流约束方程可表示为 I(x+uδt，y+vδt，t+δt)＝I(x，y，t) 其中δx＝uδt，δy＝vδt，由于图像中的每一点上有两个未知数光流的x分量u和光流的y分量v，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的。人们将这种不确定问题称为孔径问题。由于孔径问题的存在，因此还需要通过假设确立另外一个方程才能求解光流。根据假设方法的不同，目前的光流法大体分为梯度法、相关匹配法和时空能量法。光流法计算一般均比较复杂，计算时间比较长。
国内外已有的研究中将光流法应用于烟雾火灾探测的极少。日本《电工协会学报》(Transactions of the Institute of Electrical Engineers of Japan，Part Dvol.124-d，no.4414-20，2004)和2003年在美国奥兰多举行的自动目标识别大会(Conference on Automatic Target Recognition XII，APR 22-24，2003，ORLANDO，FLORIDA)公开的有关将光流法应用于森林火灾探测研究的两篇文章，前一篇中需要查找火焰区域，不能用于只有烟雾而火焰被遮挡的情况；后一篇中只是用光流计算烟雾图像的光流，并没有建立将烟雾与干扰源区别开来的特征模型；以上两篇文章中使用的光流法计算量较大，不能满足早期火灾探测的要求。
发明内容
本发明的目的是提出一种基于光流法的视频火灾烟雾图像识别方法，通过准确提取烟雾运动特征将烟雾与干扰源区分开来，从而大大降低误报率。
本发明基于光流法的视频火灾烟雾图像识别方法，将由监控摄像头得到的视频图像通过采集卡传给视频监控计算机进行处理采用差分法提取前景图像并计算前景图像的角点；再计算前景图像角点的光流并进行判别，如果判别为火灾烟雾，则计算机发出指令，控制报警器发出报警信号，并控制联动灭火装置迅速启动灭火功能；如果判别为非火灾烟雾，则返回最初的步骤； 所述采用差分法提取前景图像的操作为 利用计算机将由监控摄像头得到的视频图像数据分解成一帧帧的图像，将第一帧作为背景图像，从第二帧开始，将背景图像与每一帧图像按照式(1)进行差分
式中(x，y)为以图像长方向为x轴，宽方向为y轴建立的坐标系中像素点的坐标，X(x，y)为前景图像，j代表背景帧，k代表当前帧，I(x，y，j)为背景帧点(x，y)的像素值，I(x，y，k)为当前帧点(x，y)的像素值，T是阈值； 按照式(2)更新背景图像I(x，y，j) 式中a是常数，0＜a＜1；如果差分结果图像X(x，y)中点(x，y)的像素值为0，则更新背景图像中(x，y)点的像素值I(x，y，j)，如果差分结果前景图像X(x，y)中点(x，y)的像素值为1，则不进行操作，像素值为1的图像部分称为前景图像； 接着计算前景图像X(x，y)的角点先查找前景图像的角点，对于图像中每个像素计算其横向变化梯度Ix(x，y)和纵向变化梯度Iy(x，y) 计算空间梯度矩阵 该空间梯度矩阵G为二维矩阵，具有两个特征值，设第一特征值为λ1，第二特征值为λ2，则设最小特征值为λm＝min(λ1，λ2)，整张图像中的最大特征值λmax＝max(λm(x，y))，即整张图像中的最大特征值λmax为整张图像中各个像素点的最小特征值λm的最大值；设特征值的阈值λ0＝0.1λmax，则保留最小特征值λm＞λ0的所有像素点；对于以上得到的像素点，在图像中所有任意长为3个像素、宽为3个像素的9点窗口中，只保留最小特征值λm最大的点；由以上步骤最后得到的点即为前景图像的角点； 其特征在于 所述计算前景图像角点的光流并进行判别的操作为 计算上述得到的每一个角点的光流，并满足以下光流约束方程 Ixu+Iyv+It＝0(6) 其中 式中I为图像的像素值，u表示光流x方向分量，v表示光流y方向分量； 再计算光流速度大小和和方向的平均值和方差，并与预先设定的阈值进行比较从而给出报警判定，操作为 设角点的光流向量d，其大小为|d|，其方向角为θ，按照式(7)和式(8)计算所有角点光流速度大小组成的数组的平均值和方差以及所有角点光流速度方向组成的数组的平均值和方差 其中速度方向采用弧度值表示； 对上述计算结果按照以下方式设定阈值设烟雾图像计算得到的光流速度大小组成数组的方差为S1|d|2和光流速度方向组成的数组的方差为S1θ2，干扰源图像计算得到的光流速度大小组成数组的方差为S2|d|2和光流速度方向组成的数组的方差为S2θ2，设定2个阈值M和N分别满足S2|d|2＜M＜S1|d|2和S2e2＜N＜S1e2，当视频图像计算结果S|d|2＞M和Sθ2＞N时，满足判别条件；光流速度方向组成的数组的平均值θave满足0＜θave＜2π时，满足判别条件；只有当计算结果S|d|2、Sθ2和θave同时满足判别条件时，才可判定为火灾烟雾，否则判定为非火灾烟雾。
现有利用可见光波段图像的火灾探测系统由于很多环境物体和烟雾具有相近的色彩统计特征，因此误报相当严重。国内外已有的将光流法应用于烟雾火灾探测的研究中只是用光流计算烟雾图像的光流，并没有建立将烟雾与干扰源区别开来的特征模型，并且使用的光流法计算量较大，不能满足早期火灾探测的要求。本发明基于光流法的视频火灾烟雾图像识别方法，对由监控摄像机得到的视频图像首先通过差分法提取前景图像，然后计算前景图像的角点的光流，最后通过计算光流速度大小和和方向的平均值和方差，并与预先设定的阈值进行比较从而判断是否为火灾烟雾。提取图像中烟雾运动区域角点的光流，既能够准确的反映烟雾运动特征，使结果受光线干扰和相同像素的影响较小；又由于只计算角点的光流，大大减少了运算量，提高了本方法的实用性；并且基于光流法的计算结果，通过统计角点光流速度大小组成的数组的平均值和方差以及所有角点光流速度方向组成的数组的平均值和方差，然后通过阈值判断是否存在火灾烟雾，可大大降低误报率，实现了对烟雾快速准确的识别，这是以往技术中所没有的。
图1为本发明基于光流法的视频火灾烟雾图像识别方法的系统构成示意图。
图2为本发明基于光流法的视频火灾烟雾图像识别操作流程框图。
具体实施例方式 实施例1 图1给出了本发明基于光流法的视频火灾烟雾图像识别方法的系统构成示意图将监测摄像头D采集到的被监控区域C的视频图像数据通过数据采集卡E或硬盘录像机F传到视频监控计算机A，视频监控计算机A利用根据本发明基于光流法的视频火灾烟雾图像识别方法的操作流程图编写的图像分析软件对视频图像进行在线自动分析，如果判断存在火灾烟雾，则通过计算机发出指令控制报警及联动灭火装置B发出报警信号并启动联动灭火装置迅速灭火；如果基于光流法的计算结果小于阈值，则判断为非火灾烟雾，返回到流程的第一步，重新进入下一轮循环，开始读取下一张图像数据…。
图2给出了本发明基于光流法的视频火灾烟雾图像识别的操作流程框图，步骤为1、计算机读取视频图像数据；2、通过差分得到前景图像；3、更新背景图像；4、计算前景图像运动区域角点；5、计算角点光流；6、计算光流速度大小和方向的平均值和方差；7、根据计算光流速度大小和方向的平均值和方差，并与预先设定的阈值进行比较，从而判断被监控区域C中是否有火灾烟雾；8、如果是火灾烟雾，给出报警信号并启动联动灭火装置迅速灭火；如果否，则重新返回到最初的步骤。
本发明基于光流法的视频火灾烟雾图像识别的具体操作步骤如下 利用计算机A将由监控摄像头D读取的视频图像数据分解成一帧帧的图像，将第一帧作为背景图像，从第二帧开始，将背景图像与每一帧图像按照式(1)进行差分得到前景图像
式中(x，y)为以图像长方向为x轴，宽方向为y轴建立的坐标系中像素点的坐标，X(x，y)为前景图像，j代表背景帧，k代表当前帧，I(x，y，j)为背景帧点(x，y)的像素值，I(x，y，k)为当前帧点(x，y)的像素值，T是阈值； 按照式(2)更新背景图像I(x，y，j) 式中a是常数，0＜a＜1；本实施例中a取0.03，这样背景图像更新效果较好；如果差分结果图像X(x，y)中点(x，y)的像素值为0，则更新背景图像中(x，y)点的像素值I(x，y，j)，如果差分结果前景图像X(x，y)中点(x，y)的像素值为1，则不进行任何操作，像素值为1的图像部分称为前景图像； 接着按照式(3)至式(5)计算运动区域角点。为了使描述较简单方便，下面将I(x，y，k)均简化表示为I(x，y)。
首先查找图像角点，角点是前景图像上横向和纵向梯度变化明显的点，可以表示前景图像的变化特征，只计算前景图像角点的光流，可以减少运算量，又不会丢失前景图像的变化特征，操作步骤如下 对于图像中每个像素， (a)先按照式(3)和(4)计算其横向变化梯度Ix(x，y)和纵向变化梯度Iy(x，y) (b)由式(5)计算空间梯度矩阵G 该空间梯度矩阵G为二维矩阵，具有两个特征值，设第一特征值为λ1，第二特征值为λ2，则设最小特征值λm＝min(λ1，λ2)； (c)设λmax＝max(λm(x，y))，即λmax为整张图像中各个像素点的λm的最大值； (d)设阈值λ0＝0.1λmax，则保留λm＞λ0的所有像素点； (e)对于以上得到的像素点，在图像中所有任意长为3个像素、宽为3个像素的9点窗口中，只保留最小特征值λm最大的点；由以上步骤最后得到的点即为前景图像的角点； 然后按以下步骤计算前景图像角点的光流 本实施例中采用基于金字塔法的卢卡斯光流计算，先定义图像的金字塔表示图像I的长nx宽ny，设I0＝I是第0级图像，这时的图像的分辨率最大，每一级图像可以理解为金字塔的每一层，金字塔从底层到顶层越向上越窄，而图像级越大，分辨率越低，并且每一级图像都可由前一级图像按照金字塔表示得到，图像的宽定义为图像的高定义为然后由第0级图像I0计算第1级图像I1，再由第1级图像I1计算得到第2级图像I2，设IL-1代表第L-1级图像，定义nxL-1和nyL-1分别为第L-1级图像IL-1的长和宽，则第L级图像的金字塔表示为 上式中，第L级图像的横坐标x和第L级图像的纵坐标y需要满足和同时第L级图像IL的宽nxL和长nyL是满足下式 然后计算金字塔图象的光流，图像I和图像J是时间上相邻的两张图像，对于图像I中的点p，找到它在图像J中对应的点。构造图像I和图像J的金字塔表示和光流迭代的初始值Lm是金字塔的高，一般选择2，3或4， 对于L＝Lm级到0级的Lm+1张图像依次按以下步骤计算 步骤一、某点p在第L级图像IL中的坐标为 pL＝[px py]T＝p/2L(9) 由式(5)计算第L级图像IL的空间梯度矩阵G，卢卡斯迭代的初始值为v＝
T； 步骤二、按照以下方法进行迭代通过卢卡斯光流法计算光流下一步计算的初始值为迭代计算直到
小于一个趋于0的阈值，其中差分图像 图像差分匹配向量 最后在以上迭代完成后得到第L级的最终光流为第L-1级的迭代初始值设为 步骤三、当计算到第0级后得到最后的光流向量为 d＝g0+d0 (13) 图像I中的点某p，在图像J中对应的点的位置是 v＝p+d(14) 所述卢卡斯光流计算方法(可参见美国《计算机视觉国际期刊》InternationalJournal of Computer Vision，12(1)，P43-77，1994)如下 由光流约束方程I(x+uδt，y+vδt，t+δt)＝I(x，y，t)推导得到 Ixu+Iyv+It＝0 (6) 其中 式中I为图像的像素值，u表示光流x方向分量，v表示光流y方向分量； 由于只有一个方程而有2个未知数，仅有这一约束方程还不能唯一地求解u和v，因此还需要其它约束。
卢卡斯方法假设在一个小的空间邻域Ω上运动矢量保持恒定，然后使用加权最小二乘方估计光流。在一个小的空间邻域Ω上，光流估计误差定义为 其中W(x)表示窗口权重函数，它使邻域中心部分对约束产生的影响比外围部分更大。设速度向量v＝(u，v)T，点(x，y)的空间梯度向量则(15)式的解由下式给出 ATW2Av＝ATW2b(16) 其中，在时刻t的n个点xi∈Ω， W＝diag[W(x1)，...，W(xn)]， b＝-(It(x1)，...，It(xn))T. 式(14)的解为v＝[ATW2A]-1ATW2b，其中当ATW2A为非奇异时可得到解析解，因为它是一个2×2的矩阵 其中所有的和都是在邻域Ω上的点得到的。
式(15)和(16)也可认为是从法向速度vn＝sn得到的估计v的加权最小二乘估计；即式(15)等于 实现首先用标准差为1.5像素/帧的时空高斯滤波器平滑图象序列，w(x)是权值，梯度的计算使用了4点中心差，其系数模板为(-1 8 0-8 1)/12，空间邻域Ω为5×5像素大小，窗口权重函数W2(x)为可分离的和各向同性的，一维权为(0.625 0.25 0.3750.25 0.0625)； 最后对根据式(13)计算得到的烟雾运动角点的光流向量d，设其大小为|d|，其方向角为θ，按照式(7)和式(8)计算这些角点光流速度大小组成的数组的平均值和方差以及所有角点光流速度方向组成的数组的平均值和方差， 其中速度方向利用弧度值表示；对以上4个方程计算得到的结果按照以下方式设定阈值因为烟雾的运动为湍流运动，其图像上各个角点计算得到的S|d|2和Sθ2要比常见干扰源的S|d|2和Sθ2大，因此在选定场景及固定监控摄像机位置后，通过计算干扰源图像及火灾烟雾图像角点的光流，并代入式(7)和式(8)中，得到计算结果，设烟雾图像计算得到的光流速度大小组成数组的方差为S1|d|2和光流速度方向组成的数组的方差为S1θ2，干扰源图像计算得到的光流速度大小组成数组的方差为S2|d|2和光流速度方向组成的数组的方差为S2θ2，设定2个阈值M和N分别满足S2|d|2＜M＜S1|d|2和S2e2＜N＜S1e2，当视频图像计算结果S|d|2＞M和Sθ2＞N时，满足判别条件；烟雾运动速度方向一般向上，因此光流速度方向组成的数组的平均值θave满足0＜θave＜2π时，满足判别条件，只有当计算结果S|d|2、Sθ2和θave同时满足判别条件时，方可判定为火灾烟雾；对于速度大小|d|ave不设定阈值。若判定为火灾烟雾则给出报警信号，计算机A通过向串口发送指令输出报警信号并启动联动灭火装置B；否则，若判定为非火灾烟雾，则返回最初的步骤。
本发明方法中由于利用前景图像的角点来代替整个运动区域，可以有效减少光流计算的计算量。由于由烟雾图像得到的各个角点的速度方向比较分散，并且速度大小相差也比较大，因此由速度方向和速度大小计算得到的方差值较大；而由干扰源图像例如人的光流计算结果则大体可以反映出人的行走方向，前景图像上所有角点的速度大小也相差不多，因此得到的由这些角点光流速度大小组成的数组的方差以及这些角点光流速度方向组成的数组的方差值较小。由于烟雾图像主要特征之一是湍流效应，烟雾湍流是一种小尺度、快速变化的随机运动，具有丰富的运动形态和尺寸的变化，本发明方法利用烟雾特征点速度大小的方差以及速度方向弧度值的大小和方差来反应烟雾的湍流效应，从而可将烟雾与干扰源图像区别开来。
权利要求
1、一种基于光流法的视频火灾烟雾图像识别方法，将由监控摄像头得到的视频图像通过采集卡传给视频监控计算机进行处理采用差分法提取前景图像并计算前景图像的角点；再计算前景图像角点的光流并进行判别，如果判别为火灾烟雾，则计算机发出指令，控制报警器发出报警信号，并控制联动灭火装置迅速启动灭火功能；如果判别为非火灾烟雾，则返回最初的步骤；
所述采用差分法提取前景图像的操作为
利用计算机将由监控摄像头得到的视频图像数据分解成一帧帧的图像，将第一帧作为背景图像，从第二帧开始，将背景图像与每一帧图像按照式(1)进行差分
式中(x，y)为以图像长方向为x轴，宽方向为y轴建立的坐标系中像素点的坐标，X(x，y)为前景图像，j代表背景帧，k代表当前帧，I(x，y，j)为背景帧点(x，y)的像素值，I(x，y，k)为当前帧点(x，y)的像素值，T是阈值；
按照式(2)更新背景图像I(x，y，j)
式中α是常数，0＜α＜1；如果差分结果图像X(x，y)中点(x，y)的像素值为0，则更新背景图像中(x，y)点的像素值I(x，y，j)，如果差分结果前景图像X(x，y)中点(x，y)的像素值为1，则不进行操作，像素值为1的图像部分称为前景图像；
接着计算前景图像X(x，y)的角点先查找前景图像的角点，对于图像中每个像素计算其横向变化梯度Ix(x，y)和纵向变化梯度Iy(x，y)
计算空间梯度矩阵
该空间梯度矩阵G为二维矩阵，具有两个特征值，设第一特征值为λ1，第二特征值为λ2，则设最小特征值为λm＝min(λ1，λ2)，整张图像中的最大特征值λmax＝max(λm(x，y))，即整张图像中的最大特征值λmax为整张图像中各个像素点的最小特征值λm的最大值；设特征值的阈值λ0＝0.1λmax，则保留最小特征值λm＞λ0的所有像素点；对于以上得到的像素点，在图像中所有任意长为3个像素、宽为3个像素的9点窗口中，只保留最小特征值λm最大的点；由以上步骤最后得到的点即为前景图像的角点；
其特征在于
所述计算前景图像角点的光流并进行判别的操作为
计算上述得到的每一个角点的光流，并满足以下光流约束方程
Ixu+Iyv+It＝0(6)
其中
式中I为图像的像素值，u表示光流x方向分量，v表示光流y方向分量；
再计算光流速度大小和和方向的平均值和方差，并与预先设定的阈值进行比较从而给出报警判定，操作为
设角点的光流向量d，其大小为|d|，其方向角为θ，按照式(7)和式(8)计算所有角点光流速度大小组成的数组的平均值和方差以及所有角点光流速度方向组成的数组的平均值和方差
其中速度方向采用弧度值表示；
对上述计算结果按照以下方式设定阈值设烟雾图像计算得到的光流速度大小组成数组的方差为S1|d|2和光流速度方向组成的数组的方差为S1θ2，干扰源图像计算得到的光流速度大小组成数组的方差为S2|d|2和光流速度方向组成的数组的方差为S2θ2，设定2个阈值M和N分别满足S2|d|2＜M＜S1|d|2和S2e2＜N＜S1e2，当视频图像计算结果S|d|2＞M和Sθ2＞N时，满足判别条件；光流速度方向组成的数组的平均值θave满足0＜θave＜2π时，满足判别条件；当计算结果S|d|2、Sθ2和θave同时满足判别条件时，判定为火灾烟雾，否则判定为非火灾烟雾。
全文摘要
本发明公开了一种基于光流法的视频火灾烟雾图像识别方法，特征是通过计算机对由监控摄像机得到的视频图像提取烟雾运动区域角点的光流，通过计算前景图像中所有角点光流速度大小组成数组的平均值和方差及光流速度方向组成数组的平均值和方差，根据设定阈值判断是否为火灾烟雾，如果判别为火灾烟雾，则计算机发出指令，控制报警器发出报警信号，并控制联动灭火装置迅速启动灭火功能；如果判别为非火灾烟雾，则返回到最初的步骤。采用本发明方法既能够准确的反映烟雾运动特征，使结果受光线干扰和相同像素的影响较小，又能够减少运算量，提高了实用性；可大大降低误报率，能够快速准确地实现火灾烟雾探测功能。
文档编号G08B17/10GK101339602SQ20081002314
公开日2009年1月7日 申请日期2008年7月15日 优先权日2008年7月15日
发明者张永明, 于春雨, 袁非牛, 俊 方, 王进军 申请人:中国科学技术大学