专利名称：一种基于计算机视觉监视技术的火焰智能检测方法
技术领域：
本发明涉及基于视频技术的目标自动检测和识别领域，尤其是一种基于计算机视 觉监视技术的火焰智能检测方法。
背景技术：
预防火灾的传统方法是使用烟雾检测器。目前烟雾传感器已经广泛安装在建筑物 内的关键区域，成为建筑防火的标准措施。然而严格地讲，烟雾监测器是一种检测特定烟 雾粒子的传感器，并不直接检测火焰。只有当浓烟迷漫到烟雾传感器上才能触发警报。对 于空间开阔的区域，着火时的烟雾很容易飘散。因此烟雾传感器在开阔区域检测火焰易失 效，而主要应用在厨房、酒店等狭小的空间里。针对大空间的室内场景例如礼堂，有研究者 提出在室内上空用红外波对射以检测烟雾是否存在的方法。但该方法实施复杂，易受干扰， 在目前的实际应用较少。以检测烟雾为主要技术手段的传统方法在监视开阔区域火焰时呈 现出弊端。然而在打击恐怖主义促进和谐的社会背景下，以开阔区域为主的公共场所的安 全性在近年来得到极大的重视。相应的，社会对开阔公共区域的火灾防范也提出了更高的 要求。另一方面，近年来可见光传感器成本大幅下降，视觉监视大量应用于各种涉及公众安 全的区域。如何在当前广泛的监视硬件基础上构建既经济又高效的火焰检测方案，解决监 视开阔区域火焰时烟雾传感器存在的弊端，值得研究。经文献检索发现，中国专利申请号为 200710109770. X名为《火焰检测装置和火焰检测方法》的申请与本发明较接近，但是它是一 种通过对火焰区域的红外图像进行实时的连续成像和模式识别来检测火焰的装置和方法， 与本发明所述目的、技术特征、解决方案是有所不同的。
发明内容
本发明的目的是公开一种利用现有视频监视硬件设备资源，在视频信号采集的基 础上对场景内的情况进行智能化火焰监测的一种方法，使之在发生初期火焰的情况下自动 预警，以克服现有技术上之不足。实现本发明之目的的技术解决方案如下一种基于计算机视觉监视技术的火焰智能检测方法，是利用计算机技术从视觉传 感器获取到图像序列并分析处理得出监视区域是否有火焰存在，包括象素级处理、区域级 处理、语义级处理、多层次信息融合处理层次，其特征在于，包括如下步骤(1)读取视觉传感器采样图像，进入图像预处理；(2)是否检测到火焰？如果是，关联最大似然度区域，进入跟踪程序，如果没有检 测到火焰，进入疑似火焰区域分割、火焰特征提取和识别，进入时间域滤波；(3)是否跟踪成功？如果没有，设置未检测到火焰标志，返回到读取传感器采样图 像阶段重新开始；如果跟踪成功，更新和预测系统状态，计算火焰位置，输出检测结果，再返 回到读取传感器采样图像阶段；(4)经过时间滤波后，再次询问是否满足检测条件？如果是，设置火焰跟踪初始区域，设置检测到火焰标志，再返回到读取传感器采样图像阶段；如果没有满足检测条件，返 回到读取传感器采样图像阶段重新开始。所述的一种基于计算机视觉监视技术的火焰智能检测方法，其特征在于，所述的 进入疑似火焰区域分割是利用象素级特征分割火焰区域，火焰特征提取和识别是利用区域 级特征检测疑似区域是否满足火焰的视觉属性，判别过程是利用多特征联合决策树进行， 其具体步骤如下(1)读取图像，分析火焰色温似然度、显著运动特征；(2)阈值分割，连通体检测；(3)读取第一个连通体，形状特征检测、内外焰结构检测、升腾视觉特征检测、10Hz 闪烁频率检测；(4)决策树分类，判断是否为火焰？如果是，添加到疑似火焰区域链表；如果不 是，询问连通体链表是否结束？如果同意，输出检测链表；如果不同意，读取下一个连通体 或返回(3)读取第一个连通体。所述的一种基于计算机视觉监视技术的火焰智能检测方法，其特征在于，在系统 检测到火焰之后，利用Blob火焰跟踪算法，对火焰自动跟踪。与现有技术相比较，实施了本发明的基于视频的火焰检测器具有下优点与显著效 果1)视频检测信息量更丰富，分类更准确，可具备较低的虚警率；2)不受场地限制，可以适应更大范围和露天环境的火焰检测；3)为火焰精确定位提供了指导信息；4)有效利用现有视频监控设备，利用算法模块扩展现有功能；在现有硬件基础上 对监视网络改造可具备火焰检测预警功能；5)火焰的视频信号可以实时传输给管理员实时监控。
图1是本发明所述的火焰特征处理层次示意图。图2是本发明所述的火焰特征处理总体流程示意图。图3是本发明所述的火焰检测方法流程框图示意图。图4是根据象素级和区域级特征检测疑是火焰区域的流程图示意图。图5图6是本发明所述实施例及操作过程。
具体实施例方式参考附图给出实施例并作具体的说明。从图1、图2、图3、图4图5、图6可知本发 明所述的一种基于计算机视觉监视技术的火焰智能检测方法，是利用计算机技术从视觉传 感器获取到图像序列并分析处理得出监视区域是否有火焰存在，其支持系统包括可见光摄 像机、视频监视服务器、火焰检测服务器等，其摄像机视频信号输出链接至视频采集卡，而 视频采集卡固定在服务器的PCI插槽中；服务器通过视频采集卡的驱动程序直接读取图像 数据。图6中的监视摄像机分为两类，一类是观测较大范围的固定摄像机，另一类是观测范 围适中并且安装在消防炮上用于指导灭火的摄像机。图2是处理火焰的总体流程主要是火焰检测和跟踪系统，即是根据火焰的视觉特征检测，如火焰分割、火焰识别，并在确定火焰 存在的基础上用视觉跟踪方法进行跟踪滤波；火焰定位系统则是利用摄像机标定技术和多 源摄像机图像融合技术获取图像中火焰确定位置，从而可以指导消防设备自动灭火。在场 景中出现受关注火焰之后，计算机从视觉传感器获取到图像序列并分析处理得出监视区域 有火焰存在的结论。这样的过程被称为火焰检测。其中受关注火焰是指根据具体应用环境 判定火焰大小是否属于需要预警的程度。在一般应用中，火苗直径超过50cm的火焰则必须 被检测。视频火焰检测的一般性原则是利用色温、形状、内外焰结构、时空动态特征、纹理 等特征区分火焰和干扰。虽然从人类经验利用这些特征来区分火焰和干扰源是简单的，但 是在实现过程中却有许多工程实际问题难以解决。图3是视频火焰检测器的检测方法设计 流程。火焰处理层次包括象素级处理、区域级处理、语义级处理、多层次信息融合处理层 次，包括如下步骤(1)读取视觉传感器采样图像，进入图像预处理；(2)是否检测到火焰？如果是，关联最大似然度区域，进入跟踪程序，如果没有检 测到火焰，进入疑似火焰区域分割、火焰特征提取和识别，进入时间域滤波；(3)是否跟踪成功？如果没有，设置未检测到火焰标志，返回到读取传感器采样图 像阶段重新开始；如果跟踪成功，更新和预测系统状态，计算火焰位置，输出检测结果，再返 回到读取传感器采样图像阶段；(4)经过时间滤波后，再次询问是否满足检测条件？如果是，设置火焰跟踪初始区 域，设置检测到火焰标志，再返回到读取传感器采样图像阶段；如果没有满足检测条件，返 回到读取传感器采样图像阶段重新开始。其中所述的疑是火焰区域的分割和特征提取及识别是重点和难点。本研究采取了 Marr视觉系统的分阶段处理的方式，用象素级特征分割火焰区域，在此基础上再用区域级 特征检察疑是区域是否满足火焰的视觉属性，判别过程用多特征联合的决策树进行。两个 层次的工作共同完成疑是火焰区域的检测，并将检测结果进行时间域滤波，以去除偶然性 的结果。如图4所示，所述的进入疑似火焰区域分割是利用象素级特征分割火焰区域，火焰 特征提取和识别是利用区域级特征检测疑似区域是否满足火焰的视觉属性，判别过程是利 用多特征联合决策树进行。其具体步骤如下(1)读取图像，分析火焰色温似然度、显著运动特征；(2)阈值分割，连通体检测；(3)读取第一个连通体，形状特征检测、内外焰结构检测、升腾视觉特征检测、10Hz 闪烁频率检测；(4)决策树分类，判断是否为火焰？如果是，添加到疑似火焰区域链表；如果不 是，询问连通体链表是否结束？如果同意，输出检测链表；如果不同意，读取下一个连通体 或返回(3)读取第一个连通体。在系统检测到火焰之后，利用Blob火焰跟踪算法，对火焰自动跟踪。火焰跟踪的 意义在于，可以自由的转动摄像机或缩放监视画面而不必重新检测，同时还可以适应诸如 汽车着火等火焰移动的情况。因为在监视系统中使用PTZ摄像机越来越多，探究火焰跟踪
5技术也显得更有必要。由于火焰具有显著的动态外观，因此火焰跟踪的精度要求并不高。在 本发明研究的智能火焰检测系统中，主要使用了 Blob火焰跟踪Blob火焰跟踪的基本思想是，提取图像中可能是火焰的所有Blob，用Blob关联算 法将最可能是火焰的Blob作为观测结果更新火焰的系统状态。分割Blob的连通体计算和 连通体匹配都与5. 1. 5. 1中的叙述一致。值得注意的是，在系统检测到火焰之后，由于确信 火焰的存在，因而可使用简化的弱分类规则分割出可能的火焰区域。虽然弱分类规则会提 高虚警率，引入假的火焰区域，但跟踪关联过程仅考虑跟踪门限内的信息，因此对跟踪结果 并没有明显的影响。例如我们使用颜色和形状的似然度作为判别标准，设定适当的阈值即 可分割出较完整的火焰区域。因此Blob火焰跟踪的运算复杂度可以显著地低于火焰检测 运算。Blob火焰跟踪的另一优势在于，Blob计算过程利用了图像的全局特征，因此跟踪结 果不易陷于局部最优。如果按照消防炮的相关技术标准，监视摄像机只需关注地面物质着 火。由于现有监视用途摄像机通常是固定在关注区域的边缘上方，因此我们可使用摄像机 标定信息计算火焰的位置。在获取图像中火焰的ROI之后，利用ROI下边缘计算火焰在世 界坐标系的(x，y)位置的方法和普通监视系统中的定位方法是一致的。图5实施例给出了支持系统摄像机安装示意图及操作过程摄像机用机架固定在高处，需大于等于3米。摄像机视角朝下，俯瞰地面，其中摄 像机根据具体情况需要，其光轴与地面的夹角成30 60度皆可。使用过程第一步安装摄像机，并链接摄像机输出信号到服务器的视频采集卡，第二步启动视频火焰监视程序，第三步监视过程，无需操作，第四步若检测到火焰则报警，否则回到第三步。
权利要求
一种基于计算机视觉监视技术的火焰智能检测方法，是利用计算机技术从视觉传感器获取到图像序列并分析处理得出监视区域是否有火焰存在，包括象素级处理、区域级处理、语义级处理、多层次信息融合处理层次，其特征在于，包括如下步骤(1)读取视觉传感器采样图像，进入图像预处理；(2)是否检测到火焰？如果是，关联最大似然度区域，进入跟踪程序，如果没有检测到火焰，进入疑似火焰区域分割、火焰特征提取和识别，进入时间域滤波；(3)是否跟踪成功？如果没有，设置未检测到火焰标志，返回到读取传感器采样图像阶段重新开始；如果跟踪成功，更新和预测系统状态，计算火焰位置，输出检测结果，再返回到读取传感器采样图像阶段；(4)经过时间滤波后，再次询问是否满足检测条件？如果是，设置火焰跟踪初始区域，设置检测到火焰标志，再返回到读取传感器采样图像阶段；如果没有满足检测条件，返回到读取传感器采样图像阶段重新开始。
2.根据权利要求1所述的一种基于计算机视觉监视技术的火焰智能检测方法，其特征 在于，所述的进入疑似火焰区域分割是利用象素级特征分割火焰区域，火焰特征提取和识 别是利用区域级特征检测疑似区域是否满足火焰的视觉属性，判别过程是利用多特征联合 决策树进行，其具体步骤如下(1)读取图像，分析火焰色温似然度、显著运动特征；(2)阈值分割，连通体检测；(3)读取第一个连通体，形状特征检测、内外焰结构检测、升腾视觉特征检测、IOHz闪 烁频率检测；(4)决策树分类，判断是否为火焰？如果是，添加到疑似火焰区域链表；如果不是，询 问连通体链表是否结束？如果同意，输出检测链表；如果不同意，读取下一个连通体或返回 (3)读取第一个连通体。
3.根据权利要求1、2所述的一种基于计算机视觉监视技术的火焰智能检测方法，其特 征在于，在系统检测到火焰之后，利用Blob火焰跟踪算法，对火焰自动跟踪。
全文摘要
本发明提供了一种基于计算机视觉监视技术的火焰智能检测方法，涉及基于视频技术的目标自动检测和识别领域。利用计算机技术从视觉传感器获取到图像序列并分析处理得出监视区域是否有火焰存在，包括象素级处理、区域级处理、语义级处理、多层次信息融合处理层次；火焰处理的流程主要是火焰检测与跟踪系统，即是根据火焰的视觉特征检测，如火焰分割、火焰识别，并在确定火焰存在的基础上用视觉跟踪方法进行跟踪滤波；火焰定位系统则是利用摄像机标定技术和多源摄像机图像融合技术获取图像中火焰确定位置，从而可以指导消防设备自动灭火。在现有硬件基础上对监视网络改造可具备火焰智能检测预警功能。
文档编号G06T7/00GK101814134SQ20091021654
公开日2010年8月25日 申请日期2009年12月4日 优先权日2009年12月4日
发明者冯子亮, 唐鹏, 熊运余, 高琳, 鲁书贤 申请人:四川川大智胜软件股份有限公司