一种基于双波段图像的火灾检测及定位方法
【专利摘要】一种基于双波段图像的火灾检测及定位方法。其包括采用加权平均方式进行背景建模，在保证场景实时更新的同时大幅度降低计算量；基于帧差法进行火焰疑似区域检测，尽可能多的检测出火焰疑似区域；根据火焰的感官特征、空域可变性特征、时域连续性特征、位置可导性特征和分布孤立性特征排除不合格的疑似区域，以减少误报现象；采用边缘标记法将红外图像上检测到的火焰区域映射到彩色图像上，方便监控人员进行观察；根据图像中的火焰坐标得到实际着火点相对于地面上某一参照物的水平和垂直距离，从而达到火灾定位的目的。本发明的优点是能够及时准确地判断出监控场所的火焰特征，给出火灾预警，传输最直观的视频图像并锁定火灾现场。
【专利说明】一种基于双波段图像的火灾检测及定位方法
【技术领域】
[0001]本发明涉及计算机视觉领域，尤其是涉及应用于图像型火灾探测器的快速火灾检测及定位方法。
【背景技术】
[0002]高大空间建筑由于其建筑构造的特性，在火情探测方面存在一定的难度。传统的消防探测设备由于探测器距离起火源位置过远和空气的侧向流动，不能在第一时间发现火情并提供报警，而只能在火势极大蔓延、探测器周围的温度达到报警阈值时才能提供报警。因此不能达到在火灾初始阶段有效控制火情，将损失降低到最小的目的。而随着社会的不断发展，高达型建筑物不断涌现，一旦发生火灾后果不堪设想，因而高大空间消防探测技术的提升也成了迫在眉睫的需求。
[0003]现有的火灾探测技术多为感温和感烟型探测器，探测距离最大的当属红外光束型感烟探测器，但其最大监控距离也只有20米，并且传统探测技术在发出报警信息的时候无法给出准确的火灾位置。这种情况下发生灾情时，施救人员由于不清楚现场情况便不能直接展开扑救工作，另外火情的不确定性也极易引发人们的恐慌心理，这也为二次伤害埋下隐患。
[0004]此外，火灾的误报也是一个急需解决的问题。在恶劣的工作环境和自然环境(杂光干扰、场景拥挤混乱、雨雪天等)下，不能保证现有的探测设备均能正常工作。
【发明内容】
[0005]针对现有技术存在的上述不足，本发明的目的在于提出一种基于双波段图像的火灾检测及定位方法，其包括火焰检测方法和火灾定位方法。本发明能够在火灾发生的初级阶段快速准确的进行报警定位，并可根据定位结果启动消防联动装置进行扑救工作。
[0006]为了达到上述目的，本发明提供的火焰检测方法包括按顺序进行的下列步骤。
[0007]I)采用加权平均方式进行背景建模，所述的加权平均方式为:
CurBack=(we i ghtI*Hi sBack+we i ght2*CurImage)/(we i ghtI+we i ght2)
其中，CurBack为更新后背景值，HisBack为当前背景值，CurImage为当前巾贞对应像素值,weight I和weight2分别为当前背景和当前巾贞所占权重。
[0008]2)基于帧差法进行火焰疑似区域检测，所述的疑似区域检测包括种子点提取、区域连接和区域参数统计。首先依赖于时域相邻的两幅红外图像，通过帧差操作和种子点的条件限制获取到零散的高亮点，并将其存入堆栈。种子点需满足两个基本条件:
1.该点在红外图像中的灰度大于预设的火焰阈值； ?.该点对应的背景模型中像素点灰度小于设定的阈值。
[0009]接着对上述获得的栈顶元素进行邻域搜索，判断是否有上述获得的种子点，有则将新点标记入栈，并进行区域标记，没有则进行下一个未标记的栈元素操作，区域标记号增加I (区域标记号初始化为I)。在连接的过程中，该区域的面积、质心、大小、灰度及周长信息会同时得到更新。区域连接后，通过腐蚀操作去除间断的、细小的噪点，之后进行膨胀操作填平区域间的小沟壑，得到平滑疑似区域。
[0010]3)根据火焰特征对火焰疑似区域进行分析，所述的火焰疑似区域分析包括感官符合度分析、空域可变性分析、时域连续性检测、位置变化可导性分析和分布孤立性分析分析。其中:感官符合度分析是依据人眼的感官思维设定线型、圆形度、宽高比和欧拉数条件，去除不符合条件的疑似区域；空域可变性分析是指依据火焰的跳动性使其在空域上具备各向异性，排除自身不变的运动发光体；时域连续性是指火情发生时会保持长时间的持续燃烧状态，据此可判断在一定时间段内忽有忽无的疑似区域和大小突变的疑似区域为非火焰；位置变化可导性是指火焰的位置相对固定，用对应函数描述其变化规律时，该函数应二阶可导，否则，该疑似区域为非火焰；分布孤立性分析是指采用线性聚类方法排除密集分布的疑似区域。
[0011]4)最后，采用边缘标记法将红外图像上检测到的火焰区域映射到彩色图像上。
[0012]本发明提供的火灾定位方法包括按顺序进行的下列步骤。
[0013]I)摄像机标定是使图像上的十字交叉线和地面上标注的两条垂直线完全重合，保证地面两垂线的交点映射到图像中心。在设备固定后，测量设备的场景参数，如CCD与图像的水平/垂直像素比(Sx/Sy)、探测器高度Hif、探测器在地面上的投影点ptFire、世界坐标系中对应图像中心点ptCenter, ptCenter与ptFire的距离DisCenter等。
[0014]2)图像畸变校正，在图像平面上有一实际像素点Pi (xd, yd)，假若不存在畸变其理想位置为Pi (X，y)，利用鱼眼畸变校正模型，两点位置的对应关系如下式所示:
X=Xd+ (Xd-Cx) * (kx*rd2)
y=yd+ (yd-cy) * (ky*rd2)
其中(cx，cy)为摄像机镜头的光学中心，rd=( (xd-cx) 2+(yd-cy)2)1/2，kx和ky分别指x方向和y方向的畸变系数，根据光学成像原理，水平过光心的直线不存在垂直失真、垂直过光心的直线不存在水平失真，于是可在这两条相互垂直并过光心的直线上计算kx和ky。
[0015]3)定位计算，利用CXD的成像原理，将世界坐标系中的位置关系和图像上像素点一一对应，并最终将着火点的坐标信息转化到世界坐标系中。
[0016]本发明中采用加权平均求取背景的有益效果是，相对于GMM大幅度地降低了计算量，同时保证场景能够实时更新；本发明中依据感官符合度、空域可变性、时域连续性、位置变化可导性和分布孤立性分析对疑似区域进行分析，在充分模拟火焰特性同时有效地对误报高发物体(车灯、手电筒、阳光等)进行排除；火灾定位则能帮助工作人员在灾情发生的早期阶段进行快速定位。
【专利附图】
【附图说明】
[0017]本发明共有附图5张，其中:
图1是火焰检测及定位总体流程图；
图2是疑似区域分析流程图；
图3是检测场景整体三维图；
图4是求取BetaO时场景侧视图；
图5是求取DisY时场景侧视图。
【具体实施方式】
[0018]下面结合具体实例来说明本发明技术方案所涉及到的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，并不因此而限定本发明的保护范围。
[0019]如图1所示，本实例的具体实施分为四个部分:背景建模、疑似区域检测、疑似区域分析和火灾定位。
[0020]I)背景建模的过程即是将已存储的背景和当前图像按照预设的权值大小进行加和平均来获取到新的背景图像。加权平均进行更新的定义式为:
CurBack=(we i ghtI*Hi sBack+we i ght2*CurImage)/(we i ghtI+we i ght2)
其中，CurBack为更新后背景值，HisBack为当前背景值，CurImage为当前巾贞对应像素值,weightl和weight2分别为当前背景和当前巾贞所占权重。权重设定时遵循归一化原则，本实例中设定两个权重比值为99:1。
[0021]2)疑似区域即指图像中的出现的可能为火焰的高亮区域，检测最后需要用一个区域进行标示。该区域内所有的像素点均满足种子点的条件，同时在一个模板图像(352X288)中对该区域内的所有对应像素赋以相同的数字标示。最后用专门的数据结构记录该区域的大小、质心、面积、灰度及周长等参数信息。
[0022]疑似区域检测首先要通过帧差操作和种子点的条件限制获取到零散的高亮点，并将其存入堆栈。种子点需满足两个基本条件:
1.该点在红外图像中的灰度大于预设的火焰阈值； ?.该点对应的背景模型中像素点灰度小于设定的阈值。
[0023]接着对检测到的零散高亮点进行区域连接，此时需建立352X288的标记模板和一个堆栈信息。只要是邻域内存在种子点则将其在模板图像中将对应点赋予相同的数字标记并作为结果输出。区域连接同时，将亮点个数、灰度、质心、周长、面积参数进行累加计算，并在该区域循环完毕之后得到各参数的精准值。由于设备轻微晃动、空气中颗粒折射等原因，检测出的疑似区域内极有可能包含一些细微噪点。通过对标记模板进行形态学操作来将这些噪点进行排除，同时能够修复真正火焰区域的外形特征，更利于特征提取及描述。首先，通过腐蚀操作去除间断的、细小的噪点，之后进行膨胀操作填平区域间的小沟壑，得到平滑疑似区域。在进行形态学操作的同时，对该疑似区域的各项参数进行相应的修正。
[0024]3)疑似区域分析流程图如图2所示，分析的重点部分为匹配过程中各限定条件的判断过程，为了体现并运用火焰在时域上的连续特征，需要对区域进行选择性存储和更新。建立的存储结构包含对基本特征的描述(质心、大小、面积等)、匹配成功与否标志位、匹配成功次数、匹配失败次数和时域上的运动特征。所述的疑似区域分析包含以下步骤。
[0025]1.单区域分析即对该区域本身的特征进行提取和判断。首先，提取疑似区域的形状特征，记疑似区域内的空洞数为H，整个区域内的连通组元个数为C，那么该区域的欧拉数E为:
E=C-H
根据结果，将E不为I的区域舍弃，同时将对应模板清零。
[0026]其次，通过对基本特征的限制来进行一些疑似区域的排除。
[0027]记录火焰区域宽为Width,高为Height,区域参数中面积为Area,周长为Perimeter。设定填充率为FillRat1,圆形度为CircleRat1,则计算公式为: FillRat1=Area/(Width^Height)
CircleRat1=Perimeter2/ (Area*4* η )
本实例中，设定填充率阈值为75%，圆形度阈值为0.9。
[0028]i1.空域分析主要针对单帧图像中疑似区域的分布，根据突发火焰的孤立性特征，对一帧图像中存在多处疑似区域且这些区域分布相对密集的区域进行排除。实现过程类似线性聚类分析。首先，将第一个区域的质心位置进行标记作为第一个聚类点，依次循环剩余区域。若小邻域内存在其他区域，则将两区域进行统一标记，继续判断下一个；否则，将该区域质心作为另一个聚类点，按同样方法判断其他区域。本实例中设定允许密集分布的最大区域个数为3，当聚类数超过3时，则将此类中所有区域进行去除。
[0029]ii1.时域分析即指根据时间变化将相邻帧的疑似区域进行匹配，并将匹配的数据进行更新存储，来判断某一固定位置上的区域特征和火焰跳跃性的相似度。
[0030]首先，在发生火灾时，火焰底部位置基本固定，但是跳动是火焰的一个基本特征。随着时间推移，将区域的底部和顶部位置进行记录，同时模拟出变化曲线。最终得到的底部变化曲线趋于直线，顶部变化应为一上一下的折线，且变化幅度远超过底部变化最大值。接着，结合火焰的连续性，连续帧的疑似区域对应位置是否持续存在高亮区域，对干扰光进行排除。
[0031]iv.由于采用双光谱图像进行火焰检测，而种子点生长及最后的匹配报警均在红外图像上进行，本实例在最后会将报警框映射到彩色图像上，方便监控人员进行观察。映射过程采用边缘标记法。在设备开启后即根据梯度求取红外和彩色图像的边缘图像，之后根据边缘偏移来确定两幅图像的X和Y方向偏移量。火灾报警之后，系统内部自动根据上述偏移量将报警框进行位置变换，这样在红外图像上检测到的报警框便成功转移到彩色图像上来。
[0032]4)火灾定位的具体过程如下:本实例采用4mm的镜头(Fif=4)，在定位计算之前通过棋盘计算获取该型号镜头的横向和纵向畸变参数。
[0033]首先求取水平畸变参数kx。在棋盘上过中心点垂直的水平线上取出距离相同的10个试验点下X2-X1 =…=Xltl-X9。在不存在畸变时，图像上两条直线上点的间距应相同，由此获得下式:
Xd2+kll (Xd2_X0) _Xdl_kn (xdl_x0 ) - XdlO+kll (Xdl0_X0 ) _Xd9_kn (Xd9_X0 )
取Xltl和Xtl重合,可得到:
kll_ (XdlO_Xd9_Xd2+Xdi) / ( (Xd9_X0 ) + (Xd2_X0 ) _ (Xdl_Xo))
将计算出的所有k值进行最大值和最小值舍弃后，其余k值的平均值即为水平方向的畸变系数kx。同理可计算得到垂直方向畸变系数ky。
[0034]摄像机标定目的就是使图像上的十字交叉线和地面上标注的两条垂直线完全重合，保证地面两垂线的交点映射到图像中心。本实例将探测器固定在三脚架上，同时以墙面作为坐标系参考直线，坐标系原点为ptIFire。面向监控区域，规定向右为x轴正方向，向左为X轴负方向；7轴只取正方向。在地面上找到探测器地面投影点PtIFire、图像中心点对应点ptCenter。需记录数据包括HIF、DisCenter,单位均为毫米。为更方便描述计算过程，图3直观的展示了探测器、着火点和图像中心点的几何关系。结合图4和图5，火灾定位计算过程如下:
1.计算BetaO,如图4所示,BetaO指侧视时,设备和ptIFire连线与设备和ptCenter连线所形成的夹角。在直角三角形中两条直角边已知，求取BetaO的公式为:
BetaO=arctan (DisCenter/HIF)
i1.计算DisY,由于本实例以ptIFire为坐标系原点，DisY即为ptIFire到墙面的垂直距离。如图5所示，DisY的求取借助于图像上的火焰坐标信息。根据对角相等，首先通过图像上坐标求取Beta值:
Beta=arctan( IDisYf/FIF)
firePoint为着火点到过ptIFire和ptCenter的直线上映射点。在由探测器、ptIFire和firePoint组成的直角三角形中，求取DisY:
DisY=Hip.tan (Beta+BetaO)
ii1.计算DisX，如图3所示，计算DisX时依赖于图像和实际场景之间的边角转换。主要思路为通过在成像面上计算角A所在三角形的边长得到角A，进而在直角三角形中得到DisX0具体计算过程如下:
a.在CXD成像界面，由图像中心点、firePoint在图像映射点和着火点在图像映射点组成的直角三角形中，根据两直角边求得图像中着火点和中心点距离IDisFireToCenter:
IDisFireToCenter= (IDisX2+IDisYf2 )1/2
b.在由图像中心点、firePoint图像映射点和探测器镜头组成的直角三角形中，镜头和firePoint 映射点之间的距离 IDisAffineFireToLens:
IDisAffineFireToLens= (IDisY2+FIF2 )1/2
c.进而在由图像中心点、图像着火点和探测器镜头组成的直角三角形中，求得镜头到图像着火点的距离IDisFireToLens:
IDisFireToLens= (IDisFireToCenter2+FIF2 )1/2
d.至此，由图像着火点、firePoint在图像上映射点和探测器镜头组成的三角形三边均已知，再求取图表中标示的角A的余弦CA为:
CA= (IDisFireToLens2+IDisAffineFireToLens2-1DisX2) / (2*IDisFireToLens* IDisAffineFireToLens)
e.同样，在由探测器镜头、ptlfire和firePoint组成的直角三角形中，镜头和firePoint之间的距离 DisLensToFirePoint 为:
DisServiCeToFirePoint=Hip/ (cos (BetaO+Beta))
f.最后，根据对角相等原理，在由地面着火点、firePoint和探测器镜头组成的直角三角形中，可以求得DisX:
DisX=DisServiceToFirePoin*ttan(A)。
[0035]以上所述，仅为本发明中的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想象到的变换或替换，都应涵盖在本发明的包含范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
【权利要求】
1.一种基于双波段图像的火灾检测及定位方法，其特征在于:所述的方法包括火焰检测方法和火灾定位方法。
2.根据权利要求1所述的基于双波段图像的火灾检测及定位方法，其特征在于:所述的火焰检测方法包括按顺序进行的下列步骤: 步骤1)采用加权平均方式进行背景建模； 步骤2)基于帧差法进行火焰疑似区域检测； 步骤3)根据火焰特征对火焰疑似区域进行分析； 步骤4)采用边缘标记法将红外图像上检测到的火焰区域映射到彩色图像上。
3.根据权利要求1所述的基于双波段图像的火灾检测及定位方法，其特征在于所述的火灾定位方法包括按顺序进行的下列步骤: 步骤1)摄像机标定； 步骤2)图像畸变校正； 步骤3)定位计算。
4.根据权利要求2所述的火焰检测方法，其特征在于:在步骤1)中，所述的加权平均方式为:
0111-080^= (^61 ^1: 1 1 ^1:2^0111-11118^6) / (^61 ^1: 1 +^61 其中，0111-880^:为更新后背景值，1118880^为当前背景值，?^11~1111叫6为当前巾贞对应像素值，和161^1:2分别为当前背景和当前巾贞所占权重。
5.根据权利要求2所述的火焰检测方法，其特征在于:在步骤2)中，所述的疑似区域检测包括种子点提取、区域连接和区域参数统计，其中: 1)种子点提取的特征在于:依赖时域相邻的两幅红外图像，通过帧差操作和种子点的条件限制获取零散的高亮点，并将其存入堆栈，种子点需满足两个基本条件: 1.该点在红外图像中的灰度大于预设的火焰阈值； I1.该点对应的背景模型中像素点灰度小于设定的阈值； 2)区域连接的特征在于:对上述获得的栈顶元素进行邻域搜索，判断是否有上述获得的种子点，有则将新点标记入栈，并进行区域标记，没有则进行下一个未标记的栈元素操作，区域标记号增加1 (区域标记号初始化为1)； 3)区域参数统计的特征在于:在连接的过程中，区域的面积、质心、大小、灰度及周长信息会同时得到更新；区域连接后，通过腐蚀操作去除间断的、细小的噪点，之后进行膨胀操作填平区域间的小沟壑，得到平滑疑似区域。
6.根据权利要求2所述的火焰检测方法，其特征在于:在步骤3)中，所述的火焰疑似区域分析包括感官符合度分析、空域可变性分析、时域连续性检测、位置变化可导性分析和分布孤立性分析分析；其中:感官符合度分析是依据人眼的感官思维设定线型、圆形度、宽高比和欧拉数条件，去除不符合条件的疑似区域；空域可变性分析是指依据火焰的跳动性使其在空域上具备各向异性，排除自身不变的运动发光体；时域连续性是指火情发生时会保持长时间的持续燃烧状态，据此可判断在一定时间段内忽有忽无的疑似区域和大小突变的疑似区域为非火焰；位置变化可导性是指火焰的位置相对固定，用对应函数描述其变化规律时，该函数应二阶可导，否则，该疑似区域为非火焰；分布孤立性分析是指采用线性聚类方法排除密集分布的疑似区域。
7.根据权利要求3所述的火灾定位方法，其特征在于:在步骤I)中，所述的摄像机标定是:调整设备使图像上的十字交叉线和地面上标注的两条垂直线完全重合，保证地面两垂线的交点映射到图像中心；在设备固定后，测量设备的场景参数，如CCD与图像的水平/垂直像素比(Sx/Sy)、探测器高度Hif、探测器在地面上的投影点ptFire、世界坐标系中对应图像中心点 ptCenter, ptCenter 与 ptFire 的距离 DisCenter。
8.根据权利要求3所述的火灾定位方法，其特征在于:在步骤2)中，所述的图像畸变校正方法是:在图像平面上有一实际像素APi (xd, yd)，假若不存在畸变其理想位置为Pi (x, y)，利用鱼眼畸变校正模型，两点位置的对应关系如下式所示:
X=Xd+ (Xd-Cx) * (kx*rd2)
y=yd+ (yd-cy) * (ky*rd2) 其中(cx，cy)为摄像机镜头的光学中心，rd=( (Xd-Cx) Myd-Cy)2) V2，!^和卜分别指叉方向和y方向的畸变系数，根据光学成像原理，水平过光心的直线不存在垂直失真、垂直过光心的直线不存在水平失真，于是可在这两条相互垂直并过光心的直线上计算kx和ky。
9.根据权利要求3所述的火灾定位方法，其特征在于:在步骤3)中，所述的定位计算是:利用CXD的成像原理，将世界坐标系中的位置关系和图像上像素点一一对应，并最终将着火点的坐标信息转化到世界坐标系中。
【文档编号】G06K9/00GK104408706SQ201410517466
【公开日】2015年3月11日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】张德馨 申请人:天津艾思科尔科技有限公司