一种室内场景火苗检测方法与流程

一种室内场景火苗检测方法，用于火苗的检测，涉及可见光图像目标识别与检测应用领域，具体涉及到初期火焰和小火苗检测和跟踪。
背景技术：
：火灾是最常见的严重灾害之一，它直接危及人类的生命财产，造成环境污染，甚至生态平衡。目前国内外的火灾自动报警技术主要是基于传感器的检测。但在室外仓库和大型室内仓库等大空间场合中，传感器信号由于空间的巨大而变得十分微弱。即使是高精度的传感器也会由于种种干扰噪声而无法工作。基于视觉的火灾检测技术通过对火灾发生的过程中，伴随的各种视觉特征进行检测，从而实现对火灾是否发生加以判断。近年来，由于数码拍摄和视频处理技术的快速发展，以及成本的不断降低，利用计算机视觉技术代替传统的火灾检测技术成为了一个大的趋势。与传统的火灾检测技术相比，基于视觉的火灾检测技术主要有以下优势：能够在相对开放的环境中使用；所处理数据为数字图像，方便利用计算机视觉及图像的有关技术进行处理和分析；能够提供更多火灾信息。利用这些信息，更有助于人们采取有效的措施进行灭火、救援工作；检测的过程可以充分利用图像处理和模式识别等技术。而伴随着这些技术的发展，可以更为有效提高火灾检测系统报警的准确度，降低漏报和误报情况。目前，国际上已相继出现了融合了视频火焰检测技术的系统，比较典型的axonxLLC公司开发的SigniFire系统，HughesAssociates公司开发的VolumeSensor系统以及SenseWARE系统等。归纳起来，主要有以下一些方法和技术：基于像素颜色的方法，早期VFD方法主要依据的是火焰的颜色和亮度。首先出现的是灰度图像处理方法，包括单固定黑白相机和多黑白相机。这类方法通常利用对比法或帧差法从背景中提取较亮的火焰，但性能受监测距离的影响比较严重。基于火焰颜色的彩色图像处理方法可以明显抑制亮度条件(如背景光照)变化所导致的误检。固定的彩色模型可能忽略材料不同所导致的颜色异常，所以借助机器学习方法来对火焰颜色建模，通过训练人工检测的火焰样本得到火焰颜色的查找表，并生成彩色直方图，以提高模型的可靠性和对场景适应力，但其计算复杂度较高，难以达到实时效率。然而，以上方法都集中关注于火焰的存在性，不能提供燃烧的状态和过程信息(面对火灾的经济损失,这些信息往往至关重要)，需要人工估计误检率。Chen等采用了一种二阶决策机制，先用颜色检测火焰的存在，再判断火焰的蔓延或消减状态。该方法引入了HSI模型，用R通道的亮度和饱和度判断火焰像素的真实性，通过比较RGB之间亮度分量的比例来估计烟雾的存在，再利用运动特征反复校验燃烧的状态变化趋势。但是HIS模型存在的缺点是，“H”所代表的色调通道分量，在火苗检测中并不能保留火苗的形态学特征，从而造成了有效信息丢失。基于火焰颜色运动区域的方法，相对于真实火焰复杂多变的嵌套结构，单用火焰颜色的像素集合来描述火焰区域过于简陋，甚至于像素颜色的层次变化也不足以反映火苗复杂的时变性。Horng则以帧间火焰颜色区域的掩模差来定义火焰的时序运动，Chen等认为火焰区域的动态特征包括火焰闪动、区域变形、整体蔓延和红外抖动等，可利用像素变化判别火焰的闪动，以面积变化检测火焰的生长，虽效率较高，但模型过于简单，可靠性差。Fastcom开始利用FFT的峰值来描述和检测时变的火焰边缘像素。Liu等则先用光谱和结构模型来提取火焰的候选区域，并用傅里叶系数描述这些区域的边缘轮廓，然后通过帧间前向估计获得各区域的自回归(AR)模型参数，最后以傅里叶系数和AR模型参数为特征对火焰区域进行分类。其中，候选区的检测只涉及光谱和结构特征，选择疑似焰核的高亮部分作为种子，沿梯度方向生长，将火焰颜色概率(HSV高斯混合模型)较高的邻域像素引入区域，再用阈值校验区域边缘上具有内部颜色的像素比例，滤除接近纯色的区域。国内，袁宏永等也讨论了基于图像的火焰检测技术，但漏警或误警较高，鲁棒性和适应性较差。袁非牛等提出一种基于规格化傅里叶描述子的轮廓波动距离模型，用来度量火焰的时空闪烁特征。但这些对火焰形状变化的频域描述存在缺陷：一是火焰闪动不属于纯正弦周期运动，很难用FFT检测其时序峰值；二是傅里叶变换不能承载时间信息，必须利用时窗检测，时窗尺寸的选择显得重要而困难，过长过短都可能失去周期或峰值。基于时频与状态分析的方法，燃烧的火焰与具有燃料和燃具无关的高频特性，通过分析这种高频的时序变化能有效地减少误检。Toreyin等在提取运动的火焰颜色区域的基础上，利用小波变换来分析该区域运动的时频特性，并估计火焰闪动的存在。Fastcom虽没有利用颜色时变性，却利用了空间小波系数的能量变化来检测火焰。但是基于火焰闪动的时频特征方法并不适用于火苗检测中，火苗在静止或运动过程中没有大面积的闪动特性，利用这样的方法并不能准确的检测出火苗。技术实现要素：本发明针对上述不足之处提供了一种室内场景火苗检测方法，解决现有技术中对是否存在可能引起火灾的初期火焰、小火苗难以精确检测和跟踪的问题。为了实现上述目的，本发明采用的技术方案为：一种室内场景火苗检测方法，其特征在于，包括如下步骤：步骤1、输入待检测的视频，提取视频的各帧图像并进行降噪、增强对比度预处理操作；步骤2、将预处理后的各帧图像使用帧间差分法获取差分图像，得到提高分辨率的兴趣区域(ROI)；步骤3、提取兴趣区域(ROI)，对兴趣区域进行YCbCr颜色空间转化，并对YCbCr颜色空间转化后的兴趣区域的三个分量通道进行阈值分割，将各个分割结果进行叠加，得到目标二值化图像，若目标二值化图像不存在显著差异区域，则判定无火苗目标出现，反之转到步骤4；步骤4、对步骤3中得到的二值化图像进行形态学判定，即对火苗目标的面积、斜率和圆形度进行判定，根据形态学判定结果，确定最佳目标区域，若没有符合条件的目标区域，则判定无火苗出现，反之转到步骤5；步骤5、选取步骤4中得到的目标区域所对应的步骤3中的兴趣区域(ROI)，将该兴趣区域(ROI)转换得到三个分量通道的梯度方向直方图(HOG)特征，通过提前经过样本训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别，并对本次检测的梯度方向直方图(HOG)特征进行学习；步骤6、当检测到火苗目标后，标记目标区域，运用质心漂移算法对火苗目标在下一帧图像中进行跟踪；步骤7、将存在有火苗目标的各帧图像还原为视频形式输出检测结果。进一步，所述步骤2的具体流程为：步骤21、读入经步骤1预处理后的各帧图像，依时序计算两帧图像间的差值，通过差值图像可以去除背景中不变物体的干扰，并确定检测目标(火苗目标)的范围，获得兴趣区域(ROI)；步骤22、用双三次插值算法得到提高分辨率的兴趣区域(ROI)，所涉及的运算对象是提高分辨率后图像像素点的16个最近邻点，三次插值算法的基函数公式为：S(ω)=|ω|3-|ω|2+1|ω|<1-|ω|3+5|ω|2-8|ω|1≤|ω|<20|ω|≥2;]]>其中ω是指提高分辨率后图像像素点坐标与原图像16个最近邻点坐标的相对偏移值，S(ω)是插值基函数。进一步，所述步骤3的具体流程为：步骤31、提取兴趣区域(ROI)，将兴趣区域(ROI)由RGB颜色空间转换为YCbCr颜色空间，转换公式为：YCbCr=16128128+65.481128.55324.966-37.797-74.203112.000112.000-93.786-18.214×RGB;]]>步骤32、将兴趣区域转换为YCbCr颜色空间后获得Y通道分量、Cb通道分量和Cr通道分量，分别对三个通道求均值可得Ymean、Cbmean、Crmean；根据以下三点作为确定阈值范围的依据：火苗目标的任意像素点的Y通道分量值大于该通道平均值Ymean，同时大于该像素点Cb通道分量值；火苗目标的Cb通道分量值小于该通道平均值Cbmean，火苗目标的Cr通道分量值大于该通道平均值Crmean，同时大于该像素点的Cb通道分量值；通过大量样本测试所得的三个通道的数据值对阈值范围表达式进行修正，再对三个分量通道进行阈值分割，得到新的分量通道值Y’、Cb’、Cr’，其公式为：步骤33、将新的分量通道值Y’、Cb’、Cr’叠加，即矩阵点乘，得到兴趣区域阈值分割后的二值化图像。进一步，所述步骤4中，对步骤3中得到的二值化图像分割结果进行形态学判定的具体流程为：步骤41、根据火苗所具有的像素数大小相对于整幅图片的像素数，定义火苗目标的面积的像素比范围在0.0055％-0.22％之内；步骤42、根据火苗在不同位置时，表现出的形态上偏性或扁平型，定义火苗目标的骨架主干斜率最大值为5，最小值为-5，主要范围在-3～3之内；步骤43、火苗目标的圆形度是火苗目标投影周长与投影面积相等的圆的周长之比，计算公式如下：ψ=12Aπ;]]>式中A为物体的投影面积，π为物体的投影周长，Ψ最小值为1，越接近于1说明物体圆形度越高。进一步，所述步骤5的具体流程为：步骤51、选取步骤4中得到的目标区域所对应的步骤32中获得的三个分量通道图像，即分量通道值Y’、Cb’、Cr’；步骤52、分别输入三个分量通道图像，计算三个分量通道图像中任一像素点(x,y)的梯度，其公式为：Gx(x,y)＝H(x+1,y)-H(x-1,y),Gy(x,y)＝H(x,y+1)-H(x,y-1),式中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像的像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值；步骤53、计算三个分量通道图像中任一像素点(x,y)处的梯度幅度和梯度方向为：G(x,y)=Gx(x,y)2+Gy(x,y)2,]]>α(x,y)=tan-1[Gy(x,y)Gx(x,y)],]]>式中G(x,y)为该像素点(x,y)梯度幅度，α(x,y)为该像素点(x,y)梯度方向，将每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中，即构成了梯度方向直方图；步骤54、将三个分量通道图像分别划分成小cells，并统计每个cell的梯度方向直方图，即统计不同梯度的个数，形成每个cell的描述符，再将每几个cell组成一个block，一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符，最后将三个分量通道图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量的HOG特征，即梯度方向直方图特征；步骤55、通过使用支持向量机(SVM)算法对样本进行训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别，并对本次检测的梯度方向直方图(HOG)特征进行学习。进一步，所述步骤55中，使用支持向量机(SVM)算法对样本进行训练的步骤为：步骤551、根据火苗目标的图像，即正样本和不包含火苗目标的图像，即负样本，训练基本分类器；步骤552、用分类器对所有负样本再次分类，检测错误样本，得到训练好的分类器。进一步，所述步骤6中，运用质心漂移算法对火苗目标在下一帧图像中进行跟踪的具体流程为：步骤61、选用检测到的火苗目标的质心作为火苗目标的特征；步骤62、在下一帧图像中的对应兴趣区域(ROI)中检索质心漂移量符合火苗目标慢速移动的实际情况和漂移量极小的情况，漂移量即是质心在两帧间的距离，所用距离度量为欧式距离，定义如下：De=[(x-s)2+(y-t)2]12,]]>其中(x,y)、(s,t)分别是前后两帧质心的坐标位置；步骤63、定义步骤62中检索得到的火苗目标为该帧的检测目标，并依次进行迭代计算。与现有技术相比，本发明的优点在于：一、本发明通过可见光摄像头对火苗的识别，第一时间监控到火情并进行报警；二、本发明以可见光图像的颜色空间转换和分割为基础，结合火苗的形态学特征进行判别，由于火苗图像在YCbCr颜色空间中的分量通道具有明显的梯度强度和梯度分布特征，利用支持向量机对其HOG特征进行学习和识别，在动态视频中通过瞬时性的帧间差分以及质心漂移算法实现火苗目标的跟踪，通过大量火苗图像和视频样本测试表明，本方法较于传统方法和现有技术，本发明具有识别率高、预警速度快、虚警率低且可靠性高的优点；三、对火苗的检测技术不仅仅适用于室内火情预警，在自动化工业生产、石油天然气勘探、航空航天领域也能延伸应用；四、本发明采用的质心漂移算法，预估火苗的运动范围并在连续帧的该范围内进行检测，计算量小、计算时间短，有效提高了检测效率。附图说明图1为本发明的流程示意图；图2为本发明中静态场景火苗图像检测效果示意图；其中(a)为原图像；(b)为阈值分割后标记点图像；(c)为检测结果；(d)为标记区域放大图像；图3为本发明的视频检测跟踪效果示意图；其中(a)为第52帧未出现目标；(b)为第54帧检测目标(c)为第311帧跟踪目标；(d)为第589帧未出现目标；(e)为第590帧检测目标；(f)第591帧跟踪目标。具体实施方式下面将结合附图及实施例对本发明作进一步的说明。步骤1、输入待检测的视频，提取视频的各帧图像并进行降噪、增强对比度预处理操作；步骤2、将预处理后的各帧图像使用帧间差分法获取差分图像，得到提高分辨率的兴趣区域(ROI)；具体流程为：步骤21、读入经步骤1预处理后的各帧图像，依时序计算两帧图像间的差值，通过差值图像可以去除背景中不变物体的干扰，并确定检测目标(火苗目标)的范围，获得兴趣区域(ROI)；步骤22、用双三次插值算法得到提高分辨率的兴趣区域(ROI)，所涉及的运算对象是提高分辨率后图像像素点的16个最近邻点，三次插值算法的基函数公式为：S(ω)=|ω|3-|ω|2+1|ω|<1-|ω|3+5|ω|2-8|ω|1≤|ω|<20|ω|≥2;]]>其中ω是指提高分辨率后图像像素点坐标与原图像16个最近邻点坐标的相对偏移值，S(ω)是插值基函数。步骤3、提取兴趣区域(ROI)，对兴趣区域进行YCbCr颜色空间转化，并对YCbCr颜色空间转化后的兴趣区域的三个分量通道进行阈值分割，将各个分割结果进行叠加，得到目标二值化图像，若目标二值化图像不存在显著差异区域，则判定无火苗目标出现，反之转到步骤4；具体流程为：步骤31、提取兴趣区域(ROI)，将兴趣区域(ROI)由RGB颜色空间转换为YCbCr颜色空间，转换公式为：YCbCr=16128128+65.481128.55324.966-37.797-74.203112.000112.000-93.786-18.214×RGB;]]>步骤32、将兴趣区域转换为YCbCr颜色空间后获得Y通道分量、Cb通道分量和Cr通道分量，分别对三个通道求均值可得Ymean、Cbmean、Crmean；根据以下三点作为确定阈值范围的依据：火苗目标的任意像素点的Y通道分量值大于该通道平均值Ymean，同时大于该像素点Cb通道分量值；火苗目标的Cb通道分量值小于该通道平均值Cbmean，火苗目标的Cr通道分量值大于该通道平均值Crmean，同时大于该像素点的Cb通道分量值；通过大量样本测试所得的三个通道的数据值对阈值范围表达式进行修正，再对三个分量通道进行阈值分割，得到新的分量通道值Y’、Cb’、Cr’，其公式为：步骤33、将新的分量通道值Y’、Cb’、Cr’叠加，即矩阵点乘，得到兴趣区域阈值分割后的二值化图像。步骤4、对步骤3中得到的二值化图像进行形态学判定，即对火苗目标的面积、斜率和圆形度进行判定，根据形态学判定结果，确定最佳目标区域，若没有符合条件的目标区域，则判定无火苗出现，反之转到步骤5；对步骤3中得到的二值化图像分割结果进行形态学判定的具体流程为：步骤41、根据火苗所具有的像素数大小相对于整幅图片的像素数，定义火苗目标的面积的像素比范围在0.0055％-0.22％之内；步骤42、根据火苗在不同位置时，表现出的形态上偏性或扁平型，定义火苗目标的骨架主干斜率最大值为5，最小值为-5，主要范围在-3～3之内；步骤43、火苗目标的圆形度是火苗目标投影周长与投影面积相等的圆的周长之比，计算公式如下：ψ=12Aπ;]]>式中A为物体的投影面积，π为物体的投影周长，Ψ最小值为1，越接近于1说明物体圆形度越高，定义火苗的圆形度在1.3以下。步骤5、选取步骤4中得到的目标区域所对应的步骤3中的兴趣区域(ROI)，将该兴趣区域(ROI)转换得到三个分量通道的梯度方向直方图(HOG)特征，通过提前经过样本训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别，并对本次检测的梯度方向直方图(HOG)特征进行学习；具体流程为：步骤51、选取步骤4中得到的目标区域所对应的步骤32中获得的三个分量通道图像(三个分量通道)，即分量通道值Y’、Cb’、Cr’；步骤52、分别输入三个分量通道图像，计算三个分量通道图像中任一像素点(x,y)的梯度，其公式为：Gx(x,y)＝H(x+1,y)-H(x-1,y),Gy(x,y)＝H(x,y+1)-H(x,y-1),式中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像的像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值；步骤53、计算三个分量通道图像中任一像素点(x,y)处的梯度幅度和梯度方向为：G(x,y)=Gx(x,y)2+Gy(x,y)2,]]>α(x,y)=tan-1[Gy(x,y)Gx(x,y)],]]>式中G(x,y)为该像素点(x,y)梯度幅度，α(x,y)为该像素点(x,y)梯度方向，将每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中，即构成了梯度方向直方图；步骤54、将三个分量通道图像分别划分成小cells，并统计每个cell的梯度方向直方图，即统计不同梯度的个数，形成每个cell的描述符，再将每几个cell组成一个block，一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符，最后将三个分量通道图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量的HOG特征，即梯度方向直方图特征；步骤55、通过使用支持向量机(SVM)算法对样本进行训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别，并对本次检测的梯度方向直方图(HOG)特征进行学习。使用支持向量机(SVM)算法对样本进行训练的步骤为：步骤551、根据火苗目标的图像，即正样本和不包含火苗目标的图像，即负样本，训练基本分类器；步骤552、用分类器对所有负样本再次分类，检测错误样本，得到训练好的分类器。步骤6、当检测到火苗目标后，标记目标区域，运用质心漂移算法对火苗目标在下一帧图像中进行跟踪；运用质心漂移算法对火苗目标在下一帧图像中进行跟踪的具体流程为：步骤61、选用检测到的火苗目标的质心作为火苗目标的特征；步骤62、在下一帧图像中的对应兴趣区域(ROI)中检索质心漂移量符合火苗目标慢速移动的实际情况和漂移量极小的情况(慢速移动是指火苗每帧偏移量大约与自身长宽尺寸同属一个数量级，极小值是每次比较得出的极值，不固定，就是比较不同的疑似目标选取偏移量极小的作为检测目标)，漂移量即是质心在两帧间的距离，所用距离度量为欧式距离，定义如下：De=[(x-s)2+(y-t)2]12,]]>其中(x,y)、(s,t)分别是前后两帧质心的坐标位置；步骤63、定义步骤62中检索得到的火苗目标为该帧的检测目标，并依次进行迭代计算。步骤7、将存在有火苗目标的各帧图像还原为视频形式输出检测结果。本发明提出反应更为及时且检测准确率高的针对初期火焰、小火苗等的检测技术，为实现特殊场景下的火警预报产品提供技术支持和指导。当前第1页1 2 3