一种基于紫外、红外、视觉的综合火焰检测方法与流程

本发明涉及图像分析领域，尤其涉及一种基于紫外、红外、视觉的综合火焰检测方法。
背景技术：
：火灾探测技术是通过利用传感器对当前环境进行检测，当发生火灾时会产生一些参量，通过对其进行检测判断当前环境有无火灾发生。传统的火灾探测主要将光、温度以及烟雾作为主要特征参量。当前烟感探测器以及温度传感器是使用最广泛最成熟的火灾检测技术，但此类传感器在仓库、室内运动场等大空间环境下使用时仍有较大缺陷，通常对早期火灾不敏感，无法与大空间建筑内的消防设施进行联动灭火，通过发现火情时火势往往难以控制，容易造成巨大损失，因此目前多传感器融合的火灾探测技术备受关注。基于紫外、红外、视觉的综合火焰检测方法是基于多传感器融合的理念，当物体燃烧时会辐射紫外光、可见光、红外光等光谱，且火焰辐射的红外光谱中，4.3～4.4um波段出的辐射强度最大，可以合理运用这一特征对火焰进行检测。由于紫外探测器易受电弧等影响，红外探测器易受高温物体、人、日光等影响。所以紫外、红外探测器分别对当前环境进行检测，其触发信号通过与门连接至计数器，由于火焰是一个持续性的状态，和应用场景的灵敏度要求，可以自定义设计计数器报警阈值，当相机获取到当前图像时通过对图像进行分析，判断当前环境有无火情，若有火情通过火焰的面积，以及周围环境的亮度对当前火情等级做判断。基于紫外、红外、视觉的综合火焰检测方法克服了传统的温感、烟感等传感器的缺点，其优势在于响应快的同时能够通过多个步骤减少误报，提高检测的精度，并且能对当前火灾等级进行初步判断。技术实现要素：本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于紫外、红外、视觉的综合火焰检测方法。为了实现本发明的上述目的，本发明提供了一种基于紫外、红外、视觉的综合火焰检测系统，包括紫外探测器、红外探测器、视觉探测器、控制器、通讯模块和服务器端；紫外探测器的数据输出端与控制器的第一数据输入端相连，红外探测器的数据输出端与控制器的第二数据输入端相连，视觉探测器的数据输出端与控制器的第三数据输入端相连，视觉探测器的触发数据端与控制器的触发数据端相连，控制器的通讯端与通讯模块的通讯端相连；控制器根据紫外探测器或/和红外探测器采集的数据，触发视觉探测器采集图像数据，并将视觉探测器采集的图像数据通过通讯模块传输至服务器端，在服务器端分析处理视觉探测器采集的图像数据，判断火情状况。在本发明的一种优选实施方式中，控制器包括第一计数器、第二计数器、第三计数器、与门和处理器，紫外探测器的数据输出端与处理器的第一数据输入端相连，处理器的计数数据第一输出端与第一计数器的输入端相连；红外探测器的数据输出端与处理器的第二数据输入端相连，处理器的计数数据第二输出端与第二计数器的输入端相连；第一计数器的数据输出端与与门的第一数据输入端相连，第二计数器的数据输出端与与门的第二数据输入端相连，与门的数据输出端与第三计数器的输入端相连，第三计数器的数据输出端与处理器的计数输入端相连，处理器的触发数据端与视觉探测器的触发数据端相连，视觉探测器的数据输出端与处理器的第三数据输入端相连。本发明还公开了一种基于紫外、红外、视觉的综合火焰检测方法，包括如下步骤：s1，通过紫外、红外、视觉复合火焰探测器对监测环境进行实时探测。其中，紫外探测器用于探测火焰发出的紫外辐射，红外探测器用于探测火焰辐射出的4.3～4.4μm波段光谱，视觉探测器用于火焰的闪烁频率特性和火焰的视觉识别图像采集；在火焰发生时，紫外、红外传感器分别对火焰目标进行探测与识别，将结果信号传输至控制器。若触发视觉探测器，则视觉探测器进行图像和视频的捕获、识别、记录和确认。通过三个传感器的识别结果的融合，获得高可靠性、人眼可见的高灵敏度的火焰探测结果。在本发明的一种优选实施方式中，所述s1包括：s11，紫外探测器输出一阶报警信号：通过第一计数器进行统计，获得统计值m，根据不同的场景对灵敏度的要求，设置第一计算器阈值a，当m>a时，控制器判定为紫外探测器一阶报警信号。s12，红外探测器输出一阶报警信号：通过第二计数器进行统计，获得统计值n，根据不同的场景对灵敏度的要求，设置第二计数器阈值b，当n>b时，控制器判定为红外探测器一阶报警信号。s13，通过与门将紫外探测器和红外探测器的一阶报警信号进行融合，即控制器接收到紫外探测器且接收到红外探测器输出的一阶报警信号，控制器内的第三计数器计数一次，第三计数器达到预设计数阈值时，控制器输出二阶报警信号，传输至视觉探测器。s14视觉探测器接收到二阶报警信号后，开始对现场进行图像和视频的捕获，直至报警信号结束或人工确认。s15对获得的环境图像、视频数据进行分析，使用运动检测对前景图像进行分割，提取前景图像的颜色、纹理以及轮廓特征，融合特征量采用支持向量机(svm)进行训练、识别火焰。s16，通过实时监测火焰在图像中的面积比例，以及当前空间内的亮度变化，绘制一定时间内的亮度变化曲线，通过曲线的走向排除因光照产生的亮度突变，通过空间内的火焰面积以及亮度加权值，这两个参数来对当前火情大小做出判断。在本发明的一种优选实施方式中，所述s15包括：s15-1，运用背景差分运算进行运动检测，分割出前景图像；s15-2，提取前景图像的hsi颜色特征；s15-3，使用灰度共生矩阵描述纹理特征；s15-4，使用傅里叶描述子(fd)提取轮廓信息；s15-5，将上述的特征信息构建成一定维度的特征向量；s15-6，采用支持向量机(svm)进行训练、识别火焰；s15-7，提取火焰频闪特征对火焰进行确认。在本发明的一种优选实施方式中，所述s15-1中运动检测包括：运动检测采用背景差分法对前景图像进行分割，在对背景进行建模时采用高斯模型建模法，高斯模型认为检测区域的像素值，在一定时间内其颜色信息、亮度信息等满足高斯分布。当图像i中任意一点(x,y)的像素值满足：则该像素点(x,y)为背景点，当小于阈值t时该点则为前景点，u(x,y)为像素值在之前时间段的均值，σ为方差。高斯模型需要实时更新，来适应背景的缓慢变化，更新方式为：u(t+1,x,y)＝α·u(t,x,y)+(1-α)·i(x,y)，建立好背景图像后，将当前帧与背景图像做差分运算，对图像的运动区域进行分割，得到分割图像；算法如下：ik(i,j)＝b'k(i,j)+mk(i,j)+nk(i,j)，dk(i,j)＝ik(i,j)-bk(i,j)，其中ik(i,j)是当前图片的在二维坐标平面下(i,j)位置处的像素信息，b'k(i,j)是当前背景图像在(i,j)位置处的像素信息，mk(i,j)代表运动物体在(i,j)位置处的像素信息；nk(i,j)代表图像中的噪声信息，dk(i,j)为前景图像的像素信息，bk(i,j)为背景信息。在本发明的一种优选实施方式中，s15-5中特征提取包括：提取火焰图像的hsi值，作为火焰的颜色特征，在对图像纹理的空间关系进行描述时，基于统计学的灰度共生矩阵是比较常用的一种方法，对火焰进行纹理特征提取，采用灰度共生矩阵进行提取。在对火焰的边缘特征进行提取时采用傅里叶描述子(fd)提取，傅里叶描述子通过对分割出的前景图像的轮廓边缘形成离散的复杂序列，再将序列进行一维的离散傅里叶变换，通过归一化得到描述前景图像轮廓信息的傅里叶系数，保留前k个低频傅里叶系数作为傅里叶描述符来对轮廓进行描述。s15-6中特征提取包括：所述的特征信息构建成一定维度的特征向量，并采用支持向量机(svm)进行训练、识别火焰包括：svm是一种二分类模型，首先对大量的数据样本进行学习，然后通过学习后得到的结果对新数据进行分类。他的基本模型定义为特征空间上间隔最大的线性分类器。svm的中心思想是找到一种方式能够将分类的间隔最大化，在最终求解时就可以很容易的将一个复杂的分类问题转换到一个凸二次规划问题求解。在训练过程中提取正样本和负样本的颜色特征、纹理特征以及边缘特征，将其组成多维的特征向量，通过对正负样本集的训练学习，求解特征空间内的分割间隔最大的超平面对样本进行分类。s15-7提取火焰频闪特征对火焰进行确认包括：火焰燃烧过程中，当环境中风力作用影响较小时，火势相对稳定得情况下，火焰的频闪特征可以通过火焰燃烧面积的变化情况来描述。首先求得，在t+1帧图像中，第i+1帧火焰面积si+1相比于第i帧火焰面积si的变化率pi：将变化率pi作为离散变量，计算其离散时间傅里叶变换得到信号的频域特征计算其频率：将时域信号转换为频域信号，计算火焰的闪烁频率。所述s16包括：基于紫外、红外、视觉(视频)复合火焰探测器，当前燃烧等级计算：通过运动检测对前景图像进行分割，并对前景图像是否有火焰进行判断。s16-1，当前帧的火焰加权平均亮度计算：当有火焰信息时，计算整幅图像亮度的加权平均数iave，并计算短时间内前m帧图像的亮度加权平均数，如果数值没有发生突变则该数值可作为评估火焰燃烧等级的数据源；s16-2，当前帧火焰面积计算:同时计算火焰面积占整体图像的比例，将此数据作为另一判断依据。s16-3，当前图像亮度值计算：当前图像为第n帧则在点(x,y)处的亮度值i应为：s16-4当前图像加权亮度值计算：由于火焰亮度整体较高，为了减弱其在亮度均值中的权重，则令图像中火焰像素的亮度值为ifi，非火焰像素亮度值为ipj，则iave应为：s16-5当前火焰燃烧过程的等级判定；得到图像的整体加权平均亮度后，计算当前图像火焰像素占整体图像比例：记火焰区域的面积sf，当前环境空间区域的横截面面积为sa，计算其百分比为tk；则火焰燃烧等级λ为：λ＝100γtk+(1-γ)iave，0.35＜γ＜0.45，通过计算亮度与火焰面积等参数得到的λ最后与设定的阈值作比较，将火焰燃烧的等级做出判断。综上所述，由于采用了上述技术方案，本发明能够本发明通过紫外、红外复合传感器对空间内是否有火焰进行监测，紫外、红外传感器反应快对物体燃烧产生的紫外和红外光谱十分敏感，能够十分迅速的监测出空间内的变化，但紫外传感器对闪电、电弧等噪声敏感，红外对人体或其他高温物品敏感，二者单独使用容易形成误报，通过将二者的性能相结合能有效的减少误报等情况。并且当监测到空间内存在火焰时，二者可将信号通过与门触发相机工作，获得当前空间内的实时图像，使用图像处理的方式对空间内有无火焰存在做出进一步的判断。图像型火灾探测技术是火灾监测发展的趋势，图像型火灾探测技术相比与传统的探测器，有着响应速度快、探测距离远等优势，适合在大空间建筑内使用。并且本发明通过对图像火焰像素所占比例和整个空间的亮度进行计算，通过得到整个空间亮度的加权平均数，在与火焰面积进行加权，通过此方式对火情进行划分，进一步得到更多的火灾信息。本发明将图像型火灾探测技术与紫外、红外探测结合在一起，更大的满足了人们对火灾高灵敏度、高可靠性和人眼可见的探测要求。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是本发明方法流程图。图2是本发明运动检测判断流程图。图3是本发明svm训练识别流程图。图4是本发明具体实施火焰原帧示意图。图5是本发明背景差分法前景图像示意图。图6是本发明边缘检测提取火焰轮廓图像示意图。具体实施方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。如图1所示，紫外、红外、视频复合探测器对当前环境进行监测，将检测到的数据传回服务器端进行分析处理，当分析到有火灾发生时，发出警告。如图2所示，本系统通过紫外、红外传感器对当前空间进行监测，当紫外、红外传感器(探测器)监测到符合火焰光谱的信息时发出信号，信号通过与门与第三计数器相连接，当第三计数器计数为5时触发相机(视觉探测器)工作。相机获取当前空间的图像信息，通过运动检测提取出前景图像，通过检测前景图像的颜色特征、纹理特征以及边缘特征信息，将其组成多维特征向量，通过支持向量机(svm)进行检测，再次确认是否有火焰存在。当空间确实有火焰存在，通过统计火焰面积，以及空间亮度的加权平均值，将二者的值加权作为判断火焰等级的依据。图像中火焰识别方法运动检测如图3所示，运动检测，背景差分法步骤：①使用高斯模型对背景图像进行建模以及更新；②将当前帧图像与高斯模型生成的背景图像进行差分运算；③设定阈值将差分运算后的图像各个像素与阈值进行比较；运动检测采用背景差分法对前景图像进行分割，在对背景进行建模时采用高斯模型建模法，高斯模型认为检测区域的像素值，在一定时间内其颜色信息、亮度信息等满足高斯分布。当图像i中任意一点(x,y)的像素值满足：则该像素点(x,y)为背景点，当小于阈值t时该点则为前景点，u(x,y)为像素值在之前时间段的均值，σ为方差。高斯模型需要实时更新，来适应背景的缓慢变化，更新方式为：u(t+1,x,y)＝α·u(t,x,y)+(1-α)·i(x,y)，建立好背景图像后，将当前帧与背景图像做差分运算，对图像的运动区域进行分割，得到分割图像；算法如下：ik(i,j)＝b'k(i,j)+mk(i,j)+nk(i,j)，dk(i,j)＝ik(i,j)-bk(i,j)，其中ik(i,j)是当前图片的在二维坐标平面下(i,j)位置处的像素信息，b'k(i,j)是当前背景图像在(i,j)位置处的像素信息，mk(i,j)代表运动物体在(i,j)位置处的像素信息；nk(i,j)代表图像中的噪声信息，dk(i,j)为前景图像的像素信息，bk(i,j)为背景信息。提取前景图像的颜色特征、纹理特征以及边缘特征：对前景图像的颜色特征进行提取时，主要对图像每个像素点的hsi值进行采集，最后求其均值，在训练阶段采集正样本集的hsi值，和负样本集的hsi值将其作为样本数据集。纹理特征与颜色特征不同，图像的颜色特征本质上是基于一个像素点的特征。但是从纹理特征的组成上来看，纹理特征属于一个区域特征，并不能够通过单一的像素点来表示。通过灰度共生矩阵能够通过图片的灰度特征在空间上的相关性来对纹理进行描述。图像中有两个像素点的位置信息为(i,j)和(i',j')，且这两点的灰度值为i1和i2，其中一点沿着一定的方向角θ位移d后，能到达另一点的概率可以用灰度共生矩阵p(i1,i2)表示。将目标区域内所有相互联系的像素的集合记作s，则该空间灰度共生矩阵可写作：i(i,j)＝i1表示图像中像素点(i,j)处的灰度值为i1；i(i',j')＝i2表示图像中像素点(i',j')处的灰度值为i2；熵做维二次特征统计量提取纹理特征，其中p(i1,i2)是灰度共生矩阵：火焰图像可以由n个像素点组成一条封闭的曲线，假设pk为该封闭曲线上的一点，将坐标平面为一个复平面，以该点为起点顺时针运动一圈后，该曲线的n个坐标可以得到一个复杂的离散序列：cn＝xn+jyn(n＝1,2,3,...,n-1)，(xn,yn)表示复平面上的坐标点；j表示表示复平面；将该序列进行一维离散傅里叶变换：n表示该曲线的n个像素点；c(n)表示像素点的复平面坐标；将离散傅里叶变换后得到的数据进行归一化处理，可以得到一系列描述火焰轮廓的傅里叶系数，保留前k个低频傅里叶系数作为火焰形状特征。支持向量机(svm)训练识别svm是一种二分类模型，首先对大量的数据样本进行学习，然后通过学习后得到的结果对新数据进行分类。他的基本模型定义为特征空间上间隔最大的线性分类器。svm的中心思想是找到一种方式能够将分类的间隔最大化，在最终求解时就可以很容易的将一个复杂的分类问题转换到一个凸二次规划问题求解。在训练过程中提取正样本和负样本的颜色特征、纹理特征以及边缘特征，将其组成多维的特征向量，通过对正负样本集的训练学习，求解特征空间内的分割间隔最大的超平面对样本进行分类。火焰频闪特征火焰燃烧过程中，当环境中风力作用影响较小时，火势相对稳定得情况下，火焰的频闪特征可以通过火焰燃烧面积的变化情况来描述。首先求得，在t+1帧图像中，第i+1帧火焰面积si+1相比于第i帧火焰面积si的变化率pi：将变化率pi作为离散变量，计算其离散时间傅里叶变换得到信号的频域特征计算其频率：其中，k表示系数；将时域信号转换为频域信号，计算火焰的闪烁频率。基于火焰面积及环境亮度的火焰等级划分方法①当前帧的火焰加权平均亮度计算；基于紫外、红外和视频的火焰探测器，当前燃烧等级计算：通过运动检测对前景图像进行分割，并对前景图像是否有火焰进行判断。当有火焰信息时，计算整幅图像亮度的加权平均数iave，并计算短时间内前m帧图像的亮度加权平均数，如果数值没有发生突变则该数值可作为评估火焰燃烧等级的数据源；与此同时计算火焰面积占整体图像的比例，将此数据作为另一判断依据。设当前图像为第n帧则在点(x,y)处的亮度值i应为：由于火焰亮度整体较高，为了减弱其在亮度均值中的权重，则令图像中火焰像素的亮度值为ifi，非火焰像素亮度值为ipj，则iave应为：其中，ifi中的i表示第i个火焰点像素；ipj中的j表示第j个非火焰点像素；β表示第一权重参数；②当前火焰燃烧过程的等级判定得到图像的整体加权平均亮度后，计算当前图像火焰像素占整体图像比例：记火焰区域的面积sf，当前环境空间区域的横截面面积为sa，计算其百分比为tk；则火焰燃烧等级λ为：λ＝100γtk+(1-γ)iave，0.35＜γ＜0.45，γ表示第二权重参数；通过计算亮度与火焰面积等参数得到的λ最后与设定的阈值作比较，将火焰燃烧的等级做出判断。实施例环境监测使用紫外火灾探测仪(紫外探测器)对当前环境内180～240nm波段的紫外光谱进行探测，第一计数器对其计数，若统计值m大于第一计数器阈值a，则控制器判定为紫外探测器一阶报警信号；同时使用红外火焰探测器(红外探测器)对当前环境内4.4μm波段的红外光谱进行探测，第二计数器对其计数，若统计值n大于第二计数器阈值b，则控制器判定为红外探测器一阶报警信号。则再通过与门将信号传递给第三计数器，第三计数器计数为5时触发相机(视觉探测器)工作。运动检测对图片进行分析，首先对采集到的图片进行运动检测。背景减法在目前运动识别是最简单高效的方法之一，背景减法要想得到准确的前景图像，其中重要步骤是如何建立一个精确的背景图像。关于背景建模的方法采用高斯模型对背景图像进行建模与更新。图5为背景差分法得到的运动区域。其中图4为火焰原帧，图5为背景差分法前景图像；图6为边缘检测提取火焰轮廓图像示意图。提取前景图像的颜色特征、纹理特征与边缘特征对前景图像的颜色特征进行提取时，主要对图像每个像素点的hsi值进行采集，最后求其均值，在训练阶段采集正样本集的hsi值，和负样本集的hsi值将其作为样本数据集。通过对正样本火焰数据集进行统计hsi值，得到的火焰hsi值范围如表1。表1火焰颜色hsi取值范围颜色模型h分量s分量i分量hsi0～6020～100100～255对图像的纹理特征进行提取，采用灰度共生矩阵对前景图像的灰度图进行分析其相关性，通过灰度共生矩阵可以得到前景图像的一次统计特征，在一次统计特征的基础上提取纹理特征属于二次特征统计量。本设计将熵做维二次特征统计量提取纹理特征，分别统计火焰的纹理特征，并与移动光源、白炽灯、和行驶的车灯三个干扰源进行对比分别得到其纹理特征，如表2。表2火焰及干扰源图像熵特征统计图像编号12345平均值火焰(bit)0.34390.36870.28770.30560.31860.3249移动光源(bit)0.14570.11480.13360.13120.13770.1326白炽灯(bit)0.03550.03490.13470.03440.03420.05452行驶车灯(bit)0.04750.04290.04120.04270.04190.04324在对火焰的边缘特征进行提取时采用傅里叶描述子(fd)提取，傅里叶描述子通过对分割出的前景图像的轮廓边缘形成离散的复杂序列，再将序列进行一维的离散傅里叶变换，通过归一化得到描述前景图像轮廓信息的傅里叶系数，保留前10个低频傅里叶系数作为傅里叶描述符来对轮廓进行描述，如表3。表3火焰边缘特征前10个傅里叶系数统计频闪特征火焰燃烧过程中，当环境中风力作用影响较小时，火势相对稳定得情况下，火焰的闪烁频率分布在3～25hz之间，主要频率在7～12hz之间。火焰的频闪特征可以通过火焰燃烧面积的变化情况来描述。首先求得，在t+1帧图像中，第i+1帧火焰面积si+1相比于第i帧火焰面积si的变化率pi：将变化率pi作为离散变量，计算其离散时间傅里叶变换得到信号的频域特征计算其频率：将时域信号转换为频域信号，计算火焰的闪烁频率。基于火焰实际面积的火焰等级判定①当前帧的火焰加权平均亮度计算；基于紫外、红外和视频的火焰探测器，当前燃烧等级计算：通过运动检测对前景图像进行分割，并对前景图像是否有火焰进行判断。当有火焰信息时，计算整幅图像亮度的加权平均数iave，并计算短时间内前m帧图像的亮度加权平均数，如果数值没有发生突变则该数值可作为评估火焰燃烧等级的数据源；与此同时计算火焰面积占整体图像的比例，将此数据作为另一判断依据。设当前图像为第n帧则在点(x,y)处的亮度值i应为：由于火焰亮度整体较高，为了减弱其在亮度均值中的权重，则令图像中火焰像素的亮度值为if，非火焰像素亮度值为in，则iave应为：②当前火焰燃烧过程的等级判定得到图像的整体加权平均亮度后，计算当前图像火焰像素占整体图像比例：记火焰区域的面积sf，当前环境空间区域的横截面面积为sa，计算其百分比为tk；则火焰燃烧等级λ为：λ＝100γtk+(1-γ)iave，0.35＜γ＜0.45，通过计算亮度与火焰面积等参数得到的火焰燃烧等级λ最后与设定的阈值作比较，将火焰燃烧的等级做出判断：若火焰燃烧等级λ小于或者等于预设第一火焰阈值，则报警装置发出三级报警；若火焰燃烧等级λ大于预设第一火焰阈值，且小于或者等于预设第二火焰阈值，则报警装置发出二级报警；所述预设第二火焰阈值大于预设第一火焰阈值；若火焰燃烧等级λ大于预设第二火焰阈值，且小于或者等于预设第三火焰阈值，则报警装置发出一级报警；所述预设第三火焰阈值大于预设第二火焰阈值；该三级报警为亮光报警，二级报警为声响报警，一级报警为声光报警。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。当前第1页12