本发明涉及图像处理中火焰目标检测算法领域，具体是一种基于运动特性和颜色时空信息的火焰检测方法。
背景技术：
火灾一直都是森林环境、财产安全的巨大威胁之一，能够及时地对突发火灾进行报警是减少或避免火灾带来损失的有效措施。对于室外的环境，可以安装标量传感器，它们分别利用火灾火焰的烟雾、温度、光的特性对火焰进行探测，但由于空间高度、覆盖范围等因素，往往导致高的误报率。在这种情况下，基于计算机视觉技术的图像型火灾探测技术可以实现更加准确、可视化的监测。近年来，随着计算机视觉技术的快速发展，利用该技术进行火灾报警成为可能，并且已存在一些现有的技术。
现有的技术主要集中在分析火焰特征上。对于颜色分析而言，将采集到的彩色图像转换至rgb通道，对每个像素的这三个通道设置一些阈值条件，将满足这些条件的像素点划分为火焰像素点。其中有三基色分量差分法、动态阈值法等，其基本思想都仅分析了序列图像的静态信息，虽然有效地利用了图像的颜色信息，但忽略了序列图像随时间的变化信息，即从图像序列整体角度去分析运动物体的变化规律，才是火焰区别于其他运动物体的关键所在。
针对图像序列的动态信息，运动目标检测技术是计算机视觉中信息提取的关键步骤，其核心是快速准确地从图像序列中提取出运动目标，是后续火焰目标分析的重要基础。现有运动目标检测技术按照工作原理主要分为三类，光流法，帧差法，背景减除法。光流法能够实现从运动的摄像机拍摄图像序列中提取出运动物体，但其具有很大的计算量，用途较小；帧差法使用相邻两幅图像相减，通过与选定的适当阈值比较得到运动物体，因为其只要使用两幅图像就能够进行运动检测，所以具有较快的速度，实时性较高，在其后来发展出的三帧差法也同样具有这样的优点，但是，使用帧差法得到的运动目标难以获取完整的目标轮廓，无法获得准确的运动检测结果，往往作为运动检测的一种辅助方法；背景减除法是运动检测中使用最为广泛的办法，其主要思想是先构建一个静态背景模型，再将新的图像与背景模型相减，与选定的分割阈值相比较后获得运动目标。
基于背景减除法的运动检测算法主要面对一些难以处理的困难：背景中存在树叶摆动，烟雾等情况，光照变化以及间歇性运动物体存在等现象。目前已经提出很多解决上述一些问题的方法，如建立基于颜色信息的背景模型，基于纹理信息的背景模型，基于像素点的处理办法，基于区域的处理方法，但大多数往往以牺牲实时性为代价而提高处理效果，这在硬件应用领域无疑会带来新的挑战。
总之，现有的基于图像序列信息的火灾预警方法利用了较多的二维信息，如颜色、形状、面积等；也有一些利用了分析局部图像序列的方法，力求分析图像目标的变化规律。现有技术虽然在一些简单的室内场景中，具有较好的检测效果，但是在具有复杂外界环境的场合下，其检测率会明显下降，因为室外环境的光照变化与各种噪声会影响图像特征的获取。
技术实现要素：
基于上述想法，本发明提出一种基于运动特性和颜色时空信息的火焰检测方法，此方法能够适应复杂的森林环境，具有良好的鲁棒性与抗干扰能力，对采集的图像序列进行实时的火焰检测
为实现上述目的，采用如下技术方案：
一种基于运动特性和颜色时空信息的火焰检测方法，包括如下步骤：
(1)选取图像序列的第一张图像，使用此图像中的像素点初始化背景模型；
(2)从第二张图像开始，判断像素点是否属于背景像素，若属于背景像素，则进行背景模型的更新，否则，提取出运动目标作为前景图像，转至步骤(3)；
(3)对当前图像与下一张相邻图像分别进行边缘检测，异或合成边缘变化图；
(4)将步骤(2)中提取的前景图像通过邻域均值滤波平滑后与步骤(3)中得到的边缘变化图合成运动变化图，后经二值化处理、形态学变化，标记连通区域，提取出感兴趣区域，转至步骤(5)；
(5)将提取出的感兴趣区域转换为i分量图与s分量图，选择合适的阈值进行二值化操作，包括合适的亮度阈值和饱和度阈值，得到i分量区域与s分量区域，存储特征值序列，进行相关性计算，确认火焰的发生，具体包括以下步骤：
a.分析：从原始数据集中选取包含火焰的图像序列与包含伪火的图像序列作为分析样本并依次提取颜色时空信息，其中包括i前景区域和s前景区域，将它们的区域面积值分别记录下来，作为特征序列，通过下式计算它们之间的相关度：
其中r表示相关性系数，cov(i，s)是i、s的协方差，σi、σs分别是i、s的标准差；通过分析发现，包含真实火焰图像序列中的i区域与s区域变化趋势具有较强的相关性；
b.预处理：对图像序列依次进行运动检测，若无运动区域，则直接按无火焰目标跳过继续下一张图像的检测，否则，提取出图像中的感兴趣区域，取得颜色时空信息特征序列；
c.火焰确认：通过颜色时空信息特征序列，即i前景区域与s前景区域随时间变化的情况，计算相关性系数，若大于阈值θ，则认为图像中确实含有火焰；
correlation(i，s)＞θ(7)。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，阈值θ设置为0.55，用于将火焰与伪火焰区分开。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(1)中：对于任一像素点，首先需要建立背景模型bg(x，y)，其后才能进行前景的检测，背景模型bg(x，y)的表达式如下：
bg(x，y)＝{v1(x，y)，v2(x，y)，......，vn(x，y)}，n＝20(1)
其中bg(x，y)表示背景模型，vn(x，y)表示背景模型中第n个背景模型样本，n是样本的总数，取n为20；
要求背景模型由图像序列的第一张图像建立，建立方式为：在首张图像中，以某个像素点为中心的3*3像素的八邻域为随机采样区域，随机采样20次，共计采样20个背景值。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(2)中：给定邻域范围阈值r从第二幅图像开始，按如下公式对连续下一幅图像中像素点进行前景或背景判断：
其中，logic(x，y)＝1时表示像素点(x，y)被划分为前景点，logic(x，y)＝0时表示像素点(x，y)被划分为背景点；bgi(x，y)表示背景模型中的第i个样本，dis(bgi(x，y)，image(x，y))表示该像素点与背景模型里第i个样本点的欧式距离，sum是求和运算符，nmin表示最小满足条件，欧式距离计算公式如下所示：
dis(bgi(x，y)，image(x，y))＝abs(bgi(x，y)，image(x，y))(3)。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(2)中：从第二张图像开始，使用取帧间隔tf依次获取图像，当像素点被划分为背景像素的时候，采用更新率f对背景模型进行更新，具体过程如下所述：
首先，对背景模型中的样本点进行更新，采用随机选取的方式，选取样本的其中一个进行更新，用新判定的背景点替换这个样本点；其次，采用邻域内点更新背景点的背景模型来实现这一思想，具体做法是用邻域点的像素值随机替换它的一个背景模型样本值，其中更新率均为f，取值为1/16。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(3)中：对于每幅图像首先需要通过sobel算子获得边缘图，进而才能得到边缘变化图，具体包括以下步骤：
a.分别将如下2个方向模板沿着图像从一个像素移动到另一个像素，并将像素的中心与图像中的某个像素位置重合；
b.将模板内的系数与其图像上相应的像素值相乘；
c.将所有相乘的值相加；
d.利用2个卷积的值，计算梯度值作为新的灰度值；
e.选取合适的阈值t，若新像素的灰度值＞t，则认为该像素点为背景边缘点，突出显示；
f.将当前图像的边缘图与上一张图像的边缘图进行异或，合成得到边缘变化图。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(4)中：将前景提取图与边缘变化图进行与操作合成后，感兴趣区域的提取还需要经过二值化处理和形态学变化，对于一幅图像，要进行二值化处理，首先需要先找到合适的阈值t，采用otsu方法取得；其具体实现过程为：设灰阶图像(x，y)的灰度级为0～l，灰度级i的像素数为ni，则图像中总像素数目为
σ2(k)＝ω0(μ0-μ)2+ω1(μ1-μ)2＝ω0ω1(μ1-μ0)2(4)
以类间方差σ2(k)作为衡量不同阈值导出类别分离性能的测量准则，极大化σ2(k)的过程就是自动确定阈值的过程，因此最佳阈值t为t＝argmaxσ2(k)；
将此二值图像进行形态学处理，其后再对其进行邻域均值滤波，这里采用3*3窗口大小的模板进行处理。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(4)中：对各个连通区域进行标记后，才能够提取到感兴趣区域；从二值图像(0，0)坐标开始从上到下扫描整幅图像，如果遇到目标像素，则初始化连通区域的长、宽以及外接矩形信息，标记目标像素所在目标段，记录目标段最左边和最右边像素的x，y坐标。
所述的一种基于运动特性和颜色时空信息的火焰检测方法，步骤(5)中：亮度阈值取值为190，饱和度阈值的取值范围为0.2～0.3，将提取出的i前景区域与s前景区域分别和感兴趣区域进行与操作，取得i前景区域与s前景区域的面积进行存储，以判断感兴趣区域中是否为真实火焰区域。
本发明的有益效果是：
本发明方法采用运动检测结合边缘信息来提取准确的运动目标，去除了伪影的干扰，并能有效的分离噪声与前景目标；在采用颜色时空信息进行火焰确认过程中，采用otsu自适应阈值，有效避免了光照强度突变引起的干扰，背景的实时更新能够适应天气随时间的变化，有效提高了火焰报警的准确率，降低了干扰物体的假警报率；对森林火焰的平均检测率为91.78％，对非火焰的误检率为7.11％。本发明将运动检测作为一个视觉任务，使用分析取得的运动模型检测新采集图像的运动，使用计算机视觉特征计算分析火焰模式，减少处理量，与现有技术相比，本发明对森林环境的自适应性和火焰动态特征的检测方式，可以达到较好的快速性。
本发明提出的基于运动特性和颜色时空信息的火焰检测方法，不仅执行快速，同时可以保证较高的检测率与较低的误检率，更重要的是可以在复杂的检测环境下保持良好的鲁棒性，可以应用于森林火灾监控场合。
附图说明
图1为本发明的整体流程示意图。
图2为步骤(2)中背景模型的建立过程示意图。
图3为本发明实验发现序列图像中火焰像素的增长图。
图4为本发明分析颜色特性的时空变化特性。
图5是本发明基于运动特性和颜色时空信息的火焰检测方法提取图像序列样本的感兴趣区域结果与常用的混合高斯模型、vibe算法的对比图，a1、b1是原始样本图像，a2、b2，是采用运动特性与边缘特性提取的感兴趣区域结果图，a3、b3是采用混合高斯模型提取出的感兴趣区域结果图，a4、b4是采用混合高斯模型提取出的感兴趣区域结果图。
图6是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测率对比图。
图7是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的误检率对比图。
图8是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测时间对比图。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
一种基于运动特性和颜色时空信息的火焰检测方法，整体过程如图1所示，其中背景模型的建立过程如图2所示，本发明包括以下步骤：
(1)选取图像序列的第一张图像，使用此图像中的像素点初始化背景模型。
步骤(1)中，对于任一像素点，首先需要建立背景模型bg(x，y)，其后才能进行前景的检测，背景模型bg(x，y)的表达式如下：
bg(x，y)＝{v1(x，y)，v2(x，y)，......，vn(x，y)}，n＝20(1)
其中bg(x，y)表示本发明提出的背景模型，vn(x，y)表示背景模型中第n个背景模型样本，n是样本的总数，取n为20。
要求背景模型由图像序列的第一张图像建立，建立方式为：在首张图像中，以某个像素点为中心的3*3像素的八邻域为随机采样区域，随机采样20次，共计采样20个背景值，这种方法获得的背景模型不依赖于历史像素，仅通过单张图像就可以建立，而且具有颜色纹理信息所携带的特性，具有很低的计算量。
(2)从第二张图像开始，判断像素点属于背景像素，则进行背景模型的更新，如图2所示，否则，提取出运动目标作为前景图像，转至步骤(3)。
步骤(2)中：给定邻域范围阈值r，从第二幅图像开始，按如下公式对连续下一幅图像中像素点进行前/背景判断：
其中，logic(x，y)＝1时表示像素点(x，y)被划分为前景点，logic(x，y)＝0时表示像素点(x，y)被划分为背景点。bgi(x，y)表示背景模型中的第i个样本，dis(bgi(x，y)，image(x，y))表示该像素点与背景模型里第i个样本点的欧式距离，sum是求和运算符，nmin表示最小满足条件，欧式距离计算公式如下所示：
dis(bgi(x，y)，image(x，y))＝abs(bgi(x，y)，image(x，y))(3)；
步骤(2)中：从第二幅图像开始，使用取帧间隔tf依次获取图像，当像素点被划分为背景像素的时候，使用更新率f对背景模型进行更新，具体过程如下所述：首先，对背景模型中的样本点进行更新，采用随机选取的方式，选取样本的其中一个进行更新，用新判定的背景点替换这个样本点；其次，由于背景点一般不会独立存在，其邻域点极有可能也是背景点，但是也不绝对是背景点，所以采用邻域内点更新背景点的背景模型来实现这一思想，具体做法是用邻域点的像素值随机替换它的一个背景模型样本值，其中更新率均为f，这里取值为1/16。
(3)对当前图像与下一张相邻图像分别进行边缘检测，异或合成边缘变化图。
步骤(3)中：对于每幅图像首先需要通过sobel算子获得边缘图，进而才能得到边缘变化图，具体包括以下步骤：
a.分别将如下2个方向模板沿着图像从一个像素移动到另一个像素，并将像素的中心与图像中的某个像素位置重合；
b.将模板内的系数与其图像上相应的像素值相乘；
c.将所有相乘的值相加；
d.利用2个卷积的值，计算梯度值作为新的灰度值；
e.选取合适的阈值t，若新像素的灰度值＞t，则认为该像素点为背景边缘点，突出显示；
f.将当前图像的边缘图与上一张图像的边缘图进行异或，合成得到边缘变化图。
(4)将步骤(2)中提取的前景图像与步骤(3)中得到的边缘变化图合成运动变化图，后经二值化处理、形态学变化，提取感兴趣区域，转至步骤(5)。
步骤(4)中：将前景提取图与边缘变化图进行与操作合成后，感兴趣区域(roi)的提取还需要经过二值化处理和形态学变化，对于一幅图像，要进行二值化处理，首先需要先找到合适的阈值t，采用otsu方法取得，基本思想是将图像直方图用某一灰度值分割成两组，当被分割成的两组方差最大时，此灰度值就作为图像二值化的阈值t。otsu阈值法使用范围广泛，不论图像的直方图有无明显的双峰，都能得到比较满意的分割效果。其具体实现过程为：设灰阶图像(x，y)的灰度级为0～l，灰度级i的像素数为ni，则图像中总像素数目为
σ2(k)＝ω0(μ0-μ)2+ω1(μ1-μ)2＝ω0ω1(μ1-μ0)2(4)
以类间方差σ2(k)作为衡量不同阈值导出类别分离性能的测量准则，极大化σ2(k)的过程就是自动确定阈值的过程，因此最佳阈值t为t＝argmaxσ2(k)。
将此二值图像进行形态学处理，其后再对其进行邻域均值滤波，这里采用3*3窗口大小的模板进行处理。
步骤(4)中：对各个连通区域进行标记后，才能够提取到感兴趣区域。从二值图像(0，0)坐标开始从上到下扫描整幅图像，如果遇到目标像素，则初始化连通区域的长、宽以及外接矩形信息，标记目标像素所在目标段，记录目标段最左边和最右边像素的x，y坐标。
(5)将提取出的感兴趣区域转换为i分量图与s分量图，选择合适阈值进行二值化操作，包括合适的亮度阈值和饱和度阈值，得到i分量区域与s分量区域，存储特征值序列，进行相关性计算，确认火焰的发生，具体包括以下步骤：
a.分析：从原始数据集中选取包含火焰的图像序列与包含伪火的图像序列作为分析样本并依次提取颜色时空信息，其中包括i前景区域和s前景区域，将它们的区域面积值分别记录下来，作为特征序列，通过下式计算它们之间的相关度：
其中r表示相关性系数，cov(i，s)是i、s的协方差，σi、σs分别是i、s的标准差。通过分析发现，包含真实火焰图像序列中的i区域与s区域变化趋势具有较强的相关性。而对于伪火焰的图像序列中它们之间的相关度是弱的或可以忽略的。显然，火焰与伪火灾的相关性系数之间存在着显著的差异，样本中火焰序列的最小相关性系数r值和伪火焰中最大相关性系数r值分别为0.83和0.27，这提供给我们一个宽的阈值选择范围。我们将阈值θ设置为0.55，用于将火焰与伪火焰区分开。
b.预处理：对图像序列依次进行运动检测，若无运动区域，则直接按无火焰目标跳过继续下一张图像的检测，否则，提取出图像中的感兴趣区域，取得颜色时空信息特征序列。
c.火焰确认：通过颜色时空信息特征序列，即i前景区域与s前景区域随时间变化的情况，计算相关性系数，若大于阈值θ，则认为图像中确实含有火焰；
correlation(i，s)＞θ
步骤(5)中：采用经验值将亮度阈值取值为190，饱和度阈值的取值范围为0.2～0.3，将提取出的i前景区域与s前景区域分别和感兴趣区域进行与操作，取得i前景区域与s前景区域的面积进行存储，以判断感兴趣区域中是否为真实火焰区域。
针对样本集中的序列，为了设置参数，我们分析了15个火焰序列中的10个，其余与无火序列共同测试算法，这里加入无火的序列是为了测试对伪火焰的误检率。算法中最重要的参数是取帧间隔tf，首先它必须与火焰动力学的时间尺度相关联，其次，其值越高，算法相关联的处理负载越轻，实现的功耗越低，为了设置tf，我们对序列图像建立背景模型，依次获得每张图像中火焰像素的近似数目，如图3所示，发现其数值高度依赖于时间动力学，呈现平滑变化。事实上，大多数的突然变化可以通过每秒采集图像发现，因此，我们设置tf＝1s。
在tf、f确定情况下，考虑阈值θ。通过分析火焰图像序列发现，i区域与s区域变化趋势具有较强的相关性，如图4所示。在数据集上，计算s区域与i区域的相关性系数，对伪火焰序列的分析结果显示了i前景区域与s前景区域在所有情况下是弱的或可以忽略的相关，其中手电筒的光与阳光引起了较高的相关性，虽然光照射的不同角度会改变相关性大小，但它们之间的相关度并没有真实火焰高。从对火焰序列的分析结果可以看出，火焰与伪火灾的相关性系数之间存在着显著的差异，样本中火焰序列的最小相关性系数r值和伪火焰中最大相关性系数r值分别为0.83和0.27，这提供给我们一个宽的阈值选择范围。我们将θ设置为0.55，用于将火焰与伪火焰区分开。
图5是本发明基于运动特性和颜色时空信息的火焰检测方法提取图像序列样本的感兴趣区域结果与常用的混合高斯模型、vibe算法的对比图，a1、b1是原始样本图像，a2、b2，是采用运动特性与边缘特性提取的感兴趣区域结果图，a3、b3是采用混合高斯模型提取出的感兴趣区域结果图，a4、b4是采用混合高斯模型提取出的感兴趣区域结果图。
图6是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测率对比图。其中方法1采用火焰像素分类的通用颜色模型，使用ycbcr色彩空间分离亮度与色度，实现火焰的检测，方法2采用使用颜色的时间空间特性生成特征向量，使用支持向量机分类器训练和测试所提取的特征，进行火焰检测。
图7是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的误检率对比图。方法1与方法2描述同图6。
图8是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测时间对比图。方法1与方法2描述同图6。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。