专利名称：一种基于视频的隧道烟雾检测方法及装置的制作方法
技术领域：
本发明涉及图像处理、视频监控以及消防，特别涉及一种基于视频的隧道烟雾检测方法及装置。
背景技术：
随着交通系统的迅速发展，公路、隧道也不断增加。由于隧道内交通流量大且较为封闭，一旦发生火灾，扑救十分困难，且极易造成严重损失。因此隧道内的火灾检测得到了极大地关注。
根据火灾产生规律，火情烟雾的出现早于明火的出现，因此烟雾检测技术被广泛地应用于火情早期预警中。在烟雾检测技术中，基于视频的烟雾检测由于其非接触性、成本较低等优势成为研究的热点。
美国专利申请US 2007/0019071A1公开了一种烟雾检测方法，采用背景估计来提取图像中烟雾区域。公开号为CN101395643A的中国专利申请公开了一种利用摄像机检测烟雾的方法，首先确定视频图像中运动区域的方法和大小来检查该运动区域是否可能存在烟雾，然后在检测到可能存在烟雾时，依据表征烟雾的信息来分析该运动区域的至少一部分是否存在烟雾。但由于隧道内存在行驶的汽车、火车造成的灰尘运动和光照变化，这就大大地影响了上述专利检测的可靠性和准确性。
综上所述，目前迫切需要提出一种能有效去除灰尘运动、光照变化等干扰的隧道烟雾检测方法及装置。
发明内容
有鉴于此，本发明的主要目的在于有效去除灰尘运动、光照变化等干扰，准确地检测出隧道内的烟雾。
为达到上述目的，按照本发明的第一个方面，提供了一种基于视频的隧道烟雾检测方法，包括 第一步骤，根据连续的帧图像建立背景，获取主背景、参考背景及参考图像； 第二步骤，当前图像与主背景做差，获取当前图像的检测点； 第三步骤，计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域； 第四步骤，更新当前图像的背景； 第五步骤，计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域； 第六步骤，计算当前图像初始区域的积分值，根据积分值提取稳定的初始区域； 第七步骤，计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
按照本发明的另一个方面，提供了一种基于视频的隧道烟雾检测装置，该装置包括 背景建立单元，用于根据连续的帧图像建立背景，获取主背景、参考背景及参考图像； 检测点获取单元，用于当前图像与主背景做差，获取当前图像的检测点； 初始区域获取单元，用于计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域； 背景更新单元，用于更新当前图像的背景； 光照干扰滤除单元，用于计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域； 稳定的初始区域获取单元，用于计算当前图像初始区域的积分值，根据积分值提取当前图像的稳定的初始区域； 烟雾获取单元，用于计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
图1示出了按照本发明的基于视频的隧道烟雾检测方法的总体流程图； 图2示出了按照本发明的基于视频的隧道烟雾检测方法的第六步骤的流程图； 图3示出了按照本发明的基于视频的隧道烟雾检测装置的示意框图； 图4示出了按照本发明的基于视频的隧道烟雾检测装置的稳定的初始区域获取单元6的示意框图。
具体实施例方式 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
本发明适用于各种交通场所，特别是隧道。
图1示出了按照本发明的基于视频的隧道烟雾检测方法的总体流程图。如图1所示，按照本发明的基于视频的隧道烟雾检测方法可以包括 第一步骤101，根据连续的帧图像建立背景，获取主背景、参考背景及参考图像； 第二步骤102，当前图像与主背景做差，获取当前图像的检测点； 第三步骤103，计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域； 第四步骤104，更新当前图像的背景； 第五步骤105，计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域； 第六步骤106，计算当前图像初始区域的积分值，根据积分值提取稳定的初始区域； 第七步骤107，计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
第一步骤 根据连续的帧图像建立背景，采用图像平均的方法，计算连续的N帧图像(可以以接收的第一帧图像为起始帧图像，也可以以接收的视频段的中间帧图像为起始帧图像)的平均值。假设这N帧图像为Ii(i∈[1，N])，则主背景IBack的计算公式为参考背景为IBackRef＝IBack，参考图像为IRef＝IBack。
第二步骤 将当前图像与主背景做差，以获取当前图像与主背景的差值图像。以差值图像中像素值大于第一阈值T1的像素点为检测点。其中，第一阈值T1可以选取15～30内的任何一个值，即15≤T1≤30且T1为整数。
第三步骤 一、计算第二步骤获取的检测点的积分值。假设当前图像内像素点(x，y)的积分值为m(x，y)(积分值m(x，y)的初始值为0，即设接收的第一帧图像内所有像素的积分值为0)，将检测点(x，y)的积分值m(x，y)都加上一固定值D1(若检测点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将其他区域内的像素点(x，y)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。固定值D1可以选取8～20内的任何一个值，即8≤D1≤20且D1为整数。固定值D2可以选取8～20内的任何一个值，即8≤D2≤20且D2为整数。
二、将积分值大于第二阈值T2的检测点作为目标，使用连通区域标定方法获取由目标组成的初始区域。连通区域标定方法可以通过四连通域方法或八连通域方法实现。可以这样进行四连/八连通域的连通标记首先，对目标点(即当前图像中积分值大于第二阈值T2的检测点)施行逐行扫描，找到一个未标记区域的第一点，标记该点；检查该点的四连/八连域点并标记满足连通性要求的，且尚未被标记的点，同时将新增的标记点记录下来作为“区域增长”的种子点；在后续的标记过程中，不断地从记录种子点的数组中取出一个种子，施行上述的操作，如此循环，直到记录种子点的数组为空，一个连通区域标记结束；接着再标记下一个未标记的区域，直到目标点全都被标记在连通区域内。每个标记的连通区域即为独立的初始区域，当前图像中的其他区域则为非初始区域。其中，第二阈值T2可以选取150～200内的任何一个值，即150≤T2≤200且T2为整数。
第四步骤 更新当前图像的主背景，其更新公式如下
其中，IBackk-1(x，y)表示目前的主背景像素点(x，y)的像素值，Icur(x，y)表示当前图像像素点(x，y)的像素值，IBackk(x，y)表示更新后的主背景像素点(x，y)的像素值，α、β分别表示非初始区域、初始区域内像素点的主背景更新速率，且0＜β＜α＜1。实施时，可以选取α为0.7～0.9内一值，即0.7≤α≤0.9，β＝α/4。
如果当前图像内不存在初始区域，则需要更新参考背景，即 第五步骤 计算当前图像内的初始区域与初始区域对应的参考背景的相关系数，若该相关系数大于第三阈值T3，则认为该初始区域为光照引起的干扰，将其滤除。设当前图像内初始区域的像素值为Icur，该初始区域对应的参考背景的像素值为IBack，当前图像内的初始区域与初始区域对应的参考背景的相关系数Cor则为 其中，Icuravg(x，y)表示初始区域内所有像素点的像素值的平均值，IBackavg(x，y)表示初始区域对应的参考背景内所有像素点的像素值的平均值。将相关系数＞第三阈值T3的初始区域设为非初始区域，将相关系数≤第三阈值T3的初始区域提取出来。其中，第三阈值T3可以选取0.8～0.9内的任何一个值，即0.8≤T3≤0.9。
第六步骤 图2示出了按照本发明的基于视频的隧道烟雾检测方法的第六步骤的流程图。如图2所示，该第六步骤包括 步骤201，将当前图像与参考图像做差获取差值图像，并统计对应于各个初始区域的差值图像的像素值大于第四阈值T4的像素点个数，并计算该个数与该初始区域总的像素点个数的比值。其中，第四阈值T4可以选取15～30内的任何一个值，即15≤T4≤30且T4为整数。
步骤202，计算比值小于第五阈值T5的初始区域的积分值。假设对应于初始区域的像素点(x，y)的积分值为m(x，y)(积分值m(x，y)的初始值为0，即设接收的第一帧图像内所有像素的积分值为0)，将比值小于第五阈值T5的初始区域的像素点(x，y)的积分值m(x，y)都加上一固定值D1(若像素点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将初始区域内的其他像素点(x，y)(即比值大于或等于第二阈值T2的初始区域的像素点)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。其中，第五阈值T5可以选取0.05～0.15内的任何一个值，即0.05≤T5≤0.15。固定值D1可以选取8～20内的任何一个值，即8≤D1≤20且D1为整数。固定值D2可以选取8～20内的任何一个值，即8≤D2≤20且D2为整数。
步骤203，若初始区域的积分值大于第六阈值T6，则认为该初始区域是稳定的初始区域并提取出。其中，第六阈值T6可以选取150～200内的任何一个值，即150≤T6≤200且T6为整数。
第七步骤 一、计算第六步骤提取出的稳定的初始区域的图像的对比度特征和图像的平滑性特征。稳定的初始区域的图像的对比度计算首先计算对应于稳定的初始区域的当前图像的灰度直方图，然后计算该直方图内中间80％部分的像素值的跨度值(该跨度值也就是指直方图内中间80％部分的像素值的最大值与最小值的差值)。稳定的初始区域的图像的平滑性计算首先计算对应于稳定的初始区域的图像的共生矩阵，再计算该共生矩阵的直方图，并计算该直方图所围成的面积。对于对应于稳定的初始区域的当前图像内的一点(x，y)，首先分别计算其与点(x-2，y+1)、(x-1，y+2)、(x，y+2)、(x+1，y+2)、(x+2，y+1)、(x+2，y)的像素值的差的绝对值，可以获得点(x，y)与邻边点的6个灰度差值，将初始区域内所有点的6个灰度差值汇聚成灰度直方图，然后计算该直方图所围成的面积。
二、根据稳定初始区域的图像的对比度特征和图像的平滑性特征来提取烟雾。若稳定的初始区域的图像的对比度计算出的跨度值小于第七阈值T7，则认为该稳定的初始区域满足烟雾的对比度特征。若稳定的初始区域的图像的平滑性计算出的直方图围成的面积小于第八阈值T8，则认为该稳定的初始区域满足烟雾的平滑性特征。当稳定的初始区域同时满足烟雾的对比度特征和平滑性特征时，则认为该稳定的初始区域是烟雾并输出。其中，第七阈值T7可以选取50～80内的任何一个值，即50≤T7≤80且T7为整数。第八阈值T8可以选取10～20内的任何一个值，即10≤T8≤20且T8为整数。
图3示出了按照本发明的基于视频的隧道烟雾检测装置的示意框图。如图3所示，按照本发明的基于视频的隧道烟雾检测装置包括 背景建立单元1，用于根据连续的帧图像建立背景，获取主背景、参考背景及参考图像。
检测点获取单元2，用于当前图像与主背景做差，获取当前图像的检测点。
初始区域获取单元3，用于计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域。
背景更新单元4，用于更新当前图像的背景。
光照干扰滤除单元5，用于计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域。
稳定的初始区域获取单元6，用于计算当前图像初始区域的积分值，根据积分值提取当前图像的稳定的初始区域。
烟雾获取单元7，用于计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。若光照干扰滤除单元6提取出的稳定的初始区域同时满足图像的对比度特征和图像的平滑性特征，则认为是烟雾并提取出。
图4示出了按照本发明的基于视频的隧道烟雾检测装置的稳定的初始区域获取单元6的示意框图。如图4所示，按照本发明的基于视频的隧道烟雾检测装置的稳定的初始区域获取单元6包括 比值计算模块61，用于将当前图像与参考图像做差获取差值图像，并统计对应于各个初始区域的差值图像的像素值大于第四阈值T4的像素点个数，并计算该个数与该初始区域总的像素点个数的比值。其中，第四阈值T4可以选取15～30内的任何一个值，即15≤T4≤30且T4为整数。
积分值计算模块62，用于计算比值小于第五阈值T5的初始区域的积分值。假设对应于初始区域的像素点(x，y)的积分值为m(x，y)(积分值m(x，y)的初始值为0，即设接收的第一帧图像内所有像素的积分值为0)，将比值小于第五阈值T5的初始区域的像素点(x，y)的积分值m(x，y)都加上一固定值D1(若像素点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将初始区域的其他像素点(x，y)(即比值大于或等于第二阈值T2的初始区域的像素点)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。其中，第五阈值T5可以选取0.05～0.15内的任何一个值，即0.05≤T5≤0.15。固定值D1可以选取8～20内的任何一个值，即8≤D1≤20且D1为整数。固定值D2可以选取8～20内的任何一个值，即8≤D2≤20且D2为整数。
稳定的初始区域判别与提取模块63，用于根据初始区域的积分值与第六阈值T6的大小关系，判别出稳定的初始区域并提取出。如果若初始区域的差值图像的积分值大于第六阈值T6，则认为该初始区域是稳定的初始区域并提取出。其中，第六阈值T6可以选取150～200内的任何一个值，即150≤T6≤200且T6为整数。
与现有的烟雾检测技术相比，按照本发明的基于视频的隧道烟雾检测方法及装置能够有效去除灰尘运动、光照变化等干扰，准确地检测出烟雾，因此特别适用于交通系统，例如隧道、公路等。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
权利要求
1.基于视频的隧道烟雾检测方法，其特征在于，该方法包括
第一步骤，根据连续的帧图像建立背景，获取主背景、参考背景及参考图像；
第二步骤，当前图像与主背景做差，获取当前图像的检测点；
第三步骤，计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域；
第四步骤，更新当前图像的背景；
第五步骤，计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域；
第六步骤，计算当前图像初始区域的积分值，根据积分值提取稳定的初始区域；
第七步骤，计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
2.如权利要求1所述的方法，其特征在于，第一步骤中假设N帧图像为Ii(i∈[1，N])，则主背景IBack的计算公式为参考背景为IBackRef＝IBack，参考图像为IRef＝IBack。
3.如权利要求1所述的方法，其特征在于，第二步骤包括将当前图像与主背景做差，以获取当前图像与主背景的差值图像。以差值图像中像素值大于第一阈值T1的像素点为检测点。
4.如权利要求1所述的方法，其特征在于，第三步骤包括
一、计算第二步骤获取的检测点的积分值。假设当前图像内像素点(x，y)的积分值为m(x，y)，将检测点(x，y)的积分值m(x，y)都加上一固定值D1(若检测点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将其他区域内的像素点(x，y)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。
二、将积分值大于第二阈值T2的检测点作为目标，使用连通区域标定方法获取由目标组成的初始区域。
5.如权利要求1所述的方法，其特征在于，第四步骤包括
更新当前图像的主背景，其更新公式如下
其中，IBackk-1(x，y)表示目前的主背景像素点(x，y)的像素值，Icur(x，y)表示当前图像像素点(x，y)的像素值，IBackk(x，y)表示更新后的主背景像素点(x，y)的像素值，α、β分别表示非初始区域、初始区域内像素点的主背景更新速率，且0＜β＜α＜1。
如果当前图像内不存在初始区域，则需要更新参考背景，即
6.如权利要求1所述的方法，其特征在于，第五步骤包括计算当前图像内的初始区域与初始区域对应的参考背景的相关系数，若该相关系数大于第三阈值T3，则认为该初始区域为光照引起的干扰，将其滤除。设当前图像内初始区域的像素值为Icur，该初始区域对应的参考背景的像素值为IBack，当前图像内的初始区域与初始区域对应的参考背景的相关系数Cor则为
其中，Icuravg(x，y)表示初始区域内所有像素点的像素值的平均值，IBackavg(x，y)表示初始区域对应的参考背景内所有像素点的像素值的平均值。将相关系数＞第三阈值T3的初始区域设为非初始区域，将相关系数≤第三阈值T3的初始区域提取出来。
7.如权利要求1所述的方法，其特征在于，第六步骤包括
一、将当前图像与参考图像做差获取差值图像，并统计对应于各个初始区域的差值图像的像素值大于第四阈值T4的像素点个数，并计算该个数与该初始区域总的像素点个数的比值。
二、计算比值小于第五阈值T5的初始区域的积分值。假设对应于初始区域的像素点(x，y)的积分值为m(x，y)，将比值小于第五阈值T5的初始区域的像素点(x，y)的积分值m(x，y)都加上一固定值D1(若像素点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将初始区域内的其他像素点(x，y)(即比值大于或等于第五阈值T5的初始区域的像素点)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。
三、若初始区域的积分值大于第六阈值T6，则认为该初始区域是稳定的初始区域并提取出。
8.如权利要求1所述的方法，其特征在于，第七步骤包括
一、计算第六步骤提取出的稳定的初始区域的图像的对比度特征和图像的平滑性特征。稳定的初始区域的图像的对比度计算首先计算对应于稳定的初始区域的当前图像的灰度直方图，然后计算该直方图内中间80％部分的像素值的跨度值(该跨度值也就是指直方图内中间80％部分的像素值的最大值与最小值的差值)。稳定的初始区域的图像的平滑性计算首先计算对应于稳定的初始区域的图像的共生矩阵，再计算该共生矩阵的直方图，并计算该直方图所围成的面积。对于对应于稳定的初始区域的当前图像内的一点(x，y)，首先分别计算其与点(x-2，y+1)、(x-1，y+2)、(x，y+2)、(x+1，y+2)、(x+2，y+1)、(x+2，y)的像素值的差的绝对值，可以获得点(x，y)与邻边点的6个灰度差值，将初始区域内所有点的6个灰度差值汇聚成灰度直方图，然后计算该直方图所围成的面积。
二、根据稳定初始区域的图像的对比度特征和图像的平滑性特征来提取烟雾。若稳定的初始区域的图像的对比度计算出的跨度值小于第七阈值T7，则认为该稳定的初始区域满足烟雾的对比度特征。若稳定的初始区域的图像的平滑性计算出的直方图围成的面积小于第八阈值T8，则认为该稳定的初始区域满足烟雾的平滑性特征。当稳定的初始区域同时满足烟雾的对比度特征和平滑性特征时，则认为该稳定的初始区域是烟雾并输出。
9.如权利要求3所述的方法，其特征在于，其中15≤T1≤30且T1为整数。
10.如权利要求4、7所述的方法，其特征在于，其中8≤D1≤20且D1为整数，8≤D2≤20且D2为整数，150≤T2≤200且T2为整数。
11.如权利要求5所述的方法，其特征在于，其中0.7≤α≤0.9，β＝α/4。
12.如权利要求6所述的方法，其特征在于，其中0.8≤T3≤0.9。
13.如权利要求7所述的方法，其特征在于，其中15≤T4≤30且T4为整数，0.05≤T5≤0.15，150≤T6≤200且T6为整数。
14.如权利要求8所述的方法，其特征在于，其中50≤T7≤80且T7为整数，10≤T8≤20且T8为整数。
15.基于视频的隧道烟雾检测装置，其特征在于，该装置包括
背景建立单元，用于根据连续的帧图像建立背景，获取主背景、参考背景及参考图像；
检测点获取单元，用于当前图像与主背景做差，获取当前图像的检测点；
初始区域获取单元，用于计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域；
背景更新单元，用于更新当前图像的背景；
光照干扰滤除单元，用于计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域；
稳定的初始区域获取单元，用于计算当前图像初始区域的积分值，根据积分值提取当前图像的稳定的初始区域；
烟雾获取单元，用于计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
16.如权利要求15所述的装置，其特征在于，稳定的初始区域获取单元包括
比值计算模块，用于将当前图像与参考图像做差获取差值图像，并统计对应于各个初始区域的差值图像的像素值大于第四阈值T4的像素点个数，并计算该个数与该初始区域总的像素点个数的比值。
积分值计算模块，用于计算比值小于第五阈值T5的初始区域的积分值。假设对应于初始区域的像素点(x，y)的积分值为m(x，y)，将比值小于第五阈值T5的初始区域的像素点(x，y)的积分值m(x，y)都加上一固定值D1(若像素点(x，y)的积分值m(x，y)大于250，则令该积分值为250)，将初始区域的其他像素点(x，y)(即比值大于或等于第二阈值T2的初始区域的像素点)的积分值m(x，y)都减去第二固定值D2(若像素点m(x，y)对应的积分值小于0，则令该积分值为0)。
稳定的初始区域判别与提取模块，用于根据初始区域的积分值与第六阈值T6的大小关系，判别出稳定的初始区域并提取出。如果若初始区域的差值图像的积分值大于第六阈值T6，则认为该初始区域是稳定的初始区域并提取出。
17.如权利要求16所述的装置，其特征在于，其中15≤T4≤30且T4为整数，0.05≤T5≤0.15，8≤D1≤20且D1为整数，8≤D2≤20且D2为整数，150≤T6≤200且T6为整数。
全文摘要
本发明提供了一种基于视频的隧道烟雾检测方法及装置，包括根据连续的帧图像建立背景，获取主背景、参考背景及参考图像；当前图像与主背景做差，获取当前图像的检测点；计算当前图像检测点的积分值，根据积分值提取当前图像的初始区域；更新当前图像的背景；计算当前图像与参考背景图像的对应初始区域的相关系数，并根据该系数滤除光照引起的干扰区域；计算当前图像初始区域的积分值，根据积分值提取稳定的初始区域；计算当前图像内稳定的初始区域的特征，并根据特征来提取烟雾。
文档编号G01N21/85GK101751558SQ20091024255
公开日2010年6月23日 申请日期2009年12月16日 优先权日2009年12月16日
发明者陆奇星 申请人:北京智安邦科技有限公司