一种基于多维信息特征融合的交通场景烟雾智能检测方法与流程

本发明涉及交通场景下的火灾烟雾检测领域，具体涉及一种基于多维信息特征融合的交通场景烟雾智能检测方法。

背景技术：

人们最早开始研究的是基于传感器的火灾检测技术，该类方法主要通过传感器对温度，湿度等物理参数的检测来判断火灾是否发生。但传感器抗干扰能力差，易受到外界环境的影响，且不适用于大型空间的火灾检测。随着视频检测技术的发展，许多专家学者转向基于视频的烟雾检测研究，取得了部分研究成果，但烟雾图像识别的准确率和实时性均有待提高，检测可靠性亟待增强。

技术实现要素：

为了克服现有技术存在的缺点与不足，本发明提供一种基于多维信息特征融合的交通场景烟雾智能检测方法。

本方法提高烟雾检测算法的准确性和实时性，解决传统火灾检测和视频检测方法准确率及实时性差的技术缺陷，提高烟雾检测系统的可靠程度。

本发明采用如下技术方案：

一种基于多维信息特征融合的交通场景烟雾智能检测方法，包括如下步骤：

s1获取交通领域内的视频数据并进行预处理；

s2对预处理后的视频数据中的图像进行混合高斯模型与码本算法融合建模，并提取前景区域和背景区域；

s3提取前景区域的颜色特征，得到初级感兴趣区域,即疑似烟雾区域；

s4提取初级感兴趣区域三个动态特征，所述三个动态特征包括迅速膨胀特征，边缘不规则特征及高频能量衰减特征；

s5将训练样本分为烟雾正样本和非烟雾负样本，根据动态特征建立训练样本集，采用支持向量机作为分类器进行训练，输入测试样本进行烟雾的自动检测。

所述s2具体步骤为：

s2.1将视频数据场景中每个像素点的状态用k个加权的高斯分布模型来描述，设t时刻场景图像中某像素点的观测值为xt，则求得观测值为xt时出现的概率密度函数，将概率密度函数与设定的阈值范围进行比较，小于阈值的点设置为背景，大于阈值的点设置为前景，即运动目标；

s2.2根据视频数据建立背景模型，对背景模型中的每个像素建立码本，并将图像像素与对应的码本中的码字进行匹配，若匹配成功，则该像素为背景，否则为前景，即运动目标；

s2.3将高斯混合模型提取出的前景与码本算法提取出的前景进行逻辑与运算，得到融合后的前景区域及背景区域；

s2.4利用形态学方法，对融合后的前景区域进行除噪声处理。

s3提取前景区域的颜色特征，得到初级感兴趣区域，具体如下：

对前景区域的像素点rgb通道分量进行归一化处理，然后将rgb颜色空间映射到hsv色彩空间，形成基于rgb通道和hsv通道的综合条件判据，进一步处理得到初级感兴趣区域。

所述s4具体包括：

迅速膨胀特征：具体为单位时间内烟雾面积增长率

其中，pi+k为i+k时刻初级感兴趣区域内像素的总个数，pi为i时刻初级感兴趣区域内像素的总个数，t表示时间间隔；

边缘不规则特征：具体为单位时间内的不规则度γ

其中，cs为初级感兴趣区域的周长，pt为初级感兴趣区域外接矩形的像素总个数；

高频能量衰减特征包括前景背景高频能量比、高频能量变化率、高频能量时变率及高频能量变化剧烈程度，具体采用sym小波基初级感兴趣区域进行二维单次小波变换，将其分解为低频部分ll，高频部分水平分量lh、垂直分量hl、对角分量hh，计算前景背景高频能量比，计算相应的高频能量变化率，高频能量时变率，高频能量变化剧烈程度。

所述s5具体为：

s5.1建立训练样本集：获取正负比例相同的测试样本，对测试样本重复s1-s4的步骤得到动态特征向量，并在向量末尾增加一维，表示样本的属性，所述样本的属性为正样本或负样本，最后采用支持向量机进行离线训练，得到训练好的svm模型；

s5.2样本测试：选择新的待测样本，输入训练好的svm模型中进行测试，实现对视频中烟雾的识别。

本发明采用径向基核函数作为支持向量机的参数，对样本进行训练。

所述提取边缘不规则特征，具体为：

s4.1利用canny检测算子提取烟雾目标边缘；

s4.2定义中心像素的八个邻域及其分别对应的八个方向，分别用数字0～7表示；

s4.3按照自上而下，自左至右的顺序扫描目标区域，对目标区域进行编码，背景设为“0”，目标边缘设为“1”；

s4.4根据欧式距离公式计算目标边缘的周长：

s4.5、计算疑似烟雾区域的边缘不规则度：

cs为疑似烟雾区域的周长，pt为疑似烟雾区域外接矩形的像素总个数。

所述高频能量变化率θ，高频能量时变率ξ和高频能量变化剧烈程度ρ，其计算公式为：

其中，θt+k为t+k时刻感兴趣区域的高频能量变化率，为前n帧高频能量的均值；ei为第i帧前景高频能量，n取7～10。

所述高频能量的计算公式为：

其中，vt²(i,j)，ht²(i,j)，dt²(i,j)分别为像素点p(i,j)在t时刻高频水平方向，高频垂直方向，高频对角方向的能量分量；

计算输入帧前景区域的高频能量与该区域背景能量之比：

其中，e(bk,it)为前景区域高频能量，e(bk,bgt)为背景区域高频能量。

所述s2.2具体：计算一段视频序列{i1,i2,,,ik,,in}的初始均值μ0和方差δ0²：

对背景图像每个像素建立码本，给每个码字定义一个ycrcb向量和一个六元组：

vi＝(yi,cri,cbi)

auxi＝(il,ih,fi,li,pi,qi)

其中，ih，il分别为为每个码字接受的最大像素、最小像素的亮度值；fi表示码字出现的频率；li表示码本的最大消极时间；pi和qi分别表示码字首次和最后一次出现的时间。

本发明的有益效果：

1、本发明提出的基于多维信息特征融合的交通场景烟雾智能检测方法，在前景提取时将混合高斯模型和码本算法相融合，该融合算法不仅填补了前景由缓慢运动引起的“空洞”，且对阴影有良好的抑制效果；

2、本发明提出的基于多维信息特征融合的交通场景烟雾智能检测方法，不仅考虑了图像的颜色特征等静态特征，还将烟雾的三个动态特征考虑在内，特别将高频能量时变率和变化剧烈程度作为重点的判断指标。本发明先利用颜色特征进行初步筛选，后根据动态特征精准识别，建立了一个二级级联的识别系统，提高了烟雾识别的鲁棒性；

3、本发明提出的基于多维信息特征融合的交通场景烟雾智能检测方法，利用支持向量机(svm)的分类器代替固定阈值进行烟雾的综合判定，克服了传统方法中因阈值设置不合理甚至没法准确设置阈值等问题，为各种交通场景下的早起火灾检测和预防提供了有力的技术支持。

附图说明

图1是只采用混合高斯模型建模进行前景提取的效果图。

图2是混合高斯模型与马本算法融合建模后进行前景提取的效果图。

图3是图1与图2的原图。

图4是利用canny检测算子提取烟雾目标边缘的效果图。

图5a是行人区域低频分量子图。

图5b是行人区域高频水平方向子图。

图5c是行人区域高频能垂直方向子图。

图5d是行人区域高频对角方向子图。

图6a是烟雾区域低频分量子图。

图6b是烟雾区域高频水平方向子图。

图6c是烟雾区域高频垂直方向子图。

图6d是烟雾区域高频对角方向子图。

图7是前景区域与背景区域高频能量的比值随时间变化的曲线图。

图8是行人区域和烟雾区域各自的高频能量变化率曲线图。

图9a及图9b是支持向量机(svm)的原理图。

图10为本发明的流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图10所示，一种基于多维信息特征融合的交通场景烟雾智能检测方法，包括如下步骤：

s1获取交通领域内的视频数据并进行预处理；

将摄像机等设备拍摄到的视频逐帧储存，并转换成数据矩阵，然后对矩阵数据进行降噪处理。

s2对预处理后的视频数据中的图像进行混合高斯模型与码本算法融合建模，并提取前景区域和背景区域，具体为：

s2.1视频数据由图像构成，将视频数据场景中每个像素点的状态用k个加权的高斯分布模型来描述，每个高斯分布具有不同权重，用来描述当前的视频场景状态，一般k取3～5；设t时刻场景图像中某像素点的观测值为xt，则观测值为xt时出现的概率密度函数为：

其中，p(xt)为观测值为xt的情况出现的概率，xt为t时刻像素点的观测值；k为高斯分布个数，一般取3～5；ωi,t为t时刻第i个模型的权值，所述t时刻第i个模型的权值满足0≤ωi,t≤1且η(xt,μi,t,σi,t)为t时刻第i个高斯分布，η(xt,μi,t,σi,t)定义为：

其中，i＝1,2,…k，m为xt的维数；μi,t为t时刻第i个高斯模型的均值；σi,t为t时刻第i个高斯模型的标准差。

s2.2随后根据所设定阈值的范围对图像像素点灰度值进行判断，不超过阈值的点被设置为背景，超过阈值的点设置为前景，即运动目标。图1为只采用混合高斯模型建模进行前景提取的效果图，图2为混合高斯模型与码本算法融合建模后进行前景提取的效果图，图3为原图。

s2.3码本算法建模进行前景提取，具体为：

码本算法是根据视频的长期观测序列来建立背景模型。

首先计算一段视频序列{i1,i2,,,ik,,in}的初始均值μ0和方差δ0²：

对背景图像每个像素建立码本。给每个码字定义一个ycrcb向量和一个六元组

vi＝(yi,cri,cbi)

auxi＝(il,ih,fi,li,pi,qi)

其中，ih，il分别为为每个码字可以接受的最大像素、最小像素的亮度值；fi表示码字出现的频率；li表示码本的最大消极时间；pi和qi分别表示码字首次和最后一次出现的时间，n表示n帧图像，一般取10。

将图像像素与对应的码本中的码字进行匹配，若匹配成功，则该像素为背景，否则则为前景，即运动目标。

s2.4将高斯混合模型提取出的前景与码本算法提取出的前景进行逻辑与运算，得到融合后的前景区域及背景区域；

s2.5利用形态学方法，对融合后的前景区域进行开操作与闭操作，进行除噪声处理。

s3提取前景区域的颜色特征，得到初级感兴趣区域,即疑似烟雾区域，具体为：

提取颜色特征。烟雾颜色一般趋近于灰白色或青色。在rgb颜色空间内，分析烟雾颜色特征发现，灰白色烟雾r，g，b三个参数的值基本相等，而青色烟雾b参数值会高于r与g参数值。为缩小相同色差像素的亮度差异，使之更具有聚类性，应对每个像素点值进行如下的归一化处理。

其中，r，g，b分别为归一化后r，g，b各通道的值。hsv空间完全分离了色度，饱和度，亮度，因此在光照不充足的条件下，利用亮度v值对烟雾进行判定更具鲁棒性。同样将v值进行归一化处理：

v＝max(r,g,b)/255

通过实验分析可知，得出烟雾的像素点色彩满足如下的颜色模型关系：

判定规则1：max(r,g,b)-min(r,g,b)＜t1

判定规则2：t2＜v＜t3

判定规则3：max(r,g,b)＝b∩max(r,g,b)-min(r,g,b)＜t4

若(判定规则1)∩[(判定规则2)∪(判定规则3)]＝true，则该像素点为烟雾点，否则不是烟雾点。其中t1为灰白色烟的阈值，取值范围为[0.06，0.10]；v为亮度值，因此t2，t3分别取0.35,0.85；t4为青色烟的阈值，其取值可取[0.10，0.15]。

s4提取初级感兴趣区域三个动态特征，所述三个动态特征包括迅速膨胀特征，边缘不规则特征及高频能量衰减特征；

s4.1所述迅速膨胀特征：

在火灾发生初期，烟雾产生后会迅速扩散并产生膨胀效应。引入单位时间内烟雾面积增长率来描述这种效应的强度：

其中，si+k为i+k时刻疑似烟雾区域的面积，si为i时刻疑似烟雾区域的面积。由于面积不方便直接计算，利用区域内的像素个数来表示该区域面积的大小，那么公式转换为：

其中，pi+k为i+k时刻疑似烟雾区域内像素的总个数，pi为i时刻疑似烟雾区域内像素的总个数。

s4.2所述边缘不规则特征提取：

相对于车辆，行人等运动物体，烟雾边缘不规则特征更为明显。引入不规则度γ来描述这种特征强度：

其中，cs为疑似烟雾区域的周长，st为该区域最小外接矩形的面积。用像素个数替代面积，公式转换为：

pt为疑似烟雾区域外接矩形的像素总个数。

烟雾周长的计算方法为：

(1)利用canny检测算子提取烟雾目标边缘，如图4所示；

(2)定义中心像素的八个邻域及其分别对应的八个方向，分别用数字0～7表示；

(3)本文按照自上而下，自左至右的顺序扫描目标区域，对目标区域进行编码，背景设为“0”，目标边缘设为“1”；4)根据欧式距离公式计算目标边缘的周长：

本文的视频图像来源于交通场景，如隧道，快速路等，这些场景下运动物体如汽车，行人，自行车等轮廓相对规则，利用边缘不规则特征可有效排除汽车等物体的干扰，提高烟雾检测准确率。

s4.3高频能量衰减特征包括前景背景高频能量比、高频能量变化率、高频能量时变率及高频能量变化剧烈程度：

s4.3.1小波高频能量静态特性

烟雾在遮挡其他物体的同时，会使原本清晰的背景纹理和边缘变得模糊，在能量的角度则表现为高频能量的衰减。

具体采用sym小波基初级感兴趣区域进行二维单次小波变换，将其分解为低频部分ll，高频部分水平分量lh、垂直分量hl、对角分量hh，计算前景背景高频能量比，计算相应的高频能量变化率，高频能量时变率，高频能量变化剧烈程度。

所述前景背景高频能量比用于反应烟雾的背景模糊特性：

所述高频能量的计算公式为：

其中，vt²(i,j)，ht²(i,j)，dt²(i,j)分别为像素点p(i,j)在t时刻高频水平方向，高频垂直方向，高频对角方向的能量分量；

计算输入帧前景区域的高频能量与该区域背景能量之比：

其中，e(bk,it)为前景区域高频能量，e(bk,bgt)为背景区域高频能量。

本实施例中，基于这一特征，对感兴趣区域进行二维小波变换，得到4幅分解后的图像，低频部分l，高频部分h，v，d。如图5a、图5b、图5c和图5d所示，为行人区域小波变化结果图，其中图5a是行人区域低频分量子图，图5b是行人区域高频水平方向子图，图5c是行人区域高频能垂直方向子图，图5d是行人区域高频对角方向子图。如图6a、图6b、图6c和图6d所示，为烟雾区域二维小波变化结果图，图6a是烟雾区域低频分量子图，图6b是烟雾区域高频水平方向子图，图6c是烟雾区域高频垂直方向子图，图6d是烟雾区域高频对角方向子图。

图7反应了有烟雾和无烟雾时比率值的变化。可以看出在场景中有烟雾时比率值急速下降，表明烟雾出现时高频能量的衰减。

图7也记录了有烟雾和无烟雾时能量比值随时间的变化情况。没有烟雾时，rk值比较平缓，大约稳定在0.9～1.1之间；当烟雾出现时，rk值随时间迅速衰减，在烟雾消散时，rk值慢慢回升，从该图可以看出，某一场景某一区域出现了一次被烟雾覆盖的情况。在本发明的烟雾识别算法中，将阈值α设置为[0，0.2]，以识别烟雾区域的高频能量衰减静态特性。

s4.3.2小波高频能量动态特性

行人与车辆可以完全遮挡住背景，且运动速度较快，从能量角度分析主要表现为以下两个特征：

(1)行人或车辆高频能量随时间衰减幅度不如烟雾；

(2)行人或车辆的高频能量曲线变化比烟雾更加剧烈。

为进一步消除行人，车辆运动对烟雾识别的影响，引入高频能量变化率θ，高频能量时变率ξ和变化剧烈程度ρ三个物理量，三者计算公式为：

其中，为n帧高频能量的均值；ei为第i帧前景高频能量，n取7～10。

高频能量时变率ξ反映了运动物体高频能量衰减随时间变化的程度，其将时间因素予以考虑，体现能量随时间变化的动态特征，可用以排除其他运动物体的干扰。ρ反映高频能量变化的剧烈程度，用以计算视频样本的方差。实验分析可知，烟雾区域ρ²值的范围为[0.0032，0.0089]，行人区域或者车辆区域为[1.3049，2.7049]。图8反映了行人区域和烟雾区域各自的高频能量变化率曲线。

如图9a及图9b所示，s5将训练样本分为烟雾正样本和非烟雾负样本，根据动态特征建立训练样本集，采用支持向量机作为分类器进行训练，输入测试样本进行烟雾的自动检测。

基于支持向量机(svm)的早期烟雾综合判定方法。

支持向量机(svm)以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，在处理小样本，高维度，非线性问题时拥有传统方法和其他智能算法不可比拟的优势，且具有很强的泛化能力。其基本思想是在高维空间中构造最优的分类面，将具有不同属性的训练样本进行分类。

对于一组给定的样本集：{(x1,y1),(x2,y2)...(xn,yn)},xi∈r^d,yi∈{-1,+1}，(xi,yi)为标识类别，在线性可分的情况下，最优分类函数为：

其中，sgn()为符号函数；w为最优分类面的权重系数；αi为样本i的lagrange系数的最优解；b为类阈值；

在先行不可分的情况下，最优分类函数为：

其中，k(xi^txj)为svm的核函数，本文选择的是径向基核函数。

步骤5.1：训练数据：提取视频帧的颜色特征后，筛选出烟雾的初级感兴趣区域，即疑似烟雾区域。进而提取该区域的迅速膨胀特征、边缘不规则特征、能量特征对应的各自分量：单位时间内烟雾面积增长率不规则度γ、前景背景高频能量比rk、高频能量时变率ξ、高频能量变化剧烈程度ρ。选取适量的正负样本(正样本为烟雾样本，负样本为非烟雾样本)，并选择径向基核函数(惩罚因子c为7、径向基核函数的宽度σ为1)作为svm的参数，对样本进行训练；

步骤5.2：数据测试：重新选择新的待测样本，放入已经训练好的svm模型中进行测试，实现对视频中烟雾的识别。

本发明公开的基于多维信息特征融合的交通场景烟雾智能检测方法，适用于交通场景下早期火灾的检测，和传统方法相比，具有准确率高，鲁棒性强，检测速度快等优点。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。