基于关键帧与快速支持向量机融合的视频火焰识别方法与流程

本发明涉及机器视觉技术领域，尤其涉及一种基于关键帧与快速支持向量机融合的视频火焰识别方法。

背景技术：

动火作业是设备检修中非常重要的一个环节，对保障连续性生产、工艺性修补等现场作业工序具有重要的意义。动火作业包括电焊、气焊、氩弧焊等操作，在其实施过程中通常伴随大量火花四溅。钢铁企业作业现场环境较为复杂，现场角落中经常遗落回丝、角布等易燃物，地面随处可见润滑油/脂，在进行动火作业时，存在较多的安全隐患。针对此类问题，目前，各大钢铁企业积极推出各种安全监护方法，其中最常用方法主要分为两类：(1)在动火作业工作人员身边配置安全监护人员，实时人工监测火灾隐患的发生；(2)安装感温、感烟等传感器进行环境监测。人工监测方式劳动危险性高，且工作强度大，可靠性较差；传感器的监测范围小，且容易丢失监测的数据信息，对于大空间的厂房来说并不适用。随着图像处理及模式识别技术在工业领域的广泛应用，企业生产逐步从人工化向自动化、智能化方向进行发展，因此，实现对动火作业过程的智能监护势在必行，也对企业的安全管理及智能化发展具有重要的意义。

技术实现要素：

本发明所要解决的技术问题是提供一种基于关键帧与快速支持向量机融合的视频火焰识别方法，本方法克服传统动火作业监测的缺陷，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，提高监测的准确率和可靠性，确保动火作业的安全。

为解决上述技术问题，本发明基于关键帧与快速支持向量机融合的视频火焰识别方法包括如下步骤：

步骤一、采集分别含有明火、阴燃和动火作业区域的视频，提取视频帧的图像特征作为分类依据，采用hsv颜色空间获取视频帧的颜色特征；

步骤二、运用主成分分析pca算法获取视频图像的主要特征，对pca处理后的视频帧采用聚类方法聚类；

步骤三、采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；

步骤四、获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的hog静态特征；

步骤五、在获得关键帧的基础上提取图像的lbp-top特征，获得视频的动态特征；

步骤六、将获取的hog静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。

进一步，步骤一中视频帧的图像特征以rgb颜色空间提取颜色直方图作为图像的颜色特征，根据式(1)～式(3)：

其中：r、g、b分别为rgb颜色空间中红、绿、蓝的颜色值，h、s、v分别为hsv颜色空间中色调、饱和度、明度值，

将rgb颜色空间映射到hsv颜色空间，对hsv颜色空间的颜色特征分量进行非等间隔量化，合成一维特征矢量，计算其颜色直方图作为图像的hsv颜色空间的颜色特征。

进一步，步骤三中k均值聚类算法采用下式计算平均视频帧信息，

其中，n是视频帧个数，xi是第i视频帧的视频信息；

将式(4)代入式(5)计算协方差矩阵，

其中，w＝{w1,w2,…,wd}为假定投影变换后得到的坐标系，

计算协方差矩阵m的d个特征值{λ1,λ2,…，,λd}和对应的特征向量{p1,p2,…，,pd}，将求得的特征值排序，提取前c个特征值对应的特征向量即为第c帧视频图像对应的主要特征信息，同时对余下视频帧运用pca算法求取主要特征信息，其中主成分特征个数d根据具体实验需求选择；

帧间相似程度采用式(6)的欧氏距离表示，

其中，分别为pca算法处理后的两个视频帧，

获取k帧图像作为初始的聚类簇中心，计算当前帧xi与k个聚类簇中心的欧氏距离，求得最小距离dmin，若dmin小于设定的阈值t,判定该视频帧属于距离最近的簇中心的类别，否则单独成簇，根据式(7)重新计算聚类簇中心，

其中，mi为第1簇中第i个视频帧，sl为第1簇中所有的视频帧，ct为新的簇中心，

不断加入新的视频帧，更新聚类簇中心，直到簇中心不再改变，聚类结束，聚类完成后，选取与聚类中心最邻近的一帧作为关键帧，选取每个聚类中心的一帧图像组成多序列图像，即为关键帧。

进一步，步骤四中获取视频的m个关键帧x'＝{x1'，x2'，…xm'}，利用pca算法处理这些关键帧得到的特征值，特征值越大，该关键帧包含的图像信息越大，所获权值越大，采用式(8)求得关键帧对应权值，

其中，λi'为每个关键帧中的特征值，qi为第i个关键帧所对应的权重，对关键帧加权求和，得到视频的hog静态特征。

进一步，步骤五中lbp-top是lbp从二维空间到三维空间的拓展，在lbp中引入时间轴t变量，图像存在有x-y、x-t和y-t三个正交平面，对三个正交平面提取lbp特征，将三个正交平面的lbp特征连接起来构成lbp-top特征，获得视频的动态特征。

进一步，步骤六中将提取视频的静态特征和动态特征构成训练样本数据送入快速支持向量机训练，设样本训练后产生n个支持向量sj，构成支持向量集s，即s＝{sj|sj∈s,j＝1,2,...,n}，利用二分法将s划分为两个支持向量子集p和q,分别包含m、n个支持向量；确定核函数类型并选择训练样本，引入一个满足mercer定理的核函数k(xi,sj)＝φ(xi)φ(sj)，其中，xi为样本数，通过计算原空间的内积间接得到高维特征空间中的内积，令kij＝φ(xi)φ(sj)，则p和q在特征空间中的内积矩阵km和kn由式(9)计算得出，

选择好训练样本，给定每个样本对应的期望输出，将其代入式(10)中求得不为零的拉格朗日乘子ai，得到支持向量信息，

其中，n是支持向量数，ai是拉格朗日乘子，满足ai>0，b是阈值，yi是sj的类标记，满足-1<yi<1，x是样本；

根据支持向量子集p和q对式(10)的求和项进行分解，并构造变换矩阵w^t,利用变换矩阵w^t将式(10)转换成式(11)的形式，

其中，kt＝(kt1,kt2,...,ktm)^t，kt是匹配内积矩阵km变换后的列矩阵；

由式(10)和式(11)得到精简的分类函数式(12)，

在保证精度要求的条件下使式(12)包含的支持向量最少，并精简优化为式(13)，

kn＝w^tkm||θ'-θ||≤ε(13)

其中，θ＝(θ1,θ2,...,θl)，θ'＝(θ1',θ2',...,θl')，ε是分类误差，θ是转换后的支持向量信息，其中下标l是设置的d维样本xi构成样本集x的数目，下标j的取值为1至l；

得到精简的优化分类函数后，将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。

由于本发明基于关键帧与快速支持向量机融合的视频火焰识别方法采用了上述技术方案，即本方法采集视频并提取视频帧的图像特征作为分类依据，采用hsv颜色空间获取视频帧的颜色特征；运用pca算法获取视频图像的主要特征并对视频帧采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的静态特征；在获得关键帧的基础上提取图像的lbp-top特征，获得视频的动态特征；将静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。本方法克服传统动火作业监测的缺陷，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，提高监测的准确率和可靠性，确保动火作业的安全。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本发明基于关键帧与快速支持向量机融合的视频火焰识别方法原理框图；

图2为图像序列的三个正交平面的纹理示意图；

图3为lbp-top特征提取过程示意图；

图4为本方法明火图像识别示意图；

图5为本方法阴燃图像识别示意图；

图6为本方法电焊图像识别示意图。

具体实施方式

实施例如图1所示，本发明基于关键帧与快速支持向量机融合的视频火焰识别方法包括如下步骤：

步骤一、采集分别含有明火、阴燃和动火作业区域的视频，提取视频帧的图像特征作为分类依据，采用hsv颜色空间获取视频帧的颜色特征；

步骤二、运用主成分分析pca算法获取视频图像的主要特征，对pca处理后的视频帧采用聚类方法聚类；在获得视频帧的颜色特征信息后，运用pca算法获得图像的主要特征，降低其特征维数，减少运算量；

步骤三、采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；

步骤四、获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的hog静态特征；

步骤五、在获得关键帧的基础上提取图像的lbp-top特征，获得视频的动态特征；

步骤六、将获取的hog静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。

优选的，步骤一中视频帧的图像特征以rgb颜色空间提取颜色直方图作为图像的颜色特征，根据式(1)～式(3)：

其中：r、g、b分别为rgb颜色空间中红、绿、蓝的颜色值，h、s、v分别为hsv颜色空间中色调、饱和度、明度值，

将rgb颜色空间映射到hsv颜色空间，对hsv颜色空间的颜色特征分量进行非等间隔量化，合成一维特征矢量，计算其颜色直方图作为图像的hsv颜色空间的颜色特征。

优选的，步骤三中k均值聚类算法采用下式计算平均视频帧信息，

其中，n是视频帧个数，xi是第i视频帧的视频信息；

将式(4)代入式(5)计算协方差矩阵，

其中，w＝{w1,w2,…,wd}为假定投影变换后得到的坐标系，

计算协方差矩阵m的d个特征值{λ1,λ2,…，,λd}和对应的特征向量{p1,p2,…，,pd}，将求得的特征值排序，提取前c个特征值对应的特征向量即为第c帧视频图像对应的主要特征信息，同时对余下视频帧运用pca算法求取主要特征信息，其中主成分特征个数d根据具体实验需求选择；

帧间相似程度采用式(6)的欧氏距离表示，

其中，分别为pca算法处理后的两个视频帧，

获取k帧图像作为初始的聚类簇中心，计算当前帧xi与k个聚类簇中心的欧氏距离，求得最小距离dmin，若dmin小于设定的阈值t,判定该视频帧属于距离最近的簇中心的类别，否则单独成簇，根据式(7)重新计算聚类簇中心，

其中，mi为第1簇中第i个视频帧，sl为第1簇中所有的视频帧，ct为新的簇中心，

不断加入新的视频帧，更新聚类簇中心，直到簇中心不再改变，聚类结束，聚类完成后，选取与聚类中心最邻近的一帧作为关键帧，选取每个聚类中心的一帧图像组成多序列图像，即为关键帧。

优选的，步骤四中获取视频的m个关键帧x'＝{x1'，x2'，…xm'}，利用pca算法处理这些关键帧得到的特征值，特征值越大，该关键帧包含的图像信息越大，所获权值越大，采用式(8)求得关键帧对应权值，

其中，λi'为每个关键帧中的特征值，qi为第i个关键帧所对应的权重，对关键帧加权求和，得到视频的hog静态特征。

如图2和图3所示，优选的，步骤五中lbp-top是lbp从二维空间到三维空间的拓展，在lbp中引入时间轴t变量，图像存在有x-y、x-t和y-t三个正交平面，对三个正交平面提取lbp特征，将三个正交平面的lbp特征连接起来构成lbp-top特征，获得视频的动态特征。

优选的，步骤六中将提取视频的静态特征和动态特征构成训练样本数据送入快速支持向量机训练，设样本训练后产生n个支持向量sj，构成支持向量集s，即s＝{sj|sj∈s,j＝1,2,...,n}，利用二分法将s划分为两个支持向量子集p和q,分别包含m、n个支持向量；确定核函数类型并选择训练样本，引入一个满足mercer定理的核函数k(xi,sj)＝φ(xi)φ(sj)，其中，xi为样本数，通过计算原空间的内积间接得到高维特征空间中的内积，令kij＝φ(xi)φ(sj)，则p和q在特征空间中的内积矩阵km和kn由式(9)计算得出，

选择好训练样本，给定每个样本对应的期望输出，将其代入式(10)中求得不为零的拉格朗日乘子ai，得到支持向量信息，

其中，n是支持向量数，ai是拉格朗日乘子，满足ai>0，b是阈值，yi是sj的类标记，满足-1<yi<1，x是样本；

根据支持向量子集p和q对式(10)的求和项进行分解，并构造变换矩阵w^t,利用变换矩阵w^t将式(10)转换成式(11)的形式，

其中，kt＝(kt1,kt2,...,ktm)^t，kt是匹配内积矩阵km变换后的列矩阵；

由式(10)和式(11)得到精简的分类函数式(12)，

在保证精度要求的条件下使式(12)包含的支持向量最少，并精简优化为式(13)，

kn＝w^tkm||θ'-θ||≤ε(13)

其中，θ＝(θ1,θ2,...,θl)，θ'＝(θ1',θ2',...,θl')，ε是分类误差，θ是转换后的支持向量信息，其中下标l是设置的d维样本xi构成样本集x的数目，下标j的取值为1至l；

得到精简的优化分类函数后，将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。

本方法结合主成分分析算法(pca)和聚类算法对视频进行关键帧采样，减少视频帧间的冗余信息，建立视频的静态特征hog和动态特征lbp-top，提取出明火、阴燃以及动火作业区域的特征信息。将特征信息送入快速支持向量机进行训练，在选择训练样本时，应尽可能多地模拟监控场景中不同光线、不同燃烧材料的情况，考虑尽可能多的干扰源，使得训练样本具有多样性，且选取的样本需具有典型性。选择好训练样本后，给定每个样本对应的期望输出，得到支持向量信息，进而得到精简的优化分类函数；将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。本方法将关键帧与快速支持向量机相融合，使得快速支持向量机选择的支持向量数目减少，且分类函数简化，并且在不损失分类精度的情况下，分类识别速度明显提高，分类准确率明显增强。

本方法针对冷轧设备检修中动火作业的安全监护需求，考虑到动火作业中存在明火、阴燃及电焊等多种形式，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，实现对动火作业过程中明火、阴燃及电焊的智能判断与分析。如图4、图5和图6所示，分别为利用本方法对明火、阴燃及电焊的图像识别。

本方法克服传统火焰识别方式单一、检测准确率低、识别时间较长等缺陷，相比于传统火焰识别手段具有更好的鲁棒性。且通过提取视频静态特征hog和动态特征lbp-top,采用关键帧与快速支持向量机相融合的视频火焰识别方式，克服了神经网络过学习、易于陷入局部极小点等不足，同时克服了人为设定特征量识别阈值时需要做大量实验和统计的复杂性。本方法不仅能够有效检测出火焰区域，并且可有效区分明火、阴燃和电焊等多种状态，且识别效果达到理想状态。