一种基于MIA的电熔镁炉动态火焰分割及特征提取方法与流程

本发明属于模式识别与人工智能技术领域，特别提出一种基于mia的电熔镁炉动态火焰分割及特征提取方法。

背景技术：

电熔镁砂具有纯度高、熔点高、绝缘性能强及结构致密的特性，在化工、建筑、家电、冶金、军事等多种行业和领域被广泛使用，是很好的耐火原材料。

使用电弧炉熔炼生产电熔镁砂时，对应熔炼工况、加料工况、排气工况、欠烧工况的炉口火焰的亮度、颜色、形态变化均不一样。其中，熔炼工况下，火焰亮度适中，火焰颜色比较丰富，火焰形态变化一般；加料工况下，火焰亮度比较暗，火焰颜色一般，形态变化较慢；排气工况下，火焰亮度比较亮，火焰颜色比较单一，火焰形态变化较快。所以炉口火焰的变化情况是工况判别的一个重要依据。

目前，炉口火焰中蕴含的信息需要人工巡检的方式，前往生产一线通过“看火”的经验获取。但是人工巡检存在以下问题：1)判断的准确性与操作人员的经验和状态的相关，容易漏检、误检；2)现场生产环境恶劣(强光、高温、灰尘等)，劳动强度大，危险性高，不适于工人长时间现场巡检；3)炉口火焰与周围烟雾粉尘边界模糊，“看火”过程容易受干扰。所以企业需要一种能够将炉口火焰区域从图像中分割出来，并以具体数字表示火焰颜色、亮度、形态等特征信息，并用于后续的工况判别中。

随着工业相机的应用，视频图像采集的精度逐渐提高，运用工业相机采集工业生产中的图像，然后经过图像分割方法获得感兴趣区域，并计算该区域的特征数据。该过程已经在天然气燃油质量监控、回转窑燃烧状况等工业生产中得到了广泛的应用。但是由于火焰是动态的，没有固定的规则的形态，针对不同的工业背景，火焰的变化频率、颜色、亮度等特征也是很难确定的，单独某一个工业过程中，动态火焰图像都是以多种形式存在的，而且与背景环境结合紧密，所以很难采用阈值法的思想，使图像分割算法适用于所有工况。

技术实现要素：

本发明实施例提供一种基于mia的电熔镁炉动态火焰分割及特征提取方法，能够对动态火焰区域进行有效的分割，通过对分割的图像计算5种特征数据，并将结果应用于后续的工况分类模型上，获得较高的分类准确率。

本发明提供一种基于mia的电熔镁炉动态火焰分割及特征提取方法，包括以下步骤：

步骤1：采集火焰的视频图像，并将单帧的rgb图像转换成二维矩阵；

步骤2：采用主成份分析法对所述二维矩阵进行降维处理，并通过图像重构技术将选取的主元映射回rgb图像空间进行验证，以保证降维后的图像能够代替原始图像；

步骤3：将降维后的具有两列向量的矩阵归一化到[0,255]之间，然后以矩阵中每行数据的两个值作为xy坐标系下的位置信息，统计该矩阵具有同一坐标值的像素个数，从而获得得分柱状图；

步骤4：针对不同工况的单帧的rgb图像重复步骤1-3，将获得的不同工况的得分柱状图进行对比，找出不同工况的得分柱状图中变化明显的区域，对变化明显的区域进行标记处理，并将所述得分柱状图中被标记的区域映射回原始rgb图像，以获得火焰分割图像；

步骤5：对得分柱状图中被标记的区域进行微调，以获得确定的标记区域和精确的火焰分割图像，并依据确定的标记区域对视频图像中所有的单帧rgb图像进行分割获得每帧的火焰分割图像；

步骤6：通过特征提取公式，借助得分柱状图中被标记区域分别计算火焰亮度区域大小、火焰颜色种类数、火焰区域颜色平均值、整幅图像颜色平均值以及火焰亮度值5种特征数据。

本发明的一种基于mia的电熔镁炉动态火焰分割及特征提取方法，利用工业相机获取电熔镁生产现场过程图像，采用固定窗口剔除图像中离火焰较远的无关区域，然后运用多变量图像分析(mia)方法，将感兴趣火焰区域从背景中分割出来，并计算相关特征数据。该方法能够对炉口火焰区域进行有效的分割，其分割效果比基于阈值法的分割效果要好很多，通过对分割的图像计算5种特征数据，并将结果应用于后续的工况分类模型上，获得较高的分类准确率。

附图说明

图1为本发明的一种基于mia的电熔镁炉动态火焰分割及特征提取方法的流程图；

图2为本发明的第一种工况的火焰图像；

图3为本发明的第二种工况的火焰图像；

图4为本发明的第三种工况的火焰图像；

图5为本发明的第四种工况的火焰图像；

图6为本发明的第一种工况的得分柱状图；

图7为本发明的第二种工况的得分柱状图；

图8为本发明的第三种工况的得分柱状图；

图9为本发明的第四种工况的得分柱状图；

图10为在得分柱状图的确定的标记区域进行标注的示意图；

图11为在得分柱状图的确定的标记区域的附件区域进行标注的示意图；

图12为采用得分柱状图中确定的标记区域的进行标注映射回原始rgb图像的示意图；

图13为采用确定的标记区域附件的标记区域进行标注映射回原始rgb图像的示意图；

图14为本发明的一种基于mia的电熔镁炉动态火焰分割及特征提取方法分割一组图像获得的火焰分割图像；

图15为本发明的一种基于mia的电熔镁炉动态火焰分割及特征提取方法所提取的5种特征数据变化趋势图。

具体实施方式

本文提出一种基于多变量图像分析法(multivariateimageanalysis，mia)的电熔镁炉炉口动态火焰图像分割及特征提取方法。利用工业相机获取电熔镁生产现场过程图像，采用固定窗口剔除图像中离火焰较远的无关区域，然后运用多变量图像分析(mia)方法，将感兴趣火焰区域从背景中分割出来，并计算相关特征数据。

如图1所示本发明的一种基于mia的电熔镁炉动态火焰分割及特征提取方法包括以下步骤：

步骤1：采集火焰的视频图像，并将单帧的rgb图像转换成二维矩阵；步骤1具体包括：

步骤1.1：将工业相机采集到的视频图像进行固定窗口分割，剔除火焰外围区域对图像分割造成的干扰，同时降低计算机运行成本，提高单帧图形处理速度；

步骤1.2：通过矩阵变换将单帧火焰rgb图像变换为二维空间下的矩阵。

经过固定窗口分割后的图像在rgb空间具有3个通道，即维度为m×n×3，将每个通道进行按行拉伸，例如r通道，拉伸之后成为mn行的数据，则三个通道拉伸之后成为mn×3的矩阵，即

其中，i(m,n,3)表示原始的rgb图像，i1(m,n,3)表示将i(m,n,3)展开为二维后的矩阵。

步骤2：采用主成份分析法(principalcomponentanalysis，pca)对所述二维矩阵进行降维处理，并通过图像重构技术将选取的主元映射回rgb图像空间进行验证，以保证降维后的图像能够代替原始图像；所述步骤2具体包括：

步骤2.1：通过主成份分析法将上述mn×3二维矩阵进行降维，选取一定量的主元数量保证降维后的矩阵能够表征原始数据99％的信息；

主成份分析法的核心算法如下：

其中，pc为主元个数，pa表示加载向量，ta表示得分向量即降维后的矩阵。

在求取pa＝(1,...,pc)、ta(a＝1,...,pc)的过程中，需要考虑行维数过大的问题，一个mn＝512×512的图像空间对应262144行，针对多变量图像展开之后形成的如此多的行维数矩阵，需要借助一个核心算法来简化计算。上述算法的核心思想是对展开后的图像，首先针对每个属性进行去均值化，然后构建一个核矩阵i1^ti1，对得到的低维矩阵c(3,3)进行奇异值分解(singularvaluedecomposition，svd)，将特征向量按对应特征值大小从大到小排列成矩阵，得到的特征向量矩阵的每一列即为加载向量pa＝(1,...,pc)。在此基础上根据ta＝i1pa，计算得分向量ta(a＝1,...,pc)。

步骤2.2：通过图像重构技术将选取的主元映射回rgb图像空间，通过观察比对，确定降维后的图像能够代替原始的图像。

具体实施时，可以通过下式确定主元的值，以满足降维后的数据大于需要的原始图片信息，确定降维后的图像能够代替原始的图像，其中pc(pc≤3)为主元个数，λk为经过主成份分析处理时求得协方差矩阵的特征值。

其中，g为阈值表示选择的主元能够表征原始图像信息的百分比，一般取g≥0.95。针对得分向量ta(a＝1,...,pc)，t1中包含的原始图形信息最多，t2包含的信息次最多，以此类推。选择前pc个占主导地位的主成份对原始多变量图像进行重构，而残差矩阵e被忽略，从而将原始图像大部分无结构的噪声中消除掉。

在完成上述运算之后，可以通过如下公式，根据得分向量ta和加载向量pa对原始图像进行重构获得新的rgb图像矩阵，通过结果对比观察压缩后的图像失真情况。

分别使用前两个主元、第一个主元、第二个主元及第三个主元进行图像重构。对原始炉口火焰图像进行pca处理后，取前两个特征值带入计算，结果显示大于99.5％，即根据前两个主元进行重构的结果包含原始图像99.5％以上的信息。然后根据每一个主元进行重构，它们的重构图像表征原始图像信息的大小正如它们特征值大小一样从大到小。其中，前两个主元重构结果与原始图像非常接近，包含的信息最多。第一个主元、第二个主元和第三个主元对应原始图像失真情况越来越严重。当选择前两个主元表征原始信息时，那么第三个主元对应的数值就是残差矩阵e。

步骤3：将降维后的具有两列向量的矩阵归一化到[0,255]之间，然后以矩阵中每行数据的两个值作为xy坐标系下的位置信息，统计该矩阵具有同一坐标值的像素个数，从而获得得分柱状图；

具体实施时，采用下式将降维后的具有两列向量的矩阵归一化到[0,255]之间：

其中，si表示归一化后的两列向量，ti表示归一化前的两列向量，ti,min表示列向量ti中最小的元素，ti,max表示列向量ti中最大的元素。

具体实施时，采用下式获得得分柱状图：

其中，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数，b为矩阵的某行，s1,b表示向量s1第b行的元素，s2,b表示向量s2第b行的元素。

步骤4：针对不同工况的单帧的rgb图像重复步骤1-3，将获得的不同工况的得分柱状图进行对比，找出不同工况的得分柱状图中变化明显的区域，对变化明显的区域进行标记处理，并将所述得分柱状图中被标记的区域映射回原始rgb图像，以获得火焰分割图像；

以下将以电熔镁炉生产过程中的炉口火焰为例进行验证。

首先，根据操作员的经验，我们从大量视频数据中选取4种典型镁炉炉口火焰形态，分别代表加料，正常熔炼，欠烧，排气4种工况。如图2至图5所示。

然后，重复步骤1-3分别得到4种工况的得分柱状图如图6至图9所示。上述四张图分别是炉口火焰在经过mia处理之后在xy坐标系下的投影，其中x轴对应的为s1，y轴对应的为s2，它们反映了炉口火焰颜色亮度信息在二维空间的聚集情况，颜色越亮的区域表示炉口具有这种颜色的个数越多。

最后，通过比较四张得分柱状图中密度图的分布情况，我们发现在x轴[0～50]、y轴[0～200]的区域内，得分柱状图变化随着图片颜色和亮度的变化最为明显。

步骤5：对得分柱状图中被标记的区域进行微调，以获得确定的标记区域和精确的火焰分割图像，并依据确定的标记区域对视频图像中所有的单帧rgb图像进行分割获得每帧的火焰分割图像；所述步骤5包括：

步骤5.1：对得分柱状图中被标记的区域进行微调，并获得新的火焰分割图像，若分割效果有明显的改善，则保留新的标记区域，通过多次调整获得确定的标记区域和精确的火焰分割图像；

步骤5.2：通过验证法在所述确定的标记区域周围标记一块验证区域，将验证区域映射回原始rgb图像，若验证区域对应的分割图像位于火焰图像的周围，则表明所述确定的标记区域符合火焰分割的要求。

具体实施时，为了验证步骤5.1得到的区域即为感兴趣的火焰区域，我们在得分柱状图上标记另外一个区域，接近之前的感兴趣的区域，同时在原图像中显现标记的颜色区域。图10所示在得分柱状图上标记一块s1[0,50]区间和s2[0,200]的区间，图12所示为映射回原始图像的结果，即分割结果图像，图11为在图10中标记的区域附近，重新标记一块多边形区域，映射回原图像得到图13，即火焰周围的烟雾图像。若验证区域对应的分割图像位于火焰图像的周围，则表明所述确定的标记区域符合火焰分割的要求。

步骤6：通过特征提取公式，借助得分柱状图中被标记区域分别计算火焰亮度区域大小、火焰颜色种类数、火焰区域颜色平均值、整幅图像颜色平均值以及火焰亮度值5种特征数据。

其中，火焰亮度区域大小是指经过分割后所得感兴趣区域的大小，原始rgb图像的每一个像素值都被投影到得分柱状图中，所以感兴趣区域大小在得分柱状图中即为标记区域中所有数值之和，根据下式计算火焰亮度区域大小：

其中，a表示火焰亮度区域大小，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数，mi,j＝1对应得分柱状图中的标记区域。

步骤6中得分柱状图中的标记区域中的数值大于1的每一个坐标均对应原始rgb图像的一种颜色，火焰颜色种类数为得分柱状图中的标记区域中的数值大于0的坐标个数和，根据下式求火焰颜色种类数：

其中，c表示火焰颜色种类数，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数，mi,j＝1对应得分柱状图中的标记区域。

步骤6中根据下式计算火焰区域颜色平均值：

其中，sf表示火焰区域颜色平均值，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数，a表示火焰亮度区域大小；

根据下式计算整幅图像颜色平均值：

其中，sm为整幅图像颜色平均值，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数，m×n为整幅图像的尺寸。

步骤6中计算火焰亮度值具体为：

首先，根据下列公式将得分柱状图还原成rgb图像：

其中，t1,max代表列向量t1中最大的元素，t1,min代表列向量t1中最小的元素，t2,max代表列向量t2中最大的元素，t2,min代表列向量t2中最小的元素，p1为加载向量pa＝(1,...,pc)的第一列，p2为加载向量pa＝(1,...,pc)的第二列。

其次，根据下式计算灰度图像：

lxy＝[r,g,b]xy[0.299,0.587,0.114]^t(13)

最后，根据下式计算火焰亮度值：

其中，ttx,y为得分柱状图中坐标为(x，y)的同样像素点的个数。

使用本发明的基于mia的电熔镁炉动态火焰分割及特征提取方法处理一段约58秒的电熔镁炉生产视频数据，将分割得到的1500张图像保存下来，其中分割得到的感兴趣区域部分即每帧的火焰图像结果如图14所示。与常用的图像分类方法对比，采用发明的基于mia的电熔镁炉动态火焰分割及特征提取方法，实现感兴趣图像区域分割结果效果要更好。针对每一帧图像的得分柱状图中被标记的区域，使用公式(6)(7)(8)(9)(14)进行特征数据计算，得到5种火焰特征数据的趋势图如图15所示。对应视频图像及感兴趣区域图像，观察曲线变化情况，发现这5种特征数据变化趋势与视频图像变化情况具有很强的相关性。具体体现在现场环境下电熔镁炉几种工况是呈现周期性变化的，而分割所得的感兴趣图像的大小、颜色、形态也是呈现周期性的变化，而这种变化更为直观的体现是在5种特征数据趋势图的近似周期性的变化。所以这5种特征数据在后续采用机器学习进行分类确保较高的精度具有重要的意义。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。