基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法
【专利摘要】本发明涉及一种基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法，包括图像采集模块、彩色图像火焰区域分割模块、彩色火焰图像动静态特征表示与描述模块、基于图像特征的吹炼状态分类模块以及上位机监控模块。通过视频输入获取的原始图像帧，首先测量保留与火焰近似的像素实现分割；再分别提取四类图像特征：亮度特征、色度特征、纹理特征、以及光流场动态纹理特征，最后通过建立的广义回归神经网络对输入的特征进行分类识别，从而达到对吹炼阶段的判别和终点预报功能。本发明能够适应火焰具有的短暂稳态瞬间问题，具有较高的识别精度和低成本的优势，可用于不同规模的炼钢转炉，提高生产效率和减少原材料浪费。
【专利说明】
基于图像动静态特征的转妒炼钢吹炼状态识别系统及方法
技术领域
[0001] 本发明设及一种基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法，属于 冶金自动化技术领域。
【背景技术】
[0002] 钢铁工业是支撑国民经济发展的重要原材料产业，我国是世界上最大的钢铁生产 国。在钢的总产量中，转炉钢产量的平均份额达到70%。终点控制是转炉后期的一个关键操 作，是指控制钢水的含碳量和溫度达到出钢的要求，准确实时的转炉吹炼终点判断一直是 钢铁工业的难题之一，准确预报终点对提高钢厂生产效率、减少能源和原材料浪费、提高钢 材质量具有重要意义。
[0003] 在吹炼的主吹阶段进行至85 %左右，通过测量碳含量和溫度值的方法调整二吹策 略，使用副枪探测和经验判断是最为常见的数据检测方法，副枪浸入烙池内进行测溫和取 碳，或工人师傅根据目测倒炉取样检测，根据测量的数据调节吹氧量和转炉原料的添加量。 对于吹炼后期的终点判断，一些钢铁企业采用红外激光穿过炉气发生的变化情况来判断终 点的光电探测法，W及通过测定炉气化学成分的气体分析法等，运些方法所用的检测设备 要长期在高溫、腐蚀的环境中工作，气体标定周期短，采样头更换频繁，设备的使用和维护 成本较高，难W在炼钢转炉行业推广使用。
[0004] 副枪控制具有较高的检测精度，但一般使用在12化W上的转炉中，难W满足我国 W中小钢厂为主的现状，而且不能实现连续测量。智能终点判定方法W钢水检测数据作为 模型输入矢量，W目标钢水成分、溫度W及吹氧量为输出矢量，建立基于ELM、CBR、GMDH等模 型的终点预报系统，智能终点预报方法大都利用炼钢过程中实际采集的吹炼数据，从原理 上具有较好的实时性，但是现有方法都存在为获得准确数据而造成了成本增加或数据获取 不及时等方面的问题。
[0005] 随着数字图像处理技术的迅速发展W及计算机处理性能的提高，W人工看火为基 础的图像识别用于转炉终点判断得到了迅速的发展和应用。例如已有的基于灰度共生矩阵 方法、基于颜色均值法等。已有方法在描述火焰静态特征方面取得了一定的效果，但忽略了 火焰的动态信息，而且实际看火的经验也表明，火焰动态特征能够体现吹炼不同阶段的剧 烈度，可W作为碳氧化速率的反映。因此，融合火焰的静态和动态特征进而实现对吹炼终点 的准确识别对提高生产效率和减少原材料浪费有重要的实际价值和意义。
【发明内容】
[0006] 为了克服人工看火判定终点带来的不准确，补吹次数多，效率低，原材料浪费等问 题，本发明提供一种基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法，W及避免 使用烟气分析、光电分析等设备造价高，W及传统火焰图像识别没有考虑动态特性而影响 识别率等问题。
[0007] 本发明通过下列技术方案实现:一种基于图像动静态特征的转炉炼钢吹炼状态识 别系统，包括图像采集模块、彩色图像火焰区域分割模块、彩色火焰图像动静态特征表示与 描述模块、基于图像特征的吹炼状态分类模块W及上位机监控模块：
[0008] 图像采集模块用于实时拍摄火焰情况，并将拍摄的视频信号存储并传输至彩色图 像火焰区域分割模块；
[0009] 彩色图像火焰区域分割模块用于将采集的视频信号分割为单独的彩色图像帖，对 彩色图像中的火焰背景部分与火焰本体部分进行分割；
[0010] 彩色火焰图像动静态特征表示与描述模块用于采集分割所得火焰本体部分的亮 度信息、色度信息、纹理信息、W及光流场动态信息；
[0011] 基于图像特征的吹炼状态分类模块用于将彩色火焰图像动静态特征表示与描述 模块所采集的各类信息作为输入建立识别模型，并设置输出状态后，采集数据样本集对所 建识别模型进行训练;进而对新采集的输入内容判断输出状态，将吹炼进入末期的输出状 态发送至上位机监控模块；
[0012] 上位机监控模块用于发出信号提示。
[0013] 所述图像采集模块还包括摄像头、存储器及信号传输器。
[0014] 本发明的另一目的在于提供一种基于图像动静态特征的转炉炼钢吹炼状态识别 方法，经过下列步骤：
[0015] (1)安装彩色摄像机，使其与人工看火的位置和角度保持一致，固定摄像头的位 置、焦距等参数；固定摄像头的目的是为了保证摄取的彩色图像在帖间具有特征可比性和 对动态特征描述的准确性；图像大小设定为与人眼感知能力相当，图像过小影响特征提取 的效果，图像过大影响算法处理速度;彩色摄像机所采集的实时视频信号通过信号采集卡 与处理机相连；
[0016] (2)处理机将采集的视频信号分割为单独的彩色图像帖，对彩色图像中的火焰背景 与火焰本体进行分割，即将RGB彩色空间转换至均匀的L枯冲*空间，记红色(255，0，0)转换后为 RLab,黄色(255,255,0)转换后为YLab,白色(255,255,255)转换后为WLab,设P为转换后图像中的一 个像素，D为像素之间的欧几里得距离，根据公式
则分割策略为：
[0017]
(1)
[001引式中，Dpi是指颜色空间转换后的图像一个像素与参考点像素之间的颜色色差值；I 是指图像从RGB颜色转换到Lab颜色后的一个像素，运个像素有S个分量，分别是L，a，b;T为 控制相似度的阔值；
[0019]再将端(碼。戍。麻。6)<T的部分作为火焰本体，其他部分作为火焰背景进行分割；
[0020] (3)将步骤(2)所得火焰本体部分用于采集亮度信息、色度信息、纹理信息、W及光 流场动态f胃息：
[0021] ①采集亮度信息B:
[0022] 设Ki，j)为分割后的火焰区域像素，则亮度特征B= (EKi，j) V(Count),其中B 为亮度特征，Count为区域像素个数，i J为像素的位置，也就是在图像中的坐标；
[0023] ②采集色度信息S:
[0024] 取RGB空间中各分量的颜色S阶矩能有效反映吹炼时期烙池元素的氧化次序，单 分量i下的=阶矩为
[0025]
[0026]
[0027]式中，Pi,J为彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，i为表示 彩色图像的第i个分量，j为表示图像的灰度值，Si为图像的颜色矩特征，W为相关参数；
[002引③采集纹理信息ASM:
[0029] 利用灰度差分统计方法描述静态纹理复杂度，设(x，y)为图像中的一点，与点（X+ A x，y+A y)之间的灰度差值为gA(x，y)=g(x，y)-g(x+A x，y+A y)，设灰度差分的所有可能 取值为m级，令点（x，y)在所给火焰图像区域内移动，累计gA(x，y)取不同值的次数，作出gA (x，y)的直方图，由直方图可知，gA(x，y)取值的概率为pA(i);
[0030] 采用提取角度方向二阶矩ASM反映图像灰度分布的均匀程度，如果相近的像素灰 度值差异较大，则ASM值越大，说明纹理越粗糖；
[0031]
[0032] 巧埋符化
巧裕泄巧化学元素的氧化程度有关，燃烧越剧烈纹理粗糖度越高；
[0033] ④采集光流场动态信息化t:
[0034] 为了描述吹炼过程中火焰动态信息，特别是后期的火焰频闪特征，首先需要建立 火焰动态变化的描述模型，采用光流场建立闪烁过程，按照光流计算的基本假设为微小运 动和亮度恒定，得到I(X，y，t) = I(x+dx，y+dy，t+化），在相邻帖之间将像素亮度恒定的点在 限定区域内连线，构造出帖间光流图F;巧己录了火焰在连续变化过程的剧烈度，对F进行特 征表示和描述可反映频闪等信息；
[0035] 其中，x，y是指图像中点的坐标，t为是连续图像的时间轴，运是因为视频是由连续 时间轴上的图像构成的，dx表示X轴的位移，dy表示y轴的位移，dt表示t轴的位移，I是视频 流中当时间为t时刻的图像帖；
[0036] 对帖间光流图，采用灰度共生矩阵描述其特征，其计算过程中方向取0°，45°，90°， 135°，步长Step = I W巧欣径的随化微纺扭的特点，设M为得到的灰度共生矩阵，采用赌值 描述其特征，计莫
为火焰的动态信息；
[0037] 其中，i，j刃圏像甲像素的坐你；
[0038] (4)采用广义回归神经网络建立识别模型，步骤(3)采集的已有特征向量V=[B，S, ASM,Ent]为输入，W吹炼所处的状态数字为输出："r代表初期，"2"代表中期，"3"代表末 期;建立的广义回归神经网络为四输入和单输出，隐含层神经元激发函数为高斯函数，输出 为线性映射函数;将已知火焰本体的亮度信息、色度信息、纹理信息、W及光流场动态信息 与其输出数据对应列出，建立数据样本集;对所建识别模型进行训练，将训练中的输出数据 按状态数字归类；
[0039] (5)将步骤(1)所采集的实时视频信号经步骤(2)和(3)处理后，作为特征向量输入 步骤(4)训练后的识别模型中，其输出即为吹炼状态的识别，当吹炼状态输出数字为3时，代 表吹炼进入末期，发出信号提示。
[0040] 所述步骤(3)的点(X+ A X，y+ A y)是值像素(X，y)周围的一个点，该点与值像素(X， y)的距离为A X和Ay。
[0041] 本发明的有益效果:本发明针对已有基于火焰图像识别的转炉吹炼状态识别方法 的不足，提出融合动静态图像特征的状态识别方案;特别适用于12化W下转炉，或者因受限 使用烟气、副枪等测试环境。本发明的优越性在于提取了火焰动态特征并结合静态特征进 行吹炼状态的识别，能够适应火焰具有的短暂稳态瞬间问题，具有较高的识别精度和低成 本的优势，可用于不同规模的炼钢转炉，提高生产效率和减少原材料浪费。本发明解决了现 有转炉炼钢过程中终点判定不准确，W及采用烟气分析、光电分析、副枪分析等方法具有的 使用和维护成本高的问题，同时解决了现有采用火焰图像识别方法中单一静态图像分析， 存在特征变化大，准确率不高的问题。
【附图说明】
[0042] 图1为本发明基于图像动静态特征的转炉炼钢吹炼状态识别系统的结构示意图；
[0043] 图2为本发明基于图像动静态特征的转炉炼钢吹炼状态识别方法的流程示意图。 具体实施方案
[0044] 下面将详细描述本发明的实施例，所述实施例的实例在附图中示出。参考附图描 述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0045] 如图1所示，基于图像动静态特征的转炉炼钢吹炼状态识别系统，包括图像采集模 块1、彩色图像火焰区域分割模块2、彩色火焰图像动静态特征表示与描述模块3、基于图像 特征的吹炼状态分类模块4 W及上位机监控模块5:
[0046] 图像采集模块1用于实时拍摄火焰情况，并将拍摄的视频信号存储并传输至彩色 图像火焰区域分割模块;图像采集模块还包括摄像头、存储器及信号传输器；
[0047] 彩色图像火焰区域分割模块2用于将采集的视频信号分割为单独的彩色图像帖， 对彩色图像中的火焰背景部分与火焰本体部分进行分割；
[0048] 彩色火焰图像动静态特征表示与描述模块3用于采集分割所得火焰本体部分的亮 度信息、色度信息、纹理信息、W及光流场动态信息；
[0049] 基于图像特征的吹炼状态分类模块4用于将彩色火焰图像动静态特征表示与描述 模块所采集的各类信息作为输入建立识别模型，并设置输出状态后，采集数据样本集对所 建识别模型进行训练;进而对新采集的输入内容判断输出状态，将吹炼进入末期的输出状 态发送至上位机监控模块；
[0050] 上位机监控模块5用于发出信号提示。
[0051] 如图2,基于图像动静态特征的转炉炼钢吹炼状态识别方法，经过下列步骤：
[0052] (1)安装彩色摄像机，使其与人工看火的位置和角度保持一致，固定摄像头的位 置、焦距等参数；固定摄像头的目的是为了保证摄取的彩色图像在帖间具有特征可比性和 对动态特征描述的准确性；图像大小设定为与人眼感知能力相当，图像过小影响特征提取 的效果，图像过大影响算法处理速度;彩色摄像机所采集的实时视频信号通过信号采集卡 与处理机相连；
[0053] (2)处理机将采集的视频信号分割为单独的彩色图像帖，对彩色图像中的火焰背景与 火焰本体进行分割，即将RGB彩色空间转换至均匀的L相冲*空间，记红色(255,0,0)转换后为 Riab，黄色(255，2册，0)转换后为YLab，白色(255，255，2册熊换后为WLab，设P为转换后图像中的一个 像素，〇为像素之间的欧几里得距离，根据公^5
则 分割策略为：
[0化4]
( 1)
[0055] 式中，Dpi是指颜色空间转换后的图像一个像素与参考点像素之间的颜色色差值;I 是指图像从RGB颜色转换到Lab颜色后的一个像素，运个像素有S个分量，分别是L，a，b;T为 控制相似度的阔值；
[0056] 再鸦3部分作为火焰本体，其他部分作为火焰背景进行分割；
[0057] (3)将步徽(2)
所得火焰本体部分用于采集亮度信息、色度信息、纹理信息、W及光 流场动态信息：
[005引①采集亮度信息B:
[0059] 设Ki，j)为分割后的火焰区域像素，则亮度特征B= (EKi，j) V(Count),其中B 为亮度特征，Count为区域像素个数，i J为像素的位置，也就是在图像中的坐标；
[0060] ②采集色度信息S:
[0061] 取RGB空间中各分量的颜色S阶矩能有效反映吹炼时期烙池元素的氧化次序，单 分量i下的=阶矩为
[0062]
[0063]
[0064] 式中，Pi,J为彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，i为表示 彩色图像的第i个分量，j为表示图像的灰度值，Si为图像的颜色矩特征，W为相关参数；
[00化]③采集纹理信息ASM:
[0066] 利用灰度差分统计方法描述静态纹理复杂度，设(x，y)为图像中的一点，与点（X+ A x，y+A y)之间的灰度差值为gA(x，y)=g(x，y)-g(x+A x，y+A y)，设灰度差分的所有可能 取值为m级，令点（x，y)在所给火焰图像区域内移动，累计gA(x，y)取不同值的次数，作出gA (x，y)的直方图，由直方图可知，gA(x,y)取值的概率为pA(i);其中点（X+A x,y+A y)是值像 素(x，y)周围的一个点，该点与值像素(x，y)的距离为A X和Ay;
[0067] 采用提取角度方向二阶矩ASM反映图像灰度分布的均匀程度，如果相近的像素灰 度值差异较大，则ASM值越大，说明纹理越粗糖；
[006引
[0069] 纹理特征与烙池内化学元素的氧化程度有关，燃烧越剧烈纹理粗糖度越高；
[0070] ④采集光流场动态信息化t:
[0071] 为了描述吹炼过程中火焰动态信息，特别是后期的火焰频闪特征，首先需要建立 火焰动态变化的描述模型，采用光流场建立闪烁过程，按照光流计算的基本假设为微小运 动和亮度恒定，得到I(X，y，t) = I(x+dx，y+dy，t+化），在相邻帖之间将像素亮度恒定的点在 限定区域内连线，构造出帖间光流图F;巧己录了火焰在连续变化过程的剧烈度，对F进行特 征表示和描述可反映频闪等信息；
[0072] 其中，x，y是指图像中点的坐标，t为是连续图像的时间轴，运是因为视频是由连续 时间轴上的图像构成的，dx表示X轴的位移，dy表示y轴的位移，dt表示t轴的位移，I是视频 流中当时间为t时刻的图像帖；
[0073] 对帖间光流图，采用灰度共生矩阵描述其特征，其计算过程中方向取0°，45°，90°， 135°，步长step = 1 W活脉少焰的贿化側纺巧的据点，设M为得到的灰度共生矩阵，采用赌值 描述其特征，计莫
I火焰的动态信息；
[0074] 其中，i，j为图像中像素的坐标；
[0075] (4)采用广义回归神经网络建立识别模型，步骤(3)采集的已有特征向量V=[B，S, ASM,Ent]为输入，W吹炼所处的状态数字为输出："r代表初期，"2"代表中期，"3"代表末 期;建立的广义回归神经网络为四输入和单输出，隐含层神经元激发函数为高斯函数，输出 为线性映射函数;将已知火焰本体的亮度信息、色度信息、纹理信息、W及光流场动态信息 与其输出数据对应列出，建立不少于10炉次的图像视频信号作为数据样本集;并将其中的 每一幅图像进行吹炼状态的标注，对所建识别模型进行训练，将训练中的输出数据按状态 数字归类；
[0076] (5)将步骤(1)所采集的实时视频信号经步骤(2)和(3)处理后，作为特征向量输入 步骤(4)训练后的识别模型中，其输出即为吹炼状态的识别，当吹炼状态输出数字为3时，代 表吹炼进入末期，发出信号提示。
【主权项】
1. 一种基于图像动静态特征的转炉炼钢吹炼状态识别系统，其特征在于包括图像采集 模块、彩色图像火焰区域分割模块、彩色火焰图像动静态特征表示与描述模块、基于图像特 征的吹炼状态分类模块以及上位机监控模块： 图像采集模块用于实时拍摄火焰情况，并将拍摄的视频信号存储并传输至彩色图像火 焰区域分割模块； 彩色图像火焰区域分割模块用于将采集的视频信号分割为单独的彩色图像帧，对彩色 图像中的火焰背景部分与火焰本体部分进行分割； 彩色火焰图像动静态特征表示与描述模块用于采集分割所得火焰本体部分的亮度信 息、色度信息、纹理信息、以及光流场动态信息； 基于图像特征的吹炼状态分类模块用于将彩色火焰图像动静态特征表示与描述模块 所采集的各类信息作为输入建立识别模型，并设置输出状态后，采集数据样本集对所建识 别模型进行训练;进而对新采集的输入内容判断输出状态，将吹炼进入末期的输出状态发 送至上位机监控模块； 上位机监控模块用于发出信号提示。2. 根据权利要求1所示的基于图像动静态特征的转炉炼钢吹炼状态识别系统，其特征 在于:所述图像采集模块还包括摄像头、存储器及信号传输器。3. -种基于图像动静态特征的转炉炼钢吹炼状态识别方法，其特征在于经过下列步 骤： (1) 安装彩色摄像机，使其与人工看火的位置和角度保持一致，固定摄像头的位置、焦 距;彩色摄像机所采集的实时视频信号通过信号采集卡与处理机相连； (2) 处理机将采集的视频信号分割为单独的彩色图像帧，对彩色图像中的火焰背景与 火焰本体进行分割，即将RGB彩色空间转换至均匀的L*a*b*空间，记红色（255，0,0)转换后 为R Lab，黄色（255，255，0)转换后为YLab，白色（255，255，255)转换后为W Lab，设P为转换后图像 中的一个像素，D为像素之间的欧几里得距尚，根据公式~"?,,,κ：ηρ,,-ι,τ+(-?-hf， 则分割策略为：⑴ 式中，〇^是指颜色空间转换后的图像一个像素与参考点像素之间的颜色色差值;I是指 图像从RGB颜色转换到Lab颜色后的一个像素，这个像素有三个分量，分别是L，a，b;T为控制 相似度的阈值； 再将< T的部分作为火焰本体，其他部分作为火焰背景进行分割； (3) 将步骤(2)所得火焰本体部分用于采集亮度信息、色度信息、纹理信息、以及光流场 动态息： ① 米集壳度?目息Β: 设I(i，j)为分割后的火焰区域像素，则亮度特征B=(ΣI(i，j))/(C0unt)，其中B为亮 度特征，Count为区域像素个数，i，j为像素的位置，也就是在图像中的坐标； ② 米集色度?目息S: 单分量i下的三阶矩为(JLiiII ,:=j式中，Pi, j为彩色图像第i个颜'巴ΜΧΙΛ、里TJ tfJ像素出现的概率，i为表示彩色 图像的第i个分量，j为表示图像的灰度值，si为图像的颜色矩特征，μL为相关参数； ③ 采集纹理信息ASM: 利用灰度差分统计方法描述静态纹理复杂度，设(x，y)为图像中的一点，与点(X+A x，y +八7)之间的灰度差值为8以1，7)=8(1，7)_8(1+八1，7+八7)，设灰度差分的所有可能取值 为m级，令点(x，y)在所给火焰图像区域内移动，累计gA(x，y)取不同值的次数，作出gA(x，y) 的直方图，由直方图可知，g4x，y)取值的概率为p4i); 采用提取角度方向二阶矩ASM反映图像灰度分布的均匀程度，如果相近的像素灰度值 差异较大，则ASM值越大，说明纹理越粗糙；纹理特征与熔池内化学元素的氧化程度有关，燃烧越剧烈纹理粗糙度越高； ④ 米集光流场动态?目息Ent: 建立火焰动态变化的描述模型，采用光流场建立闪烁过程，按照光流计算的基本假设 为微小运动和亮度恒定，得到I(X，y，t) = I(x+dx，y+dy，t+dt)，在相邻帧之间将像素亮度恒 定的点在限定区域内连线，构造出帧间光流图F;F记录了火焰在连续变化过程的剧烈度，对 F进行特征表示和描述可反映频闪等信息； 其中，X，y是指图像中点的坐标，t为是连续图像的时间轴，这是因为视频是由连续时间 轴上的图像构成的，dx表示X轴的位移，dy表示y轴的位移，dt表示t轴的位移，I是视频流中 当时间为t时刻的图像帧； 对帧间光流图，采用灰度共生矩阵描述其特征，其计算过程中方向取0°，45°，90°， 135°，步长step = l以适应火焰的随机微纹理的特点，设Μ为得到的灰度共生矩阵，采用熵值 描述其特征，计寞％火焰的动态信息； 其中，i，j为图像中像素的坐标； (4) 采用广义回归神经网络建立识别模型，步骤(3)采集的已有特征向量V = [B，S，ASM， Ent]为输入，以吹炼所处的状态数字为输出："Γ代表初期，"2"代表中期，"3"代表末期;建 立的广义回归神经网络为四输入和单输出，隐含层神经元激发函数为高斯函数，输出为线 性映射函数;将已知火焰本体的亮度信息、色度信息、纹理信息、以及光流场动态信息与其 输出数据对应列出，建立数据样本集;对所建识别模型进行训练，将训练中的输出数据按状 态数字归类； (5) 将步骤（1)所采集的实时视频信号经步骤(2)和(3)处理后，作为特征向量输入步骤 (4)训练后的识别模型中，其输出即为吹炼状态的识别，当吹炼状态输出数字为3时，代表吹 炼进入末期，发出信号提示。4.根据权利要求3所示的基于图像动静态特征的转炉炼钢吹炼状态识别方法，其特征 在于:所述步骤(3)的点（χ+Δ x，y+A y)是值像素(x，y)周围的一个点，该点与值像素(x，y) 的距离为Δχ和Ay。
【文档编号】G06K9/00GK105956618SQ201610272037
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】刘辉, 巫乔顺, 皮坤, 陈甫刚
【申请人】云南昆钢集团电子信息工程有限公司