滚筒法钢渣的热成像识别方法及系统与流程

1.本发明涉及扒渣自动控制技术领域，具体地，涉及一种滚筒法钢渣的热成像识别方法和系统。


背景技术：

2.钢渣是炼钢过程中的一种副产品。它由生铁中的硅、锰、磷、硫等杂质在熔炼过程中氧化而成的各种氧化物以及这些氧化物与溶剂反应生成的盐类所组成。钢渣作为二次资源综合利用有两个主要途径，一个是作为冶炼溶剂在本厂循环利用，不但可以代替石灰石，且可以从中回收大量的金属铁和其他有用元素；另一个是作为制造筑路材料、建筑材料或农业肥料的原材料。故钢渣的综合利用不但可以消除环境污染，还能够变废为宝创造巨大的经济效益，是可持续发展的有效途径，对国家、对社会都具有十分重要的意义。
3.随着自动化的发展，越来越多的企业使用扒渣自动控制技术代替了人工扒渣，而钢渣有有固体渣和液态渣之分，面对不同的钢渣使用其适合的扒渣控制方法。
4.专利文献cn110781944a公开了一种基于深度学习的铁水自动扒渣控制方法。本发明将采集得到钢包液面图像进行特征提取,经过人工标注得到渣量等级,用以构建深度卷积神经网络的数据集；建立深度卷积神经网络框架，利用adam算法对深度卷积神经网络模型进行训练优化，得到优化后网络模型；通过影响铁水脱硫生渣的因素构建因素类型，通过k近邻法选取渣量等级标准所属因素类别，并获取不同因素类别的深度卷积神经网络模型；根据对应网络模型输出层数据确定整体渣量等级，根据模型输出由系统判断作出相应扒渣动作。
5.但是专利文献cn110781944a使用深度学习技术进行图像处理，训练样本标注很麻烦，且推断很慢不能处理视频流。图像采集基于rgb通道，信噪比低。采用旋转编码器传感方案，实现的是半闭环控制，渣流不稳，且可能存在安全隐患。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种滚筒法钢渣的热成像识别方法和系统。
7.根据本发明提供的一种滚筒法钢渣的热成像识别方法，包括：
8.步骤s1：获取热成像视频流数据；
9.步骤s2：通过固态渣视觉传感模块和液态渣视觉传感模块分别对所述热成像视频流数据处理，进而识别钢渣类型；
10.步骤s3：根据所述钢渣类型分别进行相应的自动控制业务。
11.优选地，所述热成像视频流数据包括液面图片流和渣流图片流。
12.优选地，固态渣视觉传感模块热成像视频流数据处理中，对每一张液面图片的处理包括以下子步骤：
13.步骤s2.1.1：对所述液面图片进行阈值分割，得到对应的区域；
14.步骤s2.1.2：提取固态渣所对应的区域的二值化掩膜；
15.步骤s2.1.3：将所述二值化掩膜进行形态学开运算；
16.步骤s2.1.4：识别钢渣的最小覆盖外圆，并与开运算后的二值化掩膜取交集，得到最终的二值化掩膜，进而得到固态渣的分布。
17.优选地，液态渣视觉传感模块热成像视频流数据处理中，对每一张渣流图片的处理包括以下子步骤：
18.步骤s2.2.1：对所述渣流图片进行阈值分割，得到对应的区域；
19.步骤s2.2.2：提取液态渣所对应的区域，并对所述区域进行形态学开运算和闭运算；
20.步骤s2.2.3：在设定的第一采样区间内对运算后的二值化掩膜进行逐行扫描并统计逐行掩膜的和，得到逐行渣流宽度；
21.步骤s2.2.4：根据所述逐行渣流宽度的阈值提取倒渣起始高度，并以所述倒渣起始高度加上一个预设偏移量作为第二采样区间；
22.步骤s2.2.5：对所述第二采样区间中的所有行上的渣流宽度计算平均值和标准差，进而得到渣流宽度和渣流宽度变异系数。
23.优选地，相应的自动控制包括扒渣运动控制和渣罐倾角控制；
24.所述扒渣运动控制包括通过识别得到固态渣的分布，自动对超过阈值的区域进行扒渣；
25.所述渣罐倾角控制包括通过识别得到渣流宽度和渣流宽度变异系数作为控制器的输入之一，并进行异常检测，进而控制液态渣流。
26.根据本发明提供的一种滚筒法钢渣的热成像识别系统，包括：
27.模块m1：获取热成像视频流数据；
28.模块m2：通过固态渣视觉传感模块和液态渣视觉传感模块分别对所述热成像视频流数据处理，进而识别钢渣类型；
29.模块m3：根据所述钢渣类型分别进行相应的自动控制业务。
30.优选地，所述热成像视频流数据包括液面图片流和渣流图片流。
31.优选地，固态渣视觉传感模块热成像视频流数据处理中，对每一张液面图片的处理包括以下子模块：
32.模块m2.1.1：对所述液面图片进行阈值分割，得到对应的区域；
33.模块m2.1.2：提取固态渣所对应的区域的二值化掩膜；
34.模块m2.1.3：将所述二值化掩膜进行形态学开运算；
35.模块m2.1.4：识别钢渣的最小覆盖外圆，并与开运算后的二值化掩膜取交集，得到最终的二值化掩膜，进而得到固态渣的分布。
36.优选地，液态渣视觉传感模块热成像视频流数据处理中，对每一张渣流图片的处理包括以下子模块：
37.模块m2.2.1：对所述渣流图片进行阈值分割，得到对应的区域；
38.模块m2.2.2：提取液态渣所对应的区域，并对所述区域进行形态学开运算和闭运算；
39.模块m2.2.3：在设定的第一采样区间内对运算后的二值化掩膜进行逐行扫描并统
计逐行掩膜的和，得到逐行渣流宽度；
40.模块m2.2.4：根据所述逐行渣流宽度的阈值提取倒渣起始高度，并以所述倒渣起始高度加上一个预设偏移量作为第二采样区间；
41.模块m2.2.5：对所述第二采样区间中的所有行上的渣流宽度计算平均值和标准差，进而得到渣流宽度和渣流宽度变异系数。
42.优选地，相应的自动控制包括扒渣运动控制和渣罐倾角控制；
43.所述扒渣运动控制包括通过识别得到固态渣的分布，自动对超过阈值的区域进行扒渣；
44.所述渣罐倾角控制包括通过识别得到渣流宽度和渣流宽度变异系数作为控制器的输入之一，并进行异常检测，进而控制液态渣流。
45.与现有技术相比，本发明具有如下的有益效果：
46.1.本发明中的固态渣视觉传感模块和液态渣视觉传感模块通过采用热成像的方式采集对应的视频流数据，提升了信噪比和识别精度。
47.2、本发明在液态渣识别算法上，通过使用视觉手段直接测量控制系统输出量渣流宽度及其变异系数，可以实现全闭环，可用于实现倒液态渣过程的全闭环控制，增加了渣流的稳定性，进而提高了安全性。
48.3、本发明通过热成像采集视频流数据，进而识别固态渣和液态渣完成对扒渣的自动控制，给技术人员提供便利并提高了工作效率。
附图说明
49.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
50.图1为本发明中各个传感器的布置示意图。
51.图2为本发明中固态渣和液态渣的算法工作流程示意图。
52.图3为本发明固态渣分布视觉传感模块的算法输入输出样例示意图。
53.图4为本发明液态渣渣流宽度视觉传感模块的算法输入输出样例示意图。
54.图5为本发明液态渣的算法中第二采样区间的样例示意图。
具体实施方式
55.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
56.本专利针对扒渣机自动控制的数据采集需求，基于高温热成像图像传感器采集数据，使用计算机图形学技术处理视频流，最终提出了一种具有良好信噪比的钢渣智能识别传感器。包括硬件和软件，其中硬件包括热成像，软件包括图形学算法。该传感器可以用于固态渣和液态渣形态的识别，其中各个传感器的布置示意图如图1所示。
57.实施例一
58.根据本发明提供的一种滚筒法钢渣的热成像识别方法，如图2所示，包括：
59.步骤s1：获取热成像视频流数据。热成像视频流数据包括液面图片流和渣流图片流。可以通过热成像传感器采集，传感器采集流式数据得到图片流，在时间上优选按照30fps的采样率采样。
60.步骤s2：通过固态渣视觉传感模块和液态渣视觉传感模块分别对所述热成像视频流数据处理，进而识别钢渣类型。具体地，固态渣视觉传感模块可以使用热成像传感器从渣罐上方采集液面图片，识别出固态渣的形态和空间位置，如图3所示左边为采集到的液面图片，右边为识别出的结果。液态渣视觉传感模块可以使用热成像传感器从渣罐侧面采集渣流图片，识别出液态渣的形态，如图4所示左边为采集到的渣流图片，右边为识别出的结果。两个模块中的识别算法包括opencv算法。在处理每张图片时得到对应的状态信息。当图片变成视频流的时候，这些信息也变成了信息流，也可以采用滤波算法消除数据的噪声。
61.进一步地，固态渣视觉传感模块热成像视频流数据处理中，对每一张液面图片的处理包括以下子步骤：
62.步骤s2.1.1：对所述液面图片进行阈值分割，得到对应的区域。所述区域包括低温区、中温区和高温区，每个温区的温度范围根据车间具体调整，优选地，低温区是温度小于500摄氏度，中温区是500～1100摄氏度，高温区是大于1100摄氏度。
63.步骤s2.1.2：提取固态渣所对应的区域的二值化掩膜，也就是说，提取中温区的二值化掩膜。
64.步骤s2.1.3：将所述二值化掩膜进行形态学开运算。
65.步骤s2.1.4：识别钢渣的最小覆盖外圆，并与开运算后的二值化掩膜取交集，得到最终的二值化掩膜，进而得到固态渣的分布。其中，识别钢渣的最小覆盖外圆的算法包括霍夫圆变换算法。
66.液态渣视觉传感模块热成像视频流数据处理中，对每一张渣流图片的处理包括以下子步骤：
67.步骤s2.2.1：对所述渣流图片进行阈值分割，得到对应的区域。所述区域包括低温区、中温区和高温区，每个温区的温度范围根据车间具体调整，优选地，低温区是温度小于500摄氏度，中温区是500～1100摄氏度，高温区是大于1100摄氏度。
68.步骤s2.2.2：提取液态渣所对应的区域，也就是说，提取高温区的区域，并对所述区域进行形态学开运算和闭运算。形态学开运算和闭运算的操作包括去除飞溅的钢水和补全中空区域。
69.步骤s2.2.3：在设定的第一采样区间内对运算后的二值化掩膜进行逐行扫描并统计逐行掩膜的和，得到逐行渣流宽度。也就是说，统计逐行掩膜的和即为逐行渣流宽度。
70.步骤s2.2.4：根据所述逐行渣流宽度的阈值提取倒渣起始高度，并以所述倒渣起始高度加上一个预设偏移量作为第二采样区间。具体地，如图5所示，在逐行计算渣流宽度时，优选地，将所有行上渣流宽度最大值的50％作为阈值。使用这个阈值，提取到倒渣起始高度，也就是图5中上面的第一线。在该红线往下加一个固定的偏移量，得到第二条线，也就是图5中下面的线，这两条线之间的区域就是第二采样区间。
71.步骤s2.2.5：对所述第二采样区间中的所有行上的渣流宽度计算平均值和标准差，进而得到渣流宽度和渣流宽度变异系数。其平均值即为渣流宽度，标准差即为渣流宽度变异系数。
72.步骤s3：根据所述钢渣类型分别进行相应的自动控制业务。相应的自动控制包括扒渣运动控制和渣罐倾角控制。扒渣运动控制包括通过识别得到固态渣的分布，当固态渣达到阈值后会自动对超过阈值的区域进行扒渣。渣罐倾角控制包括通过识别得到渣流宽度和渣流宽度变异系数作为控制器的输入之一进行异常检测，进而控制液态渣流。
73.具体地，固态渣视觉传感模块的算法得到的固态渣的分布可以用于扒渣路径规划和扒渣质量评估等自动控制业务。其中，扒渣运动控制是将固态渣的分布划分为若干网格状区域，如果某个子区域内钢渣数量超过阈值，且该区域的空间坐标在渣罐内部(碰撞安全)，则对该区域扒渣。
74.液态渣视觉传感模块的算法得到的渣流宽度和渣流宽度变异系数可以直接接入渣罐倾角pid控制系统，pid控制器可以自动提取它们的时序特征，用于控制旋转电机，实现倒渣过程的全闭环控制。也可以接入急停信号确保生产安全。其中，应用至渣罐倾角控制中具体描述如下：
75.渣罐倾角控制是一个闭环pid控制系统，具有多个输入和异常检测功能，目的是控制液态渣流的稳定。该控制系统的执行器为电机，传感器包括液面雷达、热成像2和倾角编码器。该系统包括理论倾角计算模块、pid控制器和异常检测模块。具体地，理论倾角计算模块使用液面雷达测量液面位置，该位置为液面和雷达安装点之间的距离。基于液面位置、设备及安装参数，通过几何运算得到液态渣恰巧能流出时的理论倾角，其中安装参数包括渣罐半径、渣罐高度、渣罐安装偏置、液面雷达安装偏置等。
76.pid控制器有三个控制输入。分别是渣流宽度和渣流宽度变异系数、理论倾角和倾角编码器测得的反馈量，即实际倾角。该模块的执行器为电机。该电机的输入的结构包括pi控制器和pd控制器和p控制器，也就是说，(实际倾角-理论倾角)和(渣流宽度-控制目标)和(渣流宽度变异系数)作为电机的输入。
77.异常检测模块是当理论倾角与实际倾角的偏离超过阈值时，或渣流宽度超过阈值时，执行异常处理程序并要求人为接管。
78.实施例二
79.本发明还提供了一种滚筒法钢渣的热成像识别系统，本领域技术人员可以通过执行所述滚筒法钢渣的热成像识别方法的步骤流程实现所述滚筒法钢渣的热成像识别系统，即可以将所述滚筒法钢渣的热成像识别方法理解为所述滚筒法钢渣的热成像识别系统的优选实施方式。
80.根据本发明提供的一种滚筒法钢渣的热成像识别系统，包括：
81.模块m1：获取热成像视频流数据。热成像视频流数据包括液面图片流和渣流图片流。
82.模块m2：通过固态渣视觉传感模块和液态渣视觉传感模块分别对所述热成像视频流数据处理，进而识别钢渣类型。具体地，
83.固态渣视觉传感模块热成像视频流数据处理中，对每一张液面图片的处理包括以下子模块：模块m2.1.1：对所述液面图片进行阈值分割，得到对应的区域。模块m2.1.2：提取固态渣所对应的区域的二值化掩膜。模块m2.1.3：将所述二值化掩膜进行形态学开运算。模块m2.1.4：识别钢渣的最小覆盖外圆，并与开运算后的二值化掩膜取交集，得到最终的二值化掩膜，进而得到固态渣的分布。
84.液态渣视觉传感模块热成像视频流数据处理中，对每一张渣流图片的处理包括以下子模块：模块m2.2.1：对所述渣流图片进行阈值分割，得到对应的区域。模块m2.2.2：提取液态渣所对应的区域，并对所述区域进行形态学开运算和闭运算。模块m2.2.3：在设定的第一采样区间内对运算后的二值化掩膜进行逐行扫描并统计逐行掩膜的和，得到逐行渣流宽度。模块m2.2.4：根据所述逐行渣流宽度的阈值提取倒渣起始高度，并以所述倒渣起始高度加上一个预设偏移量作为第二采样区间。模块m2.2.5：对所述第二采样区间中的所有行上的渣流宽度计算平均值和标准差，进而得到渣流宽度和渣流宽度变异系数。
85.模块m3：根据所述钢渣类型分别进行相应的自动控制业务。相应的自动控制包括扒渣运动控制和渣罐倾角控制。所述扒渣运动控制包括通过识别得到固态渣的分布，当固态渣达到阈值后会自动对超过阈值的区域进行扒渣。所述渣罐倾角控制包括通过识别得到渣流宽度和渣流宽度变异系数作为控制器的输入之一进行异常检测，进而控制液态渣流。
86.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
87.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。