一种高炉料面成像三维模型重建方法及系统与流程

本发明涉及冶金技术领域，特别涉及一种高炉料面成像三维模型重建方法及系统。

背景技术：

在高炉布料过程中，操作者无法直接观察到高炉炉内料面3d形状和料层厚度等信息。为解决这一问题，利用红外热成像技术，并引入计算机模式识别中的双目视觉技术，对高炉的布料信息进行分析处理，对布料过程中的料面图像进行三维立体重现，准确获得料面各点高度，从而实时反映高炉内料位的分布情况，实现炉内料面信息的透明化和可视化。这对指导高炉布料操作、提高生产效率、降低高炉燃料比具有重要意义

技术实现要素：

本发明的目的是提供一种解决了目前高炉料面高度和表面形状难以精准测量的技术难题的高炉料面成像三维模型重建方法。

本发明的另一目的是提供一种实现上述的高炉料面成像三维模型重建方法的高炉料面成像三维模型重建系统。

为此，本发明技术方案如下：

一种高炉料面成像三维模型重建系统，包括设置在高炉炉内的至少两台热像仪、位于现场的现场控制箱、以及设置在控制室内的控制机柜、报警和显示器；其中，两台热像仪以安装角度≥90°的方式间隔设置在高炉炉内，且任意两台热像仪的设置位置满足其红外图像的采集范围具有≥50％的重叠率；

现场控制箱内设置有与热像仪的数量一致的光纤收发器，使每台热像仪与一台光纤收发器通过网线连接；控制机柜内设置有与热像仪的数量一致的光纤收发器和一台工控机；每台位于现场控制箱内的光纤收发器分别与一台位于控制机柜内的光纤收发器连接；报警器设置在控制机柜上，其通过信号传输线与工控机连接；所述显示器通过信号传输线与工控机连接；

工控机包括：图像信号接收模块，其用于接收由两台热像仪实时传送的两张同一时刻下采集的红外图像；图像处理模块，其用于对同一时刻下采集的两张红外图像进行处理，得到每张红外图像中相匹配的特征点对，并将特征点对结合双热像仪的基础矩阵形成点云模型，绘制高炉料面三维图像；图像结果输出模块，其用于将绘制出的高炉料面三维图像的图像信号发送至显示器。

进一步地，在每台成像仪的外侧均设置有高温防护套，其内部冷却气孔道与氮气冷却系统连接，以连续地向热像仪1的镜头处吹扫氮气。

进一步地，在每台成像仪与位于现场控制箱内的光纤收发器之间还设置一台百兆交换机，百兆交换机与成像仪通过网线连接，百兆交换机与光纤收发器之间通过信号传输线连接。

进一步地，位于控制机柜内的两台光纤收发器以及工控机之间通过一台千兆交换机形成连接。

进一步地，在工控机与显示器之间还设置有一台kvm切换器，工控机、kvm切换器和显示器依次通过kvm延长线连接。

一种采用上述高炉料面成像三维模型重建系统实现的高炉料面成像三维模型重建的方法，具体地步骤如下：

s1、获取两台热像仪同时刻下拍摄的两张高炉料面红外图像；

s2、采用sift算子从每张热像仪图像中选择能反应物体属性特征的特征点，并在不同视角下拍摄的图像中找到该特征点的对应点以匹配，形成特征点对；进而采用特征向量的欧氏距离加阈值的方法来判断同一时刻下拍摄的两副红外图像是否匹配成功，判断方法为：若欧氏距离小于设定的阈值，则匹配成功，形成一对匹配点；

s3、将经过步骤s2得到的特征点对利用结合经过步骤s1得到的双热像仪的基础矩阵形成点云模型，绘制高炉料面三维图像。

进一步地，在步骤s2中，生成每张热像仪图像sift特征点的特征的具体步骤如下：

s2001、生成尺度空间：利用dog算子建立多个尺度空间，用来减小噪声的干扰以及减少图像细节，进而快速提取特征点；

s2002、检测空间极值点：对在尺度空间中的每一个像素点进行邻域判断，如果该点是极值点，则此点即为特征点；

s2003、精确极值点的位置：利用三维二次函数确定极值点所在的尺度以及位置，去除不稳定极值点；

s2004、分配关键点的方向：利用直方图统计关键点邻域范围内的梯度，将直方图的最高峰作为极值点的主方向，最高峰的80％作为关键点的辅助方向；

s2005、生成sift特征向量：每个关键点占用16个种子点来描述，每个关键点产生128个数据，形成128维的sift特征向量；

s2006、对sift特征向量进行归一化处理，得到sift特征点的特征。

进一步地，在步骤s2中，匹配点的对数＞100对。

进一步地，步骤s3的具体方法为：将经过步骤s2得到的特征点对利用结合经过步骤s1得到的双热像仪的基础矩阵形成点云模型，绘制高炉料面三维图像；具体方法如下：对于空间的任意一点p的齐次坐标为(x，y，z，l)，p映射到左、右两台热像仪平面上的两点m1和m2的齐次坐标为(u1，v1，l)和(u2，v2，l)，根据左、右两台热像仪的投影映射矩阵分别为p1和p2，可以得到如下两式：

式中，字母p的上角标为热像仪图片的编号，下角标中的第一个数字表示基础矩阵的行数，第二个数字表示基础矩阵的列数；s1和s2为临时变量；通过将已知参数分别代入两个公式中，即可求得空间点p的坐标(x，y，z)；通过上面的公式计算就可以得到左右两台热像仪获取的红外图像经过共轭匹配点计算后得到的空间三维坐标，当还原出来的三维信息点较多时就可以构成高炉料面的三维形状，进而根据这些点通过插值法和三角网格的方法还原出高炉料面真实的三维形状。

进一步地，在利用热像仪获取高炉料面红外图像前，先对两台热像仪进行标定，以获取两台热像仪的内参数和外参数；具体方法如下：

s1、制作一张能够显示出温度差异的棋盘格模板作为标定图像，并贴在一个平面上；具体地，所述能够显示出温度差异的棋盘格模板即为一张与黑白棋盘格的样式相同，但棋盘内的黑色格子和白色格子采用两个不同温度下的红外成像的格子代替，棋盘内的每个格子均为正方形；

s2、将两台热像仪采用与高炉炉内一致的设置方式进行安设，任意转动或平移标定图像，使两台热像仪同时对步骤1制作的标定图像进行图像采集，得到一组模板图像；其中，无论标定图像如何变换位置，均应保证其在两台热像仪的图像采集范围内；

s3、将两张模板图像导入计算机中，通过调用opencv中的提特征点函数提取角点的方式，分别得到两张模板图像相邻两个红外格子的交点的亚像素坐标p1(u1，v1，1)和p2(u2，v2，1)；

s4、对两台热像仪进行标定，得到热像仪的内参数和外参数，即基础矩阵；具体标定过程如下：

1)以步骤1制作的标定图像标定靶，选取标定靶平面上一点为世界坐标系的原点，z轴与标定靶平面垂直，因此标定靶上的参考点在世界坐标系的z坐标都为零；据此，标定图像上每个棋盘格的角点坐标p(x，y，0，1)；

2)将第一张模板图像的亚像素坐标p1(u1，v1，1)和世界坐标系下的角点坐标p(x，y，0，1)，第二张模板图像的亚像素坐标p2(u2，v2，1)和世界坐标系下的角点坐标p(x，y，0，1)依次代入至坐标系之间的转换关系式：

得到拍摄第一张模板图像的热像仪的基础矩阵m1和第二张模板图像的热像仪的基础矩阵m2；其中，在上述转换关系式中，f是热像仪的焦距，图像像素坐标系中的中心坐标是u0，v0，每一个像素在x轴与y轴方向上的物理尺寸为宽dx毫米(mm)，高dy(mm)，ax＝f/dx，ay＝f/dy，r是旋转矩阵，t是平移矩阵；m＝ma×mb为3×4矩阵，称为投影矩阵；ma为热像仪的内部参数，其完全是由光心，焦距等热像仪内部结构参数决定；mb为热像仪的外部参数，其完全由热像仪相对于世界坐标系的方位如拜访位置和拍摄角度决定；m为待求解基础矩阵。

该本发明公开的高炉料面三维模型重建系统系统安装在高炉尽量靠近炉喉上侧，若现场空间不允许，也可做适当调整；通过设置在一保护套内的带旋转系统热成像系统对炉内料面进行全方位观测，并将观测到的高炉料面真实信息，形成三维图像，有效实时监控高炉料面真实状态；采用该高炉料面三维模型重建系统实现实时在线检测不对称布料状态和物料料面下降速度分布，大幅度提高布料信息反馈，配合本申请公开的监控方法中的具体数据处理方法及监控模式使工艺分析达到了新的高度水平；此外，与原有技术相比，通过减少机械运动部件的数量使系统的稳定性得到了最大的提升，同时，在探测状态下，没有任何机械部件会在炉顶突出，不会影响摆动溜槽。

附图说明

图1为本发明的高炉料面成像三维模型重建系统的结构示意图；

图2为本发明的高炉料面成像三维模型重建方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

实施例1

如图1所示，该高炉料面成像三维模型重建系统包括设置在现场的两台热像仪1和现场控制箱2，以及设置在控制室内的控制机柜6、报警器8和显示器13；

其中，两台热像仪1分别设置在高炉的炉壁的水平方向上和垂直方向上，每台热像仪1的前端设置有一个针孔镜头、后端连接有旋转装置，旋转装置通过安装法兰固定在高炉炉壁上并与高炉炉壁成一定角度，其中，旋转装置采用已公开专利cn201810478147.x中的装置，使两台热像仪1能够按照要求进行360°旋转，调整角度，使热像仪采集的炉内图像完全覆盖炉内料面；每台热像仪1外侧还套装有高温防护套，高温防护套内侧气道与氮气冷却系统连接，连续地向热像仪1的镜头处吹扫氮气，保证热像仪1正常工作；

现场控制箱2内设置有两台百兆交换机3和两台光纤收发器4，每台热像仪1均与一台百兆交换机3和一台光纤收发器4依次连接，其中，热像仪1与百兆交换机3之间通过网线连接，百兆交换机3与光纤收发器4之间通过数据线连接，用于将热像仪1上采集的图像信号转换为光信号后，并通过光纤收发器4进行传输；

控制机柜6内设置有两台光纤收发器4、一台千兆交换机7和一台工控机10；其中，控制机柜6内设置有两台光纤收发器4分别通过两根单模光纤一一对应地与现场控制箱2内的两台光纤收发器4连接，用于接收光信号并转换为图像信号；同时，两台控制机柜6内设置有两台光纤收发器4分别与千兆交换机7连接，工控机10与千兆交换机7连接，将接收到的图像信号进行数据处理并重新建模得到高炉内料面三维形状图形；

显示器13与工控机10通过kvm延长线12连接，实时显示高炉内料面三维形状图形；在kvm延长线12上还设置有一个kvm切换器11；其中，工控机10包括：图像信号接收模块，其用于接收由多台热像仪(1)实时传送的多张同一时刻下采集的红外图像；图像处理模块，其用于对同一时刻下采集的多张红外图像进行处理，得到每张红外图像中相匹配的特征点对，并将特征点对结合双热像仪的基础矩阵形成点云模型，绘制高炉料面三维图像；图像结果输出模块，其用于将绘制出的高炉料面三维图像的图像信号发送至显示器。

报警器8设置在控制机柜6上，其与工控机10连接，当工控机10在处理数据过程中检测到异常状况时，向报警器8发送警报信号，驱动报警器8发出警报声音，通知现场人员进行相应的调试或维修。

实施例2

如图2所示，采用上述高炉料面成像三维模型重建系统实现的高炉料面成像三维模型重建方法的具体实施步骤如下。

一、监控工作准备：

按照实施例1的高炉料面实时状态监控系统的结构布置连接各系统并将现场控制箱和电气机柜调试到正常工作状态，使电源、电气控制、数据通讯正常工作，氮气冷却系统的压力和温度调试正常供给状态；

其中，防护外套后端侧壁上设置的外层进气口和容置腔体侧壁上设置的内层进气口均与冷却介质连接；具体地，冷却介质采用输送压力为0.50～0.7mpa的有压氮气，使热成像系统的工作温度控制在入口温度＜40℃。通过氮气不停的吹扫，确保热像仪、专用针孔镜头、防护套在高温、高粉尘的高炉中能够稳定工作。

另外，还需要对已经安装在高炉内的两台热像仪进行标定，以获得热像仪的内参数和外参数，即两台热像仪的基础矩阵；其中，内参指每台热像仪的焦距和中心；外参指其中一个热像仪的位置相对于另一个热像仪的位置的平移向量和旋转向量；具体标定方法如下：

1)以步骤1制作的标定图像标定靶，选取标定靶平面上一点为世界坐标系的原点，z轴与标定靶平面垂直，因此标定靶上的参考点在世界坐标系的z坐标都为零；据此，标定图像上每个棋盘格的角点坐标p(x，y，0，1)；

2)将第一张模板图像的亚像素坐标p1(u1，v1，1)和世界坐标系下的角点坐标p(x，y，0，1)，第二张模板图像的亚像素坐标p1(u1，v1，1)和世界坐标系下的角点坐标p(x，y，0，1)依次代入至坐标系之间的转换关系式：

得到拍摄第一张模板图像的热像仪的基础矩阵m1和第二张模板图像的热像仪的基础矩阵m2；其中，在上述转换关系式中，f是热像仪的焦距，图像像素坐标系中的中心坐标是u0，v0，每一个像素在x轴与y轴方向上的物理尺寸为宽dx毫米(mm)，高dy(mm)，ax＝f/dx，ay＝f/dy，r是旋转矩阵，t是平移矩阵；m＝ma×mb为3×4矩阵，称为投影矩阵；ma为热像仪的内部参数，其完全是由光心，焦距等热像仪内部结构参数决定；mb为热像仪的外部参数，其完全由热像仪相对于世界坐标系的方位如拜访位置和拍摄角度决定；m为待求解基础矩阵。

二、数据收集和图像拟合：

s1、获取同一时刻下两台热像仪采集的两张红外图像；

s2、采用sift算子从每张热像仪图像中选择能反应物体属性特征的特征点，并在不同视角下拍摄的图像中找到该特征点的对应点以匹配，形成特征点对；

该步骤s2的具体实施方法如下：

s201、对每张热像仪图像进行如下六步处理，生成sift特征点的特征：

s2001、生成尺度空间：利用dog算子建立多个尺度空间，用来减小噪声的干扰以及减少图像细节，进而快速提取特征点；

s2002、检测空间极值点：对在尺度空间中的每一个像素点进行邻域判断，如果该点是极值点，则此点即为特征点；

s2003、精确极值点的位置：利用三维二次函数确定极值点所在的尺度以及位置，去除不稳定极值点；

s2004、分配关键点的方向：利用直方图统计关键点邻域范围内的梯度，将直方图的最高峰作为极值点的主方向，最高峰的80％作为关键点的辅助方向；

s2005、生成sift特征向量：每个关键点占用16个种子点来描述，每个关键点产生128个数据，形成128维的sift特征向量；

s2006、对sift特征向量进行归一化处理，得到sift特征点的特征；

s202、采用特征向量的欧氏距离加阈值的方法来判断同一时刻下拍摄的两副红外图像是否匹配成功，判断方法为：若欧氏距离小于设定的阈值，则匹配成功，形成一对匹配点；

其中，为了下面在步骤三中生成更好的重构后的高炉料面的三维图像，在该步骤s202中应取得的匹配点对＞100对，同时，在进行步骤s3前还应删除掉误匹配的点。

s3、将经过步骤s2得到的特征点对利用结合经过步骤s1得到的双热像仪的基础矩阵形成点云模型，绘制高炉料面三维图像；具体方法如下：

对于空间的任意一点p的齐次坐标为(x，y，z，l)，p映射到左、右两台热像仪平面上的两点m1和m2的齐次坐标为(u1，v1，l)和(u2，v2，l)，根据左、右两台热像仪的投影映射矩阵分别为p1和p2，可以得到如下两式：

式中，字母p的上角标为热像仪图片的编号，下角标中的第一个数字表示基础矩阵的行数，第二个数字表示基础矩阵的列数；例如：为根据第一张热像仪图片求得基础矩阵中第一行第一个参数，为根据第一张热像仪图片求得基础矩阵中第一行第二个参数，为根据第一张热像仪图片求得基础矩阵中第一行第三个参数，为根据第一张热像仪图片求得基础矩阵中第一行第四个参数，依次类推；

通过将已知参数分别代入两个公式中，即可求得空间点p的坐标(x，y，z)；由于空间点p中含有x、y、z三个待求的变量，上式是关于x、y、z的一个超定方程，因此求解过程采用最小二乘法求解；其中，s1，s2是临时变量。

通过上面的公式计算就可以得到左右两台热像仪获取的红外图像经过共轭匹配点计算后得到的空间三维坐标，当还原出来的三维信息点较多时就可以构成高炉料面的三维形状，进而根据这些点通过插值法和三角网格的方法还原出高炉料面真实的三维形状。

三、数据监测、报警

每次数据处理得到的高炉实际状态图形同时还与通过工艺参数制定的工艺图形对比，当实际输出图形超出工艺设定的工艺图形下线时，工控机向报警系统发出报警信号，由报警系统发出报警音予以提示。

同时，报警系统还与冷却系统和热像仪内的温度传感器连接，长期稳定的监视着冷却介质的参数变化和热成像系统的工作温度，当冷却介质的参数异常和热成像系统超出温度上线及时报警，提示操作人员及时处理。