一种加热炉冷坯料台双钢识别方法、系统及介质与流程

本发明涉及智能冶金领域，尤其涉及一种加热炉冷坯料台双钢识别方法、系统及介质。

背景技术：

在钢铁冶炼的加热炉工序之前，落坯辊道是连接两个钢坯处理过程的装置，能将上一步处理好的钢坯运送到下一步处理的装置前。正常情况下落坯辊道横向只能容纳一根钢坯，若出现多于一根钢坯的情况，可能导致钢坯无法进入加热炉、堵塞炉口等情况。

以目前情况而言，识别加热炉落坯辊道是否存在双钢异常主要通过有经验的工人识别。但由于产线较多、产线生产时间长，若仅仅依靠人工识别，可能存在漏检、错检的情况。

技术实现要素：

鉴于以上现有技术存在的问题，本发明提出一种加热炉冷坯料台双钢识别方法、系统及介质，主要解决人工识别双钢异常容易出现错漏，且效率低的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种加热炉冷坯料台双钢识别方法，包括：

采集落坯辊道准备区域和所述落坯辊道上包含方坯横截面的视频流数据；

根据预训练的方坯检测模型对所述视频流数据进行检测，获取方坯位置信息和横截面数量；

根据所述落坯辊道上预设区域内方坯位置信息和横截面数量，输出所述落坯辊道工作状态。

可选地，根据所述落坯辊道上预设区域内位置信息和方坯横截面数量，输出所述落坯辊道工作状态之前：

将所述位置信息与所述预设区域的坐标信息进行比对，判断对应的方坯是否进入所述预设区域，若进入所述预设区域，则：

根据所述位置信息判断对应的方坯是否静止，若静止，则获取所述预设区域内静止的方坯横截面数量；

根据所述静止的方坯横截面数量，输出所述落坯辊道工作状态。

可选地，根据所述位置信息判断对应的方坯是否静止包括：

获取所述视频流数据中连续多帧图像中，同一方坯对应的所述位置信息间的位置差，若所述位置差超出预设阈值，则所述方坯处于运动中，若所述位置差低于所述预设阈值，则所述方坯静止。

可选地，当所述预设区域内静止的方坯横截面数量为一个时，所述落坯辊道工作状态为正常状态；当所述预设区域内静止的方坯横截面数量为多个时，所述落坯辊道工作状态为异常状态。

可选地，在所述落坯辊道一侧相对所述方坯进入所述落坯辊道的方向设置一个或多个摄像装置，通过所述摄像装置采集所述视频流数据。

可选地，将所述摄像装置视野范围覆盖的所述落坯辊道区域设置为所述预设区域。

可选地，获取对应场景下包含方坯横截面的图像，构建训练样本集；

对所述训练样本集中方坯进行标注，获取标注样本集，其中标注信息至少包括，方坯横截面坐标、方坯编号；

将所述标注样本集用于训练所述方坯检测模型。

可选地，所述位置信息包括所述方坯横截面的其中一组对角的坐标；

当根据所述对角坐标判断对应方坯的横截面不是正方形时，启动异常预警信息。

一种加热炉冷坯料台双钢识别系统，包括：

视频采集模块，用于采集落坯辊道准备区域和所述落坯辊道上包含方坯横截面的视频流数据；

检测模块，用于根据预训练的方坯检测模型对所述视频流数据进行检测，获取方坯位置信息和横截面数量；

状态识别模块，用于根据所述落坯辊道上预设区域内方坯位置信息和横截面数量，输出所述落坯辊道工作状态。

可选地，所述状态识别模块包括位置比对单元，用于将所述位置信息与所述预设区域的坐标信息进行比对，判断对应的方坯是否进入所述预设区域，若进入所述预设区域，则：

根据所述位置信息判断对应的方坯是否静止，若静止，则获取所述预设区域内静止的方坯横截面数量；

根据所述静止的方坯横截面数量，输出所述落坯辊道工作状态。

可选地，包括静止判别单元，所述静止判别单元与所述位置比对单元连接；所述静止判别单元用于根据所述位置信息判断对应的方坯是否静止包括：

获取所述视频流数据中连续多帧图像中，同一方坯对应的所述位置信息间的位置差，若所述位置差超出预设阈值，则所述方坯处于运动中，若所述位置差低于所述预设阈值，则所述方坯静止。

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的加热炉冷坯料台双钢识别方法。

如上所述，本发明一种加热炉冷坯料台双钢识别方法、系统及介质，具有以下有益效果。

结合智能检测模型检测方坯的横截面，基于横截面的位置和数量判断是否存在双钢异常，不需要人工参与，可有效提高异常识别准确性和效率。

附图说明

图1为本发明一实施例中加热炉冷坯料台双钢识别方法的流程图。

图2为本发明一实施例中加热炉冷坯料台双钢识别系统的模块图。

图3为本发明为方坯在落坯辊道准备区及落坯辊道上的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种加热炉冷坯料台双钢识别方法，包括步骤s01-s03。

在步骤s01中，采集落坯辊道准备区域和落坯辊道上包含方坯横截面的视频流数据：

在一实施例中，落坯辊道一侧相对方坯进入落坯辊道的方向设置一个或多个摄像装置，以保证摄像装置可以拍摄到方坯的横截面。通过在现场落坯辊道的一侧设置工业相机，从横截面方向识别方坯。方坯的长度较长，从上方识别效果不理想。但其横截面为特征明显的正方形，因此从落坯辊道一侧设置相机、将方坯的横截面作为识别目标将获得较好的识别效果。

具体地，可在在实际工业场景中落坯辊道的一侧设置工业相机，采集该场景中落坯辊道准备区与落坯辊道上方坯横截面的视频流数据。可选地，也可通过工业相机获取多个时刻落坯辊道准备去和落坯辊道上方坯横截面图像。获取视频流数据后，可对视频流数据进行分帧处理，获取多帧包含方坯横截面的图像。

在步骤s02中，根据预训练的方坯检测模型对所述视频流数据进行检测，获取方坯位置信息和横截面数量；

在一实施例中，可收集一段时间内，对应应用场景下包含小方坯横截面的图像进行标注并制作数据集；搭建神经网络并利用数据集对模型训练，得到方坯检测模型；

具体地，对在特定工业场景下拍摄获得的方坯横截面图像进行图像标注，并使用图像标注工具的矩形选框标出方坯横截面在图像中的位置、记录下矩形框的位置信息，将经过标注的图像用于构建训练数据集，并将其分为三部分：训练集、测试集、验证集，用训练集的数据训练方坯检测模型，用测试集和验证集对模型进行微调，以保证模型的检测精度。

图像标注后训练集可用于训练的有效信息包括图像基础属性与标注信息。图片基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：xmin,ymin,xmax,ymax，分别代表每一个方坯横截面的矩形框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别。

在一实施例中，通过预设的神经网络学习每张方坯训练集样本图像中标注的矩形框内的方坯的特征，最终得到方坯检测模型。其中，神经网络可采用ssd-mobilenet神经网络、r-cnn、faster-rcnn、yolo系列等。

算法调用该模型后可以获得输入图像中所有的方坯横截面的位置信息。输出位置信息的格式与内容为：

该列表每一行分别对应一个方坯矩形框。section1xmi,section1ymin分别为第一个方坯横截面对应的矩形框左上角点的横、纵坐标；section1xmax,section1ymax分别为第一个方坯横截面对应的矩形框右下角点的横、纵坐标。section2则代表第二个方坯横截面对应的矩形框对角坐标，以此类推。

在步骤s03中，根据辊道上预设区域内方坯位置信息和横截面数量，输出所述落坯辊道工作状态：

在一实施例中，可将相机视野内落坯辊道的范围划定为感兴趣区域(regionofinterest,简写为roi)，即预设区域。由于识别目标为落坯辊道内是否存在双钢现象，仅需要识别落坯辊道内静止的钢坯的数目，因此，将落坯辊道在相机视野中的范围设置为感兴趣区域，具体请请参阅体3。

在一实施例中，将横截面位置信息与感兴趣区域的坐标信息进行比对，判断对应的方坯是否进入感兴趣区域。

感兴趣区域在图像中的范围由其矩形左上角、与右下角点的坐标确定，其位置信息的内容与格式为：

[roiymin,roixmin,roiymax,roixmax]

此时用于判断小方坯目标是否位于感兴趣区域内的条件为：

roixmi<sectionxmin；sectionxmax<roixmax

满足以上条件，则小方坯位于感兴趣区域内，即已经进入落坯辊道；任一条件不满足，则小方坯位于感兴趣区域外，即还位于落坯辊道准备区。

在一实施例中，当有方坯处于感兴趣区域中时，利用方坯检测模型返回的实时位置信息判断其是否静止。

在一实施例中，可通过方坯检测模型获取视频流数据的连续多帧图像中，同一方坯对应的位置信息间的位置差，若位置差超出预设阈值，则方坯处于运动中，若所述位置差低于所述预设阈值，则方坯静止。

具体地，利用方坯检测模型返回的方坯横截面的位置信息，判断其运动状态。判断方坯运动还是静止可以通过相邻两帧内位置信息的变化是否超过阈值来判断：

|(sectionxmin)t-(sectionxmin)t-1|<阈值1

|(sectionymin)t-(sectionymin)t-1|<阈值2

|(sectionxmax)t-(sectionxmax)t-1|<阈值3

|(sectionymax)t-(sectionymax)t-1|<阈值4

t与t-1分别代表当前帧与前一帧，以上各式即为分别计算方坯横截面的位置信息在两帧之内的移动量，若每一个都小于阈值，则小方坯静止，若有一个不满足，则小方坯处于运动中。对感兴趣区域内每一个方坯进行运动状态判断。

在一实施例中，若感兴趣区域内仅存在一个静止的方坯，则返回落坯辊道状态正常的信息；若感兴趣区域内存在多于一个静止的方坯，则发生辊道内双钢异常，返回错误信息并及时报警。

具体地，计算处于感兴趣范围内且静止的小方坯目标的数目，若roi内静止的方坯数目为1，则落坯辊道的工作状态正常，输出正常运转的信息；若roi内静止的方坯数目大于1，则落坯辊道上出现了双钢异常，输出报警信息并进行声光报警或介入l1系统控制。

在一实施例中，也可通过方坯横截面的对角左边判断方坯横截面是否为正方形，若不是正方形，则为物料异常，可启动预警信息，提醒相关工作人员进行及时处理。

请参阅图2，本实施例提供了一种加热炉冷坯料台双钢识别系统，用于执行前述方法实施例中所述的加热炉冷坯料台双钢识别方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。

在一实施例中，加热炉冷坯料台双钢识别系统包括视频采集模块10、检测模块11和状态识别模块12；视频采集模块10用于辅助执行前述方法实施例介绍的步骤s01；检测模块11用于辅助执行前述方法实施例介绍的步骤s02；状态识别模块12用于辅助执行前述方法实施例介绍的步骤s03。

在一实施例中，状态识别模块包括位置比对单元，用于将位置信息与预设区域的坐标信息进行比对，判断对应的方坯是否进入所述预设区域，若进入所述预设区域，则：

根据位置信息判断对应的方坯是否静止，若静止，则获取预设区域内静止的方坯横截面数量；

根据所述静止的方坯横截面数量，输出落坯辊道工作状态。

在一实施例中，包括静止判别单元，静止判别单元与位置比对单元连接；静止判别单元用于根据位置信息判断对应的方坯是否静止包括：

获取视频流数据中连续多帧图像中，同一方坯对应的位置信息间的位置差，若位置差超出预设阈值，则方坯处于运动中，若位置差低于预设阈值，则方坯静止。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中加热炉冷坯料台双钢识别所包含步骤的指令(instructions)。

综上所述，本发明一种加热炉冷坯料台双钢识别方法、系统及介质，基于深度学习，利用神经网络与机器视觉，设计了一套能够检测加热炉冷坯料台是否存在双钢异常的算法，该算法能够实时识别画面中的落坯辊道上方坯钢材的数目，并在检测到存在双钢现象时时返回错误信息并报警，提醒工人处理。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。