一种基于机器视觉的方坯检测方法、系统、设备及介质与流程

本发明涉及检测技术领域，特别是涉及一种基于机器视觉的方坯检测方法、系统、设备及介质。

背景技术：

在钢铁产品的生产中，方坯是一种常见的钢材中间形态。理想的方坯应有正方形的横截面，以保证分布均匀，便于进一步的加工，若出现方坯的形状异常，例如，形状为非矩形或者矩形中的长和宽度不一致。方坯的形状异常将导致脱方的情况发生，进而易导致加工后成品出现问题。

目前，方坯脱方识别主要依靠有经验的工人进行识别，由于多条产线需要长时间运行，且人工识别可能存在识别误差，容易导致误识别、漏识别等状况发生。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器视觉的方坯检测方法、系统、设备及介质，用于解决现有技术中的方坯识别不便的问题。

为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的方坯检测方法，包括：

采集方坯截面图像，并对所述方坯截面图像进行标注，获取所述方坯截面图像的目标数据集；

通过识别网络对所述目标数据集进行训练，获取识别模型，所述识别模型至少包括以下之一：检测模型、分类模型；

通过所述识别模型对实时的方坯截面图像进行检测，获取方坯的关联特征信息，其中，所述关联特征信息至少包括以下之一：位置信息、形貌信息；

通过所述方坯关联特征信息检测方坯是否脱方。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤之前，还包括：

将摄像设备与方坯截面相匹配，并在所述摄像设备的视场内设置感兴趣区域；

获取方坯的位置信息，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯是否到达目标区域。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：

所述分类模型根据所述形貌信息判断所述方坯是否为矩形，若否，则判定方坯为脱方。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：

所述分类模型根据所述位置信息判断判断方坯是否为正方形，若否，则判定方坯为脱方。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤还包括：

通过方坯的两端分别对应的关联特征信息检测方坯是否脱方。

可选的，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯到达目标区域数学表达为：

roixmin＜sectionxmin；sectionxmax＜roixmax

其中，roixmin为感兴趣区域x轴坐标的最小值，roixmax为感兴趣区域x轴坐标的最大值，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值。

可选的，根据所述位置信息判断判断方坯是否为正方形的步骤包括：

根据方坯的位置信息中的长度和宽度，并通过差异阈值判断方坯为正方形的数学表达为：

|(sectionxmax-sectionxmin)-(sectionymax-sectionymin)|＜t

其中，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值，sectionymin为方坯的位置信息中y轴坐标的最小值，sectionymax为方坯的位置信息中y轴坐标的最大值，t为差异阈值。

一种基于机器视觉的方坯检测系统，包括：

采集模块，用于采集方坯截面图像，并对所述方坯截面图像进行标注，获取所述方坯截面图像的目标数据集；

训练模块，用于通过识别网络对所述目标数据集进行训练，获取识别模型，所述识别模型至少包括以下之一：检测模型、分类模型；

判定模块，用于通过所述识别模型对实时的方坯截面图像进行检测，获取方坯的关联特征信息，通过所述方坯关联特征信息检测方坯是否脱方，其中，所述关联特征信息至少包括以下之一：位置信息、形貌信息。

一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行中一个或多个所述的方法。

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。

如上所述，本发明的基于机器视觉的方坯检测方法、系统、设备及介质，具有以下有益效果：

通过摄像设备采集方坯截面图像，在该图像中对方坯的目标进行标注，将完成标注的方坯截面图像输入到识别网络中进行训练，获取识别率较高的识别模型，进而通过识别模型获取方坯截面图像中方坯的关联特征信息，例如，位置信息，又例如，形貌信息，依据关联特征信息对方坯是否脱方进行判定，提高了检测效率和时效性，避免人工判定时造成的人为误差以及危害施工安全情况发生。

附图说明

图1显示为本发明实施例的方坯截面图像的示意图。

图2显示为本发明实施例的基于机器视觉的方坯检测方法的流程示意图。

图3显示为本发明实施例的基于机器视觉的方坯检测系统的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1和图2，本发明提供一种基于机器视觉的方坯检测方法，包括：

s1：采集方坯截面图像，并对所述方坯截面图像进行标注，获取所述方坯截面图像的目标数据集；

s2：通过识别网络对所述目标数据集进行训练，获取识别模型，所述识别模型至少包括以下之一：检测模型、分类模型；

s3：通过所述识别模型对实时的方坯截面图像进行检测，获取方坯的关联特征信息，其中，所述关联特征信息至少包括以下之一：位置信息、形貌信息；

s4：通过所述方坯关联特征信息检测方坯是否脱方。通过摄像设备采集方坯截面图像，在该图像中对方坯的目标进行标注，将完成标注的方坯截面图像输入到识别网络中进行训练，获取识别率较高的识别模型，进而通过识别模型获取方坯截面图像中方坯的关联特征信息，例如，位置信息，又例如，形貌信息，依据关联特征信息对方坯是否脱方进行判定，提高了检测效率和时效性，避免人工判定时造成的人为误差以及危害施工安全情况发生。

在一些实施过程中，通过所述方坯关联特征信息检测方坯是否脱方的步骤之前，还包括：

将摄像设备与方坯截面相匹配，并在所述摄像设备的视场内设置感兴趣区域；

获取方坯的位置信息，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯是否到达目标区域。例如，将摄像机正对区域设置为感兴趣区域(regionofinterest，简称roi)。在每一根方坯横向经过相机的过程中，由于近大远小的视觉效果，相机非正对的方坯横截面并不是正方形，算法可能将此类的方坯判断为脱方的残次品。为避免此类因钢坯位置导致的误识别出现，将相机正对的范围作为roi。在该roi范围中，横截面可以被认为是基本正对于相机的视角，近大远小的识别误差此时可以忽略。将摄像机正对的区域设置为算法的感兴趣区域有助于避免钢坯位置导致的误识别，增加算法识别的准确率。

在一些实施过程中，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：

所述分类模型根据所述形貌信息判断所述方坯是否为矩形，若否，则判定方坯为脱方。对在特定工业场景下拍摄获得的方坯横截面图像进行图像标注以及获取方坯的目标框，通过目标框标出方坯横截面在方坯横截面图像中的位置、记录下目标框的位置信息并制作成方坯的数据集，并将其分为三部分：训练集、测试集、验证集，用训练集的数据训练方坯目标检测模型。在检测模型进行训练时，图像标注后训练集可用于训练的有效信息包括图像基础属性与标注信息。图像基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：xmin,ymin,xmax,ymax，分别代表每一个方坯横截面的目标框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别。

通过学习每张方坯的训练集图像中目标框范围内的物体的目标特征，最终得到方坯目标的检测模型。本实施例选用了ssd-mobilenet神经网络，还可以选用其他模型，例如r-cnn、例如faster-rcnn、又例如yolo等模型。

在分类模型训练时，图像标注后训练集可用于训练的有效信息包括图像基础属性与标注信息。图像基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：xmin，ymin，xmax，ymax，分别代表每一个方坯横截面目标框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别，此处为目标钢坯横截面为矩形或是非矩形两类。通过学习每张方坯训练集图像中目标框范围内的目标特征与所属类别，最终得到方坯横截面目标分类模型。

在一些实施过程中，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：所述分类模型根据所述位置信息判断判断方坯是否为正方形，若否，则判定方坯为脱方。例如，根据所述位置信息判断判断方坯是否为正方形的步骤包括：

根据方坯的位置信息中的长度和宽度，并通过差异阈值判断方坯为正方形的数学表达为：

|(sectionxmax-sectionxmin)-(sectionymax-sectionymin)|＜t

其中，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值，sectionymin为方坯的位置信息中y轴坐标的最小值，sectionymax为方坯的位置信息中y轴坐标的最大值，t为差异阈值。

在一些实施过程中，通过所述方坯关联特征信息检测方坯是否脱方的步骤还包括：

通过方坯的两端分别对应的关联特征信息检测方坯是否脱方。避免在方坯生产过程中出现，一端未脱方且另一端脱方的情况漏检，提高了方坯检测的准确性。

在一些实施过程中，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯到达目标区域数学表达为：

roixmin＜sectionxmin；sectionxmax＜roixmax

其中，roixmin为感兴趣区域x轴坐标的最小值，roixmax为感兴趣区域x轴坐标的最大值，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值。在方坯目标进入roi范围内后，利用检测模型返回的位置信息，对图像中的方坯目标的区域进行切割，并将切割下来的图像块重整为长与宽为n×n的正方形图像块，输入方坯横截面的分类模型中。调用分类模型，判断方坯横截面形状是否为矩形。

请参考图3，一种基于机器视觉的方坯检测系统，包括：

采集模块10，用于采集方坯截面图像，并对所述方坯截面图像进行标注，获取所述方坯截面图像的目标数据集；

训练模块20，用于通过识别网络对所述目标数据集进行训练，获取识别模型，所述识别模型至少包括以下之一：检测模型、分类模型；

判定模块30，用于通过所述识别模型对实时的方坯截面图像进行检测，获取方坯的关联特征信息，通过所述方坯关联特征信息检测方坯是否脱方，其中，所述关联特征信息至少包括以下之一：位置信息、形貌信息。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤之前，还包括：

将摄像设备与方坯截面相匹配，并在所述摄像设备的视场内设置感兴趣区域；

获取方坯的位置信息，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯是否到达目标区域。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：

所述分类模型根据所述形貌信息判断所述方坯是否为矩形，若否，则判定方坯为脱方。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤包括：

所述分类模型根据所述位置信息判断判断方坯是否为正方形，若否，则判定方坯为脱方。

可选的，通过所述方坯关联特征信息检测方坯是否脱方的步骤还包括：

通过方坯的两端分别对应的关联特征信息检测方坯是否脱方。

可选的，通过所述方坯的位置信息与所述感兴趣区域进行对比，确定所述方坯到达目标区域数学表达为：

roixmin＜sectionxmin；sectionxmax＜roixmax

其中，roixmin为感兴趣区域x轴坐标的最小值，roixmax为感兴趣区域x轴坐标的最大值，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值。

可选的，根据所述位置信息判断判断方坯是否为正方形的步骤包括：

根据方坯的位置信息中的长度和宽度，并通过差异阈值判断方坯为正方形的数学表达为：

|(sectionxmax-sectionxmin)-(sectionymax-sectionymin)|＜t

其中，sectionxmin为方坯的位置信息中x轴坐标的最小值，sectionxmax为方坯的位置信息中x轴坐标的最大值，sectionymin为方坯的位置信息中y轴坐标的最小值，sectionymax为方坯的位置信息中y轴坐标的最大值，t为差异阈值。

本发明实施例提供一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明实施例还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。