一种钢卷边裂识别方法、系统、介质和终端与流程

本发明涉及钢铁领域、图像处理与识别领域和监控领域，尤其涉及一种钢卷边裂识别方法、系统、介质和终端。

背景技术：

在钢铁冶炼过程中，钢卷边裂是影响板带产品质量的主要因素之一，为了保证钢卷产品质量，在生产过程中，需要检测钢卷是否产生边裂并采取工艺控制措施，为下一步的加工生产做好准备。

目前，由于钢铁冶炼的环境复杂，针对检测钢卷是否产生边裂，还通常采用人工的方式，但是一方面，由于边裂缺陷通常较为细微，人眼识别难度较高，会导致人工识别的效率和准确度较低，另一方面，由于钢铁冶炼过程中的环境恶劣，人工观察会存在潜在的危险因素，因此，在检测的准确度和安全性上存在一定的限制。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明提供一种钢卷边裂识别方法、系统、介质和终端，以解决上述技术问题。

本发明提供的钢卷边裂识别方法，包括：

获取钢卷侧面图像并进行数据标注，生成数据集，所述数据集包括钢卷分割数据集和边裂识别数据集；

根据所述数据集分别建立钢卷分割模型和钢卷边裂识别模型，并进行训练；

采集目标区域内钢卷的实时图像，并输入至训练后的钢卷分割模型，将钢卷区域图像分割至预设目标尺寸，获取图像分割结果；

将所述图像分割结果输入至训练后的钢卷边裂识别模型，获取边裂识别结果；

根据所述边裂识别结果，获取钢卷边裂部位在实际场景中的位置信息。

与本发明的一实施例中，多角度采集所述钢卷侧面图像，并将其作为原始图像输入至钢卷分割模型，获取仅包含钢卷区域的掩膜图像，所述多角度包括钢卷卷芯两侧中每一侧的左上，左下，右上和右下方位。

与本发明的一实施例中，根据原始图像尺寸和预设目标尺寸对所述掩膜图像进行图像分割，将所述掩膜图像分割为若干预设尺寸的可重叠、且不重复的掩膜子图像；

根据所述掩膜子图像，获取边裂识别结果。

与本发明的一实施例中，获取水平方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置；

获取竖直方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置；

根据预设目标尺寸和图像水平，以及竖直方向起始位置，将所述掩膜图像分割为可重叠、且不重复的标准图像；

获取每个标准图像在原始图像中的相对位置。

与本发明的一实施例中，所述水平方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置，根据采集到的原始图像水平方向像素值、预设的分割后图像的像素值、水平方向各图像的起始位置坐标、以及相邻两张图片之间水平方向重叠部分的像素值的获取；

所述竖直方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置，根据采集到的原始图像竖直方向像素值、预设的分割后图像的像素值、水平方向各图像的起始位置坐标、以及相邻两张图片之间水平方向重叠部分的像素值的获取；

所述相邻两张图像之间重叠部分的像素值根据水平方向相邻两张掩膜子图像之间重叠部分像素值、竖直方向两张掩膜子图像之间重叠部分像素值、以及水平、竖直方向上切割后掩膜子图像的数量获取。

与本发明的一实施例中，通过如下公式获取水平方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置，

其中，p为水平方向的分割后图像的数量，w为采集到的原始图像水平方向像素值，n为预设的分割后图像的像素值，x为水平方向第i张图像的起始位置x轴坐标，c为相邻两张图片之间水平方向重叠部分的像素值。

与本发明的一实施例中，通过如下公式获取竖直方向分割后掩膜子图像的数量与每张掩膜子图像的起始位置，

其中，q为水平方向的分割后图像的数量，h为采集到的原始图像竖直方向像素值，n为预设的分割后图像的像素值，y为水平方向第j张图像的起始位置y轴坐标，d为相邻两张图片之间竖直方向重叠部分的像素值。

与本发明的一实施例中，通过如下公式获取相邻两张图像之间重叠部分的像素值：

其中，c为水平方向相邻两张掩膜子图像之间重叠部分像素值，d为竖直方向两张掩膜子图像之间重叠部分像素值，p、q分别为水平、竖直方向上切割后掩膜子图像的数量，i为水平方向第i个掩膜子图像，j为竖直方向的第j个掩膜子图像。

与本发明的一实施例中，所述边裂识别结果包括掩膜子图像的边裂位置信息，所述边裂位置信息包括边裂部位外接矩形框左上角x，y轴的坐标值、外接矩形框右下角x，y轴坐标值，以及检测结果置信度；

将所述边裂位置信息映射到原始图像中，获取边裂部位的实际位置；

通过非极大值抑制算法获取边裂部位的实际位置的最优结果。

与本发明的一实施例中，通过如下公式将所述边裂位置信息映射到原始图像中：

其中，x，y为映射得到的原始图片上边裂部位外接矩形的对应x,y轴坐标，x，y为分割后图像中的边裂位置x,y轴坐标，n为预设的分割后图像尺寸，c、d分别为水平、竖直方向相邻两张掩膜子图像之间重叠部分像素值，i为水平方向第i个掩膜子图像，j为竖直方向的第j个掩膜子图像。

本发明还提供一种钢卷边裂识别系统，包括：

数据模块，用于获取钢卷侧面图像并进行数据标注，生成数据集，所述数据集包括钢卷分割数据集和边裂识别数据集；

模型建立及训练模块，用于根据所述数据集分别建立钢卷分割模型和钢卷边裂识别模型，并进行训练；

图像采集模块，用于采集目标区域内钢卷的实时图像，

将图像采集模块采集的实时图像输入至训练后的钢卷分割模型，将钢卷区域图像分割至预设目标尺寸，获取图像分割结果；

将所述图像分割结果输入至训练后的钢卷边裂识别模型，获取边裂识别结果；

根据所述边裂识别结果，获取钢卷边裂部位在实际场景中的位置信息。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。

本发明的有益效果：本发明中的钢卷边裂识别方法、系统、介质和终端，通过获取钢卷卷芯两侧的图像并进行数据标注生成原始数据集，将数据集输入目标检测网络中建立钢卷边裂识别模型，并进行训练，通过高清图像采集设备从多角度采集钢卷卷芯两侧图像并进行分割，输入边裂识别模型获得边裂识别结果，并从边裂识别结果获得边裂部位在原始图像中的位置信息，便于下一步对边裂缺陷进行针对性的工艺控制措施，可实施性较强，识别精确度较高。一方面，可以提高识别的效率和识别的准确度，另一方面，克服了钢铁冶炼过程中的环境恶劣，避免了人工观察潜在的危险因素，提高了检测的安全性。

附图说明

图1是本发明实施例中的钢卷边裂识别方法的流程示意图。

图2是本发明实施例中的钢卷边裂识别方法的采集的钢卷卷芯一侧的原始图像。

图3是本发明实施例中的钢卷边裂识别方法中对原始图像进行分割的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的钢卷边裂识别方法，包括：

s1.获取钢卷侧面图像并进行数据标注，生成数据集，所述数据集包括钢卷分割数据集和边裂识别数据集；

s2.根据所述数据集分别建立钢卷分割模型和钢卷边裂识别模型，并进行训练；

s3.采集目标区域内钢卷的实时图像，并输入至训练后的钢卷分割模型，将钢卷区域图像分割至预设目标尺寸，获取图像分割结果；

s4.将所述图像分割结果输入至训练后的钢卷边裂识别模型，获取边裂识别结果；

s5.根据所述边裂识别结果，获取钢卷边裂部位在实际场景中的位置信息。

在本实施例的步骤s1中，获取钢卷侧面图像并进行数据标注，生成钢卷分割和边裂识别数据集，图像获取的方式可以通过采集目标区域内钢卷的图像，也可以采用历史采集的图像数据，获取钢卷侧面图像图像后，进行数据标注，生成钢卷分割和边裂识别数据集。

在本实施例的步骤s2中，根据原始数据集建立钢卷分割模型，并进行训练；根据原始数据集建立钢卷分割模型，并进行训练。在本实施例中，运用深度学习图像分割网络训练钢卷分割模型，深度学习图像分割网络包括且不限于fcn、unet、segnet等网络，可选的，本实施例中采用unet网络。根据原始数据集建立钢卷边裂识别模型，并进行训练。在本实施例中，运用深度学习目标检测网络训练边裂识别模型，深度学习目标检测网络包括且不限于ssd、yolo系列、faster-rcnn等目标检测网络，可选的，本实施例中采用cascade-rcnn目标识别网络训练边裂识别模型。

在本实施例的步骤s3中，采集钢卷的实时图像，在进行图像采集时，可以通过多台网络高清摄像机，设置在不同的位置，对需要的各个角度的钢卷图像进行实时同步采集，例如，可以设置8台网络高清摄像机进行实时图像的采集，并分别在钢卷传动侧和操作侧设置4台网络高清摄像机，从多角度采集钢卷卷芯两侧图像。可选的，本实施例中，分别使用2000万像素的图像采集设备从钢卷卷芯两侧，每一侧的左上，左下，右上和右下方位获取高清钢卷图像共八张，采集到的一侧图像如图2所示。将采集的钢卷侧面图像输入钢卷分割模型，获取仅包含钢卷区域的掩膜图像，即mask图像。根据原始图像尺寸和预设目标尺寸对所述掩膜图像进行图像分割，将所述掩膜图像分割为若干预设尺寸的可重叠、且不重复的掩膜子图像；再根据掩膜子图像，获取边裂识别结果。具体的：

将mask图像分割为指定尺寸、可重叠、不重复的图像；

在本实施例中，图像分割的步骤包括：

预设目标图像尺寸，表达式为：

n×n

其中，n为目标正方形图像的像素值。

根据原始图像尺寸和预设目标图像尺寸分割图像，步骤包括：

获取水平方向分割后图像的数量与每张图像的起始位置，表达式为：

其中，p为水平方向可以得到的分割后图像的数量，ceiling对结果进行向上取整操作，w为采集到的原始图像水平方向像素值，n为预设的分割后图像的像素值，x为水平方向第i张图像的起始位置x轴坐标，c为相邻两张图片之间水平方向重叠部分的像素值。

获取竖直方向分割后图像的数量与每张图像的起始位置，表达式为：

其中，q为水平方向可以得到的分割后图像的数量，ceiling对结果进行向上取整操作，h为采集到的原始图像竖直方向像素值，n为预设的分割后图像的像素值，y为水平方向第j张图像的起始位置y轴坐标，d为相邻两张图片之间竖直方向重叠部分的像素值。

获得相邻两张图像之间重叠部分的像素值表达式为：

其中，c为水平方向相邻两张mask子图之间重叠部分像素值，d为竖直方向两张mask子图之期间重叠部分像素值，floor对结果进行向下取整操作，ceiling对结果进行向上取整操作，p、q为水平，竖直方向上切割后mask子图数量,i、j为水平竖直方向所述mask子图顺序。

根据预设分割图像尺寸和图像水平、竖直方向起始位置将原始图像分割为可重叠不重复的标准图像；

获得每个分割后图像在原始图像中的相对坐标位置，坐标可表示为：

(i，j)

其中，i代表所述分割后图像为原始图像从左向右计数第i张图像，j代表所述分割后图像为原始图像从上向下计数第j张图像。

在本实施例的步骤s4中，将图像分割结果输入至训练后的钢卷边裂识别模型，获取边裂识别结果。本实施例中的边裂识别结果表达式为：

[xmin，ymin，xmax，ymax]

ccon

其中，xmin,ymin是所述识别模型检测到的边裂部位外接矩形框左上角x,y轴坐标值，xmax,ymax为外接矩形框右下角x,y轴坐标值，ccon为该检测结果置信度。

在本实施例的步骤s5中，根据边裂识别结果，获取钢卷边裂部位在实际场景中的位置信息。具体第，先将边裂位置映射到原始图像中，获得边裂部位的实际位置：

其中，x,y为映射得到的原始图片上边裂部位外接矩形的对应x,y轴坐标，x,y为边裂识别模型得到的分割后图像中的边裂位置x,y轴坐标，n为预设的分割后图像尺寸，c、d分别为水平、竖直方向相邻两张mask子图之间重叠部分像素值，p、q分别为水平、竖直方向mask子图数量，i、j分别为mask子图在原始图像上的相对位置。

进而，通过非极大值抑制算法(nms算法)获取边裂部位的实际位置的最优结果：

[xleft，yleft，xright，yright]

其中，xleft,yleft是通过nms算法筛选出的，在分割后图像上最优结果对应的边裂部位外接矩形左上角的x，y轴坐标，,xright,yright是所述外接矩形右上角的x，y轴坐标。

相应的，本实施例还提供一种钢卷边裂识别系统，包括：

数据模块，用于获取钢卷侧面图像并进行数据标注，生成数据集，所述数据集包括钢卷分割数据集和边裂识别数据集；

模型建立及训练模块，用于根据所述数据集分别建立钢卷分割模型和钢卷边裂识别模型，并进行训练；

图像采集模块，用于采集目标区域内钢卷的实时图像，

将图像采集模块采集的实时图像输入至训练后的钢卷分割模型，将钢卷区域图像分割至预设目标尺寸，获取图像分割结果；

将所述图像分割结果输入至训练后的钢卷边裂识别模型，获取边裂识别结果；

根据所述边裂识别结果，获取钢卷边裂部位在实际场景中的位置信息。

本实施例中的钢卷边裂识别系统，采用上述方法，通过获取钢卷侧面图像并进行数据标注，生成原始数据集；根据原始数据集建立钢卷分割模型和钢卷边裂识别模型，并分别进行训练；采集目标区域内钢卷侧面图像，并输入钢卷分割模型，获得钢卷区域图像；分割获得的钢卷区域图像，并输入钢卷边裂识别模型，获取边裂识别结果；根据边裂识别结果得到钢卷边裂部位在实际场景中的位置信息，便于下一步对边裂缺陷进行针对性的工艺控制措施，可实施性较强，识别精确度较高。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态ram(dram))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。