一种钢板表面缺陷检测方法及系统与流程

本发明涉及缺陷检测领域，特别是指一种钢板表面缺陷检测方法及系统。

背景技术：

钢板的生产技术是钢铁工业发展水平的一个重要标志，其产品在汽车工业、船舶工业、国防工业、航空航天和化工设备等领域得到了广泛的应用。钢板在生产过程中由于受到原材料、轧制工艺和系统控制等诸多技术因素的影响，其表面出现擦疤(scar)、划伤(scratch)、夹杂(inclusion)、毛刺(burr)、起皮(seam)、铁鳞(ironscale)等缺陷的情况时有发生。这些缺陷不仅会影响钢板表面的外观完整性，还会对钢板的耐磨性、抗腐蚀性、抗疲劳性和电磁特性等主要特性有不同程度的影响。因此及时检测钢板表面缺陷，对于提高钢板表面质量和产品经济效益具有重要意义。

现有的表面缺陷检测技术，一般采用传统的模式识别或机器学习方法，在工业相机获取钢板表面图片后，对图片进行预处理，然后对预处理后的图片进行特征提取，最后使用训练好的分类器对特征进行分类，无法对图像中多个、多类缺陷进行识别，也无法得到缺陷的详细位置、尺寸信息。

技术实现要素：

本发明要解决的技术问题是提供一种钢板表面缺陷检测方法及系统，以解决现有技术所存在的无法对图像中多个、多类缺陷进行识别，也无法得到缺陷的详细位置、尺寸信息的问题。

为解决上述技术问题，本发明实施例提供一种钢板表面缺陷检测方法，包括：

在钢板实际生产线上，实时采集钢板表面图像；

利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器。

进一步地，在利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测之前，所述方法包括：

采集钢板表面缺陷图像；

对采集得到的缺陷图像进行数据增强，根据数据增强结果建立缺陷数据库；

获取缺陷数据库中每幅缺陷图像的缺陷信息，其中，所述缺陷信息包括：缺陷类别、缺陷位置和缺陷尺寸；

建立ssd缺陷检测网络；

根据建立的缺陷数据库和获取的每幅缺陷图像的缺陷信息，对建立的ssd缺陷检测网络进行训练，得到用于缺陷检测的ssd缺陷检测网络参数；

其中，训练好的ssd缺陷检测网络用于对实时采集的钢板表面图像中的每例缺陷进行分类和定位，并确定每例缺陷的尺寸。

进一步地，在对采集得到的缺陷图像进行数据增强，根据数据增强结果建立缺陷数据库之前，所述方法包括：

对采集到的缺陷图像进行扩充处理，得到新的缺陷图像，其中，所述扩充处理包括：翻转、旋转、裁剪操作中的一种或多种。

进一步地，所述对采集得到的缺陷图像进行数据增强，根据数据增强结果建立缺陷数据库包括：

对扩充后得到的新的缺陷图像进行图像增强处理，增加缺陷图像中缺陷与背景的对比度；

根据数据增强结果，建立缺陷数据库。

进一步地，所述图像增强处理包括：对比度增强、锐度增强、色度增强中的一种或多种。

本发明实施例还提供一种钢板表面缺陷检测系统，包括：

第一采集模块，用于在钢板实际生产线上，实时采集钢板表面图像；

检测模块，用于利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器。

进一步地，所述系统还包括：

第二采集模块，用于采集钢板表面缺陷图像；

第一建立模块，用于对采集得到的缺陷图像进行数据增强，根据数据增强结果建立缺陷数据库；

获取模块，用于获取缺陷数据库中每幅缺陷图像的缺陷信息，其中，所述缺陷信息包括：缺陷类别、缺陷位置和缺陷尺寸；

第二建立模块，用于建立ssd缺陷检测网络；

训练模块，用于根据建立的缺陷数据库和获取的每幅缺陷图像的缺陷信息，对建立的ssd缺陷检测网络进行训练，得到用于缺陷检测的ssd缺陷检测网络参数；

其中，训练好的ssd缺陷检测网络用于对实时采集的钢板表面图像中的每例缺陷进行分类和定位，并确定每例缺陷的尺寸。

进一步地，所述系统还包括：

扩充模块，用于对采集到的缺陷图像进行扩充处理，得到新的缺陷图像，其中，所述扩充处理包括：翻转、旋转、裁剪操作中的一种或多种。

进一步地，所述第一建立模块包括：

增强单元，用于对扩充后得到的新的缺陷图像进行图像增强处理，增加缺陷图像中缺陷与背景的对比度；

建立单元，用于根据数据增强结果，建立缺陷数据库。

进一步地，所述图像增强处理包括：对比度增强、锐度增强、色度增强中的一种或多种。

本发明的上述技术方案的有益效果如下：

上述方案中，在钢板实际生产线上，实时采集钢板表面图像；利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器；这样，通过ssd缺陷检测网络能够快速准确地检测出钢板表面的缺陷，从而提高钢板表面缺陷检测的识别准确率和检测速度，且还能确定缺陷图像中每例缺陷的具体位置和尺寸信息，缺陷的详细信息有助于钢铁制造企业分析缺陷产生的原因和生产工艺中的漏洞，以便于改进生产工艺，生产更高质量的钢板产品。

附图说明

图1为本发明实施例提供的钢板表面缺陷检测方法的流程示意图；

图2为本发明实施例提供的训练ssd缺陷检测网络的流程示意图；

图3为本发明实施例提供的ssd缺陷检测网络结构示意图；

图4(a)为本发明实施例提供的擦疤缺陷检测效果示意图；

图4(b)为本发明实施例提供的划伤缺陷检测效果示意图；

图4(c)为本发明实施例提供的夹杂缺陷检测效果示意图；

图4(d)为本发明实施例提供的毛刺缺陷检测效果示意图；

图4(e)为本发明实施例提供的起皮缺陷检测效果示意图；

图4(f)为本发明实施例提供的铁鳞缺陷检测效果示意图；

图5为本发明实施例提供的钢板表面缺陷检测系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的无法对图像中多个、多类缺陷进行识别，也无法得到缺陷的详细位置、尺寸信息的问题，提供一种钢板表面缺陷检测方法及系统。

本发明实施例所述的钢板表面缺陷检测方法采用深度卷积神经网络来对钢板的表面缺陷进行检测。深度卷积神经网络对于图像分类任务有较高的准确性，目前最新的卷积神经网络对于固定种类图像的分类能力已经超过人类。而且深度卷积神经网络在模型训练完成后，对图片的处理速度很快，本发明实施例中训练好的ssd缺陷检测网络可以达到67帧/秒的检测速度。对于当前实际生产线30m/s的带速要求，如果单个电荷耦合元件(charge-coupleddevices，ccd)相机的视场长度为50cm～100cm，缺陷检测技术的检测速度应达到30～60帧/秒，本发明实施例提供的钢板表面缺陷检测方法完全满足工业生产实时检测速度的要求。

实施例一

如图1所示，本发明实施例提供的钢板表面缺陷检测方法，包括：

s101，在钢板实际生产线上，实时采集钢板表面图像；

s102，利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器(singleshotmultiboxdetector)。

本发明实施例所述的钢板表面缺陷检测方法，在钢板实际生产线上，实时采集钢板表面图像；利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器；这样，通过ssd缺陷检测网络能够快速准确地检测出钢板表面的缺陷，从而提高钢板表面缺陷检测的识别准确率和检测速度，且还能确定缺陷图像中每例缺陷的具体位置和尺寸信息，缺陷的详细信息有助于钢铁制造企业分析缺陷产生的原因和生产工艺中的漏洞，以便于改进生产工艺，生产更高质量的钢板产品。

在前述钢板表面缺陷检测方法的具体实施方式中，进一步地，在利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测之前，如图2所示，所述方法包括：

a1，采集钢板表面缺陷图像；

本实施例中，可以通过ccd工业相机采集大量的钢板表面缺陷图像。

a2，对采集到的缺陷图像进行扩充处理，得到新的缺陷图像；

本实施例中，通过翻转、旋转、随机裁剪等1个或多个扩充策略，得到新的缺陷图像，从而扩充数据量和增加样本多样性。

a3，对扩充后得到的新的缺陷图像进行图像增强处理，增加缺陷图像中缺陷与背景的对比度；根据数据增强结果，建立缺陷数据库；

本实施例中，所述图像增强处理包括：对比度增强、锐度增强、色度增强中的一种或多种。

a4，获取缺陷数据库中每幅缺陷图像的缺陷信息，其中，所述缺陷信息包括：缺陷类别、缺陷位置和缺陷尺寸；

本实施例中，获取的每幅缺陷图像的缺陷信息是通过人工标注的，具体的：对缺陷数据库中的每幅缺陷图像中的每例缺陷区域用矩形框标注，获得矩形框的顶点坐标，并根据框内缺陷类别为矩形框输入类别标签，得到用于训练ssd缺陷检测网络的每幅缺陷图像的缺陷类别、缺陷位置和缺陷尺寸信息。

a5，建立ssd缺陷检测网络；

本实施例中，根据所要检测的缺陷形态和尺寸，建立用于缺陷检测的ssd缺陷检测网络，网络利用卷积层提取输入缺陷图像的多维、多级别、多尺度的特征，并在不同尺度的特征图上采用不同的尺寸、在同一尺度的特征图上采用不同的长宽比预测不同尺寸的缺陷，且所述ssd缺陷检测网络采用反向传播算法优化模型参数。

图3为ssd缺陷检测网络示意图，图3中，image表示输入图像；conv4_3、conv6、conv7、conv8_2、conv9_2、conv10_2、conv11_2表示不同的卷积层；conv：a×b×c中，a×b表示a×b尺寸的卷积核，c表示卷积核的数量；classifier表示分类器；detections8732perclass表示每类物体预测8732个候选框，non-maximumsuppression为非极大值抑制，用于去除冗余的候选框。

针对不同大小的物体检测，传统做法是将图像转换成不同的大小，然后分别处理，最后将结果综合起来。ssd缺陷检测网络是利用卷积层提取图像内物体的特征，然后在卷积层生成的不同尺寸的特征图上预测不同尺寸物体的类别和位置、尺寸，不仅得到同样的效果，而且节省了网络在多幅图像上提取特征的时间。

ssd缺陷检测网络的主网络结构是vgg16，将vgg16中原来的全连接层替换成卷积层(如图3中的conv6和conv7层所示)，再增加4层卷积层(如图3中extrafeaturelayers所示)构成网络结构。ssd缺陷检测网络在不同尺寸的特征图上采用不同尺度的预测框，如图3所示，ssd缺陷检测网络在conv4_3、conv7、conv8_2、conv9_2、conv10_2和最后一个卷积层输出的特征图上分别用两组3×3的卷积核进行运算，一组输出用于分类的置信度，每个预设框生成classes(待检测物体总类别数)个置信度(置信度表示网络预测框内物体为每类物体的概率)，一组用于输出回归得到的预设框的(x，y，w，h)4个偏移值，(x，y)为预设框中心坐标的偏移值，(w，h)为预设框尺寸的偏移值；最后，将以上预测信息与标注的类别、位置和尺寸信息传递给损失函数层求解误差，利用反向传播算法将误差反向回传训练网络模型，训练完成的网络模型可直接用于未知输入图像的物体检测。检测过程中，对于每幅待检测图像，ssd缺陷检测网络为每类待检测目标预测8732个候选框，网络将候选框内物体的置信度低于阈值(预先设定)的候选框去除，对于同一物体的多个候选框，网络利用非极大值抑制去除冗余的候选框。

a6，根据建立的缺陷数据库和获取的每幅缺陷图像的缺陷信息，对建立的ssd缺陷检测网络进行训练，得到用于缺陷检测的ssd缺陷检测网络参数。

其中，训练好的ssd缺陷检测网络用于对实时采集的钢板表面图像中的每例缺陷进行分类和定位，并确定每例缺陷的尺寸。

本实施例中，根据步骤a3中建立的缺陷数据库和步骤a4中标注的缺陷的类别、缺陷位置和缺陷尺寸信息，对步骤a5中建立的ssd缺陷检测网络进行训练，得到用于缺陷检测的ssd缺陷检测网络参数。

本实施例中，在得到用于缺陷检测的ssd缺陷检测网络参数之后，可以将训练好的ssd缺陷检测网络模型配置到工业现场的服务器中，在钢板实际生产线上，实时采集钢板表面图像，然后，利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，检测实时采集的每幅钢板表面图像是否包含缺陷，若包含缺陷，则对检测到的每例缺陷进行分类和定位，并确定每例缺陷的尺寸，从而得到缺陷的详细信息。得到的缺陷的详细信息将有助于钢铁制造企业分析缺陷产生的原因和生产工艺中的漏洞，从而改进生产工艺，生产更高质量的钢板产品。

本实施例中，在利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸之后，所述方法还包括：

生成钢板实际生产线实时采集图像中包含缺陷图像的检测结果图，并记录该图像中缺陷的类型、位置和尺寸信息以及该图像在整条钢板生产线上的位置，生成钢板实际生产线完整的质量信息。

综上，通过本发明实施例所述的钢板表面缺陷检测方法对各类钢板表面缺陷进行检测均可达到96％以上的识别准确率，缺陷检出率可达99％以上。而且本发明实施例中的ssd缺陷检测网络对不同尺寸、不同长宽比的缺陷都有较好的检测效果，图4是常见的六类钢板表面缺陷的检测效果图。

实施例二

本发明还提供一种钢板表面缺陷检测系统的具体实施方式，由于本发明提供的钢板表面缺陷检测系统与前述钢板表面缺陷检测方法的具体实施方式相对应，该钢板表面缺陷检测系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述钢板表面缺陷检测方法具体实施方式中的解释说明，也适用于本发明提供的钢板表面缺陷检测系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图5所示，本发明实施例还提供一种钢板表面缺陷检测系统，包括：

第一采集模块11，用于在钢板实际生产线上，实时采集钢板表面图像；

检测模块12，用于利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器。

本发明实施例所述的钢板表面缺陷检测系统，在钢板实际生产线上，实时采集钢板表面图像；利用训练好的ssd缺陷检测网络对实时采集的钢板表面图像进行缺陷实时检测，确定实时采集的钢板表面图像中每例缺陷的类型、位置和尺寸，其中，ssd表示单镜头多框检测器；这样，通过ssd缺陷检测网络能够快速准确地检测出钢板表面的缺陷，从而提高钢板表面缺陷检测的识别准确率和检测速度，且还能确定缺陷图像中每例缺陷的具体位置和尺寸信息，缺陷的详细信息有助于钢铁制造企业分析缺陷产生的原因和生产工艺中的漏洞，以便于改进生产工艺，生产更高质量的钢板产品。

在前述钢板表面缺陷检测系统的具体实施方式中，进一步地，所述系统还包括：

第二采集模块，用于采集钢板表面缺陷图像；

第一建立模块，用于对采集得到的缺陷图像进行数据增强，根据数据增强结果建立缺陷数据库；

获取模块，用于获取缺陷数据库中每幅缺陷图像的缺陷信息，其中，所述缺陷信息包括：缺陷类别、缺陷位置和缺陷尺寸；

第二建立模块，用于建立ssd缺陷检测网络；

训练模块，用于根据建立的缺陷数据库和获取的每幅缺陷图像的缺陷信息，对建立的ssd缺陷检测网络进行训练，得到用于缺陷检测的ssd缺陷检测网络参数；

其中，训练好的ssd缺陷检测网络用于对实时采集的钢板表面图像中的每例缺陷进行分类和定位，并确定每例缺陷的尺寸。

在前述钢板表面缺陷检测系统的具体实施方式中，进一步地，所述系统还包括：

扩充模块，用于对采集到的缺陷图像进行扩充处理，得到新的缺陷图像，其中，所述扩充处理包括：翻转、旋转、裁剪操作中的一种或多种。

在前述钢板表面缺陷检测系统的具体实施方式中，进一步地，所述第一建立模块包括：

增强单元，用于对扩充后得到的新的缺陷图像进行图像增强处理，增加缺陷图像中缺陷与背景的对比度；

建立单元，用于根据数据增强结果，建立缺陷数据库。

在前述钢板表面缺陷检测系统的具体实施方式中，进一步地，所述图像增强处理包括：对比度增强、锐度增强、色度增强中的一种或多种。

本实施例中，所述系统还包括：

生成模块，用于生成钢板实际生产线实时采集图像中包含缺陷图像的检测结果图，并记录该图像中缺陷的类型、位置和尺寸信息以及该图像在整条钢板生产线上的位置，生成钢板实际生产线完整的质量信息。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。