基于目标检测的钢卷卷形缺陷检测识别方法与流程

本发明涉及钢铁轧制领域，更为具体地，涉及一种利用深度神经网络实现的剪枝优化目标检测算法faster-rcnn，基于目标检测，对于目标钢卷进行卷形缺陷检测识别的统和方法。

背景技术：

冷热轧带钢是经济发展的重要基础材料，被广泛应用在机械、建筑、国防、航空航天等各个工业领域。其中卷取区是热轧主轧线的最后步骤，以卷形作为关键性指标，卷形的优劣对运输以及后续生产都有重大影响。对于热轧本身来讲，卷形不良还需通过下游队伍对其处理或是对上平整线重卷，这样不仅会增加生产成本和生产压力，也会对产品的成材率产生影响。且目前对于卷形评判的是依靠人到现场进行查看和评估。

由于人为的评估没有一个统一的标准，容易造成质量的误报，对于下游的处理造成不良的影响，降低企业的经济效益。同时对于钢卷质量，人为判定的结构难以进行细分和量化，不利于统一的生产管理评估。且生产现场环境比较复杂，人进入现场会在一定程度增加了安全隐患，可能会造成生命财产损失。传统的图像处理办法，无法应对复杂场景中的光照、纹理、目标的空间位置分析。

近10年里随着深度神经网络的发展，目标检测技术取得了重大突破。依赖dcnn的目标检测技术在精度和速度上，超过甚至碾压了大多数传统的算法。依赖dcnn知名的目标检测网络按技术划分，主要分为两类，一类是基于特征区域推荐“rpn”的方法，基于区域特征的方法，是通过数据原有标注，提取特征图，根据特征图推荐区域，计算重叠度iou，iou高则为该目标的概率大；还有一类是基于角点检测“corner”的方法，根据卷积网络得到的热力图提取对应的嵌入式向量，根据嵌入式向量来确定目标所在的位置和类别。对于钢卷卷形图片来说，如果数据量足够大的话，这两种方法对于其缺陷的特征提取应该是够用的。

问题在于，现有技术中，对于检测算法的工业应用还没有太多的尝试和实践，主要是由于工业级的检测和控制比起一般的实验性的检测或者普通的检测而言，稳定、精确性要求会更高。目前，在钢卷缺陷检测领域，首都京唐钢铁联合有限责任公司提出的钢卷塔形检测装置(专利号cn209026216u)，利用位移传感器，计算两个时刻之间的钢卷移动距离，即为钢卷的宽度。武汉钢铁集团提出(专利号cn105486831a)一种钢卷质量检测系统，利用生产过程数据，使用大数据进行分析预测钢卷质量。以上方法和本发明的区别在于，本发明是依赖于计算机视觉系统，根据钢卷侧视图图像进行在线实时的钢卷卷形缺陷分析，而不是根据历史数据进行推理或依靠小型传感器来进行分析计算。

在工业领域里，如何使得检测算法能够取得实质性的应用，如何提高检测稳定性和精度，这个问题还有待于工程人员和研究人员一起去进行实践研究。本发明提出的基于目标检测的钢卷卷形缺陷检测识别技术便是其中之一。

技术实现要素：

为了解决上述问题，本发明基于现代计算机视觉技术中的深度神经网络和目标检测算法faster-rcnn，提出一种钢卷卷形自动识别评估一体化的方案方法。对于大规模的钢卷数据标注集，通过深度神经网络技术，使得计算机自动学习到钢卷卷形缺陷特征的图片表现形式，利用训练出来的特征模型，对在线采样的钢卷图片进行数字化分析，分析出输入的钢卷图片所具有的缺陷类型与等级，进行精确的在线卷形缺陷分类评估。

本发明是通过以下技术方案实现的：

基于目标检测的钢卷卷形缺陷检测识别方法，包括：

步骤1：构建卷形缺陷数据标注集；

步骤1.1：从工业现场大量采集成品库中的钢卷图片；

步骤1.2：对于采集回来的图片，进行专业的预标注，标注内容包括钢卷图片中存在的缺陷类型及缺陷存在的位置，获得卷形缺陷数据标注集；

步骤2：构建钢卷卷形缺陷检测模型：将预标注后的钢卷卷形缺陷数据集，送入神经网络中进行深度学习训练获得所述钢卷卷形缺陷检测模型；包括：

步骤2.1：对于卷形缺陷数据标注集中预标注后的图片进行数据增强和归一化；

步骤2.2：将数据增强后的钢卷卷形缺陷数据集分成3份，按比例7:2:1分成训练集、验证集、测试集，预备送入目标检测网络中进行训练、验证和测试；

步骤2.3：构建目标检测网络faster-rcnn，所述目标检测网络faster-rcnn以resnet-18为主干网络，利用多层卷积层，能够通过不断的卷积，对整张钢卷卷形图片进行特征提取；同时利用rpn网络为辅助网络，进行关键的特征区域推荐，使对于检测目标的特征定位更加精确；

步骤2.4：在训练过程中，对于网络连接中的不同层，设置相关度低的连接及核的参数系数为0，即将不重要的参数舍弃，基于剪枝优化算法，对模型进行优化剪枝和压缩；

步骤2.5：利用钢卷卷形缺陷数据集中的验证集进行交叉验证，在测试集上进行测试最终效果，选择模型最优的训练结果进行保存，获得训练好的钢卷卷形缺陷检测模型；

步骤3：利用训练好的钢卷卷形缺陷检测模型，对在线的图片数据进行解析与评估。

进一步地，步骤2.1中，所述数据增强的方法包括对于图片进行旋转、以钢卷中心画水平线与垂直线进行随机裁剪。

进一步地，所述步骤2.3，具体为：将训练集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络resnet-18不断的对训练图片进行卷积、池化操作，得出多个特征层，利用所述多个特征层，经过区域推荐网络rpn和全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置。

进一步地，所述训练好的钢卷卷形缺陷检测模型是整个faster-rcnn网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。

进一步地，所述步骤3，具体包括：

实时采集钢卷卷形图片：工业摄像机安装在运输线喷号机的前后，采用悬挂式设计，用于实时采集钢卷卷形图像；

对在线的图片数据进行解析与评估：工业计算机连接所述摄像头，且在线实时接收所述摄像头采集的钢卷卷形图像，在所述工业计算机中部署训练获得的所述钢卷卷形缺陷检测模型，所述工业计算机利用训练好的所述钢卷卷形缺陷检测模型对在线实时采集的钢卷卷形图像进行数字化分析，分析获得输入的钢卷卷形图片具有的缺陷类型与等级。

进一步地，所述数字化分析包括：利用滑动窗口算法对测试图片进行像素级的扫描，根据所述钢卷卷形缺陷检测模型的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。

进一步地，所述标检测网络faster-rcnn，采用检测识别算法faster-rcnn，是根据现有的目标检测算法，并将用于传统的钢铁制造业。

进一步地，所述剪枝优化算法，是模型通过减少网络层数和连接，以减少参数数量的一种模型压缩算法。

其中，目标检测技术faster-rcnn，包括使用分类网络resnet-18和区域推荐网络rpn；大规模钢卷数据标注集是根据实际生产过程中，从成品库中大量采集的图片，进行人工标注缺陷后得到数据集。模型是利用标注数据集，经过算法将数据集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络resnet-18，不断的对训练图片进行卷积、池化等操作，得出多个特征层，利用这些多层特征，经过区域推荐网络rpn及全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置；特征模型是整个faster-rcnn网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。该网络包含了大量的参数，对于新输入的测试图片，利用滑动窗口算法对测试图片进行像素级的扫描，根据所得的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。

本发明的优点和积极效果是：

本发明所述方法能够实现计算机利用深度卷积神经网络，对于视频中的钢卷图像进行特征提取分析，利用提取出来的特征图谱，检测识别钢卷，标定钢卷在图像中的位置，同时利用特征图谱，标注钢卷表面的不同类型的缺陷，对不同等级、不同缺陷的钢卷进行分类分级评估，并反馈到整个卷取系统。该技术也降低了人工勘察的成本和强度，降低了安全隐患，提高了评估效率，同时对于评估尺度进行了量化，提高了生产评估的自动化能力。

并且本发明提供的基于目标检测的钢卷卷形缺陷检测识别方法，利用深度神经网络实现的剪枝优化目标检测算法faster-rcnn，对于目标钢卷进行卷形缺陷检测识别。从现场获取的大量钢卷卷形图片构建卷形缺陷数据集，利用目前先进的识别精度高、检测速度快的faster-rcnn目标检测算法，在传统钢铁生产行业中，完成钢卷卷形缺陷检测识别的任务，同时对于faster-rcnn使用剪枝进行模型压缩，使得模型能够满足工业嵌入式的要求；利用了现代的智能检测技术，将其应用在钢卷的工业生产检测上；同时使用剪枝优化后的压缩模型以满足工业要求。

附图说明

图1是本发明实施例中基于目标检测的钢卷卷形缺陷检测识别方法流程图。

图2是本发明实施例中钢卷质量评估方法流程图。

图3是本发明实施例中目标检测算法分析图。

图4是本发明实施例中数据归一化方法图。

图5是本发明实施例中交并比计算方法图。

图6是本发明实施例中定位框生成方法图。

图7是本发明实施例中目标检测实例算法结构图。

图8是本发明实施例中resnet-18的网络结构表。

图9是本发明实施例中resnet-18的网络部分框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

本发明实施例提供基于目标检测的钢卷卷形缺陷检测识别方法，包括：

步骤1：构建卷形缺陷数据标注集；

步骤1.1：从工业现场大量采集成品库中的钢卷图片；

步骤1.2：对于采集回来的图片，进行专业的预标注，标注内容包括钢卷图片中存在的缺陷类型及缺陷存在的位置，获得卷形缺陷数据标注集；

步骤2：构建钢卷卷形缺陷检测模型：将预标注后的卷形缺陷数据集，送入神经网络中进行深度学习训练获得；包括：

步骤2.1：对于卷形缺陷数据标注集中预标注后的图片进行数据增强；所述数据增强的方法包括对于图片进行旋转、以钢卷中心画水平线与垂直线进行随机裁剪；

步骤2.2：将数据增强后的钢卷缺陷数据集分成3份，按比例7:2:1分成训练集、验证集、测试集，预备送入目标检测网络中进行训练、验证和测试；

步骤2.3：构建目标检测网络faster-rcnn，所述目标检测网络faster-rcnn以resnet-18为主干网络，利用多层卷积层，能够通过不断的卷积，对整张钢卷卷形图片进行特征提取；同时利用rpn网络为辅助网络，进行关键的特征区域推荐，使对于检测目标的特征定位更加精确；具体为：将训练集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络resnet-18不断的对训练图片进行卷积、池化操作，得出多个特征层，利用所述多个特征层，经过区域推荐网络rpn和全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置。

步骤2.4：在训练过程中，对于网络连接中的不同层，观察层权重变化和最终输出之间的关系，设置相关度低的连接及核的参数系数为0，即将不重要的参数舍弃，基于剪枝优化算法，对模型进行优化剪枝和压缩；

步骤2.5：利用验证集进行交叉验证，在测试集上进行测试最终效果，选择模型最优的训练结果进行保存，获得训练好的钢卷卷形缺陷检测模型；

步骤3：利用训练好的钢卷卷形缺陷检测模型，对在线的图片数据进行解析与评估：

实时采集钢卷卷形图片：工业摄像机安装在运输线喷号机的前后，采用悬挂式设计，用于实时采集钢卷卷形图像；其中，工业摄像机安装位置能够降低工业现场的干扰，有效利用空间，得到更好的拍摄角度，实时采集钢卷卷形图片；

对在线的图片数据进行解析与评估：工业计算机连接所述摄像头，且在线实时接收所述摄像头采集的钢卷卷形图像，在所述工业计算机中部署训练获得的所述钢卷卷形缺陷检测模型，所述工业计算机利用训练好的所述钢卷卷形缺陷检测模型对在线实时采集的钢卷卷形图像进行数字化分析，分析获得输入的钢卷卷形图片具有的缺陷类型与等级；所述数字化分析包括：利用滑动窗口算法对测试图片进行像素级的扫描，根据所述钢卷卷形缺陷检测模型的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。

在本实施例中，所述训练好的钢卷卷形缺陷检测模型是整个faster-rcnn网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。所述标检测网络faster-rcnn，采用检测识别算法faster-rcnn，是根据现有的目标检测算法，并将用于传统的钢铁制造业。所述剪枝优化算法，是模型通过减少网络层数和连接，以减少参数数量的一种模型压缩算法。

图1为本发明实施例中基于目标检测的钢卷卷形缺陷检测识别方法流程图。预先收集工业钢卷卷形图片做缺陷数据集，送入神经网络中生成缺陷检测模型，再通过现场摄像头实时采集工业现场卷形图片，送入缺陷检测模型中完成缺陷检测任务，输出检测结果。

图2为钢卷质量评估算法流程图。输入为预采样的钢卷卷形图片，控制器为计算机，执行机构为利用预采样的钢卷卷形图片，训练出来的缺陷检测模型，被控对象为报警器，输出为钢卷卷形所带有的缺陷及位置。不断利用新输出的图片，及对应的缺陷、位置，优化调整模型的准确率和稳定性，达到一个高精度的能够满足工业需求的高度。

图3为目标检测算法分析图，目标检测算法主要包含两个内容：一个是目标分类，用于检测的对象的确定；另一个是目标定位，用于检测的对象在图像中的位置的确定。现有技术中，目标分类的神经网络近些年不断的优化，知名的有alexnet、vggnet、googlenet、resnet、resnext、senet等。目标定位算法，主流思想分两派，一类是很早就提出来的基于区域推荐的rpn算法，利用anchor进行位置的精度修正；另外一类是基于角点检测的corner算法，利用热力图上的嵌入式向量进行位置的匹配和修正。其中rpn相关算法又根据过程分为two-stage、end-to-end两种。r-cnn系列为two-stage，后续的拓展基本能达到end-to-end的效果。yolo系列为end-to-end，能够一次完成分类和定位任务。将这两种算法结合起来能够完成钢卷卷形缺陷检测识别。但是为了满足小模型便于嵌入开发、安装的工业要求，还需对生成的模型进行压缩，本实施例中采用使用剪枝优化对网络不重要的连接和核进行裁剪，进行模型压缩，减少模型冗余。

图4是本发明实施例中数据归一化方法图。首先获取原图尺寸，和标注区域尺寸，对于原图的放大和缩小，等比例的将标注区域同样进行放大和缩小，同时将所有的参数都缩小到(0，1)范围内。

图5是本发明实施例中交并比计算方法图。这是计算缺陷检测模型在图片中所预测的区域，与图片中真实缺陷所在的位置区域重叠百分比的方法。重叠度为重叠区域面积与非重叠区域面积和的比值，即

图6是本发明实施例中定位框生成方法图。定位框生成过程使用了3个方向维度，和3个尺寸维度，共9个维度的定位法。3个方向维度包括正方形，竖直长方形，水平长方形；3个尺寸维度包括尺度为(8，16，32)三个尺度。两两组合在一起共9个维度进行定位框生成。

图7为发明实施例中目标检测实例faster-rcnn算法结构图，训练过程中，大量任意大小的图片，经过预处理后达到相同的固定尺寸，在神经网络的不断卷积、池化交替后，得到一个小的特征图，同时送入rpn和主线网络，利用rpn网络筛选出得分较高的可能性区域，再经过主干网络，利用roi池化和全连接层得到分类分数和定位分数。

图8为resnet-18的网络结构图，主要是分四个网络层，每一个网络层里有一个下采样的卷积，用于减小神经网络中的下降梯度消失问题，是的可以构建更深的神经网络。同时上一个网络层向下一个网络层传递的时候新的卷积步长会变大，为了减小深层网络特征图的大小，提高深层特征图的感受野。

图9为resnet-18的网络部分框架图,即中降尺寸残差块结构；类似于自动控制原理中的前馈控制，这里也是将输入直接接到了对应输出网络层上。弱化了梯度消失的问题，使梯度能够继续下降，同时为构建更深的网络层提供了有利条件。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。