一种带钢表面快速质量甄别与缺陷特征自动提取方法与流程

本发明属于计算机视觉技术领域，具体涉及一种带钢表面快速质量甄别与缺陷特征自动提取方法。

背景技术：

带钢是钢铁工业的主要产品之一，是航空航天、造船、汽车、机械制造等行业不可缺少的原材料，其质量的优劣将直接影响到最终产品的质量和性能。在带钢制造过程中，由于原材料、轧制设备及加工工艺等多方面的因素，导致带钢表面出现裂纹、结疤、孔洞等不同类型的缺陷。带钢表面缺陷不但容易造成带钢断带、堆积、停车等严重生产事故的发生，而且还会严重磨损轧辊，对生产企业造成难以估量的经济和社会影响。

近年来随着工业技术发展，企业逐渐开始使用以机器视觉为代表的非接触无损检测技术，其兼且其具有分辨率高、分类性强、受环境电磁场影响小、工作距离大、测量精度高和成本低等优点。在生产过程中，带钢的移动速度能超过10m/s，每秒都将产生大量的图像数据（如25帧/秒）等待系统处理，而含有表面缺陷的带钢只占很少一部分，绝大部分的带钢而没有缺陷，这对算法实时缺陷检测能力要求很高。

目前用于带钢表面缺陷快速甄别的算法应用最广泛的方法主要是“差影法”，然而在实际生产中采用相机采集带钢表面图像时，由于受到光照和硬件设备影响，采集到的带钢表面图像会出现带钢边界图像虚化而导致带钢边界无法正常检出。当采集的带钢表面图像出现带钢边界图像虚化时，采用canny算子边缘检测对带钢图像处理后会发现在带钢边缘与背景交汇区域有一条明显的细长断裂的折线，继续使用“差影法”进行检测，该折线所在的区域会被错误识别为带钢表面缺陷，因此，采用“差影法”对带钢表面图像进行检测会将带钢边界图像虚化的地方认定为“边部缺陷”，然而在实际中该处边界部分并不存在缺陷。大量的边部“伪缺陷”对带钢表面质量快速甄别与缺陷特征提取提出了重大挑战。如何甄别伪缺陷也必须纳入带钢缺陷甄别研究范围之内。针对现有技术针存在对带钢缺陷面积率低，边部伪缺陷及光照干扰严重，使各类真实缺陷难以有效提取等问题，本申请在“差影法”基础上，根据带钢表面缺陷图像特点，研究了一种带钢表面快速质量甄别与缺陷特征自动提取方法。

技术实现要素：

本发明的目的旨在提供一种带钢表面快速质量甄别与缺陷特征自动提取方法。

为实现发明目的，本发明采用的技术方案如下：

一种带钢表面快速质量甄别与缺陷特征自动提取方法，包括以下步骤：

（1）将采集的带钢表面图像以按列向下、按行向右的方式进行灰度投影，得到灰度矩阵图；

（2）对步骤（1）得到的灰度矩阵图进行分析，找出灰度矩阵图中每行灰度投影值的最大值rmax、最小值rmin以及每列灰度投影值的最大值cmax、最小值cmin，计算每行灰度投影均值ravg、每列灰度投影均值cavg和整个灰度矩阵图的全局灰度均值globalavg，然后根据每行、每列灰度投影值的均值以及最大值与最小值的差值判断带钢表面图像中的缺陷区域、无缺陷区域、边界伪缺陷区域、带钢边界与背景的转换区域、背景区域；

（3）根据步骤（2）的判断结果裁剪并删除灰度矩阵图中的边界伪缺陷区域、转换区域和背景区域，然后在裁剪后的灰度矩阵图中标记出缺陷特征roi区域。

根据上述的带钢表面快速质量甄别与缺陷特征自动提取方法，优选地，步骤（2）中根据每行、每列灰度投影值最大值与最小值的差值判断带钢表面图像中的缺陷区域、无缺陷区域、边界伪缺陷区域、带钢边界与背景的转换区域、背景区域的具体操作如下：

a、对灰度矩阵图中每列进行判断：

（a1）cmax与cmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且cavg＞globalavg/10，则该列无缺陷；

（a2）cmax与cmin的差值、cavg均在[(1-µ)globalavg，(1+µ)globalavg]内，则该列存在缺陷；

（a3）cmax与cmin的差值在[(1-µ)globalavg，(1+µ)globalavg]内，但cavg＜(1-2µ)globalavg，则该列为带钢边界与背景的转换区域；以转换区域的相邻列为起始，向灰度均值增大的方向横向延伸，得到边界伪缺陷区域，其中，所述相邻列的灰度均值大于转换区域的灰度均值，横向延伸的宽度为转换区域宽度的1～3倍；

（a4）cmax与cmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且cavg≤globalavg/10，则该列为带钢背景区域；

b、对灰度矩阵图中每行进行判断：

（b1）rmax与rmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg＞globalavg/10，则该行无缺陷；

（b2）rmax与rmin的差值、ravg均在[(1-µ)globalavg，(1+µ)globalavg]内，则该行存在缺陷；

（b3）rmax与rmin的差值在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg＜(1-2µ)globalavg，则该行为带钢边界与背景的转换区域；以转换区域的相邻行为起始，向灰度均值增大的方向纵向延伸，得到边界伪缺陷区域，其中，所述相邻行的灰度均值大于转换区域的灰度均值，纵向延伸的宽度为转换区域宽度的1～3倍；

（b4）rmax与rmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg≤globalavg/10，则该行为带钢背景区域；

其中，µ为缺陷阈值系数。

根据列判断结果找出缺陷区域所在的列，根据行判断结果找出缺陷区域所在的行，行、列交叉的位置即为缺陷区域所在的位置。

根据上述的带钢表面快速质量甄别与缺陷特征自动提取方法，缺陷阈值系数µ主要是根据现场的照明情况与无缺陷轧钢的灰度值进行先期调整测试得出的结果，其取值范围的大小直接决定缺陷特征roi区域的边框大小。若µ取值过小，roi区域的边框会比较小，这样算法只能框住比较明显的缺陷特征，忽略不明显的缺陷特征；若µ取值过大，roi区域的边框会比较大，算法不但能框住比较明显的缺陷特征和不明显的缺陷特征，还可能会将缺陷周围无缺陷区域框进去。

根据上述的带钢表面快速质量甄别与缺陷特征自动提取方法，优选地，所述缺陷阈值系数µ的取值范围为20%～30%。更加优选地，所述缺陷阈值系数µ的取值范围为30%。

根据上述的带钢表面快速质量甄别与缺陷特征自动提取方法，优选地，步骤（3）的具体操作为：根据步骤（2）的判断结果，裁剪并删除灰度矩阵图中的边界伪缺陷区域、转换区域和背景区域，在裁剪后的灰度矩阵图中对判断含有缺陷的行列进行标记，同时绘制矩形框框出缺陷区域，所述矩形框区域即为缺陷特征roi区域。

根据上述的带钢表面快速质量甄别与缺陷特征自动提取方法，优选地，步骤（1）中在对带钢表面图像进行灰度投影前，先对带钢表面图像进行背景区域粗裁，其具体操作为：根据带钢与背景区分清晰的特点，对采集的带钢表面图像进行识别，筛选出带钢表面图像中的边部背景，并将其删除。该操作能够有效过滤掉了大部分边部背景区域对图像分析的干扰，能够进一步降低计算量，提高检测效率。

与现有技术相比，本发明取得的积极有益效果为：

（1）本发明将采集的带钢表面图像以按列向下、按行向右的方式进行灰度投影，得到灰度矩阵图，而且，根据灰度矩阵图中每行、每列灰度投影值的均值以及最大值与最小值的差值即可有效过滤掉无缺陷表面、边部伪缺陷及光照干扰，快速检测出图像中缺陷（尤其是针对带钢表面存在的纵向纹、横向纹和大面积氧化皮等缺陷），并输出带钢表面图像中缺陷特征roi区域；该方法极大地降低了计算量，计算速度快、效率高，检测结果准确率高，不但能快速甄别采集的带钢表面图像中的缺陷，满足高速带钢产线实时在线缺陷检测要求，而且能够准确自动检测提取图像中缺陷特征roi区域，为带钢缺陷提供了优质标注数据，省去了大量人工数据标注数据问题，实用性强。

（2）本发明的方法对设备的硬件性能要求低，完全满足在工业现场进行部署的需要。

附图说明

图1为表面有纵向夹杂缺陷的带钢图像的检测结果图；

图2为图1中原始图像a的灰度矩阵图按列进行分析的列分析结果局部图；

图3为图1中原始图像a的灰度矩阵图按行进行分析的行分析结果局部图；

图4为图3中a区域的放大图；

图5为表面有纵向划伤缺陷的带钢图像的检测结果图；

图6为图5中原始图像a的灰度矩阵图按列进行分析的列分析结果局部图；

图7为图5中原始图像a的灰度矩阵图按行进行分析的行分析结果局部图；

图8为表面布满氧化皮的带钢图像检测结果图。

具体实施方式

以下通过具体的实施例对本发明作进一步详细说明，但并不限制本发明的范围。

实施例1：

一种带钢表面快速质量甄别与缺陷特征自动提取方法，包括以下步骤：

（1）将采集的带钢表面图像以按列向下、按行向右的方式进行灰度投影，得到灰度矩阵图；

（2）对步骤（1）得到的灰度矩阵图进行分析，找出灰度矩阵图中每行灰度投影值的最大值rmax、最小值rmin以及每列灰度投影值的最大值cmax、最小值cmin，计算每行灰度投影均值ravg、每列灰度投影均值cavg和整个灰度矩阵图的全局灰度均值globalavg，然后根据每行、每列灰度投影值的均值以及最大值与最小值的差值判断带钢表面图像中的缺陷区域、无缺陷区域、边界伪缺陷区域、带钢边界与背景的转换区域、背景区域。

其中，根据每行、每列灰度投影值最大值与最小值的差值判断带钢表面图像中的缺陷区域、无缺陷区域、边界伪缺陷区域、带钢边界与背景的转换区域、背景区域的具体操作如下：

a、对灰度矩阵图中每列进行判断：

（a1）cmax与cmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且cavg＞globalavg/10，则该列无缺陷；

（a2）cmax与cmin的差值、cavg均在[(1-µ)globalavg，(1+µ)globalavg]内，则该列存在缺陷；

（a3）cmax与cmin的差值在[(1-µ)globalavg，(1+µ)globalavg]内，但cavg＜(1-2µ)globalavg，则该列为带钢边界与背景的转换区域；以转换区域的相邻列为起始，向灰度均值增大的方向横向延伸，得到边界伪缺陷区域，其中，所述相邻列的灰度均值大于转换区域的灰度均值，横向延伸的宽度为转换区域宽度的2倍；

（a4）cmax与cmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且cavg≤globalavg/10，则该列为带钢背景区域。

其中，µ为缺陷阈值系数，其取值为30%。

b、对灰度矩阵图中每行进行判断：

（b1）rmax与rmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg＞globalavg/10，则该行无缺陷；

（b2）rmax与rmin的差值、ravg均在[(1-µ)globalavg，(1+µ)globalavg]内，则该行存在缺陷；

（b3）rmax与rmin的差值在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg＜(1-2µ)globalavg，则该行为带钢边界与背景的转换区域；以转换区域的相邻行为起始，向灰度均值增大的方向纵向延伸，得到边界伪缺陷区域，其中，所述相邻行的灰度均值大于转换区域的灰度均值，纵向延伸的宽度为转换区域宽度的2倍；

（b4）rmax与rmin的差值不在[(1-µ)globalavg，(1+µ)globalavg]内，且ravg≤globalavg/10，则该行为带钢背景区域；

其中，µ为缺陷阈值系数，其取值为30%。

（3）根据步骤（2）的判断结果，裁剪并删除灰度矩阵图中的边界伪缺陷区域、转换区域、背景区域，在裁剪后的灰度矩阵图中对判断含有缺陷的行列进行标记，同时绘制矩形框框出缺陷区域，所述矩形框区域即为缺陷特征roi区域。

实施例2：本发明带钢表面快速质量甄别与缺陷特征自动提取方法的效果验证实验

1、对表面有纵向夹杂缺陷的带钢图像进行检测

采用本发明实施例1的方法对表面有纵向纹缺陷的带钢图像进行检测，其中采集的带钢表面原始图像如图1中a所示，由图1中a可知，待检测的带钢图像中存在纵向纹缺陷、带钢拍摄背景区域以及带钢边界与背景的转换区域。检测结果如图1中b所示（b为检测结果的局部图），图b中缺陷区域已用方框框出，即方框框出的区域为检测出的缺陷特征roi区域，而且图b已将原始图像a中的背景区域、转换区域和边界伪缺陷区域已删除，由此说明采用本发明实施例1所述的方法能够识别带钢表面原始图像中的缺陷区域和背景区域、转换区域和边界伪缺陷区域。

图2为图1中原始图像a的灰度矩阵图按列进行分析的列分析结果局部图（由于列分析结果图较大，此处只放了局部图）。由图2可知，灰度矩阵图的globalavg=111.3083，(1±µ)globalavg的取值范围为[77.9,144.7]。图2中，黄色区域所在列的cmax-cmin=41，cavg=2，因此，该列为带钢背景区域；绿色区域所在列的cmax-cmin=101，cavg=28.8，因此，该列为带钢边界与背景的转换区域；以转换区域的相邻列（相邻列的灰度均值大于转换区域的灰度均值）为起始，向灰度均值增大的方向横向延伸，横向延伸的宽度为转换区域宽度的2倍，得到边界伪缺陷区域，即图中的蓝色区域；红色区域对应的三个列的cmax与cmin差值依次为119、126、111，三个列对应的cavg值分别为103、116、105，因此，红色区域对应的三个列存在缺陷。因此，从图2也可以看出，本发明的检测方法能够明确检测出带钢表面图像中的背景区域、带钢边界与背景的转换区域、边界伪缺陷区域和缺陷区域。

图3为图1中原始图像a的灰度矩阵图按行进行分析的行分析结果局部图（由于行分析结果图较大，此处只放了局部图）。图3中红色区域对应的行为缺陷区域。由图2和图3可知，将列检测结果与行检测结果相结合，能够准确找到缺陷区域的位置，即图1中b中方框框出的区域。为了能清楚地呈现行分析结果，以图3中的a区域为例，对a区域进行了方法，其放大图如图4所示。

、对表面有纵向划伤缺陷的带钢图像进行检测

采用本发明实施例1的方法对表面有纵向纹缺陷的带钢图像进行检测，其中采集的带钢表面原始图像如图5中a所示，由图5中a可知，待检测的带钢图像中存在纵向纹缺陷和带钢拍摄背景区域。检测结果如图5中b所示（b为检测结果的局部图），图b中缺陷区域已用方框框出，即方框框出的区域为检测出的缺陷特征roi区域，而且与原始图像a相比，图b已将原始图像a中的背景区域已删除，由此说明采用本发明实施例1所述的方法能够识别带钢表面原始图像中的缺陷区域。

图6为图5中原始图像a的灰度矩阵图按列进行分析的列分析结果局部图（由于列分析结果图较大，此处只放了局部图）。图6中红色区域对应的列为缺陷区域。图7为图5中原始图像a的灰度矩阵图按行进行分析的行分析结果局部图（由于行分析结果图太大，此处只放了缩小图）。图7中红色区域对应的行为缺陷区域。由图6和图7可知，将列检测结果与行检测结果相结合，能够准确找到缺陷区域的位置，即图5中b中方框框出的区域。

、对表面布满氧化皮的带钢图像进行检测

采用本发明实施例1所述的方法对一张表面布满氧化皮的带钢图像进行检测，其中采集的带钢表面原始图像如图8中a所示，由图8中a可知，待检测的带钢图像上布满了氧化皮缺陷。检测结果如图8中b所示，图b中缺陷区域已用方框框出，即方框框出的区域为检测出的缺陷特征roi区域，由此说明采用本发明实施例1所述的方法能够识别带钢表面原始图像中的缺陷区域。

以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。