基于注意力机制的螺纹钢异常判定方法与流程

1.本发明涉及数据处理技术领域，具体涉及一种基于注意力机制的螺纹钢异常判定方法。


背景技术：

2.螺纹钢是一种表面带筋的钢筋，可以承受较大的外力，被广泛地运用在建筑业领域，例如房屋、道路、水坝、隧道等多种建筑结构中。螺纹钢的表面异常如凹坑、结疤、裂纹、划痕和麻面，不仅影响了螺纹钢的美观性，甚至对螺纹钢的结构性能产生较大影响，带来安全性隐患。
3.传统的螺纹钢表面异常的检测是依靠人工目检，需要检测员对螺纹钢表面进行异常标注，标注的准确性和稳定性可能会受到检测环境和检测员本身状态影响。于是基于计算机视觉对螺纹钢表面的异常进行检测的应用越来越广泛，而利用常用的灰度共生矩阵进行分析时，容易由于拍摄角度的原因导致灰度共生矩阵按照固定角度提取纹理特征时受到影响，从而对提取出的纹理特征造成影响，降低了后续对异常分析的准确性。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于注意力机制的螺纹钢异常判定方法，该方法包括以下步骤：获取螺纹钢表面的初始图像，计算所述初始图像对应的显著图；根据所述显著图得到所述初始图像中的疑似异常区域；获取所述疑似异常区域的灰度图像，获取所述螺纹钢横肋在所述灰度图像上的角度为基准角度；根据滤波器获取所述灰度图像在任意角度下多个尺度的纹理响应特征图；基于所述基准角度计算任意所述角度下每个所述纹理响应特征图对应的权重，根据所述权重与每个尺度的所述纹理响应特征图加权求和得到任意所述角度的纹理响应图；计算每个所述角度的所述纹理响应图的平均能量熵，根据所述平均能量熵的大小为每个所述角度分配权值；计算所述灰度图像在每个所述角度的灰度共生矩阵，基于所述权值、所述基准角度以及每个所述灰度共生矩阵进行加权求和得到完整灰度共生矩阵；根据所述完整灰度共生矩阵计算逆差矩图像，将所述逆差矩图像与所述初始图像输入卷积神经网络得到所述螺纹钢表面的异常类别。
5.优选的，所述计算所述初始图像对应的显著图的步骤，包括：将所述初始图像由rgb颜色空间转换为lab颜色空间得到lab图像；获取所述lab图像中像素点在l通道、a通道以及b通道分别对应的像素均值，根据所述初始图像与每个通道的所述像素均值得到所述显著图。
6.优选的，所述根据所述显著图得到所述初始图像中的疑似异常区域的步骤，包括：基于所述显著图中每个像素点的显著值获取分类阈值，所述显著图中所述显著值大于所述分类阈值的像素点为疑似异常像素点，所有所述疑似异常像素点构成所述疑似异
常区域。
7.优选的，所述基于所述基准角度计算任意所述角度下每个所述纹理响应特征图对应的权重的步骤，包括：计算所述角度下每个所述纹理响应特征图内像素点的纹理梯度值为：其中，表示灰度图像中坐标为的像素点对应的纹理梯度值；表示灰度图像中坐标为的像素点对应的纹理响应特征值；表示基准角度；表示纹理相应特征图对应的角度；表示尺度；表示余弦函数；表示正弦函数；根据每个所述像素点的纹理梯度值构成纹理梯度图，根据所述纹理梯度图得到每个所述纹理响应特征图对应的权重。
8.优选的，所述根据所述纹理梯度图得到每个所述纹理响应特征图对应的权重的步骤，包括：获取所述角度下每个所述纹理梯度图的像素的均值，根据所述灰度图像与任意所述纹理梯度图的均值得到对应的纹理显著图；获取每个所述纹理显著图对应的纹理显著均值，对所述纹理显著均值进行归一化得到每个所述纹理响应特征图对应的权重。
9.优选的，所述计算每个所述角度的所述纹理响应图的平均能量熵的步骤，包括：所述平均能量熵的计算为：其中，表示第个角度对应的纹理响应图的平均能量熵；表示在第个角度对应的纹理响应图中第行第列对应的元素；表示该纹理响应图的尺寸大小；表示角度校准系数。
10.优选的，所述角度校准系数为：其中，表示角度校准系数；表示基准角度；表示角度。
11.本发明具有如下有益效果：本发明实施例通过获取螺纹钢表面横肋的方向作为基准方向，对灰度共生矩阵对螺纹钢表面初始图像提取纹理信息时的角度进行修正，每个角度的修正基于每个角度下多个尺度的纹理响应图得到，提高了对数据分析的准确度，以避免灰度共生矩阵提取异常纹理特征信息存在的偏差，进一步获取逆差矩图像，结合初始图像通过神经网络完成对螺纹钢表面异常类别的判定，增加了判定结果的可靠性。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明一个实施例所提供的一种基于注意力机制的螺纹钢异常判定的方法流程图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于注意力机制的螺纹钢异常判定方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.本技术适用于对螺纹钢表面异常类别的识别判定，通过螺纹钢表面的初始图像进行初步分类得到疑似异常区域对应的灰度图像，通过对灰度图像进行灰度共生矩阵计算时的角度进行多次矫正从而得到最终的完整灰度共生矩阵，基于完整灰度共生矩阵得到对应的逆差矩图像，将逆差矩图像与初始图像输入卷积神经网络中得到异常类别，避免了因为异常方向对灰度共生矩阵纹理提取的影响，提高了识别的准确性。
17.下面结合附图具体的说明本发明所提供的一种基于注意力机制的螺纹钢异常判定方法的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的一种基于注意力机制的螺纹钢异常判定的方法流程图，该方法包括以下步骤：步骤s100，获取螺纹钢表面的初始图像，计算初始图像对应的显著图；根据显著图得到初始图像中的疑似异常区域。
19.具体的，实施者根据实际情况布置工业相机用于对螺纹钢表面进行图像采集，得到螺纹钢表面的图像。为了保证后续分析图像的准确性，本发明实施例对螺纹钢表面的图像进行高斯滤波处理得到螺纹钢表面的初始图像；对该初始图像中每个像素点的特性进行分析。
20.初始图像由rgb颜色空间转换为lab颜色空间得到lab图像；获取lab图像中像素点在l通道、a通道以及b通道分别对应的像素均值，根据初始图像与每个通道的像素均值得到显著图。
21.获取显著图的具体方法为：对获取到的初始图像从rgb颜色空间转换至lab颜色空间得到lab图像，分别计算该lab图像在l通道、a通道以及b通道的像素均值为，，；计算初始图像与l通道对应的、a通道对应的以及b通道对应的之间的欧式距离的和得到显著图，显著图是用于显示每个像素独特性的图像。
22.为了减少后续的计算量，初步排除该初始图像中的正常区域；基于显著图中每个像素点的显著值获取分类阈值，显著图中显著值大于分类阈值的像素点为疑似异常像素点，所有疑似异常像素点构成疑似异常区域。
23.具体的，获取该显著图中的最大显著值对该显著图中的每个显著值进行归一化，计算归一化后显著图对应的显著值直方图。由于实际螺纹钢表面异常区域与正常区域存在一定的差别，本发明实施例中采用最大类间方差法根据显著值直方图得到最佳的分类阈值，最大类间方差法为阈值获取时的常见方法，具体过程不做赘述。基于获取到的最佳的分类阈值将该显著图中的显著值划分为两个类别；即显著值大于该分类阈值的为一个类别，显著值小于该分类阈值的为另外一个类别。
24.由于存在异常的区域可能与它周围正常像素的颜色以及亮度的差异较大，相对应的显著值也较大，因此将显著值大于分类阈值的类别对应的像素点标记为疑似异常像素点，所有疑似异常像素点构成的区域为疑似异常区域；为了便于后续的分析，该疑似异常区域为所有疑似异常像素点构成区域的最小外接矩形区域。
25.步骤s200，获取疑似异常区域的灰度图像，获取螺纹钢横肋在灰度图像上的角度为基准角度；根据滤波器获取灰度图像在任意角度下多个尺度的纹理响应特征图。
26.由步骤s100中获取到螺纹钢表面的初始图像中对应的疑似异常区域，对该疑似异常区域进行灰度化处理得到对应的灰度图像，具体灰度化处理的方法实施者可自行选取。在利用工业相机对螺纹钉表面图像进行实际采集过程中，异常特征可能会因为角度方向的原因而产生不同，考虑到部分异常在空间某一特定方向上的分布较多，为了避免角度对图像分析处理的影响，本发明实施例中以螺纹钢表面的横肋角度方向作为基准角度，在灰度图像中的螺纹钢横肋所在的区域采用最小二乘法拟合出一条直线，通过该直线的斜率求出螺纹钢的横肋在灰度图像上的基准角度为：其中，表示基准角度；表示螺纹钢横肋对应直线的斜率；表示反正切函数。
27.进一步的，对灰度图像进行灰度共生矩阵的计算时，固定计算方向可能会导致灰度图像中纹理信息的缺失，因此需要对灰度共生矩阵的计算方向进行分析。本发明实施例中通过gabor滤波器估计异常纹理的方向，为了增加分析的准确性，选取多个角度以及多个尺度下的gabor滤波器对灰度图像处理。
28.作为优选，本发明实施例中选取4个不同的角度以及4个不同的尺度的gabor滤波器；4个角度，，和分别是，，和，4个尺度分别是0，4，8，32。
29.以任意一个角度为例，利用不同尺度的gabor滤波器对该灰度图像进行卷积操作得到对应的纹理响应特征图为：其中，表示该角度下任意尺度的纹理响应特征图；表示该角度下任意尺度的gabor核函数；表示灰度图像。
30.以此类推，得到该角度下每个尺度对应的纹理响应特征图，分别记为，，和。
31.步骤s300，基于基准角度计算任意角度下每个纹理响应特征图对应的权重，根据权重与每个尺度的纹理响应特征图加权求和得到任意角度的纹理响应图。
32.具体的，由步骤s200中获取到一个角度下4个尺度对应的纹理响应特征图，对纹理响应特征图进行视觉显著性检测来断定不同尺度下纹理响应的强弱程度，本发明实施例中采用灰度梯度的视觉显著性算法，基于步骤s200中获取到的横肋的基准方向对灰度图像中每个像素点进行纹理梯度值计算为：其中，表示灰度图像中坐标为的像素点对应的纹理梯度值；表示灰度图像中坐标为的像素点对应的纹理响应特征值；表示基准角度；表示纹理相应特征图对应的角度；表示尺度；表示余弦函数；表示正弦函数。
33.以此类推，得到纹理响应特征图中每个像素点对应的纹理梯度值构成纹理梯度图；同理获取基于基准角度修正的该角度下4个不同尺度的纹理梯度图分别记为、、以及。
34.进一步的，获取角度下每个纹理梯度图的像素的均值，根据灰度图像与任意纹理梯度图的均值得到对应的纹理显著图；获取每个纹理显著图对应的纹理显著均值，对纹理显著均值进行归一化得到每个纹理响应特征图对应的权重。
35.具体的，获取每个纹理梯度图对应的梯度均值，即每个纹理梯度图中所有像素值的均值，记为、、以及；根据灰度图像与每个纹理梯度图对应的均值之间求欧式距离的和得到对应的4个不同尺度的纹理显著图。分别对该纹理显著图的纹理显著值求取均值作为该尺度下纹理响应特征的强弱程度，对每个尺度下的纹理显著图的纹理显著均值归一化得到纹理响应特征的权重分别为、、以及。
36.基于获取到的权重与对应的纹理响应特征图进行加权求和得到在该角度下对应的纹理响应图为：其中，表示在角度下对应的纹理响应图；表示第个尺度纹理响应特征图
对应的权重；表示在角度下第个尺度对应的纹理响应特征图。
37.由此得到在该角度下对应的纹理响应图；相应的，基于上述获取纹理响应图相同的方法，获取在4个角度下分别对应的纹理响应图记为：、、以及。
38.步骤s400，计算每个角度的纹理响应图的平均能量熵，根据平均能量熵的大小为每个角度分配权值；计算灰度图像在每个角度的灰度共生矩阵，基于权值、基准角度以及每个灰度共生矩阵进行加权求和得到完整灰度共生矩阵。
39.由步骤s300中获取到在不同角度下对应的纹理响应图，为了评判异常纹理在该4个角度下的纹理响应程度的强弱，对获取到的每个纹理响应图求取平均能量熵为：其中，表示第个角度对应的纹理响应图的平均能量熵；表示在第个角度对应的纹理响应图中第行第列对应的元素；表示该纹理响应图的尺寸大小；表示角度校准系数，表征该角度的纹理响应图在基准角度上的响应分量。
40.本发明实施例中角度校准系数的计算方法为：其中，表示角度校准系数；表示基准角度；表示角度。
41.以此类推，获取在4个角度下纹理响应图分别对应的平均能量熵为、、以及，对获取到的4个平均能量熵进行归一化得到每个角度的权值为，，以及。平均能量熵越大表明在该角度下纹理响应图包含的纹理信息量越多，其对应的权值应该越大。
42.进一步的，对步骤s200中获取到的灰度图像计算灰度共生矩阵，具体作法是：（1）选择任意大小的滑动窗口，取灰度图像上某个点以及与该点相距一定距离的点作为一组对点，将该点对的每个点对应的灰度值构成点对；（2）统计该灰度图像中出现的灰度级数量为，则该灰度图像中能够构成的点对组合有个，即能够得到大小为的灰度共生矩阵；（3）对于任意大小的滑动窗口，统计每一个点对在该滑动窗口内出现的次数，将得到的灰度共生矩阵赋予滑动窗口内的中心点；即该灰度图像中的每个像素点均对应一个灰度共生矩阵。
43.作为优选，本发明实施例中将滑动窗口的大小设置为，灰度共生矩阵的模板
角度方向采用、、以及的4个角度。
44.需要说明的是，和的相对大小决定模板的方向，当，时，模板方向为方向，当，时，模板方向为方向，当，时，模板方向为方向，当，时，模板方向为方向。
45.相应的，考虑到螺纹钢表面横肋的基准角度以及灰度共生矩阵模板角度相对于基准角度的校准系数得到最终的完整灰度共生矩阵为：其中，表示完整灰度共生矩阵；表示角度校准系数；表示第个角度对应的权值；表示第个角度下灰度图像对应的灰度共生矩阵。
46.步骤s500，根据完整灰度共生矩阵计算逆差矩图像，将逆差矩图像与初始图像输入卷积神经网络得到螺纹钢表面的异常类别。
47.具体的，由步骤s400中获取到灰度图像对应的完整灰度共生矩阵，选取该完整灰度共生矩阵的逆差矩作为显著值的度量，逆差矩可以反映图像纹理的同质性，即度量图像纹理局部的变化值大小；如果逆差矩较大说明局部的图像纹理分布的比较均匀，可能为结疤、裂纹和划痕等异常；如果逆差矩较小说明局部的图像纹理分布是非均匀的，可能为麻面和凹坑等异常；因此能够根据逆差矩的大小可以表征不同的异常特征。逆差矩的计算具体为：其中，表示逆差矩；表示灰度图像中第行和第列像素点对应的灰度共生矩阵；表示灰度图像中像素灰度级的数量。
48.由此能够得到该灰度图像中每个像素点对应的灰度共生矩阵的逆差矩，从而构成灰度图像对应的逆差矩图像，本发明实施例中将螺纹钢表面的异常分为凹坑、结疤、裂纹、划痕和麻面五种，为了实现对螺纹钢表面不同异常的准确分类，本发明实施例中采用卷积神经网络对螺纹钢表面的异常类型进行识别，卷积神经网络的训练集为历史采集到的螺纹钢表面的初始图像，具体训练过程为：（1）卷积神经网络的输入为螺纹钢表面的初始图像及其对应的逆差矩图像；（2）由专业人员对螺纹钢表面的异常进行标注，将凹坑异常标注为0，结疤异常标注为1；裂纹异常标注为2；划痕异常标注为3；麻面异常标注为4；正常区域标注为5；（3）卷积神经网络的输出为螺纹钢表面的不同异常类别。
49.基于训练完成的卷积神经网络可完成对螺纹钢表面存在的凹坑、结疤、裂纹、划痕和麻面等五种异常类别的识别。
50.综上所述，本发明实施例中通过采集螺纹钢表面的初始图像，计算该初始图像对
应的显著图进行初步分类得到疑似异常区域，获取该疑似异常区域对应的灰度图像，根据灰度图像得到螺纹钢表面横肋的角度，作为基准角度；进一步根据多个角度和多个尺度的滤波器对灰度图像进行处理得到每个角度下不同尺度对应的纹理相应特征图，计算每个纹理响应特征图对应的纹理梯度图，基于该纹理梯度图为每个纹理响应特征图分配权重，最终以该权重与对应的纹理响应特征图进行加权求和得到该角度对应的纹理响应图，相应的，获取每个角度对应的纹理响应图，计算每个纹理响应图的平均能量熵，以该平均能量熵的大小作为该纹理响应图的衡量指标，从而得到每个角度对应的权值。在对灰度图像实际进行灰度共生矩阵计算时，考虑到横肋的基准角度对灰度共生矩阵的模板角度进行校正，结合每个角度对应的权值得到该灰度图像最终对应的完整灰度共生矩阵，计算完整灰度共生矩阵对应的逆差矩得到逆差矩图像，基于逆差矩图像以及初始图像输入卷积神经网络对螺纹钢表面异常的类别进行识别，避免了螺纹钢表面异常的方向性而导致灰度共生矩阵对纹理信息提取的影响，且结合卷积神经网络提高了对螺纹钢表面异常类别识别的准确性。
51.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
52.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
53.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。