一种基于transformer模型的铆钉缺陷检测方法及系统与流程

1.本发明涉及铆钉缺陷检测技术领域，特别是涉及一种基于transformer模型的铆钉缺陷检测方法及系统。


背景技术：

2.随着对工业产品质量要求的日益提高，产品表面缺陷检测成了生产加工的重要环节，由于生产环境中不可控因素的干扰，产品表面缺陷难以量化，铆钉是一种社会需求量极高的一种紧固件，一架飞机就需要大约两百万个铆钉，需求量如此之高的铆钉，加上其缺陷往往比较小，所以检测起来就比较困难。
3.现有部分生产企业的铆钉缺陷检测采用的是人工目视检测法，该方法对工人的本身要求较高，需要具备丰富的缺陷识别经验，并且需要长时间的持续单一的运作，具有效率低，成本高的缺点；还有光学电磁技术检测法：基于光学技术或者电磁信号处理来实现缺陷检测，这类技术通常受其表面的粗糙程度影响较大；还有传统机器视觉检测算法：传统的机器学习算法以其能够提供稳定可靠的检测方案被广泛使用，但是随着缺陷种类的增加，其在面对一些难以量化的缺陷时候，算法设计困难甚至束手无策；还有基于深度学习cnn算法的缺陷检测：基于cnn算法的劣势在于缺乏长距离特征捕获的能力，在工业领域中，图像分辨率往往过大，基于cnn的缺陷检测无法充分利用到图像的一些全局信息。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于transformer模型的铆钉缺陷检测方法及系统，用于解决现有技术中对于产品的缺陷检测能力较低的问题。
5.本发明的实施方式提供了一种基于transformer模型的铆钉缺陷检测方法，包括以下步骤：获取待检测产品表面的原始图片，并将所述原始图像输入transformer模型；通过所述transformer模型生成含有各个区域像素值的掩码图；根据所述各个区域的像素值确定各个区域的缺陷概率；将所述缺陷概率高的区域与所述原始图片进行对应；根据对应结果确定所述原始图片内的缺陷。
6.本发明的实施方式还提供了一种基于transformer模型的铆钉缺陷检测系统，包括：获取模块，用于获取待检测产品表面的原始图片，并将所述原始图像输入transformer模型；处理模块，用于通过所述transformer模型生成含有各个区域像素值的掩码图，根据所述各个区域的像素值确定各个区域的缺陷概率；对应模块，用于将所述缺陷概率高的区域与所述原始图片进行对应，根据对应结果确定所述原始图片内的缺陷。
7.本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的基于transformer模型的铆钉缺陷检测方法。
8.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于transformer模型的铆钉缺陷检测方法。
9.本发明实施方式相对于现有技术而言，主要区别及其效果在于：通过将获取的产品表面的原始图像输入transformer模型，然后经过transformer模型对原始图片进行处理，根据处理结果生成含有各个区域像素值的掩码图，根据各个区域的像素值得出各个区域的缺陷概率，再将所述缺陷概率高的区域与所述原始图片进行对应，然后根据对应结果确定所述原始图片内的缺陷，从而可以高精度对产品表面进行缺陷检测，代替人工检测方案或者传统的视觉检测以及经典的深度学习cnn算法，减轻了工作人员的劳动强度。
10.作为进一步改进，在所述获取待检测产品的表面原始图片，并将所述表面原始图像输入transformer模型之前，包括：获取含有各种缺陷的产品表面图片，并提取所述产品表面图片中含有各种缺陷的区域；计算出所述含有各种缺陷的区域的像素值，并对像素值进行标注；利用标注好的像素值训练transformer模型。
11.上述方案通过使用含有各种缺陷的产品表面图片训练transformer模型，从而可以利用transformer模型对待检测产品表面的原始图片进行检测，自然语言处理中经典的transformer模型应用在了工业缺陷检测领域，并且对其网络结构进行了针对性的修改，从而使其更适合工业缺陷的检测。
12.作为进一步改进，所述通过所述transformer模型生成对应所述原始图像的掩码图，包括：对获取待检测产品表面的原始图片进行编码处理；根据编码处理结果生成低分辨率的特征图；对所述低分辨率的特征图进行解码处理；根据解码处理生成含有各个区域像素值的掩码图。
13.作为进一步改进，所述对获取待检测产品表面的原始图片进行编码处理，根据编码处理结果生成低分辨率的特征图，包括：将所述原始图片分成多个区域；多次提取多个区域内的普通特征和显著性特征；根据提取的普通特征和显著性特征生成特征图；压缩所述特征图的分辨率，根据压缩结果生成低分辨率的特征图。
14.作为进一步改进，在所述对所述低分辨率的特征图进行解码处理，根据解码处理生成含有各个区域像素值的掩码图，包括：提升低分辨率的特征图的分辨率，根据提升结果生成高分别率的特征图；根据高分辨率的特征图生成含有各个区域像素值的掩码图。
15.上述方案通过多次提取多个区域内的普通特征和显著性特征，然后将提取的普通特征和显著性特征生成特征图，并压缩特征图的分辨率，然后再提高特征图的分辨率，使得本方案具有较高的全局特征提取能力，并对缺陷的分割效果较好，检测出缺陷的能力较强。
16.作为进一步改进，所述根据所述各个区域的像素值确定各个区域的缺陷概率，包括：根据所述各个区域的像素值与预设阈值之间的差值确认各个区域的缺陷概率的高低，其中，该区域像素值与预设阈值之间的差值越小，则该区域的缺陷概率越高。
17.作为进一步改进，在所述根据所述各个区域的像素值确定各个区域的缺陷概率之前，包括：根据所述掩码图的参数对掩码图进行筛选，根据筛选结果得到符合条件的掩码图。
18.上述方案根据该掩码图的参数对掩码图进行筛选，并且根据筛选结果得到符合条件的掩码图，从而可以避免一些异常检测情况的出现，防止产品的一些正常区域被误判成缺陷区域，从而能够最大程度的降低过检。
附图说明
19.图1显示为本发明第一实施方式中的基于transformer模型的铆钉缺陷检测方法流程图；
20.图2显示为本发明第二实施方式中的基于transformer模型的铆钉缺陷检测方法流程图；
21.图3显示为本发明第三实施方式中的基于transformer模型的铆钉缺陷检测方法流程图；
22.图4显示为本发明第三实施方式中的基于transformer模型的铆钉缺陷检测系统示意图；
23.图5显示为本发明第四实施方式中的电子设备示意图；
24.图6显示为本发明中的提取特征单元整体的计算流程图；
25.图7显示为本发明中掩码图与待检测产品表面的原始图片的对应图；
26.图8显示为本发明中产品的整体加工和检测的流程图；
27.图9显示为编码处理和解码处理的整体网络结构图。
具体实施方式
28.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
29.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
30.本发明的第一实施方式涉及一种基于transformer模型的铆钉缺陷检测方法。流程如图1所示，具体如下：
31.步骤101，获取待检测产品表面的原始图片，并将该原始图像输入transformer模型；
32.具体的说，待检测产品表面的原始图片为待检测铆钉的表面的图片，是利用线扫相机进行拍摄获取的。
33.步骤102，通过transformer模型生成含有各个区域像素值的掩码图。
34.具体的说，通过对获取待检测产品表面的原始图片进行编码处理，然后根据编码处理结果生成低分辨率的特征图，再对低分辨率的特征图进行解码处理，最后根据解码处理生成含有各个区域像素值的掩码图，其中，掩码图是一张像素范围0～255的图片。
35.步骤103，根据各个区域的像素值确定各个区域的缺陷概率。
36.具体的说，根据各个区域的像素值与预设阈值之间的差值确认各个区域的缺陷概率的高低，其中，该区域像素值与预设阈值之间的差值越小，则该区域的缺陷概率越高。
37.步骤104，将缺陷概率高的区域与该原始图片进行对应。
38.具体的说，将缺陷概率高的区域与该原始图片进行对应，是缺陷概率高的区域对应的像素值与原始图片的像素值进行一一对应，从而将缺陷概率高的区域映射到原始图片上。
39.步骤105，根据对应结果确定该原始图片内的缺陷。
40.实际应用中，根据transformer模型对待检测产品表面的原始图片进行处理，处理过会得到一张像素范围0～255的掩码图，其中像素值越接近于255，代表原图该位置像素是缺陷的概率越高，然后再将掩码图的各个区域像素值和原图像素值一一对应，从而得到原始图片内的缺陷区域，具体如图7所示。
41.本实施方式可以通过将获取的产品表面的原始图像输入transformer模型，然后经过transformer模型对原始图片进行处理，根据处理结果生成含有各个区域像素值的掩码图，根据各个区域的像素值得出各个区域的缺陷概率，再将所述缺陷概率高的区域与所述原始图片进行对应，然后根据对应结果确定所述原始图片内的缺陷，从而可以高精度对产品表面进行缺陷检测，代替人工检测方案或者传统的视觉检测以及经典的深度学习cnn算法，减轻了工作人员的劳动强度。
42.本发明的第二实施方式涉及一种基于transformer模型的铆钉缺陷检测方法，第二实施方式是对第一实施方式整体的详细论述，主要详细的论述在于：在本发明的第二实施方式中，明确了一种实施方式，此实施方式论述了训练transformer模型和通过transformer模型生成含有各个区域像素值的掩码图的具体过程。
43.本实施方式请参阅图2，包括以下步骤，进行如下说明：
44.步骤201，获取含有各种缺陷的产品表面图片，并提取该产品表面图片中含有各种缺陷的区域。
45.具体的说，含有各种缺陷的产品表面图片是利用线扫相机进行拍摄获取的。
46.步骤202，计算出含有各种缺陷的区域的像素值，并对像素值进行标注。
47.具体的说，含有各种缺陷的区域的像素值一般来说与预设阈值之间的差值较小，预设阈值一般是255，含有各种缺陷的区域的像素值与255之间的差值较小。
48.步骤203，利用标注好的像素值训练transformer模型。
49.步骤204与第一实施方式中的步骤101相类似，在此不再赘述。
50.步骤205，对获取待检测产品表面的原始图片进行编码处理。
51.步骤206，根据编码处理结果生成低分辨率的特征图。
52.具体的说，通过将原始图片分成多个区域，然后多次提取多个区域内的普通特征和显著性特征，再根据提取的普通特征和显著性特征生成特征图，最后压缩特征图的分辨率，根据压缩结果生成低分辨率的特征图。
53.步骤207，对低分辨率的特征图进行解码处理。
54.步骤208，根据解码处理生成含有各个区域像素值的掩码图。
55.具体的说，通过提升低分辨率的特征图的分辨率，根据提升结果生成高分别率的特征图，然后根据高分辨率的特征图生成含有各个区域像素值的掩码图。
56.步骤209至步骤211与第一实施方式中的步骤103至步骤105相类似，在此不再赘述。
57.本实施方式可以通过使用含有各种缺陷的产品表面图片训练transformer模型，
从而可以利用transformer模型对待检测产品表面的原始图片进行检测，自然语言处理中经典的transformer模型应用在了工业缺陷检测领域，并且对其网络结构进行了针对性的修改，从而使其更适合工业缺陷的检测；也通过对获取待检测产品表面的原始图片进行编码处理和解码处理，然后根据编码处理和解码处理生成含有各个区域像素值的掩码图，使得本方案具有较高的全局特征提取能力，检测出缺陷的能力较强。
58.本发明的第三实施方式涉及一种基于transformer模型的铆钉缺陷检测方法，第二实施方式是对第一实施方式整体的详细论述，主要详细的论述在于：在本发明的第二实施方式中，明确了一种实施方式，此实施方式论述了编码处理和解码处理的具体过程。
59.本实施方式请参阅图3，包括以下步骤，进行如下说明：
60.步骤301与第一实施方式中的步骤101和第二实施方式中的步骤204相类似，在此不再赘述。
61.步骤302，将该原始图片分成多个区域。
62.实际应用中，首先会对图片进行图像分片，图像分片的同时，会在通道维度进行对应比例的增加，最大限度的保证图像的原始信息不变，例如会将原始的h*w*3大小的图片，宽高都进行四倍的下采样，则每一块切片的维度相应的变为h/4*w/4*48。
63.步骤303，多次提取多个区域内的普通特征和显著性特征。
64.步骤304，根据提取的普通特征和显著性特征生成特征图。
65.实际应用中，提取特征的单元是基于滑动窗口的，基于这种窗口的分配机制，其连续层之间的数据传递方式可以表示为：假设x
l
表示的是当前第l层的输入变量，x
l-1
表示的是第l-1层的输入变量，x
l+1
表示的是第l+1层的输出变量，x1表示的是当前1层的临时参数，则提取特征的单元整体的计算方式如下：
66.x
l
＝w(l(x
l-1
))+x
l-1
，x＝m(l(x1))+x1，x
l+1
＝s(l(x
l
))+x
l
，x
l+1
＝m(l(x
l+1
))+x
l+1
，其中，线性层的运算用符号为l(x
l
)，多层感知机的运算用符号为m((x
l
))，基于窗口的多头注意力用w((x
l
))，基于滑动窗口的多头自注意力为s((x
l
))，具体如图6所示。
67.步骤305，压缩特征图的分辨率，根据压缩结果生成低分辨率的特征图。
68.实际应用中，然后将原始分块图像的每个像素的数据进行线性变换，将h/4*w/4*48维度的数据线性编码后变成h/4*w/4*c的维度，其中c可为人工设置的超参数，分块合并模块可以对比cnn模型的下采样操作，分块合并主要作用是将图像2x2的均分成4块，然后再在深度维度上进行拼接，并且在深度方向再进行一个线性变化，经过分块合并模块后的特征图的宽高会减半，深度会翻倍。
69.步骤306，提升低分辨率的特征图的分辨率，根据提升结果生成高分别率的特征图。
70.步骤307，根据高分辨率的特征图生成含有各个区域像素值的掩码图。
71.实际应用中，主要是下采样操作的逆变换，是为了对图像进行上采样，恢复图像的分辨率，而最后的线性投影是为了将我们最后的计算特征映射到和标签相对应的值域进行损失计算，同时线性投影后的结果作为网络的最终输出图，最终会将每个像素的值域投影到0～1范围，在输出掩码图之前，会对图像的浅层特征经过一个跳跃连接，拼接到图像的解码模块，这样的操作可以更大程度的保留一些浅层特征的提取，以上整个详细流程如图9所示。
72.步骤308，根据该掩码图的参数对掩码图进行筛选，根据筛选结果得到符合条件的掩码图。
73.具体的说，其中，参数包括掩码图的灰度值，轮廓面积和接矩形宽高，对掩码图的灰度值，轮廓面积和接矩形宽高的具体数值范围进行人工设置，然后通过设置的具体数值范围对掩码图进行筛选，从而可以避免出现一些异常的检测情况。
74.步骤309至步骤311与第一实施方式中的步骤103至步骤105和第二实施方式中的步骤209至步骤211相类似，在此不再赘述。
75.本实施方式可以通过多次提取多个区域内的普通特征和显著性特征，然后将提取的普通特征和显著性特征生成特征图，并压缩特征图的分辨率，然后再提高特征图的分辨率，使得本方案具有较高的全局特征提取能力，并对缺陷的分割效果较好，检测出缺陷的能力较强；根据该掩码图的参数对掩码图进行筛选，并且根据筛选结果得到符合条件的掩码图，从而可以避免一些异常检测情况的出现，防止产品的一些正常区域被误判成缺陷区域，从而能够最大程度的降低过检。
76.本发明的第四实施方式涉及一种基于transformer模型的铆钉缺陷检测系统，请参阅图4，包括：
77.获取模块，用于获取待检测产品表面的原始图片，并将该原始图像输入transformer模型；
78.处理模块，用于通过transformer模型生成含有各个区域像素值的掩码图，根据各个区域的像素值确定各个区域的缺陷概率；
79.对应模块，用于将缺陷概率高的区域与该原始图片进行对应，根据对应结果确定该原始图片内的缺陷。
80.不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
81.值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
82.本发明第四实施方式涉及一种服务器，请参阅图5，包括：
83.至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的基于transformer模型的铆钉缺陷检测方法。
84.其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与
各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
85.处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
86.本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例。
87.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.综上所述，本发明通过将获取的产品表面的原始图像输入transformer模型，然后经过transformer模型对原始图片进行处理，根据处理结果生成含有各个区域像素值的掩码图，根据各个区域的像素值得出各个区域的缺陷概率，再将所述缺陷概率高的区域与所述原始图片进行对应，然后根据对应结果确定所述原始图片内的缺陷，从而可以高精度对产品表面进行缺陷检测，代替人工检测方案或者传统的视觉检测以及经典的深度学习cnn算法，减轻了工作人员的劳动强度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
89.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。