一种基于Transformer的工业CT图像缺陷检测方法及系统

本发明属于缺陷检测，具体涉及一种基于transformer的工业ct图像缺陷检测方法及系统。

背景技术：

1、缺陷检测是工业上非常重要的一个应用，工业生产过程中会存在各式各样的缺陷，航空航天和军事等领域产品在实际应用中也要求产品质量，这些缺陷会影响产品的性能指标，影响正常使用，造成经济损失和安全问题。所以准确地检测出有缺陷的产品对工业生产有重大的意义。

2、中国人民解放军空军工程大学的魏小龙等人提出一种利用超声波信号对复合材料进行缺陷检测的方法(中国人民解放军空军工程大学，“一种基于transformer的复合材料缺陷检测方法及系统”，cn202111267091.1)。该技术方案中通过获取复合材料的超声波数据进行缺陷检测，但超声波检测要求被测材料厚度不宜过大，而且难以实现复杂形状的材料检测。

3、燕山大学的张玉燕等人提出一种利用工业ct和faster r-cnn网络对金属材料进行缺陷检测的方法(燕山大学，“一种基于faster r-cnn的多层金属点阵结构材料内部缺陷检测方法”，中国专利号：cn201811434076.x)该技术方案通过对金属材料进行ct扫描，通过faster r-cnn网络对ct图像进行缺陷检测。但基于卷积神经网络的检测方式缺乏对数据的全局理解，无法利用数据间的位置信息提取深层特征。

4、ct能够以非接触的方式探测到物体内部的结构形状、缺陷位置及精确尺寸等信息，被广泛应用于医学诊断、工业部件检测、材料组成分析等领域，已成为最重要的无损检测方法之一。

5、transformer网络可以更好地处理序列信息，捕捉到不同位置之间的依赖关系，因此可以更好地处理工业ct图像这样的三维体数据。相比之下，传统的cnn对于处理长序列数据的能力较弱。

6、transformer神经网络具有独特的自注意力机制，可以实现大量数据的并行处理，在不引入卷积操作的情况下对序列信息进行编码和解码，因此可以大幅减少模型参数量。在工业ct图像缺陷检测任务中，这可以减少模型的计算复杂度和存储成本。由于transformer网络的参数相对较少，可以更好地在不同的工业ct图像数据集之间进行迁移学习，提高模型的泛化能力。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于transformer的工业ct图像缺陷检测方法及系统，判断待测目标的缺陷类型，提高缺陷检测的准确率，为工业测量、无损检测等提供可靠保障。

2、一种基于transformer的工业ct图像缺陷检测方法，该方法包括如下步骤：

3、s1：对待测目标进行ct扫描，采集待测目标的ct投影数据，并对待测目标的ct投影数据进行预设第一处理；

4、s2：将预设第一处理后的待测目标的ct切片图像划分为训练数据集x和验证数据集y并在训练数据集中进行缺陷类型的标注；

5、s3：构建基于transformer的缺陷学习与检测模型；

6、s4：将划分的训练数据集x输入搭建的基于transformer的缺陷学习与检测模型中对模型进行训练，再将划分的验证数据集y输入训练好的缺陷学习与检测模型中，在图像中实现标记待测目标的缺陷类型。

7、具体的，步骤s1中，ct扫描为如下扫描方式之一：圆周锥束扫描、螺旋扫描、直线轨迹扫描。

8、具体的，步骤s1中，第一预设处理包含如下步骤：

9、s11：将待测目标的ct投影数据利用预设重建算法进行ct图像重建；

10、s12：将s11处理后的待测目标的ct图像进行切片处理得到ct切片图像。

11、具体的，步骤s11中，预设重建算法为fdk重建算法。

12、具体的，步骤s2中，将预设第一处理后的待测目标的ct切片图像的70％划分为训练数据集x，将剩余的30％划分为验证数据集y。

13、具体的，步骤s3包括如下步骤：

14、s31：搭建位置编码网络，对ct切片图像进行位置编码；

15、s32：搭建多头自注意力网络，可以形成多个子空间，让网络去关注不同层面的信息，得到多个层面的特征信息，将多头自注意力网络的输入与输出相加后使用层标准化处理；

16、s33：搭建相加和层标准化层，将多头自注意力网络的输入与输出相加后使用层标准化处理；

17、s34：搭建前馈网络，前馈网络为简单两层线性映射再经过一个激活函数的运算，将前馈网络的输入与输出相加后使用层标准化处理；

18、s35：重复步骤s32～s34，将第一多头自注意力网络、第一相加和层标准化层、第一前馈网络连接得到单个编码器，将若干个单个编码器相连得到多个编码器网络；

19、s36：利用步骤s32～s34搭建的网络，将第二多头自注意力网络、第二相加和层标准化层、第三多头自注意力网络、第三相加和层标准化层和第二前馈网络连接得到单个解码器，将若干个单个解码器相连得到多个解码器网络；

20、s37：搭建分类网络，使用全连接网络修改最后一个解码器的输出维度为缺陷类型数；

21、s38：对处理后的结果采用二分类交叉熵损失作为训练的误差函数，训练中选择adam优化方法，在训练中完成一个批次训练后进行一次验证，保存上述过程中的训练交叉熵损失、训练准确率、验证交叉熵损失、验证准确率；

22、s39：将步骤s31的位置编码网络、步骤s35的多个编码器网络、步骤s36的多个解码器网络、步骤s37的分类网络以及步骤s38的交叉熵损失构建完成基于transformer的缺陷学习与检测模型。

23、进一步的，步骤s31中，位置网络编码的编码方式为：

24、

25、

26、其中，k表示该对象在本条信号中的位置编号，取值范围为[0,l]，l表示信号的最大长度，i用于映射到列索引，d表示输出嵌入空间的维度。

27、具体的，步骤s32中，ct切片图像特征为：

28、

29、其中，q为查询矩阵，k为键矩阵，v为值矩阵，dk为矩阵kt×q的方差，t代表矩阵的转置。

30、具体的，步骤s39中的多个编码器网络的若干第一前馈网络的输出与多个解码器网络的若干第三多头自注意力网络输入相连。

31、具体的，步骤s38中，采用交叉熵损失函数计算交叉熵损失如下:

32、

33、其中，n表示批处理的样本数量，∑表示对后面的运算求和，yn表示标签，ln表示取对数，pn表示样本预测为缺陷的概率。

34、在步骤s4中训练基于transformer的缺陷学习与检测模型具体包括：

35、s41：设置训练超参数包括：训练批次、批次数量、验证次数、学习率；

36、s42：按批次随机选取训练数据集x中的数据输入步骤s3中搭建的基于transformer的缺陷学习与检测模型中进行训练；

37、s43：训练结束后进行检测，按批次随机选取验证训练数据集y中的数据输入步骤s42中训练的网络模型中进行验证，最后返回训练和验证过程中的准确率、交叉熵损失图。

38、本发明的另一技术方案是，一种基于transformer的工业ct图像缺陷检测系统，其特征在于，包括：

39、采集模块：对待测目标进行ct扫描，采集待测目标的ct投影数据；

40、重建模块：将采集模块得到的ct投影数据进行ct图像重建；

41、切片模块：将重建模块得到的ct图像进行切片处理；

42、划分模块：将切片模块得到的ct切片图像划分为训练数据集x和验证数据集y；

43、模型模块：搭建基于transformer的缺陷学习与检测模型；

44、训练和检测模块：将划分模块划分的训练数据集x输入模型模块搭建的基于transformer的缺陷学习与检测模型进行训练，再将划分模块划分的验证数据集y输入训练好的基于transformer的缺陷学习与检测模型中，在图像中实现标记待测目标的缺陷类型。

45、本发明采用上述技术方案，与现有技术相比，至少具有以下优点：

46、本发明采用基于transformer的工业ct图像缺陷检测方法，得益于transformer神经网络的自注意力机制，提取到的信息，相比于cnn神经网络更加全面，相比于rnn网络运行速度更快。本发明使用穿透能力强的工业ct来获取待测目标的内部信息，可以实现大部分，缺陷检测的应用范围扩大。通过搭建基于transformer的缺陷学习与检测模型可以实现对ct数据的缺陷检测，识别准确率相比于传统方法有所提高，而且可以实现传统方法所不能检测的目标的缺陷准确识别。