基于改进Transformer算法的金属内部夹杂物检测方法、系统与流程

本技术涉及金属内部夹杂物检测，具体而言，涉及一种基于改进transformer算法的金属内部夹杂物检测方法、系统。

背景技术：

1、随着工业制造和生产信息化程度的不断提高，金属材料中微量非金属夹杂物将严重影响产品质量和使用寿命。基于超声信号分析的方法通常是通过检测信号的异常部分来检测材料中的夹杂物。目前，人工智能和深度学习方法是研究时间序列异常检测的主要方法。基于变压器的序列建模能力，自然更适合于时间序列，也是一种序列型数据结构。随着技术的发展，变压器开始在时间序列预测、视觉分类、检测等领域进行争夺。然而，每个特定领域的输入数据都具有自相关性、周期性等特殊特征，这给变压器在不同场景下的应用带来了新的挑战，使得针对不同任务的多种transformer架构出现在业界。当超声波在材料内部传播时，粗糙颗粒产生的背景噪声或散射噪声给微小夹杂物的检测带来了困难，导致传统夹杂物检测方法易受背景噪声或散射噪声影响检测效果下降。

技术实现思路

1、本技术的实施例提供了一种基于改进transformer算法的金属内部夹杂物检测方法、系统，进而至少在一定程度上实现了通过构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况，以便于采用金属内部夹杂物检测的改进transformer架构，克服传统夹杂物检测方法易受背景噪声或散射噪声影响检测效果下降的问题。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供了一种基于改进transformer算法的金属内部夹杂物检测方法，包括：

4、利用水浸式超声c扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；

5、构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况。

6、在本技术的一些实施例中，所述构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况，包括：

7、依次构建编码器、解码器；

8、根据编码器、解码器依次对异常结果进行训练，其中，构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测；

9、输出异常结果，得到相应金属材料内部的夹杂物情况。

10、在本技术的一些实施例中，所述构建编码器包括：

11、将原始超声信号进行数据处理；其中，使用结合上下文的一维卷积对输入数据进行处理，分别用核大小为{1，k，1}与步长为1的卷积计算，将输入转换为q(查询)、k(键)和v(值)，这种位置感知实现使注意力关注局部上下文，使得更相关的特征能够得到匹配。

12、将q(查询)、k(键)和v(值)输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(add&normalize)；

13、将向量z经过feed forward网络和归一化(add&normalize)生成高阶向量r1；

14、将高阶向量r输入到下一个encoder，经过6个encoder，生成最终高阶向量r2。

15、在本技术的一些实施例中，所述将步骤s1中得到的q(查询)、k(键)和v(值)输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(add&normalize)，包括：

16、降噪注意力机制模块由池化层、两个权值分布的全连接层和两个激活函数层组成；

17、向量q和k经由全局池化、全连接层、relu激活层、全连接层以及sigmoid激活层得到向量q1和k1；

18、计算q1与k1的点积再除以根号dk，这里的dk是attention的输出维度大小，计算得到e1，对上述的attention score值进行softmax转换得到概率值α1(也可以认为是value的系数)了,将上述概率值(α1)乘以对应的v值，每个维度对应相加后便得到了z1；

19、计算公式如下：

20、

21、在本技术的一些实施例中，所述构建解码器包括：

22、将原始超声信号进行数据处理后输入到第一层解码器中得到outputs矩阵，用mask矩阵作用于outputs矩阵，mask矩阵中元素“1”对应的outputs单元元素保留原值，“0”对应的outputs单元元素替换为负极大值。便可得到对应的attention score的矩阵；

23、attention score的矩阵经过归一化(add&normalize)后的向量作为query，步骤s4生成的高阶向量作为key和value，输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(add&normalize)；

24、向量经过全连接层和sigmoid激活函数，得到输出o；

25、将输出输入到下一层decoder中，经过6个decoder，得到最终结果；

26、根据最终结果构建损失函数，并确定异常结果，以得到相应金属材料内部的夹杂物情况。

27、在本技术的一些实施例中，所方法还包括：

28、损失函数考虑到当涉及噪声刺激或参数扰动时，不可避免地会出现过拟合和不适定解问题，采用基于l2正则化的稀疏回归对输出权值进行精细学习。

29、在本技术的一些实施例中，所方法还包括：

30、使用l2范数定义每个解码器的重构损失，具体公式为：

31、

32、式中，其中λ为l2正则化的惩罚参数。为了计算方便，将系数1/l替换为1/2。

33、在本技术的一些实施例中，所方法还包括：

34、输出o的具体公式为：

35、

36、

37、

38、

39、根据本技术实施例的一个方面，提供了一种基于改进transformer算法的金属内部夹杂物检测系统，包括：

40、信号模块，用于利用水浸式超声c扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；

41、结果模块，用于构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况。

42、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于改进transformer算法的金属内部夹杂物检测方法。

43、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于改进transformer算法的金属内部夹杂物检测方法。

44、根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的基于改进transformer算法的金属内部夹杂物检测方法。

45、在本技术的一些实施例所提供的技术方案中，利用水浸式超声c扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；构建改进的transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况，以便于采用金属内部夹杂物检测的改进transformer架构，克服传统夹杂物检测方法易受背景噪声或散射噪声影响检测效果下降的问题。

46、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。