基于深度学习的金属断口类型识别方法

本发明属于深度学习领域，涉及一种金属断口类型识别方法，更具体的说，涉及一种基于深度学习技术以及jetson nano b01嵌入式设备的金属断口类型智能识别方法及系统。

背景技术：

1、金属材料是一种由金属元素构成且具有特定物理和化学性质的材料，其广泛应用于工业生产及日常生活的不同领域，如航空航天、冶金制造、交通运输、市政设施等。在复杂工作环境的作用下，服役的金属材料往往会发生疲劳失效，在金属表面脆弱部位形成断口，进而造成巨大经济损失甚至人员伤亡。因此，为了有效防止金属失效发生，需对金属断口(metal fracture,mf)类型进行分析以探索失效原因，为改进金属材料的生产方式及使用环节提供有价值的信息。

2、目前，对于金属材料的断口识别通常由经验丰富的专家通过人工经验进行分析。首先需通过扫描电子显微镜(scanning electron microscope,sem)对金属断口部位进行扫描放大，得到金属断口电镜图像。然后根据金属断口扫描电镜图像及相应的特征对断口类型进行识别。然而，由于金属断口图像间存在较强的类内复杂性及类间相似性，不同的专家可能会给出不同的结果，乃至出现错分的情况。同时，由于需要人工参与，因此诊断过程需要消耗大量时间及人力且难以在复杂的工业现场进行实时诊断。虽已有部分研究基于传统机器学习方法对金属断口进行识别，但上述方法仍需基于专家经验设计特征提取规则和分类器，而特征提取规则的好坏和分类器的性能会严重影响识别精度，导致断口识别准确率无法达到需求。

3、近年来，随着深度学习技术的蓬勃发展，其在图像识别领域取得了一系列优异成绩。但在采用深度学习算法解决跨领域工业金属断口识别任务时会出现如下问题：如在跨领域设计模型过程中需手动调参，影响模型的设计效率及识别性能；经典模型结构对于断口细粒度图像识别性能有限；深度学习模型内部参数量过多，难以在工业场景下低算力设备上进行部署应用

4、综上所述，如何减少人工识别以及传统机器学习方法带来的误判，解决深度学习算法在金属断口识别任务中面临的问题，进而提升金属断口类型的识别准确率，辅助判定断裂机理，是失效分析领域亟待解决的问题，具有实际应用价值。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明采用的技术方案是：根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，包括：

2、s10.对金属断口扫描电子显微镜图像进行采集、收集及预处理，构建金属断口图像数据集；

3、s20.构建深度学习模型骨干网络结构，用于对金属断口扫描电子显微镜图像进行特征提取及分类；

4、s30.对构建的深度学习模型骨干网络结构的参数进行优化；

5、s40.在深度学习模型骨干网络结构加入注意力机制，得到深度学习模型；

6、s50.对深度学习模型进行训练；

7、s60.对训练后的深度学习模型轻量化部署；

8、s70.将轻量化部署的深度学习模型通过tensorrt转换为嵌入式系统上的推理引擎，并部署在工业环境下计算资源有限的嵌入式系统jetsonnanob01设备上，jetsonnanob01设备的推理引擎根据输入的金属断口扫描电子显微镜图像推理得到金属断口类型并输出。

9、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，所述步骤s70中的jetsonnanob01设备的推理引擎推理得到金属断口类型输出在现场显示器端进行显示，并保存在jetsonnanob01设备的内存中。

10、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，jetsonnanob01设备通过以太网将推理引擎推理得到金属断口类型上传至服务器端。

11、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，步骤s10具体包括：

12、(a)首先使用日立su-8010扫描电子显微镜，对不同温度下13cr不锈钢以及不同环境下x70管线钢的断口部位进行扫描，获得不同类型的金属断口扫描电子显微镜图像，采集图像的分辨率大小为1280×960；

13、(b)通过搜集不同断口类型和分辨率大小的金属断口扫描电子显微镜图像对数据量进行扩充；

14、(c)对采集和收集到的不同分辨率大小的金属断口扫描电子显微镜图像进行裁剪或填充，将图像分辨率大小统一为128×128，填充方式为对于不满足规定大小的图像，对缺少的像素值使用0元素进行填补；

15、(d)对获得的金属断口扫描电子显微镜图像进行数据预处理，预处理方式为使用pytorch深度学习库对图像进行平移、翻转、缩放、zca白化，以对图像进行增强，获得金属断口扫描电子显微镜图像数据集。

16、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，步骤s20中深度学习模型骨干网络结构的连接方式为直连型神经网络结构，无跳跃连接和跨层连接，每一层卷积层与其前后层间直接相连，深度为14层包含1个输入层，6个卷积层，1个flatten层，2个全连接层，3个池化层以及1个dropout层；

17、步骤s40中在深度学习模型骨干网络结构加入注意力机制，包括在深度学习模型骨干网络结构的最后一层卷积层位置插入混合注意力cbam结构，最后一层卷积层输出的特征图首先经过通道注意力模块，获得通道注意力特征图，由式(1)表示：

18、

19、式中，mc(f)表示通道注意力特征图，σ表示sigmoid函数，mlp为一个两层全连接网络，w0和w1分别表示权重值，avgpool和maxpool分别表示平均池化和最大值池化，f表示输入特征，表示沿通道维度的全局平均池化特征，表示沿通道维度的全局最大池化特征；

20、在通过通道注意力模块后的特征再输入到空间注意力模块，由式(2)表示：

21、

22、式中，ms(f)表示，f7×7表示大小为7×7的卷积核对特征进行卷积操作，表示沿空间维度的全局平均池化特征，表示沿空间维度的全局最大池化特征。

23、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，s30.对构建的深度学习模型骨干网络结构的参数进行优化，包括

24、(a)将深度学习模型骨干网络结构内包含的不同类型超参数进行一致性编码，将卷积层中卷积核数量及尺寸、全连接层中神经元数量、初始学习率值、dropout值、池化层类型和激活函数类型整体编码为一个24维参数矩阵，并根据各自取值范围随机初始化10组参数矩阵；

25、(b)对深度学习模型骨干网络结构分别载入初始化的10组参数矩阵获得候选深度学习模型，并在金属断口图像数据集上进行训练并计算对应的识别准确率，通过参数矩阵及对应的识别准确率构建初始高斯过程模型；

26、(c)使用ucb函数作为获取函数，根据高斯过程模型计算获取函数值，将获取函数值最大的参数矩阵作为下一轮候选模型的参数矩阵；

27、(d)训练新的候选模型，获得其识别准确率，并根据新的参数矩阵和识别准确率更新高斯过程模型；

28、(e)重复迭代上述过程，直到若干轮内没有更高识别准确率的候选模型产生，最终识别准确率最高的模型的参数矩阵是深度学习模型骨干网络结构的参数配置。

29、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，步骤s50中对深度学习模型进行训练，包括：

30、(a)特征的前向传播：通过卷积操作进行特征提取，不同卷积层间重复卷积操作进行特征的前向传播，由式(3)表示：

31、c(t)＝(x*k)(t)＝∫x(a)k(t-a)da (3)

32、式中，c(t)表示变量x与核函数k的卷积结果，t表示自变量，a表示积分变量，*表示卷积运算，卷积的变量x为输入金属断口扫描电子显微镜图像形成的二维矩阵向量，卷积结果c(t)是通过二维卷积矩阵的核函数k对变量x内部进行滑动卷积操作所得到的结果，卷积后卷积结果c(t)进入到下一卷积层，由式(4)表示：

33、c(t+1)＝δ(k*c(t)+b) (4)

34、式中，δ表示激活函数，b为偏置项；

35、(b)误差的反向传播：基于损失函数以及优化器实现，损失函数为交叉上损失函数，由式(5)表示，基于损失函数得到误差值后，反向计算损失值对于权重及偏置的梯度值，并根据梯度下降的原则更新权重值及偏置值，梯度下降的速度由学习率控制，学习率的优化过程由adam优化器定义；

36、

37、式中，l表示损失函数，n表示样本数量，c表示样本类别，m为数据集中类别的数量，yic为符号函数，当样本i的真实类别等于c则yic为1，否则yic为0，pic为预测样本i等于c的概率。

38、根据本技术一些实施例中的基于深度学习的金属断口类型识别方法，步骤s70中将轻量化部署的深度学习模型通过tensorrt转换为嵌入式系统上的推理引擎，并部署在工业环境下计算资源有限的嵌入式系统jetson nano b01设备上，包括

39、(a)模型轻量化：过程中进行模型结构化剪枝，剪枝过程基于结构化剪枝中的通道剪枝算法，通过衡量模型中通道的重要度，对重要度较低的通道进行去除，经剪枝过程后的深度学习模型的损失函数，通过公式(6)进行描述，经过训练后的深度学习模型获得各通道的重要性，最后根据剪枝比率获得裁剪后的轻量化模型；

40、

41、式中，ls表示经剪枝过程后的深度学习模型的损失函数，x表示训练集的输入，y表示输入对应的标签，f表示深度学习模型函数，w表示权重参数，λ是平衡因子，γ为模型批归一化层中的缩放因子，g(γ)是对γ的度量计算且表示为l1范数，γ表示缩放因子组成的空间；

42、(b)模型微调：通过对轻量化模型微调恢复模型精度，以降低剪枝导致的模型精度的损失，微调方式为重复s50中对深度学习模型进行训练的步骤，恢复模型识别精度。

43、(c)模型部署：将模型轻量化以及模型微调处理后的深度学习模型部署在jetsonnanob01设备上，包含

44、(1)通过tensorrt深度学习推理sdk，将深度学习模型转换为在嵌入式设备中的推理引擎。

45、(2)将转换的推理引擎下载到jetsonnanob01设备中。

46、本发明的有益效果是：与已有发明技术相比，本发明通过参数优化模块实现模型的自动设计；同时通过注意力机制增强模型的特征提取能力；最后采用轻量化剪枝方法对深度学习模型进行压缩，以便在工业嵌入式设备jetsonnanob01上进行应用部署。最终实现了在工业场景下对金属断口类型的智能、准确、高效识别。

47、本发明充分利用深度学习技术完成了金属断口类型识别，辅助判定断裂机理。使用参数优化技术减少了模型设计过程中的人为干预；引入注意力机制增强了识别准确率；同时通过模型剪枝技术实现了轻量化模型在嵌入式系统上的部署应用，具有实际的应用价值和意义。