一种基于深浅特征融合的不锈钢焊缝超声缺陷检测方法与流程
本发明涉及不锈钢焊缝检测技术领域，具体为一种基于深浅特征融合的(奥氏体)不锈钢焊缝超声缺陷检测(识别)方法。
背景技术：
焊接缺陷检测对于建筑和工业活动至关重要，是工业生产中的重要任务。奥氏体不锈钢材作为一种国家资源，对奥氏体不锈钢焊缝缺陷检测更是焊接缺陷检测中的一项重要任务。因此，快速及时地掌握奥氏体不锈钢焊缝缺陷检测模型是亟待解决的工程实践问题。目前传统的焊缝缺陷检测工作需要人工来完成，这种检测方法一般由专业人员检测焊缝缺陷，分析缺陷严重程度并对缺陷进行定性，缺点是主观性强，耗时费力，检测成本高。随着人工智能的发展，计算机视觉和机器学习已成功应用于奥氏体不锈钢焊缝缺陷检测。
马晓磊对裂纹和气孔两类典型的材料缺陷展开研究，使用有限元仿真软件comsol建模并提取了缺陷回波a信号进行模式识别，实现了两类缺陷92％的识别率；xiaokakiwang等人从时域和频域特征出发，在最终提取了9个特征值的情况下，对良好点焊接头、合格点焊接头和不合格点焊接头使用pso-svm算法达到了95％的识别率；胡宏伟等人提出了基于一种基于一维局部二元模式(1-dlbp)算法，通过与核主成分分析(kpca)相结合，对焊缝缺陷回波信号数据进行特征提取，最终通过支持向量机在夹渣、气孔和未焊透3类焊缝缺陷上达到了96.7％的分类精度。
“基于信号处理的特征提取+机器学习”的方法，效果主要局限在气孔、夹渣和未焊透三类缺陷的检测，引起如此检测结果的原因主要是由于传统机器学习方法具有高度的任务相关性，需要人工设计缺陷特征，检测仍然受检测员经验、环境、缺陷类型的影响，需要丰富专业知识作为支撑，而且在挑选特征时也更容易带入人工误差，造成提取的特征主观经验性强、特征表达不充分等问题，无法做到真正意义的智能检测识别，而且还存在计算成本较高，难以满足各类故障实时检测的需求。
近年来，深度学习在各种机器视觉识别任务中获得了良好的表现。与机器学习方法不同，深度学习不需要人工对特征进行分析从而设计相关特征提取器，而是能够自动对原始图像进行特征提取，而且相比传统图像识别算法，深度学习在图像分类方面存在着较大优势。这为奥氏体不锈钢焊缝缺陷的自动化检测提供了新途径。
xiongzhang等人提出了一种融合多通道卷积神经网络的太阳能电池表面缺陷检测算法，对太阳能电池板表面破细胞壁、裂纹和拆焊区缺陷达到了平均98.3％的识别率；jiazeshang等人提出了一个具有8层结构的raynet用于输油管道x射线图像焊缝缺陷分类，在凹性缺陷、咬边缺陷、棒缺陷、圆形缺陷、未熔透缺陷和不完全熔透缺陷上分类精度达到了96.5％；刘涵等人使用聚类算法对石油钢管焊缝缺陷x射线图片进行缺陷分割，再利用2层cnn网络对焊缝三类缺陷进行识别和定位，最终达到97.44％的平均识别准确率；fernandorocabarceló等人将小波变换应用于消除tofd二维超声焊缝缺陷图像的斑点噪声,并通过卷积神经网络实现了三类焊缝缺陷的检测,获得了最高99.28％的分类准确率；zhifenzhang等人设计了一个新的基于焊缝缺陷图像的11层cnn分类网络，通过开发一种图像采集系统来收集不同焊接电流和进给速度以及不同角度的焊接图像，实现了对铝合金薄板未焊透,法向贯穿和烧穿三类焊缝缺陷的识别，识别准确率可达99.38％。黄焕东等人对裂纹、气孔、夹渣、未焊透和未熔合五类焊缝缺陷的超声tofd-d扫描图像进行了特征分析，在明确图像特征与缺陷轮廓的关系之后通过构建的fasterrcnn神经网络实现了对焊缝d扫图像缺陷类型的自动识别，识别准确率达到了97％以上。
随着深度学习在焊缝检测领域得到了应用和发展，取得了可观的效果，但是仍然存在以下问题：现有方法多是以光学传感器检测、x射线检测、tofd二维成像等方法来构建样本集，在实际工程应用中，光学传感方法并不能很好的获取到焊缝内部结构的材料缺陷特征，x射线检测方法又存在安全性问题，很难实现实时检测，tofd二维成像方法对设备超声探头横向、纵向分辨率性能以及实时性性能要求较高，因此，在工程中依然多选取超声a型回波检测方法进行实时检测，相比于其他几种方法，更安全、更快捷，且检测装置价格相对便宜。但通过研究发现，相关基于超声a型回波检测方法的智能决策算法的研究较鲜为人见，究其原因是奥氏体不锈钢焊缝的材料特质问题，在运用超声波对不锈钢焊缝进行检测时，其材料结构会造成超声波传播在方向上发生偏转、声束畸变和衰减，使缺陷的判别变得非常困难，检测信号信噪比低，容易产生缺陷漏检和误判，难以保证检测结果的可靠性，这为奥氏体不锈钢焊缝的智能检测提出了技术难点。
技术实现要素：
智能、高效、精准的超声检测是焊接结构安全性和可靠性保障的关键技术之一，针对奥氏体不锈钢焊缝检测存在人工提取特征判别性有限、深度卷积神经网络训练耗时等问题，为了进一步优化奥氏体不锈钢焊缝缺陷识别技术，本发明目的是提出一种基于超声a扫一维检测信号浅层统计特征与深层时频特征融合(基于深浅特征融合)的奥氏体不锈钢焊缝多类型缺陷检测方法，以期克服奥氏体不锈钢焊缝检测存在人工提取特征判别性有限、深度卷积神经网络训练耗时以及少样本导致卷积神经网络陷入过拟合状态等问题，在保证低计算成本的同时，有效提高未熔合、夹渣、未焊透、气孔和裂纹五类焊缝缺陷的分类识别性能。
本发明是采用如下技术方案实现的：
一种基于深浅特征融合的(奥氏体)不锈钢焊缝超声缺陷检测识别方法，包括如下步骤：
a、对未熔合、夹渣、未焊透、气孔和裂纹五类奥氏体不锈钢焊缝缺陷分别使用超声探伤仪和超声斜探头对缺陷试样进行a型回波数据采集和标签标注，构建训练数据集ⅰ。
b、构建深浅特征融合网络模型，通过训练计算，实现双通道深浅特征融合后缺陷特征提取，并通过支持向量机，输出缺陷分类识别结果，具体如下：
(1)、构建基于统计分析浅层缺陷敏感特征指标模型，作为通道1，包含均方根值xrms、方根幅值xr、绝对均值
(2)、构建具有6层卷积核和全连接层的缺陷检测网络lacknet，作为通道2：在lacknet网络中，图片在输入网络模型之后，首先经过7×7×3卷积核进行特征提取，激活函数为tanh
提取深层时频特征：通过短时傅里叶变换将焊缝检测回波信号转变为时频图，即将步骤a获得的训练数据集ⅰ转化为二维时频图，并作为输入对通道2lacknet卷积神经网络进行深层时频特征提取训练计算，输出最佳权重w及偏置值b；
(3)、构建深浅特征融合网络模型
采用级联融合将通道1的浅层特征(25维)和基于通道2的深层特征(第二层全连接层4096维特征参量)连接，级联融合则是将两个及以上特征图的特征量直接相连接，元素全部保留，与之相应的融合后特征图特征维度也是两个特征图特征量之和，融合后特征为4121维；
(4)、将融合后的4121维的特征向量以及其对应缺陷类型标签构建成数据集作为分类器输入，采用one-versus-one算法，对5类焊缝缺陷特征向量训练数据两两组合，构建5(5-1)/2个支持向量机，核函数类型上设置为rbf核函数，用函数svmcgforclass选择完成惩罚因子c和gamma函数g的选择并且用得到的最优c与g训练数据并进行分类测试，通过训练计算后的输出对应缺陷类型标签结果。
c、重复步骤a对新的焊缝缺陷检测，采集、标注标签并构建不包括在训练数据集ⅰ的a型扫描一维检测信号作为测试数据集ⅱ，测试数据集ⅱ包含未熔合、夹渣、未焊透、气孔和裂纹五类奥氏体不锈钢焊缝缺陷类型；测试数据集ⅱ输入到训练好的步骤b构建的深浅特征融合网络模型，评估输出结果的正确率达到预设值时，此训练好的深浅特征融合网络模型即被用于奥氏体不锈钢焊缝多类型缺陷分类检测识别。
本发明方法是基于特征融合的不锈钢焊缝缺陷图像识别研究，包括基于统计分析的浅层特征提取、基于cnn的深层时频特征提取和基于特征融合的不锈钢焊缝缺陷分类模型。
1、基于统计分析的浅层特征提取：统计分析是用概率统计的方法探索和发现随机过程的统计规律，所依据的理论是随机过程理论。奥氏体不锈钢焊缝超声检测中，由于试验环境及奥氏体不锈钢焊缝材料引起超声检测存在不确定性，进而采集到的信号中含有随机成分。所以这种信号用确切的数学表达式来描述是很困难的。但是随机信号数据有其重要特性：在条件相同的情况下，做重复试验，尽管每次试验的结果可能存在一些差别，但是进行大量的重复试验，其结果就呈现出某种统计规律。在奥氏体不锈钢焊缝超声缺陷检测中干扰信号往往也是随机的，受材料内部结构影响，超声检测会出现声波偏转、声束畸变等情况，为了找到既能体现缺陷信号本质的特征量又能使特征量数量适当，本发明采用统计分析的方法提取焊缝检测信号的特征，同时能够兼顾敏感性和稳定性，结合实验情况选择峰值指标、均方根值、脉冲指标、均方频谱、方根幅值、相关因子、偏态指标、绝对均值、峭度指标、频域方差、标准差、最大值、十六阶矩系数、频谱重心、最小值、裕度指标、谐波因子、峰峰值、峭度、谱原点矩、峰态、功率谱总和、八阶矩系数、波形指标和偏度这25种特征作为不锈钢焊缝缺陷统计特征指标。
2、基于cnn的深层时频特征提取
卷积神经网络大量应用于计算机视觉中的图像识别问题，属于深度前馈人工神经网络。卷积神经网络负责接收检测到的图像，通过训练集以及验证集每一轮的训练结果反向传递以调整网络结构参数。卷积层通过卷积核对图像进行卷积依次提取图像浅层特征，卷积的结果经过激活函数，形成本层的特征图(featuremap)输出，除了特征值本身外，还包含相对的位置信息。池化层对卷积层得到的特征图进行筛选过滤，以此降低网络参数，对特征的压缩进一步提取了主要特征，去除冗余特征。最后使全连接层整合卷积层和池化层所提取的信息，输入分类器进行图像分类。
为了构建适应于卷积神经网络输入要求的二维图像样本集，以及结合超声焊缝检测回波信号的特性，本发明通过短时傅里叶变换将焊缝检测回波信号转变为时频图，即将一维时域检测信号转化为二维时频图，在保留信号时间域特性、频率域特性的同时，又体现了频率与时间相互变化关系的时频特性，最终将本发明检测一维信号特征提取聚类问题转化为图像处理问题。
卷积神经网络一般随着迭代次数增加，分类效果不断提高。但是并不是网络越深提取的特征就越有效，针对本发明数据规模有限的问题，在前期实验中采用googlenet、resnet50等深度网络时很容易出现过拟合现象。且较深的网络模型参数较多，在训练集有限的情况下非常容易陷入过拟合，导致训练速度变慢，越往后模型优化难度越大。为了设计出适用于本发明数据规模有限的最佳网络结构，本发明选择深度不同的lenet、alexnet和vgg16和googlenet进行测试，经过多次实验发现，在本发明数据集上alexnet模型分类性能表现最好，从alexnet到vgg16，再到googlenet，随着网络深度加深，精度出现了严重下降，说明本发明分类任务不需要较深的网络结构。与lenet相比，alexnet不仅拥有较深的网络深度，还使用了较大卷积核。因此，本发明以alexnet网络为原型，经过大量实验构建出具有6层卷积核和全连接层的缺陷检测网络lacknet。网络结构与参数如图2所示，本发明网络在alexnet的基础上，第一层使用7×7×3卷积核进行特征提取，并在之后连接3×3×7的小卷积核，相比alexnet网络减少了大量参数；卷积层后使用tanh激活函数；最后使用三层全连接层来对特征进行整合，并提取第二层全连接层参数进行下一步特征融合。研究发现本发明构造的lacknet网络更能适应于数据规模较小的时频图像分类任务。
3、基于特征融合的不锈钢焊缝缺陷分类模型
目前常用的特征融合方法有加性融合、最大融合、级联融合等。加性融合就是将多个特征图中对应位置元素的值分别相加，来保证融合后的特征图的通道数与之前相同。该方法适用于维度相同的两个特征图融合。最大融合类似于加性融合，将两个特征图对应位置元素值较大的作为融合特征的值，同样适用于维度相同的两个特征图。级联融合则是将两个特征图直接相连接，元素全部保留，与之相应的融合后特征图通道数也是两个特征图之和。级联融合方法适用于任何维度的两个特征图，特征图的选择可以是原始数据或神经网络的某一层进行融合。因此，本发明采用级联融合来处理前端输入的不同通道数的特征值。
为了实现特征融合的目的，本发明提取lacknet网络的第二层全连接层特征，与统计方法提取到的浅层特征进行级联融合，融合为4121维的特征。最后，将融合后的特征输入支持向量机中进行不锈钢焊缝缺陷图像的识别。
总之，本发明提出的检测算法将浅层统计特征与基于lacknet卷积网络的深度时频特征进行级联融合，并通过支持向量机(svm)最终实现缺陷分类识别。通过实验表明，该方法能够对未熔合、夹渣、未焊透、气孔和裂纹五类不锈钢焊缝缺陷实现高精度分类，平均准确率达到了97.7％，同时，由于构建的识别网络属于轻量型模型，因此有效提高了运算效率，解决了深度特征提取所需较长时间的问题。相比现有焊缝智能检测方法，本发明提出的超声检测方法简便，且更贴合实际工程应用对精准度和效率的需求，为焊缝智能检测领域提供了新的技术参考。
附图说明
图1表示基于特征融合的不锈钢焊缝缺陷分类模型。
图2表示lacknet网络结构及参数。
图3表示八阶矩系数。
图4表示时域绝对平均幅值。
图5表示峰峰值。
图6表示脉冲指标。
图7表示相关因子。
图8表示谱原点矩。
图9表示不同深度与激活函数准确率迭代曲线。
图10表示混淆矩阵。
图11表示五种缺陷时域及对应时频图。
具体实施方式
下面结合附图对本发明的具体实施例进行详细说明。
一、一种基于深浅特征融合的(奥氏体)不锈钢焊缝超声缺陷检测识别方法，采用双通道浅层统计特征与深层时频特征融合的轻量级网络来对奥氏体不锈钢焊缝多类型缺陷进行智能检测识别；具体步骤如下：
a、对未熔合、夹渣、未焊透、气孔和裂纹五类奥氏体不锈钢焊缝缺陷分别使用超声探伤仪和超声斜探头对缺陷试样进行a型回波数据采集和标签标注，构建训练数据集ⅰ。
其中，为了保证数据的多样性和有效性，a型回波数据采集时，采用k2.5斜探头(2.5mhz，晶片9×9mm)利用a型超声扫描一次反射波法在焊缝单面双侧进行检测(耦合剂为机油)，同时，扫查应保持与焊缝中心线成90度，并分别作锯齿型、前后、左右、10°～15°转角、环绕五种a型扫查，对扫查的得到的各类缺陷检测回波一维信号xi进行小波变换降噪、标签标注处理；
标签标注：将采集到的数据按照对应的缺陷类型分好并存储在5个文件夹中，并依次设定文件的标签为裂纹、气孔、夹渣、未熔合、未焊透。
b、构建深浅特征融合网络模型，通过训练计算，实现双通道深浅特征融合后缺陷特征提取，并通过支持向量机(supportvectormachine，svm)，输出缺陷分类识别结果(如图1所示)，具体如下：
该深浅特征融合网络模型由基于统计分析构建的浅层缺陷敏感特征网络模型(通道1)和lacknet卷积网络模型(通道2)双通道级联构成。
(1)、构建基于统计分析浅层缺陷敏感特征指标(网络)模型，作为通道1，包含均方根值xrms、方根幅值xr、绝对均值
其中：μx为x个数的均值，x＝1,2,…,n；xr为傅里叶变换的实部，xi为虚部，k＝0,1,…,n/2–1。
测试数据集样本信号含有随机成分(由受试验环境及奥氏体不锈钢焊缝材料引起)，本发明方法中构建出基于统计分析方法的浅层特征指标体系(通道1)，既能体现缺陷信号本质的特征量又能够兼顾缺陷敏感性和稳定性。
(2)、为了解决奥氏体不锈钢焊缝缺陷分类时深度卷积神经网络训练耗时以及少样本导致卷积神经网络陷入过拟合状态等问题，构建具有6层卷积核和全连接层的缺陷检测网络lacknet，作为通道2，提取深层时频特征。
网络结构与参数如图2所示，在lacknet网络中，图片(二维时频图)在输入网络模型之后，首先经过7×7×3卷积核进行特征提取，激活函数为tanh
提取深层时频特征：为了构建适应于通道2的lacknet卷积神经网络输入要求，以及结合超声焊缝检测回波信号的特性，本发明通过短时傅里叶变换将焊缝检测回波信号转变为时频图，即将步骤a获得的训练数据集ⅰ(一维时域信号)转化为二维时频图，并作为输入对通道2lacknet卷积神经网络进行深层时频特征提取训练计算，输出最佳权重w及偏置值b。对通道2的lacknet卷积神经网络进行深层时频特征提取训练计算时，使用adam进行网络优化，adam的优点在于使用自适应学习率来加快网络的收敛速度。minibatchsize设置为128，初始学习率为1e-4，学习率衰减为每30个epoch衰减10％。
adam优化算法是将momentum和rmsprop结合在一起，首先初始化vdw＝0，sdw＝0，vdb＝0，sdb＝0，在第t次迭代中用当前的mini-batch计算dw，db。接着计算momentum指数加权平均数，有式(26)～(27)：
vdw＝β1vdw+(1-β1)dw(26)
vdb＝β1vdb+(1-β1)db,(27)
接着用rmsprop进行更新，用不同的超参数β2，有式(28)～(29)：
sdw＝β2sdw+(1-β2)(dw)2(28)
sdb＝β2sdb+(1-β2)(db)2(29)
上述步骤相当于momentum更新了超参数β1，rmsprop更新了超参数β2，之后计算偏差修正，有式(30)～(33)：
最后更新权重，有式(34)-(35)：
(3)、构建深浅特征融合网络模型
深浅特征融合网络模型采用级联融合，将基于统计的通道1的浅层特征(25维)和基于lacknet的通道2的深层特征(第二层全连接层4096维特征参量)连接，级联融合则是将两个及以上特征图的特征量直接相连接，元素全部保留，与之相应的融合后特征图特征维度也是两个特征图特征量之和，融合后特征为4121维。
(4)、将融合后的4121维的特征向量以及其对应缺陷类型标签构建成数据集作为分类器输入，采用one-versus-one算法，对5类焊缝缺陷特征向量训练数据两两组合，构建5(5-1)/2个支持向量机，核函数类型上设置为rbf(径向基)核函数，用函数svmcgforclass选择完成惩罚因子c和gamma函数g的选择并且用得到的最优c与g训练数据并进行分类测试，通过训练计算后的输出对应缺陷类型标签结果。
具体实施时，该分类检测方法在intelcorecpui5-8300h@2.3ghz、8gb内存、64位windows操作系统、matlab2019a、libsvm3.12和deeplearningtoolbox12.0平台下进行，使用步骤a构建的数据集。
通过与山西省机电设计研究院有限公司合作，在该单位搭建实验平台，制备包含未熔合、夹渣、未焊透、气孔和裂纹五类缺陷类型的试样。使用karldeutsch(echograph)探伤仪、tektronixdpo2024b示波器和2.5p9×9k2.5斜探头对缺陷试样进行数据采集。为了保证数据的多样性和有效性，数据采集时斜探头保持与焊缝中心线成90度，并分别作锯齿型、前后、左右、10°～15°转角、环绕五种扫查，其中探头保证在焊接接头截面前后移动。实验共采集了未熔合、夹渣、未焊透、裂纹和气孔五种超声a扫缺陷数据544条。由于原始信号中含有大量的无关信号，因此使用小波变换对原始a扫数据进行降噪，并对降噪后的数据进行时域图的转化以提取统计特征以及使用快速傅里叶算法转化为时频图输入神经网络进行深层特征提取，如图11所示，为经降噪处理后的五种缺陷对应的时域图与时频图。
c、重复步骤a对新的焊缝缺陷检测，采集、标注标签并构建不包括在训练数据集ⅰ的a型扫描一维检测信号作为测试数据集ⅱ，测试数据集ⅱ包含未熔合、夹渣、未焊透、气孔和裂纹五类奥氏体不锈钢焊缝缺陷类型；测试数据集ⅱ输入到训练好的步骤b构建的深浅特征融合网络模型，评估输出结果的正确率达到预设值时，此训练好的深浅特征融合网络模型即可被用于奥氏体不锈钢焊缝多类型缺陷分类识别。
本发明可识别分类奥氏体不锈钢焊缝缺陷为未熔合、夹渣、未焊透、气孔和裂纹五类。
二、本发明方法应用的关键点如下：
(1)、由于在奥氏体不锈钢焊缝超声缺陷检测中干扰信号往往是随机的，受材料内部结构影响，超声检测会出现声波偏转、声束畸变等情况，为了找到既能体现缺陷信号本质的特征量又能使特征量数量适当，本发明采用统计分析的方法提取焊缝检测信号的特征，同时能够兼顾敏感性和稳定性，结合实际情况选取了25种特征作为不锈钢焊缝缺陷统计特征指标。
(2)、为了构建适应于卷积神经网络输入要求的二维图像样本集，以及结合超声焊缝检测回波信号的特性，本发明通过短时傅里叶变换将焊缝检测回波信号转变为时频图，通过将一维时域检测信号转化为二维时频图，在保留信号时间域特性、频率域特性的同时，又体现了频率与时间相互变化关系的时频特性，最终将本发明检测一维信号特征提取聚类问题转化为图像处理问题。
(3)、针对本发明数据规模有限的问题，本发明创新性地构建出具有6层卷积核和全连接层的缺陷检测网络lacknet。第一层使用7×7×3卷积核进行特征提取，并在之后连接3×3×7的小卷积核，相比其他经典网络减少了大量参数；卷积层后使用tanh激活函数；最后使用三层全连接层来对特征进行整合。研究发现本发明构造的lacknet网络更能适应于数据规模较小的时频图像分类任务。
(4)、为了解决奥氏体不锈钢焊缝检测存在人工提取特征判别性有限、深度卷积神经网络训练耗时以及少样本导致卷积神经网络陷入过拟合状态等问题，本发明设计了基于特征融合的不锈钢焊缝缺陷轻量级分类识别网络模型，通过lacknet网络深度特征与统计分析浅层特征级联融合，结合支持向量机最终实现了未熔合、夹渣、未焊透、气孔和裂纹五类不锈钢焊缝缺陷的高精度分类识别。该方法相比现有方法在效率、精度、可识别缺陷类型数量上具有一定的优势。
三、本发明的有益效果如下：
(1)、统计特征分析：为了验证本发明选择的统计特征的有效性，对小波降噪的检测信号进行统计特征的分析。图3～图8是选取的效果较明显的六个特征指标图。从图中可以看出各类缺陷的统计特征指标虽然没有达到完全分离的效果，但是也将5类故障中部分类别进行了分层。图3中，八阶系数中未焊透、未熔合、气孔之间明显分层；图4中，时域绝对均值中夹杂与未熔合分层；图5中，峰峰值中气孔和未熔合与其他三类之间出现分层；图6中，频域脉冲指标中裂纹与其他四类明显分层，未焊透与未熔合部分层叠现象；图7中，相关因子中气孔分别与未熔合、未焊透明显分层；图8中，谱原点矩中气孔与其他四类缺陷统计指标明显区分。虽然选取的统计特征并不能全面表现出缺陷的所有特性差异，但可以看出各类统计特征指标对不同缺陷信号特征具有一定的敏感度，将25类统计特征融合，共同作用将有利于缺陷信号特征分离，成为焊缝缺陷分类的有利依据。
(2)、深层特征分析：由于本发明分类面向小样本数据集，因此本发明通过构建深度较浅的cnn来进行实验。图9所示为本发明构建的具有5层结构(5layers)、采用relu激活函数的6层结构(6layers)和7层结构(7layers)以及采用tanh激活函数(lacknet)的cnn网络实验精度随迭代次数变化曲线。从图中可以看出，在网络深度为6时，模型分类精度达到了92.86；当使用5层结构时网络精度下降3.57％；使用7层结构时，网络精度下降1.79％。说明对于本发明分类任务，网络最适宜深度为6。因此，本发明选择具有6层模块的cnn作为本发明深层特征提取网络结构。由于tanh激活函数在训练过程中，可以使特征效果明显，训练速度加快。在本发明实验中，使用tanh激活函数的网络(lacknet)相比采用relu激活函数(6layers)分类精度提高了1.78％。因此本发明选择tanh作为激活函数，进一步提高lacknet网络的特征提取能力。图10为经lacknet分类后所得的混淆矩阵，从图中可以看出，模型平均分类精度达到了94.6％，并且裂纹、气孔和未熔合缺陷识别精度已经达到了100％，本发明的lacknet网络在特征学习能力和模型鲁棒性方面已经达到了较好的水平。
(3)、实验模型可视化及不同模型对比：通过将提取的25维统计特征与lacknet自动提取的4096维深层特征进行级联融合为4121维特征后，输入支持向量机中进行onevsone分类。经过实验，本发明特征融合模型在焊缝缺陷小样本数据集上能够对未熔合、夹渣、未焊透、气孔和裂纹5类焊缝缺陷实现97.77％的分类准确率。为了验证模型对于焊缝缺陷分类任务的自适应特征学习能力，利用t分布随机近邻嵌入(t-distributionstochasticneighbourembedding，t-sne)方法对融合后的特征可视化，结果如图9所示。可以发现，本发明的特征融合模型能够从焊缝缺陷数据集中学习到有效特征进行焊缝缺陷分类。
(4)、为了验证本发明构造的分类模型的有效性，采用机器学习中经pso优化的svm与在焊缝缺陷方面的最新研究cnn网络以及目前先进的深度学习vgg16模型在同一测试集和训练集上进行对比。选择每一类焊缝缺陷的分类精确率(precision，p)和召回率(recall，r)以及整体的平均精确率(averageprecision，ap)、平均召回率(averagerecall，ar)和准确率(accuracy)指标来衡量模型的性能。各个模型的实验结果如表1所示。其中，精准率、召回率和准确率的计算方法如下式(36)～(38)所示：
precision＝tp/(tp+fp)(36)
precision＝tp/(tp+fp)(37)
accuracy＝(tp+tn)/(tp+fp+tn+fn)(38)
其中：tp(truepositive)表示图像标定为正样本，分类结果也为正样本；fn(falsenegative)表示图像标定为正样本，分类结果为负样本；fp(falsepositive)表示图像标定为负样本，分类结果为正样本；tn(truenegative)表示标定为负样本，分类结果也为负样本。
表1各个模型在本发明数据集上精准率和召回率结果对比
从表1以看出本发明特征融合方法在ap、ar和accuracy三项指标上均优于其它模型；相比psosvm模型，本发明将统计特征和深度特征融合后输入svm中进行训练，而不需要繁杂的svm优化过程，不仅提高了模型的特征提取能力和鲁棒性，还节省了大量的时间；相比cwtcnn和vgg16在面临数据输入不足时，仍能够实现较快收敛；同时，与vgg16相比cwtcnn在本发明数据集上也得到了较好的分类准确率，说明对于本发明数据集不应使用较深的网络结构，否则会产生网络退化问题且难以训练。实验表明，相比现有先进方法，本发明的方法能够在分类精度上取得良好的效果。
同时，从表1中还可以看出：本发明特征融合模型在裂纹、气孔、未熔合和未焊透上都能取得较好的分类效果，说明本发明特征融合方法极大的提高了模型的鲁棒性。而在焊缝缺陷夹渣上只有90.9％的识别精度，说明该模型对于夹渣和其它四种缺陷不能有效的进行区分，还有进一步优化的空间。
以上所述仅为本发明的实施例，并非因此限制本发明的范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！