焊缝内部缺陷智能检测装置、方法及介质与流程

本发明涉及智能化检测技术领域，具体地，涉及焊缝内部缺陷智能检测装置、方法及介质。

背景技术：

目前在工业领域，焊缝内部缺陷检测是生产过程质量检测的重要一环，通常采用数字射线成像技术对焊缝内部信息拍片，之后由经验丰富的工人根据片子对焊缝内部缺陷判读。但是，数字射线图像的缺陷评判需要具有资质的技能工人才能完成，培养技能工人需要耗费大量的时间和金钱，而且，大量的评片工作易导致技能工人的疲劳，极易导致误判、漏判等人为误差。同时，伴随生产力的发展，产量的增加，对评片效率提出了更高要求。随着人工智能技术的发展，基于数字图像的深度学习神经网络算法在无损检测领域中承担起越来越重要的任务。

现有技术通过检测人员制定检测工艺实现焊缝检测，检测光路的布置严重依靠检测人员知识贮备与经验，检测图像评价靠检测人员，检测图像质量与评价受主观影响严重，检测效率和检测一致性不高。

专利文献cn107748200b(申请号：cn201710712559.0)公开了一种基于特征导波的焊缝缺陷检测压电阵列式柔性传感器及检测方法。传感器由多个压电单元构成矩阵，排列在柔性衬底上；每个压电单元上覆盖阻尼块，周围填充吸声材料，传感器外壳以柔性保护膜封装；所有压电单元正极引线串联一个逻辑开关和延时器后，并联至正极总线。压电单元分三种类别，分别激发三种不同模式导波，对不同类型的缺陷敏感程度不一，实现互补。该传感器通过逻辑开关选择不同的压电阵列检测方式，且适应不同曲率表面和结构的焊缝检测需求；延时器调节激励时间差，实现声束的合成与聚焦。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种焊缝内部缺陷智能检测装置、方法及介质。

根据本发明提供的一种焊缝内部缺陷智能检测装置，包括：x射线管、成像板、光路仿真与控制单元、云平台服务器；

光路仿真与控制单元根据焊缝外形选择透照光路，并根据选择的透照光路，调整x射线管和成像板的位置，使焊缝位于x射线管与成像板之间的预设位置；x射线透射焊缝后，在成像板上成像，得到x射线图像，即焊缝原始灰度图像，将图像推送至云平台服务器。

优选地，所述预设位置指：

成像板位于x射线管发出射线的焦点所在的焦平面。

根据本发明提供的一种基于上述所述的焊缝内部缺陷智能检测装置的焊缝内部缺陷智能检测方法，光路仿真与控制单元根据焊缝外形，选择最佳透照光路，并根据最佳透照光路，调整x射线管和成像板的位置，使焊缝位于x射线管与成像板之间的预设位置；x射线透射焊缝后，在成像板上成像，得到x射线图像，即焊缝原始灰度图像，将图像推送至云平台服务器；

云平台服务器，对焊缝原始灰度图像进行预处理，使得原始灰度图像的对比度达到要求，得到预处理后的图像；将预处理后的图像输入卷积神经网络模型cnn，进行缺陷筛选，判断预处理后的图像中是否含有缺陷；

将判定为含有缺陷的图像，输入到带有感兴趣区域的卷积神经网络模型rcnn，对有缺陷的图像中的缺陷定位，并标注缺陷所在位置的最小框图，实现缺陷定位；

提取缺陷定位后最小框图内的图像，输入深度学习神经网络模型dnn，进行缺陷分类，得到缺陷的类型。

优选地，所述对焊缝原始灰度图像进行预处理，所述预处理方式包括：图像增强、图像非线性变化、滤波降噪以及图像锐化；

原始灰度图像的对比度要求，具体为：一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求；

缺陷，包括气孔、夹渣、缩松、裂纹、偏析这几类缺陷。

优选地，所述卷积神经网络模型cnn经过预先训练，具体训练方式如下：

(1)建立带标签的训练图像集，训练图像为焊缝原始灰度图像经过预处理后的图像，预先将图像有无缺陷进行标记，形成标签；标签分为有缺陷和无缺陷标记；

(2)将训练图像集中的图像逐个输入至未经训练的卷积神经网络模型cnn，根据预先设定卷积神经网络模型cnn的结构、目标函数、模型参数优化方法，对卷积神经网络模型cnn进行训练，得到训练好的卷积神经网络模型cnn，即已对卷积神经网络模型cnn中参数进行优化。

优选地，所述训练好的卷积神经网络模型cnn能够输出标签，根据标签判断焊缝是否有缺陷，实现缺陷筛选。

缺陷所在位置的最小框图，是指：与缺陷最长径相切的一组平行线和与其垂直的一组平行线组成的矩形框。

优选地，所述带有感兴趣区域的卷积神经网络模型rcnn，需要经过预先训练，训练方式如下：

(1)建立带有缺陷最小框图的训练图像集；

(2)将带有缺陷最小框图的训练图像集中的图像逐个输入至初始卷积神经网络模型rcnn，根据预先设定带有感兴趣区域的卷积神经网络模型rcnn的结构、目标函数、模型参数优化方法，对带有感兴趣区域的卷积神经网络模型rcnn进行训练，得到训练好的带有感兴趣区域的rcnn模型，即已对带有感兴趣区域的卷积神经网络模型rcnn中参数进行优化。

优选地，所述训练好的带有感兴趣区域的卷积神经网络模型rcnn能够输出缺陷所在位置的最小框图，根据缺陷所在位置的最小框图，实现缺陷定位。

优选地，所述深度学习神经网络模型dnn，需要经过预先训练，训练方式如下：

(1)建立带缺陷类型标签的带有缺陷最小框图的训练图像集；每个带有缺陷最小框图的训练图像的缺陷类型标签对应一种缺陷类型；

(2)将带缺陷类型标签的带有缺陷最小框图的训练图像集中的图像逐个输入初始深度学习神经网络模型dnn，根据预先设定深度学习神经网络模型dnn的结构、目标函数、模型参数优化方法，对深度学习神经网络模型dnn进行训练，得到训练好的深度学习神经网络模型dnn，即已对深度学习神经网络模型dnn中参数进行优化。

优选地，所述计算机程序被处理器执行时实现上述中任一项所述的焊缝内部缺陷智能检测方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明通过采用光路仿真与控制模块实现最优检测光路确认，代替检测人员依靠经验制定的光路布置，得到最优图像，提高图像精度与灵敏度。

(2)本发明通过采用云平台服务器进行数字射线图像智能分析，通过云服务，可以有效收集汇总检测过程中不同产品，不同时间的逐渐质量信息与内部缺陷，为设计与生产工艺优化提升数据支撑，最终提升产品的质量

(3)本发明通过计算机深度学习方法对数字射线图像分析，智能判读结果，部分或全部代替人工评片过程，有效地缩减人工检测时长，在保证缺陷识别准确率的前提下，避免人因误差，提高焊缝质量检测工作效率。

(4)本发明通过卷积神经网络模型cnn进行数字射线图像缺陷筛选，该方法可以有效识别图像中的宏观信息和微观信息，并且可以随着数据量积累进行模型升级优化，为缺陷筛选算法迭代提供支撑。

(5)本发明通过带有感兴趣区域的卷积神经网络模型rcnn进行数字射线图像缺陷定位，该方法可以有效识别缺陷最小框图，为后续缺陷尺寸测量进行缺陷评级提供支撑。

(6)通过云平台服务器实现检测数据实时上传与处理，为生产全流程数字化创造条件

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明焊缝数字射线图像智能缺陷检测方法示意框图；

图2为本发明焊缝内部缺陷智能检测装置示意图；

图3为本发明焊缝数字射线图像缺陷筛选算法示意图；

图4为本发明焊缝数字射线图像缺陷定位算法示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

下面通过实施例，对本发明进行更为具体地说明。

实施例1：

下面结合附图和具体实施例对本发明做进一步详细描述。

本发明主要应用于复杂结构件的焊缝检测中，有效提高检测质量与检测一致性，提高检测图像评价的准确度与效率，最终提升焊缝质量，同时检测数据实现云平台存储与推送，为生产流程的数字化与智能化应用提供基础。

图1为本发明焊缝数字射线图像智能缺陷检测方法示意框图，图1中，1-原始图像，2-图像预处理，3-缺陷筛选，4-缺陷定位，5-缺陷类型识别，6-缺陷1，7-缺陷2，8-缺陷3，9-合格，10-返工维修，11-让步接收，12-报废。图2为本发明焊缝内部缺陷智能检测装置示意图，图2中，①-光路仿真与控制单元，②-x射线管，③-成像板，④-云平台。图3为本发明焊缝数字射线图像缺陷筛选算法示意图，图3中，a-卷积层，b-降采样层，c-卷积层，d-降采样层，e-全连接层，f-输出层(全连接+softmax激活)。图4为本发明焊缝数字射线图像缺陷定位算法示意图，图4中，a-提取候选框，b-cnn提取特征图，c-roipooling，d-分类，5-回归。

本发明的一种焊缝内部缺陷智能检测装置，包括：x射线管、成像板、光路仿真与控制单元、云平台服务器；如图2所示；

光路仿真与控制单元，能够根据焊缝的形貌特征或三维模型，通过内置仿真模块优选最佳透照光路，即x射线从射线管发出，垂直于焊缝表面或其切面透射焊缝至成像板，或因焊缝特殊结构无法从垂直表面射入时，保证射线透射焊缝的路径最短；根据最佳透照管路控制x射线管和成像板，调整其位置，使焊缝位于x射线管与成像板之间的最佳位置，即成像板位于x射线管发出射线的焦点所在的焦平面；光路仿真与控制单元控制x射线管发出x射线，x射线透射焊缝后，在成像板上成像，光路仿真与控制单元控制成像板获取x射线图像，即焊缝原始灰度图像；光路仿真与控制单元，将焊缝原始灰度图像推送至云平台服务器；

云平台服务器，对焊缝原始灰度图像进行预处理，使得原始灰度图像的对比度达到要求，得到预处理后的图像；将预处理后的图像输入卷积神经网络模型cnn，进行缺陷筛选，判断预处理后的图像中是否含有缺陷。云平台服务器可以将缺陷智能检测方法打包集成，同时还可以部署在互联网上，输出云服务；并可有效收集汇总检测过程中不同产品，形成不同产品的焊缝数字射线图像数据集，为缺陷智能检测方法的研发提供基础。

将判定为含有缺陷的图像，输入到带有感兴趣区域的卷积神经网络模型rcnn，对有缺陷的图像中的缺陷定位，并标注缺陷所在位置的最小框图，实现缺陷定位。

提取缺陷定位后最小框图内的图像，输入深度学习神经网络模型dnn，进行缺陷分类，得到缺陷的类型。

成像板位于x射线管辐射的焦点上。

对焊缝原始灰度图像进行预处理，具体如下：

针对厚度梯度变化剧烈的原始灰度图像，预处理方式包括但不限于：图像增强、图像非线性变化、滤波降噪、图像锐化等。

针对表面粗糙的原始灰度图像，预处理方式包括但不限于：图像增强、滤波降噪、图像平滑等。

针对焊缝边缘的原始灰度图像，预处理方式包括但不限于：图像增强、图像非线性变化、滤波降噪、小波变换等。

实际进行图像预处理时，会尝试不同的预处理方法组合、参数，并从中优选出效果较好的预处理方法组合、参数。

原始灰度图像的对比度要求，优选为：一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求。

缺陷，优选包括气孔、夹渣、未焊透这几类缺陷。

卷积神经网络模型cnn经过预先训练，优选训练方式如下：

①建立带标签的训练图像集，训练图像为焊缝原始灰度图像经过预处理后的图像，预先将图像有无缺陷进行标记，形成标签；标签分为有缺陷和无缺陷标记；

②将训练图像集中的图像逐个输入至未经训练的卷积神经网络模型cnn，即在vgg网络模型结构的基础上利用随机函数初始化模型参数，之后将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新下求得目标函数极小值，采用上述流程对卷积神经网络模型cnn进行训练，如图3所示，图像输入后，经过卷积得到特征图，经过降采样得到特征图，再重复卷积、降采样过程，将最终得到的特征图输入全连接层，通过输出层输出筛选结果。训练后得到训练好的卷积神经网络模型cnn，即已对卷积神经网络模型cnn中参数进行优化。实际训练过程中，卷积神经网络模型cnn的结构、目标函数、模型参数优化可以进行多种组合进行训练测试，如cnn的结构除vgg网络外，还可以选择alexnet、resnet等网络结构；目标函数除了输出与输入的误差外，还可以增加学习率、正则项等参数，组成相对复杂的目标函数；模型参数优化除了梯度下降方法外，还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法，训练时，可以选取各种方法进行组合，从中选取效果较好的组合，如准确率高、虚检率低、训练速度快等，作为参数进行卷积神经网络模型cnn训练。

训练好的卷积神经网络模型cnn能够输出标签，根据标签判断焊缝是否有缺陷，实现缺陷筛选。

带有感兴趣区域的卷积神经网络模型rcnn，需要经过预先训练，优选训练方式如下：

①建立带有缺陷最小框图的训练图像集；训练图像集中的训练图像，带有焊缝所有可能发生的缺陷，每个训练图像至少包含一个缺陷，所有可能发生的缺陷，包括：气孔、夹渣、未焊透。

②将带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的带有感兴趣区域的卷积神经网络模型rcnn，即在yolo网络模型结构的基础上利用随机函数初始化模型参数，之后将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新放下求得目标函数极小值，采用上述流程对带有感兴趣区域的卷积神经网络模型rcnn进行训练，如图4所示，在输入图像上提取候选框，通过cnn提取特征图的方法将候选框映射到特征图roi，再通过roipooling将roi调整到固定尺寸，获取roi特征后进行分类和回归。训练后得到训练好的带有感兴趣区域的卷积神经网络模型rcnn，即已对带有感兴趣区域的卷积神经网络模型rcnn中参数进行优化。实际训练过程中，卷积神经网络模型rcnn的结构、目标函数、模型参数可以进行多种组合进行训练测试，如rcnn的结构除yolo网络外，还可以选择sdd等网络结构；目标函数除了输出与输入的误差外，还可以增加学习率、正则项等参数，组成相对复杂的目标函数；模型参数优化除了梯度下降方法外，还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法，训练时，可以选取各种方法进行组合，从中选取效果好的组合，如准确率高、虚检率低、训练速度快等，作为参数进行卷积神经网络模型rcnn训练。

训练好的带有感兴趣区域的卷积神经网络模型rcnn优选能够输出缺陷所在位置的最小框图，根据缺陷所在位置的最小框图，实现缺陷定位。

深度学习神经网络模型dnn，需要经过预先训练，优选训练方式如下：

①建立带缺陷类型标签的带有缺陷最小框图的训练图像集；每个带有缺陷最小框图的训练图像的缺陷类型标签对应一种缺陷类型；

②将带缺陷类型标签的带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的深度学习神经网络模型dnn，即在alexnet网络模型结构的基础上利用随机函数初始化模型参数，之后将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新放下求得目标函数极小值，采用上述流程对深度学习神经网络模型dnn进行训练，得到训练好的深度学习神经网络模型dnn，即已对深度学习神经网络模型dnn中参数进行优化。实际训练过程中，卷积神经网络模型dnn的结构、目标函数、模型参数可以进行多种组合进行训练测试，如dnn的结构除alexnet网络外，还可以选择vgg、resnet等网络结构；目标函数除了输出与输入的误差外，还可以增加学习率、正则项等参数，组成相对复杂的目标函数；模型参数优化除了梯度下降方法外，还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法，训练时，可以选取各种方法进行组合，从中选取效果好的组合，如准确率高、虚检率低、训练速度快等，作为参数进行卷积神经网络模型dnn训练。

深度学习神经网络模型dnn能够输出带缺陷类型标签，根据带缺陷类型标签，实现缺陷分类。

在缺陷分类后，还可以对经过分类后的缺陷，进行缺陷评级，判断其缺陷等级是否满足预先输入的同种缺陷的不同级别图样，并输出检测结果；

本发明进行预处理，实现缺陷对比度提高的进一步方案为：引入优化算法，寻找缺陷对比度最大化的预处理组合。

本发明设定原始灰度图像的对比度要求，实现图像对比度提高的进一步方案为：根据待检焊缝的尺寸、材料，调整x射线辐照强度。

本发明卷积神经网络模型cnn进行训练，实现缺陷筛选提高的进一步方案为：选择残差网络resnet的结构作为卷及神经网络模型cnn的结构进行训练。

本发明带有感兴趣区域的卷积神经网络模型rcnn进行训练，实现缺陷定位提高的进一步方案为：选择fasterr-cnn模型的结构作为带有感兴趣区域的卷及神经网络模型rcnn的结构进行训练。

本发明深度学习神经网络模型dnn进行训练，实现缺陷分类提高的进一步方案为：在深度学习神经网络模型dnn的目标函数中优化学习率、正则项部分

本发明在缺陷分类后，还可以对经过分类后的缺陷，进行缺陷评级，判断其缺陷等级是否满足检验标准，并输出检测结果，优选方案为：

在缺陷分类后，应用dnn网络对经过分类后的缺陷，进行缺陷评级，具体是将待评级图像输入已经训练好的网络，并输出表征缺陷等级的标签，判断依据是评价其是否满足事先dnn网络训练人员输入的同种缺陷的不同级别图样。

本发明能够实现装置什么指标提高的进一步方案为：实现智能评片的漏判率降低的进一步方案为，将漏判率写入目标函数，进行优化

在焊缝检测过程中，本发明克服了通常采用的射线成像技术对焊缝内部信息拍片，之后由经验丰富的工人根据片子对焊缝内部缺陷判读的问题。并且解决了质量检测期间，用工成本高、经验丰富的工人稀缺、培养具备检测资质的技术工人周期长，且随着检测工作强度的增加，人工检测往往伴随着检测效率低、检测结果误判漏判等人为误差，严重影响产品质量检测工作的问题。

以舱体环焊缝为例，本发明提出的焊缝缺陷智能检测装置及方法关键流程如下：(1)射线源至于圆筒形舱体内部，x射线自射线源发出，垂直于焊缝舱体表面切面射入，形成最佳透照光路，由置于舱体外部且位于射线焦平面上的成像板接收，形成舱体环焊缝数字射线原始灰度图像，推送至云平台服务器。(2)云平台服务器对舱体环焊缝数字射线原始灰度图像进行预处理，使得原始灰度图像的对比度达到要求，得到预处理后的图像；(3)将预处理后的图像输入卷积神经网络模型cnn，进行缺陷筛选，判断预处理后的图像中是否含有缺陷。卷积神经网络模型cnn需要预先训练，在vgg网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的卷积神经网络模型cnn，将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新放下求得目标函数极小值，完成对卷积神经网络模型cnn的训练。训练后的卷积神经网络模型cnn具备缺陷筛选能力，能够将输入图像进行有无缺陷的筛选。(4)将判定为含有缺陷的图像，输入到带有感兴趣区域的卷积神经网络模型rcnn，对有缺陷的图像中的缺陷定位，并标注缺陷所在位置的最小框图，实现缺陷定位。带有感兴趣区域的卷积神经网络模型rcnn需要预先训练，在yolo网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的带有感兴趣区域的卷积神经网络模型rcnn，将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新放下求得目标函数极小值，完成对带有感兴趣区域的卷积神经网络模型rcnn的训练。训练后的带有感兴趣区域的卷积神经网络模型rcnn具备缺陷定位能力，能够标注缺陷所在位置的最小框图，实现缺陷定位。(5)提取缺陷定位后最小框图内的图像，输入深度学习神经网络模型dnn，进行缺陷分类，得到缺陷的类型。深度学习神经网络模型dnn需要预先训练，在alexnet网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的深度学习神经网络模型dnn，将模型输出与输入的误差定义为目标函数，采用误差反向传播的方法更新模型参数，并用梯度下降的方法寻找参数更新放下求得目标函数极小值，完成对深度学习神经网络模型dnn的训练。训练后的深度学习神经网络模型dnn具备缺陷分类能力，能够将输入的最小框图内的缺陷图像具体类别(气孔、夹渣、未焊透)进行分类。

本发明进行了评片效率测试，从焊缝数字射线图像中随机抽取500张图像，分别交给有经验的评片师评片和本发明所提及的缺陷智能检测装置及方法评片，记录人工评片和机器评片的总时间，计算每一张图像的评片时间。测试结果为，人工平片时间28.6秒每张，机器平片时间14.3秒每张。本发明提及的缺陷智能检测装置及方法比传统人工评片方式提升效率约100％。

通过对比可知，本发明中以计算机结合深度学习神经网络人工智能算法的检测方式代替传统人工检测方式，将经验丰富的检验技能人员的检测知识转换为可被计算机量化的机器语言，通过对x射线检测设备采集到的数字图像，采用人工智能新技术进行分析图像，对图像中的缺陷定位、识别、评级，自动化、智能化判读输出结果，在保证检测准确率的前提下，可以长时间稳定工作，避免人为误差，提高工作效率，缩减用工成本。且在检测数据量不断积累的情况下，检测正确率也将随之提高。

实施例2：

本发明解决的技术问题为：克服现有技术不足，提供一种焊缝内部缺陷智能检测装置及方法，应用于焊缝的质量检测任务，根据焊缝内部缺陷特征，运用计算机深度学习方法对数字射线图像分析，智能判读结果，有效地缩减人工检测时长，在保证缺陷识别准确率的前提下，避免人为操作引起的误差，提高焊缝质量检测工作效率。

本发明解决的技术方案为：一种焊缝内部缺陷智能检测装置及方法，包括：x射线管、成像板、光路仿真与控制单元、云平台服务器；

光路仿真与控制单元，能够根据焊缝的外形或三维模型，选择最佳透照光路，并能够根据最佳透照光路，调整x射线管和成像板的位置，使焊缝位于x射线管与成像板之间的最佳位置；光路仿真与控制单元控制x射线管发出x射线，x射线透射焊缝后，在成像板上成像，得到x射线图像，即焊缝原始灰度图像；将焊缝原始灰度图像推送至云平台服务器；

云平台服务器，对焊缝原始灰度图像进行预处理，使得原始灰度图像的对比度达到要求，即得到预处理后的图像；将预处理后的图像输入卷积神经网络模型cnn，进行缺陷筛选，判断预处理后的图像中是否含有缺陷。

将判定为含有缺陷的图像，输入到带有感兴趣区域的卷积神经网络模型rcnn，对有缺陷的图像中的缺陷定位，并标注缺陷所在位置的最小框图，实现缺陷定位。

提取缺陷定位后最小框图内的图像，输入深度学习神经网络模型dnn，进行缺陷分类，得到缺陷的类型。

优选的，成像板要位于x射线管辐射的焦点上。

优选的，对焊缝原始灰度图像进行预处理，具体如下：

针对厚度梯度变化剧烈的原始灰度图像，预处理方式包括但不限于：图像增强、图像非线性变化、滤波降噪、图像锐化。

针对表面粗糙的原始灰度图像，预处理方式包括但不限于：图像增强、滤波降噪、图像平滑。

针对焊缝边缘的原始灰度图像，预处理方式包括但不限于：图像增强、图像非线性变化、滤波降噪、小波变换。

优选的，原始灰度图像的对比度要求，具体为：一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求。

优选的，缺陷，包括气孔、夹渣、未焊透这几类缺陷。

优选的，卷积神经网络模型cnn经过预先训练，具体训练方式如下：

(1)建立带标签的训练图像集，训练图像为焊缝原始灰度图像经过预处理后的图像，预先将图像有无缺陷进行标记，形成标签；标签分为有缺陷和无缺陷标记；

(2)将训练图像集中的的图像逐个输入至未经训练的卷积神经网络模型cnn，根据预先设定卷积神经网络模型cnn的结构、目标函数、模型参数优化方法，对卷积神经网络模型cnn进行训练，得到训练好的卷积神经网络模型cnn，即已对卷积神经网络模型cnn中参数进行优化。

优选的，训练好的卷积神经网络模型cnn能够输出标签，根据标签判断焊缝是否有缺陷，实现缺陷筛选。

优选的，缺陷所在位置的最小框图，是指：与缺陷最长径相切的一组平行线和与其垂直的一组平行线(与缺陷边缘最外侧可相切部位)组成的矩形框。

优选的，带有感兴趣区域的卷积神经网络模型rcnn，需要经过预先训练，训练方式如下：

(1)建立带有缺陷最小框图的训练图像集；

(2)将带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的带有感兴趣区域的卷积神经网络模型rcnn，根据预先设定带有感兴趣区域的卷积神经网络模型rcnn的结构、目标函数、模型参数优化方法，对带有感兴趣区域的卷积神经网络模型rcnn进行训练，得到训练好的带有感兴趣区域的卷积神经网络模型rcnn，即已对带有感兴趣区域的卷积神经网络模型rcnn中参数进行优化。

优选的，训练好的带有感兴趣区域的卷积神经网络模型rcnn能够输出缺陷所在位置的最小框图，根据缺陷所在位置的最小框图，实现缺陷定位。

优选的，深度学习神经网络模型dnn，需要经过预先训练，训练方式如下：

(1)建立带缺陷类型标签的带有缺陷最小框图的训练图像集；每个带有缺陷最小框图的训练图像的缺陷类型标签对应一种缺陷类型；

(2)将带缺陷类型标签的带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的深度学习神经网络模型dnn，根据预先设定深度学习神经网络模型dnn的结构、目标函数、模型参数优化方法，对深度学习神经网络模型dnn进行训练，得到训练好的深度学习神经网络模型dnn，即已对深度学习神经网络模型dnn中参数进行优化。

优选的，深度学习神经网络模型dnn能够输出带缺陷类型标签，根据带缺陷类型标签，实现缺陷分类。

优选的，在缺陷分类后，还可以对经过分类后的缺陷，进行缺陷评级，判断其缺陷等级是否满足预先dnn网络训练输入的同种缺陷的不同级别图样，并输出检测结果。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。