一种小口径管内焊缝表面缺陷识别装置的制造方法
【专利摘要】一种小口径管内焊缝表面缺陷识别装置，该装置包括计算机、工业相机、转接头、工业内窥镜、移动便携式光源、内窥镜固定夹具和待测管件。工业相机与计算机相连，转接头一端与工业相机相连，另一端与工业内窥镜相连，可用于焊缝图像的采集。移动便携式光源与工业内窥镜相连，用于提供管内的照明。内窥镜固定夹具与内窥镜相连，用于内窥镜的中心定位、上下调节定位和360°旋转。完成对待测管件内部焊缝表面缺陷的识别检测。
【专利说明】
一种小口径管内焊缝表面缺陷识别装置
技术领域
[0001] 本发明涉及一种焊缝焊接缺陷的检测装置，特别是一种小口径管内焊缝表面缺陷 识别装置。该装置适用于管道、锅炉和集箱等换能设备小口管道处的内部焊缝焊接缺陷的 检测识别，属于无损检测领域。
【背景技术】
[0002] 随着我国工业产业的发展，锅炉、管道和集箱等换能设备作为承受高温高压的关 键部件，其制造质量受到人们越来越多的关注。由于换能设备既要承受由介质作用引起的 内部压力，也要承受由内外温差引起的应力，失效破坏极易出现在内部焊接区域。因此迫切 需要发展一种行之有效的内部焊缝焊接缺陷检测方法，为管道、锅炉和集箱等设备可靠运 行提供技术保障。
[0003] 目前，对小口径管内部焊缝表面焊接质量缺乏有效的检测手段，多采用人工检测 的方法。由于检测人员长期注视屏幕上移动的焊缝，容易造成眼部疲劳，造成漏检，并且检 验人员的素质、技能和经验的不同，对质量检验标准的把握难免有偏差，导致检测结果受检 测人员的主观影响因素较大，很难对缺陷做出准确定量的判断。为了进一步提高小口管道 内焊缝表面的焊接质量，改善检测人员的检测条件，迫切需要一种小口管道内焊缝表面缺 陷的自动识别方法。
[0004] 近年来，针对搭建焊缝缺陷的识别系统，国内外学者做了大量的研究开发， Shafeek等[Assessment of welding defects for gas pipeline radiographs using computer vision[J] .NDT&E International，2〇04,37(6) :3〇l_3〇7]开发平台开发了一款 名为AutoWDI的焊接缺陷识别系统。该系统通过搭建X射线照射系统，采集焊缝底片，再利用 相关的图像处理技术将得到的底片进行分析处理，以得到焊接缺陷的相关参数，并根据参 数信息对缺陷进行识别。
[0005] 针对目前小口管道内焊缝表面缺陷检测存在的不足，本专利提出一种利用工业内 窥镜和工业相机的焊缝表面缺陷装置，本装置所采用的方法为基于灰度共生矩阵和BP神经 网络分类识别判断焊、焊瘤和焊穿等缺陷类型。基于双目立体视觉技术实现焊缝表面内凹 缺陷的识别。
【发明内容】
[0006] 本发明的目的在于提供一种小口径管内焊缝表面缺陷识别装置，特别是基于灰 度共生矩阵和BP神经网络识别断焊、焊瘤和焊穿等缺陷，基于双目立体视觉技术识别焊缝 表面内凹缺陷的识别装置。通过对小口径管内焊缝表面图像的采集，对于断焊、焊瘤和焊穿 等缺陷类型基于灰度共生矩阵获取含有不同缺陷焊缝表面的特征参数，分类器采用BP神经 网络对焊件工件焊缝表面缺陷进行训练、分类与识别。对于表面内凹缺陷基于双目立体视 觉技术获取焊缝内凹程度，实现焊缝表面内凹缺陷的识别。
[0007] 本发明提出的基于灰度共生矩阵和BP神经网络以及基于双目立体视觉技术的焊 缝表面缺陷的检测方法，其基本原理在于：
[0008] 对表面焊接质量不同的焊缝进行图像采集，焊缝中的纹理通常体现了焊缝表面的 纹理特性信息，即物体表面的凹凸不平特性。焊接质量良好的焊缝呈鱼鳞纹状，其纹理较为 均匀。而焊接质量较差的焊缝其表面纹理较为杂乱，变化不规则，而不同的缺陷的纹理特征 也各不相同。而灰度共生矩阵能够很好的描述不规则的纹理，区分微小的形态差异，能较好 的提取焊缝表面的有效特征参数。从焊缝图像中提取出其灰度共生矩阵，获取焊缝表面的 特征参数，实现焊缝表面纹理特征的数学表征。
[0009] G(i，j)表示灰度共生矩阵，为了简化运算，矩阵元素常用概率值表示，即将元素 G
(i，j)除以各元素之和S，得到各元素都小于1的归一化值 。
[0010] m 能兽 "qm、
[0011] Cl;
[0012] 能量反映了焊缝图像灰度分布的均匀程度和纹理粗细度。若共生矩阵中的全部数 值均相等，则能量值较小，反之，若矩阵数值不等，则能量值较大。即能量值可表明焊缝纹理 变化的均匀度和规则程度。
[001 3] ( Pnn t-Ta
[0014]
(2>
[0015]焊缝图像的对比度可以理解为焊缝图像的清晰度，即焊缝纹理清晰程度。在焊缝 图像中，纹理的纹沟越深，则其对比度CON越大。
[0016] (3)相关性（Correlation)
[001: 3
[001 ?
[001< ⑷
[002( (.5:)
[002· (6)
[002； (_7).
[0023]相关性反应了焊缝图像纹理的一致性。如果焊缝图像中有水平方向纹理，则水平 方向矩阵的COR大于其余方向矩阵的COR值。相关性可度量空间灰度共生矩阵元素在行列方 向上的相似程度，其值大小反映了焊缝图像中局部灰度的相关性。当矩阵元素值均匀相等 时，相关值大，反之相关值较小。
[0024] (4)同质性（Homogeneity)
[0025]
(80：
[0026] 同质性可度量焊缝图像纹理局部变化量的大小。若某区域内图像纹理的变化量较 小，则该区域的同质性较大。
[0027] (5)熵（entropy)
[0028]
(9)
[0029] 熵能反映焊缝图像所具有的信息量，表示焊缝图像中纹理的非均匀程度或复杂程 度。
[0030] (Ρι)??^$~( vari annfi')
[0031]
(?α)
[0032] 其中u为灰度共生矩阵各元素的均值。
[0033]本方法采用BP神经网络对焊缝表面缺陷图像进行分类识别，BP网络能学习和存贮 大量的输入-输出模式映射关系。它的学习规则是使用最速下降法，通过反向传播来不断调 整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层、隐 含层和输出层。
[0034] BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正 向传播时，数据流的传播方向为从输入层到隐含层再到输出层，每层神经元的状态只影响 下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程，误差信号 的传播方向为输出层到隐含层再到输入层。通过这两个过程的交替进行，在权向量空间执 行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完 成信息提取和记忆过程。
[0035]设BP神经网络的输入层有η个节点，隐含层有q个神经元，输出层有m个神经元，输 入层与隐含层之间的权值为Vk1，隐含层与输出层之间的权值为wjk，隐含层的传递函数为fi (·)，输出层的传递函数为f2( ·)。
[0036] 陷令曰.书·占的絡山年ιΗ女細估? λ步生町市cb ):
[0037] (H)
[0038]
[0039] (12)
[0040]由式（11)和式（12)，ΒΡ神经网络就完成了η维空间向量(输入层）对m维空间向量 (输出层)的近似映射。
[0041] 误差函数即目标函数设输入P个学习样本(x、2···#)，第p个样本输入网络后得到 输出为アf(j = l，2，…，m)。定义第p个样本的误差为EP，P个样本的均方误差为E。为了避免迭 代次数增加，运算谏度减慢,保证毎个样本的误差减小，因此选取均方误差作为目标函数。
[0042] 均方误：
（】3)
[0043] 根据公式(13)计算网络全局误差E，并与预设的期望误差比较，判断网络误差是否满足 要求。当误差达到期望误差的精度或学习次数大于设定的迭代次数时，则网络学习结束;否则，选 η 取下一个学习样本及对应的期望输出，返回到神经元的净输入值叉=Σ mVy, +6 = +?:， /=1 进行数据的正向传播，进入下一轮学习，直至满足误差精度或学习次数时结束学习过程。最 终显示出焊缝焊接质量的识别结果。
[0044] 本发明采用双目视觉技术完成焊缝内凹深度信息提取。首先采用张正友标定法对 相机的内参进行标定，确定相机的焦距;对图像进行立体匹配，获取视差图，运用曲线拟合 的方法对视差图进行细化;最后运用三角测量原理&=4其中f为焦距，b为基线距离，d 为视差值，完成三维信息构建，在焊缝边缘处选取三点计算出所选取的三个焊缝边缘点至 相机的距离，取平均求出焊缝边缘至相机的距离I1，在焊缝中心选取一点，求取焊缝中心位 置至相机的距离1 2山和12之差即可判断焊缝的内凹深度。
[0045] 本发明的技术方案如下：
[0046] 本发明所采用的装置参见图1，包括计算机1、工业相机2、转接头3、工业内窥镜4、 移动便携式光源5、内窥镜固定夹具6和待测小口管道7。工业相机2与计算机1相连，转接头3 一端与工业相机2相连，另一端与工业内窥镜4相连，计算机1、工业相机2、转接头3、工业内 窥镜4组成采集单元对焊缝图像进行采集。移动便携式光源5与工业内窥镜4相连，用于提供 待测小口管道7内照明。内窥镜固定夹具6与工业内窥镜4相连，用于工业内窥镜4的中心定 位、上下调节定位和360°旋转。完成对待测小口管道7内部焊缝表面缺陷的识别检测。
[0047] 内窥镜固定夹具6包括底座平台8、卡头9、丝杠10、内窥镜固定卡槽11、球轴承12、 活动支座13、连接杆14;卡头9安装在底座平台8表面上，卡头9中间固定有丝杠10,内窥镜固 定卡槽11安装在丝杠10上;底座平台8的中间与活动支座13之间通过球轴承12相配合，活动 支座13的底部与连接杆14连接。
[0048] 本发明具有以下优点：（1)用内窥镜替代传统X射线采集焊缝表面图像，避免传统X 射线对人体的辐射伤害。（2)采用基于灰度共生矩阵和BP神经网络的方法，能够识别小口 管径内焊缝焊接质量情况，避免因人工检测疲劳而造成漏检。
【附图说明】
[0049] 图1:检测装置系统图；
[0050]图2:内窥镜固定夹具不意图；
[0051] 图3:本内焊缝表面缺陷识别流程图
[0052] 图4:训练样本图像不意图；
[0053] 图5:焊接质量良好样本特征参数示意表；
[0054] 图6:断焊样本特征参数示意表；
[0055] 图7:孔洞样本特征参数示意表；
[0056] 图8:焊偏样本特征参数示意表；
[0057]图9:焊瘤样本特征参数示意表；
[0058]图10:BP神经网络输出结果表；
[0059] 图11:左、右位置采集的焊缝图像；
[0060] 图12:视差图；
[0061 ]图1中：1、计算机，2、工业相机，3、转接头，4、工业内窥镜，5、移动便携式光源，6、内 窥镜固定夹具，7、待测小口管道。
[0062]图2中：8、底座平台，9、卡头，10、丝杠，11、内窥镜固定卡槽，12、球轴承，13、活动支 座，14、连接杆。
【具体实施方式】
[0063]下面结合具体实验对本发明作进一步说明：
[0064] 步骤一:实验系统搭建:按照图1的检测装置系统图安装试验系统，系统包括计算 机1、体积为29mm X 29mm X 57mm的工业相机2、F35光学转接头3、直径为8mm工业硬性内窥镜 4、移动便携式光源5和内窥镜固定夹具6。工业相机2与计算机1相连，转接头3-端与工业相 机2相连，另一端与工业内窥镜4相连，可用于焊缝图像的采集。移动便携式光源5与工业内 窥镜4相连，用于提供管内的照明。内窥镜固定夹具6与内窥镜4相连，用于内窥镜的中心定 位以及上下调节定位，对内径为30mm的小口管道进行检测。
[0065] 步骤二：采集样本图像:首先选取5类不同表面焊接质量的图像（良好、孔洞、焊 偏、焊瘤和断焊），共5X50幅图像作为训练样本，（采集的不同焊接质量焊缝表面图像如图4 所示)基于灰度共生矩阵，提取出不同焊接质量焊缝表面的能量、对比度、相关性、同质性、 熵和方差等特征参数，并将提取的特征参数进行归一化处理特征参数。（不同焊接质量焊缝 表面的特征参数如图5到图9所示）。
[0066]步骤三:BP神经网络的建立:将训练样本输入到神经网络中，并设置神经网络的初 始值参数，其中输入层设置为24,输出层设置为5,隐含层神经元设置为20。隐含层传递函数 选择I ogs i g传递函数，输出层传递函数选择I ogs i g传递函数，训练算法选择梯度下降自适 应学习训练函数。设定最大训练次数为3000次，训练精度为0.01，学习率为0.01，显示训练 间隔为50。
[0067]步骤四：焊缝表面焊接质量识别：采集40幅图像进行分类识别，基于灰度共生矩 阵，提取采集图像的能量、对比度、相关性、同质性、熵和方差等特征参数，并将提取的特征 参数进行归一化处理特征参数。采集到的图像经过神经网络识别，计算出测试样本与各类 不同表面焊接质量训练样本的匹配度，选取与5类不同表面焊接质量测试样本匹配度最高 的一类，识别出测试样本的表面焊接质量。此方法的总体分类识别正确率为92.5%(BP神经 网络输出结果如图10所示）
[0068] 步骤五:焊缝内凹深度检测;采用张正友标定法标定出相机的焦距为30mm。对初步 判断为焊接质量良好的管道进行检测;选取焊缝区域反光较小的位置采集一幅图像(如图 11 (a)所示），利用电动机驱动，移动图2中的卡头2，移动距离为2mm，采集第二幅图像(如图 11(b)所示）。对图像进行立体匹配获取初始视差图，再采用曲线拟合细化视差图（如图12所 示），利用三角测量原理z, 完成三维信息构建。在中心区域选取3个焊缝边缘点取平 a 均获得焊缝边缘至相机的距离为6.6758mm，取焊缝中心点的距离为6.0022mm，两者距离差 0.6736mm可近似为焊缝中心区域为与焊缝边缘区域的相对高度差。
【主权项】
1. 一种小口径管内焊缝表面缺陷识别装置，其特征在于:该装置包括计算机（1)、工业 相机(2)、转接头(3)、工业内窥镜(4)、移动便携式光源巧）、内窥镜固定夹具(6)和待测小口 管道(7);工业相机(2)与计算机（1)相连，转接头(3) -端与工业相机(2)相连，另一端与工 业内窥镜(4)相连，计算机(1)、工业相机(2)、转接头(3)、工业内窥镜(4)组成采集单元对焊 缝图像进行采集;移动便携式光源巧)与工业内窥镜(4)相连，用于提供待测小口管道(7)内 照明；内窥镜固定夹具(6)与工业内窥镜(4)相连，用于工业内窥镜(4)的中屯、定位、上下调 节定位和360°旋转;完成对待测小口管道(7)内部焊缝表面缺陷的识别检测； 内窥镜固定夹具(6)包括底座平台（8)、卡头(9)、丝杠（10)、内窥镜固定卡槽（11)、球轴 承（12)、活动支座（13)、连接杆(14);卡头(9)安装在底座平台（8)表面上，卡头(9)中间固定 有丝杠(10)，内窥镜固定卡槽(11)安装在丝杠（10)上;底座平台（8)的中间与活动支座（13) 之间通过球轴承(12)相配合，活动支座(13)的底部与连接杆(14)连接。2. 利用权利要求1所述装置进行的基于灰度共生矩阵和BP神经网络W及基于双目立体 视觉技术的焊缝表面缺陷的检测方法，其特征在于:本方法基本原理在于， 对表面焊接质量不同的焊缝进行图像采集，焊缝中的纹理通常体现了焊缝表面的纹理 特性信息，即物体表面的凹凸不平特性;焊接质量良好的焊缝呈鱼鱗纹状，其纹理较为均 匀;而焊接质量较差的焊缝其表面纹理较为杂乱，变化不规则，而不同的缺陷的纹理特征也 各不相同；而灰度共生矩阵能够很好的描述不规则的纹理，区分微小的形态差异，能较好的 提取焊缝表面的有效特征参数;从焊缝图像中提取出其灰度共生矩阵，获取焊缝表面的特 征参数，实现焊缝表面纹理特征的数学表征； G( i，j)表示灰度共生矩阵，为了简化运算，矩阵元素常用概率值表示，即将元素 G( i，j) 除W各元素之和S，得到各元素都小于1的归一化值(1) 能量(：1) 能量反映了焊缝图像灰度分布的均匀程度和纹理粗细度;若共生矩阵中的全部数值均 相等，则能量值较小，反之，若矩阵数值不等，则能量值较大；即能量值可表明焊缝纹理变化 的均匀度和规则程度； (2) 对比度焊缝图像的对比度可W理解为焊缝图像的清晰度，即焊缝纹理清晰程度;在焊缝图像 中，纹理的纹沟越深，则其对比度CON越大； (3) 相关性(3) 其中：相关性反应了焊缝图像纹理的一致性;如果焊缝图像中有水平方向纹理，则水平方向 矩阵的COR大于其余方向矩阵的COR值;相关性可度量空间灰度共生矩阵元素在行列方向上 的相似程度，其值大小反映了焊缝图像中局部灰度的相关性；当矩阵元素值均匀相等时，相 关值大，反之相关值较小； (4)同质性(：8) 同质性可度量焊缝图像纹理局部变化量的大小;若某区域内图像纹理的变化量较小， 则该区域的同质性较大； 巧)赌巧） 赌能反映焊缝图像所具有的信息量，表示焊缝图像中纹理的非均匀程度或复杂程度； (6)方差(10) 其中U为灰度共生矩阵各元素的均值； 本方法采用BP神经网络对焊缝表面缺陷图像进行分类识别，BP网络能学习和存胆大量 的输入-输出模式映射关系;它的学习规则是使用最速下降法，通过反向传播来不断调整网 络的权值和阔值，使网络的误差平方和最小;B巧巾经网络模型拓扑结构包括输入层、隐含层 和输出层； BP算法由数据流的前向计算和误差信号的反向传播两个过程构成；正向传播时，数据 流的传播方向为从输入层到隐含层再到输出层，每层神经元的状态只影响下一层神经元； 若在输出层得不到期望的输出，则转向误差信号的反向传播流程，误差信号的传播方向为 输出层到隐含层再到输入层;通过运两个过程的交替进行，在权向量空间执行误差函数梯 度下降策略，动态迭代捜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和 记忆过程； 设BP神经网络的输入层有η个节点，隐含层有q个神经元，输出层有m个神经元，输入层 与隐含层之间的权值为Vki，隐含层与输出层之间的权值为WA，隐含层的传递函数为fi( ·)， 输出层的传递函数为f2( ·); 隐含层节点的输出为：由式（11)和式（12)，BP神经网络就完成了η维空间向量(输入层)对m维空间向量(输出 层)的近似映射； 误差函数即目标函数设输入P个学习样本(χ?χ2···χΡ)，第P个样本输入网络后得到输出 为(j = 1，2，…，m);定义第Ρ个样本的误差为Ερ，Ρ个样本的均方误差为Ε;为了避免迭代次 数增加，运算速度减慢，保证每个样本的误差减少，因此选取均方误差作为目标函数； 均方误差：U3) 根据公式(13)计算网络全局误差Ε，并与预设的期望误差比较，判断网络误差是否满足要 求;当误差达到期望误差的精度或学习次数大于设定的迭代次数时，则网络学习结束;否则，选 取下一个学习样本及对应的期望输出，返回到神经元的净输入值进行数据的正向传播，进入下一轮学习，直至满足误差精度或学习次数时结束学习过程;最 终显示出焊缝焊接质量的识别结果； 本发明采用双目视觉技术完成焊缝内凹深度信息提取;首先采用张正友标定法对相机 的内参进行标定，确定相机的焦距;对图像进行立体匹配，获取视差图，运用曲线拟合的方 法对视差图进行细化;最后运用Ξ角测量原茵其中f为焦距，b为基线距离，d为视 差值，完成Ξ维信息构建，在焊缝边缘处选取Ξ点计算出所选取的Ξ个焊缝边缘点至相机 的距离，取平均求出焊缝边缘至相机的距离h，在焊缝中屯、选取一点，求取焊缝中屯、位置至 相机的距离b，h和b之差即可判断焊缝的内凹深度。3.根据权利要求2所述的基于灰度共生矩阵和BP神经网络W及基于双目立体视觉技术 的焊缝表面缺陷的检测方法，其特征在于： 步骤一:实验系统搭建:安装试验系统，系统包括计算机、体积为29mm X 29mmX 57mm的 工业相机、F35光学转接头、直径为8mm工业硬性内窥镜、移动便携式光源和内窥镜固定夹 具;工业相机与计算机相连，转接头一端与工业相机相连，另一端与工业内窥镜相连，可用 于焊缝图像的采集;移动便携式光源与工业内窥镜相连，用于提供管内的照明；内窥镜固定 夹具与内窥镜相连，用于内窥镜的中屯、定位W及上下调节定位，对内径为30mm的小口管道 进行检测； 步骤二:采集样本图像:首先选取5类不同表面焊接质量的图像，共5X50幅图像作为训 练样本，基于灰度共生矩阵，提取出不同焊接质量焊缝表面的能量、对比度、相关性、同质 性、赌和方差等特征参数，并将提取的特征参数进行归一化处理特征参数； 步骤Ξ:Β巧巾经网络的建立:将训练样本输入到神经网络中，并设置神经网络的初始值 参数，其中输入层设置为24，输出层设置为5，隐含层神经元设置为20;隐含层传递函数选择 logsig传递函数，输出层传递函数选择logsig传递函数，训练算法选择梯度下降自适应学 习训练函数;设定最大训练次数为3000次，训练精度为0.01，学习率为0.01，显示训练间隔 为50; 步骤四：焊缝表面焊接质量识别：采集40幅图像进行分类识别，基于灰度共生矩阵，提 取采集图像的能量、对比度、相关性、同质性、赌和方差等特征参数，并将提取的特征参数进 行归一化处理特征参数;采集到的图像经过神经网络识别，计算出测试样本与各类不同表 面焊接质量训练样本的匹配度，选取与5类不同表面焊接质量测试样本匹配度最高的一类， 识别出测试样本的表面焊接质量； 步骤五:焊缝内凹深度检测;采用张正友标定法标定出相机的焦距为30mm;对初步判断 为焊接质量良好的管道进行检测;选取焊缝区域反光较小的位置采集一幅图像，利用电动 机驱动，移动卡头，移动距离为2mm，采集第二幅图像;对图像进行立体匹配获取初始视差 图，再采用曲线拟合细化视差图，利用Ξ角测量原理馬.=^完成Ξ维信息构建;在中屯、区 a 域选取3个焊缝边缘点取平均获得焊缝边缘至相机的距离为6.6758mm，取焊缝中屯、点的距 离为6.0022mm，两者距离差0.6736mm可近似为焊缝中屯、区域为与焊缝边缘区域的相对高度 差。
【文档编号】G01N21/88GK105938620SQ201610232454
【公开日】2016年9月14日
【申请日】2016年4月14日
【发明人】焦敬品, 李思源, 常予, 李立, 何存富, 吴斌
【申请人】北京工业大学