一种基于图像纹理的焊缝表面缺陷识别方法
【专利摘要】一种基于图像纹理的焊缝表面缺陷识别方法，根据采集图像标准，设置微型CCD相机拍摄参数；将采集到的真彩色图像转化为灰度图，创建灰度共生矩阵；分别提取0°、45°、90°和135°方向上的能量、对比度、相关性、同质性、熵和方差共24个特征参数，并将提取的特征参数进行归一化处理；利用训练样本图像训练BP神经网络，设置神经网络的神经元数、隐含层传递函数、输出层传递函数和训练算法传递函数；将测试样本特征参数输入到训练后的BP神经网络中，进行分类识别；计算测试样本与各类不同表面焊接质量训练样本的匹配度，完成测试样本表面焊接质量的自动分类识别。
【专利说明】
一种基于图像纹理的焊缝表面缺陷识别方法
技术领域
[0001] 本发明涉及一种焊缝表面缺陷分类识别的方法，特别是基于灰度共生矩阵和BP神 经网络的自动分类识别方法。该方法适用于焊缝表面缺陷的分类识别，属于无损检测领域。
【背景技术】
[0002] 焊接技术广泛应用在工业生产中，目前大型工件多采用自动焊接工艺完成。在生 产线式自动焊接过程中，难免会出现影响产品质量的孔洞、焊瘤、偏焊和断焊等缺陷。焊缝 表面缺陷的存在会大大降低焊接产品在服役期内的安全性，轻则出现产品失效泄漏，重则 导致产品发生脆性断裂，引起严重的人员伤亡。因此，针对工件焊缝表面焊接质量的检测， 作为排除工件重大安全隐患的方法，具有重要的工程实用价值。
[0003] 常用的焊接检测手段有目视检测、射线检测、超声波检测和渗透检测等，其中目视 检测是焊件外观检测中最为常用的检测方式。目视检测是焊件检测人员通过放大镜、游标 卡尺以及咬边测量器等检测工具，结合产品的检验标准、焊件检测人员的专业知识及检测 经验，对焊件表面的质量状况进行检测评判，以确定该构件是否达到设计要求。目视检测法 由于其检测方法灵活性强、操作简单等优点得到了广泛应用。然而，由于检测人员长期注视 焊缝，眼部疲劳，容易出现漏检、误判等情况。此外，由于检验人员素质、技能和经验的不同， 对质量检验标准的把握多有偏差，导致检测等级受检测人员的主观影响因素较大，很难对 缺陷做出规范化、客观化和标准化的判断。为了提高焊缝的焊接质量，改善检测人员的检测 条件，迫切需要实现焊缝焊接质量自动化检测。
[0004] 灰度共生矩阵分析法广泛应用在地质学、农林业学和医学的检测和分类中，但目 前并没有应用到焊缝的缺陷识别检测中，Soh等[Texture analysis ofSAR sea ice imagery using gray level co-occurrence matrices[J].Geoscience&Remote Sensing IEEE Transactions on, 1999,37(2) :780-795]研究海水冰块的纹理特征，确定海冰形状的 灰度共生矩阵描述参数、方向特性和位移参数，研究结果表明基于灰度共生矩阵可以定量 分析海冰表面形状。Narvankar等[Assessment ofsoftX-ray imaging for detection of fungal infection inwheat[J] .Biosystems Engineering,2009,103(1) :49-56]对利用X 射线采集到的小麦图像分析研究，确定小麦纹理的灰度共生矩阵描述参数，结合神经网络 有效的对健康的小麦和受真菌感染的小麦识别分类。
[0005] 针对目前焊缝表面缺陷检测，研究不同焊接质量焊缝表面的纹理特征，借助图像 识别与人工智能网络技术，提出一种焊缝表面缺陷图像自动分类识别的方法，用于实现自 动焊接工艺下多种焊缝表面缺陷的自动识别与分类。本方法采用CCD相机采集焊缝焊接表 面图像，直观、可靠且易操作。在缺陷识别分类方面，利用灰度共生矩阵识别图片中焊缝缺 陷的多种特征参数，同时，通过训练BP神经网络实现不同类型缺陷的自动分类。
【发明内容】
[0006] 本发明的设计在于提供一种焊缝表面缺陷分类识别的方法，特别是基于图像智能 技术的自动分类识别方法。本方法基于灰度共生矩阵获取分类识别的特征参数，分类器采 用BP神经网络对焊件工件焊缝表面缺陷分类与识别。本发明提出的一种基于图像纹理的焊 缝表面缺陷图像自动分类识别的方法是通过以下步骤实现的：
[0007] 步骤一：图像采集。
[0008] 对表面焊接质量不同的焊缝进行图像采集，为了保证图像的清晰度，修正外部光 线所造成的误差。对相机的内参进行修改，使其达到最好的成像效果
[0009] 步骤二：图像前期处理。
[0010] 将真彩色RGB图像转化为灰度图像，并将灰度图像创建为灰度共生矩阵。步骤三： 训练样本焊缝表面特征参数提取。
[0011] (1)为减小由拍摄角度引起的操作误差，并根据焊缝缺陷纹理的差异性及计算效 率，设置灰度共生矩阵计算中的像素距离，设置步进方向为〇°、45°、90°和135°方向，生成灰 度共生矩阵。
[0012] (2)提取灰度共生矩阵中的能量、对比度、相关性、同质性、熵和方差等特征参数， 并将提取的特征参数进行归一化处理。
[0013] 步骤四：BP神经网络的创建。
[0014] (1)将训练样本输入到神经网络中，对神经网络的神经元数、隐含层传递函数、输 出层传递函数和训练算法传递函数进行设置。
[0015] (2)对神经网络进行多次训练，确定最终的权值与阈值矩阵。优化出最佳的神经网 络结构参数。
[0016] 步骤五:测试样本缺陷分类识别。
[0017] 将测试样本图像重复步骤二和步骤三。并将得到的测试样本特征参数输入到步骤 四创建的BP神经网络中，进行分类识别。
[0018]步骤六:焊接质量评定。
[0019] 测试样本经过神经网络识别，计算出测试样本与各类不同表面焊接质量训练样本 的匹配度，选取与5类不同表面焊接质量测试样本匹配度最高的一类，识别出测试样本的表 面焊接质量。
[0020] 本发明提出的一种基于图像纹理的焊缝表面缺陷识别方法，其基本原理如下：
[0021] 对表面焊接质量不同的焊缝进行图像采集，图像中的纹理通常体现了焊缝表面的 纹理特性信息，即物体表面的凹凸不平特性。焊接质量良好的焊缝呈鱼鳞纹状，其纹理较为 均匀。而焊接质量较差的焊缝其表面纹理较为杂乱，变化不规则，而不同的缺陷的纹理特征 也各不相同。而灰度共生矩阵能够很好的描述不规则的纹理，区分微小的形态差异，能较好 的提取焊缝表面的有效特征参数。从焊缝图像中提取出其灰度共生矩阵，获取焊缝表面的 特征参数，实现焊缝表面纹理特征的数学表征。
[0022] G(i，j)表示灰度共生矩阵，为了简化运算，矩阵元素常用概率值表示，即将元素 G (i，j)除以各元素之和S，得到各元素都小于1的归一化值
[0023]
[0024] ( 1 )
[0025] 能量反映了焊缝图像灰度分布的均匀程度和纹理粗细度。若共生矩阵中的全部数 值均相等，则能量值较小，反之，若矩阵数值不等，则能量值较大。即能量值可表明焊缝纹理 变化的均匀度和规则程度。
[0026] (2)对比度（Contrast)
[0027]
(2)
[0028] 焊缝图像的对比度可以理解为焊缝图像的清晰度，即焊缝纹理清晰程度。在焊缝 图像中，纹理的纹沟越深，则其对比度CON越大。
[0029] (3)相关性（Correlation)
[003
[003
[003
[003
[003
[003
[0036] 相关性反应了焊缝图像纹理的一致性。如果焊缝图像中有水平方向纹理，则水平 方向矩阵的COR大于其余方向矩阵的COR值。相关性可度量空间灰度共生矩阵元素在行列方 向上的相似程度，其值大小反映了焊缝图像中局部灰度的相关性。当矩阵元素值均匀相等 时，相关值大，反之相关值较小。
[0037] (4)同质性（Homogeneity)
[0038]
(8)
[0039] 同质性可度量焊缝图像纹理局部变化量的大小。若某区域内焊缝图像纹理的变化 量较小，则该区域的同质性较大。
[0040] /[、'kfe，一-------、
[0041 ] (9)
[0042]熵能反映焊缝图像所具有的信息量，表示焊缝图像中纹理的非均匀程度或复杂程 度。
[0043] (6)方差（variance)
[0044]
(10)
[0045] 其中u为灰度共生矩阵各元素的均值。
[0046]本方法采用BP神经网络对焊缝表面缺陷图像进行分类识别，BP网络能学习和存贮 大量的输入-输出模式映射关系。它的学习规则是使用最速下降法，通过反向传播来不断调 整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层、隐 含层和输出层。
[0047] BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正 向传播时，数据流的传播方向为从输入层到隐含层再到输出层，每层神经元的状态只影响 下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程，误差信号 的传播方向为输出层到隐含层再到输入层。通过这两个过程的交替进行，在权向量空间执 行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完 成信息提取和记忆过程。
[0048]设BP神经网络的输入层有η个节点，隐含层有q个神经元，输出层有m个神经元，输 入层与隐含层之间的权值为Vk1，隐含层与输出层之间的权值为wjk，隐含层的传递函数为fi (·)，输出层的传递函数为f 2( ·)。
[0049] 隐含层节点的输出为(将阈值写入求和项中）：
[0050]
[0051]
[0052]
[0053]由式（11)和式（12)，BP神经网络就完成了η维空间向量(输入层）对m维空间向量 (输出层)的近似映射。
[0054]误差函数即目标函数设输入P个学习样本(X1X^-Xp)，第p个样本输入网络后得到 输出为灯（j=l二定义第p个样本的误差为Ep，P个样本的均方误差为E。为了避免迭 代次数增加，运算彳亩磨减暢·保W标个链太的彳呈笔M/l>.田此视Kv均方误差作为目标函数。
[0055] 均方误I 13 '
[0056] 根据公式（13)计算网络全局误差E，并与预设的期望误差比较，判断网络误差是否 满足要求。当误差达到期望误差的精度或学习次数大于设定的迭代次数时，则网络学习结 束；否则，选取下一个学习样本及对应的期望输出，返回到神经元的净输入值
进行数据的正向传播，进入下一轮学习，直至满足误差精度或 学习次数时结束学习过程。最终显示出焊缝焊接质量的识别结果。
[0057] 本发明具有以下优点：1)将灰度共生矩阵作为分类识别的特征参数，有效区分焊 缝表面不同焊接质量的纹理特征。2)基于BP神经网络对焊缝表面焊接质量进行评定，避免 了图像拍摄对缺陷识别的影响，实现了焊缝表面缺陷的分类识别。
【附图说明】
[0058]图1训练样本图像示意图
[0059]图2焊接质量良好样本特征参数示意表
[0060] 图3断焊样本特征参数示意表
[0061] 图4孔洞样本特征参数示意表
[0062] 图5焊偏样本特征参数示意表 [0063]图6焊瘤样本特征参数示意表 [0064]图7 BP神经网络训练特征表现曲线图 [0065]图8 BP神经网络训练拟合曲线图 [0066]图9 BP神经网络输出结果表
[0067] 图10为本方法的实施流程图
【具体实施方式】
[0068] 下面结合具体实验对本发明作进一步说明：
[0069]本实验实施过程包括以下步骤：
[0070]实验选取5类不同表面焊接质量的图像（良好、孔洞、焊偏、焊瘤和断焊），共5X50 幅图像作为训练样本。另外采集5X8幅图像作为测试样本。
[0071]步骤一:图像采集。
[0072]对表面焊接质量不同的焊缝进行图像采集，为了保证图像的清晰度，修正外部光 线所造成的误差。采集前对相机的白平衡红设置为112、白平衡绿设置为62、白平衡蓝设置 为123、色相设置为15、饱和度设置为130和对比度设置为-4。采集的图像为真彩色RGB图像。 (不同焊接质量的焊缝如图1所示）
[0073]步骤二：图像前期处理。
[0074]将真彩色RGB图像转化为灰度图像，并将灰度图像创建为灰度共生矩阵。步骤三： 样本焊缝表面特征参数提取。
[0075] (1)为减小由拍摄角度引起的操作误差，并根据焊缝缺陷纹理的差异性及计算效 率，设置灰度共生矩阵计算中的像素距离为3,设置步进方向为0°、45°、90°和135°方向，生 成灰度共生矩阵。
[0076] (2)提取灰度共生矩阵中的能量、对比度、相关性、同质性、熵和方差等特征参数， 并将提取的特征参数进行归一化处理(不同焊接质量的焊缝的特征参数如图2到图6所示） [0077] 步骤四：BP神经网络的创建。
[0078] (1)将训练样本输入到神经网络中，并设置神经网络的初始值参数，其中输入层设 置为24,输出层设置为5,隐含层神经元设置为20。隐含层传递函数选择Iogsig传递函数，输 出层传递函数选择Iogsig传递函数，训练算法选择梯度下降自适应学习训练函数。设定最 大训练次数为3000次，训练精度为0.01，学习率为0.01，显示训练间隔为50。
[0079] (2)对神经网络进行多次训练，确定最终的权值与阈值矩阵。优化出最佳的神经网 络结构参数。（训练特征表现曲线如图7所示）
[0080] 步骤五:测试样本缺陷分类识别。
[0081] 将测试样本的40幅图像重复步骤二和步骤三。将得到的测试样本特征参数输入到 步骤四训练完成的BP神经网络中，进行分类识别。（训练拟合曲线如图8所示）
[0082]步骤六:焊接质量评定。
[0083]测试样本经过神经网络识别，计算出测试样本与各类不同表面焊接质量训练样本 的匹配度，选取与5类不同表面焊接质量测试样本匹配度最高的一类，识别出测试样本的表 面焊接质量。本实验中，共40幅测试样本图片，其中37幅测试图像的焊接缺陷识别准确，1幅 出现断焊误判(将断焊缺陷误判为焊瘤缺陷），2幅出现偏焊误判(将偏焊缺陷误判为焊瘤缺 陷），此方法的总体分类识别正确率为92.5% JBP神经网络输出结果如图9所示）。
[0084]本方法的实施流程图如图10所示。
[0085]以上是本发明的一个典型应用，本发明的应用不限于此。
【主权项】
1. 一种基于图像纹理的焊缝表面缺陷识别方法，其特征在于:本方法是通过W下步骤 实现的， 步骤一：图像采集； 对表面焊接质量不同的焊缝进行图像采集，为了保证图像的清晰度，修正外部光线所 造成的误差;对相机的内参进行修改，使其达到最好的成像效果 步骤二：图像前期处理； 将真彩色RGB图像转化为灰度图像，并将灰度图像创建为灰度共生矩阵； 步骤Ξ:训练样本焊缝表面特征参数提取； (1) 为减小由拍摄角度引起的操作误差，并根据焊缝缺陷纹理的差异性及计算效率，设 置灰度共生矩阵计算中的像素距离，设置步进方向为0°、45°、90°和135°方向，生成灰度共 生矩阵； (2) 提取灰度共生矩阵中的能量、对比度、相关性、同质性、赌和方差等特征参数，并将 提取的特征参数进行归一化处理； 步骤四：B巧申经网络的创建； (1) 将训练样本输入到神经网络中，对神经网络的神经元数、隐含层传递函数、输出层 传递函数和训练算法传递函数进行设置； (2) 对神经网络进行多次训练，确定最终的权值与阔值矩阵;优化出最佳的神经网络结 构参数； 步骤五:测试样本缺陷分类识别； 将测试样本图像重复步骤二和步骤Ξ;并将得到的测试样本特征参数输入到步骤四创 建的BP神经网络中，进行分类识别； 步骤六:焊接质量评定； 测试样本经过神经网络识别，计算出测试样本与各类不同表面焊接质量训练样本的匹 配度，选取与5类不同表面焊接质量测试样本匹配度最高的一类，识别出测试样本的表面焊 接质量。2. 根据权利要求1所述的一种基于图像纹理的焊缝表面缺陷识别方法，其特征在于:其 基本原理如下， 对表面焊接质量不同的焊缝进行图像采集，图像中的纹理通常体现了焊缝表面的纹理 特性信息，即物体表面的凹凸不平特性;焊接质量良好的焊缝呈鱼鱗纹状，其纹理较为均 匀;而焊接质量较差的焊缝其表面纹理较为杂乱，变化不规则，而不同的缺陷的纹理特征也 各不相同；而灰度共生矩阵能够很好的描述不规则的纹理，区分微小的形态差异，能较好的 提取焊缝表面的有效特征参数;从焊缝图像中提取出其灰度共生矩阵，获取焊缝表面的特 征参数，实现焊缝表面纹理特征的数学表征； G( i，j)表示灰度共生矩阵，为了简化运算，矩阵元素常用概率值表示，即将元素 G( i，j) 除W各元素之和S，得到各元素都小于1的归一化{J (1)能量(1； 能量反映了焊缝图像灰度分布的均匀程度和纹理粗细度;若共生矩阵中的全部数值均 相等，则能量值较小，反之，若矩阵数值不等，则能量值较大；即能量值可表明焊缝纹理变化 的均匀度和规则程度； (2) 对比度(2) 焊缝图像的对比度可W理解为焊缝图像的清晰度，即焊缝纹理清晰程度;在焊缝图像 中，纹理的纹沟越深，则其对比度CON越大； (3) 相关性(Correlation)相关性反应了焊缝图像纹理的一致性;如果焊缝图像中有水平方向纹理，则水平方向 矩阵的C0R大于其余方向矩阵的C0R值;相关性可度量空间灰度共生矩阵元素在行列方向上 的相似程度，其值大小反映了焊缝图像中局部灰度的相关性；当矩阵元素值均匀相等时，相 关值大，反之相关值较小； (4) 同质性(8) 同质性可度量焊缝图像纹理局部变化量的大小;若某区域内焊缝图像纹理的变化量较 小，则该区域的同质性较大； 巧)赌(9) 赌能反映焊缝图像所具有的信息量，表示焊缝图像中纹理的非均匀程度或复杂程度； (6)方差(10) 其中U为灰度共生矩阵各元素的均值； 本方法采用BP神经网络对焊缝表面缺陷图像进行分类识别，BP网络能学习和存胆大量 的输入-输出模式映射关系;它的学习规则是使用最速下降法，通过反向传播来不断调整网 络的权值和阔值，使网络的误差平方和最小;B巧巾经网络模型拓扑结构包括输入层、隐含层 和输出层。3. 根据权利要求2所述的一种基于图像纹理的焊缝表面缺陷识别方法，其特征在于:BP 算法由数据流的前向计算即正向传播和误差信号的反向传播两个过程构成;正向传播时， 数据流的传播方向为从输入层到隐含层再到输出层，每层神经元的状态只影响下一层神经 元;若在输出层得不到期望的输出，则转向误差信号的反向传播流程，误差信号的传播方向 为输出层到隐含层再到输入层;通过运两个过程的交替进行，在权向量空间执行误差函数 梯度下降策略，动态迭代捜索一组权向量，使网络误差函数达到最小值，从而完成信息提取 和记忆过程； 设BP神经网络的输入层有η个节点，隐含层有q个神经元，输出层有m个神经元，输入层 与隐含层之间的权值为Vki，隐含层与输出层之间的权值为WA，隐含层的传递函数为fi( ·)， 输出层的传递函数为f2( ·); 隐含层节点的输出为(将阔值写入求和项中）：由式（11)和式（12)，BP神经网络就完成了η维空间向量即输入层对m维空间向量即输出 层的近似映射； 误差函数即目标函数设输入P个学习样本(χ?χ2···χΡ)，第P个样本输入网络后得到输出 为.V:' (j=l，2,…，m};定义第Ρ个样本的误差为Ερ，Ρ个样本的均方误差为Ε;为了避免迭代次 数增加，运算速度减慢，保证每个样本的误差减少，因此选取均方误差作为目标函数； 均方误差：（13) 根据公式（13)计算网络全局误差Ε，并与预设的期望误差比较，判断网络误差是否满足 要求;当误差达到期望误差的精度或学习次数大于设定的迭代次数时，则网络学习结束;否 贝1J，选取下一个学习样本及对应的期望输出，返回到神经元的净输入值'进行数据的正向传播，进入下一轮学习，直至满足误差精度或 学习次数时结束学习过程;最终显示出焊缝焊接质量的识别结果。4. 根据权利要求1所述的一种基于图像纹理的焊缝表面缺陷识别方法，其特征在于： 本实验实施过程包括W下步骤： 实验选取5类不同表面焊接质量的图像，图像分别为良好、孔桐、焊偏、焊瘤和断焊，共5 X 50幅图像作为训练样本;另外采集5 X 8幅图像作为测试样本； 步骤一：图像采集； 对表面焊接质量不同的焊缝进行图像采集，为了保证图像的清晰度，修正外部光线所 造成的误差；采集前对相机的白平衡红设置为112、白平衡绿设置为62、白平衡蓝设置为 123、色相设置为15、饱和度设置为130和对比度设置为-4;采集的图像为真彩色RGB图像； 步骤二：图像前期处理； 将真彩色RGB图像转化为灰度图像，并将灰度图像创建为灰度共生矩阵；步骤Ξ:样本 焊缝表面特征参数提取； (1) 为减小由拍摄角度引起的操作误差，并根据焊缝缺陷纹理的差异性及计算效率，设 置灰度共生矩阵计算中的像素距离为3,设置步进方向为0°、45°、90°和135°方向，生成灰度 共生矩阵； (2) 提取灰度共生矩阵中的能量、对比度、相关性、同质性、赌和方差等特征参数，并将 提取的特征参数进行归一化处理（ 步骤四：B巧申经网络的创建； (1) 将训练样本输入到神经网络中，并设置神经网络的初始值参数，其中输入层设置为 24,输出层设置为5,隐含层神经元设置为20;隐含层传递函数选择logsig传递函数，输出层 传递函数选择logsig传递函数，训练算法选择梯度下降自适应学习训练函数;设定最大训 练次数为3000次，训练精度为0.01，学习率为0.01，显示训练间隔为50; (2) 对神经网络进行多次训练，确定最终的权值与阔值矩阵;优化出最佳的神经网络结 构参数； 步骤五:测试样本缺陷分类识别； 将测试样本的40幅图像重复步骤二和步骤Ξ;将得到的测试样本特征参数输入到步骤 四训练完成的BP神经网络中，进行分类识别； 步骤六:焊接质量评定； 测试样本经过神经网络识别，计算出测试样本与各类不同表面焊接质量训练样本的匹 配度，选取与5类不同表面焊接质量测试样本匹配度最高的一类，识别出测试样本的表面焊 接质量。
【文档编号】G06N3/08GK105938563SQ201610231852
【公开日】2016年9月14日
【申请日】2016年4月14日
【发明人】焦敬品, 李思源, 常予, 何存富, 吴斌
【申请人】北京工业大学