基于卷积神经网络的焊接视觉检测方法及装置的制造方法

文档序号:10532819阅读:604来源:国知局
基于卷积神经网络的焊接视觉检测方法及装置的制造方法
【专利摘要】一种基于卷积神经网络的焊接视觉检测方法,包括如下步骤:第一步,训练阶段,将训练样本输入卷积神经网络,获得卷积神经网络的连接权值和偏置值;第二步,测试阶段,读入焊接图像,对焊接图像采用数字图像处理技术进行预处理,提取出感兴趣区域,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入。以及提供一种基于卷积神经网络的焊接视觉检测装置,包括爬行机构、动力传动机构、视觉检测设备和焊缝缺陷检测分析系统。本发明提供一种提升自动化和智能化水平、有效提高检测的精度和速度的基于卷积神经网络的焊接视觉检测方法及装置。
【专利说明】
基于卷积神经网络的焊接视觉检测方法及装置
技术领域
[0001]本发明属于爬行器、全方位视觉传感器、无线通信、深度学习以及计算机视觉技术 在焊缝缺陷识别检测中的应用,涉及一种焊接视觉检测方法及装置。
【背景技术】
[0002]在制造业中,焊接是许多加工制造方法的基础,其质量好坏决定了广品的可靠性。 焊接质量检测是保证焊接质量的重要手段,目前环节质量检测方法主要有:破坏性检测和 非破坏性检测等。破坏性检测与非破坏性检测相比,可靠性更高,但是工件必然受到破坏。 视觉检测方法作为最广泛采用的非破坏性检测方法,能够实现对焊缝表面形貌、表面几何 形状以及表面存在的不连续性或缺陷的质量分析。
[0003] 中国发明专利申请号201310133509.9公开了一种机器人焊接质量视觉检测装置 及其检测方法。该专利机器人焊接质量视觉检测装置包括连接于机器人焊接臂上的焊接 头、视觉枪及视觉系统,其中视觉枪连接于焊接臂上跟随焊枪头运动,对焊接点进行检测并 将扫描的图片信息传送到视觉系统,视觉系统将接收的图片信息与标准配方数据进行比 对,对焊接前焊接拼接误差、焊接后的焊点质量及焊接过程进行实时检测和判断。该装置提 供了一种不需要设计和安装额外的伺服随动装置,节省了大量的辅助设备投入。这个发明 主要存在的问题是,焊接效果好坏的判断是通过视觉系统将焊接过程中、焊接后的焊点图 片信息与焊接过程中、焊接后的焊点标准配方数据进行比对,无法保证精度的要求。
[0004] 中国发明专利申请号201410256520.9公开了一种焊缝焊接质量自动检测装置。该 专利包含了视觉检测器、超声波检测头和驱动部件。该装置不管焊缝位于任何位置,都可通 过可自动移动的超声波检测头进行检测,提高了检测装置的通用性和自动化程度。但没有 说明检测的具体方法。
[0005] Gatera等提出了用于X射线焊缝图像缺陷提取的两步法,首先,基于缺陷灰度的变 化特性,快速确定缺陷所在大致区域,然后,运用序列相似性检测算法或阈值算法完成对缺 陷的识别,该方法能有效提取一些相对明显的缺陷,但有时存在缺陷漏检的问题。
[0006] Jacobsen等提出了使用神经网络检测数字化底片中裂纹缺陷的方法,方法先对射 线图像进行形态学滤波、高斯滤波、GWIMV滤波、FFT滤波、小波变换等处理,再对各线灰度 波形在滤波效果中提取特征并采用设计网络判别该线灰度波形是否包含裂纹缺陷,该方法 对纵向裂纹的检测效果相对较好,但可靠性还不高。
[0007] 在国内,大连理工大学提出了基于多阈值和支持向量机的裂纹缺陷检测方法,方 法首先逐块区域使用多阈值提取特征,并通过支持向量机判断区域是否包含裂纹缺陷,然 后针对包含缺陷的大致区域,采用Hough变换检测缺陷,实验表明该方法能够较好的分割定 位纵向裂纹缺陷,但方法比较复杂而且并未讨论对不规则裂纹缺陷的检测效果。
[0008] 中国矿业大学刘元祥等提出应用支持向量机(SVM)进行射线检测焊接缺陷识别的 方法。该方法首先对图像进行预处理,并根据缺陷特点提取、选择8个参数作为特征参数,将 焊缝内常见缺陷分为6类,根据有限的学习样本,建立影响缺陷类别的条件、因素和类别之 间的一种非线性映射,对测试的样本进行识别。
[0009] 但上述一些视觉检测的图像分析主要还是人工评定,其存在有评判结果的不确定 性、操作麻烦等缺点。同时焊缝图像中缺陷特征和缺陷类别关系比较复杂,也存在着正确识 别率不高的问题。针对焊接缺陷自动提取和识别问题,国内外研究人员已提出了许多方法, 但现在还未达到可以应用的水平。随着计算机图像处理技术和人工智能技术的发展,为提 高效率和准确率,减轻检测人员的劳动强度,保证评判结果的一致性,提高识别稳定性,一 般性地解决该问题还需要结合图像处理和机器学习的新发展进一步研究。
[0010] 由于焊缝缺陷影像差异和变化较大,每种焊缝缺陷影像不仅与缺陷自身形态有 关,而且与工件厚度、焊接方法、工件焊接位置、透照角度、底片质量等许多因素有关,因此 焊缝缺陷影像不能用简单的规则和分类器方法进行分类。同时,目前主流的分类方式几乎 都是基于统计特征的,这就意味着在进行分辨前必须提取某些特征。然而,显式的特征提取 并不容易,在一些应用问题中也并非总是可靠的。

【发明内容】

[0011] 为了克服已有的焊接检测方法的自动化和智能化水平低、难以对焊缝的缺陷进行 高精度的自动分析和评估等不足,本发明提供一种提升自动化和智能化水平、有效提高检 测的精度和速度的基于卷积神经网络的焊接视觉检测方法及装置。
[0012] 本发明解决其技术问题所采用的技术方案是:
[0013] -种基于卷积神经网络的焊接视觉检测方法,所述方法包括如下步骤:
[0014] 第一步,训练阶段,将训练样本输入卷积神经网络,获得卷积神经网络的连接权值 和偏置值;
[0015] 第二步,测试阶段,读入焊接图像,对焊接图像采用数字图像处理技术进行预处 理,提取出感兴趣区域,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络 的输入;
[0016] 所述卷积神经网络的结构为6层,包括依次连接的输入层,Cl层、S2层、C3层、S4层 和输出层,Cl层、C3层为卷积层,S2层、S4层为下采样层,输入层为大小为28*28像素的图像, Cl层由6个大小为24*24像素的特征map构成,S2层由6个大小为12*12像素的特征map构成, C3层由12个大小为8*8像素的特征map构成,S4层由12个大小为4*4像素的特征map构成,输 出层包括6个一维向量,分别表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹 渣;(5)球状夹渣;(6)气孔。
[0017] 进一步,所述训练样本有1万张图片,在这1万张样本中,有500张为焊接缺陷图片, 剩余9500张为前述500张焊接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比 度拉伸、翻转图像处理方法得到的焊接缺陷图片,然后将感兴趣区域图像尺寸进行归一化 处理后作为卷积神经网络的输入;所述的训练样本包括输入向量和理想输出向量,当输入 向量输入CNN中后经过逐层变换,传送到输出层,得到实际输出向量。
[0018] 再进一步,Cl层经过5X5的卷积模板卷积后,6个特征图的大小均为24*24,特征图 中每个神经兀与输入中5 X 5的卷积模板相连,每个滤波器5 X 5共25个兀参数和一个偏置参 数,共6个滤波器,共6 X (5 X 5+1 ) = 156个可训练参数,共有156 X (24 X 24)= 89856个连接; [0019] S2层经下采样后得到6个12 X 12的特征图,特征图中的每个单元与Cl中对应特征 图的2 X 2邻域连接,S2层每个单元的4个输入相加,乘以一个可训练参数,再加上一个可训 练偏置;结果通过S i gmo i d函数计算,函数如下:
[0020]

[0021] 下采样相当于模糊图像,使用2 X2模板时不重叠,因此S2中每个特征图的大小是 Cl中特征图大小的1/4(行和列各1/2)。每一个子采样特征图需要训练2个参数,S2共有6X2 =12个参数需要训练,共有6 X (2 X 2+1) X (12 X 12) =4320个连接;
[0022] C3层也是一个卷积层,它跟Cl有类似的地方,但也有一定的差别。它同样通过5X5 的卷积核去卷积层S2,然后得到的特征map就只有8X8个神经元,但是它有12种不同的卷积 核,所以就存在12个特征map 了。这里需要注意的一点是:C3中的每一个特征map是连接到S2 中的所有6个或者几个特征map的,表示每一层的特征map是上一层提取到的特征map的不同 组合。如表1所示,C3层共有12个特征图,其中5个特征图抽取S2层中3个相邻的特征图子集 信息;4个特征图抽取S2中4个相邻特征图子集信息;2个抽取不相邻的4个特征图子集信息, 1个抽取S2中所有特征图组合信息,最理想的是12个特征图抽取的特征是互补的;这样C3层 有(5X5) X45+12 = 1137个可训练参数和1137X8X8 = 72768个连接;
[0023] S4层是一个下采样层,由16个4 X 4大小的特征图构成。特征图中的每个单元与C3 中相应特征图的2 X 2邻域相连接,跟Cl和S2之间的连接一样。S4层有2 X 12 = 24个可训练参 数和(2 X 2+1) X 12 X (5 X 5) = 1500个连接;
[0024] 输出层是与S4的一个全连接层。S4有12 X 4 X 4 = 192个神经元,每一个神经元都与 输出的一个神经元相连,输出层共有6个神经元(焊缝缺陷种类),所以共有192X6 = 1152个 连接。
[0025]更进一步,所述第一步中,训练过程包括4步,这4步被分为两个阶段:
[0026]第一阶段,向前传播阶段:
[0027] 1.1.1)从样本集中取一个样本(X,YP),将X输入网络;
[0028] 1.1.2)计算相应的实际输出Op;
[0029] 在此阶段,信息从输入层经过逐级的变换,传送到输出层,网络执行的是计算:
[0030]
[0031]在计算过程中,都是用Sigmoid作为激活函数;
[0032]第二阶段,向后传播阶段:
[0033] 1.2.1)计算实际输出Op与相应的理想输出Yp的差;
[0034] 1.2.2)按极小化误差的方法反向传播调整权矩阵;
[0035] 向后传播阶段也是卷积神经网络中最复杂的地方,基本思想是跟反向传播算法 (BP算法)一样,都是通过最小化残差来调整权重和偏置,但是卷积神经网络的网络结构并 不像反向传播算法那样单一,对不同的结构处理方式也不一样,而且因为权重共享,使得计 算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法,它的基本原理 是:利用前向传播最后输出的结果来计算误差的偏导数,再用这个偏导数和前面的各层进 行加权求和,如此一层一层的向后传下去,直到输入层(不计算输入层),最后利用每个节点 求出的偏导数来更新权重。
[0036] 输出层到S4层的残差=_(输出值-样本值)*激活函数的导数,隐藏层的残差=(右 层每个节点的残差加权求和)*激活函数;
[0037]其中,残差全部计算好后,就可以更新权重了 :
[0038] (1)输入层:权重增加=输入值*右层对应节点的残差*学习率;
[0039] (2)隐藏层:权重增加=当前节点的Sigmoid*右层对应节点的残差*学习率;
[0040] (3)偏移值的权重增加=右层对应节点的残差*学习率;
[0041] 其中,隐藏层表示除输入层、输出层以外的其他各层,学习率是一个预先设置好的 参数,用于控制每次更新的幅度;此后,对全部数据都反复进行这样的计算,直到输出的误 差达到一个很小的值为止;
[0042] 在卷积神经网络中,输出层的残差是输出值与样本值的差值,而中间各层的残差
来源于下一巨的硓荖的加切知H屮.巨的硓荖ff曾加下.
[0043] ⑴
[0044] 其中(第m层表示输出层)为输出层的残差,yi表示输出值,at(ni)表示前向传 播中输出层的输入值,f 表示激活函数的导数;
[0045] 下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2 X 2的全1矩 阵进行克罗内克积进行扩充,因为从卷积神经网络的结构图看出,采样层的map大小是卷积 层的但这两层的map个数是一样的,卷积层的某个map中的4个单元与采样层对应map的 一个单元关联,扩充之后使得采样层的残差的维度与上一层的输出map的维度一致;
[0046] 下一层为卷积层的采样层的残差的计算比较麻烦一点,因为采样层到卷积层直接 的连接是有权重和偏置参数的,因此不像卷积层到采样层那样简单。当采样层L的下一层是 卷积层(L+1),并假设我们已经计算出L+1层的残差,再假设L层第j个map Mj与L+1层的M2j关 联,按照反向传播算法的原理,L层的残差仏是1^1层残差D 2j的加权和,M2j与的关联关系采 用将卷积核矩阵进行180度旋转,使之一一对应;
[0047] 残差计算出来后,就是更新权重和偏置参数。
[0048] 在完成卷积神经网络的训练后,便进入了测试阶段,测试阶段用来测试所使用的 卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠,其过程为:读取检测图像,将这些 疑似焊缝缺陷归一化为同尺寸灰度图,然后将这些图像输入训练好的卷积神经网络中进行 测试,利用卷积神经网络进行分类,分类的结果为上述的6类焊缝缺陷,进而获取误差率。
[0049] -种基于卷积神经网络的焊接视觉检测装置,所述装置包括爬行机构、动力传动 机构、视觉检测设备和焊缝缺陷分析系统;
[0050] 所述的爬行机构分为前后两组,每组由相隔120°的3个轮子构成,前组起导向,后 组为驱动;爬行机构具有足够摩擦力,防止在内膛打滑,由弹簧刚度保证;爬行脚具有设定 宽度,采用耐磨橡胶轮;
[0051] 所述的动力传动机构位于爬行装置的后部;采用步进电机为动力源,经齿轮传动 后,将动力传递给爬行脚,以驱动爬行装置在钢管内爬行;
[0052] 所述的视觉检测设备配置在所述的爬行机构前方,主要包括无线通信单元、主动 式全景视觉传感器和电源;
[0053] 所述的焊缝缺陷检测分析系统分为系统软硬件,系统硬件包括无线通信单元、计 算单元、存储单元和显示单元;系统软件包括全景视频图像接收单元、全景视频图像展开单 元和卷积神经网络处理单元。
[0054] 进一步,所述的全景视觉传感器包括全方位视觉传感器和LED带光源;所述的全方 位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元;
[0055] 所述的凹圆弧镜面的轴心线上开有一个螺纹孔;所述的透光玻璃的中心开有一个 小孔;所述的外罩由两个半圆柱型相合而成,半圆柱型上的雌雄扣相配合;装配时首先将透 光玻璃嵌入到一个半圆柱型的外罩中,然后对准两半圆柱型的雌雄扣,并在其各自外壁上 施加外力使其合成为一个固定了透光玻璃的外罩;所述的外罩下部开有一个摄像镜头孔; 接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接;所述的摄 像单元的镜头固定在所述的外罩摄像镜头孔中;所述的凹圆弧镜面盖中心开有一个小孔;
[0056] 所述的LED带光源环绕在所述的全方位视觉传感器的下固定座上。
[0057] 所述的全方位视觉传感器的设计指标是尽可能大的垂直视场和尽可能短的成像 焦距,并满足轻量化和低成本设计要求,所述的全方位视觉传感器的采用塑料模具成型加 工。
[0058] 再进一步,所述的全景视频图像展开单元,用于对钢管内壁全景图像进行展开处 理得到钢管内壁全景展开图;根据全景图像的中心坐标以及图像的内外圆半径,将全景图 像的中心坐标设定平面坐标系的原点〇** (〇,〇)、X*轴、Y*轴、全景图像的内径为r、外径为R, 用rl = (r+R)/2设定中间圆的半径,方位角为全景柱状展开图像以坐标原 点0#(0,0)、X**轴、Y**轴为平面坐标系,将全景图像中的内径为r与X*轴的交点(r,0)作为 坐标原点〇**(〇,〇),以方位角β顺时针方向展开;建立全景柱状展开图像中任意一点象素坐 标P** (X#,y **)与全景图像中的象素坐标Q* (X*,y *)的对应关系,其计算式为:
[0059] x* = y7(tan(360x**A(R+r))) (4)
[0060] y*= (y**+r)cosP (5)
[0061]
[0062]式中,X'广为全景柱状展开图像的象素坐标值,x'f为全景图像的象素坐标值, R为圆形全景图像的外径,r为圆形全景图像的内径,β为圆形全景图像坐标的方位角;这里 规定采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。
[0063]本发明的技术构思为:卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲 不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习,所以在使用CNN时,避免 了显式的特征抽取,而隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经 元权值相同,所以网络可以并行学习,这也是卷积网络相对于神经元彼此相连网络的一大 优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的 优越性,其布局更接近于实际的生物神经网络,权值共享降低了网络的复杂性,特别是多维 输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复 杂度。
[0064]卷积神经网络避免了显式的特征取样,隐式地从训练数据中进行学习。这使得卷 积神经网络明显有别于其他基于神经网络的分类器,通过结构重组和减少权值将特征提 取功能融合进多层感知器。它可以直接处理灰度图片,能够直接用于处理基于图像的分类。 [0065]卷积网络较一般神经网络在图像处理方面有如下优点:a)输入图像和网络的拓扑 结构能很好的吻合;b)特征提取和模式分类同时进行,并同时在训练中产生;C)权重共享可 以减少网络的训练参数,使神经网络结构变得更简单,适应性更强。
[0066] 为了能够提高焊接视觉检测的精度和速度,必须要解决几个核心问题:(1)实现一 种适合钢管内进行稳定行走的爬行机构;(2)实现一种具有无线视频图像传输能力、并能快 速且高精度获得实际焊缝图像信息的全景视觉传感器;(3)实现一种含有对焊接缺陷进行 分类功能的卷积神经网络;(4)实现一批可以用于卷积神经网络训练用的焊接缺陷样本数 据。
[0067] 本发明的有益效果主要表现在:1)提供了一种高性价比的、轻型的、能快速获取全 景图像的全方位视觉传感器;与焊缝缺陷检测分析系统配合实现了 "采集-识别-判定"全过 程的自动运行,真正实现了焊缝检测的自动化;2)本发明采用卷积神经网络作为焊接缺陷 检测的分类器,由于卷积神经网络权值共享的网络结构,降低了网络结构的复杂度,减少了 权值的数量,所以由它进行分类的速度快,另外,使用带有疑似缺陷样本进行训练,让卷积 神经网络自动学习6类样本复杂的类条件密度,避免了人为假设类条件密度函数所带来的 问题,提高了检测精度;3)本发明在测试过程中将测试样本进行分批处理,加快了测试的速 度,减少了测试时间;4)提供了一种小型化、无线化的钢管内壁焊缝缺陷自动检测的手段, 极大的降低了焊缝缺陷检测的工作负荷,提高了检测效率;5)本发明采用卷积神经网络和 分批处理的测试方法,提高了焊接检测的精度和速度,非常适用于工业生产等实时性要求 高的系统,因此具有巨大前景。
【附图说明】
[0068] 图1是本发明卷积神经网络训练阶段流程图;
[0069] 图2是本发明卷积神经网络测试阶段流程图;
[0070] 图3是本发明卷积神经网络结构图;
[0071] 图4是本发明卷积神经网络训练过程;
[0072]图5是本发明中归一化后的同尺寸焊接缺陷图像;
[0073] 图6为一种微型无线全景视觉传感器进行焊缝缺陷检测的总体宏观示意图;
[0074] 图7为一种全方位视觉传感器的结构图。
【具体实施方式】
[0075] 下面结合附图对本发明作进一步描述。
[0076] 参照图1~图7,一种基于卷积神经网络的焊接视觉检测方法,包括如下过程:
[0077] 训练阶段,首先需要搜集训练样本,在本实施例中,一共搜集1万张训练样本,在这 1万张样本中,有500张为焊接缺陷图片,剩余9500张为前述500张焊接缺陷图片经加入高斯 白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转等图像处理方法得到的焊接缺陷图 片。然后将这些样本输入卷积神经网络中进行训练,获得卷积神经网络的连接权值和偏置 值。
[0078] 在本实施例中,卷积神经网络的结构采用图3所示的结构,该卷积神经网络共有6 层,包括依次连接的输入层、Cl层、S2层、C3层、S4层和输出层。输入层为训练样本,其大小为 28*28像素。Cl层是一个卷积层,由6个大小为24*24像素的特征map构成,特征map中的每个 神经元与输入层中5 X 5的邻域相连接,Cl层共有6 X (5 X 5+1) = 156个参数,即输入层和Cl 层共有156 X (24X 24) =89856个连接。
[0079] S2层是一个下采样层,下采样可以利用图像局部相关性的原理,对图像进行子抽 样,可以减少数据处理量同时保留有用信息。S2层有6个12X12的特征图。特征图中的每个 单元与Cl中相对应特征图的2 X 2邻域相连接。S2层每个单元的4个输入相加,乘以一个可训 练参数,再加上一个可训练偏置。结果通过Sigmoid函数计算。可训练系数和偏置控制着 Sigmoid函数的非线性程度。如果系数比较小,那么运算近似于线性运算,下采样相当于模 糊图像。如果系数比较大,根据偏置的大小下采样可以被看成是有噪声的"或"运算或者有 噪声的"与"运算。每个单元的2X2感受野并不重叠,因此S2中每个特征图的大小是Cl中特 征图大小的1/4(行和列各1/2)。每一个子采样特征图需要训练2个参数,S2共有6X2 = 12个 参数需要训练,共有6 X (2 X 2+1) X (12 X 12) =4320个连接。表1是S2层与C3层神经元连接 方式表。
[0082]表 1
[0083] C3层也是一个卷积层,它跟Cl有类似的地方,但也有一定的差别。它同样通过5X5 的卷积核去卷积层S2,然后得到的特征map就只有8X8个神经元,但是它有12种不同的卷积 核,所以就存在12个特征map 了。这里需要注意的一点是:C3中的每一个特征map是连接到S2 中的所有6个或者几个特征map的,表示每一层的特征map是上一层提取到的特征map的不同 组合。如表1所示,C3层共有12个特征图,其中5个特征图抽取S2层中3个相邻的特征图子集 信息;4个特征图抽取S2中4个相邻特征图子集信息;2个抽取不相邻的4个特征图子集信息, 1个抽取S2中所有特征图组合信息,最理想的是12个特征图抽取的特征是互补的。这样C3层 有(5X5) X45+12 = 1137个可训练参数和1137X8X8 = 72768个连接。
[0084] S4层是一个下采样层,由16个4 X 4大小的特征图构成。特征图中的每个单元与C3 中相应特征图的2 X 2邻域相连接,跟Cl和S2之间的连接一样。S4层有2 X 12 = 24个可训练参 数和(2 X 2+1) X 12 X (5 X 5) = 1500个连接。
[0085] 输出层是与S4的一个全连接层。S4有12X4X4 = 192个神经元,每一个神经元都与 输出的一个神经元相连,输出层共有6个神经元(焊缝缺陷种类),所以共有192X6 = 1152个 连接。这里可以将S4看作一个192维的线性向量,而S4到输出层的映射相当于使用该向量进 行分类,这个分类器共有1152个参数,因此具有很强的描述能力。输出层包括6个单元,分别 表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹渣;(5)球状夹渣;(6)气孔。 [0086]神经网络用于模式识别的主流是有监督学习,无监督学习更多的是用于聚类分 析。对于有监督的模式识别,由于任一样本的类别是已知的,样本在空间的分布不再是依据 其自然分布倾向来划分,而是要根据同类样本在空间的分布及不同类样本之间的分离程度 找一种适当的空间划分方法,或者找到一个分类边界,使得不同样本分别位于不同的区域 内。这就需要一个长时间且复杂的学习过程,不断调整用以划分样本空间的分类边界的位 置,使尽可能少的样本被划分到非同类区域中。
[0087] 卷积神经网络在本质上是一种输入到输出的映射,它能够学习大量的输入与输出 之间的映射关系,而不需要任何输入和输出之间的精确数学表达式,只要用已知的模式对 卷积神经网络加以训练,网络就具有输入对输出之间的映射能力。在开始训练前,所有的权 值都应该用一些不同的小随机数进行初始化,比如[0,1]之间分布的随机数。"小随机数"用 来保证网络不会因权值过大而进入饱和状态,从而导致训练失败;"不同"用来保证网络可 以正常地学习。实际上,如果用相同的数去初始化权矩阵,则具有对称性,导致每一层的卷 积核都相同,则网络无能力学习。
[0088] 卷积神经网络的训练过程如图4所示,主要包括4步,这4步被分为两个阶段:
[0089]第一阶段,向前传播阶段:
[0090] (1)从样本集中取一个样本(X,YP),将X输入网络;
[0091] (2)计算相应的实际输出0Ρ。
[0092] 在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完 成训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与每层 的权值矩阵相点乘,得到最后的输出结果):
[0093]
[0094]在计算过程中,都是用Sigmoid作为激活函数。
[0095]第二阶段,向后传播阶段:
[0096] (1)计算实际输出Op与相应的理想输出Yp的差;
[0097] (2)按极小化误差的方法反向传播调整权矩阵。
[0098] 向后传播阶段也是卷积神经网络中最复杂的地方,基本思想是跟反向传播算法 (BP算法)一样,都是通过最小化残差来调整权重和偏置,但是卷积神经网络的网络结构并 不像反向传播算法那样单一,对不同的结构处理方式也不一样,而且因为权重共享,使得计 算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法,它的基本原理 是:利用前向传播最后输出的结果来计算误差的偏导数,再用这个偏导数和前面的各层进 行加权求和,如此一层一层的向后传下去,直到输入层(不计算输入层),最后利用每个节 点求出的偏导数来更新权重。其中,为了便于理解,后面我们用"残差"这个词来表示误差的 偏导数。
[0099] 其中,输出层到S4层的残差=_(输出值-样本值)*激活函数的导数,隐藏层的残差 =(右层每个节点的残差加权求和)*激活函数。
[0100] 其中,残差全部计算好后,就可以更新权重:
[0101] (1)输入层:权重增加=输入值*右层对应节点的残差*学习率
[0102] (2)隐藏层:权重增加=当前节点的Sigmoid*右层对应节点的残差*学习率
[0103] (3)偏移值的权重增加=右层对应节点的残差*学习率
[0104] 其中,隐藏层表示除输入层、输出层以外的其他各层。学习率是一个预先设置好的 参数,用于控制每次更新的幅度。此后,对全部数据都反复进行这样的计算,直到输出的误 差达到一个很小的值为止。
[0105] 在卷积神经网络中,输出层的残差是输出值与样本值的差值,而中间各层的残差 来源于下一层的残差的加叔和。输出层的残差i+筧如下:
[0106]
[0107] 其中
第m层表不输出层)为输出层的残差,yi表不输出值
表不前向传 播中输出层的输入值:
丨表示激活函数的导数。
[0108] 下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2 X 2的全1矩 阵进行克罗内克积进行扩充,因为从卷积神经网络的结构图看出,采样层的map大小是卷积 层的^一,但这两层的map个数是一样的,卷积层的某个map中的4个单元与采样层对应map的 2X2 一个单元关联,扩充之后使得采样层的残差的维度与上一层的输出map的维度一致。
[0109] 下一层为卷积层的采样层的残差的计算比较麻烦一点,因为采样层到卷积层直接 的连接是有权重和偏置参数的,因此不像卷积层到采样层那样简单。当采样层L的下一层是 卷积层(L+1),并假设我们已经计算出L+1层的残差,再假设L层第j个map Mj与L+1层的M2j关 联,按照反向传播算法的原理,L层的残差仏是1^1层残差D 2j的加权和,M2j与的关联关系采 用将卷积核矩阵进行180度旋转,使之一一对应。
[0110] 残差计算出来后,就是更新权重和偏置参数。
[0111] 在完成卷积神经网络的训练后,便进入了测试阶段,测试阶段用来测试所使用的 卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠。其过程为:读取检测图像,如图 5 所示,将这些疑似焊缝缺陷归一化为同尺寸灰度图,然后将这些图像输入训练好的卷积神 经网络中进行测试,利用卷积神经网络进行分类,分类的结果为上述的6类焊缝缺陷,进而 可以获取误差率。
[0112] -种基于全景视觉的焊缝缺陷检测装置主要由爬行机构、动力传动机构、视觉检 测设备、焊缝缺陷检测分析系统;爬行机构由动力传动机构驱动,爬行机构携带着视觉检测 设备在钢管内(如图6所示)爬行,视觉检测设备在爬行过程中采集钢管内的视频图像,采集 后的视频图像通过无线通信单元发送给焊缝缺陷检测分析系统,在焊缝缺陷检测分析系统 中进行缺陷自动检测,最后将检测结果显示在显示设备上;
[0113] 所述的爬行机构位于爬行装置的中部,如图7所示,分为前后两组,前组起导向,后 组为驱动;爬行机构具有足够摩擦力,防止在钢管内打滑,由弹簧刚度保证;爬行脚具有一 定宽度,确保在钢管内直线爬行,采用耐磨橡胶轮,以减小对钢管内壁的磨损;
[0114]所述的动力传动机构位于爬行装置的后部;采用步进电机为动力源,经齿轮传动 后,将动力传递给爬行脚,以驱动爬行装置在钢管内爬行;
[0115] 所述的视觉检测设备主要包括无线通信单元、全景视觉传感器和电源;
[0116] 所述的焊缝缺陷检测分析系统主要分为系统软硬件,系统硬件主要包括无线通信 单元、计算单元、存储单元和显示单元;系统软件主要包括全景视频图像接收单元、全景视 频图像展开单元、卷积神经网络处理单元;
[0117] 所述的主动式全景视觉传感器主要包括全方位视觉传感器、LED带光源;
[0118] 所述的全方位视觉传感器包括凹圆弧镜面2、凹圆弧镜面盖1、透光玻璃3、固定螺 钉4、外罩5和摄像单元7;如图7所示,所述的凹圆弧镜面的轴心线上开有一个螺纹孔;所述 的透光玻璃的中心开有一个小孔;所述的外罩由两个半圆柱型相合而成,半圆柱型上的雌 雄扣相配合;装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中,然后对准两半圆柱型 的雌雄扣,并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩;所述的外 罩下部开有一个摄像镜头孔;接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上 的螺纹孔进行连接;所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中;所述的凹圆 弧镜面盖中心开有一个小孔8;
[0119] 基于全景视觉的焊缝缺陷检测原理是:爬行机构由动力传动机构驱动,爬行机构 携带着视觉检测设备在钢管内爬行,视觉检测设备在爬行过程中采集钢管内的全景视频图 像;采集后的全景视频图像通过无线通信单元发送给焊缝缺陷检测分析系统,在焊缝缺陷 检测分析系统中进行缺陷自动检测及识别,最后将检测结果显示在显示设备上;
[0120]所述的全景视频图像接收单元,用于接收从所述的视觉检测设备发送过来的钢管 内壁全景视频图像;根据LED带光源照射得到的是钢管内壁全景图像;这里将接收单元接收 到的钢管内壁全景图像用爬行距离Z m*文件名保存在存储单位中;
[0121] 所述的全景视频图像展开单元,用于对钢管内壁全景图像进行展开处理得到钢管 内壁全景展开图;根据全景图像的中心坐标以及图像的内外圆半径,将全景图像的中心坐 标设定平面坐标系的原点〇** (〇,〇)、X*轴、Y*轴、全景图像的内径为r、外径为R,用r I = (r+ R)/2设定中间圆的半径,方位角为eitarTHyVVO;全景柱状展开图像以坐标原点〇**(〇, 0)、X**轴、Y**轴为平面坐标系,将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点 0**(0,0),以方位角β顺时针方向展开;建立全景柱状展开图像中任意一点象素坐标P** (x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系,其计算式为:
[0122] X* = y*/ (tan (360χ**/π (R+r))) (4)
[0123] y*= (y**+r)cosP (5)
[0124] 式中,x#,y#为全景柱状展开图像的象素坐标值,为全景图像的象素坐标值, R为圆形全景图像的外径,r为圆形全景图像的内径,β为圆形全景图像坐标的方位角;这里 规定采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。
【主权项】
1. 一种基于卷积神经网络的焊接视觉检测方法,其特征在于:所述方法包括如下步骤: 第一步,训练阶段,将训练样本输入卷积神经网络,获得卷积神经网络的连接权值和偏 置值; 第二步,测试阶段,读入焊接图像,对焊接图像采用数字图像处理技术进行预处理,提 取出感兴趣区域,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输 入; 所述卷积神经网络的结构为6层,包括依次连接的输入层,Cl层、S2层、C3层、S4层和输 出层,Cl层、C3层为卷积层,S2层、S4层为下采样层,输入层为大小为28*28像素的图像,Cl层 由6个大小为24*24像素的特征map构成,S2层由6个大小为12*12像素的特征map构成,C3层 由12个大小为8*8像素的特征map构成,S4层由12个大小为4*4像素的特征map构成,输出层 包括6个一维向量,分别表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹渣; (5)球状夹渣;(6)气孔。2. 如权利要求1所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:所述训练 样本有1万张图片,在这1万张样本中,有500张为焊接缺陷图片,剩余9500张为前述500张焊 接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转图像处理方法 得到的焊接缺陷图片,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的 输入;所述的训练样本包括输入向量和理想输出向量,当输入向量输入CNN中后经过逐层变 换,传送到输出层,得到实际输出向量。3. 如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于: Cl层经过5X5的卷积模板卷积后,6个特征图的大小均为24*24,特征图中每个神经元 与输入中5X5的卷积模板相连,每个滤波器5X5共25个元参数和一个偏置参数,共6个滤波 器,共6 X (5 X 5+1 ) = 156个可训练参数,共有156 X (24 X 24)= 89856个连接; S2层经下采样后得到6个12X12的特征图,特征图中的每个单元与Cl中对应特征图的2 X 2邻域连接,S2层每个单元的4个输入相加,乘以一个可训练参数,再加上一个可训练偏 置;结果通过Sigmoid函数计算,函数如下:Cl) 下采样相当于模糊图像,使用2X 2模板时不重叠,因此S2中每个特征图的大小是Cl中 特征图大小的1/4(行和列各1/2),每一个子采样特征图需要训练2个参数,S2共有6X2 = 12 个参数需要训练,共有6 X (2 X 2+1) X (12 X 12) = 4320个连接; C3层也是一个卷积层,它跟Cl有类似的地方,但也有一定的差别,它同样通过5X5的卷 积核去卷积层S2,然后得到的特征map就只有8X8个神经元,但是它有12种不同的卷积核, 所以就存在12个特征map,这里需要注意的一点是:C3中的每一个特征map是连接到S2中的 所有6个或者几个特征map的,表示每一层的特征map是上一层提取到的特征map的不同组 合,C3层共有12个特征图,其中5个特征图抽取S2层中3个相邻的特征图子集信息;4个特征 图抽取S2中4个相邻特征图子集信息;2个抽取不相邻的4个特征图子集信息,1个抽取S2中 所有特征图组合信息,最理想的是12个特征图抽取的特征是互补的;这样C3层有(5X5) X 45+12 = 1137个可训练参数和1137 X 8 X 8 = 72768个连接; S4层是一个下采样层,由16个4 X 4大小的特征图构成,特征图中的每个单元与C3中相 应特征图的2 X 2邻域相连接,跟Cl和S2之间的连接一样,S4层有2 X 12 = 24个可训练参数和 (2 X 2+1) X 12 X (5 X 5) = 1500个连接; 输出层是与S4的一个全连接层,S4有12 X 4 X 4= 192个神经元,每一个神经元都与输出 的一个神经元相连,输出层共有6个神经元(焊缝缺陷种类),所以共有192 X 6 = 1152个连 接。4. 如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:所述 第一步中,训练过程包括4步,这4步被分为两个阶段: 第一阶段,向前传播阶段: 1.1.1) 从样本集中取一个样本(X,Yp),将X输入网络; 1.1.2) 计算相应的实际输出Op; 在此阶段,信息从输入层经过逐级的变换,传送到输出层,网络执行的是计算: 〇P = Fn(---(F2(Fi(XPff(1))ff(2))---)ff (n)) (2) 在计算过程中,都是用Sigmoid作为激活函数; 第二阶段,向后传播阶段: 1.2.1) 计算实际输出Op与相应的理想输出Yp的差; 1.2.2) 按极小化误差的方法反向传播调整权矩阵。5. 如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:输出 层到S4层的残差=-(输出值-样本值)*激活函数的导数,隐藏层的残差=(右层每个节点的 残差加权求和)*激活函数; 其中,残差全部计算好后,更新权重: (1) 输入层:权重增加=输入值*右层对应节点的残差*学习率; (2) 隐藏层:权重增加=当前节点的Si gmo id*右层对应节点的残差*学习率; (3) 偏移值的权重增加=右层对应节点的残差*学习率; 其中,隐藏层表示除输入层、输出层以外的其他各层,学习率是一个预先设置好的参 数,用于控制每次更新的幅度;此后,对全部数据都反复进行这样的计算,直到输出的误差 达到一个很小的值为止; 在卷积神经网络中,输出层的残差是输出值与样本值的差值,而中间各层的残差来源f γ-巨的硓荖的加切知.給m巨的硓荖彳+曾加下.其中,δΡ(第m层表示输出层)为输出层的残差,yi表示输出值,表示前向传播中输 (3) 出层的输入值,Πζ;(η'])表示激活函数的导数; 下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2 X 2的全1矩阵进 行克罗内克积进行扩充,因为从卷积神经网络的结构图看出,采样层的map大小是卷积层的 但这两层的map个数是一样的,卷积层的某个map中的4个单元与采样层对应map的一个 单元关联,扩充之后使得采样层的残差的维度与上一层的输出map的维度一致; 下一层为卷积层的采样层的残差的计算比较麻烦一点,因为采样层到卷积层直接的连 接是有权重和偏置参数的,因此不像卷积层到采样层那样简单,当采样层L的下一层是卷积 层(L+1),并假设我们已经计算出L+1层的残差,再假设L层第j个map 与L+1层的M2j关联, 按照反向传播算法的原理,L层的残差仏是1>1层残差D2j的加权和,M2j与M j的关联关系采用 将卷积核矩阵进行180度旋转,使之一一对应; 残差计算出来后,就是更新权重和偏置参数。6. 如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:在完 成卷积神经网络的训练后,便进入了测试阶段,测试阶段用来测试所使用的卷积神经网络 用于焊缝缺陷识别的精度和速度是否可靠,其过程为:读取检测图像,将这些疑似焊缝缺陷 归一化为同尺寸灰度图,然后将这些图像输入训练好的卷积神经网络中进行测试,利用卷 积神经网络进行分类,分类的结果为上述的6类焊缝缺陷,进而获取误差率。7. -种实现如权利要求1所述的基于卷积神经网络的焊接视觉检测方法的装置,其特 征在于:所述装置包括爬行机构、动力传动机构、视觉检测设备和焊缝缺陷分析系统; 所述的爬行机构分为前后两组,每组由相隔120°的3个轮子构成,前组起导向,后组为 驱动;爬行机构具有足够摩擦力,防止在内膛打滑,由弹簧刚度保证;爬行脚具有设定宽度, 采用耐磨橡胶轮; 所述的动力传动机构位于爬行装置的后部;采用步进电机为动力源,经齿轮传动后,将 动力传递给爬行脚,以驱动爬行装置在钢管内爬行; 所述的视觉检测设备配置在所述的爬行机构前方,主要包括无线通信单元、主动式全 景视觉传感器和电源; 所述的焊缝缺陷检测分析系统分为系统软硬件,系统硬件包括无线通信单元、计算单 元、存储单元和显示单元;系统软件包括全景视频图像接收单元、全景视频图像展开单元和 卷积神经网络处理单元。8. 如权利要求7所述的装置,其特征在于:所述的全景视觉传感器包括全方位视觉传感 器和LED带光源;所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定 螺钉、外卓和摄像单兀; 所述的凹圆弧镜面的轴心线上开有一个螺纹孔;所述的透光玻璃的中心开有一个小 孔;所述的外罩由两个半圆柱型相合而成,半圆柱型上的雌雄扣相配合;装配时首先将透光 玻璃嵌入到一个半圆柱型的外罩中,然后对准两半圆柱型的雌雄扣,并在其各自外壁上施 加外力使其合成为一个固定了透光玻璃的外罩;所述的外罩下部开有一个摄像镜头孔;接 着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接;所述的摄像 单元的镜头固定在所述的外罩摄像镜头孔中;所述的凹圆弧镜面盖中心开有一个小孔; 所述的LED带光源环绕在所述的全方位视觉传感器的下固定座上。9. 如权利要求8或9所述的装置,其特征在于:所述的全景视频图像展开单元,用于对钢 管内壁全景图像进行展开处理得到钢管内壁全景展开图;根据全景图像的中心坐标以及图 像的内外圆半径,将全景图像的中心坐标设定平面坐标系的原点〇**(〇,〇)、X*轴、Y*轴、全 景图像的内径为r、外径为R,用rl = (r+R)/2设定中间圆的半径,方位角为I^tarT1W); 全景柱状展开图像以坐标原点〇**(〇,〇)、X**轴、Y**轴为平面坐标系,将全景图像中的内径 为r与X*轴的交点(r,0)作为坐标原点0#(0,0),以方位角β顺时针方向展开;建立全景柱状 展开图像中任意一点象素坐标P** (X#,y#)与全景图像中的象素坐标Q* (X*,y*)的对应关 系,其计算式为: (4)(5) 式中,x#,y#为全景柱状展开图像的象素坐标值,为全景图像的象素坐标值,R为 圆形全景图像的外径,r为圆形全景图像的内径,β为圆形全景图像坐标的方位角;这里规定 采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。10.如权利要求8或9所述的装置,其特征在于:所述卷积神经网络处理单元中,卷积神 经网络的结构为6层,包括依次连接的输入层、Cl层、S2层、C3层、S4层和输出层,Cl层、C3层 为卷积层,S2层、S4层为下采样层,输入层为大小为28*28像素的图像,Cl层由6个大小为24* 24像素的特征map构成,S2层由6个大小为12*12像素的特征map构成,C3层由12个大小为8*8 像素的特征map构成,S4层由12个大小为4*4像素的特征map构成,输出层包括6个一维向量, 分别表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹渣;(5)球状夹渣;(6)气 孔。
【文档编号】G01N21/88GK105891215SQ201610202750
【公开日】2016年8月24日
【申请日】2016年3月31日
【发明人】胡克钢, 汤平, 汤一平, 吴挺, 鲁少辉, 韩国栋, 陈麒, 袁公萍
【申请人】浙江工业大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1