基于改进的卷积神经网络的车身焊接缺陷实际检测方法与流程

1.本发明涉及车身焊接缺陷检测领域，特别是涉及基于改进的卷积神经网络的车身焊接缺陷实际检测方法。


背景技术：

2.随着机械制造、航空航天、能源交通、石油化工及建筑和电子行业等现代工业的飞速发展，焊接技术在机械制造业中的地位也日趋提高。因此，对焊接质量和自动化的程度要求也越来越高，焊接生产自动化、智能化己经成为21世纪焊接技术发展的重要方向。特别是在汽车行业中，为了降低成本，争取最大利润，提高生产的自动化程度已经成为必然的选择。如何提高生产线的自动化程度和生产速度，同时又保证产品的质量，是建立生产线的重要标准。而焊接又是自动化生产线中的技术难点，尤其是关键部位的焊缝是否合格，这对于整个产品的质量影响很大。因此，准确有效的对车身焊接中存在的缺陷进行准确有效的识别，保证汽车出厂质量，是非常重要且具有现实意义的一件事。
3.从目前的研究来看，涉及车身焊接缺陷检测的技术手段主要是人工检测或在已定的规则下进行检测。现如今深度学习技术手段成熟，且在机器视觉领域有着很广泛的应用，若能利用深度学习模型，从机器视觉的角度出发，对焊接车身的图像中存在的缺陷进行检测以代替传统的人力检测，一方面大大的节约人力物力，另一方面可以带来良好的经济收益。
4.国内涉及车身焊接缺陷检测的专利有“一种在线整体焊接质量检测装置”（201920243217.3），该发明包括有固定焊接件的流水线、机器手截断面和发射模块，另外还有设置在机器手上的局部接收模块以及处理采集信息的处理器，其中截断面发射模块和局部接收模块将采集到的数据发送给处理器，经过处理器的比对后得到不同位置的焊接质量，实现在流水线上对焊点检查，实现了汽车车身焊接质量的全部检测，但该专利所述方法无法对车身焊接各类缺陷进行准确有效的识别，导致缺陷检测的泛化性不足。国家发明专利“一种车身总成集焊接和检测于一身的工装”（201020174494.2），该发明主要包括底盘、前侧围、后围框、焊接机械手主要组件，前围框和后围框垂直安装在底盘的两条平行导轨上，在前围框和后围框上均设置定位夹紧器；焊接机械手设置在底盘的两侧，检测仪安装在焊接机械手的下侧面，但是该专利未详述车身焊接缺陷的具体检测方法。


技术实现要素：

5.为解决上述问题，本发明卷积神经网络（convolutional neural network，cnn）的基础上，提出了一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法。针对传统cnn模型来说，卷积层和dropout层是单独隔开的，这极大的增加了模型的训练时间，为此本专利提出了动态卷积层算法，从而缩短的模型的训练时间；另外，针对传统cnn中max
‑
pooling和ave
‑
pooling难以全面的抓取特征图所含有的局部特征和全局特征的难题，本专利提出了fu
‑
pooling算法，该算法一方面实现了特征图的降维，另一方面全面抓取了特征图所含
特征，提高了模型的检测精度。为达此目的，本发明提供一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，具体步骤如下，其特征在于：步骤1，焊接图像采集：利用高清相机采集存有焊接缺陷的车身焊接图像；步骤2，训练样本制作：利用yolo v3模型提取车身存在缺陷的焊接区域，并对各焊接缺陷进行分类并制作相应的标签；步骤3，模型离线训练：利用步骤2所得的训练样本对改进的卷积神经网络进行训练，直至网络模型收敛；步骤3中对改进的卷积神经网络进行训练的具体步骤为：步骤3.1，利用tensorflow架构搭建改进的卷积神经网络，其架构为：输入层
‑
动态卷积层1
‑
动态卷积层2
‑
fu池化层1
‑
动态卷积层3
‑ꢀ
动态卷积层4
‑
fu池化层2
‑
flatten层
‑
全连接层1
‑
全连接层2
‑
softmax层；步骤3.2，利用提出的动态卷积层1和2对上一层的输出进行特征提取，其中的具体描述为：动态卷积层是在现有的卷积层基础上加以改进，增加了随机性的置0概率，动态卷积层的非线性激活的算法过程为：式中， 为第n层动态卷积上第l个动态卷积核的输出，为rule激活函数，为第n层第l个卷积核的置0概率，为第n层第l个动态卷积核的权重系数，为第n
‑
1层第m个特征输出，是偏置项。
6.对卷积层运算中的置0概率p，其计算准则为：其中x表示在卷积核运算中的置0概率p的控制变量，其满足均匀分布，即；步骤3.3，利用提出的融合池化fusion pooling，fu
‑
pooling算法对动态卷积层2的输出进行特征降维，fu
‑
pooling的算法表述如下：对s
×
t维的动态卷积层的输出特征，计算其均值和最大值，而后计算fu
‑
pooling的输出，具体计算过程为：步骤3.4，动态卷积层3、动态卷积层4和fu池化层2依次进行特征提取，其算法与步骤3.2和步骤3.3中的算法保持一致；步骤3.5，将fu池化层2的输出以flatten的方式展开，接着利用全连接层1、全连接层2和softmax层依次进行连接；
步骤3.6，利用随机梯度下降stochastic gradient descent，sgd算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了正则化项，具体的表达式为：式中，n为样本总量，为实际样本标签，为softmax层判别的标签，表示正则项惩罚系数，表示卷积核权重系数；步骤4，模型在线检测：将步骤1~步骤3训练得到的改进的卷积神经网络安装于上位机中，实时对采集上传的车身图像进行焊接缺陷的检测。
7.进一步的所述，步骤2中对各焊接缺陷进行分类并制作相应的标签的具体描述为：所述检测的缺陷类型有：漏焊、焊接螺柱螺纹损坏、螺柱位置偏离、焊缝区有气孔、板材被焊穿和焊接螺柱倾斜，加之焊接正常的类型，一共7类，同时对各类型进行编码，分别编码为：本发明一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，有益效果：本发明的技术效果在于：1. 考虑到传统cnn模型中卷积层和dropout层是单独隔开的，这极大的增加了模型的训练时间，为此本发明提出了动态卷积层算法，简化了模型的结构，加快了模型的收敛速度；2. 针对传统cnn中max
‑
pooling和ave
‑
pooling难以全面的抓取特征图所含有的局部特征和全局特征的难题，本专利提出了fu
‑
pooling算法，该算法一方面实现了特征图的降维，另一方面全面抓取了特征图所含特征，提高了模型的检测精度。
附图说明
8.图1为本发明的流程图；图2为本发明的动态卷积核示意图；图3为本发明所用的改进的卷积神经网络的结构图。
具体实施方式
9.下面结合附图与具体实施方式对本发明作进一步详细描述：本发明提出了一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，旨在实现汽车生产线上车身焊接缺陷的精准检测，从而保证汽车出厂质量。图1为本发明的流程图，下面结合流程图对本发明的步骤作详细介绍。
10.步骤1，焊接图像采集：利用高清相机采集存有焊接缺陷的车身焊接图像；步骤2，训练样本制作：利用yolo v3模型提取车身存在缺陷的焊接区域，并对各焊接缺陷进行分类并制作相应的标签；
步骤2中对各焊接缺陷进行分类并制作相应的标签的具体描述为：本发明所检测的缺陷类型有：漏焊、焊接螺柱螺纹损坏、螺柱位置偏离、焊缝区有气孔、板材被焊穿和焊接螺柱倾斜，加之焊接正常的类型，一共7类，同时对各类型进行编码，分别编码为：步骤3，模型离线训练：利用步骤2所得的训练样本对改进的卷积神经网络进行训练，直至网络模型收敛；步骤3中对改进的卷积神经网络进行训练的具体步骤为：步骤3.1，利用tensorflow架构搭建改进的卷积神经网络，其架构为：输入层
‑
动态卷积层1
‑
动态卷积层2
‑
fu池化层1
‑
动态卷积层3
‑ꢀ
动态卷积层4
‑
fu池化层2
‑
flatten层
‑
全连接层1
‑
全连接层2
‑
softmax层；步骤3.2，利用提出的动态卷积层1和2对上一层的输出进行特征提取，其中的具体描述为：动态卷积层是在现有的卷积层基础上加以改进，增加了随机性的置0概率，动态卷积层的非线性激活的算法过程为：式中， 为第n层动态卷积上第l个动态卷积核的输出，为rule激活函数，为第n层第l个卷积核的置0概率，为第n层第l个动态卷积核的权重系数，为第n
‑
1层第m个特征输出，是偏置项。
11.对卷积层运算中的置0概率p，其计算准则为：其中x表示在卷积核运算中的置0概率p的控制变量，其满足均匀分布，即。
12.步骤3.3，利用提出的融合池化（fusion pooling，fu
‑
pooling）算法对动态卷积层2的输出进行特征降维，fu
‑
pooling的算法原理可表述如下：对s
×
t维的动态卷积层的输出特征，计算其均值和最大值，而后计算fu
‑
pooling的输出，具体计算过程为：步骤3.4，动态卷积层3、动态卷积层4和fu池化层2依次进行特征提取，其算法与步骤3.2和步骤3.3中的算法保持一致；步骤3.5，将fu池化层2的输出以flatten的方式展开，接着利用全连接层1、全连接
层2和softmax层依次进行连接；步骤3.6，利用随机梯度下降stochastic gradient descent，sgd算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了正则化项，具体的表达式为：式中，n为样本总量，为实际样本标签，为softmax层判别的标签，表示正则项惩罚系数，表示卷积核权重系数。
13.步骤4，模型在线检测：将步骤1~步骤3训练得到的改进的卷积神经网络安装于上位机中，实时对采集上传的车身图像进行焊接缺陷的检测。
14.图2为本发明的动态卷积核示意图。从图中可以清晰的看出，对输入特征，需依次经过卷积核和随机置0概率的处理，而后经过激活函数得出最终的输出特征。动态卷积核在传统的卷积核的基础上增加了随机置0概率，其由随机变量决定，而随机变量满足均匀分布，通过这种处理算法，使得现有的卷积核具有了dropout效果。动态卷积核不仅简化了模型的结构，加快了模型的收敛速度，而且提高了模型的泛化性能，防止模型过拟合。
15.图3为本发明所用的改进的卷积神经网络的结构图。从图中可以清晰的看出，该结构图主要包含两大模块，分别为：训练样本预处理模块和改进的卷积神经网络模块。对训练样本预处理模块来说，主要是通过yolo v3模型对摄像机采集的整车车身焊接图像进行焊接区域的检测，以获得不同故障类型的焊接缺陷图像，其中的故障类型包括漏焊、焊接螺柱螺纹损坏、螺柱位置偏离、焊缝区有气孔、板材被焊穿和焊接螺柱倾斜，加之焊接正常的类型，一共7类，同时对各类型进行编码；对改进的卷积神经网络模块来说，其网络的架构为：输入层
‑
动态卷积层1
‑
动态卷积层2
‑
fu池化层1
‑
动态卷积层3
‑ꢀ
动态卷积层4
‑
fu池化层2
‑
flatten层
‑
全连接层1
‑
全连接层2
‑
softmax层，其中提出了动态卷积层算法和fu
‑
pooling算法，从而简化了模型的结构、加快了模型的收敛速度和提高了模型的检测精度。综上，通过该模型可以准确有效的对车身焊接缺陷进行检测，保证了汽车出厂的质量。
16.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。