基于GRU-C网络的点焊质量检测方法、装置及存储介质

基于gru-c网络的点焊质量检测方法、装置及存储介质
技术领域
1.本发明涉及焊接技术领域，尤其涉及一种基于gru-c网络的点焊质量检测方法、装置及存储介质。


背景技术：

2.在汽车生产线上，需要检测车身焊点的质量。目前，传统的人工检测手段成本高、效率低，且不能完成全覆盖检测。现有的采用机器学习的焊点检测方法往往只根据某一个参数进行分析，不能充分的利用采集的数据，导致无法做到高精度的检测。此外，常见的深度学习的方法虽然提升了检测精度，但是参数量较多，应用在生产线上时速度较慢，不利于实时处理故障。


技术实现要素：

3.本发明提供了一种基于gru-c网络的点焊质量检测方法、装置及存储介质，以实现板材间隙等隐蔽故障的高精度检测，并且减少参数数量与训练时间，提高了检测效率。
4.第一方面，为了解决上述技术问题，本发明提供了一种基于gru-c网络的点焊质量检测方法，包括：
5.获取点焊过程中的原始工况数据，并对所述原始工况数据进行归一化处理，得到输入工况数据；
6.根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；
7.根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；
8.将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；
9.将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
10.优选地，所述假设函数的优化过程包括：
11.构建包括k维向量的假设函数，并根据所述假设函数构建损失函数；其中，所述假设函数用于表示样本属于每一种类型的概率；
12.根据bp反向传导算法对所述假设函数的参数进行优化，以使所述损失函数收敛于最小值。
13.优选地，所述根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据，包括：
14.将所述输入工况数据与上一时刻状态变量的拼接矩阵变换后得到更新门状态变量和重置门状态变量；
15.根据所述更新门状态变量、所述上一时刻状态变量和所述输入工况数据，得到此时候选集状态；
16.在重置门中确定写入候选集中的数据，并根据所述重置门状态变量、所述上一时刻状态变量和所述此时候选集状态得到当前时刻状态变量；
17.将所述当前时刻状态变量输入到激活函数中，得到时序特征数据。
18.优选地，所述gru网络模型包括：
19.r
t
＝σ(wr×
[h
t-1
，x
t
])
[0020]zt
＝σ(ws×
[h
t-1
，x
t
])
[0021][0022][0023]yt
＝σ(wo×ht
)
[0024]
式中：x
t
为当前时刻的输入工况数据；h
t-1
为上一时刻状态变量；h
t
为当前时刻状态变量；r
t
为更新门状态变量；z
t
为重置门状态变量；为此时候选集状态；y
t
为时序特征数据；wo、ws、wr分别为输出向量与x
t
、h
t-1
构成矩阵相乘得出的权重、候选集、重置门以及更新门；σ为sigmoid激活函数，为tanh激活函数。
[0025]
优选地，所述交叉网络单元为多层交叉层级联，传递公式为：
[0026][0027]
其中，x0表示输入工况数据，x
l
、x
l+1
分别代表多层穿越网络中第l层与第l+1层输出的列向量，w
l
为交叉层中第l层的权重向量，b
l
为交叉层中第l层的偏置。
[0028]
优选地，所述交叉网络单元为单层交叉网络，传递公式为：
[0029]
y＝x0*x
′
*w+b+x
[0030]
其中，x0表示输入工况数据，x表示这一层的输入，x
′
表示输入的转置，w表示权重向量，b表示偏置。
[0031]
优选地，所述假设函数为：
[0032][0033]
其中，j表示向量的第j个元素，k是类别数，i表示焊点的样本编号。
[0034]
优选地，所述损失函数为：
[0035][0036]
其中，是参数衰减项。
[0037]
第二方面，本发明提供了一种基于gru-c网络的点焊质量检测装置，包括：
[0038]
数据处理模块，用于获取点焊过程中的原始工况数据，并对所述原始工况数据进
行归一化处理，得到输入工况数据；
[0039]
交叉特征模块，用于根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；
[0040]
时序特征模块，用于根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；
[0041]
特征融合模块，用于将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；
[0042]
质量判别模块，用于将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
[0043]
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的基于gru-c网络的点焊质量检测方法。
[0044]
相比于现有技术，本发明具有如下有益效果：
[0045]
本发明提供的基于gru-c网络的点焊质量检测方法，通过获取点焊过程中的原始工况数据，并对所述原始工况数据进行归一化处理，得到输入工况数据；根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
[0046]
相比于长短时记忆网络等现有技术，gru网络模型的参数量减少了约25％。同时，交叉特征和时序特征经输出层进行特征融合，并通过softmax函数输出网络对于焊点质量的判别概率。本发明能提升总体故障工况检出率，完成板材间隙等隐蔽故障的高精度检测，并且减少参数数量与训练时间，提高了检测效率。
附图说明
[0047]
图1是本发明第一实施例提供的基于gru-c网络的点焊质量检测方法流程示意图；
[0048]
图2是gru网络模型结构示意图；
[0049]
图3是每种工况状态的检出率示意图；
[0050]
图4是不同网络模型在总体数据集上准确率的表现示意图；
[0051]
图5是本发明第二实施例提供的基于gru-c网络的点焊质量检测装置结构示意图。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
参照图1，本发明第一实施例提供了一种基于gru-c网络的点焊质量检测方法，包括以下步骤：
[0054]
s11，获取点焊过程中的原始工况数据，并对所述原始工况数据进行归一化处理，
得到输入工况数据；
[0055]
s12，根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；
[0056]
s13，根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；
[0057]
s14，将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；
[0058]
s15，将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
[0059]
本发明提出的基于gru-c网络的焊点质量检测模型在交叉层采用交叉网络单元，对于点焊工况数据的交叉特征进行提取，在特征层采用门控神经单元，对于点焊工况数据的时序特征进行提取，两种特征经输出层进行特征融合，并通过softmax激活函数输出网络对于焊点质量的判别概率。
[0060]
在步骤s11中，首先获取点焊过程中的原始工况数据。在具体实施当中，可以在生产车间里采集汽车的点焊数据，原始数据包括焊核形成过程中电阻值、电流值、热量值以及时间、设备ip地址、工机编号等。然后，对采集的数据进行处理，保留电阻值、电流值、热量值作为特征，按照时间顺序排列成原始工况数据x
origin
。
[0061]
进一步地，对所述原始工况数据进行归一化处理，得到输入工况数据。具体地，采用z-score归一化方法，变换公式为：
[0062][0063]
其中，x0表示输入工况数据，x
origin
为原始工况数据，μ为数据对应维度的均值，σ为数据对应维度的标准差。
[0064]
在步骤s12中，根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据。交叉层网络以一种显示、可控且高效的方式，自动构造有限高阶交叉特征。
[0065]
在一种实施方式中，所述交叉网络单元为多层交叉层级联，传递公式为：
[0066][0067]
其中，x0表示输入工况数据，x
l
、x
l+1
分别代表多层穿越网络中第l层与第l+1层输出的列向量，w
l
为交叉层中第l层的权重向量，b
l
为交叉层中第l层的偏置。进一步地，交叉网络每层的神经元个数均等于输入数据的维度，交叉网络保留了原始数据从1阶至网络层数阶数的所有叉乘组合。
[0068]
在另一种实施方式中，所述交叉网络单元为单层交叉网络，传递公式为：
[0069]
y＝x0*x
′
*w+b+x
[0070]
其中，x0表示输入工况数据，x表示这一层的输入，x
′
表示输入的转置，w表示权重向量，b表示偏置。
[0071]
在步骤s13中，根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据，具体包括：
[0072]
将所述输入工况数据与上一时刻状态变量的拼接矩阵变换后得到更新门状态变量和重置门状态变量；
[0073]
根据所述更新门状态变量、所述上一时刻状态变量和所述输入工况数据，得到此时候选集状态；
[0074]
在重置门中确定写入候选集中的数据，并根据所述重置门状态变量、所述上一时刻状态变量和所述此时候选集状态得到当前时刻状态变量；
[0075]
将所述当前时刻状态变量输入到激活函数中，得到时序特征数据。
[0076]
其中，特征层采用gru来完成网络模型搭建，结构如图2所示，z
t
、r
t
分别表示“更新门”和“重置门”，所述gru网络模型包括：
[0077]rt
＝σ(wr×
[h
t-1
，x
t
])
[0078]zt
＝σ(ws×
[h
t-1
，x
t
])
[0079][0080][0081]yt
＝σ(wo×ht
)
[0082]
式中：x
t
为当前时刻的输入工况数据；h
t-1
为上一时刻状态变量；h
t
为当前时刻状态变量；r
t
为更新门状态变量；z
t
为重置门状态变量；为此时候选集状态；y
t
为时序特征数据；wo、ws、wr分别为输出向量与x
t
、h
t-1
构成矩阵相乘得出的权重、候选集、重置门以及更新门；σ为sigmoid激活函数，为tanh激活函数。
[0083]
具体地，sigmoid激活函数σ、tanh激活函数的表达式为：
[0084][0085][0086]
在本实施例中，gru将重置门与更新门作为核心，每一层的重置门与更新门采用sigmoid激活函数将输入序列与前一时刻记忆变量的拼接矩阵变换后更新，并且将此更新值输入更新门，确定前一时刻变量的状态对当前状态变量的重要程度。在重置门中确定前一时刻有多少数据需要被写入候选集中，将h
t-1
乘以i-z
t
储存在前一时刻信息中，再将的z
t
倍记录在当前信息，将二者相加作为此刻的输出。
[0087]
在步骤s14中，将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据。具体地，这一步骤在整个网络的输出层执行，输出层拼接来自交叉层和特征层的输出。
[0088]
在步骤s15中，将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。其中，所述假设函数的优化过程包括：
[0089]
构建包括k维向量的假设函数，并根据所述假设函数构建损失函数；其中，所述假设函数用于表示样本属于每一种类型的概率；
[0090]
根据bp反向传导算法对所述假设函数的参数进行优化，以使所述损失函数收敛于最小值。
[0091]
具体地，所述假设函数为：
[0092][0093]
其中，j表示向量的第j个元素，k是类别数，i表示焊点的样本编号。
[0094]
所述损失函数为：
[0095][0096]
其中，是参数衰减项。
[0097]
在本实施例中，设置参数衰减项的目的是防止某些参数过大，同时防止过拟合现象。损失函数是一个严格凸函数，利用梯度下降算法就可确保该函数收敛于全局最优解，而利用bp反向传导算法，就可以将整个网络的参数进行最优化，进而使得损失函数收敛于最小值。当损失函数收敛于最小值时，即表示所述假设函数的参数优化完成。
[0098]
进一步地，在输出层拼接来自交叉层和特征层的输出之后，通过softmax激活函数得到样本属于每个类别的概率。softmax激活函数形式如下：
[0099][0100]
为了便于对本发明的理解，下面将对本发明的一些具体实施例做更进一步的描述。
[0101]
采用某汽车制造工厂某月采集的点焊故障模拟数据集作为原始数据集，该数据集共分5次采集完毕，单次采集焊点数据300个，5次总共采集1500个样本，包含了6种工况，分别是正常、空焊接、半点焊、板材有间隙、焊接时间异常和控制电流异常，每种工况250个样本。每个样本包含电流特征50个，电阻特征50，热量特征50个，表1是试验数据统计表。
[0102][0103]
表1试验数据统计表
[0104]
本实施例采用的gru-c网络在网络交叉层上采用三层网络结构，每层神经元个数为50且均带有偏置项；在网络特征层上采用单层gru结构，时间步长设计为50，并且隐含层size为64。网络输出层采用与特征层与交叉层适配的softmax网络进行激活。而其余如dnn、lstm等对比模型的超参数设置均以改进型gru-c网络的参数设计为准。
[0105]
表2展示了gru-c、gru、lstm、dnn四种模型对于单次实验的f分数的总体实验结果，观察发现除了在d1数据集的表征上，本章节提出的改进型gru-c网络均能在单次实验的f1参数上表现良好。
[0106][0107]
表2总体实验结果表
[0108]
其中，在d3实验数据集上，本发明的f参数达到了0.934，比lstm、gru、dnn模型分别高出0.10、0.31、0.61，为四种模型中基于单次数据训练并检测的最好水平。而且gru-c模型在5次单次实验的结果上，均取得了f参数大于0.9的水平，是四种模型中唯一达到此标准的模型。
[0109]
图3显示了本发明对于包括正常工况在内的每种工况状态的检出率。通过观察图像可以发现，gru、lstm、dnn、gru-c网络4种网络均能对于所有基于正常工况下的焊点数据进行完全的检出，但是在其余5种工况的检出率指标上，四种模型存在明显差异。其中，在空焊接工况下，四种模型彼此的最大差距在1％左右，检出率指标较为相近；而在半点焊工况下，dnn网络对于工况的检出效果明显下降。而在板材有间隙这种工况类型下，各模型的检出率差异达到最大。在该工况下，表现最好的gru-c模型的检出率指标为93.34％，表现最差的dnn模型检出效果仅为85.14％，gru-c模型相对于dnn模型的提升达到了8.2％。
[0110]
图4与表3展示了gru、lstm、dnn与基于gru-c网络的模型在总体数据集上准确率的表现。其中gru-c取得的分类准确率最高，为95.67％，相比于传统dnn模型准确率提升了4.34％，比时序特征提取能力强大的lstm也提升了1.89％，达到了较高水平。
[0111]
采用的检测方法grulstmdnngru-c平均检测准确率(％)92.6793.7891.3395.67
[0112]
表3总体数据集上准确率表
[0113]
本发明提供的基于gru-c网络的点焊质量检测方法，通过获取点焊过程中的原始工况数据，并对所述原始工况数据进行归一化处理，得到输入工况数据；根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
[0114]
相比于长短时记忆网络等现有技术，gru网络模型的参数量减少了约25％。同时，
交叉特征和时序特征经输出层进行特征融合，并通过softmax函数输出网络对于焊点质量的判别概率。本发明能提升总体故障工况检出率，完成板材间隙等隐蔽故障的高精度检测，并且减少参数数量与训练时间，提高了检测效率。同时，本发明可以降低员工作业的劳动强度、改善员工的作业环境。还可以改变汽车行业焊点质量检测完全依靠人工检查方式的技术格局，填补行业内的空白。
[0115]
参照图5，本发明第二实施例提供了一种基于gru-c网络的点焊质量检测装置，包括：
[0116]
数据处理模块，用于获取点焊过程中的原始工况数据，并对所述原始工况数据进行归一化处理，得到输入工况数据；
[0117]
交叉特征模块，用于根据交叉网络单元对所述输入工况数据进行特征提取，得到交叉特征数据；
[0118]
时序特征模块，用于根据gru网络模型对所述输入工况数据进行特征提取，得到时序特征数据；
[0119]
特征融合模块，用于将所述交叉特征数据与所述时序特征数据进行特征融合，得到融合特征数据；
[0120]
质量判别模块，用于将所述融合特征数据输入到优化完成的假设函数中，并通过激活函数得到对于焊点质量的判别概率。
[0121]
优选地，所述时序特征模块包括：
[0122]
变量更新模块，用于将所述输入工况数据与上一时刻状态变量的拼接矩阵变换后得到更新门状态变量和重置门状态变量；
[0123]
选集获取模块，用于根据所述更新门状态变量、所述上一时刻状态变量和所述输入工况数据，得到此时候选集状态；
[0124]
变量生成模块，用于在重置门中确定写入候选集中的数据，并根据所述重置门状态变量、所述上一时刻状态变量和所述此时候选集状态得到当前时刻状态变量；
[0125]
特征生成模块，用于将所述当前时刻状态变量输入到激活函数中，得到时序特征数据。
[0126]
需要说明的是，本发明实施例提供的一种基于gru-c网络的点焊质量检测装置用于执行上述实施例的一种基于gru-c网络的点焊质量检测方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
[0127]
本发明实施例还提供了一种终端设备。该终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如基于gru-c网络的点焊质量检测程序。所述处理器执行所述计算机程序时实现上述各个基于gru-c网络的点焊质量检测方法实施例中的步骤，例如图1所示的步骤s11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如质量判别模块。
[0128]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
[0129]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及智能平板等计算设备。所
述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述部件仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0130]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific lntegrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
[0131]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0132]
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0133]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0134]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的
详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。