基于深度残差GRU神经网络的产品性能预测方法

基于深度残差gru神经网络的产品性能预测方法
技术领域
1.本发明涉及一种预测方法，尤其涉及一种基于深度残差gru神经网络的产品性能预测方法。


背景技术：

2.工业4.0将生产流程与智能生产技术连接起来，引领新一轮工业技术革命。将工业4.0数字化技术应用到复杂精密产品的装配中，对复杂精密产品装配性能进行有效准确的预测，有助于提高产品生产效率，精准把控产品装配质量。
3.为保障复杂精密产品高质量可靠运行，要求其具备优良的装配质量。公差分析是预测产品装配质量有力工具，然而复杂精密产品往往是结构复杂、装配零部件多、装配空间紧凑、可靠性要求高，其零部件配合公差受测量成本、测量技术等限制，难以对产品零部件装配后的公差进行有效测量来表征产品装配质量。在实际装配中，一般采用试凑法与性能测试法相结合方式实现复杂精密产品零部件装配，并通过性能测试值表征产品装配质量。然而这种人工试凑选配方式将产生大量无效装配，降低生产效率。另一方面，不同零部件之间的装配参数相互影响，单纯使用动力学等理论推导难以建立复杂精密产品性能预测模型。
4.随着工业4.0数字化技术的发展，基于数据驱动的深度学习方法已成为性能预测的有用工具。深度学习方法能够从原始输入数据中自动学习特征，实现更高精度的性能预测，各种深度学习方法在性能预测中也得到应用。然而，对于传统人工神经网络来说，通过网络权重优化进而有效提取数据关联关系是一项困难的任务。网络权重通过反向传播误差信息进行调整，而误差函数的梯度经过多层反向传播后由于出现梯度爆炸与梯度消失灾难性后果逐渐变得不准确。结果，网络可训练层参数无法得到有效优化，难以对原始输入数据前后信息关联特征进行有效学习，导致性能预测结果变差。
5.gru神经网络是近年来发展起来的一种新的深度学习方法，其具备信息记忆能力，比起传统神经网络更易于学习数据前后相互关联的特征。研究表明，深度神经网络有助于提取数据细微特征，然而训练深度gru神经网络是困难的，主要挑战在于深度神经网络训练过程中容易出现梯度爆炸与梯度消失的问题。
6.复杂精密产品装配参数对产品性能影响很大。装配参数是指产品装配过程中产生的一系列表征产品特征的参数，如尺寸公差、形位公差、表面粗糙度等，还包括产品成型前调试、检验过程中产生的参数项，如陀螺转子漂移测试值、线圈部件阻值等。来自不同装配单元的复杂精密产品零部件装配参数间信息关联关系会对产品性能产生影响。然而，对于装配参数间的关联信息，传统人工神经网络的特征学习能力往往是不理想，在它的输出层中学习到的高维特征通常没有足够的辨别能力对产品性能进行精确预测。开发一种深度学习方法对装配参数关联特征进行有效学习进而提高产品性能预测精度是一项亟待解决的工作。


技术实现要素：

7.为了解决上述技术所存在的不足之处，本发明提供了一种基于深度残差gru神经网络的产品性能预测方法。
8.为了解决以上技术问题，本发明采用的技术方案是：一种基于深度残差gru神经网络的产品性能预测方法，包括以下步骤：
9.步骤一、构建深度残差gru神经网络模型；
10.步骤二、基于深度残差gru神经网络对产品性能进行预测，预测结果用于指导复杂精密产品零部件装配。
11.进一步地，步骤一中，采用gru神经网络和残差神经网络构建深度残差gru神经网络模型，借助gru神经网络的信息记忆能力强化装配参数关联特征学习能力，通过残差神经网络的残差连接结构构建深度网络结构，提取产品装配参数特征。
12.进一步地，将残差连接结构引入gru神经网络中，得到两种残差gru结构，并得到了由rg堆叠而成的深度残差gru神经网络；两种残差gru结构统称为rg。
13.进一步地，两种残差gru结构分别为：基本rg结构、带有bn与dropout的rg结构；
14.其中，基本rg结构由两个relu层和两个gru层组成，带有bn与dropout的rg结构由两个bn层、两个relu层、两个gru层和两个dropout层组成。
15.进一步地，深度残差gru神经网络由n个rg块堆叠而成，而后通过展平操作后连接到全连接层输出结果。
16.进一步地，bn层指批量标准化层，在rg中加入bn层，以进行神经网络训练过程的优化，具体处理过程为：
[0017][0018][0019][0020][0021]
式中，x
n
、y
n
分别表示批量标准化层的输入与输出；n表示批量标准化层尺寸，即样本个数；α、β为可训练参数，ε是一个接近于0的常数；σ为批量标准化层输入样本方差；μ为批量标准化层输入样本均值。
[0022]
进一步地，relu层为relu激活函数，relu激活函数在神经网络网络中用于非线性变换，优化神经网络训练过程，如公式11所示，其导数为1或0，
[0023]
y＝max(x,0)
ꢀꢀ
式11
[0024]
式中，x、y依次表示relu激活函数的输入与输出。
[0025]
进一步地，在rg中加入dropout层，通过随机舍弃0
‑
1比例范围内的神经元，优化神
经网络训练过程。
[0026]
进一步地，在深度残差gru网络中，对网络参数进行优化，具有过程为：
[0027]
设l
‑
thrg输入是rg
l
，输出为rg
l+1
，则rg执行以下计算过程：
[0028]
rg
l+1
＝rg
l
+f(rg
l
,w
lrg
)
ꢀꢀ
式12
[0029]
式中，f表示残差函数，w
lrg
表示rg内可训练权重参数；l
‑
th表示第l个rg块；
[0030]
通过递归关系，可以得到如下结果：
[0031][0032]
式中，i表示rg的个数，(rg
i
表示第i个rg块的输入，w
irg
)表示第i个rg内可训练权重参数，l是rg总数；
[0033]
在反向传播中，记损失函数为e，通过链式法可得：
[0034][0035]
式中，表示求导过程；
[0036]
公式14表示，在深度残差gru神经网络中通过线性叠加方式进行可训练参数的优化；
[0037]
利用交叉熵误差作为损失函数，训练神经网络时，将输出层特征通过softmax函数转化到[0,1]之间，softmax函数如下所示：
[0038][0039]
式中，x、y依次是softmax函数的输入与输出，m为类别数量，i、j表示输出层神经元的索引；则交叉熵损失e由公式16得到：
[0040][0041]
式中，target
j
表示样本所属真实类别标签；
[0042]
计算交叉熵损失后，通过梯度下降法对网络进行迭代训练，如公式17所示，以调整网络参数，进而得到优化后的网络参数：
[0043][0044]
式中，w
i
为第i次迭代后得到的神经网络权重参数，λ为学习率。
[0045]
进一步地，基于深度残差gru神经网络对复杂产品性能进行预测将复杂精密产品零部件装配参数作为深度残差gru神经网络的输入，产品性能分类结果作为输出，建立装配参数与性能之间的联系，在装配开始前，基于零部件装配参数实现装配后的产品性能预测，
根据模型预测结果决定是否进行装配。
[0046]
本发明公开了一种基于深度残差gru神经网络的产品性能预测方法，提出了一种新的深度学习方法，即深度残差gru神经网络(drgrunn)，将gru神经网络与残差神经网络的优点有机集成，以提高网络对装配参数特征学习能力，实现复杂精密产品性能高精度预测。
[0047]
drgrunn借助gru信息记忆能力强化装配参数关联特征学习能力，并通过残差连接结构构建深度网络结构提取更丰富且细微的装配参数特征，使深度网络可训练参数的优化更容易，相比于传统的神经网络具有更好的特征学习能力。此外，还使用了bn与dropout进一步优化训练过程，因此，drgrunn能够通过构建更深的网络提取更多更丰富且细微的装配参数关联特征，实现复杂精密产品性能高精度分类预测。应用drgrunn指导复杂精密产品零部件的装配，将有效减少产品零部件无效装配，提高产品生产效率。
附图说明
[0048]
图1为本发明的基于深度残gru性能预测的产品零部件装配流程图。
[0049]
图2为本发明gru构示意视图。
[0050]
图3为本发明残差块结构示意图。
[0051]
图4为本发明两种残差块中基本rg结构的示意图。
[0052]
图5为本发明两种残差块中带有bn与dropout的rg结构的示意图。
[0053]
图6为本发明深度残差gru神经网络结构的示意图。
[0054]
图7为本发明实施例中动力随动陀螺的陀螺转子与线圈部件装配示意图。
[0055]
图8为本发明实施例中陀螺转子与线圈部件的装配流程图。
[0056]
图9为本发明实施例中传统人工神经网络、传统gru神经网络以及深度残差gru神经网络性能预测模型层数增加对应的训练精度曲线图。
[0057]
图10为本发明实施例中传统人工神经网络、传统gru神经网络以及深度残差gru神经网络层性能预测模型层数增加对应的测试精度变化曲线图。
[0058]
图11为本发明实施例中传统人工神经网络、传统gru神经网络性能预测模型训练精度对比图。
[0059]
图12为本发明实施例中传统人工神经网络、传统gru神经网络性能预测模型测试精度对比图。
[0060]
图13为本发明实施例中传统gru神经网络、深度残差gru神经网络性能预测模型训练精度对比图。
[0061]
图14为本发明实施例中传统gru神经网络、深度残差gru神经网络性能预测模型测试精度对比图。
[0062]
图15为本发明实施例中，当rg数量为11时，装配正负样本观测值在drgrunnbd输入层、rg4、rg7和展平层输出的高维特征降维可视化
[0063]
图中：1、陀螺转子；2、线圈部件。
具体实施方式
[0064]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0065]
本发明公开了一种基于深度残差gru神经网络的产品性能预测方法，该方法结合
了gru神经网络和残差神经网络的优点，以提高网络对复杂精密产品装配参数关联特征学习能力，最终获得高精度的性能预测能力；基本流程如图1所示，包括如下两大处理步骤：
[0066]
步骤一、构建深度残差gru神经网络模型；
[0067]
步骤二、基于深度残差gru神经网络对产品性能进行预测，预测结果用于指导复杂精密产品零部件装配。
[0068]
对于残差gru神经网络模型是采用gru神经网络和残差神经网络构建的，因此，为便于对本发明方案的理解，先介绍gru神经网络和残差神经网络基本理论后，再着重介绍两种网络结合体的设计原理与模型结构，即深度残差gru神经网络。
[0069]
一、门控循环单元(gru)神经网络
[0070]
传统门控循环单元(gru)神经网络通过堆叠多个gru构成。gru作为循环神经网络(rnn)的变体，通过引入门控机制能够解决信息学习长期依赖问题，在某些方面，优于rnn的另一种变体长短时记忆神经网络(lstm)，且参数更少，训练更高效。gru结构简图如图2所示，x(t)、h(t)、r、z、c分别表示t时刻单元的输入、输出、重置门、更新门与短期记忆，σ为sigmoid激活函数，为向量元素乘，为向量和。更新门决定了保留上一单元记忆信息的多少，重置门将新的输入与上一单元的记忆信息结合起来。gru单元更新公式见公式(1)
‑
(4)所示：
[0071]
z＝σ(w
z
h(t
‑
1)+u
z
x(t)) 式1
[0072]
r＝σ(w
r
h(t
‑
1)+u
r
x(t))
ꢀꢀ
式2
[0073][0074][0075]
式中，w
z
、w
r
、w
c
、u
z
、u
r
、u
c
为可训练权重层。
[0076]
二、残差神经网络
[0077]
残差神经网络最早应用于图像处理中，是由多个残差块堆叠形成的。基本残差块结构如图3所示，主要有两条通道，一条是直接连接输入与输出的通道(恒等映射)，另一条是通过权重更新过程的通道，由两个权重层、两个线性整流激活函数层(relu)组成。残差块这种网络层连接结构，使网络参数优化变得更容易，有助于减少网络训练中出现梯度消失和梯度爆炸的风险。
[0078]
图3中，x、h(x)分别为残差块的输入与输出；w1、w2分别为残差块的权重层，主要指卷积层，这有助于提取图形局部特征；f(x)为残差映射，则残差块执行以下运算：
[0079]
f(x)＝w2α(w1x)
ꢀꢀ
式5
[0080]
h(x)＝α(f(x)+x)
ꢀꢀ
式6
[0081]
式中，α是指relu激活函数。
[0082]
三、构建深度残差gru神经网络模型
[0083]
gru神经网络具备信息记忆能力，可以利用gru神经网络这一优点来学习复杂精密产品零部件装配数据间的关联关系。残差神经网络中的残差块结构可以有效解决深度神经网络训练难题，可以利用这一优点来构建深度gru神经网络，提取更多复杂精密产品装配数据细微且丰富的特征来提高网络性能预测能力。因此，本发明将gru神经网络和残差神经网络的优点有机融合，形成解决复杂精密产品基于装配参数进行高精度性能预测的有效途
径。
[0084]
本发明将残差连接结构引入gru神经网络中，提出两种残差gru结构(统称为rg)，如图4和图5所示，图4为基本rg结构，其由两个relu层和两个gru层组成，图5为带有批归一化(bn)与dropout的rg结构，其由两个bn层、两个relu层、两个gru层和两个dropout层组成，并得到了由rg堆叠而成的深度残差gru神经网络(drgrunn)，如图6所示，其由n个rg块堆叠而成，而后通过展平(flatten)操作后连接到全连接层(fc)输出结果。
[0085]
如图4、图5、图6所示，与传统gru神经网络对比，drgrun在多个gru之间形成了残差连接，这使得构建深度gru网络提取更多更丰富特征成为可能。与传统的残差神经网络对比，drgrun中的残差块权重层主要由gru组成，而不是卷积层，这种好处是gru可以学习参数间的前后关联特征，而不是卷积层学习到的局部特征。
[0086]
进一步地，对深度残差gru神经网络的训练过程进行优化。
[0087]
bn层指批量标准化层，批量标准化层(bn)是一种将输入特征进行归一化处理的技术。在rg中加入bn层，实现了神经网络训练过程的优化，有效解决了神经训练网络过程中内部协方差漂移问题，具体处理过程为：
[0088][0089][0090][0091][0092]
式中，x
n
、y
n
分别是批量层的输入与输出；n是批量层尺寸，即样本个数；α、β是可训练参数，ε是一个接近于0的常数；σ为批量层输入样本方差；μ为批量层输入样本均值。
[0093]
relu层为relu激活函数，relu激活函数在神经网络网络中用于非线性变换，同样，实现了神经网络训练过程的优化，有利于进一步减小深度神经网络在训练的过程中遭遇梯度消失和梯度爆炸的风险。如公式11所示，其导数为1或0，
[0094]
y＝max(x,0)
ꢀꢀ
式11
[0095]
式中，x、y依次表示relu激活函数的输入与输出。
[0096]
dropout层作为一种正则化技术，在rg中加入dropout，通过随机舍弃一定比例(通常是0
‑
1比例范围内)的神经元，有助于缓解模型过拟合，提高模型泛化能力。另一方面，dropout技术用于对输入层进行处理时，视为一种添加噪声的方法。
[0097]
为使本发明的基于深度残差gru神经网络能够更加精准对复杂产品性能进行预测，对深度残差gru网络中网络参数进行优化，具有过程为：
[0098]
如图6所示，假设设l
‑
thrg输入是rg
l
，输出为rg
l+1
，则rg执行以下计算过程：
[0099]
rg
l+1
＝rg
l
+f(rg
l
,w
lrg
)
ꢀꢀ
式12
p1000 gpu的计算机上进行。
[0118]
【实施例】
[0119]
下面结合具体的实施例，对本发所公开的基于深度残差gru神经网络的产品性能预测方法做进一步详细的说明。
[0120]
为验证本发明所公开的基于深度残差gru神经网络的产品性能预测方法，能够实现复杂精密产品的性能预测，通过在动力随动陀螺中应用，以验证该方法在装配特征学习的有效性。具体实验验证过程有：
[0121]
(1)实验数据收集
[0122]
本部分的实验数据收集于动力随动陀螺装配生产线，动力随动陀螺是惯导系统的核心器件之一，主要由陀螺转子与线圈部件两大组件组成，如图7所示，被用于飞行器的导航、跟踪与定位等，其结构复杂、装配精度要求高、装配零部件多，是复杂精密产品的典型代表。由此，本发明以陀螺转子与线圈部件装配为例验证本文所提方法(drgrunn)的有效性，动力随动陀螺的装配流程如图8所示。
[0123]
由于测量成本以及测量技术的限制，难以对陀螺转子各零部件配合公差进行有效测量，通过漂移测试+x、+y、+z、
‑
y、
‑
z五个方向最大电信号值来表征陀螺转子的综合装配质量，依次简记为+x、+y、+z、
‑
y、
‑
z。线圈部件同样如此，其装配质量通过进动线圈阻值、稳速线圈阻值、基准线圈阻值、调制线圈阻值、总阻值来表征，依次简记为r
p
、r
ss
、r
r
、r
m
、r
t
。在实际装配中，即使是合格的陀螺转子与合格的线圈部件装配在一起，也会出现产品性能不满足要求的情况，需要反复装拆进行调整，产生大量无效装配。
[0124]
为解决动力随动陀螺这类复杂精密产品的装配问题，本实施例在实际装配中收集了574个装配样本，并通过统计分类方式获取了546个具备良好产品性能的装配正样本，这意味着满足产品装配质量要求，以及28个装配负样本，样本组成见表1所示。
[0125]
表1陀螺装配样本组成
[0126]
正样本个数负样本个数合计54628574
[0127]
本实施例将性能预测问题转化为二分类预测问题，即根据装配参数预测是装配样本是正样本还是负样本。装配正样本意味着装配后的陀螺具备良好的产品性能。也就是说，drgrunn输入为陀螺转子与线圈部件装配参数，输出结果为是否是正样本。若预测结果为正样本，说明陀螺转子与线圈部件装配后的性能满足产品质量要求，可以进行两者装配，否则不进行装配。这种性能分类预测结果有助于指导产品零部件装配，有效减少无效装配，提高产品生产效率。
[0128]
(2)超参数设置
[0129]
从表1中可以看到实验样本类别不均衡严重，不利于神经网络模型训练。smote是一种处理样本类别不均衡的技术，其基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，实现数据集中样本类别平衡与样本集的扩展。本文采用smote过采样技术对样本进行处理，得到546个正负样本，然后采用5折交叉验证方案划分数据集进行网络的训练与评价，具体来说是将数据集均分为5个子集，每次实验采用4个子集训练模型，1个子集作为测试集；重复实验5次，使得每个子集依次成为测试集。进一步，本文将详细介绍已开发的深度学习方法中超参数的初始化和选择。
[0130]
在深度学习中，超参数的设置如学习率、隐藏层数、神经元数目等，目前仍没有公认的设置与优化方法，本实施例参考一些经验性建议，进行如下设置。学习率设置过大、过小均不利于模型训练，本文设置为0.001；设置隐藏层神经元个数为40；设置动量系数有利于跳出局部最优点，本文设置为0.9；设置批量大小有利于加快模型训练速度，本文设置为64；l2正则化有利于提高模型泛化能力，设置l2权重衰减系数设为0.0001；设置初始化方法与现有技术一致，有利于避免模型训练过程中出现梯度消失与梯度爆炸问题；dropout丢弃比率设置为0.5。本实施例数量设置为2、5、8、11，以考虑到网络层数对模型预测性能的影响。
[0131]
(3)性能对比
[0132]
本部分展示实验结果，对比方法为传统人工神经网络与传统gru神经网络。除探究模型深度对模型预测精度的影响外，还考虑加入bn技术和dropout技术后模型性能变化情况，表2给出了详细的实验结果。
[0133]
表2实验结果(5转让交叉验证)的平均准确率及其偏差(单位％)
[0134][0135]
表2中，n为方法中使用gru层和fc层总数量，它是模型深度的一个间接表示。“*”意味着没有使用bn化技术和dropout技术，而“bd”意味着方法使用。表中加粗标注部分为实验
最优结果。
[0136]
a)增加rg数量对模型预测性能的影响
[0137]
增加rg数量形成更深的网络有助于提取更多装配数据细微特征，提高性能预测的准确性。图9和图10给出了传统人工神经网络、传统gru神经网络以及深度残差gru神经网络在不同模型深度的训练和测试精度变化曲线图。
[0138]
尽管训练深度神经网络是困难的，如图9、图10及表2所示，随着模型深度的增加，本发明所提方法(both drgrunn
bd
、drgrunn*)不但能基本保持原有性能，还略有提升，这在高精度性能预测中是难得的。而传统人工神经网络、传统gru神经网络随着模型深度的增加，平均训练精度和平均测试精度上出现了不同程度的性能退化现象，最严重的如加入批量标准化层和dropout层的传统gru神经网络(grubd)，网络层数从n＝2增加到n＝11过程中，平均训练精度和平均测试精度分别降低了42.85％和43.44％，这是因为传统人工神经网络、传统gru神经网络中没有残差连接结构，很难优化具有如此多层的深度网络的可训练参数。因此，与传统人工神经网络、传统gru神经网络，本发明所提方法由于具备残差连接结构，网络可训练参数优化更为容易，具备更好的特征学习能力，因而预测能力更好。
[0139]
此外，本发明提深度残差gru神经网络平均训练精度与平均测试精度最高分别为100％(where drgrunn*with n＝2,5,8,11)、98.45％(where drgrunn
bd with n＝11)，也就是说，应用本发明所提方法最好模型用于指导陀螺转子与线圈部件装配，其准确率高达98.45％，这将有效减少无效装配，大幅度提高产品生产效率。
[0140]
b)传统神经网络预测性能结果之间的对比
[0141]
图11和图12给出了传统人工神经网络、传统gru神经网络在不同模型深度下的训练和测试精度实验结果。
[0142]
对比传统人工神经网络与传统gru神经网络，如图11、图12与表2所示，gru*实验结果具有最高的精度与最小的标准偏差。gru*实验结果标准偏差在不同模型深度下均是最小的，且gru*平均训练精度与平均测试精度最优结果分别100％、97.90％(where gru*with n＝2)，比gru最优结果(99.27％and97.16％in gru
bd with n＝2)分别提升了0.73％、0.76％，这表明在gru神经网络中加入bn与dropout技术并没有取得较好的泛化性能，尤其是较深模型的情况下(gru
bd with n＝5,8,11)，还造成了模型性能退化较为严重的现象，这很大原因是dropout技术以一定概率随机丢弃神经元节点破坏gru信息记忆能力所致。gru*平均训练精度与平均测试精度最优结果比传统人工神经网络(tann
bd
、tann*)最优结果(87.20％and 86.08％in tann with n＝5)分别提升了14.67％、13.73％，这说明gru*借助信息记忆能力能够有效捕捉装配参数与性能之间的联系。
[0143]
总的来说，与传统人工神经网络(tann)相比，传统gru神经网络(gru*)能够对装配参数特征进行更有效学习，因而能够获得更好的结果。
[0144]
c)gru神经网络性能预测结果之间的对比
[0145]
图13和图14给出了深度残差gru神经网络、传统gru神经网络在不同模型深度下的训练和测试精度实验结果。
[0146]
与传统gru神经网络相比，如图13、图14与表2所示，所提方法(drgrunn
bd
、drgrunn*)能够获得最优的实验结果。在相同模型深度的情况下，drgrunn*的平均训练精度均达到100％，drgrunn
bd
的平均测试精度均优于传统gru神经网络(both gru
bd and gru*)，
尤其是gru在模型深度增加过程中出现严重性能退化现象(where gru
bd with n＝5,8,11)，而加入残差连接结构的rngrunn
bd
不但没有出现性能退化现象反而能获得最优的结果(where rngrunn
bd with n＝11)，这是由于rngrunn
bd
中的残差连接结构将先前输入端的信息直接添加到后续的输出端，使得网络可训练参数优化过程更为容易，并且残差连接结构还有效减少了网络反向传播过程中出现梯度消失与梯度爆炸的风险，这也验证了残差连接结构在gru网络中应用的有效性。另一方面，对比rngrunn
bd
与rngrunn*实验结果，加入bn与dropout技术的rngrunn
bd
平均训练精度不如rngrunn*好，但是rngrunn
bd
的平均测试精度均优于rngrunn*，也就是说，在残差块结构网络中加入bn与dropout技术会对训练精度产生一定的影响，但却有助于提高网络泛化能力，这对于实际应用是有好处的。
[0147]
总的来说，本文所提方法平均训练精度最优结果(100％in drgrunn*with n＝2,5,8,11)与传统gru神经网络最优结果(100％in gru*with n＝2)持平，而平均测试精度最优实验结果(98.45％in drgrunn
bd with n＝11)比传统gru神经网络最优结果(97.90％in gru*with n＝2)提升了0.56％，若在同一模型深度的情况下这一比例分别达到76.27％、79.16％(both inn＝11)。也就是说，本发明所提深度残差gru神经网络凭借残差连接结构使网络可训练参数优化更为容易，因而具备更好的结果，这验证了残差连接结构在传统gru神经网络中应用的有效性。
[0148]
d)模型输出高维特征降维可视化
[0149]
为直观表示所提模型提取特征信息的能力，采用无监督降维方法，即t分布随机相邻嵌入，对模型输入层、部分中间层、展平层提取到的特征进行降维可视化。采用tsne降维可视化技术将高维特征降维到二维进行可视化，在降维过程中会存在信息丢失而失真的问题，但三维可视化是为了直观判断高维特征是否具备可分性，其本身没有参与神经网络的训练。
[0150]
本实施例选取所提方法最优模型(rngrunn
bd with n＝11)提取到的装配参数特征进行可视化，该模型是泛化能力最好的模型。如图11所示，在模型输入层中，尚未对装配数据高维特征进行提取，可以看到装配正负样本观测值在模型中是高度混叠在一起；经过rg4和rg7对装配数据进行提取特征后，模型基本具备区分高维特征的能力，但仍有小部分正负样本观测值混叠在一起；在模型展平层的输出结果中，可以看到模型通过对装配数据进行特征提取后，能够正确将装配正负样本区分出来，装配正负样本观测值混叠现象不再，即模型能够对陀螺性能实现高精度分类预测。
[0151]
通过降维可视化技术，观察装配正负样本观测值在模型各层的输出情况，表明所开发的深度残差循环神经网络能够有效提取动力随动陀螺零部件装配参数高维特征，实现陀螺性能高精度分类预测。
[0152]
由此，本实施例通过与传统神经网络(包括人工神经网络、gru神经网络)的对比，验证drgrunn特征提取的优越性。与传统gru神经网络对比，drgrunn在平均训练精度方面提高了0.009％，平均测试精度方面则是2.2％，若考虑bn技术与dropout技术的话，这一比例高达75.95％、79.16％；与传统人工神经网络相比，dngrunn在平均训练精度、平均测试精度上提高了24.69％、23.40％，这说明了本发明所提方法中gru能够有效提取装配参数间的关联特征，以及残差连接结构在gru神经网络中应用的合理性。并且，从本实施例drgrunn最优模型高维特征降维可视化结果可以看到，本发明所提方法能够将复杂精密产品装配参数高
维特征区分，实现产品性能高精度预测。
[0153]
综上所述，本发明建立了一种新的深度学习方法，即深度残差gru神经网络(drgrunn)，用于提高复杂精密产品性能分类预测能力，该方法将gru神经网络和残差神经网络的优点有效集成，它的有效性已在动力随动陀螺的零部件装配中得到验证。具体来说，drgrunn借助gru神经网络信息记忆能力对复杂精密产品装配参数关联特征进行学习，并将残差连接结构融入gru神经网络中有利于构建更深网络模型提取装配参数细微特征，同时使深度网络可训练参数的优化更容易。此外，drgrunn还使用了bn与dropout技术进一步提升模型泛化能力。因此，drgrunn能够通过构建更深的网络提取更多更丰富且细微的装配参数关联特征，实现复杂精密产品性能高精度分类预测。应用drgrunn指导复杂精密产品零部件的装配，将有效减少产品零部件无效装配，提高产品生产效率。
[0154]
高精度性能预测模型的建立，在装配中应用有利于对产品每一装配环节装配质量进行有效管控，提高产品生产效率，而在制造业上全面应用则有利于促进智能制造发展、加快制造模式的升级，实现工业自动化生产，降低制造成本、提高企业效益。进一步地，本发明所提的方法不仅可以在性能预测方面应用，且不局限于性能预测，如异常检测与故障诊断等。
[0155]
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。