一种基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法与流程

一种基于mmd和tsp的频域载荷识别的模型迁移学习源域选择方法
技术领域
[0001]
本发明属于深度学习领域，特别涉及一种基于mmd和tsp的频域载荷识别的模型迁移学 习源域选择方法。


背景技术：

[0002]
动态载荷识别技术在现代工程设计，可靠性试验，振动控制等方面具有广泛的应用范围。 但在工程实践中，响应是相对容易测量的，而由于载荷大小不容易得到的，因此在某些条件 下，如飞行中的导弹，海上平台和受激励情况影响的其他大型建筑物，激励和振动系统的参 量不易直接测出，往往需通过逆分析才能获取相应参数。载荷识别是结构动力学中的第二类 逆问题，它是根据已知的系统动态特性和实际情况下的动态响应来获得动态激励的。随着深 度学习的广泛应用，更多更深的神经网络框架被提出。这些深度学习框架能够有效提升模型 在数据上的表现，但是这些性能的提升是建立在花费更多时间和计算资源的基础上，因此基 于迁移学习的神经网络框架由此出现。考虑到某些数据或任务是相关的，迁移学习可以通过 将相关任务模型的参数共享给目标任务模型来加速和优化模型训练，而不用像大多数网络那 样从头开始训练。并不是使用迁移学习就能使模型变得更好，有时会发生负迁移的现象，如 果训练数据源的信息不仅没有用，反而会对目标域上的工作适得其反，便会产生负迁移。如 果存在多个目标域数据可供选择，我们可需要选择最有帮助的源域数据进行训练，选择的标 准通常依赖于源域和目标域之间的相似度度量。


技术实现要素：

[0003]
本发明的目的针对使用神经网络模型迁移学习进行频域载荷识别时，候选源域模型多， 源域模型迁移顺序如何确定的问题，提出了一种基于最大平均差异(maximum meandiscrepancy,mmd)和旅行售货商(traveling salesman problem,tsp)的频域载荷识别的模 型迁移学习源域选择方法。通过进行迁移顺序的选择，可以得到更好的神经网络模型，有效 提高模型精度，减少训练时间、得到更高的识别精度。
[0004]
本发明采用如下技术方案：
[0005]
一种mmd和tsp的频域载荷识别的模型迁移学习源域选择方法，包括：
[0006]
利用mmd距离度量不同频率下样本数据间的差异，得到不同频率间mmd距离矩阵d；
[0007]
通过遗传算法求解访问所有频率所需mmd距离总和的最小代价，求解mmd距离矩阵的tsp 问题；
[0008]
利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习。
[0009]
具体的，所述mmd采用高斯核作为映射函数。
[0010]
具体的，所述tsp问题，具体包括：
[0011]
根据得到不同频率间mmd距离矩阵d
[0012][0013]
其中，d
ij
表示频率ω
t
的数据与频率ω
t+1
的数据mmd差异,ω为迁移频率模型的个数；
[0014]
根据每个频率模型训练一次，以及路径mmd总差异为所有路径中最小，当训练频率ω
t
的 模型，将频率ω
t
的模型迁移到频率ω
t+1
的模型，直到ω个频率的载荷识别模型全部训练完, 得到一个迁移顺序频率序列。
[0015]
具体的，所述遗传算法具体包括：
[0016]
将频率按从小到大的顺序或一些随机顺序作为初始种群，采用局部贪心策略的遗传算法 进行求解，将大型tsp切分为n个小型tsp进行求解，n为正整数。
[0017]
具体的，其特征在于，所述模型的迁移学习方法具体包括：
[0018]
以结构的多点振动响应为多输入，不相关多源载荷为多输出，利用特定频率的历史数据 建立不相关多源载荷识别的多输入多输出神经网络模型；
[0019]
将训练后的神经网络参数作为初始参数传递到目标频率，用目标频率的历史数据对传输 的神经网络进行二次训练，得到目标频率的不相关多源负荷识别模型；
[0020]
将训练后的目标频率神经网络参数传递给下一个目标频率，环整个过程，直到建立全频 率的神经网络模型。
[0021]
具体的，模型的迁移学习方法的训练步骤如下：
[0022]
步骤a1：在频率ω
t
上建立神经网络模型，利用频率ω
t
的历史数据训练神经网络模型，建 立该频率下的神经网络多源载荷识别预测模型；
[0023]
步骤a2：将步骤a1得到的预测模型作为辅助频率模型；
[0024]
步骤a3：利用目标频率ω
t+1
的历史数据对步骤a2得到的辅助频率模型参数进行二次训 练，得到目标频率ω
t+1
的神经网络载荷识别模型；
[0025]
步骤a4：判断所有频率的神经网络载荷辨识模型是否均已训练结束，训练完成则结束， 否则转步骤a2。
[0026]
具体的，所述模型的迁移学习方法的数据处理方法，具体包括：
[0027]
将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f
new
(w)＝log
10 f(w)进 行数量级变换。
[0028]
具体的，其特征在于，模型的迁移学习方法中采用的神经网络模型具体为：
[0029]
神经网络模型包含有1个输入层，1个输出层，3个隐藏层，选用relu函数作为激活函 数，误差函数为平均绝对误差函数，梯度更新优化算法为自适应学习率算法rmsprop，并采 用早停技术进行训练。
[0030]
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
[0031]
1、本发明所述的基于mmd和tsp的频域载荷识别的模型迁移学习源域选择方法，对比基 于神经网络的多源载荷识别模型，大大提升了效率，并且该算法能够取得较好的神经网络模 型初始权重，可以使神经网络模型的权重初值都在一个比较好的范围，有效提高识
别精度；
[0032]
2、通过进行迁移顺序的选择，可以得到更好的神经网络模型，有效提高模型精度，减少 训练时间。
附图说明
[0033]
以下结合附图和具体实施例对本发明作进一步详述。
[0034]
图1为基于数据驱动和多重多元回归分析的不相关多源载荷识别模型图；
[0035]
图2为基于神经网络的频域不相关多源载荷识别模型图；
[0036]
图3为基于迁移学习和神经网络的不相关多源载荷频域识别模型示意图；
[0037]
图4为基于迁移学习和神经网络的不相关多源载荷频域识别模型流程图；
[0038]
图5为球形噪声激励源示意图；
[0039]
图6为悬挂式振动激励源示意图；
[0040]
图7为圆柱壳响应测量节点示意图；
[0041]
图8为响应测点位置分布示意图；
[0042]
图9为神经网络结构图；
[0043]
图10为mmd-tsp顺序的迁移学习神经网络的3db误差图；
[0044]
图11为频率阶迁移学习神经网络的3db误差图；
[0045]
图12为随机阶迁移学习神经网络的3db误差图；
[0046]
图13为无迁移学习的神经网络3db误差图；
[0047]
图14为最小二乘法方法的3db误差图；
[0048]
图15为传递函数法的3db误差图；
[0049]
图16为有迁移学习和无迁移学习的神经网络训练损失对比图；
[0050]
图17为三种迁移顺序的网络初始损失与迁移未使用迁移学习的神经网络图；
[0051]
图18为按频率顺序和mmd-tsp顺序迁移的网络初始损失图。
具体实施方式
[0052]
以下通过具体实施方式对本发明作进一步的描述。
[0053]
实施例的图1-4分别示出了基于数据驱动和多重多元回归分析的不相关多源载荷识别模 型图；基于神经网络的频域不相关多源载荷识别模型图；基于迁移学习和神经网络的不相关 多源载荷频域识别模型示意图；以及基于迁移学习和神经网络的不相关多源载荷频域识别模 型流程图，作为简单的介绍。
[0054]
本实施例中提供的一种mmd和tsp的频域载荷识别的模型迁移学习源域选择方法，具体 包括：
[0055]
首先，利用mmd距离度量不同频率下样本数据间的差异，得到不同频率间mmd距离矩阵d；
[0056]
所述mmd采用高斯核作为映射函数。
[0057]
不同频率间mmd距离矩阵d
[0058][0059]
其中，d
ij
表示频率ω
t
的数据与频率ω
t+1
的数据mmd差异,ω为迁移频率模型的个数；
[0060]
根据每个频率模型训练一次，以及路径mmd总差异为所有路径中最小，当训练频率ω
t
的 模型，将频率ω
t
的模型迁移到频率ω
t+1
的模型，直到ω个频率的载荷识别模型全部训练完, 得到一个迁移顺序频率序列。
[0061]
为了选择每个目标频率点合适的辅助频率点模型，需要进行模型迁移顺序的设计。在本 研究中，规划的目标为迁移ω个频率模型，路径的限制是每个频率模型只能训练一次。路径 的选择目标是要求得的路径mmd总差异为所有路径之中的最小值。当我们训练频率ω
t
的模型 后，我们需要找到合适的ω
t+1
的模型，将ω
t
的模型迁移到ω
t+1
的模型，然后对模型进行二次训 练。二次训练模型后，重复该过程；本实施例中共有1601个频率，直到1601个频率的载荷 识别模型全部训练完,这样就得到一个迁移顺序频率序列。迁移顺序频率序列的格式为 [k1,k2,...,k
i
,...,k
ω
],k
i
≠k
j
,i,j∈{1,2,...,ω},k
i
∈{1,2,...,ω}，比如迁移顺序频率序列为 [2,1,3,4,...,1599,1600]，每个数字代表一个频率。
[0062]
其次，通过遗传算法求解访问所有频率所需mmd距离总和的最小代价，求解mmd距离矩 阵的tsp问题；
[0063]
遗传算法具体包括：
[0064]
将频率按从小到大的顺序或一些随机顺序作为初始种群，采用局部贪心策略的遗传算法 进行求解，将大型tsp切分为n个小型tsp进行求解，n为正整数，从而可是实现降低算法 复杂度，加快求解近似解速度的效果。本实施例中将1601个频率的大型tsp切分为每份201 个频率，总共8个的小型tsp进行求解。
[0065]
最后，利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习。
[0066]
对于模型迁移学习方法，是指与深度神经网络进行结合，通过对现有的一些神经网络的 参数或结构进行二次训练，然后利用目标任务的数据对网络进行训练。比较著名的基于 imagenet的图片分类任务，它可以根据google训练好的inception_v3深度学习模型迁移到 自己的图片分类任务中，用目标任务的少量数据进行fine-tuning训练出自己的模型。
[0067]
在实施例中，所述模型的迁移学习方法具体包括：
[0068]
以结构的多点振动响应为多输入，不相关多源载荷为多输出，利用特定频率的历史数据 建立不相关多源载荷识别的多输入多输出神经网络模型；
[0069]
将训练后的神经网络参数作为初始参数传递到目标频率，用目标频率的历史数据对传输 的神经网络进行二次训练，得到目标频率的不相关多源负荷识别模型；
[0070]
将训练后的目标频率神经网络参数传递给下一个目标频率，环整个过程，直到建立全频 率的神经网络模型。
[0071]
模型的迁移学习方法的训练步骤如下：
[0072]
步骤a1：在频率ω
t
上建立神经网络模型，利用频率ω
t
的历史数据训练神经网络模型，建 立该频率下的神经网络多源载荷识别预测模型；
[0073]
步骤a2：将步骤a1得到的预测模型作为辅助频率模型；
[0074]
步骤a3：利用目标频率ω
t+1
的历史数据对步骤a2得到的辅助频率模型参数进行二次训 练，得到目标频率ω
t+1
的神经网络载荷识别模型；
[0075]
步骤a4：判断所有频率的神经网络载荷辨识模型是否均已训练结束，训练完成则结束， 否则转步骤a2。
[0076]
所述模型的迁移学习方法的数据处理方法，具体包括：将载荷数据通过快速傅里叶变换 转换到频域，并通过对数变换公式f
new
(w)＝log
10 f(w)进行数量级变换。
[0077]
由于采集到的数据为时域的振动响应数据，因此需要通过快速傅里叶变换将时域数据转 换到频域数据。该变换后得到0hz到6400hz，频率间隔为4hz的1601个频率点数据。并由 于不同频域下其载荷数据的数量级差距较大，这会对神经网络计算损失时产生数量级的偏差。 通过将载荷数据通过对数变换公式f
new
(w)＝log
10 f(w)使不同数量级的载荷数据变换在同一 个数量级下,从而降低相对误差。
[0078]
模型的迁移学习方法中采用的神经网络模型具体为：
[0079]
神经网络模型包含有1个输入层，1个输出层，3个隐藏层，分别为64，64，32个全连 接神经单元，选用非线性拟合能力较弱relu函数作为激活函数，误差函数为选用对异常点较 不敏感平均绝对误差函数，梯度更新优化算法为自适应学习率算法rmsprop，并采用早停技 术进行训练，此种选择能够有效提高模型精度，减少训练时间。
[0080]
试验验证
[0081]
1.验证方法
[0082]
本文采用留一交叉验证法对实验结果进行验证。留一交叉验证法每次取1组作为测试集， 其余14组作为训练集，该过程直到所有组均作为过测试集。最后取所有结果的平均值作为模 型度量的估计。
[0083]
2.评价指标
[0084]
本文采用工程上常用的3db标准来对模型进行评价。对于预测的载荷和实测载荷 f
i
(ω)，满足3db误差标准的限制条件如下：
[0085][0086]
对于每一个频率，如果预测的载荷和真实的载荷不满足上式，则该载荷标记为该频率下 的3db误差载荷，所有不满足标准的载荷数据与所有预测载荷的比值即为该模型的3db超差 率。
[0087]
为了评估整个模型的预测性能，还使用了平均绝对百分比误差(mape)和平均db误差来 评估模型。公式如下：
[0088]
[0089][0090]
具体验证实例
[0091]
1、实验装置及数据集
[0092]
本专利的实验装置是固定在振动台上，悬挂在弹性橡皮绳上的圆柱形结构。圆柱壳内部 为球形噪声激励装置，外部为悬挂式振动激励装置，如图5和图6所示。内部声激励和外部 振动激励分别为三个数量级和五个数量级。因此，本实验可采集15组多源载荷联合激励数据。 实验中有两个激励源，所以载荷的预测输出是两个。圆柱壳上18个响应测点的位置分布如图 7和图8所示。
[0093]
2、实验设计
[0094]
本实验设计了五组实验，研究了迁移学习对模型性能的影响，以及不同迁移顺序对模型 性能的影响。
[0095]
实验一表示为了比较不同迁移学习顺序的实验结果，将按频率顺序、mmd-tsp顺序和随 机顺序进行迁移的神经网络模型在精度和训练时间上进行比较络。并且为了比较迁移学习方 法与传统方法的模型性能，加入最小二乘法和传递函数法进行比较。实验共进行了10次，以 实验的平均指标为结果，结果见表1，表1为三种迁移顺序与传统方法的比较；图11-16表 示不同迁移顺序的神经网络模型、不使用迁移学习的神经网络模型、ols方法和传递函数方 法的3db误差。
[0096]
实验二表示为了验证迁移学习的有效性，将不使用迁移学习的神经网络训练效率与按频 率顺序进行迁移学习的神经网络进行比较。图17表示在4hz下，不使用迁移学习的神经网络 与使用迁移学习的神经网络的50训练轮数的比较(不使用迁移学习的神经网络在第50训练 轮数的最小损失为0.7705，加上迁移学习后在第15训练轮数的最小损失为0.2080)。表2表 示在4hz时，不使用迁移学习的神经网络和使用迁移学习的神经网络在训练损失的比较。
[0097]
实验三表示为了比较不同学习率下迁移学习对神经网络模型的影响，比较了学习率为 0.001、0.0005和0.0001的实验结果。表3显示了在相同的网络超参数和相同的训练次数下， 在不同的学习率下，不使用迁移学习的神经网络和使用迁移学习的神经网络的比较。
[0098]
实验四表示为了对比不同迁移顺序的实验效果，将按频率顺序进行迁移，按mmd-tsp求 解的顺序进行迁移，按随机顺序进行迁移三种方式的迁移顺序在精度与训练时间上进行对比， 结果如表1所示；
[0099]
实验五表示为了比较不同迁移顺序的神经网络初始权重的效果，将所有频率的三种迁移 顺序与无迁移学习的初始损失进行比较。图17表示在所有频率下，三种迁移顺序与无迁移学 习的初始损失进行比较。图18表示在所有频率下，按频率顺序进行迁移的网络初始损失和按 mmd-tsp求解的顺序的网络初始损失比较；表4为在选择不同辅助频率模型的频率点中，不 同迁移顺序的神经网络的初始损失更小的频率数。这里需要说明的是比如在目标频率＝60hz 下，若按频率顺序进行迁移选择的辅助频率＝64hz，而按mmd-tsp求解的选择的辅助源域的频 率不是64hz，则认为该频率在不同迁移顺序下具有不同的辅助频率
模型，否则认为该频率具 有相同的辅助频率模型，则该频率不会统计在该表中。
[0100]
3.实验结果分析
[0101]
表1为三种迁移顺序与传统方法的比较
[0102][0103]
表2为无迁移学习与有迁移学习的神经网络在训练损失中的比较
[0104][0105]
表3为不同学习率下不使用迁移学习的神经网络与使用迁移学习的神经网络的比较(本 部分不采用早停策略)
用迁移学习的神经网络，这表明迁移学习显著提高了神经网络的载荷识别能力。由于人工神 经网络不存在矩阵求逆问题，因此对比传递函数法、最小二乘法法，不存在不适定问题。但 是，在本实验的小样本数据中，没有使用迁移学习的神经网络的精度并不理想，而迁移学习 的加入缓解了小样本问题，显著提高了神经网络的精度。
[0111]
(3)从图上16-18和表2可以发现，采用mmd-tsp顺序进行迁移学习的神经网络的初始 权值优于未使用迁移学习的神经网络。此外，在相同的学习率下，使用迁移学习的神经网络 比不使用迁移学习的神经网络更快收敛到最小损失。迁移学习神经网络的收敛速度明显快于 不使用迁移学习的神经网络，这表明它能以较低的训练次数达到较高的精度。
[0112]
(4)如表3所示，在三种学习率下，加入迁移学习后的神经网络的学习精度优于未加入 迁移学习的神经网络，说明迁移学习极大地改善了神经网络模型。此外，可以发现，具有迁 移学习的神经网络需要减小学习率才能得到更好的模型。
[0113]
(5)从表1可以发现，可以看出按mmd-tsp求解的顺序得到的模型精度比按频率顺序的 网络迁移得到的模型精度有所提升，但提升不大，说明按频率顺序进行迁移已经是一个较优 解；而对比随机顺序进行迁移有较大提升，说明mmd距离可以很好度量模型差异，对迁移有 很好的指导作用。而且从模型训练时间上看，对比随机顺序和频率大小顺序，按mmd-tsp求 解的顺序进行模型迁移的训练时间较短，因此该模型有助于提高训练效率，减少训练时间。
[0114]
(6)从图17,18中看出，在大部分频率下，按mmd距离求解tsp迁移问题的顺序的网络 初始损失在按频率顺序进行迁移的网络初始损失下方，即损失更小，且从表可知mmd距离更 好好地度量模型差异，更好地对模型迁移进行指导。
[0115]
针对使用神经网络模型迁移学习进行频域载荷识别时，候选源域模型多，源域模型以及 模型迁移顺序如何选择的问题，提出了一种mmd-tsp模型迁移顺序选择方法。利用mmd距离 度量不同频率下样本数据间的差异，建立不同频率间mmd距离矩阵，然后通过遗传算法求解 访问所有频率所需mmd距离总和的最小代价，得到所有频率模型迁移顺序。通过进行迁移顺 序的选择，可以得到更好的神经网络模型的权重初值，有效提高模型精度，减少训练时间。
[0116]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。本文中应用了具体个 例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方 法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式 及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制
[0117]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对 本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。