一种基于多任务学习和DDPG算法的螺旋桨气动噪声优化方法

本发明涉及航空螺旋桨优化设计降噪，具体涉及一种基于多任务学习和ddpg算法的螺旋桨气动噪声优化方法，具体涉及一种基于多任务学习和ddpg算法的低气动噪声螺旋桨优化方法。

背景技术：

1、涡桨动力飞机构型具有较高的推进效率，在民航区域运输中具有潜在的优势，与同等级别的涡扇动力飞机构型相比，螺旋桨动力飞机构型可降低高达30％的油耗。此外，采用涡轮螺旋桨飞机的支线喷气机需要的起降距离更短，更适合在小型支线机场和跑道较短的内城机场运行。

2、现阶段，螺旋桨噪声大一直是制约涡桨飞机运行的一个重要问题。对于涡桨动力飞机，如何保证在不影响螺旋桨推进性能的情况下实现大幅度的降噪是人们关注的一个设计目标。由于螺旋桨的空气动力学特性复杂且设计变量众多，导致螺旋桨在优化过程中面临着巨大的挑战，特别是在平衡推进效率和噪声水平两方面。目前，基于工程算法片条和数值仿真cfd方法较为简单，在航空螺旋桨设计领域中广泛使用。

3、然而，基于传统理论的计算方法在进行航空螺旋桨设计时，存在的不足主要体现在以下几个方面：(1)基于传统螺旋桨计算方法时，工程算法片条计算精度低，数值仿真cfd计算中不同构型螺旋桨需要网格数量大，而实验中需要加工多套螺旋桨，成本高且时间周期长；(2)基于传统计算方法设计螺旋桨中前期采样广泛容易导致计算资源浪费，且优化结果难以达到最优解。

4、为了避免较高的温度对起动机结构以及性能造成负面影响，因此分析起动机内部各项损耗、不同的工作条件对温度分布的影响，并基于计算结果设计合理冷却方案对提升磁性齿轮减速器性能及可靠性具有重要的影响。

技术实现思路

1、鉴于上述问题，本发明提供了一种基于多任务学习和ddpg算法的螺旋桨气动噪声优化方法，解决了现有技术中针对螺旋桨构型参数的优化前期广泛采样而导致的资源浪费方面的不足，同时解决了在有限计算成本内无法使优化结果更接近最优解的问题，实现精确快速预测螺旋桨气动和噪声性能，达到螺旋桨设计合理有效的目的；综合考虑了螺旋桨模型设计过程中参数变量多、复杂几何外形影响大的情形，同时保证了航空螺旋桨在飞行过程中充足的动力和比较低的气动噪声。

2、本发明提供了一种基于多任务学习和ddpg算法的螺旋桨气动噪声优化方法，具体提供了一种基于多任务学习和ddpg算法的低气动噪声螺旋桨优化方法，包括：

3、s1、利用片条理论计算获取多组螺旋桨样本数据；

4、所述每组螺旋桨样本数据的输入为螺旋桨构型，即21个截面的弦长分布和后掠分布，输出为螺旋桨的拉力、扭矩、效率和噪声值；

5、优选的，所述利用片条理论计算获取多组样本数据具体包括：

6、基于片条理论中的螺旋桨叶素的受力三角形，获取多组螺旋桨的叶素拉力样本和扭矩样本；

7、获取螺旋桨的来流速度、转速和桨叶安装角；

8、编写螺旋桨片条程序，将所述多组叶素拉力样本、扭矩样本、螺旋桨的来流速度、转速和桨叶安装角输入所述螺旋桨片条程序，输出多组螺旋桨样本数据。

9、进一步的，通过所述螺旋桨样本数据获得螺旋桨的气动和噪声结果值；

10、所述叶素拉力的表达式为：

11、

12、其中，dt为螺旋桨的叶素拉力，ρ为空气密度，cl为螺旋桨升力系数，b为螺旋桨叶素弦长，a为螺旋桨轴向诱导速度系数，va为螺旋桨的轴向诱导速度，v0为螺旋桨的前飞速度；t为螺旋桨拉力，φ为螺旋桨入流角，γ为螺旋桨阻升角，dr为螺旋桨叶素半径r的求导解。

13、所述扭矩的表达式为：

14、

15、其中，dq为螺旋桨的扭矩，ρ为空气密度，cl为螺旋桨升力系数，b为螺旋桨叶素弦长，a为螺旋桨轴向诱导速度系数，va为螺旋桨的轴向诱导速度，v0为螺旋桨的前飞速度；t为螺旋桨拉力，φ为螺旋桨入流角，γ为螺旋桨阻升角，dr为螺旋桨叶素半径r的求导解。

16、s2、获取多组cfd数值仿真螺旋桨样本；

17、优选的，获取多组cfd数值仿真螺旋桨样本具体包括：

18、基于ansys icem软件对全螺旋桨模型进行结构网格划分，通过重参考坐标系方法在所述结构网格中模拟螺旋桨流场；

19、在所述螺旋桨流场中，通过湍流模型获取多组仿真螺旋桨叶素拉力和扭矩样本；

20、进一步的，多组叶素拉力样本和扭矩样本数量与仿真螺旋桨叶素拉力和扭矩样本数量的比例为：10:1；

21、获取600组叶素拉力样本和扭矩样本数量叶素拉力和扭矩样本；选取60组所述仿真螺旋桨叶素拉力和扭矩样本。

22、s3、利用多任务学习搭建神经网络，将步骤s1所述多组螺旋桨样本数据和步骤s2所述多组cfd数值仿真螺旋桨样本输入所述神经网络，确定神经网络的变量，建立螺旋桨气动和噪声快速预测代理模型；

23、优选的，步骤s3所述螺旋桨气动和噪声快速预测代理模型的输入为螺旋桨21个截面的弦长分布和后掠分布；所述模型的输出为螺旋桨的气动和噪声结果值；

24、优选的，步骤s3所述建立螺旋桨气动和噪声快速预测代理模型，具体包括以下步骤：

25、利用多任务学习搭建神经网络，将步骤s1所述多组螺旋桨样本和步骤s2所述多组cfd数值仿真螺旋桨样本作为神经网络的输入；

26、设定神经网络的变量为螺旋桨的弦长分布和后掠分布；所述螺旋桨的弦长分布和后掠分布共9个控制参数，其中后掠分布为3个，弦长分布为6个；

27、先将多组螺旋桨样本和多组cfd数值仿真螺旋桨样本通过神经网络的三层隐藏层进行学习，得到两种样本的共享参数层；所述两种样本的共享参数层兼具了大量片条样本的泛化性和cfd数值仿真样本的精确性；所述三层隐藏层每层为512个神经元；

28、将共享参数层的学习经验和内在参数送入到高保真度cfd训练层中进行训练，直至收敛，得到螺旋桨气动和噪声快速预测代理模型；所述共享参数层的学习经验和内在参数包括螺旋桨的压力分布、升力系数和阻力系数。

29、本发明获得的螺旋桨气动和噪声快速预测代理模型中具有两种样本的共享参数层，当快速预测代理模型的一部分参数(螺旋桨的输入参数，21个截面弦长分布和后掠分布，输出结果拉力、扭矩和噪声值)在多任务之间共享时,该部分可以被更好的约束,从而提升快速预测代理模型的精度和泛化能力。

30、本发明将弦长分布和后掠分布作为神经网络的变量，通过弦长分布的通拉力和扭矩既影响了螺旋桨的气动力结果，同时还能影响螺旋桨的噪声值；后掠分布作为神经网络的变量，影响了螺旋桨的噪声结果，有效降低了螺旋桨的噪声。

31、进一步的，采用梯度下降法进行训练；所述梯度下降法具体包括：通过计算误差函数对各个系数的偏导数梯度，并以负梯度的方向进行更新；

32、所述误差函数的表达式为：

33、

34、其中，mse为均方误差值；yi为第i组的样本的真实标签值，为第i组的样本模型预测值，i＝1,2,3…n,n表示样本的总数。

35、通过片条求解器获得的螺旋桨叶素拉力和扭矩样本，选取的样本虽然精度低但泛化性好，样本获取时间短约为30s/组，而对于cfd仿真求解器获得的60组螺旋桨叶素拉力和扭矩样本，虽然精度高但泛化性差，且样本获取时间长约为1h/组，本发明分别通过片条求解器和cfd仿真求解器获得两种螺旋桨叶素拉力和扭矩样本，再将两种样本进行融合，融合后的样本利用神经网络进行训练后得到预测代理模型求解器，通过预测代理模型求解器获得的预测样本，既能保证数据预测泛化性强，又能保证预测求解速度快，还能保证预测精度高，在螺旋桨气动噪声优化过程中起着关键性作用。

36、s4、将螺旋桨气动和噪声快速预测代理模型与深度确定性策略梯度优化ddpg算法融合，构建螺旋桨气动/噪声代理模型优化框架；基于所述螺旋桨气动和噪声代理模型优化框架获得优化后的螺旋桨构型参数；

37、优选的，步骤s4所述基于所述螺旋桨气动和噪声代理模型优化框架获得优化后的螺旋桨构型参数，具体包括：

38、确定多组螺旋桨构型参数，作为深度确定性策略梯度ddpg优化算法的输入，获得多组优化后的螺旋桨构型参数；

39、将所述多组优化后的螺旋桨构型参数进行归一化处理获得多组标准化的螺旋桨构型参数；

40、将多组标准化的螺旋桨构型参数输入螺旋桨气动和噪声快速预测代理模型，获得多组螺旋桨气动、噪声预测值；

41、将各组螺旋桨气动、噪声预测值对应的螺旋桨构型参数输入深度确定性策略梯度ddpg优化算法中进行优化，直至收敛，获得优化后的螺旋桨构型参数。

42、本发明的优化以螺旋桨噪声为优化目标，螺旋桨的弦长分布和扭角分布为优化变量并且利用bezier曲线对弦长分布和扭角分布进行参数化处理，约束条件为拉力和扭矩约束，求解器为螺旋桨气动和噪声预测代理模型。

43、在ddpg优化算法中通过输入目标、变量、和约束条件到优化中去，然后优化算法求解器对物理模型进行求解，计算螺旋桨的气动和噪声性能，再通过判断条件得出优化结果是否满足最优，若满足，则优化结束，输出优化结果，若不满足，就则返回优化算法改变变量在求解器中进行求解，得出新的优化结果，再次进行判断，直到优化结果在满足约束条件的情况下达到最优为止。

44、优选的，所述深度确定性策略梯度优化ddpg算法具体包括：

45、所述深度确定性策略梯度优化ddpg算法包括四个神经网络，分别为在线演员、目标演员、在线评论家和目标评论家网络；

46、将第t组螺旋桨构型的参数st输入至在线演员神经网络，在干扰项的影响下，所述在线演员神经网络做出相应动作at，根据所述动作at得到螺旋桨构型参数的修改量；所述干扰项包括：数据噪声干扰-数据测量中的误差，权重噪声干扰-神经网络连接中引入的随机扰动；

47、基于外部环境中气动性能和声学性能计算螺旋桨构型参数的修改量的奖励函数rt；

48、将第t组螺旋桨构型的参数st，在线演员神经网络做出相应动作at，螺旋桨构型参数的修改量的奖励函数rt，tˊ和第t+1组螺旋桨构型的参数st+1构成螺旋桨构型的参数st的采样轨迹[st at rt，tˊ st+1]，

49、将第t组螺旋桨构型的参数st的采样轨迹[st at rt，tˊ st+1]存入至经验池中；

50、根据上述方法，将多组螺旋桨构型参数输入至在线演员神经网络，分别重复上述步骤，获得各组螺旋桨构型参数对应的采样轨迹，分别将多条采样轨迹存入经验池中，获得具有多条采样轨迹的经验池；

51、从经验池中提取m条采样轨迹，基于m条采样轨迹，采用小批量训练方法对目标演员神经网络、在线评论家神经网络和目标评论家网络进行训练；

52、进一步的，所述基于m条采样轨迹，采用小批量训练方法对目标演员神经网络、在线评论家神经网络和目标评论家网络进行训练，具体包括：

53、使用时间差分偏差衡量采样轨迹的学习价值，按照学习价值将采样轨迹进行排序，获得排序后的采样轨迹；

54、基于所述排序后的采样轨迹对目标演员神经网络、在线评论家神经网络和目标评论家网络进行训练。

55、更进一步，时间差分和时间差分偏差，表达式分别为：

56、td_target＝rt，tˊ+γv′(π′(st|θ′)|ω′)

57、td_error＝td_target-v(st|ω)

58、其中，td_target为时间差分值，rt，tˊ为第t组螺旋桨构型的参数在第tˊ个时间步的奖励，t＝1,2,3…t，t表示螺旋桨构型的参数的总数，tˊ＝1,2,3…tˊ，tˊ表示时间步的总数；γ为未来奖励的折损系数，v′为目标评论家的可微分的状态值函数；st为第t组螺旋桨构型的参数，t＝1,2,3…t，t表示螺旋桨构型的参数的总数；π′为目标演员的可微分的策略函数，θ′为目标演员可微分的策略参数，ω′为目标演员的可微分的状态值权重参数；π′(st|θ′)为第t组螺旋桨构型的参数的目标演员预测的结果，代表了优化算法下一步的走向；v′(π′(st|θ′)|ω′)为第t组螺旋桨构型的参数的目标评论家预测的结果，代表了该预测走向的价值；

59、td_error为时间差分偏差值，v为在线评论家的状态值函数，ω为在线评论家状态值权重参数，v(st|ω)为第t组螺旋桨构型的参数的在线评论家网络的预测结果，代表了当前状态的价值。

60、进一步的，所述对在线评论家神经网络进行训练，损失函数表达式为:

61、

62、其中，losscritic为在线评论家神经网络损失值，i为第i组的样本，i＝1,2,3…n,n表示样本的总数；td_target为时间差分目标，v为在线评论家的状态值函数，ω为在线评论家状态值权重参数，v(st|ω)为第t组螺旋桨构型的参数的在线评论家网络的预测结果，代表了当前状态的价值。

63、进一步的，所述对在线演员神经网络进行训练，损失函数为：

64、

65、其中，lossactor为在线演员神经网络损失值，i为第i组的样本，i＝1,2,3…n,n表示样本的总数；td_error为时间差分误差，st+1为第t+1组螺旋桨构型的参数，st为第t组螺旋桨构型的参数；π(st|θ)为第t组螺旋桨构型的参数的在线标演员预测的结果，代表了优化算法下一步的走向；π为在线演员的可微分的策略函数，θ为在线演员可微分的策略参数。

66、与现有技术相比，本发明至少具有现如下有益效果：

67、(1)本发明在提出的基于多任务学习的螺旋桨气动和噪声一体化优化框架内，利用本发明提出的基于多任务学习和深度强化学习(ddpg)相结合的算法，能很好的实现对螺旋桨片条和cfd数值仿真获得的不同保真度数据样本融合，合理利用计算资源；

68、(2)本发明提出的基于多任务学习构建螺旋桨气动和噪声快速预测代理模型能够快速预测螺旋桨气动和噪声，与cfd测试集标签值对比误差小，预测精度明显优于现有技术相关算法；与基于多任务学习代理模型的ddpg优化和直接cfd仿真相比，显著降低了总体计算成本、螺旋桨的噪音，且对推进性能的损失可以忽略不计；

69、(3)本发明在有限时间内确保实现对螺旋桨气动和噪声精确预测的同时，能够对设计优化螺旋桨提供正反馈；基于本发明算法获得螺旋桨参数设计曲线更加简单直接，易于工程实现。