一种TBCC发动机安全智能模态转换控制方法

本发明涉及发动机控制，尤其涉及一种tbcc发动机安全智能模态转换控制方法。

背景技术：

1、基于高超声速飞行器大空域长距离的飞行要求，推进系统需在宽广的马赫数范围下保证推力的持续输出，tbcc发动机不仅技术风险低且可以实现地面起飞降落，在操作性与经济性上都具有很大优势，受到国内外相关领域的密切关注。与单一的发动机相比，tbcc发动机由于其独特的结构与气动设计为其工作过程带来了额外的耦合性与非线性，并且由于其工作范围大，不确定性强，带来的安全问题还需进一步探索。

2、现有的tbcc发动机模态转换过程的控制方法主要包括基于序列二次规划的切换控制、基于h∞回路整形多变量控制、基于安全边界的多模式切换控制、混合灵敏度多变量闭环控制等。在大部分飞行条件下tbcc发动机工作在单一模态下，单一模态是一个siso系统，在tbcc仿真模型中采用pid控制器进行推力闭环控制，输入为各个单一模态中发动机的燃油流量。对于在模态转换过程中，一般需要维持tbcc发动机的总输出推力不变，同时高度与马赫数需要尽可能保持平稳，实现从低速流道提供推力向高速流道提供推力的转变，与各个子发动机单独工作时不同的是，在单独工作时组合进气道分流板以及共用尾喷管的堵锥位置固定，而模态转换过程中组合进气道与共用尾喷管的几何构型均发生改变，随之带来了各个流道入口条件的变化，入口条件的变化将导致发动机系统的非线性增强，同时在模态转换过程中会面临多项扰动，强烈的扰动将导致发动机的失稳。

3、已有的模态转换控制方法高度依赖精确的数学模型，且缺乏tbcc原理样机与高保真部件级模型的支持并且受制于各种控制理论自身的局限性，使得各种tbcc控制方法“顾此失彼”，不能满足tbcc实际的控制需求，实用性不足且难以保证鲁棒性与安全性，缺乏优化性与适应性。如现有的安全pid控制方法，即在模态转换过程采用pid控制器控制高速流道燃油流量并根据状态量观测情况决定最终动作，缺点在于：控制性能较差，难以同时保证安全性能与控制性能，且抗干扰性差。又如基于h∞回路整形的tbcc发动机多变量控制，根据系统辨识得到tbcc发动机各模态转换过程的状态空间方程，解鲁棒镇定问题。缺点在于：对tbcc发动机数学模型的精确度要求较高，但鉴于tbcc发动机的强非线性、高耦合性等难以得到高精确度的数学模型，实用性差。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种tbcc发动机安全智能模态转换控制方法，针对各个模态转换过程的智能控制器，解决了混联式tbcc发动机在模态转换过程跟踪推力过程中面临的多部件协调控制、安全威胁以及干扰性强的难题，克服现有技术实用性不足且难以保证鲁棒性与安全性，缺乏优化性与适应性的技术问题。

2、根据本发明的一个方面，提供一种tbcc发动机安全智能模态转换控制方法，包括：获取tbcc发动机不同模态转换的控制参数；构建基于所述控制参数的深度确定性策略梯度模型；采用深度确定性策略梯度网络对所述深度确定性策略梯度模型进行训练；采用训练后的深度确定性策略梯度模型，在模态转换时进行多变量控制。

3、在上述技术方案中，提出基于深度强化学习模型的tbcc发动机安全智能控制方法。克服传统控制方法依赖于精确的数学模型的技术问题。对于集高耦合、强非线性、mimo于一体的tbcc发动机而言，传统的数学建模方法难以获得足够高的精确度也制约了传统算法的控制性能。

4、在一些实施例中，所述深度确定性策略梯度模型包括涡喷-引射模态转换控制模型、引射-亚燃模态转换控制模型、亚燃-超燃模态转换控制模型。

5、在一些实施例中，所述构建基于所述控制参数的深度确定性策略梯度模型，包括：基于涡喷-引射模态转换控制参数、引射-亚燃模态转换控制参数、亚燃-超燃模态转换控制参数，分别定义三类模态转换的状态空间、动作空间以及奖励函数。

6、在上述技术方案中，对于基于ddpg强化学习控制器设计，由于其内部的actor网络与critic网络的神经元内部初始权重ω及偏置b是随机生成的并不适用于模态转换过程中发动机的控制，为此，分别针对tbcc发动机三个模态转换过程进行三个智能体的神经网络训练并将训练好的网络参数保存。

7、在一些实施例中，所述涡喷-引射模态转换控制模型的状态空间选取为tbcc发动机产生推力与目标推力的误差，推力误差积分以及产生的总推力；动作空间选取为组合进气道涡喷分流板角度，引射通道分流板角度，涡喷发动机燃油量与以及引射火箭供油量，以及对应共用尾喷管堵锥行程。

8、在一些实施例中，所述引射-亚燃模态转换控制模型的状态空间选取为tbcc发动机产生推力与目标推力的误差，推力误差积分以及产生的总推力；动作空间选取为引射火箭供油量与亚燃补燃室供油量。

9、在一些实施例中，所述亚燃-超燃模态转换控制模型动作空间选取为组合进气道引射通道分流板角度、亚燃补燃室供油量、与超燃燃烧室供油量以及对应共用尾喷管堵锥行程。

10、在上述技术方案中，上述的选取关系到推力跟踪以及安全边界。模型控制时需要保证同一时刻有且仅有一个子回路保持在线状态；tbcc发动机在来流条件到达模态切换点时，切换控制系统能够及时做出切换操作，保证相应模态下的控制器快速切入系统；在各个模态的控制器切换过程中保证系统无忧切换。而模态切换过程中上述参数直接参与了模态切换，因此选用上述指标，保证模型能够更加精确的控制。

11、在一些实施例中，所述奖励函数包括误差奖励函数和安全奖励函数。

12、在上述技术方案中，在使用强化学习进行控制器设计时，奖励函数的设计至关重要，奖励值直接影响了评价网络对价值函数的拟合进而间接的影响了动作网络参数更新，其设计的优劣对最终的控制效果甚至算法的收敛性有着决定性的影响。对于发动机模态转换过程，根据控制目标，直接反映到奖励函数中的便是推力跟踪的性能以及发动机的安全性，因此对此分别设计了误差奖励函数和安全奖励函数两个子奖励函数。

13、在一些实施例中，所述采用深度确定性策略梯度网络对所述深度确定性策略梯度模型进行训练，包括：初始化深度确定性策略梯度网络参数，并随机设定模态转换点，确定发动机参数和推力目标；基于网络参数和推力目标从包含高斯噪声的深度确定性策略梯度网络经验池中确定发动机的状态空间，并将状态空间作为深度确定性策略梯度网络的训练输入的方式；采用所述状态空间作为训练输入的深度确定性策略梯度网络对所述构建的深度确定性策略梯度模型进行训练。

14、在上述技术方案中，传统控制器设计往往依赖于精确的数学模型，但是对于集高耦合、强非线性、mimo于一体的tbcc发动机而言，传统的数学建模方法难以获得足够高的精确度也制约了传统算法的控制性能。对于基于ddpg强化学习控制器设计，由于其内部的actor网络与critic网络的神经元内部初始权重ω及偏置b是随机生成的并不适用于模态转换过程中发动机的控制。为此，在训练策略中本发明设计了随机模态转换初始点，并且由于ddpg采用确定性策略梯度，天生缺乏探索能力，因此在训练初期会在动作的输出中加入高斯噪声以达到增加经验池多样性的目的，保证了模型的自适应性与鲁棒性。

15、根据本发明的又一个方面，提供一种tbcc发动机安全智能模态转换控制设备，包括：至少一个处理器，以及通信连接于所述处理器的存储器，其中，所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个所述处理器执行时，进行上述的tbcc发动机安全智能模态转换控制方法。

16、根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的tbcc发动机安全智能模态转换控制方法。

17、可以发现，以上方案，基于深度强化学习模型的tbcc宽速域安全智能控制方法克服传统技术需要建立数学模型的缺点，并未做额外的tbcc发动机数学模型构建，即体现了本发明对模型的不依赖性、实用性强的优点。在各模态转换过程智能体的训练过程中，ddpg算法在训练过程中在动作网络上附加的高斯噪声丰富了经验池样本多样性。此外，在训练策略中本发明设计了随机模态转换初始点，并且所有的训练与仿真验证过程中均加入了环境干扰以及发动机健康参数的随机影响，验证了智能控制器的自适应性与鲁棒性。本发明通过误差子奖励函数与安全子奖励函数的设计，实现了推力跟踪与安全性能的同时保证，解决了传统控制器中“顾此失彼”的弊端。