本发明涉及燃料电池容错控制，更具体地，涉及一种基于深度强化学习的燃料电池故障容错控制方法。
背景技术：
1、燃料电池由于其高能量转换率和环境友好性，广泛应用于电动汽车、便携式电源和热电联产等领域。燃料电池通过氢气和氧气进行氧化还原反应，将燃料中的化学能转化为电能，发电过程可实现零排放。在质子交换膜燃料电池中，水热管理是一项非常复杂和重要的任务。水热管理主要涉及控制燃料电池内部的温度和湿度，以确保燃料电池的正常运行并提高其效率。燃料电池的运行需要适当的温度和湿度条件，过高或过低的温度都可能影响燃料电池的性能和寿命。水热管理可以通过各种方法来实现，包括使用冷却剂、传热板、循环气流和湿度控制等。这些方法可以帮助维持燃料电池的温度在合适的范围内，并控制湿度以防止膜干燥或水分过多。因为水热管理对于燃料电池的性能和寿命至关重要，所以在燃料电池系统的设计和运行中，需要仔细考虑水热管理策略，并采取相应的措施来优化燃料电池的性能和可靠性。
2、在现有技术中，燃料电池的容错控制方法主要分为被动容错控制和主动容错控制，其中被动容错控制是对故障的预期补偿，而主动容错控制能够对系统故障的任何变化做出适当的响应。相较于被动容错控制仅对小范围的预定义故障起作用，主动容错控制因其引入诊断和决策系统和具备处理多种不同故障的能力成为容错控制领域的研究热点。目前使用的容错控制方法主要包含基于pid、非线性控制器和模型等方法。例如，文献(yan,c.,et al.(2020)."model-based fault tolerant control for the thermalmanagement of pemfc systems."ieee transactions on industrial electronics67(4):2875-2884.)由级联pid和滑动模式控制器组成，实验结果表明，即使传感器发生故障，质子交换膜燃料电池的温度也能高精度地保持在参考值。文献(wu,x.and b.zhou(2016)."fault tolerance control for proton exchange membrane fuel cell systems."journal of power sources 324:804-829.)提出了一种方案，能够同时对质子交换膜燃料电池进行故障诊断和容错控制。该方案先由故障诊断模块检测电流故障类型，然后根据诊断结果由重构机制模块选择备份控制器，最后由基于反馈线性化方法的非线性控制器进行容错控制。专利申请cn114976133a公开了基于模型的质子交换膜燃料电池水管理容错控制方法，其先构建燃料电池水传输模型，并设计了水淹故障因子，再基于故障因子构建水管理容错控制器，通过调整阴极进气流量抑制水淹，以提高系统的稳定性。
3、虽然现有方案在燃料电池容错控制方面取得了一定的效果，但仍存在一些缺陷。例如，基于pid和基于模型的方法较为依赖系统模型，如果系统模型不准确或难以获取，其控制的性能可能会受到影响。此外，pid控制算法对于非线性和复杂系统的控制能力有限。而基于反馈线性化的非线性控制器通常依赖完备的或者精确近似的系统模型，不完善的建模误差会对控制性能产生严重影响，并且反馈线性化对于具有高维输入输出系统的实现较为复杂，对控制系统的设计、调优以及实现都更具有挑战性。
技术实现思路
1、本发明的目的是克服上述现有技术的缺陷，提供一种基于深度强化学习的燃料电池故障容错控制方法。该方法包括以下步骤：
2、针对燃料电池系统，判断燃料电池堆的故障类型，所述燃料电池系统包含燃料电池堆、阳极加湿器、阴极加湿器、水泵和散热器；
3、在燃料电池堆发生故障的情况下，利用基于深度强化学习的控制模型输出满足设定目标函数的最优容错控制策略，以对阳极加湿器、阴极加湿器、水泵以及散热器进行协同控制，并根据故障类型进行相应的恢复操作；
4、其中，所述控制模型将容错控制策略作为智能体，将燃料电池堆作为环境，智能体与环境进行交互，并获取奖励信号，进而基于该奖励信号来学习所述最优容错控制策略。
5、与现有技术相比，本发明的优点在于，所提供的基于深度强化学习的燃料电池故障容错控制方法通过与环境的交互来学习最优控制策略，有利于更好地处理复杂和动态环境，并且由智能体不断与环境交互从而自主学习控制策略，能够处理复杂的非线性系统，从而具有较强的适应性和泛化能力。
6、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
1.一种基于深度强化学习的燃料电池故障容错控制方法，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述判断燃料电池堆的故障类型包括：
3.根据权利要求1所述的方法，其特征在于，所述控制模型的观测状态空间表示为：
4.根据权利要求1所述的方法，其特征在于，所述控制模型采取的动作空间表示为：
5.根据权利要求1所述的方法，其特征在于，所述奖励信号根据以下的奖励函数获得：
6.根据权利要求1所述的方法，其特征在于，所述深度强化学习采用softactor-critic算法。
7.根据权利要求6所述的方法，其特征在于，所述目标函数设置为：
8.根据权利要求1所述的方法，其特征在于，所述燃料电池系统设置于电动汽车、便携式电源或热电联产系统。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。