基于深度学习的船舶混合动力能量管理方法、设备及介质

本发明属于船舶动力，具体涉及一种基于深度学习的船舶混合动力能量管理方法、设备及介质。

背景技术：

1、目前船舶的动力系统的推进形式主要分为：

2、一、柴油发电机推进：具有功率密度大、可瞬间提供较大转矩等优点，但其在低转速、低负荷工作情况下，其燃油效率低，同时排放大量的cox以及nox等污染气体，对海洋环境与空气质量影响较大，且对海洋生态平衡造成影响，于此同时，柴油发电机运行时所产生的噪音相对较大，不仅使船员对内、外沟通产生阻力，而且长时间处于高分贝的环境会对人体身心健康产生不良影响；

3、二、电力推进：作为推进系统发展中的先进技术，电力推进系统在节能性、环保性、经济性、操纵性、机动性、降噪性等性能上相对柴油发电机推进均有质的提高，但是电力推进负载续航时间短、能力弱、需要电池组容量大且在复杂工况下行驶易对电池组产生损坏；

4、三、柴电混合动力推进系统：作为一种新的推进方式，同时具有柴油发电机推进与电力推进两种型式的综合优势，符合混合动力系统“双机互补”的理念，对能量的合理管理与调度，可以带给船舶更好的经济效益，柴电混合动力船舶的控制体系较复杂，充分及高效利用能量是柴电混合动力系统能量管理、分配需要解决的关键问题，在船舶安全运行的前提下，对降低油耗、污染与提高燃油效率起到决定性作用，船舶在不同的海域或不同的海况行驶时，需要根据不同运行工况选择最合理的推进模式，从而减少污染排放、降低能耗；但是目前对于柴电混合动力推进系统船舶的能量管理仅限于对各部件的能量进行监测与统一调度，能量分配不合理，船舶运行的经济性不高。

技术实现思路

1、本发明的目的是提供一种基于深度学习的船舶混合动力能量管理方法、设备及介质，解决背景技术中存在的上述技术问题。

2、本发明是这样实现的：

3、第一方面，本技术提供了一种基于深度学习的船舶混合动力能量管理方法，具体步骤如下：

4、s1：采集船舶系统的相关信息，相关信息包括：船舶系统的柴油发电机输出转矩船舶系统的需求转矩储能电池组荷电状态soct，控制动作zt，状态空间st，其中，

5、s2：将相关信息输入到训练模型中，训练模型输出储能电池组最佳荷电状态socl；

6、s3：获取船舶行驶所需功率pr；

7、s4：根据储能电池组最佳荷电状态socl以及船舶行驶所需功率pr，由逻辑门限生成控制指令，控制指令用于控制船舶系统的运行。

8、在上述技术方案中，对船舶系统航行过程中的相关信息进行收集，并通过训练模型获取储能电池组最佳荷电状态，最后生成控制指令，船舶系统根据控制指令运行时，位于最佳推进形式，使得柴油发电机工作于最佳效率区间内，提高船舶燃油经济性，提高能量的利用率，减少一氧化碳等污染气体的排放，达到整体节能减排的效果。

9、进一步地，步骤s2中，所述训练模型输出储能电池组最佳荷电状态socl的具体步骤为：

10、s201：初始化深度强化学习网络w(s,z)，初始化经验池，在经验池中存储动作对at、策略π、最佳策略π*以及权重参数θ；

11、s202：状态空间st在控制动作zt的作用下转换到下一状态空间st+1时获得即时奖励rt，

12、

13、其中，ce代表柴油发电机的瞬时油耗，c代表惩罚，值为柴油发电机最大瞬时油耗值与最大污染排放量之和，socmin为储能电池组荷电状态的最小值，socmax为储能电池组荷电状态的最大值，b为船舶排出的二氧化碳、碳氢化物、氮氧化合物归一化后的排放量之和；

14、s203：令动作对at＝(st，zt，rt，st+1)；

15、s204：计算从时刻t开始到时刻t过程结束时的奖赏之和rt，其中，t、为瞬时时刻，γ为折扣因子，γ∈[0,1]，用来权衡未来奖赏对累积奖赏的影响；

16、s205：在状态空间st下执行控制动作zt，并遵循策略π到下一工况前获得的累积回报定义为wt，wt(s，z)＝e[rt|s＝st，z＝zt,π]，e为期望，最优策略π*的回报大于或等于其他所有策略的回报，多个最优策略π*共享一个回报值函数wπ*，

17、s206：将回报值函数通过贝尔曼最优方程迭代，当t→∞时，wt(s，z)→wπ*(s，z)，回报值函数最终收敛，得到收敛值函数wk(s，z)，式中，s`是下一个时间步长的状态，z`是下一个时间步长的控制动作，一个时间步长为一次迭代，为wt(s，z)的最大值；

18、s207：对损失函数用梯度下降法，获取更新后的权重参数θ*，j(θ*)为损失函数，更新后的权重参数θ*放入经验池，作为下一循环的初始权重参数；

19、s208：通过线性函数逼近器拟合得到深度强化学习目标网络值，wl(s，z|θ*)；

20、s209：令wt(s，z)＝wl(s，z|θ*)，输出更新后的最佳策略π*、控制动作z*、状态空间s*，并将输出后的最佳策略π*储存至经验池中；

21、s210：根据步骤s209输出的数据，获取对应的储能电池组最佳荷电状态socl，柴油发电机输出转矩

22、进一步地，步骤s204中，时刻t为状态st采集的时刻，时刻t为状态st+1采集的时刻。

23、进一步地，步骤s210中，根据状态空间的函数：获取socl。

24、进一步地，步骤s3中，船舶行驶所需功率pr为船舶行驶中使用电器的功率与柴油发电机的功率之和，n为柴油发电机的转速。

25、进一步地，步骤s4中，逻辑门限生成控制指令的具体步骤如下：

26、比较soct`与socl、socmin、socmax的大小，比较pr与pb、pc、pmax的大小，根据比较结果，生成不同的控制指令，其中，soct`为t`时刻储能电池组荷电状态实际运行值，pb为电池组的最大输出功率，pc为柴油发电机的最大输出功率，pmax为船舶最大负载功率，pb<pc<pmax；

27、当pr<pb，soct`<socl时，柴油发电机驱动，并补偿储能电池组；

28、当pr<pb，soct`<socmin时，柴油发电机驱动，结合超级电容补偿储能电池组；

29、当pr<pb，soct`>socl时，储能电池组驱动；

30、当pb<pr<pc，soct`<socl时，柴油发电机驱动，补偿储能电池组；

31、当pb<pr<pc，soct`>socl时，柴油发电机驱动；

32、当pc<pr<pmax，soct`>socl时，柴油发电机和储能电池组混合驱动；

33、当pc<pr<pmax，soct`<socl时，柴油发电机和储能电池组混合驱动，超级电容补偿储能电池组；

34、当pr＝0，soct`<socl时，对储能电池组进行岸电充电；

35、当pr＝0，soct`>socl时，对超级电容进行岸电充电；

36、当pr＝0，soct`>socmax，制动元件进行消耗；

37、当pr＝0，soct`＝socmax，船舶系统处于待命状态。

38、进一步地，柴油发电机驱动时，控制输出转矩等于

39、第二方面，本技术提供了一种计算机设备，包括存储器、处理器机存储在存储器上的计算机程序，处理器执行计算机程序以实现第一方面所述方法的步骤。

40、第三方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现第一方面所述方法的步骤。

41、本发明的有益效果是：

42、1、本发明中，通过采集船舶系统在航行过程中的相关信息进行收集，并将相关信息输入到训练模型中，训练模型依据相关信息获取此阶段船舶系统的储能电池组最佳荷电状态，并据此生成控制指令，船舶系统根据控制指令运行时，位于最佳推进形式，使得柴油发电机工作于最佳效率区间内，提高船舶燃油经济性，提高能量的利用率，增加电池组的使用寿命，减少一氧化碳等污染气体的排放，达到整体节能减排的效果。

43、2、本发明中，通过对权重参数以及策略进行迭代计算，使得权重参数和策略不停地更新，进一步提高训练模型输出的储能电池组最佳荷电状态的数据准确性。