混合动力船舶扭矩分配方法、系统、装置及存储介质

1.本发明涉及混合动力船舶控制技术领域，尤其涉及一种混合动力船舶扭矩分配方法、系统、装置及存储介质。


背景技术：

2.目前，混合动力船舶采用的扭矩分配方法主要是基于规则的能量管理方法，比如基于静态逻辑门的能量管理控制策略和基于模糊控制的能量管理控制策略等，即针对特定类型的混合动力船舶设定对应的规则进行扭矩分配，这种方法过于依赖经验且死板，对于其他类型的混合动力船舶适应性差，应用到其他类型的混合动力船舶可能会导致效率低、油耗高、电机过载等一系列问题。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种混合动力船舶扭矩分配方法、系统、装置及存储介质，能够对不同类型船舶动态分配扭矩，提高船舶航行过程中的性能。
4.一方面，本发明实施例提供了一种混合动力船舶扭矩分配方法，包括以下步骤：
5.确定混合动力船舶当前的工作模式；
6.根据所述工作模式确定船舶工作部件；
7.根据所述工作模式预测船舶需求扭矩；
8.采集当前所述船舶工作部件的工作状态参数；
9.通过动态线性规划的方法，根据所述工作状态参数和所述船舶需求扭矩确定第一扭矩分配结果；
10.将所述工作状态参数输入到强化学习评估模型评估船舶运行状态；
11.根据所述船舶运行状态的评估结果修正所述第一扭矩分配结果得到第二扭矩分配结果。
12.根据本发明一些实施例，所述强化学习评估模型通过以下步骤获取：
13.建立数字孪生模型并初始化所述数字孪生模型的模型参数；
14.将船舶航行过程中的实际航行数据输入所述数字孪生模型中确定所述数字孪生模型的损失值，并根据所述损失值修正所述模型参数以对所述数字孪生模型进行优化；
15.重复所述将船舶航行过程中的实际航行数据输入所述数字孪生模型中确定所述数字孪生模型的损失值，并根据所述损失值修正所述模型参数以对所述数字孪生模型进行优化这一步骤，直到所述数字孪生模型的损失值小于损失预设值，得到所述强化学习评估模型。
16.根据本发明一些实施例，所述将船舶航行过程中的实际航行数据输入所述数字孪生模型中确定所述数字孪生模型的损失值包括以下步骤：
17.将所述实际航行数据中的船舶工作部件的工作状态输入所述数字孪生模型得到
船舶运行状态的船舶运行状态虚拟评估值；
18.根据所述实际航行数据中的船舶运行状态反馈值和所述船舶运行状态评估值确定所述损失值。
19.根据本发明一些实施例，所述确定混合动力船舶当前的工作模式包括以下步骤：
20.采集船舶的负载信息和航道信息；
21.根据所述负载信息和所述航道信息确定工作场景；
22.根据所述工作场景确定工作模式。
23.根据本发明一些实施例，所述根据所述工作场景确定工作模式包括以下步骤：
24.当所述工作场景为港内姿态调整，所述工作模式为电机推进模式；
25.当所述工作场景为中速航道巡航，所述工作模式为发动机推进模式；
26.当所述工作场景为紧急加速，所述工作模式为混合动力推进加超级电容功率辅助模式；
27.当所述工作场景为高速航道巡航，所述工作模式为混合动力推进模式；
28.当所述工作场景为低速航道巡航，所述工作模式为混合动力发电推进模式。
29.根据本发明一些实施例，所述混合动力系统扭矩分配方法还包括以下步骤：
30.获取所述船舶工作部件的扭矩限制区间和储能系统剩余电量；
31.当所述第二扭矩分配结果满足所述扭矩限制区间且所述储能系统剩余电量足够为电机提供电能，则将所述第二扭矩分配结果反馈到船舶控制系统中，反之，则将所述第二扭矩分配结果作为所述第一扭矩分配结果，根据所述强化学习评估模型进行修正。
32.根据本发明一些实施例，所述通过动态线性规划的方法，根据所述工作状态参数和所述船舶需求扭矩确定第一扭矩分配结果包括以下步骤：
33.根据所述船舶工作部件的map图构建由多个单阶段决策函数组成的动态决策模型；
34.将所述工作状态参数和所述船舶需求扭矩输入所述动态决策模型得到所述第一扭矩分配结果，其中，所述工作状态参数包括船舶工作部件当前的转速。
35.另一方面，本发明实施例还提供一种混合动力船舶扭矩分配系统，包括：
36.第一模块，用于确定混合动力船舶当前的工作模式；
37.第二模块，用于根据所述工作模式确定船舶工作部件；
38.第三模块，用于根据所述工作模式预测船舶需求扭矩；
39.第四模块，用于采集当前所述船舶工作部件的工作状态参数；
40.第五模块，用于通过动态线性规划的方法，根据所述工作状态参数和所述船舶需求扭矩确定第一扭矩分配结果；
41.第六模块，用于将所述工作状态参数输入到强化学习评估模型评估船舶运行状态；
42.第七模块，用于根据所述船舶运行状态的评估结果修正所述第一扭矩分配结果得到第二扭矩分配结果。
43.另一方面，本发明实施例还提供一种混合动力船舶扭矩分配装置，包括：
44.至少一个处理器；
45.至少一个存储器，用于存储至少一个程序；
46.当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的混合动力船舶扭矩分配方法。
47.另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的混合动力船舶扭矩分配方法。
48.本发明上述的技术方案至少具有如下优点或有益效果之一：确定混合动力船舶当前的工作模式后，根据工作模式确定船舶工作部件，再根据工作模式预测船舶需求扭矩以及采集当前船舶工作部件的工作状态参数，然后通过动态线性规划的方法，根据工作状态参数和船舶需求扭矩确定第一扭矩分配结果，通过预测船舶需求扭矩后再利用动态线性规划的方法进行扭矩分配，使得第一扭矩分配结果的实时性和灵活性高，能够及时适应船舶需求扭矩的变化。然后将工作状态参数输入到强化学习评估模型评估船舶运行状态，根据船舶运行状态的评估结果修正第一扭矩分配结果得到第二扭矩分配结果，通过强化学习模型评估模型对船舶运行状态进行评估，基于评估结果修正第一扭矩分配结果，使得最终的第二扭矩分配结果能够适应于该船舶，使用该第二扭矩分配结果能够优化船舶航行过程中的性能。
附图说明
49.图1是本发明实施例提供的混合动力船舶扭矩分配方法流程图；
50.图2是本发明实施例提供的混合动力船舶扭矩分配装置示意图。
具体实施方式
51.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
52.本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
53.本发明实施例提供了一种混合动力船舶扭矩分配方法，参照图1，本发明实施例的一种混合动力船舶扭矩分配方法包括但不限于步骤s110、步骤s120、步骤s130、步骤s140、步骤s150、步骤s160和步骤s170。
54.步骤s110，确定混合动力船舶当前的工作模式；
55.步骤s120，根据工作模式确定船舶工作部件；
56.步骤s130，根据工作模式预测船舶需求扭矩；
57.步骤s140，采集当前船舶工作部件的工作状态参数；
58.步骤s150，通过动态线性规划的方法，根据工作状态参数和船舶需求扭矩确定第一扭矩分配结果；
59.步骤s160，将工作状态参数输入到强化学习评估模型评估船舶运行状态；
60.步骤s170，根据船舶运行状态的评估结果修正第一扭矩分配结果得到第二扭矩分配结果。
61.在本实施例中，船舶的工作模式包括但不限于电机推进、发动机推进、混合动力推进加超级电容功率辅助、混合动力推进、混合动力发电推进五种工作模式。根据工作模式可以确定相应的船舶工作部件，例如，在电机推进的工作模式下，船舶工作部件为电机；在发动机推进的工作模式下，船舶工作部件为发动机，在混合动力推进混合动力推进加超级电容功率辅助的工作模式下，船舶工作部件为电机和发动机，其中电机由超级电容辅助驱动；混合动力推进的工作模式下，船舶工作部件为电机和发动机；在混合动力发电推进的工作模式下，船舶工作部件部件为发动机和电机，其中，电机处于发电模式。需要说明的是，本实施例中的电机包括提供电能的储能单元和驱动电机。
62.确定工作模式后，可以根据工作模式预测船舶需求扭矩，具体地，可以提前模拟不同工作模式下的目标航速以进行功率预测，然后根据预测的功率利用扭矩转速功率计算公式确定需求功率。然后采集当前船舶工作部件的工作状态参数，然后通过动态线性规划的方法，根据工作状态参数和船舶需求扭矩确定第一扭矩分配结果，通过预测船舶需求扭矩后再利用动态线性规划的方法进行扭矩分配，使得第一扭矩分配结果的实时性和灵活性高，能够及时适应船舶需求扭矩的变化。
63.得到第一扭矩分配结果后，将工作状态参数输入到强化学习评估模型评估船舶运行状态，根据船舶运行状态的评估结果修正第一扭矩分配结果得到第二扭矩分配结果，通过强化学习模型评估模型对船舶运行状态，包括电机功率、发动机油耗、废气排放等状态进行评估，基于评估结果修正第一扭矩分配结果，使得最终的第二扭矩分配结果能够适应于该船舶，使用该第二扭矩分配结果能够优化船舶航行过程中的性能。因此，本发明实施例的对混合动力船舶进扭矩动态实时分配过程，且分配结果适应性强。
64.根据本发明一些具体实施例，强化学习评估模型通过以下步骤获取：
65.步骤s210，建立数字孪生模型并初始化数字孪生模型的模型参数；
66.步骤s220，将船舶航行过程中的实际航行数据输入数字孪生模型中确定数字孪生模型的损失值，并根据损失值修正模型参数以对数字孪生模型进行优化；
67.步骤s230，重复将船舶航行过程中的实际航行数据输入数字孪生模型中确定数字孪生模型的损失值，并根据损失值修正模型参数以对数字孪生模型进行优化这一步骤，直到数字孪生模型的损失值小于损失预设值，得到强化学习评估模型。
68.在本实施例中，船舶在行驶过程中实际航行数据一边生成一边输入到数字孪生模型中进行强化学习，在数字孪生模型的损失值小于预设损失值之前，船舶可以以动态线性规划为主分配扭矩，在此过程中，数字孪生模型会自主学习船舶航行工况、决策等相关实际航行数据进行模型的优化。直到数字孪生模型的损失值小于预设损失值，则将此时数字孪生模型迁移到环境中使用，以优化动态线性规划的扭矩分配结果。
69.根据本发明一些具体实施例，步骤s220中的将船舶航行过程中的实际航行数据输入数字孪生模型中确定数字孪生模型的损失值包括以下步骤：
70.步骤s310，将实际航行数据中的船舶工作部件的工作状态输入数字孪生模型得到船舶运行状态的船舶运行状态虚拟评估值；
71.步骤s320，根据实际航行数据中的船舶运行状态反馈值和船舶运行状态评估值确定损失值。
72.在实施例中，损失值通过损失函数计算，损失函数用于估量模型的预测值与真实
值的不一致程度，损失函数越小，模型的鲁棒性越好。
73.根据本发明一些具体实施例，混合动力系统扭矩分配方法还包括以下步骤：
74.步骤s410，获取船舶工作部件的扭矩限制区间和储能系统剩余电量；
75.步骤s420，当第二扭矩分配结果满足扭矩限制区间且储能系统剩余电量足够为电机提供电能，则将第二扭矩分配结果反馈到船舶控制系统中，反之，则将第二扭矩分配结果作为第一扭矩分配结果，根据强化学习评估模型进行修正。
76.在本实施例中，如果船舶工作部件包括电机，当分配结果分别满足电机和发动机的扭矩限制区间且储能系统剩余电量足够为电机提供电能，则将分配结果反馈到船舶控制系统中执行，反之，则根据强化学习评估模型继续修正。如果船舶工作部件为仅为发动机，当发动机的扭矩分配结果满足发动机的扭矩限制区间且储能系统剩余电量足够为电机提供电能(此时电机所需电能为零)，则将发动机的扭矩分配结果反馈到船舶控制系统中执行，反之，则根据强化学习评估模型继续修正。
77.根据本发明一些具体实施例，步骤s150包括以下步骤：
78.步骤s510，根据船舶工作部件的map图构建由多个单阶段决策函数组成的动态决策模型；
79.步骤s520，将工作状态参数和船舶需求扭矩输入动态决策模型得到第一扭矩分配结果，其中，工作状态参数包括船舶工作部件当前的转速。
80.在本实施例中，采用动态线性规划的方法，把多阶段问题转化为多个单阶段问题进行求解得到第一扭矩分配结果，能够降低运算复杂度。
81.根据本发明一些实施例，确定混合动力船舶当前的工作模式包括以下步骤：
82.步骤s610，采集船舶的负载信息和航道信息；
83.步骤s620，根据负载信息和航道信息确定工作场景；
84.步骤s630，根据工作场景确定工作模式。
85.在本实施例中，负载信息包括但不限于发动机转速、发动机扭矩、电机转速、电机扭矩、螺旋桨转速、螺旋桨扭矩、储能系统供电负荷等信息。
86.在本实施例中，工作场景包括但不限于港内姿态调整、中速航道巡航、紧急加速、高速航道巡航和低速航道巡航。示例性地，当航道信息为围存在较密集障碍物，水流持续平缓，负载信息为动力系统频繁小增量改变速度，可以确定工作场景为港内姿态调整。
87.根据本发明一些实施例，步骤s430包括以下步骤：
88.当工作场景为港内姿态调整，工作模式为电机推进模式；
89.当工作场景为中速航道巡航，工作模式为发动机推进模式；
90.当工作场景为紧急加速，工作模式为混合动力推进加超级电容功率辅助模式；
91.当工作场景为高速航道巡航，工作模式为混合动力推进模式；
92.当工作场景为低速航道巡航，工作模式为混合动力发电推进模式或者电量充足的电机推动模式。
93.实施例一：电机推动模式下的船舶工作部件为电机，为电机提供能量的有储能单元诸如电池组和超级电容等。根据当前电机的转速、电机的map图、预测的需求扭矩采用动态线性规划的方法，对不同储能单元之间的能量输出进行初步分配，进而得到电机的第一扭矩分配结果。采集当前电机的转速和不同储能单元的剩余能量值和效率值输入强化学习
评估模型评估包括驱动电机和储能单元的工作状态的船舶运行状态，根据评估值自动修改不同储能单元之间的能量输出进而得到电机扭矩的分配结果，若在电机扭矩限制范围且各储能单元有足够的电能为电机提供所需动力，则将该电机扭矩发送给对应的控制系统，否则返回强化学习评估模型进行重新评估和分配。
94.实施例二：中速航道巡航的船舶工作部件为发动机，根据当前发动机的转速、发动机的map图、预测的需求扭矩采用动态线性规划的方法得到第一分配结果。将当前发动机的工作状态包括转速、排放、油耗、效率值输入强化学习评估模型评估包括发动机经济性、排放性、工作状态的船舶运行状态，根据评估值自动修改发动机的能量输出进而得到发动机扭矩分配结果。发动机扭矩若在发动机扭矩限制范围，则将发动机扭矩发送给对应的控制系统，否则返回强化学习评估模型进行重新评估和分配。
95.实施例三：混合动力推进加超级电容功率辅助的工作模式需要发动机和电机均参与工作。根据当前发动机/电机的转速、发动机/电机的map图、预测的需求扭矩采用动态线性规划的方法对发动机/电机的扭矩和不同储能单元(含超级电容)之间的能量输出进行初步分配。将采集到的当前发动机排放、油耗、效率值的工作状态、驱动电机转速和电机不同储能单元(含超级电容)之间的剩余能量值和效率值等输入到强化学习评估模型评估发动机经济性、排放性、转速等发动机工作状态，驱动电机转速、各储能单元(含超级电容)等电机工作状态的船舶运行状态，根据评估值自动修改发动机和不同储能单元(含超级电容)间的能量输出。发动机扭矩和电机扭矩均分别在对应的扭矩限制范围且各储能单元(含超级电容)有足够的电能为电机提供所需动力则将发动机和电机的扭矩分配结果发送给对应的控制系统，否则返回强化学习评估模型进行重新评估和分配。
96.实施例四：根据当前发动机/电机的转速、发动机/电机的map图、预测的需求扭矩采用动态线性规划的方法对发动机/电机的扭矩和不同储能单元(不含超级电容)之间的能量输出进行初步分配。将采集到的当前发动机排放、油耗、效率值的工作状态、驱动电机转速和电机不同储能单元(不含超级电容)之间的剩余能量值和效率值等输入到强化学习评估模型评估发动机经济性、排放性、转速等发动机工作状态，驱动电机转速、各储能单元(不含超级电容)等电机工作状态的船舶运行状态，根据评估值自动修改发动机和不同储能单元(不含超级电容)间的能量输出。发动机扭矩和电机扭矩均分别在对应的扭矩限制范围且各储能单元(不含超级电容)有足够的电能为电机提供所需动力则将发动机和电机的扭矩分配结果发送给对应的控制系统，否则返回强化学习评估模型进行重新评估和分配。
97.实施例五：混合动力发电推进的工作模式下需要发动机和电机均参与工作，由于储能系统中电池组soc值过低，电机处于发电机模式。根据当前发动机/电机的转速、发动机map图、电机的发电map图、预测的需求扭矩采用动态线性规划的方法对发动机/电机的扭矩进行初步分配。将采集到的当前发动机排放、油耗、效率值的工作状态、驱动电机转速和电池组/超级电容的剩余能量值等输入到强化学习评估模型评估发动机经济性、排放性、转速的工作状态、驱动电机转速、电池组/超级电容的充电效率等船舶运行状态，根据评估值自动修改发动机和电池组和超级电容间的能量输入。发动机扭矩和电机扭矩均分别在对应的扭矩限制范围且且电池组或超级电容电能不超过高效区间最大值，则将发动机和电机的扭矩分配结果发送给对应的控制系统，否则返回强化学习评估模型进行重新评估和分配。
98.另一方面，本发明实施例还提供一种混合动力船舶扭矩分配系统，包括：
99.第一模块，用于确定混合动力船舶当前的工作模式；
100.第二模块，用于根据工作模式确定船舶工作部件；
101.第三模块，用于根据工作模式预测船舶需求扭矩；
102.第四模块，用于采集当前船舶工作部件的工作状态参数；
103.第五模块，用于通过动态线性规划的方法，根据工作状态参数和船舶需求扭矩确定第一扭矩分配结果；
104.第六模块，用于将所工作状态参数输入到强化学习评估模型评估船舶运行状态；
105.第七模块，用于根据船舶运行状态的评估结果修正第一扭矩分配结果得到第二扭矩分配结果。
106.可以理解的是，上述混合动力船舶扭矩分配方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述混合动力船舶扭矩分配方法实施例相同，并且达到的有益效果与上述混合动力船舶扭矩分配方法实施例所达到的有益效果也相同。
107.参照图2，图2是本发明一个实施例提供的混合动力船舶扭矩分配装置的示意图。本发明实施例的混合动力船舶扭矩分配装置包括一个或多个控制处理器和存储器，图2中以一个控制处理器及一个存储器为例。
108.控制处理器和存储器可以通过总线或者其他方式连接，图2中以通过总线连接为例。
109.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该混合动力船舶扭矩分配装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
110.本领域技术人员可以理解，图2中示出的装置结构并不构成对混合动力船舶扭矩分配装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
111.实现上述实施例中应用于混合动力船舶扭矩分配装置的混合动力船舶扭矩分配方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于混合动力船舶扭矩分配装置的混合动力船舶扭矩分配方法。
112.此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的混合动力船舶扭矩分配方法。
113.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、
数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
114.上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。