基于安全强化学习的列车节能辅助驾驶方法及系统与流程

本公开涉及人工智能、物联网，具体涉及智能驾驶领域，更具体地涉及一种基于安全强化学习的列车节能辅助驾驶方法及系统。

背景技术：

1、随着高速铁路运营里程的不断增长，客运量的不断攀升，路网规模的不断扩大，列车驾驶员的工作压力也日渐增大。如何有效降低驾驶员工作压力，保证列车安全运行，是当前司乘人员管理部门面临着的挑战。

2、列车推荐速度曲线与推荐运行工况在实际线路运营中作为ato(automatic trainoperation，列车自动驾驶)系统控制器的跟踪目标，指导列车运行。通过列车辅助驾驶系统优化的列车速度曲线与运行工况，能够有效辅助驾驶员控车，缓解驾驶员压力。因此，如何构建安全的辅助驾驶系统，使其生成安全、舒适的推荐速度曲线与推荐运行工况成为了众多学者关注的重点。

技术实现思路

1、鉴于上述问题，本公开提供了基于安全强化学习的列车节能辅助驾驶方法及系统。

2、根据本公开的一个方面，提供了一种基于安全强化学习的列车节能辅助驾驶方法，包括：将列车的实际牵引电压和实际牵引电流输入列车运行模型，得到所述列车的估计能耗；根据所述估计能耗和所述列车的列车通控数据，对所述列车运行模型的模型参数进行更新，得到更新后列车运行模型；将所述列车通控数据和所述列车的线路条件信息、运行计划信息输入所述更新后列车运行模型，结合强化学习算法，计算所述列车的未来运行过程的推荐速度曲线和推荐工况；根据所述推荐速度曲线和所述推荐工况对所述列车进行节能辅助驾驶。

3、根据本公开的实施例，强化学习算法用于针对所述更新后列车运行模型，建立满足安全运行条件的逻辑约束，其中，所述安全运行条件表征在满足线路条件信息、运行计划信息的基础上，根据列车通控数据计算的推荐速度曲线和推荐工况满足安全运行条件。

4、根据本公开的实施例，所述根据所述推荐速度曲线和所述推荐工况对所述列车进行节能辅助驾驶包括：根据所述推荐速度曲线和所述推荐工况，记录时序推荐速度-推荐工况序列；响应于确定当前时刻为目标时刻，根据所述时序推荐速度-推荐工况序列，确定所述列车在所述目标时刻的行驶速度和行驶工况；将所述行驶速度和所述行驶工况进行推荐，实现对所述列车进行节能辅助驾驶。

5、根据本公开的实施例，所述列车运行模型包括如下中的至少之一：表征列车速度与列车牵引能耗之间关系的列车牵引能耗模型；表征列车速度与列车牵引力之间关系的牵引力模型；表征列车制动力与再生能量之间关系的再生制动能量模型；表征列车速度与列车制动力之间关系的制动力模型；表征列车牵引力与列车速度之间关系的列车牵引特性模型。

6、根据本公开的实施例，所述列车通控数据包括如下中的至少之一：当前位置、当前速度、历史位置、历史速度、历史工况、历史能耗。

7、本公开的另一方面提供了一种基于安全强化学习的列车节能辅助驾驶系统，用于实现本公开所述的基于安全强化学习的列车节能辅助驾驶方法，所述系统包括：电能计量单元，用于根据列车的实际牵引电压和实际牵引电流结合列车运行模型，得到所述列车的估计能耗，以及根据所述估计能耗和所述列车的列车通控数据，对所述列车运行模型的模型参数进行更新，得到更新后列车运行模型；车载核心单元，用于根据所述列车通控数据和所述列车的线路条件信息、运行计划信息，使用强化学习算法，结合所述更新后列车运行模型，计算所述列车的未来运行过程的推荐速度曲线和推荐工况。

8、根据本公开的实施例，所述系统还包括：推荐显示单元，用于通过人机交互界面实时展示所述推荐速度曲线和所述推荐工况。

9、根据本公开的实施例，所述系统还包括：车载无线传输网关设备，用于从所述列车的无线闭塞中心和调度指挥中心其中至少一个中心获取所述列车通控数据。

10、根据本公开的实施例，所述列车通控数据包括如下中的至少之一：当前位置、当前速度、历史位置、历史速度、历史工况、历史能耗；所述系统还包括：数据存储单元，用于存储所述列车通控数据以及所述列车的线路条件信息、运行计划信息，并将所述历史位置、所述历史速度、所述线路条件信息、所述运行计划信息发送至所述车载核心单元，将所述当前位置、所述当前速度发送至推荐显示单元，以及将所述历史位置、所述历史速度、所述历史工况、所述历史能耗发送至所述电能计量单元。

11、本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述基于安全强化学习的列车节能辅助驾驶方法。

12、本公开的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述基于安全强化学习的列车节能辅助驾驶方法。

13、本公开提供的上述基于安全强化学习的列车节能辅助驾驶方法及系统，结合强化学习算法，可以生成安全的推荐速度曲线与推荐运行工况，辅助驾驶员控制列车，降低驾驶员工作压力，降低列车运行节能降耗。此外，通过增加对强化学习过程的逻辑约束，可以保证求解过程不会输出导致不安全状态的动作，从而提高辅助驾驶员驾驶过程的安全性。

技术特征：

1.一种基于安全强化学习的列车节能辅助驾驶方法，包括：

2.根据权利要求1所述的方法，其中，所述强化学习算法用于针对所述更新后列车运行模型，建立满足安全运行条件的逻辑约束，其中，所述安全运行条件表征在满足线路条件信息、运行计划信息的基础上，根据列车通控数据计算的推荐速度曲线和推荐工况满足安全运行条件。

3.根据权利要求1所述的方法，其中，所述根据所述推荐速度曲线和所述推荐工况对所述列车进行节能辅助驾驶包括：

4.根据权利要求1至3中任一项所述的方法，其中，所述列车运行模型包括如下中的至少之一：

5.根据权利要求1所述的方法，其中，所述列车通控数据包括如下中的至少之一：当前位置、当前速度、历史位置、历史速度、历史工况、历史能耗。

6.一种基于安全强化学习的列车节能辅助驾驶系统，用于实现如权利要求1—5中任一项所述的方法，其中，所述系统包括：

7.根据权利要求6所述的系统，还包括：

8.根据权利要求6或7所述的系统，还包括：

9.根据权利要求8所述的系统，其中，所述列车通控数据包括如下中的至少之一：当前位置、当前速度、历史位置、历史速度、历史工况、历史能耗；所述系统还包括：

10.一种电子设备，包括：

技术总结
本公开提供了一种基于安全强化学习的列车节能辅助驾驶方法及系统，可以应用于人工智能、物联网技术领域，具体涉及智能驾驶领域。该方法包括：将列车的实际牵引电压和实际牵引电流输入列车运行模型，得到列车的估计能耗；根据估计能耗和列车的列车通控数据，对列车运行模型的模型参数进行更新，得到更新后列车运行模型；将列车通控数据和列车的线路条件信息、运行计划信息输入更新后列车运行模型，结合强化学习算法，计算列车的未来运行过程的推荐速度曲线和推荐工况；根据推荐速度曲线和推荐工况对列车进行节能辅助驾驶。

技术研发人员：曹江,孙宁,谢立军,王洪凯
受保护的技术使用者：中车青岛四方机车车辆股份有限公司
技术研发日：
技术公布日：2024/2/8