一种新型列车运行智能调整方法与流程

本发明属于铁路运输组织、铁路行车调度指挥技术领域，具体涉及一种新型列车运行智能调整方法。

背景技术：

铁路运输以其速度快、运能大、简洁便利的特点，成为广大旅客优先选择的交通方式之一。截止到2019年底，全国铁路运营里程已达到13.9万公里，其中高速铁路3.5万公里，庞大的运营里程对行车调度指挥提出更高的自动化需求。

现有技术中，行车调度指挥系统中，线路上列车发生晚点时，行车调度员对列车进行集中统一监视和控制，对晚点的处理以人工经验、方法为主，单一调整列车运行线的到站和发车时间，其问题在于：一方面，现有的行车调度指挥系统未充分利用防灾报警监控系统、列车运行控制系统、无线闭塞中心的信息，存在数据信息分离的问题；另一方面，行车调度员无法实时得到列车后续运行时的位置和速度等运行态势信息，进而无法分析列车在区间各临时限速区段的运行状态，数据信息同步更新较差。

技术实现要素：

针对现有技术中行车调度指挥系统各子系统数据信息分离、实时更新性差等问题，本发明提供一种新型列车运行智能调整方法，以列车晚点时间最小为优化目标，基于列车运行态势预测信息智能调整故障影响下的列车运行图，抑制线路上的列车晚点传播。

本发明是通过以下技术方案实现的：

一种新型列车运行智能调整方法，所述方法包括：

s1设备信息感知：在防灾报警监控系统中得到的或者在现场得到的故障信息、行车调度台发送的临时限速信息经由临时限速服务器tsrs发送至无线闭塞中心rbc及rbc数据库；无线闭塞中心rbc给列车下达rbc限速信息和行车许可长度；行车调度台统计及计算相应故障下晚点和正点列车的列车车次号、列车运行状态、计划及实时时刻表信息，绘制故障影响下的列车运行图；

s2列车状态分析：在rbc数据库中设置最小运行时分计算模块，所述最小运行时分计算模块用于计算各列车在各站间剩余区间最小运行时分以及剩余区间最小运行时分下能耗最小的列车运行曲线，并将剩余区间最小运行时分下能耗最小的列车运行曲线反馈至行车调度台；

s3运行态势预测：行车调度台包括一运行态势预测模块，所述运行态势预测模块基于剩余区间的可恢复时间、最小运行时分和列车运行工况预测各列车在后续车站的到站时间；

s4在线智能调整：在运行态势预测下，基于先入先出或者强化学习方法，智能调整各列车的发车次序和时间。

进一步地，步骤s1中，故障发生的时间和位置、持续时间及影响范围由防灾报警监控系统得到或者由调度员与司机电话沟通的方式得到；所述故障包括：自然因素引起的故障，设备故障和人为操作引起的故障。

进一步地，步骤s1设备信息感知，具体包括：

s101：自然因素引起的故障对应的故障信息由防灾报警监控系统实时反馈得到；设备故障和人为操作引起的故障对应的故障信息由行车调度员与现场人员沟通得到；行车调度台实时收集各种故障对应的故障信息以及相应故障下晚点和正点列车的列车车次号、列车运行状态、计划及实时时刻表信息，绘制故障下的列车运行图；

s102：行车调度台收集故障信息后，将临时限速信息、故障信息通过临时限速服务器tsrs传递给无线闭塞中心rbc，无线闭塞中心rbc将rbc限速信息、行车许可(ma)长度和控车信息发送至故障影响下列车的车载设备；其中，控车信息包括列车速度、位置和加速度等；

s103：列车车载设备通过计算行车许可ma，将行车许可ma连同位置报告、列车参数反馈至rbc；

s104：rbc获取当前列车的位置、速度、运行工况信息后，根据从联锁得到进路信息和rbc生成行车许可ma的最大长度，分配进路给列车；

s105rbc将线路静态数据、列车的状态信息、临时限速信息和故障信息发送给rbc数据库进行存储。

进一步地，步骤s2包括：

s201：rbc数据库中的最小运行时分计算模块基于故障信息、临时限速信息计算剩余区间最小运行时分；

s202：将最小运行时分计算模块计算得到的剩余区间最小运行时分、线路静态数据、列车状态信息共同反馈给rbc；其中，线路静态数据是常规数据，包括线路公里标和坡度等，实际设计线路时可得到此数据；

s203：rbc整合rbc数据库中的信息后，将rbc工作状态、列车状态和剩余区间最小运行时分发送至行车调度台，用于步骤s3中各列车到站时间预测，并且rbc将剩余区间最小运行时分下能耗最小的列车运行曲线发至线路上列车，减小列车晚点时间及剩余区间最小运行时分内的运行能耗曲线。

进一步地，步骤s201具体为：

在剩余区间最小运行时分的要求下，列车应满足：

列车g在车站i和i+1之间的区间计划运行时分等于列车g在车站i+1的计划到站时间与在车站i的计划发车时间之差：

列车g在车站i和i+1停站时，速度为0：

vg,i＝vg,i+1＝0；

列车在线路上以区间(i,i+1)的最小运行时分运行时，位置xg、时间tg,x、速度vg,x和加速度ag,x的关系如下：

列车g在线路上以最小运行时分运行时，最大牵引力fmax、最大制动力bmax、运行阻力r(v)和坡道阻力g(x)的关系如下：

nt∈[0,1],nb∈[0,1]

其中，a，b，c是与运行阻力r(v)有关的系数，与列车类型有关，可由列车运行数据推导出经验值。nt,nb为最大牵引和制动的选择性系数，用于选择列车运行工况；d(x)表示位置x处的坡度，最小运行时分下能耗最小的列车运行曲线表示如下：

nt＝1,nb＝0时；对应最大牵引

0≤nt≤1,nb＝0或者0≤nb≤1,nt＝0时；对应巡航

nt＝0,nb＝0时；对应惰行

nt＝0,nb＝1时；对应最大制动

计算剩余区间最小运行时分的方法为：

(1)数据初始化，设故障发生的起始和终止位置分别为xp、xp+1，限制速度为vp；设车站i的站内限速区段的起始和终止位置分别为车站i+1的站内限速区段的起始和终止位置分别为车站i和车站i+1的站内限速区段为vi和vi+1；则区间故障限速区段表示为(xp,xp+1,vp)，站内限速区段表示为和

(2)记录发生故障的地点为f，发生故障的时间为tg,f，设列车g在当前区间已运行时分剩余区间运行时分为若列车在故障点无法恢复至正点，则到站时间晚点晚于计划到站时间，当前列车的晚点传播至下一列车；

(3)在发生故障点f与到站点i+1之间计算剩余区间最小运行时分计算方法为：计算剩余区间的最大牵引曲线和最大制动曲线，设最大制动曲线计算至故障位置时的速度为则：

比较发生故障时列车的速度vg,f与最大制动曲线计算至故障位置时的速度为关系，决定列车后续的运行工况，进而确定列车剩余区间的运行时分，剩余区间的列车运行工况转换具体如下：

表明列车在剩余区间最小运行时分的要求下，利用部分可恢复时间恢复至正点；

表明列车在剩余区间最小运行时分的要求下，利用全部可恢复时间可恢复至正点需求，则列车在当前点以最大制动的运行工况运行至下一车站；

表明列车即使在剩余区间最小运行时分要求下，也无法利用可恢复时间恢复正点需求，晚点列车的晚点会传播至下一列车。

进一步地，步骤s3具体为：

行车调度台中包括一个运行态势预测模块，在所述剩余区间最小运行时分模块的基础上，所述运行态势预测模块用于预测各列车在后续区间运行时的运行态势信息，所述运行态势信息包括速度、时间、位置和到站时间，所述运行态势信息为运行图调整提供晚点时间的数据输入；

所述运行态势信息中，列车在后续区间运行时的时间、位置和速度由所述最小运行时分模块计算得到，各列车在后续区间运行时的到站时间的预测过程如下：

设增加的晚点时间为区间的可恢复时间为根据剩余区间最小运行时分与可恢复时间预测而知，列车g在晚点后实际到达车站i+1时间为ag,j+1，则

根据发生故障时列车的速度vg,f与最大制动曲线计算至故障位置时的速度为的关系，考虑列车在剩余区间的运行工况选择问题，对进一步推导，即：

对故障影响的所有晚点和正点列车进行到站时间预测，形成列车在车站i+1的到站时间预测矩阵ai+1：

ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t,i∈{1,2,…,m}

其中，n表示故障影响的列车数量，m表示列车后续到达的所有车站的数量。

进一步地，步骤s4具体为：以线路上列车的总晚点时间最小为优化目标，基于先入先出或者强化学习方法确定各列车的发车次序和时间，不断进行离线训练，训练完成后，训练参数存储于模型中，用于晚点影响下列车运行图的智能调整，抑制线路上的晚点传播。

进一步地，基于先入先出确定各列车的发车次序和时间的方法为：

先入先出方法表示先到达车站的列车优先发车，受晚点影响，后续晚点列车均按照步骤s2确定剩余区间最小运行时分以及按照步骤s3预测列车到站时间，确定列车在当前站的发车次序，列车运行图调整的优化目标是到站越早的列车具有优先出站的权利，通过排列列车到站时间预测矩阵ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t中变量从小到大关系确定各列车g∈{1,2,…,n}在车站i+1的先后发车次序。

进一步地，基于强化学习方法确定各列车的发车次序和时间的方法为：

强化学习方法是智能体与列车运行图环境不断交互产生经验的调图数据，智能体通过策略评估和改进决定后续列车的发车次序和时间，当智能体针对当前运行图环境遍历搜索到所有可能决策结果后，能够辅助调度员给出实时准确的列车运行调整策略，具体智能体和环境设置如下：

环境包括4部分：状态空间、动作空间、状态转移概率、奖励函数空间；

状态空间s设置为列车到站时间预测矩阵ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t和实际发车时间矩阵di+1＝[d1,i+1,d2,i+1,…,dg,i+1,…,dn,i+1]^t；

动作空间a设置为列车在车站的发车次序，转移概率p表示当前状态-动作转移到下一状态的概率集合p(s′|s,a)＝p[st+1＝s'|st＝s,at＝a]，其中，st＝s，at＝a分别表示当前所处的状态和动作，st+1＝s′表示下一状态，由于各列车在各车站的调整序列是连续不间断的，调整当前各列车在当前车站的发车次序之后一定能调整列车在下一车站的顺序，故状态转移概率p＝1；

奖励函数rn是列车运行图调整的优化目标，设置为列车平均总晚点时间最小，列车平均总晚点是指所有晚点列车在各车站的晚点平均值，则：

其中di+1和分别表示列车在车站i+1的实际和图定到发车时间，ai+1和则分别表示列车在车站i+1的实际和图定到站时间，m表示考虑的车站总数量；

优化目标函数r值越小，线路上各列车在各车站的平均总晚点时间越小，此时输出的列车g∈{1,2,…,n}在车站i+1的发车次序是全局近似最优的；

当各列车完成在所有车站的发车次序和时间的调整之后，将列车运行图在线调整结果在行车调度台的盯控调整界面中实时显示，辅助调度员调整列车。

本发明的有益技术效果：

(1)本发明提供的设备信息感知-列车状态分析-运行态势预测-在线智能调整的列车运行智能调整方法，能够实现行车调度指挥和列车运行控制各子系统的信息共享、数据同步，减少信息孤岛，打破数据堡垒；

(2)本发明提供的方法基于各子系统的共享信息考虑列车在各临时限速区段的运行状态，在区间可恢复时间和最小运行时分作用下预测列车时间、速度、位置等运行态势信息，以列车总晚点时间最小为第一优化目标，以能耗最小为第二优化目标，实时调整列车运行图，减小线路上列车的总晚点时间和能耗。

附图说明

图1为本发明实施例中一种新型列车运行智能调整方法的流程示意图；

图2为本发明实施例中最小运行时分下能耗最小的列车运行曲线示意图；

图3a-3c为本发明实施例中剩余区间列车运行工况转换示意图；

图4为本发明实施例中可恢复时间与区间最小运行时分、计划运行时分关系示意图；

图5为本发明实施例中基于强化学习的列车运行智能调整方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

针对现有技术中，行车调度指挥系统未充分利用防灾报警监控系统、列车运行控制系统、无线闭塞中心的信息，存在数据信息分离的问题；以及行车调度员无法实时得到列车后续运行时的位置和速度等运行态势信息，进而无法分析列车在区间各临时限速区段的运行状态，数据信息同步更新较差的技术问题。本发明提供一种新型列车运行智能调整方法，该方法充分利用防灾报警监控系统中的故障信息、行车调度台发送的临时限速信息、故障下的列车运行图信息，在rbc数据库中增加的最小运行时分计算模块，负责计算剩余区间最小运行时分以及该时分要求下能耗最小的列车运行曲线，反馈至行车调度台的，运行态势预测模块预测各列车到达后续车站的时间，在区间运行时的时间、速度和位置，之后以线路上列车的总晚点时间最小为优化目标，基于先入先出或者强化学习方法确定各列车的发车次序和时间，不断进行离线训练，训练完成后，其训练参数存储于模型中，用于晚点影响下列车运行图的智能调整，抑制线路上的晚点传播。

如图1所示，所述方法包括：

s1设备信息感知：在防灾报警监控系统中得到的或者在现场得到的故障信息、行车调度台发送的临时限速信息经由临时限速服务器tsrs发送至无线闭塞中心rbc及rbc数据库；无线闭塞中心rbc给列车下达rbc限速信息和(ma)行车许可长度；行车调度台统计及计算相应故障下晚点和正点列车的列车车次号、列车运行状态、计划及实时时刻表信息，绘制故障下的列车运行图；

s2列车状态分析：在rbc数据库中设置最小运行时分计算模块，所述最小运行时分计算模块用于计算各列车在各站间剩余区间最小运行时分以及剩余区间最小运行时分下能耗最小的列车运行曲线，并将剩余区间最小运行时分下能耗最小的列车运行曲线反馈至行车调度台；

s3运行态势预测：行车调度台包括一运行态势预测模块，所述运行态势预测模块基于剩余区间的可恢复时间、最小运行时分和列车运行工况预测各列车在后续车站的到站时间；

s4在线智能调整：在运行态势预测下，基于先入先出或者强化学习方法，智能调整各列车的发车次序和时间。

具体地，在步骤s1中，故障发生的时间和位置、持续时间及影响范围能够由防灾报警监控系统得到或者由调度员与司机电话沟通的方式得到；所述故障包括：自然因素引起的故障，设备故障和人为操作引起的故障。

所述自然因素引起的故障是指风、雨、雷、电、大雪、冰雹和地震等环境因素造成，导致铁路线路区间长时间失效和大面积瘫痪，行车安全和效率受到影响。所述设备故障包括地面设备故障和车载设备故障；地面设备故障包括供电设备故障(例如接触网断线、脱落或者悬挂异)、地面信号通信设备故障(例如信号机故障、道岔转辙机故障、轨道电路故障)、线路故障(例如线路下沉、异物侵限)；车载设备故障包括司机驾驶台故障、机车综合无线通信设备cir故障、列车自动防护系统故障。人为操作引起的故障是指司机、车站值班人员或者列车调度员的误操作等。

步骤s1设备信息感知，具体方法为：

s101：自然因素引起的故障对应的故障信息由防灾报警监控系统(防灾报警监控系统为行车调度指挥系统的子系统)实时反馈得到；设备故障和人为操作引起的故障对应的故障信息由行车调度员与现场人员(包括现场机械师、维修人员、列车司机等人员)沟通得到；行车调度台实时收集各种故障对应的故障信息以及相应故障下晚点和正点列车的列车车次号、列车运行状态、计划及实时时刻表信息，绘制故障下的列车运行图；

s102：行车调度台收集故障信息后，将临时限速命令(包括临时限速信息)、故障信息通过临时限速服务器tsrs传递给无线闭塞中心rbc，无线闭塞中心rbc将临时限速信息、控车信息和行车许可(ma)长度发送至故障影响下列车的车载设备

其中故障信息包括：故障的发生位置、故障发生时间、故障限速区段范围(起始和终止公里标)、故障持续时间；临时限速信息包括：站内临时限速区段和区间临时限速区段的分界点、限制速度和线路坡度信息。

s103：列车车载设备通过计算行车许可ma，将行车许可ma连同位置报告、列车参数反馈至rbc；

s104：rbc获取当前列车的位置、速度、运行工况信息后，根据从联锁得到进路信息和rbc生成ma的最大长度，尽可能分配更多的进路给列车；

s105rbc将线路静态数据、列车的状态信息、临时限速信息和故障信息发送给rbc数据库进行存储。

在本申请实施例中，对区间rbc功能进行扩展，其一，实时收集行车调度台发送的故障信息和临时限速信息，存储于rbc数据库中。其中故障信息包括：故障的发生位置、发生时间、故障限速区段范围(起始和终止公里标)、持续时间；临时限速信息包括：站内临时限速区段和区间临时限速区段的分界点、限制速度和线路坡度信息。其二，rbc数据库增加一个最小运行时分计算模块，用于步骤s2列车状态分析及基于运行工况和可恢复时间计算剩余区间最小运行时分。对行车调度台的功能进行扩展，即下放其临时限速信息，经过tsrs、rbc传递给rbc数据库，作为rbc数据库中最小运行时分计算模块中的线路初始化条件。

对行车调度台的功能进行扩展，即下放其临时限速信息，经过tsrs、rbc传递给rbc数据库，作为rbc数据库中最小运行时分计算模块中的线路初始化条件。

在本实施例中，步骤s2包括：

s201：rbc数据库中的最小运行时分计算模块基于故障信息、临时限速信息计算剩余区间最小运行时分；

s202：将最小运行时分计算模块计算得到的剩余区间最小运行时分、线路静态数据、列车状态信息共同反馈给rbc；

s203：rbc整合rbc数据库中的信息后，将rbc工作状态、列车状态和剩余区间最小运行时分发送至行车调度台，用于步骤s3中各列车到站时间预测，并且rbc将剩余区间最小运行时分下能耗最小的列车运行曲线发至线路上列车，减小列车晚点时间及剩余区间最小运行时分内的运行能耗曲线；

具体地，步骤s201在剩余区间最小运行时分的要求下，列车应满足：

在剩余区间最小运行时分的要求下，列车应满足：

列车g在车站i和i+1之间的区间计划运行时分等于列车g在车站i+1的计划到站时间与在车站i的计划发车时间之差：

列车g在车站i和i+1停站时，速度为0：

vg,i＝vg,i+1＝0；

列车在线路上以区间(i,i+1)的最小运行时分运行时，位置xg、时间tg,x、速度vg,x和加速度ag,x的关系如下：

列车g在线路上以最小运行时分运行时，最大牵引力fmax、最大制动力bmax、运行阻力r(v)和坡道阻力g(x)的关系如下：

nt∈[0,1],nb∈[0,1]

其中，a，b，c是运行阻力r(v)有关的系数，一般与列车类型有关；nt,nb为最大牵引和制动的选择性系数，用于选择列车运行工况；d(x)表示位置x处的坡度，最小运行时分下能耗最小的列车运行曲线示意图如图2所示，表示如下：

nt＝1,nb＝0时；对应最大牵引

0≤nt≤1,nb＝0或者0≤nb≤1,nt＝0时；对应巡航

nt＝0,nb＝0时；对应惰行

nt＝0,nb＝1时；对应最大制动

计算剩余区间最小运行时分的方法如下：

(1)数据初始化，设故障发生的起始和终止位置(公里标)分别为xp、xp+1，限制速度为vp；设车站i的站内限速区段的起始和终止位置(公里标)分别为车站i+1的站内限速区段的起始和终止位置(公里标)分别为车站i和车站i+1的站内限速区段为vi和vi+1；则区间故障限速区段表示为(xp,xp+1,vp)，站内限速区段表示为和

(2)记录发生故障的地点为f，发生故障的时间为tg,f，设列车g在当前区间已运行时分剩余区间运行时分为若列车在故障点无法恢复至正点，则到站时间晚点晚于计划到站时间，当前列车的晚点传播至下一列车；

(3)在发生故障点f与到站点i+1之间计算剩余区间最小运行时分计算方法为：由公式(1)-(4)计算剩余区间的最大牵引曲线和最大制动曲线(两条曲线均为速度-距离曲线)。设最大制动曲线计算至故障位置时的速度为则：

比较发生故障时列车的速度vg,f与最大制动曲线计算至故障位置时的速度为关系，决定列车后续的运行工况，进而确定列车剩余区间的运行时分，剩余区间的列车运行工况转换示意图如图3所示，具体如下：

如图3a所示，表明列车在剩余区间最小运行时分的要求下，利用部分可恢复时间恢复至正点；则在2个工况点的情况下，基于列车节能和舒适度的需求，剩余区间运行工况可选择如下4种：(1)最大牵引-惰行-巡航-最大制动；(2)最大牵引-惰行-最大制动；(3)惰行-巡航-最大制动；(4)最大牵引-巡航-最大制动。

如图3b所示，表明列车在剩余区间最小运行时分的要求下，利用全部可恢复时间可恢复至正点需求，则列车可在当前点以最大制动的运行工况运行至下一车站；

如图3c所示，表明列车即使在剩余区间最小运行时分要求下，也无法利用可恢复时间恢复正点需求，晚点列车的晚点会传播至下一列车；

需要注意的是：当时，列车在剩余运行区间由充足的可恢复时间在下一车站恢复正点需求，所以在能耗和舒适度的需求进一步考虑列车运行工况的选择问题；当时，列车利用全部可恢复时间仍无法恢复列车正点，故以牺牲能耗、舒适度为代价，以区间最小运行时分尽可能减小列车晚点和恢复列车的正点运行，在实际列车运行过程中，考虑列车能耗情况和旅客舒适度的需求，需要增加一定富余量的运行时分。

在本实施例中，步骤s3具体为：以线路上列车的总晚点时间最小为优化目标，基于先入先出或者强化学习方法确定各列车的发车次序和时间，不断进行离线训练，训练完成后，训练参数存储于模型中，用于晚点影响下列车运行图的智能调整，抑制线路上的晚点传播。

在行车调度台中增加一个运行态势预测模块，在步骤s2剩余区间最小运行时分模块的基础上，预测各列车在后续区间运行时的速度、时间、位置和到站时间等运行态势信息，所述运行态势信息为运行图调整提供晚点时间的数据输入。

该模块的基本思想是：在剩余区间最小运行时分和列车运行工况的条件下，考虑利用区间的可恢复时间完全或者部分消除晚点，可恢复时间是指编制列车计划运行图时，在区间加入的一部分预留时间，用于在一列列车晚点情况下“赶点”运行，在一定程度减小晚点时间，一般规定可恢复时间等于最小运行时分的5％-10％；可恢复时间与区间最小运行时分、区间计划运行时分的关系示意图如图4所示。

列车在后续区间运行时的时间、位置和速度的运行态势信息由所述最小运行时分模块计算得到，而列车到站时间预测过程如下：

设增加的晚点时间为区间的可恢复时间为根据剩余区间最小运行时分与可恢复时间预测而知，列车g在晚点后实际到达车站i+1时间为ag,j+1，则

根据步骤s2讨论的vg,f与的关系，考虑列车在剩余区间的运行工况选择问题，对式进一步推导，即：

对故障影响的所有晚点和正点列车采用上述的步骤s2和s3的方法进行到站时间预测，形成列车在车站i+1的到站时间预测矩阵。

ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t,i∈{1,2,…,m}

其中，n表示故障影响的列车数量，m表示列车后续到达的所有车站的数量。

在本实施例中，步骤s4具体为，在列车运行态势预测的基础下，以列车总晚点时间最小为优化目标，基于传统调度员调整方法强化学习，即基于先入先出方法或人工智能方法强化学习，确定后续列车的发车次序及时间。

先入先出方法表示先到达车站的列车优先发车，受晚点影响，后续晚点列车均按照步骤s2的剩余区间最小运行时分和步骤s3的列车预测到站时间，确定列车在当前站的发车次序，列车运行图调整的优化目标是到站越早的列车具有优先出站的权利，通过排列列车到站时间预测矩阵ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t中变量从小到大关系确定各列车g∈{1,2,…,n}在车站i+1的先后发车次序；

强化学习方法是智能体与列车运行图环境不断交互产生经验的调图数据，智能体通过策略评估和改进决定后续列车的发车次序和时间，当智能体针对当前运行图环境遍历搜索到所有可能决策结果后，即可辅助调度员给出实时准确的列车运行调整策略，基于强化学习的列车运行智能调整方法示意图如图5所示，具体智能体和环境设置如下：

环境包括4部分：状态空间、动作空间、状态转移概率、奖励函数空间。状态空间s设置为列车到站时间预测矩阵ai+1＝[a1,i+1,a2,i+1,…,ag,i+1,…,an,i+1]^t和实际发车时间矩阵di+1＝[d1,i+1,d2,i+1,…,dg,i+1,…,dn,i+1]^t，动作空间a设置为列车在车站的发车次序，转移概率p表示当前状态-动作转移到下一状态的概率集合p(s′|s,a)＝p[st+1＝s'|st＝s,at＝a]，st＝s，at＝a分别表示当前所处的状态和动作，st+1＝s′表示下一状态。由于各列车在各车站的调整序列是连续不间断的，调整当前各列车在当前车站的发车次序之后一定能调整列车在下一车站的顺序，故状态转移概率p＝1。奖励函数rn是列车运行图调整的优化目标，设置为列车平均总晚点时间最小，列车平均总晚点是指所有晚点列车在各车站的晚点平均值，则：

其中di+1和分别表示列车在车站i+1的实际和图定到发车时间，ai+1和则分别表示列车在车站i+1的实际和图定到站时间，m表示考虑的车站总数量；

优化目标函数r值越小，线路上各列车在各车站的平均总晚点时间越小，相较于先入先出方法，此时输出的列车g∈{1,2,…,n}在车站i+1的发车次序是全局近似最优的。

当各列车(g∈{1,2,…,n})完成在所有车站(i∈{1,2,…,m})的发车次序和时间的调整之后，将列车运行图在线调整结果在行车调度台的盯控调整界面中实时显示，辅助调度员调整列车。