一种自主超车方法及系统与流程

1.本发明涉及智能驾驶领域，特别是涉及一种自主超车方法及系统。


背景技术：

2.随着汽车保有量的不断提升和自动驾驶技术的不断进步，智能驾驶系统逐渐进入公众视野，其中自主超车系统日益受到国内外研究人员的关注。然而，目前国内外对自主超车系统的研究还存在一定的缺陷。
3.在驾驶员典型驾驶场景中，超车行为是最具风险性和挑战性的驾驶方式之一。针对智能车自主超车问题，现有的自主超车系统大多还采用传统方法，即通过在线实时的轨迹规划和轨迹跟踪实现自主超车。对于传统的自主超车系统，主要缺点是规划出的轨迹与轨迹跟踪控制系统难以互相协调，即规划出的轨迹可能无法被轨迹跟踪控制器准确跟踪。
4.为了解决上述问题，同时为了顺应无人驾驶系统的智能化发展方向，亟需提供一种基于分层强化学习的智能化自主超车方法或系统，通过对运动基元建模和提取来控制车辆，完成安全高效的自主超车。


技术实现要素：

5.本发明的目的是提供一种自主超车方法及系统，实现车辆安全、高效的自主超车，解决现有技术中超车过程轨迹跟踪困难的问题。
6.为实现上述目的，本发明提供了如下方案：一种自主超车方法，包括：定义状态晶格空间；所述状态晶格空间中的位置坐标用于确定并表示车辆的位置；根据状态晶格空间确定在超车不同阶段的轨迹参数；所述轨迹参数包括：超车不同阶段的起点位置和终点位置、航向角、超车不同阶段的行驶速度和曲率；所述超车不同阶段包括：超车起始阶段、平行行驶阶段以及超车终止阶段；所述超车起始阶段为主车进行车道变更；所述平行行驶阶段为主车与待超越车辆平行行驶并执行超车；所述超车终止阶段为主车驶回原始车道；根据状态晶格空间以及在超车不同阶段的轨迹参数构建车辆运动模型；根据车辆运动模型生成车辆预测轨迹；根据车辆预测轨迹进行超车轨迹跟踪，并利用基于半马尔科夫决策过程确定超车决策。
7.可选地，所述定义状态晶格空间，具体包括：；其中，为状态晶格空间的位置矩阵，分别为横、纵坐标值的向量，为位置索引。
8.可选地，所述根据状态晶格空间确定在超车不同阶段的轨迹参数，具体包括：利用公式确定主车与待超越车辆的最小车距；利用公式确定主车从超车起始阶段的起始点到超车起始阶段的终止点的矢量与水平之间的夹角；其中，为主车与待超越车辆的最小车距，为主车的速度，为主车后车，为常数，且为3秒的行驶时间，为车道的宽度，为主车的纵向长度。
9.可选地，所述根据车辆运动模型生成车辆预测轨迹，之后还包括：利用以及采用拉格朗日乘子法和迭代优化法对所述车辆预测轨迹进行优化；其中，为代价函数，为控制参数，为车辆状态，为超车终止阶段的终点时间，为时变效用函数。
10.可选地，所述根据车辆运动模型生成车辆预测轨迹，之前还包括：在仿真平台中采用stanley和pid控制器分别实现车辆横向和纵向控制来追踪输入的车辆预测轨迹，确定车辆在预测轨迹上的运动基元；所述运动基元包括油门、制动和转向控制信号序列。
11.一种自主超车系统，包括：状态晶格空间定义模块，用于定义状态晶格空间；所述状态晶格空间中的位置坐标用于确定并表示车辆的位置；轨迹参数确定模块，用于根据状态晶格空间确定在超车不同阶段的轨迹参数；所述轨迹参数包括：超车不同阶段的起点位置和终点位置、航向角、超车不同阶段的行驶速度和曲率；所述超车不同阶段包括：超车起始阶段、平行行驶阶段以及超车终止阶段；所述超车起始阶段为主车进行车道变更；所述平行行驶阶段为主车与待超越车辆平行行驶并执行超车；所述超车终止阶段为主车驶回原始车道；车辆运动模型构建模块，用于根据状态晶格空间以及在超车不同阶段的轨迹参数构建车辆运动模型；车辆预测轨迹生成模块，用于根据车辆运动模型生成车辆预测轨迹；超车决策确定模块，用于根据车辆预测轨迹进行超车轨迹跟踪，并利用基于半马尔科夫决策过程确定超车决策。
12.可选地，所述状态晶格空间定义模块具体包括：；其中，为状态晶格空间的位置矩阵，分别为横、纵坐标值的向量，为位置索引。
13.可选地，还包括：车辆预测轨迹优化模块，用于利用以及采用拉格朗日乘子法和迭代优化法对所述车辆预测轨迹进行优化；其中，为代价函数，为控制参数，为车辆状态，为超车终止阶段的终点时间，为时变效用函数。
14.可选地，还包括：运动基元确定模块，用于在仿真平台中采用stanley和pid控制器分别实现车辆横向和纵向控制来追踪输入的车辆预测轨迹，确定车辆在预测轨迹上的运动基元；所述运动基元包括油门、制动和转向控制信号序列。
15.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明所提供的一种自主超车方法及系统，利用状态晶格空间合理有效地建模和提取相应运动基元，并优化超车过程中的轨迹跟踪效果，实现高效、安全的自主超车。另外，该超车决策模块能够适应待超越车辆的不同速度变化，做出准确合理的运动基元决策。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明所提供的一种自主超车方法流程示意图；图2为状态晶格空间示意图；图3为不同阶段超车过程示意图；图4为超车起始阶段过程示意图；图5为超车平行行驶阶段过程示意图；图6为本发明所提供的一种自主超车系统结构示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的目的是提供一种自主超车方法及系统，实现车辆安全、高效的自主超车，解决现有技术中超车过程轨迹跟踪困难的问题。
20.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
21.图1为本发明所提供的一种自主超车方法流程示意图，如图1所示，本发明所提供
的一种自主超车方法，包括：s101，定义状态晶格空间，并如图2所示；所述状态晶格空间中的位置坐标用于确定并表示车辆的位置；即为了方便基元的划分和生成。
22.s101具体包括：；其中，为状态晶格空间的位置矩阵，分别为横、纵坐标值的向量，为位置索引。
23.s102，根据状态晶格空间确定在超车不同阶段的轨迹参数；所述轨迹参数包括：超车不同阶段的起点位置和终点位置、航向角、超车不同阶段的行驶速度和曲率；如图3所示，所述超车不同阶段包括：超车起始阶段、平行行驶阶段以及超车终止阶段；所述超车起始阶段为主车进行车道变更；所述平行行驶阶段为主车与待超越车辆平行行驶并执行超车；所述超车终止阶段为主车驶回原始车道；超车过程按照是否加速可分为恒速超车和加速超车。在恒速超车过程中，由于主车的行驶速度远高于待超越车辆的行驶速度，因此保持恒速就可以实现安全超车。在加速超车过程中，由于主车的行驶速度略高于待超越车辆的行驶速度，主车需要先提速超车，超越后再减速。本技术主要选择了后一种超车方式，即加速超车，对于超车过程中的平行行驶阶段，主车保持匀速行驶。
24.s102具体包括：利用公式确定主车与待超越车辆的最小车距；利用公式确定主车从超车起始阶段的起始点到超车起始阶段的终止点的矢量与水平之间的夹角；其中，为主车与待超越车辆的最小车距，为主车的速度，为主车后车，为常数，且为3秒的行驶时间，为车道的宽度，为主车的纵向长度。
25.超车起始阶段，主车的初始点位置可以由三秒规则确定。在确定了主车和待超越车辆之间的初始距离后，还需要确定运动基元终止点的位置。
26.在图4所示的超车起始阶段中建立起以主车起始点为原点的坐标系，从起始点到终止点的矢量与水平坐标系之间的夹角定义为偏转角。偏转角通过以下公式计算：；其中，表示车道的宽度，表示基元的纵向长度。
27.对于固定车道，值是固定的。的确定受到交通安全因素和车辆运动学的约束。表示偏转角的最小值，由主车和待超越车辆之间的初始距离确定。表示偏转角的最大值，可由最大允许横向加速度确定。在取值范围内的一系列状态晶格点均可以被选
择为超车起始阶段运动基元终止点。
28.在超车起始阶段，主车和待超越车辆之间的相关距离可通过以下公式计算：（1） （2） （3）式中，和分别表示主车与待超越车辆在起始和平行行驶阶段中的初始距离。表示待超越车辆在超车起始阶段的行驶距离。和分别是主车和待超越车辆的行驶速度。假设主车和待超越车辆在每个超车阶段以恒速行驶，则可由公式5计算。其中，表示超车起始阶段中的行驶时间。
29.确定超车平行行驶阶段运动基元起止点。在超车平行行驶阶段（如图5所示），运动基元的横向距离为车道宽度，因此只需要确定运动基元的纵向长度。
30.假设主车和待超越车辆以恒速行驶，相关距离可通过以下公式计算：
ꢀꢀ
（4）
ꢀꢀ
（5）
ꢀꢀ
（6）
ꢀꢀ
（7）（8）其中，和分别为主车和待超越车辆在平行行驶阶段的行驶距离。表示平行行驶阶段的行驶时间。是根据三秒规则计算得出的安全距离。
31.联立公式1到公式7，根据起始阶段运动基元的性质和速度离散化，平行行驶阶段最大纵向行驶时间可由公式8确定。因此，可以由公式5粗略估计平行行驶阶段运动基元的最大纵向长度。纵向长度在0到最大纵向长度之间且终止点满足状态晶格空间限制的运动基元是平行行驶阶段的可行基元。
32.s103，根据状态晶格空间以及在超车不同阶段的轨迹参数构建车辆运动模型；s104，根据车辆运动模型生成车辆预测轨迹；s104之前还包括：在仿真平台中采用stanley和pid控制器分别实现车辆横向和纵向控制来追踪输入的车辆预测轨迹，确定车辆在预测轨迹上的运动基元；所述运动基元包括油门、制动和转向控制信号序列。
33.（1）车辆纵向控制方法车辆纵向控制主要通过pid控制器实现。该控制器能将期望车速信号，转化为油门
或制动踏板控制量，从而实现车辆运动。实际设计中采用期望速度减去实际速度的值为控制偏差信号。
34.（2）车辆横向控制方法车辆横向控制主要使用的是stanley控制器。stanley方法结合了航向角偏差与横向跟踪误差来设计控制器，并且以前轴中心为基准点进行计算。stanley方法采用的是一种非线性反馈函数，可以根据车辆位置状态与预设路径之间的几何关系，综合航向偏差和横向跟踪误差，计算得出所需的方向盘转角。
35.通过横、纵向控制器对规划出的轨迹进行追踪控制后，即可生成用于车辆控制的运动基元。由于强化学习处理的是离散的状态，而车速本身是连续的，所以需要先对车速进行离散化处理，进而在对不同离散速度下的运动基元进行总结整理，最终形成运动基元库，以供运动基元决策算法学习训练。
36.在模型预测轨迹生成方法中，首先需要已知起点和终点位置，然后通过查表法查找控制参数，查找表中存储的是一些对轨迹形状进行编码的控制参数和轨迹参数。其中的轨迹参数包括起点和终点位置、航向角、速度和曲率。通过对控制参数进行时域插值，能够得到预测控制序列，这些控制序列将输入车辆运动模型，以获得预测轨迹。
37.s104之后还包括：利用以及采用拉格朗日乘子法和迭代优化法对所述车辆预测轨迹进行优化；其中，为代价函数，为控制参数，为车辆状态，为超车终止阶段的终点时间，为时变效用函数。
38.预测轨迹终点位置和期望终点位置的范数为代价误差，目的是通过优化控制参数减小轨迹误差。该系统采用拉格朗日乘子法和迭代优化法求解以减小代价误差值直到对应的轨迹误差达到允许的误差范围，从而得到较为理想的控制参数，使生成的预测轨迹满足轨迹误差的要求。
39.s105，根据车辆预测轨迹进行超车轨迹跟踪，并利用基于半马尔科夫决策过程确定超车决策。
40.具体的，生成的运动基元库和环境提供的主车和待超越车辆实时数据为输入，通过分析主车和待超越车辆的实时速度、位置信息，根据优化指标，在运动基元库中选取各阶段的运动基元并进行组合，实时输出包括油门、制动和转向的车辆控制信号。具体评价指标包括通行时间、超车过程中平均横向加速度、换道位置与理想换道点的位置差以及是否发生碰撞，强化学习模型中的奖励函数以此为依据进行设计。
41.s105具体包括：1）状态空间定义。对于超车决策，主车的位置是状态空间必不可少的一部分，可以使用状态晶格空间坐标值来表示。本研究根据主车和待超越车辆初速度的不同，将超车问题分为不同的类别。因此，主车和待超越车辆的速度应该包含在状态空间内。此外，由于在不同的超车阶段，可供选项选择的基元集也不同，因此超车问题的阶段性也应考虑在内。综
上所述，将状态空间定义为：；其中，表示主车的位置矩阵。和分别表示主车和待超越车辆的速度矩阵。指超车阶段矩阵。
42.2）动作空间定义。动作空间可以表示为：；其中，分别表示超车起始、平行行驶和终止阶段的可选选项集合。
43.3）奖励函数定义。对于无人驾驶系统，安全、效率和舒适性是最基本的评价指标。此外，由于平行行驶阶段的特殊性，为评价换道点位置的优劣，定义了换道位置奖励。综上，奖励函数设计中包含几个奖励：效率奖励、舒适性奖励、碰撞奖励、换道位置奖励，分别以、、、表示。效率奖励是通过运动基元的通行时间来评价的，运动基元的通行时间越长，奖励值越小。舒适性奖励与通过一个超车阶段的平均横向加速度有关，且平均横向加速度越大，奖励越小。此外，如果发生碰撞，智能体将受到较大惩罚，如给予一个较大的负值作为奖励值。使用三秒规则可以计算平行行驶阶段换道点的期望位置。因此，在平行行驶阶段，主车的换道位置与预期位置之间差值的绝对值用于评价换道位置。
44.；；；；；式中，为常系数，表示执行基元的时间间隔，表示平均横向加速度。是待超越车辆的横坐标。
45.图6为本发明所提供的一种自主超车系统结构示意图，如图6所示，本发明所提供的一种自主超车系统，包括：状态晶格空间定义模块601，用于定义状态晶格空间；所述状态晶格空间中的位置坐标用于确定并表示车辆的位置；轨迹参数确定模块502，用于根据状态晶格空间确定在超车不同阶段的轨迹参数；所述轨迹参数包括：超车不同阶段的起点位置和终点位置、航向角、超车不同阶段的行驶速度和曲率；所述超车不同阶段包括：超车起始阶段、平行行驶阶段以及超车终止阶段；所述
超车起始阶段为主车进行车道变更；所述平行行驶阶段为主车与待超越车辆平行行驶并执行超车；所述超车终止阶段为主车驶回原始车道；车辆运动模型构建模块503，用于根据状态晶格空间以及在超车不同阶段的轨迹参数构建车辆运动模型；车辆预测轨迹生成模块604，用于根据车辆运动模型生成车辆预测轨迹；超车决策确定模块605，用于根据车辆预测轨迹进行超车轨迹跟踪，并利用基于半马尔科夫决策过程确定超车决策。
46.所述状态晶格空间定义模块601具体包括：；其中，为状态晶格空间的位置矩阵，分别为横、纵坐标值的向量，为位置索引。
47.本发明所提供的一种自主超车系统，还包括：车辆预测轨迹优化模块，用于利用以及采用拉格朗日乘子法和迭代优化法对所述车辆预测轨迹进行优化；其中，为代价函数，为控制参数，为车辆状态，为超车终止阶段的终点时间，为时变效用函数。
48.本发明所提供的一种自主超车系统，还包括：运动基元确定模块，用于在仿真平台中采用stanley和pid控制器分别实现车辆横向和纵向控制来追踪输入的车辆预测轨迹，确定车辆在预测轨迹上的运动基元；所述运动基元包括油门、制动和转向控制信号序列。
49.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
50.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。