一种基于混合学习的驾驶员转向意图预测方法与流程

[0001]
本发明属于智能驾驶技术领域，特别是一种基于混合学习的驾驶员转向意图预测的方法。


背景技术：

[0002]
自动驾驶技术的飞速发展给汽车工业和学术界提出了一系列具有挑战性的问题。其中，探索人类驾驶员在未来自动驾驶车辆中可以扮演的角色以及人类和智能车辆如何有效协作是必不可少的任务之一。相互理解是多智能体组队和协作的一个关键方面，通过理解双方的意图，使得人类驾驶员和智能车辆能够有效地协作。在实现全自动驾驶汽车之前，驾驶员仍将需要与自动化设备共享部分车辆控制权限。在这种情况下，预测驾驶员的转向意图使智能车辆能够提前优化与驾驶员的辅助和协作策略，从而为驾驶员与车辆之间的协作提供了一种智能的相互理解系统。
[0003]
驾驶员转向意图对以人为中心的自动驾驶系统的发展起着至关重要的作用。具体来说，两个重要的自动驾驶技术可以受益于驾驶员意图预测。首先，驾驶员意图预测可用于共享的控制和共享的转向策略的优化。对转向力矩等未来转向意图的连续预测，将为共享转向控制系统提供必要的信息。补偿和优化的转向策略可以通过自动化预先确定，以保证在正常和关键环境下的驾驶安全。其次，对于部分自动化的驾驶车辆，控制权在人类驾驶员和自动化车辆之间的转换应该是安全和平稳的。由于人类驾驶员经过一段时间的自动驾驶之后会出现驾驶技能退化的现象，因此评价人类驾驶员在接管操纵之后的驾驶性能至关重要。因此，预测驾驶员的转向意图将使自动化车辆评估未来的驾驶行为，评估驾驶风险，并为驾驶员提供必要的协助。
[0004]
现有的驾驶员意向预测研究主要集中在驾驶员的驾驶意向推断上，如刹车、换道和转弯意向。结果表明，在高速公路和城市道路上，车道变更意向的预测精度可以达到3.5s以上，预测精度达到80％。目前大多数研究集中在基于视频序列与内外环境、数字地图、gps和激光雷达信息融合做离散意图分类和预测，这些方法通常需要进行复杂的传感器融合和数据协调。结果表明，ldw系统在预测换道前0-1.5s的意图非常有效，虽然驾驶意图可以在较大的预测范围内进行预测(通常为0s-3.5s)，但由于驾驶员生理状态与驾驶行为之间缺乏联系，只能估计出离散的意图状态。
[0005]
驾驶员的神经肌肉动力学和肌电信号在过去的几十年中得到了广泛的研究。现有的研究主要集中在高级驾驶员辅助系统(adas)的转向辅助系统设计、力觉共享控制和接收控制等方面。虽然肌电信号和神经肌肉动力学在驾驶行为建模和估计方面已经得到了广泛的研究，但是对于连续和离散意图预测，具有较长预测视野的驾驶意图预测仍然需要开发和定量分析。


技术实现要素：

[0006]
针对上述问题，本发明的目的是提供一种基于混合学习的驾驶员转向意图预测方
法，该方法基于肌电图信号处理和时间序列建模，对驾驶员转向意图进行预测。
[0007]
为实现上述目的，本发明采取以下技术方案：一种基于混合学习的驾驶员转向意图预测方法，其包括以下步骤：
[0008]
1)在驾驶模拟平台上进行多模式数据收集，并对收集的多模式数据进行预处理；
[0009]
2)基于预处理后的多模式数据建立混合学习时间序列模型；
[0010]
3)在智能车辆上装载混合学习时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该混合学习时间序列模型进行预测，得到驾驶员连续转向意图预测和离散转向意图预测结果。
[0011]
进一步地，所述步骤1)中，在驾驶模拟平台上进行多模式数据收集，并对收集的数据进行预处理的方法，包括以下步骤：
[0012]
1.1)搭建驾驶模拟平台：利用carsim仿真平台构建驾驶模拟场景；驾驶舱下方设置液压伺服系统，用于对车辆动态响应进行反馈；转向盘下方设置力传感器和扭矩角传感器，用于实时检测转向动力学数据；肌电信号采集仪包括肌电仪和肌电采集电极，肌电采集电极粘贴在驾驶员身上，所采集的肌电数据发送到肌电仪；其中，力传感器采用型号为：dynpick wef-6a1000；扭矩角传感器采用型号为tr-60tc，肌电信号采集电极采用型号为日本kohden zb-150h无线传感器，采样频率为1000赫兹；
[0013]
1.2)在搭建好的驾驶模拟平台上进行多模式数据收集，采集的多模式数据包括单右手驾驶和双手驾驶两种驾驶模式下，三种不同的驾驶姿势的肌电信号数据和转向力矩数据；
[0014]
1.3)对采集的多模式数据进行滤除噪声和平滑处理。
[0015]
进一步地，所述步骤2)中，基于预处理后的多模式数据建立混合学习时间序列模型的方法，包括以下步骤：
[0016]
2.1)构建混合学习时间序列模型；
[0017]
2.2)利用处理后的多模式数据对建立的混合学习时间序列模型进行训练，获得混合学习时间序列模型参数；
[0018]
2.3)根据现有的驾驶员转向意图预测模型对混合学习时间序列模型的连续转向扭矩预测结果进行评估和比较，并根据评估和比较结果对混合学习时间序列模型进行修改或调整。
[0019]
进一步地，所述步骤2.1)中，构建的混合学习时间序列模型包括连续转向预测网络模型和离散转向预测网络模型，且所述连续转向预测网络模型和离散转向预测网络模型采用相同的基础双向lstm rnn网络层；所述连续转向预测网络模型还包括第一个性化双向lstm rnn网络层、第一全连接层和第一输出层，用于根据所述基础双向lstm rnn网络层的输出数据对驾驶员连续转向意图进行预测；所述离散转向预测网络模型还包括第二个性化双向lstm rnn网络层、第二全连接层以及第二输出层，用于根据所述基础双向lstm rnn网络层的输出数据对驾驶员离散转向意图进行预测。
[0020]
进一步地，所述连续转向预测网络模型表示为：
[0021]
s
t
＝fc
p
(fc
s
(bilstm
s
(bilstm
c
(in
t
))))
[0022]
其中，fc
p
是连续转向预测网络最后的输出层；fc
s
是由100个神经元构成的第一全连接层；bilstm
s
是第一个性化双向lstm rnn网络，每个方向的转向力矩预测序列有40个
lstm单元；bilstm
c
是基础双向lstm rnn网络，每个方向的公共时间模式提取有60个lstm单元；
[0023]
s
t
为t时刻的转向力矩预测序列，描述为：
[0024][0025]
其中，是t+p时间步长的预测转向力矩，p是预测时域；
[0026]
连续转向预测网络模型的输入in_c
t
描述为：
[0027]
in_c
t
＝{(emg
1，t-h
，emg
2，t-h
，
…
，emg
10，t-h
，s
t-h
[0028]
emg
1，t-h+1
，emg
2，t-h+1
，
…
，emg
10，t-h+1
，s
t-h+1
，
[0029]
…
，emg
1，t
，emg
2，t
，
…
，emg
10，t
，s
t
)}
[0030]
其中，emg
i，t-h
是t-h时间步长的第i个肌电信号，h是用于控制输入长度的历史时域，连续转向预测情况下，采用固定的历史时域值200；
[0031]
采用均方误差损失函数loss
c
进行连续的序列到序列的转向扭矩预测，其计算公式为：
[0032][0033]
其中，l为序列长度，t
i
为在第i步的目标输出，y
i
为连续转向预测网络模型的预测输出。
[0034]
进一步地，所述离散意图预测网络表示为：
[0035]
i
t
＝softmax
d
(fc
d
(bilstm
d
(bilstm
c
(in
t
))))
[0036]
其中，softmax
d
为离散意图分类的第二输出层，fc
d
是由100个神经元构成的第二全连接层，bilstm
d
是第二个性化双向lstm rnn网络，每个方向的序列转向转矩预测有40个lstm单元，bilstm
c
是基础双向lstm rnn网络，与所述连续转向预测网络模型相同；
[0037]
所述离散转向预测网络模型的输入in_c
t
描述为：
[0038]
in_c
t
＝{(emg
1，t-h
，emg
2，t-h
，
…
，emg
10，t-h
，s
t-h
[0039]
emg
1，t-h+1
，emg
2，t-h+1
，
…
，emg
10，t-h+1
，s
t-h+1
，
[0040]
…
，emg
1，t
，emg
2，t
，
…
，emg
10，t
，s
t
)}
[0041]
其中，emg
i，t-h
是t-h时间步长的第i个肌电信号，h是用于控制输入长度的历史时域；离散转向意向预测案例中，h在100到800之间变化；
[0042]
所述离散意图预测网络采用的损失函数为交叉熵损失函数，描述为：
[0043][0044]
其中，n为样本总数，k为类数，i
ij
表示第i个样本属于第j个类，y
ij
为softmax层输出，表示样本与类关联的概率。
[0045]
进一步地，所述步骤2.2)中，利用处理后的多模式数据对建立的混合学习时间序列模型进行训练，获得混合学习时间序列模型参数的方法，包括以下步骤：
[0046]
2.2.1)基于200ms预测时域和历史时域对序列数据进行分割，得到由双手驾驶模式下和单手驾驶模式下的序列数据构成的数据集；
[0047]
2.2.2)从数据集中随机选取训练数据和测试数据，其中，80％的数据用于模型训练，其余的用于模型测试；
[0048]
2.2.3)采用训练数据对连续转向预测网络模型进行训练，得到训练好的连续转向预测网络模型的模型参数；
[0049]
2.2.4)将连续转向预测网络模型中的基础双向lstm rnn网络层与离散意图预测网络模型中的第二个性化双向lstm rnn网络层和第二全连接层连接起来，基于转移学习方法进行离散转向意向预测，得到训练好的离散意图预测网络模型的网络参数。
[0050]
进一步地，上述步骤3)中，进行在线转向意图预测的方法，包括以下步骤：
[0051]
3.1)对真实驾驶环境中驾驶员驾驶时的肌电信号进行采集，并对采集到的肌电信号进行预处理；
[0052]
3.2)将处理后的肌电信号序列作为输入，输入到混合学习时间序列模型，并输出预测的转向扭矩序列，用公式描述为：
[0053]
y＝csip(x)
[0054]
其中，csip()是混合学习时间序列模型；x是处理后的肌电信号序列，y是预测的未来连续转向扭矩序列和离散转向意图类别。
[0055]
本发明由于采取以上技术方案，其具有以下优点：1、本发明基于混合学习的时间序列建模方法实现了连续转向力矩预测和离散意图分类。在混合学习网络中，连续预测和离散预测都是自动决策和协同驱动算法的关键特征和输入。2、本发明把上肢肌肉的神经肌肉动力学信号应用于时间序列模型，基于肌电信号和转向力矩之间的互相关分析，表明信号之间存在很强的相关性，并且历史观测可以导致在一定的预测时间范围内对转向意图的精确预测。因此，本发明可以广泛应用于驾驶员转向意图预测领域。
附图说明
[0056]
图1是本发明驾驶员转向意图预测系统的上层体系结构；
[0057]
图2a～图2d是本发明emg电极的放置示意图，其中图2a是双手驾驶模式emg电极在驾驶员正面的放置位置示意图；图2a是双手驾驶模式emg电极在驾驶员背面的放置位置示意图；图2c是单手驾驶模式emg电极在驾驶员正面的放置位置示意图；图2d是单手驾驶模式emg电极在驾驶员背面的放置位置示意图；
[0058]
图3是本发明实施例中五种基于转向扭矩变化的预定义的离散的转向意图；
[0059]
图中：1、右锁骨部分前三角肌(pma-c)；2、右三角肌前部(delt-a)；3、左前三角肌(pma-c)；4、左三角肌前部(delt-a)；5、左三角肌后部(delt-p)；6、左大三头肌(tm)；7、左肱三头肌长头(tb-l)；8、右三角肌后部(delt-p)；9、右大三头肌(tm)；10、右肱三头肌长头(tb-l)；11、锁骨胸大肌(pma-c)；12、三角肌前部(delt-a)；13、肱二头肌(bc)；14、胸大肌(pm)，15、三角肌中部(外侧)(delt-m)，16、肱三头肌外侧头(tb-lat)，17、肱三头肌长头(tb-l)，18、三角肌后部(delt-p)，19、冈下肌(inft)，20、大圆肌(tm)。
具体实施方式
[0060]
下面结合附图和实施例对本发明进行详细的描述。
[0061]
如图1所示，本发明提供了一种基于混合学习的驾驶员转向意图预测方法，其包括
以下步骤：
[0062]
1)数据收集：在驾驶模拟平台上进行多模式数据收集，并对收集的数据进行预处理；
[0063]
2)模型构建：基于预处理后的多模式数据建立混合学习时间序列模型；
[0064]
3)转向意图预测：在智能车辆上装载混合学习时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该混合学习时间序列模型进行预测，得到驾驶员连续转向意图预测和离散转向意图预测结果。
[0065]
上述步骤1)中，在驾驶模拟平台上进行多模式数据收集，并对收集的数据进行预处理的方法，包括以下步骤：
[0066]
1.1)搭建驾驶模拟平台；
[0067]
1.2)在搭建好的驾驶模拟平台上进行多模式数据收集，采集的多模式数据包括单右手驾驶和双手驾驶两种驾驶模式下，三种不同的驾驶姿势的肌电信号数据和转向力矩数据；
[0068]
1.3)对采集的多模式数据进行滤除噪声和平滑处理。
[0069]
上述步骤1.1)中，搭建架势模拟平台时：利用carsim仿真平台构建驾驶模拟场景；驾驶舱下方设置液压伺服系统，用于对车辆动态响应进行反馈；转向盘下方设置力传感器(dynpick wef-6a1000)和扭矩角传感器(tr-60tc)，用于实时检测转向动力学数据；肌电信号采集仪包括肌电仪和肌电采集电极，肌电采集电极采用日本kohden zb-150h无线传感器，采样频率为1000赫兹。
[0070]
上述步骤1.2)中，采集肌电信号时，肌电信号采集仪中的肌电采集电极的设置位置为：
[0071]
如图2a～图2b所示，对于双手驾驶模式，肌电信号从十块肌肉(每个上肢的五块肌肉)上收集，包括左锁骨部分前三角肌(pma-c)、右锁骨部分前三角肌(pma-c)、左三角肌前部(delt-a)、右三角肌前部(delt-a)、左三角肌后部(delt-p)、右三角肌后部(delt-p)、左大三头肌(tm)、右大三头肌(tm)、左肱三头肌长头(tb-l)和右肱三头肌长头(tb-l)。
[0072]
如图2c和图2d所示，对于单个右手驾驶模式，将十个电极放置在以下肌肉上：锁骨胸大肌(pma-c)、三角肌前部(delt-a)、三角肌中部(外侧)(delt-m)、三角肌后部(delt-p)、肱三头肌长头(tb-l)、肱三头肌外侧头(tb-lat)、肱二头肌(bc)、冈下肌(inft)、胸大肌(pm)和大圆肌(tm)。
[0073]
电极放置在相关肌肉的中央，并与附近的肌肉保持尽可能远的距离，以防止干扰。
[0074]
上述步骤1.3)中，对采集的多模式数据进行处理时，可以采用小波变换法来过滤噪声并平滑高频肌电信号，仅使用时域中的数据，并且不考虑频域和时频域中的特征，从而避免了某些切片的特征不完整。
[0075]
上述步骤2)中，基于预处理后的多模式数据建立混合学习时间序列模型的方法，包括以下步骤：
[0076]
2.1)构建混合学习时间序列模型；
[0077]
2.2)利用预处理后的多模式数据对建立的混合学习时间序列模型进行训练，获得混合学习时间序列模型参数；
[0078]
2.3)根据现有的驾驶员转向意图预测模型对混合学习时间序列模型的连续转向
扭矩预测结果进行评估和比较，并根据评估和比较结果对混合学习时间序列模型进行修改或调整。
[0079]
上述步骤2.1)中，混合学习时间序列模型的构建包括：连续转向预测网络模型和离散意图预测网络模型。
[0080]
首先，如图1所示，进行连续转向预测网络模型的构建，连续转向预测网络模型表示为：
[0081]
s
t
＝fc
p
(fc
s
(bilstm
s
(bilstm
c
(in_c
t
))))
ꢀꢀꢀꢀ
(1)
[0082]
其中，fc
p
是连续转向预测网络模型最后的输出层；fc
s
是由100个神经元构成的全连接层；bilstm
s
是个性化的双向lstm rnn网络，每个方向的转向力矩预测序列有40个lstm单元；bilstm
c
是与离散意图预测网络模型共用的基础双向lstm rnn网络，每个方向的公共时间模式提取有60个lstm单元。
[0083]
连续转向预测网络模型的输出s
t
为t时刻的转向力矩预测序列，可以描述为：
[0084][0085]
其中，是t+p时间步长的预测转向力矩，p是预测时域。
[0086]
连续转向预测网络模型的输入in_c
t
可以描述为：
[0087]
in_c
t
＝{(emg
1，t-h
，emg
2，t-h
，
…
，emg
10，t-h
，s
t-h
[0088]
emg
1，t-h+1
，emg
2，t-h+1
，
…
，emg
10，t-h+1
，s
t-h+1
，
[0089]
…
，emg
1，t
，emg
2，t
，
…
，emg
10，t
，s
t
)}
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0090]
其中，emg
i，t-h
是t-h时间步长的第i个肌电信号，h是用于控制输入长度的历史时域，在连续转向扭矩预测情况下，采用固定的历史时域值200，相当于预测时域。总之，连续转向预测网络模型的输入序列(in_c
t
)的维数为11
×
200，模型输出序列s
t
维数为1
×
200。
[0091]
采用均方误差损失函数loss
c
进行连续的序列到序列的转向扭矩预测。
[0092][0093]
其中，l为序列长度，t
i
为在第i步的目标输出，y
i
为连续转向预测网络模型的预测输出。
[0094]
其次，在对连续转向扭矩预测网络进行训练后，用转移学习的方法利用基时间模式提取层构建离散意图预测网络模型。离散意图预测网络模型可以表示为：
[0095]
i
t
＝softmax
d
(fc
d
(bilstm
d
(bilstm
c
(in
t
))))
ꢀꢀꢀꢀ
(5)
[0096]
其中，softmax
d
为离散意图分类的softmax层，fc
d
是有100个神经元的全连接层，bilstm
d
是个性化的双向lstm rnn网络，每个方向的序列转向转矩预测有40个lstm单元，bilstm
c
是与连续转向预测网络模型相同的基础双向lstm rnn网络。
[0097]
用于离散意图分类模式的输入in_d
t
与连续转向预测网络模型的输入in_c
t
格式相同。在离散转向意向预测案例中，h在100到800之间变化，p在100到1000之间变化也将被评估。模型输出i
t
是意图状态，i
t
∈[1，2，3，4，5]表示根据转向力矩的变化定义的五种转向状态以表征不同的转向动作，如图3所示。
[0098]
对于离散转向意图预测任务，多类分类任务采用交叉熵损失函数，描述为：
[0099][0100]
其中，n为样本总数，k为类数，i
ij
表示第i个样本属于第j个类，y
ij
为softmax层输出，表示样本与类关联的概率。
[0101]
上述步骤2.2)中，深度时间序列模型的训练方法：
[0102]
深度时间序列模型搭建完成后，需要利用采集的数据基于学习的方法获得神经网络参数。具体的，包括以下步骤：
[0103]
2.2.1)基于200ms预测时域和历史时域对序列数据进行分割：本实施例中从21个参与者中收集了双手驾驶模式下的25333条驾驶序列，单手驾驶模式下的26750条驾驶序列；
[0104]
2.2.2)训练和测试数据从数据集中随机选取，80％的参与者的数据用于模型训练，其余的用于模型测试；
[0105]
2.2.3)采用训练数据对连续转向预测网络模型进行训练，得到训练好的连续转向预测网络模型的模型参数；
[0106]
2.2.4)将连续转向预测网络模型中的基础双向lstm rnn网络层与离散意图预测网络模型中的个性化双向lstm rnn网络层和全连接层连接起来，基于转移学习方法进行离散转向意向预测，最终得到训练好的离散意图预测网络模型的网络参数。
[0107]
上述步骤3)中，进行在线转向意图预测的方法，包括以下步骤：
[0108]
3.1)对真实驾驶环境中驾驶员驾驶时的肌电信号进行采集，并对采集到的肌电信号进行预处理；
[0109]
3.2)将处理后的肌电信号序列作为输入，输入到混合学习时间序列模型，并输出预测的转向扭矩序列。
[0110]
这一连续转向预测模型可以被描述为：
[0111]
y＝csip(x)
[0112]
其中，csip()是混合学习时间序列模型；x是处理后的肌电信号序列，y是预测的未来连续转向扭矩序列和离散转向意图类别。
[0113]
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。