一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法

一种基于模型长短时记忆神经网络lstm
‑
nn检测驾驶人驾驶分心的方法
技术领域
1.本发明涉及驾驶人注意力检测和主动安全技术领域，特别是设计一种基于lstm
‑
nn检测驾驶人驾驶分心的方法。


背景技术：

2.在驾驶人、机动车和道路组成的人
‑
车
‑
路闭环系统中，机动车驾驶人是其中的薄弱环节。据统计，美国和日本道路交通事故中驾驶人因素所占的比例均在90％以上，而中国也超过了80％。驾驶车辆是一个复杂的过程，主要包括环境感知、决策和执行等多个环节，在此期间难免发生分心失误、判断错误等突发异常，导致行车风险。其中，由于驾驶员主动参与次任务，分心驾驶导致交通事故占27％
‑
35％。分心驾驶本质上是驾驶人注意力的短暂转移，驾驶人的注意力部分从驾驶主任务转移到了与驾驶无关的事情上，例如，与乘客聊天、抽烟和调整车内设施等。分心状态下驾驶人的安全驾驶意识下降，容易造成交通事故。因此，快速准确的检测驾驶人注意力的状态，在其分心时进行及时提醒，对保护驾驶人的生命财产安全，保障道路顺畅具有重要的研究意义。
3.为避免驾驶员分心驾驶，许多国家和地区颁布了相关的法律法规和处理办法。例如，在英国开车时打电话最高可判入狱2年，如因发短信造成致死车祸，肇事司机面临最高14年的监禁；在美国驾驶人开车时打电话、操作gps导航、发送接收短信电子邮件被定义为危害公共安全罪，每次罚款120美元。在我国，根据相应法规：驾驶机动车不得有下列行为，拨打接听手持电话的行为，违者罚款200，扣2分。可以说，在法律层面上，分心驾驶也是被禁止的。尽管如此，分心驾驶的监管还是较为不足，一方面是分心驾驶时间短，表现状态各异。另一方面是车载地图、娱乐系统等的大力发展对驾驶人注意力的需求不断上升，伴随着这类需求的增长，分心驾驶已经成为了当前道路安全上的严重威胁。
4.驾驶员注意力监测系统(driving monitoring system,dms)是先进辅助驾驶系统(advance driving asistance system,adas)中的一块内容，这类系统通过摄像头捕捉驾驶人面部图像，采集车辆状态和操作数据等对驾驶人的注意力异常进行监测。如瑞典萨博驾驶人注意力监测系统和融合了驾驶人注意力信息的日本丰田驾驶辅助系统。目前针对驾驶人注意力多是通过驾驶人眼动信息、车辆状态信息等进行检测。至于驾驶人的心率、脑电、皮电等信息，则由于采集设备的庞大、笨重且昂贵，难以大规模在车辆上安装，因此应用并不广泛，偶尔的应用也是在实验室用来验证数据准确性。
5.基于车辆状态信息则由于成本低，数据来源简单可靠，应用较为普遍。例如德国梅赛德斯
‑
奔驰公司(mercedes
‑
benz)开发的驾驶员注意力辅助系统，该系统主要使用的操作信号为转向盘角度，并融合了踏板信号、车辆速度、纵向加速度等信号。除此之外，系统还将连续驾驶时间、车辆外部环境和车载信息系统(in
‑
vehicle information system,ivis)使用情况等信息综合起来，综合评价驾驶员注意力状态。
6.随着智能交通系统(intelligent transportation system,its)的发展，驾驶员
能够取得并利用的信息量越来越多且复杂。“人－辅助驾驶系统－车－路”各环节之间存在着复杂、频繁的信息交互。注意力监测研究的发展趋势是将道路场景信息、驾驶员眼动和操作信号、车辆状态信息综合考虑。然而，目前市场上的驾驶人注意力检测多针对于疲劳驾驶，这是一个长时间累积的过程，但驾驶分心时间短，特征多，类型复杂和结论一致性差。因此，快速识别驾驶人注意力状态，保障驾驶人的生命财产安全，具有一定的意义。


技术实现要素：

7.本发明内容为一种基于lstm
‑
nn检测驾驶人驾驶分心的方法，以实现对驾驶人注意力状态的快速识别。
8.为达到上述目的，本发明所采用的技术方案为：
9.一种基于模型长短时记忆神经网络lstm
‑
nn检测驾驶人驾驶分心的方法，包括以下步骤：
10.步骤1，通过信号采集模块采集车辆的纵向与横向参数；其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角；
11.步骤2，数据处理模块主要由驾驶分心信号检测单元和驾驶分心行为判别单元两部分组成，通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，包括数据标准化和差异化分析，若某类指标与驾驶分心之间存在显著性差异，则把该指标作为判别驾驶分心的指标之一并传输至驾驶分心行为判别单元，由驾驶分心行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块；
12.步骤3，分心预警模块根据驾驶分心的行为特征，通过内置单片机来确定是否接通该条支路，进行提示驾驶人注意力状态。
13.进一步，信号采集模块包括毫米波雷达、三轴加速仪、gps定位系统和高清摄像头四部分。
14.进一步，所述毫米波雷达采集试验车辆两侧车道、当前车道前车之间的车距及相对速度，测量范围为车辆前方横向40m，纵向150m内区域，数据采集频率10hz；三轴加速仪采集车辆三个方面的横向、纵向加减速度、方位角信息，用于确定车辆运动状态，数据采集频率10hz；gps定位系统提供车辆定位信息、数据采集频率1hz；4个高清摄像头拍摄车辆前视、后视、驾驶人面部、手部的驾驶行为。
15.进一步，所述步骤2的具体过程为：
16.步骤2.1：通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，使用min
‑
max归一化方法来减少不同尺度特征之间的差异；
[0017][0018]
其中，x
i
为第i个x指标的值，x
min
为x指标的最小值，x
max
为x指标的最大值，x
i
*为数据x
i
标准化之后的值；
[0019]
步骤2.2：使用皮尔逊相关系数法检验特征间的线性相关性，并删除相关系数绝对值大于0.8的特征：
[0020][0021]
其中，x
i
为指标x的第i个值，为指标x的均值，y
i
为指标y的第i个值，为指标y的均值，i＝1，2，
…
，n，r为指标x与指标y的相关系数；
[0022]
对于剩余特征，通过梯度提升决策树
‑
递归特征消除算法gbdt
‑
rfe进行分析指标的重要性，得到指标的重要度排序，进而通过递归特征消除rfe方法遍历选择重要度高的特征；其中梯度提升决策树gbdt采用boosting算法，能根据基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注，最终将n个基学习器进行加权结合，得到最优的特征参数；算法步骤具体过程为：
[0023]
所有样本在k个类别上的估计值f
k0
(x)初始化为0，有：
[0024]
f
k0
(x)＝0,k＝1,2,
…
，k；
[0025]
其中，k：表示待分类的类别，一共有k个类别；
[0026]
通过logistic变换将估值f(x)转换成0～1之间的概率p
k
(x)：
[0027][0028]
其中，f
k
(x)为样本x在第k个分类下的估值；f
l
(x)为样本x在第l个分类下的估值；
[0029]
遍历所有样本的概率，计算每个样本在第k个样本上的概率梯度
[0030][0031]
其中，i：表示样本编号，一共有n个样本；y
ik
为输入的样本数据的实际类别，当一个样本x属于类别k时，y
ik
＝1，否则y
ik
＝0；x
i
,i＝1,2,
…
,n为所有样本；
[0032]
沿着梯度方法到j个叶子节点的回归树r
jkm
：
[0033][0034]
计算每个子节点的增益γ
jkm
：
[0035][0036]
更新所有样本在k类下的估计值f
km
(x)：
[0037][0038]
其中，f
k，m
‑1(x)为第m
‑
1次迭代中的第k类下的估计值；
[0039]
步骤2.3：由驾驶分心行为判别单元对传输过来的多类指标进行分析判断：将上述车辆相关参数作为模型长短时记忆神经网络lstm
‑
nn的输入，预先通过实验得到模型的关键参数，神经元数量为64，迭代次数为100，batch_size为32，输出层激活函数选定sigmoid，优化器选择adam，学习率ir为10
‑3，损失函数为binary_crossentropy；若lstm
‑
nn的判别结果为驾驶人是驾驶分心状态，则由分心预警模块进行预警提醒，否则认为驾驶人注意力处
于正常状态。
[0040]
相比其他同类发明，本发明具有以下优点：
[0041]
1.本发明基于自然驾驶数据提取驾驶人驾驶分心事件。与驾驶模拟器等其他试验场地受限、驾驶人分心时间受限相比较，本试验数据更加接近于实际情况；
[0042]
2.本发明对驾驶人的驾驶行为进行实时监测，能够捕捉驾驶人的短时分心行为并且进行及时的传递；
[0043]
3.本发明采用非侵入式的车辆运动状态特征，采用gbdt
‑
rfe筛选重要度较高的特征指标，降低无关特征和冗余特征对于模型的影响，降低数据维度，提高模型运算速度；
[0044]
4.本发明采用lstm
‑
nn深度学习模型对分心状态进行分类。结果表明，驾驶分心是一个随时间动态波动的过程，且lstm
‑
nn模型能够学习前后时间序列信息并可靠地检测分心行为。
附图说明
[0045]
图1为本发明的基于lstm
‑
nn检测驾驶人驾驶分心的结构原理图；
[0046]
图2为lstm的立体结构图。
具体实施方式
[0047]
下面结合附图并举实施例，对于本发明进行详细描述。
[0048]
如图1
‑
2所示，本发明的一种基于lstm
‑
nn检测驾驶人驾驶分心的方法，信号采集模块、数据处理模块和分心预警模块三部分。
[0049]
信号采集模块包括毫米波雷达、三轴加速仪、gps定位系统(global position system,gps)和高清摄像头四部分。
[0050]
其中，多普勒雷达采集试验车辆两侧车道、当前车道前车之间的车距及相对速度，测量范围为车辆前方横向40m，纵向150m内区域，数据采集频率10hz；三轴加速仪采集车辆三个方面的横向、纵向加减速度、方位角信息，用于确定车辆运动状态，数据采集频率10hz；gps定位系统提供车辆定位信息(x、y、z坐标)、数据采集频率1hz；4个高清摄像头拍摄车辆前视、后视、驾驶人面部、手部的驾驶行为。
[0051]
数据处理模块主要由驾驶分心信号检测单元和驾驶分心行为判别单元两部分组成，驾驶分心信号检测单元和驾驶分心行为判别单元这部分工作在dsp芯片中编程完成。信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，主要包括数据标准化和差异化分析，若某类指标与驾驶分心之间存在显著性差异，则把该指标作为判别驾驶分心的指标之一并传输至行为判别单元，由行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块。
[0052]
分心预警模块(通过单片机stc89c52编程完成)根据驾驶分心的行为特征，通过内置单片机来确定是否接通该条支路，进行提示驾驶人注意力状态。其中，数据处理模块主要步骤为：
[0053]
使用min
‑
max归一化方法来减少不同尺度特征之间的差异；
[0054]
[0055]
其中，x
i
为第i个x指标的值，x
min
为x指标的最小值，x
max
为x指标的最大值，x
i
*为数据x
i
标准化之后的值。
[0056]
使用皮尔逊相关系数法检验特征间的线性相关性，并删除相关系数绝对值大于0.8的特征。
[0057][0058]
根据美国国家高速公路交通安全管理局(national highway traffic safety administration,nhtsa)的定义，驾驶分心根据来源被划分为四类，分别是视觉，认知，听觉和生物力学。视觉分心由视觉次任务导致，如查看导航设备，这类任务与驾驶主任务在视觉资源上产生直接的冲突；认知分心由认知次任务导致，如接听电话，虽然通话是听觉输入，不会直接占用驾驶人的视觉资源，但是通话内容引起驾驶人的视觉记忆时就会对视觉输入产生干扰，导致驾驶人出现视觉上的盲区。
[0059]
在实际的驾驶分心情况下，单一次任务导致的驾驶分心并不常见，相反地，几种次任务的混合导致地分心驾驶更为普遍。因此，本发明并不拘泥于某一种特定的次任务导致的驾驶分心，适用范围较为广泛。通过信号采集模块采集车辆的纵向与横向参数。其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角。
[0060]
由于本发明采用的是自然驾驶数据，因此对于驾驶分心下的跟车数据提取，通过设定下列条件：(1)毫米波雷达的探测目标识别号码未发生变化；(2)车辆在跟车期间未发生变道超车行为；(3)与前车的跟车距离小于80m，消除完全不受限的跟车状态；(4)自车的车速大于20km/h；(5)跟车时间不低于10s，获取足够的跟车片段供后续分析使用。
[0061]
对于采集到的特征参数，首先使用3δ准则去除异常数据，再通过max
‑
min对数据进行标准化，通过显著性差异分析筛选出无关特征，通过皮尔逊相关系数去除冗余特征，得到和驾驶人注意力相关的参数。基于gbdt
‑
rfe算法，将基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注，最终将n个基学习器进行加权结合，得到特征参数的重要度排序。具体算法过程为：
[0062]
k：表示待分类的类别，一共有k个类别；m：表示迭代次数，一共迭代m次；i：表示样本编号，一共有n个样本；f(x)为所有样本统称；f
k
(x)为样本x在第k个分类下的估值；f
l
(x)为样本x在第l个分类下的估值；y
ik
为输入的样本数据的实际类别，当一个样本x属于类别k时，y
ik
＝1，否则y
ik
＝0；x
i
,i＝1,2,
…
,n为所有样本；第m次迭代中的第k类下，所有样本的估计值f可以通过上次迭代m
‑
1中，这些样本的估计值+增益向量求得；
[0063]
f
k0
(x)＝0,k＝1,2,
…
，k
[0064]
//所有样本在k个类别上的估计值初始化为0；//
[0065]
for m＝1to m do:
[0066][0067]
//通过logistic变换将f(x)转换成0～1之间的概率p
k
(x)；//
[0068]
for k＝1to k do:
[0069][0070]
//遍历所有样本的概率，计算每个样本在第k个样本上的概率梯度//
[0071][0072]
//沿着梯度方法到j个叶子节点的回归树r
jkm
；//
[0073][0074]
//计算每个子节点的增益γ
jkm
；//
[0075][0076]
//更新所有样本在k类下的估计值f
km
(x)；//
[0077]
endfor
[0078]
endfor
[0079]
将上述车辆相关参数作为lstm
‑
nn的输入，预先通过实验得到模型的关键参数，神经元数量为64，迭代次数为100，batch_size为32，输出层激活函数选定sigmoid，优化器选择adam，学习率ir为10
‑3，损失函数为binary_crossentropy。若lstm
‑
nn的判别结果为驾驶人是驾驶分心状态，则由分心预警模块进行预警提醒，否则认为驾驶人注意力处于正常状态。
[0080]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0081]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。