驾驶员危险行为识别方法及系统与流程

本发明涉及的是一种智能动作识别领域的技术，具体是一种驾驶员危险行为识别方法及系统。

背景技术：

检测车内驾驶员的危险或疏忽行为的方法主要分为两类，一类为通过摄像头，另一类通过传感器。通过智能终端上的摄像头，提取图像信息来识别疏忽行为。通过设置于车辆上的传感器，即加速度计和陀螺仪，得到传感器数据来识别疏忽或危险行为。传感器只能监测车辆的状态，无法直接获得驾驶员的行为状态，且对智能终端的要求过高。

技术实现要素：

本发明针对现有技术在检测过程中对图像采集的要求较高，鲁棒性交叉的缺陷，提出一种驾驶员危险行为识别方法及系统，能够在保证识别精度的同时能够在危险行为的早期阶段即可识别结果出并给出警报，不需要依赖任何附加的外部设备，不容易受天气等外界环境的干扰。

本发明是通过以下技术方案实现的：

本发明涉及一种驾驶员危险行为识别方法，首先在车辆内设置超声波场，得到危险行为在多普勒频谱上的不同模式，然后经主成分分析提取主要特征，通过支持向量机算法得到识别不同危险行为的多分类器，并根据危险行为的完成度和持续时间建立梯度模型森林，最后将实时超声波信号经窗口切割算法进行切片后通过梯度模型森林识别出危险行为并发出警告。

所述的驾驶员危险行为识别方法具体包括以下步骤：

1)接收车内超声波信号并处理，获得超声波信号频谱结构的数据矩阵X'；

2)对若干数据矩阵X'通过主成分分析提取d个主要特征δ＝{δ₁,δ₂,....δ_d}；

3)基于主要特征δ和支持向量机模型构建多分类器模型θ；

4)针对危险行为的完成度α和持续时间τ，结合多分类器模型θ建立梯度模型森林Θ；

5)通过窗口切割算法将持续时间τ内的动作数据X^τ送入梯度模型森林Θ，识别出危险行为则发出警报。

所述的步骤1)具体包括以下步骤：

1.1)使用扬声器放出单频超声波信号；

1.2)通过麦克分进行信号采样；

1.3)通过快速傅里叶变换得到频率-幅度向量x_t'，加上时间维度后得到数据矩阵X'。

所述的单频超声波信号频率为20KHz，采样频率为44.1KHz。

所述的步骤2)具体包括以下步骤：

2.1)对每个数据矩阵X'进行去中心化和向量化处理得到去中心化数据向量x_k，并整合所有m个去中心化数据向量x_k得到训练数据矩阵X；

2.2)通过奇异值分解将训练数据矩阵X分解为奇异值矩阵Σ和两个特征值矩阵U和W，即X＝UΣW^T，矩阵W为的列为奇异值σ的特征属性的方向；

2.3)选取矩阵W的前d列构成投影矩阵W'＝[w₁,w₂,…,w_d]；

2.4)通过公式δ＝XW'得到d个主要特征δ＝{δ₁,δ₂,….δ_d}。

所述的d通过公式来求取，其中：σ_i为训练数据矩阵X中第i大的奇异值，t为重构阀值。

所述的多分类器模型θ包括个二分类器，每个二分类器针对一个特定的危险行为，其分类结果为v，v∈{0,1}，多分类器模型θ的分类结果其中：k为危险行为种类，表示对所有二分类器分类结果的投票，多分类器模型的分类结果c满足V_c(e)＝k-1则为对应的危险行为。

所述的森林梯度模型为其中：τ₁,τ₂,…,τ_n为一个离散的梯度时间，通过不同危险行为的完成度α和持续时间τ之间的关系得到，k∈{1,2,...,n}即为对应的第k个多分类器模型。

所述的步骤5)具体包括以下步骤：

5.1)在20KHz频率点上通过窗口切割算法，将滑动窗口内平均能量E与阈值λ进行比较，将E≥λ的部分对应的数据进行增量切割，不断得到持续时间为τ的动作数据X^τ；

5.2)代入森林梯度模型，若输出的分类结果显示属于危险驾驶行为，则为危险行为发出警报。

本发明涉及一种驾驶员危险行为识别系统，包括：数据采集处理模块、主要特征提取模块、森林梯度模型训练模块以及在线危险行为识别模块，其中：数据采集处理模块与主要特征提取模块相连并传输经过预处理之后得到的数据矩阵，主要特征提取模块与森林梯度模型训练模块相连并传输提取的主要特征，森林梯度模型训练模块与在线危险行为识别模块相连并传输森林梯度模型信息，在线危险行为识别模块基于在线采集的数据和森林梯度模型实时给出危险行为的识别结果。

附图说明

图1为本发明流程示意图；

图2为四种危险行为示意图；

图3为四种危险行为的频谱；

图4为前倾行为与其它危险行为在二维空间上的数据分布对比图；

图5为危险行为的完成度与持续时间的拟合关系曲线；

图6为前倾行为的能量均值图；

图7为危险行为识别的准确率、召回率以及F值示意图；

图8为不同危险行为的负正类率箱形图；

图9为危险行为识别时间的累积分布率示意图；

图10为识别准确率示意图；

图11为智能终端不同位置下的准确率示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例中，首先在车辆内设置超声波场，得到危险行为在多普勒频谱上的不同模式，然后经主成分分析提取主要特征，通过支持向量机算法得到识别不同危险行为的多分类器，并根据危险行为的完成度和持续时间建立梯度模型森林，最后将实时超声波信号经窗口切割算法进行切片后通过梯度模型森林识别出危险行为并发出警告。

如图2所示，所述的典型危险行为包括前倾(Fetching Forward)、进食(Eating&Drinking)、转头(Turning Back)以及拾物(Picking up Drops)等四类。

具体包括以下步骤：

1)接收车内超声波信号并处理，获得超声波信号频谱结构的数据矩阵X'。

1.1)使用扬声器放出单频超声波信号。使用智能终端中的扬声器发出20KHz的单频超声波信号。

1.2)通过麦克分进行信号采样。以44.1KHz频率采样，得到信号在时域上的信息。

1.3)通过快速傅里叶变换得到频率-幅度向量x′_t，加上时间维度后得到数据矩阵X'。

如图3所示，通过窗宽为2048个点的快速傅里叶变换得到1024维频率-幅度向量x′_t，其表示t时刻从0Hz到22.05KHz的平均分布的离散频率所对应的幅值。加上时间维度后，得到表示一端时间内超声波信号频谱结构的数据矩阵X'。

2)对若干数据矩阵X'通过主成分分析提取主要特征δ＝{δ₁,δ₂,....δ_d}。

2.1)对每个数据矩阵进行去中心化处理，得到训练数据矩阵X。对每个数据矩阵X'进行去中心化处理，即将矩阵X'_k向量化，展开成向量x_k，合成训练数据矩阵X。

2.2)通过奇异值分解将训练数据矩阵X分解为奇异值矩阵Σ和两个特征值矩阵U和W，即X＝UΣW^T，矩阵W的列即为特征属性的方向。奇异值矩阵Σ是对角矩阵，其中的元素，即奇异值σ_i在主对角线上按从大到小排列，而矩阵W的第i列即为奇异值σ_i对应的特征属性，奇异值σ_i越大，对应矩阵W的第i列代表的特征属性对于训练数据矩阵X来说越重要。

2.3)选取矩阵W的前d列构成投影矩阵W'＝[w₁,w₂,…,w_d]。

2.4)通过δ＝XW'得到d个主要特征δ＝{δ₁,δ₂,....δ_d}。

为了避免学习过程中出现过拟合，需要在保留足够原数据信息的条件下使得主要特征数目d尽可能小，此时可以考虑主成分分析的重构性原则，即其中：σ_i为训练数据矩阵X中第i大的奇异值，t为重构阀值。为保证主要特征的有效性，t取0.95，d取17。如图4所示，d取2时，四个危险行为在二维特征空间上分布显示了只需要两个主要特征就可以使得危险行为之间两两可分。

3)基于主要特征和支持向量机模型构建多分类器模型θ。

基于提取的二维主要特征和支持向量机模型,对每两个典型的危险行为动作之间训练得到一个二分类器，共可得到个二分类器，k为典型危险行为的种类，对某一个特定的危险行为的类别投1，其他类投0。对于一个行为e，其得到的所有票为分类结果为同时分类结果还需要满足V_c(e)＝k-1，此时分类结果c即为对应结果的第c种危险行为，若不满足V_c(e)＝k-1则分为“其他行为”类，此即为多分类器模型θ。

4)针对危险行为的完成度α和持续时间τ整合多个多分类器模型θ建立梯度模型森林。

定义一个开始于t₀结束于t₁的动作e在t时刻的完成度为针对不同危险行为的完成度α和持续时间τ之间的关系进行建模，即梯度模型森林。

如图5所示，每种不同的危险行为的完成时间T都近似满足一个高斯分布，故对不同的行为的完成时间以高斯分布进行拟合。高斯分布中，均值μ附近两倍方差σ的范围可以涵盖95％以上的数据，本发明对每个危险行为取T＝μ，T＝μ-2σ和T＝μ+2σ三个特异点的完成时间得到三条完成度α和持续时间τ之间的关系直线。之后在这三条直线上各取一点(T＝μ-2σ对应的起点，T＝μ对应的中点，T＝μ+2σ对应的终点)，以这三个点拟合一个二次函数作为完成度α和持续时间τ之间的关系曲线。

将动作持续时间离散为一个n维的梯度时间向量T＝{τ₁,τ₂,…,τ_n}，根据这个向量以及每类危险行为完成度α和持续时间τ之间的关系，对训练数据矩阵X进行切分，得到梯度训练数据再通过上述方法进行训练，得到梯度模型森林

所述的梯度模型森林即为n个多分类器模型θ的整合。

5)通过窗口切割算法将持续时间τ的动作数据X^τ送入梯度模型森林，识别出危险行为则发出警报。

5.1)在20KHz频率点上通过窗口切割算法，将滑动窗口内平均能量E与阈值λ进行比较，将E≥λ的部分对应的数据进行增量切割，不断得到持续时间为τ的动作数据X^τ；

5.2)代入森林梯度模型，若输出的分类结果显示属于危险驾驶行为，则为危险行为发出警报。

如图6所示，当有动作发生时，20kHz频率附近的频率点上的能量由于多普勒效应的影响明显变高。因此，取20kHz频率附近的频率点上的能量的均值作为判断依据，通过滑动窗口将窗口内的能量值的大小与阈值进行比较，从而确定一个驾驶行为动作的开始和结束。

在确定一个行为动作的开始后，按照时间不断地将这个动作的数据X^τ以及当前的持续时间τ增量式地送入梯度模型森林进行识别，直到系统给出识别结果或是监测到该驾驶行为动作的结束。

对于一个持续时间为τ∈[τ_i,τ_i+1]的动作数据切片，系统分别调用梯度模型森林中第i和i+1个分类器模型和对这一动作进行识别，只有模型和的识别结果相同，才被记为一次有效的识别。同时，需要连续数次给出相同结果的有效识别才能输出结果，这个连续的次数定义为置信长度l。而在系统不能满足置信长度无法给出识别结果时，系统采用梯度模型森林中最后一个分类器的识别结果作为最终结果，此时系统模型退化为未使用梯度模型森林的多分类器模型θ。

本实施例中的驾驶员危险行为识别系统，包括：数据采集处理模块、主要特征提取模块、森林梯度模型训练模块以及在线危险行为识别模块，其中：数据采集处理模块与主要特征提取模块相连并传输经过预处理之后得到的数据矩阵，主要特征提取模块与森林梯度模型训练模块相连并传输提取的主要特征，森林梯度模型训练模块与在线危险行为识别模块相连并传输森林梯度模型信息，在线危险行为识别模块基于在线采集的数据和森林梯度模型实时给出危险行为的识别结果。

评估驾驶员危险行为识别方法时，8个司机驾驶安装加载本发明的系统的智能终端的车辆，进行测试。

评估驾驶员危险行为识别方法的指标主要分为危险行为动作识别地准确率和识别时间两个方面。识别的准确率用F-score(F值)和False Positive Rate(负正类率)来刻画。F-score是一个综合了precision(精度)和recall(召回率)的指标，可代表识别的准度，公式为而False Positive Rate刻画的是不属于某类的动作被误识别为该类动作的概率。识别时间则可以用CDF(累积分布函数)图来表示。

如图7所示，对于整个测试数据集来说，对不同的典型危险行为动作而言，本发明的识别准确率是非常可观。具体来说，对于所有典型危险行为动作，识别的precision都在89％以上，recall都大于91％，而在最具综合性的指标F-score上都不低于92％。显示了本发明的系统保证了基本的识别准确率，是一个实际可用的方法。

如图8所示，对于所有8位参加测试数据收集的司机，显示了本发明识别过程中的False Positive Rate。这个指标对于实际系统而言是非常重要的，因为系统要尽量避免将正常驾驶行为误识别为危险行为而对驾驶员产生困扰。可以看出，系统对于不同的典型危险行为动作最高的False Positive Rate也没有超过2.5％，平均值更是低达1.4％，可见系统对于用户来说是非常友好的。

如图9所示，对于不同的典型危险行为动作和所有典型危险行为动作的综合，显示了识别时间的累积分布函数。可以看出，50％的典型危险行为动作可以在1.4s内被识别出来，而当这个时间到达2.3s，超过80％的典型危险行为动作可以被系统识别。而典型危险行为动作的平均完成时间为4.6s。也就是说，超过80％的典型危险行为动作可以在完成度不到50％时即被系统识别，实现了系统所追求的早期识别。

如图10所示，针对不同的交通状况和道路状况，显示了系统对于不同的典型危险行为动作的识别准确率。可以看出，系统的识别准确率相对稳定，而随着交通状况和道路状况的不同略有不同。具体来说，在交通的高峰期相对非高峰期识别准确率略有下降；同时在普通道路相对于高速路识别率也略低。表明系统对于不同的交通状况和道路状况有着较好的鲁棒性。

如图11所示，针对智能终端在车辆内的不同放置位置，显示了系统对于不同的典型危险行为动作的识别准确率。可以看出，系统的识别准确率相对稳定，而随着智能终端放置位置的不同略有差异。放置在车辆的操作面板附近效果最佳，放置在驾驶员的左右侧位置效果次之，放在驾驶员的衣服口袋内效果稍差。但差距都很小，最差的情况下也有88％以上的识别精度。表明系统对于智能终端在车内的放置位置没有严格要求，各个位置下系统均可正常工作，显示了系统的便利性和鲁棒性。

与现有技术相比，本发明能够在保证识别精度的同时能够在危险行为的早期阶段即可识别结果出并给出警报，并且本发明利用智能手机发出超声波信号，不需要依赖任何附加的外部设备，不容易受天气等外界环境的干扰。