用于检测激进驾驶状态的检测方法、检测装置与流程

1.本发明涉及用于检测交通工具的激进驾驶状态的检测方法、检测装置和计算机可读存储介质。


背景技术：

2.随着科技的不断发展，人工智能技术的不断成熟，辅助驾驶、自动驾驶技术也越来越多地被应用。在辅助驾驶或自动驾驶的应用中，安全驾驶一直是人们关注的重点，而激进的危险驾驶行为引起的交通事故越来越多，如何有效的进行激进驾驶状态检测，给予用户有效的提醒，避免事故发生逐渐引起了人们的关注。
3.目前，存在有通过对交通工具的横纵向加速度信号与速度信号相结合，判断其是否超出阈值来检测激进驾驶状态(例如急加速、急减速、急转弯、急变道等)，或者通过模板匹配的方式来进行对激进驾驶状态的检测。


技术实现要素：

4.发明所要解决的技术问题
5.然而，现有的激进驾驶状态的检测方法需要对特定的驾驶行为进行准确的标定，而标定的结果直接影响监测的结果，难以适应各种复杂路况和场景，并且输入数据单一，检测不够准确。
6.本发明正是鉴于上述情况而完成的，其目的在于，提供用于检测交通工具的激进驾驶状态的检测方法、检测装置和计算机可读存储介质，其能够适应各种复杂场景，所获得的检测结果更为全面，可有效避免瞬时测量的不准确性，同时又可以接近实时地对驾驶员的激进驾驶状态进行有效提醒。
7.解决技术问题的技术方案
8.在解决上述问题的本发明的一个实施例中，提供了一种用于检测交通工具的激进驾驶状态的检测方法，其特征在于，包括：经由交通工具内总线获取第一时间段内所述交通工具的驾驶数据；获取所述第一时间段内的由视觉系统检测到的驾驶员表情数据；提取所述驾驶数据和/或所述驾驶员表情数据的统计学特征；以及利用激进驾驶检测模型基于所提取的所述驾驶数据和/或所述驾驶员表情数据的所述统计学特征判断所述交通工具是否处于所述激进驾驶状态。
9.在本发明的一实施例中，所述激进驾驶检测模型通过以下步骤进行训练：获取历史驾驶数据和历史驾驶员表情数据；提取第二时间段内的所述历史驾驶数据和所述历史驾驶员表情数据作为样本数据集；人工判断所述样本数据集是否对应于所述激进驾驶状态；提取所述历史驾驶数据和/或所述历史驾驶员表情数据的统计学特征；以及将所提取的所述历史驾驶数据和/或所述历史驾驶员表情数据的统计学特征以及所述激进驾驶状态的判断结果输入所述激进驾驶检测模型来训练所述激进驾驶检测模型。
10.在本发明的一实施例中，所述统计学特征包括最大值、最小值、均值、方差和数值
范围中的一个或多个。
11.在本发明的一实施例中，在进行所述人工判断时，向用户提供可视化界面。
12.在本发明的一实施例中，所述可视化界面以视觉方式呈现所述第二时间段内的所述历史驾驶数据和所述历史驾驶员表情数据中的至少一部分。
13.在本发明的一实施例中，所述可视化界面还呈现对应于所述样本数据集的行驶视频。
14.在本发明的一实施例中，所述激进驾驶检测模型采用分类算法。
15.在解决上述问题的本发明的一个实施例中，提供了一种用于检测交通工具的激进驾驶状态的检测装置，其特征在于，包括：一个或多个交通工具传感器，所述一个或多个交通工具传感器被配置用于检测所述交通工具的驾驶数据，视觉系统，所述视觉系统被配置用于检测所述交通工具的驾驶员的面部特征来生成驾驶员表情数据；以及处理器，所述处理器被配置用于进行如上述实施例中的任一项所述的方法。
16.在解决上述问题的本发明的一个实施例中，提供了一种存储指令的计算机可读存储介质，在所述指令被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法。
17.发明效果
18.根据本发明，能够以机器学习的方式对驾驶员表情数据以及交通工具的控制器局域网(can：controller area network)数据的时间序列数据进行分类，实现激进驾驶状态的检测，而不需要对特定行为进行严格标定，从而能够适应各种复杂的路况或场景。
19.此外，根据本发明，可以将丰富的交通工具can数据和驾驶员表情数据组合作为输入数据来进行激进驾驶状态的判断，避免只依赖加速度和速度来判断激进驾驶状态，能使检测结果更为准确。
20.另外，根据本发明，可以基于较短的时间步长的滑动窗口数据来进行激进驾驶状态检测，避免基于各个时刻瞬时数据检测的不准确性，同时又可以接近实时地对驾驶员的激进驾驶状态进行有效的提醒。
附图说明
21.为了能够详细地理解本发明，可参考实施例得出上文所简要概述的本发明的更具体的描述，一些实施例在附图中示出，为了促进理解，已尽可能使用相同附图标记来标示各图所共有的相同要素。然而，应当注意，附图仅仅示出本发明的典型实施例，并且因此不应视为限制本发明的范围，因为本发明可允许其它等效实施例，在附图中：
22.图1是示出根据本发明的实施例的用于检测激进驾驶状态的检测方法的流程图。
23.图2是示出根据本发明的实施例的用于检测激进驾驶状态的检测方法和用于训练激进驾驶检测模型的训练方法的流程图。
24.图3是示出根据本发明的实施例的用于在训练激进驾驶检测模型时人工判断激进驾驶状态的可视化界面的示意图。
25.图4是示出根据本发明的实施例的用于检测激进驾驶状态的检测装置的框图。
26.可以预期的是，本发明的一个实施例中的要素可有利地适用于其它实施例而无需赘述。
具体实施方式
27.以下通过具体实施例来进行说明，本领域技术人员可由本说明书所公开的内容清楚地了解本发明的其它优点与技术效果。此外，本发明并不限于下述具体实施例，也可通过其它不同的实施例加以施行或应用，并且，对于本说明书中的各项具体内容，可在不背离本发明的精神下进行各种修改与变更。
28.下面，基于附图对本发明的具体实施例进行详细叙述。所列举的附图仅为简单说明，并非依实际尺寸描绘，未反应出相关结构的实际尺寸，先予叙明。为了便于理解，在各附图中使用了相同的参考标号，以指示附图中共用的相同元素。附图并未依比例绘制并且可为了清晰而被简化。一个实施例的元素及特征可有利地并入其它实施例中，而无须进一步叙述。
29.此外，在本文中，术语“激进驾驶行为”与“激进驾驶状态”可以互换使用。
30.在本文中，术语“交通工具”可以表示各类机动交通工具(例如，摩托车、汽车、公共汽车、拖拉机、半挂车或施工设备)、非机动交通工具(例如，自行车)、有轨交通工具(例如，火车或电车)、水运工具(例如，船只或船舶)、飞行器(例如，飞机或直升机)、或航天器(例如，卫星)等等。
31.<实施例1>
32.以下，参照图1至图2，对本发明所涉及的用于检测交通工具的激进驾驶状态的检测方法的一个实施例进行说明。
33.首先，使用图1说明本实施例所涉及的检测方法的概要性流程。
34.如图1所示，检测方法100从步骤s101开始。在步骤s101处，经由交通工具内总线来获取第一时间段内的交通工具的驾驶数据。第一时间段可以是任何长度(诸如，5秒、8秒、10秒、15秒等)的时间段。作为示例，驾驶数据可包括can数据，包含交通工具的横向/纵向的速度、横向/纵向的加速度、刹车位置、方向盘角度等。
35.接着，在步骤s102处，通过视觉系统获取第一时间段内的驾驶员表情数据。举例而言，视觉系统可包括面部图像获取部(例如，相机、光学传感器等)以及处理器，图像获取部用于获取驾驶员的面部图像，处理器用于基于驾驶员的面部图像来识别驾驶员表情从而得到驾驶员表情数据。作为示例，当处理器识别驾驶员的表情时，能够利用基于全局和/或局部的表情特征提取算法、基于机器学习的表情分类算法、和基于深度学习的表情识别算法中的任何一种或者多种。例如，可由机舱监控系统(cms：cabin monitor system)模块检测并输出驾驶员表情信息。此外，步骤s101和步骤s102的执行顺序并不限于图1所示的顺序，步骤s101和步骤s102可以同时执行，也可以先执行步骤s102接着再执行步骤s101等等。
36.接着，在步骤s103处，提取驾驶数据和/或驾驶员表情数据的统计学特征。例如，可通过特征工程(feature engineering)等过程来决定驾驶数据和/或驾驶员表情数据的适于表示激进驾驶状态的统计学特征并且将其提取。作为非限制性示例，驾驶数据和/或驾驶员表情数据的统计学特征包括最大值、最小值、均值、方差和数值范围中的一个或多个。
37.接着，在步骤s104处，利用后文中详细说明的激进驾驶检测模型，基于所提取的驾驶数据和/或驾驶员表情数据的统计学特征等，来判断交通工具是否处于激进驾驶状态或驾驶员是否正进行激进驾驶行为，并且将判断结果作为检测结果。可选地，将激进驾驶状态的检测结果通过存储器进行存储、经由有线传输/无线传输而传输至外部装置(例如，云端、
驾驶员的蓝牙耳机、智能手机、平板计算机、远程的处理器或者服务器等)和/或利用通知设备(例如，扬声器、响铃、显示器等等)提示驾驶员、乘客等用户。
38.至此，检测方法100结束，或可选地在步骤s104之后回到步骤s101来循环地进行检测方法100。
39.作为非限制性示例，表1示出了获取到的驾驶数据、驾驶员表情数据、相应的判断结果等。
40.表1.数据和判断结果的示例
[0041][0042]
下面，利用图2来更详细地说明激进驾驶检测模型的训练方法200、及其与检测方法100间的关系。
[0043]
激进驾驶检测模型的训练方法200可与检测方法100在同一个处理器上进行，也可与检测方法100分开地进行(诸如，在同一个交通工具中的不同的处理器上执行训练方法200和检测方法100，在不同的交通工具中的不同的处理器上执行训练方法200和检测方法100，在本地执行检测方法100而在远程/云端执行训练方法200，或在交通工具中的处理器执行检测方法100而在驾驶员或乘客所持有的各种计算设备(诸如，智能手机、计算机、遥控器、便携式游戏机等)上执行训练方法200等)。在图2中，以激进驾驶检测模型的训练方法200与检测方法100分开地进行为示例进行说明。
[0044]
当分开地进行训练方法200和检测方法100时，例如，如图2中所示的，可以离线地进行训练方法200，通过有线传输和/或无线传输，将训练好的激进驾驶检测模型传输至用于检测交通工具的激进驾驶状态的处理器，并在线地(实时地)进行检测方法100，从而判断交通工具是否处于激进驾驶状态或者驾驶员是否正进行激进驾驶行为。
[0045]
如图2所示，在步骤s101处，经由交通工具内总线来获取第一时间段内的交通工具的驾驶数据，并且在步骤s102处，通过视觉系统获取第一时间段内的驾驶员表情数据。可选地，可将步骤s101、步骤s102处所得到的驾驶数据和驾驶员表情数据经由有线方式(例如，线缆传输等)或无线方式(例如，wifi传输、蓝牙传输等)传输给数据库来作为历史驾驶数据和历史驾驶员表情数据。此外，可选地，也可从其它装置和/或设备(例如，存储有驾驶数据和驾驶员表情数据的云端、远程计算机、远程计算机可读存储介质等)将驾驶数据和驾驶员表情数据作为历史驾驶数据和历史驾驶员表情数据传输给数据库。接着，数据库将数据发送给用于进行训练方法200的处理器，以进行训练方法200。另外，可选地，也可省略数据库而直接从步骤s101和/或步骤s102、和/或其它装置和/或设备将驾驶数据和驾驶员表情数据作为历史驾驶数据和历史驾驶员表情数据传输给处理器以进行训练方法200。
[0046]
在训练方法200中，在可选的步骤s201处，对驾驶数据和驾驶员表情数据进行预处理。例如，从数据库读取数据后，根据数据的时间戳，来将数据调整到固定频率(例如，10hz等)以避免数据频率过高或者过低，并且结合数据的数值分布将无效数据(诸如null或者明显不在正常范围内的数值)去除。若判定为驾驶数据和驾驶员表情数据无需进行预处理(例如，数据已被预处理或者数据内实质上没有无效数据)，那么可省略该步骤s201。
[0047]
接着，在步骤s202处，提取第二时间段内的历史驾驶数据和历史驾驶员表情数据作为样本数据集。第二时间段可以是任何长度(诸如，5秒、8秒、10秒、15秒等)的时间段。第二时间段的长度可以与第一时间段的长度相同，也可以不同。作为非限制性的示例，可通过用固定步长的滑动窗口截取数据，从而提取第二时间段内的历史驾驶数据和历史驾驶员表情数据作为样本数据集。
[0048]
接着，在步骤s203处，人工判断步骤s202处提取的样本数据集是否对应于激进驾驶状态，并且保存或记录判断结果。在进行人工判断时，可向用户提供可视化界面(例如，可通过鼠标或触控进行操作或交互的用户界面(ui)、可通过代码或程序进行操作或交互的编程界面等)。作为示例，可视化界面能够以视觉方式呈现第二时间段内的历史驾驶数据和历史驾驶员表情数据中的至少一部分。可选地，可视化界面还可以呈现与样本数据集相对应的行驶视频(例如，在交通工具是车辆的情况下由行车记录仪所记录的行车视频、在交通工具是船舶的情况下由相机拍摄的航道视频、在交通工具是飞机的情况下由相机拍摄的飞行视频等等)。例如，可由用户利用图3所示的可视化界面来判断样本数据集是否对应于激进
驾驶状态。图3中，在可视化界面的左上角(“can chart”部分)向用户显示两个方向(横向、纵向)上的加速度以及速度，而在可视化界面的右下角(“cms chart”部分)显示驾驶员表情数据，此外，在可视化界面的右侧显示/播放针对交通工具的相对应的时间段的路况视频或行驶视频，该路况视频或行驶视频能对应于上述样本数据集。由此，用户能够根据速度与加速度的变化曲线以及路况视频或行驶视频，判断样本数据集是否对应于激进驾驶状态。
[0049]
接着，在步骤s204处，提取历史驾驶数据和/或历史驾驶员表情数据的统计学特征。与步骤s103相似，诸如可通过特征工程等过程来决定历史驾驶数据和/或历史驾驶员表情数据的适于表示激进驾驶状态的统计学特征并且将其提取。作为非限制性示例，历史驾驶数据和/或历史驾驶员表情数据的统计学特征包括最大值、最小值、均值、方差和数值范围中的一个或多个。
[0050]
接着，在步骤s205处，将所提取的历史驾驶数据和/或历史驾驶员表情数据的统计学特征以及激进驾驶状态的判断结果输入至激进驾驶检测模型来训练激进驾驶检测模型。作为示例，激进驾驶检测模型可使用适合于对数据集进行分类的各种基于分类算法的模型或者基于机器学习的模型，例如，可采用基于树的机器学习算法，诸如随机森林模型、决策树模型、提升树模型、lightgbm(light gradient boosting machine：轻型梯度提升机)模型等。作为一个非限制性示例，可用随机森林模型作为激进驾驶检测模型，并且对数据按7:3训练测试来训练激进驾驶检测模型。
[0051]
至此，训练方法200结束，或可选地在步骤s205之后回到步骤s201来循环地进行训练方法200。
[0052]
接着，将利用训练方法200而获得的经训练的机器学习模型通过有线方式或无线方式传输至进行检测方法100的处理器，并且由处理器在执行步骤s104时利用，从而基于所提取的驾驶数据和/或驾驶员表情数据的统计学特征等，来判断交通工具是否处于激进驾驶状态或驾驶员是否正进行激进驾驶行为，得到激进驾驶状态的检测结果。
[0053]
本实施例中，检测方法100和训练方法200所包括的操作可同时地发生、实质上同时地发生、或以不同于图1和图2所示的次序而发生。
[0054]
根据本实施例的方法，能够以机器学习的方式对驾驶员表情数据以及交通工具的驾驶数据(诸如can数据)的时间序列数据进行分类，实现激进驾驶状态的检测，不需要对驾驶员的特定行为或交通工具的驾驶状态进行严格标定，只需前期人工标注一定数据集即可。在标注好的数据集足够丰富的情况下，可以适应各种复杂的场景。此外，将丰富的驾驶数据结合驾驶员表情数据作为输入数据进行激进驾驶状态的判断，从而能够避免只依赖较为单一的加速度和速度对激进驾驶状态进行判断，使检测结果更准确、全面。另外，通过基于一定时间步长的滑动窗口数据检测激进驾驶状态，可以避免基于各个时刻的瞬时数据检测的不准确性，同时又可以接近实时地对驾驶员的激进驾驶行为进行有效提醒。
[0055]
<实施例2>
[0056]
以下，参照图4，对本发明所涉及的用于检测交通工具的激进驾驶状态的检测装置的一个实施例进行说明。
[0057]
图4是本实施例所涉及的检测装置的框图。
[0058]
如图4所示，检测装置400包括一个或多个交通工具传感器401、视觉系统402以及处理器403。
[0059]
一个或多个交通工具传感器401被配置用于检测交通工具的驾驶数据。例如，一个或多个交通工具传感器401可以包括速度计、加速度计、里程记录器、方向盘转动角度传感器、制动器踏板行程检测器中的任一个或多个。
[0060]
视觉系统402被配置用于检测所述交通工具的驾驶员的面部特征来生成驾驶员表情数据。例如，视觉系统402能够利用基于全局和/或局部的表情特征提取算法、基于机器学习的表情分类算法、和基于深度学习的表情识别算法中的任何一种或者多种。例如，视觉系统402可以是机舱监控系统(cms：cabin monitor system)、面部识别系统等各种视觉系统。
[0061]
在获得上述数据之后，处理器经由有线方式(例如，线缆传输等)或无线方式(例如，wifi传输、蓝牙传输等)从一个或多个交通工具传感器401及视觉系统402接收获取到的驾驶数据及驾驶员表情数据。接着，处理器402可被配置用于进行检测交通工具的激进驾驶状态的检测方法，以得到激进驾驶状态的检测结果。检测交通工具的激进驾驶状态的检测方法和与其相关联的激进驾驶检测模型的训练方法可以与实施例1中的检测方法100及训练方法200类似，因而，在此不进行重复说明。
[0062]
进一步地，可选地，将激进驾驶状态的检测结果通过未示出的存储器进行存储、经由有线传输/无线传输而传输至未示出的外部装置(例如，云端、驾驶员的蓝牙耳机、智能手机、平板计算机、远程的处理器或者服务器等)和/或利用未示出的通知设备(例如，扬声器、响铃、显示器等等)提示驾驶员、乘客等用户。
[0063]
利用本实施例的检测装置400，至少可获得与实施例1类似的技术效果。
[0064]
在某些实施例中，上述各实施例中的方法所包括的操作可同时地发生、实质上同时地发生、或以不同于附图所示的次序而发生。
[0065]
在某些实施例中，上述各实施例中的方法所包括的操作的全部或部分可选地可以由程序来自动执行。在一个示例中，本发明可以被实施作为存储在用于与计算机系统一起使用的计算机可读存储介质上的程序产品。程序产品的(多个)程序包括实施例的功能(包括本文所述的方法)。说明性计算机可读存储介质包括但不限于：(i)不可写存储介质(例如，计算机内的只读存储器装置，诸如可通过cd
‑
rom机读取的cd
‑
rom盘、闪存、rom芯片或任何类型的固态非易失性半导体存储器)，在该不可写存储介质上的信息被永久存储；以及(ii)可写存储介质(例如，盘存储或硬盘驱动或者任何类型的固态随机存取半导体存储器)，在该可写存储介质上存储可变动信息。当实施指示本文所述的方法的功能的计算机可读指令时，这种计算机可读存储介质是本发明的实施例。
[0066]
以上详细描述了本技术的可选实施例。但应当理解，在不脱离本技术的广义精神和范围的情况下可以采用各种实施例及变形。本领域的普通技术人员无需创造性劳动就可以根据本技术的构思做出诸多修改和变化。作为非限制性的示例，本领域技术人员可将上述系统或结构中的各个部分中的一个或多个进行省略或者于上述系统或结构中添加一个或多个部分，或用其它的具有相同或者相似的功能的部分代替本实施例中所涉及的各种结构或系统中的一部分或者全部。因此，凡本领域技术人员依本技术的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应属于由本技术的权利要求书所确定的保护范围内。