人工智能车辆辅助驾驶方法、装置、设备及存储介质与流程

本申请涉及智能交通技术领域，具体而言，本申请涉及一种人工智能车辆辅助驾驶方法、装置、设备及存储介质。

背景技术：

随着现代交通和汽车工业的快速发展，近年来汽车保有量持续上升，进而也带来了一系列的交通问题，例如交通拥堵、交通事故等。

在目前的车辆驾驶过程中，驾驶员通常只能依靠自身的感觉来判断当前的驾驶状态，以及观察路况信息，当驾驶员处于一些异常状态(如疲劳状态或注意力不集中)时，便不能进行判断，也无法实时观察路况，在这种状态下驾驶，安全性不高，很容易发生事故。

技术实现要素：

本申请针对现有方式的缺点，提出一种人工智能车辆辅助驾驶方法、装置、设备及存储介质，用以解决现有技术存在的仅依靠人为观察信息并做出信息判断安全性不高的技术问题。

第一方面，本申请实施例提供了一种人工智能车辆辅助驾驶方法，包括：

控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；

根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；

根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

第二方面，本申请实施例提供了一种人工智能车辆辅助驾驶装置，包括：

数据检测模块，用于控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；

状态判断模块，用于根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态；

报警提示模块，用于当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

第三方面，本申请实施例提供了一种人工智能车辆辅助驾驶设备，包括：电连接的处理器和检测装置，检测装置固定于车辆的前车窗处；

处理器用于：检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的方法。

本申请实施例提供的技术方案，至少具有如下有益效果：

可通过检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息，根据该面部特征、头部移动方向、车辆行驶方向和路况信息可判断驾驶员的驾驶状态，并发出相应的驾驶提示信息供驾驶员查看，通过这种方式，驾驶员可更便捷的了解当前的驾驶状态和路况，而无需依赖人为的注意力，可有效提高驾驶的安全性。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种人工智能车辆辅助驾驶方法的流程示意图；

图2为本申请实施例提供的一种人工智能车辆辅助驾驶装置的结构框架示意图；

图3为本申请实施例提供的一种人工智能车辆辅助驾驶设备的结构框架示意图；

图4为本申请实施例提供的一种人工智能车辆辅助驾驶设备的在车辆内部的位置示意图。

具体实施方式

下面详细描述本申请，本申请实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例一

本申请实施例一提供了一种人工智能车辆辅助驾驶方法，该方法的流程示意图如图1所示，包括：

s101，控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息。

可选地，控制检测装置中的人脸检测单元获取驾驶员的面部表情变化和头部移动方向；控制检测装置中的后置摄像机检测车辆行驶方向。

进一步地，可通过内部陀螺仪检测车辆是否转弯，通过加速度传感器检测车辆是否在换车道；其中，内部陀螺仪和加速度传感器可设置在检测装置中，或设置在车辆中检测装置以外的部分。

可选地，控制检测装置中的后置摄像机，检测车辆所处的道路环境中的交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个，根据所述交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个识别路况并生成相应的路况信息。其中，道路车辆距离具体指本车辆与后方车辆的距离，过路行人距离具体指过路行人与本车的距离。

例如，若检测到交通信号灯中的直行信号灯为红灯，则可识别出当前位于交叉路口且禁止通过路口；若检测到前方有停车标志，则可识别出当前的道路为禁止通行的路段，需要减速停车。

s102，根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态；若是，则执行s103，若否，则执行s101。

可选地，车辆行驶方向包括车辆换道方向和车辆拐弯方向中的至少一个。

可选地，判断头部移动方向是否与车辆换道方向或车辆拐弯方向一致；根据面部表情变化，判断驾驶员是否处于疲劳状态；若头部移动方向与车辆行驶方向一致，和/或，驾驶员处于疲劳状态，则确定驾驶状态为异常状态。

可选地，确定驾驶员的头部运动方向的原理如下：通过人脸检测单元可测出头部各点与该人脸检测单元的距离，当驾驶员的头部发生转动时，该距离也随之变化；因此可通过测量头部任意一个部位与人脸检测单元的距离来确定驾驶员的头部运动方向。

进一步地，当人脸检测单元为vcsel(verticalcavitysurfaceemittinglaser，垂直腔面发射激光器)阵列时，可通过测量头部任意一个部位与vcsel阵列的距离来确定驾驶员的头部运动方向。

例如，以驾驶员正视前方时左眼与vcsel阵列的距离为基准距离，当左眼与确定驾驶员的头部运动方向发生变化，且变化后的距离明显大于该基准距离时，可确定出驾驶员的头部运动方向为左侧，即驾驶员的头部在向左转动，也即驾驶员的视觉注意力在车辆的左侧。

又如，当前车辆行驶方向为向右转弯，而驾驶员的头部明显远离右侧后视镜所在的方位，且远离的时间超过预设的时间阈值，则可确定头部运动方向与车辆行驶方向不一致。

可选地，驾驶员的头部移动方向还可以通过内部陀螺仪、加速度计、倾斜和角度传感器、磁传感器、照相机、红外摄像机、泛光照射器、点阵投射传感器、vcsel激光发射器等的组合来获取。

可选地，面部表情变化包括以下至少一种：眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面；以及，根据所述面部表情变化，判断所述驾驶员是否处于疲劳状态，包括：根据眨眼、眼皮动作、打瞌睡、打哈欠、接电话、不看驾驶方向路面中的至少一种面部表情变化，判断所述驾驶员是否处于疲劳状态。

可选地，根据面部表情变化，判断驾驶员是否处于疲劳状态，可以包括：通过vcsel阵列，测量眼部或嘴部各点与vcsel阵列的距离，根据该距离来确定眼睑或嘴唇的移动，进而确定驾驶员是否存在眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面中的至少一种动作，若存在且该动作的频率大于预设的频率阈值，则可确定出驾驶员处于疲劳状态。其中，频率阈值可根据实际需求设置。

可选地，还可以通过红外摄像机和摄像机来监控驾驶员驾驶员是否存在眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面中的至少一种动作，从而判断驾驶是否处于疲劳状态。

s103，发出报警信息。

当通过步骤s102确定驾驶员的驾驶状态为异常状态时，需要发出报警信息警示危险。

可选地，步骤s103包括：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。其中，报警信息可以是文字信息，也可以颜色或图像信息。

可选地，向远程控制中心发送报警信息之后，还包括：接收远程控制中心反馈的控制指令，根据控制指令控制车辆减速或停止行驶。在危险情形下，通过该方式可及时控制车辆，避免因驾驶员恶意驾驶造成的事故，如恐怖袭击，该方式可适用对租借车辆进行远程管理的情形。

s104，根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

可选地，驾驶提示信息包括：车辆行驶方向的提示信息，基于车辆行驶方向生成的车辆转弯或换道的提示信息，以及根据检测到的交通信号灯或交通标志生成的路况提示信息等信息中的任意一种或多种。

可选地，控制显示装置显示驾驶提示信息。向驾驶员显示上述各种提示信息，便于驾驶员直观地了解当前的行驶状态以及路况，以使驾驶员能够针对当前的行驶状态和路况做出相应的驾驶操作。

本申请实施例所示的人工智车辆辅助驾驶方法可适用于出租车、危险大卡车、租赁车等车辆，还可适用于飞机，以辅助飞行员进行驾驶。

应用本申请的实施例一，至少可以实现如下有益效果：

1)可通过检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息，根据该面部表情变化、头部移动方向、车辆行驶方向和路况信息可判断驾驶员的驾驶状态，并发出相应的驾驶提示信息供驾驶员查看，通过这种方式，驾驶员可更便捷的了解当前的驾驶状态和路况，而无需依赖人为的注意力，可有效提高驾驶的安全性；

2)通过人脸检测单元以及后置摄像头，可准确检测驾驶员的面部表情变化、头部移动方向和车辆行驶方向；通过将vcsel和接近传感器、环境光传感器等器件的结合，可进一步提高面部表情变化检测的准确性；

3)可在异常状态下发出报警信息，向驾驶员报告危险情况，使驾驶员能够及时做出应对，从而提高驾驶的安全性；

4)可在向远程控制中心发出报警信息后，接收远程控制中心反馈的控制指令，并根据该控制指令控制车辆减速或停止行驶，以避免可能出现的事故，减小人力物力损失；

5)本申请实施例可为驾驶员提供疲劳驾驶警告，驾驶员注意力分散警告，提供路况信息警示；为车辆运营后台机构提供驾驶员驾驶状态信息和路况信息；为公安管理部门提供实时危险驾驶车辆信息、车辆位置信息、路况信息；相关部门也可以以这些信息为依据采取装置警示、电话警示、拦截和熄火控制危险车辆等等措施以提高交通运营系统的整体安全性。

实施例二

基于同一发明构思，本申请实施例二提供了一种人工智能车辆辅助驾驶装置，该装置的结构框架示意图如图2所示，包括：数据检测模块201、状态判断模块202以及报警提示模块203。

数据检测模块201用于控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息。

可选地，该数据检测模块201具体用于：控制检测装置中的人脸检测单元获取驾驶员的面部表情变化和头部移动方向；控制检测装置中的后置摄像机检测车辆行驶方向。

可选地，该数据检测模块201具体用于：控制检测装置中的后置摄像机，检测车辆所处的道路环境中的交通信号灯和/或交通标志，根据交通信号灯和/或交通标志识别路况并生成相应的路况信息。

状态判断模块202用于根据面部表情变化和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态。

可选地，该状态判断模块202具体用于：判断头部移动方向是否与车辆行驶方向一致；根据面部表情变化，判断驾驶员是否处于疲劳状态；若头部移动方向与车辆行驶方向一致，和/或，驾驶员处于疲劳状态，则确定驾驶状态为异常状态。

报警提示模块203，用于当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

可选地，该报警提示模块203具体用于：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。

本实施例的车辆辅助驾驶装置200可执行本申请实施例一所提供的车辆辅助驾驶方法，其实现原理及有益效果相类似，此处不再赘述。

实施例三

基于同一发明构思，本申请实施例三提供了一种人工智能车辆辅助驾驶设备，如图3所示，图3所示的车辆辅助驾驶设备包括：电连接的处理器310和检测装置320，检测装置320固定于车辆的前车窗处。

处理器310用于：控制检测装置320检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。

可选地，检测装置320包括：人脸检测单元321和后置摄像机322，均与处理器310电连接(图3中未示出该连接)；人脸检测单元321设置于检测装置320的正对驾驶员的一侧，后置摄像机322设置于检测装置320的正对车辆前车窗的一侧，。基于该人脸检测单元321和后置摄像机322，处理器310用于：控制人脸检测单元321获取驾驶员的面部表情变化；控制后置摄像机322检测车辆行驶方向。

进一步地，人脸检测单元321可以包括：vcsel阵列。通过vcsel阵列发出的激光，可测出头部各点与vcsel阵列的距离，当驾驶员的头部发生转动时，该距离也随之变化；因此可通过测量头部任意一个部位与vcsel阵列的距离来确定驾驶员的头部运动方向。

进一步地，基于传感器融合技术，检测装置320还可以包括：前置摄像机(frontcamera)、红外摄像机(infraredcamera)、泛光照射器(floodilluminator，或称泛光感应元件)、近距离传感器(proximitysensor，或称接近传感器)、环境光传感器(ambientlightsensor)、点阵投射器(dotprojector)等中的至少一个器件(图3中未示出该至少一个器件)，该至少一个器件可以与vcsel阵列配合使用，以便更精确地识别驾驶员的面部表情变化和头部移动方向。

进一步地，检测装置320还可以包括内部陀螺仪(internalgyro)、加速度传感器(accelerometers)、倾斜和角度传感器(tiltandanglesensors)、磁传感器(magneticsensors)中的至少一个，分别用于判断车辆是否转弯、是否变道，还可与红外摄像机、泛光照射器和点阵投射传感器、vcsel等结合，共同监控驾驶者的头部是否远离车辆的运动方向，以及这些运动的时间。

可选地，处理器310还用于：控制后置摄像机322，检测车辆所处的道路环境中的交通信号灯和/或交通标志，根据交通信号灯和/或交通标志识别路况并生成相应的路况信息。

可选地，后置摄像机322包括两个摄像头，其中一个摄像头的拍摄范围为车辆前方较短的距离范围，另一个摄像头的拍摄范围为车辆前方较长的距离范围，以实现对多个距离范围的监控。两个距离范围的具体数值可根据实际需求设置。

可选地，本申请实施例提供的车辆辅助驾驶设备300还包括：显示装置，显示装置与处理器310电连接；处理器310用于：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。例如，如果驾驶员驾驶的是卡车或出租车，可以向车队运营商的控制中心无线发送道路信息、警告和报警信息等。

可选地，显示装置还用于显示地图信息、车辆行驶方向中的至少一个。

可选地，本申请实施例提供的车辆辅助驾驶设备300还包括以下至少一种传感器：激光雷达、红外相机、可见光相机以及距离传感器；其中，距离传感器包括以下至少一种：雷达、超声、激光雷达、红外相机、光扫描器、可见光相机以及红外相机。通过激光雷达、红外相机、可见光相机以及距离传感器等可实现对人脸的追踪、定位以及采集监测数据等。

可选地，本申请实施例中的显示装置可根据用户指令或预设的控制规则自动切换显示内容。例如，显示装置可由显示地图信息自动切换为显示车辆行驶方向或显示报警信息。

可选地，可选地，本申请实施例提供的车辆辅助驾驶设备300还包括扬声器(speaker)和/或麦克风(microphone)，其中，扬声器与处理器310电连接，当报警信息为声音信息时，处理器310控制该扬声器发出报警信息。

本申请实施例中的处理器310可以是cpu(centralprocessingunit，中央处理器)、通用处理器、dsp(digitalsignalprocessor，数据信号处理器)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field－programmablegatearray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器310也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。

本申请实施例三提供的车辆辅助驾驶设备300集成度较高，可根据实际需求灵活调整其在车辆内部的位置，如图4所示，可设置于车辆内部的前车窗处。

在一个可选的实施方式中，车辆辅助驾驶设备300可以是具有vcsel激光雷达的智能手机或平板电脑(如ipad)，智能手机或平板电脑中的应用程序(app)调用vcsel激光雷达以检测驾驶员的面部表情变化和头部移动方向。本申请实施例通过具有vcsel激光雷达的智能手机或平板电脑以及智能手机或平板电脑的app即可实现对驾驶员驾驶状态的监测、对道路路况的监测以及增强对车辆周边环境的感知，而无需额外设置专用设置，成本更低，普适性更强，可直接应用于现有的各种型号的车辆中，更适合大众使用。

可选地，智能手机中的应用程序可用于调用内部的地图信息，该应用程序具有与地图信息相结合的界面。

可选地，智能手机可与车载电源或充电宝电连接，车载电源或充电宝用于为智能手机中的vcsel激光雷达供电。

采用具有vcsel激光雷达的智能手机或平板电脑及其中的app即可实现相应的功能，可有效减少成本，适用范围更广，如需使用智能手机中的app，须提前打开对应的app。

本申请实施例三提供的车辆辅助驾驶设备300，与前面的方法实施例具有相同的发明构思及相同的有益效果，其具体原理可参照前面所述的方法实施例，在此不再赘述。

实施例四

基于同一发明构思，本申请实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例所提供的车辆辅助驾驶方法。

计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom、ram、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本申请实施例四提供的计算机可读存储介质，与前面所述的各实施例具有相同的发明构思及相同的有益效果，在此不再赘述。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。