车辆驾驶状态的监控方法、车辆和计算机可读存储介质与流程

本发明涉及车辆监控技术领域，具体而言，涉及一种车辆驾驶状态的监控方法、一种车辆和一种计算机可读存储介质。

背景技术：

在相关技术中，驾驶员的情绪波动会对车辆驾驶安全产生较大影响，因驾驶员负面情绪导致的车辆事故常有发生，但相关技术中却缺乏基于驾驶员情绪的分析。

因此，目前亟需一种能够根据驾驶员情绪，对车辆驾驶状态进行有效监控以保证行驶安全的技术方案。

技术实现要素：

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面提出一种车辆驾驶状态的监控方法。

本发明的第二方面提出一种车辆。

本发明的第三方面提出一种计算机可读存储介质。

有鉴于此，本发明的第一方面提供了一种车辆驾驶状态的监控方法，车辆包括驾驶室，驾驶室中设置有媒体采集装置，监控方法包括：通过媒体采集装置获取驾驶室内的媒体信息，根据媒体信息确定驾驶员的情绪状态；根据情绪状态，控制车辆执行对应的操作。

在该技术方案中，在车辆的驾驶室中设置媒体采集装置，该媒体采集装置能够采集驾驶室内的媒体信息，如视频信息和音频信息等，通过采集到的媒体信息，通过大数据人工智能算法等方法，对驾驶员的当前情绪状态加以分析和监控，如果发现驾驶员处于明显的负面情绪下，则控制车辆执行对应的操作，对驾驶员的负面情绪进行安抚，进而防止驾驶员因负面情绪导致的危险驾驶行为。在一些情况下，如果判定驾驶员负面情绪较为严重，还可以通过控制车辆减速、减速、自动靠边停车的方式，对车辆驾驶安全进行保证。

应用了本发明提供的技术方案，通过设置在驾驶室内的媒体采集装置采集驾驶室内驾驶员的媒体信息，进而对驾驶员的当前情绪状态进行分析，并控制车辆针对驾驶员的情绪状态执行对应的操作，一方面能够减缓驾驶员的负面情绪，有利于缓解驾驶员的压力，同时防止驾驶员因压力和负面情绪导致的过激驾驶行为，有利于保护车辆和车辆驾驶员自身的安全，另一方面能够在驾驶员负面情绪较重时，通过直接控制车辆行驶的方式，避免驾驶员因负面情绪导致的危险驾驶，有利于维护良好的道路交通秩序，有利于提高道路交通安全。

另外，本发明提供的上述技术方案中的车辆驾驶状态的监控方法还可以具有如下附加技术特征：

在上述技术方案中，根据媒体信息确定驾驶员的情绪状态，具体包括：根据媒体信息确定驾驶员的情绪数据集；将情绪数据集输入至情绪识别模型中，并获取情绪识别模型输出的情绪状态。

在该技术方案中，通过基于卷积神经网络算法的神经网络模型，具体为情绪识别模型，来对驾驶员的情绪状态进行分析，能够实现自动、高效且准确的情绪分析，进而实现对驾驶员情绪的实时监控。具体地，通过设置在驾驶室内的媒体采集装置，采集驾驶室内的媒体信息，对采集到的媒体信息进行处理，形成为能够被情绪识别模型应用的情绪数据集。将得到的情绪数据集输入至情绪识别模型后，情绪识别模型能够通过计算机卷积神经网络算法，对当前驾驶员的情绪状态进行预测，并输出对应的预测结果。通过基于卷积神经网络算法的情绪识别模型来预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

在上述任一技术方案中，媒体信息包括图像信息和音频信息；以及根据媒体信息确定驾驶员的情绪数据集，具体包括：通过人脸检测算法，在图像信息中提取驾驶员的人脸图像数据；通过快速独立成分分析算法，在音频信息中分离驾驶员的声音数据；对人脸图像和声音数据进行特征提取，得到情绪数据集。

在该技术方案中，媒体信息具体包括图像信息和音频信息，相对应的，媒体采集装置可包括图像采集装置和音频采集装置，其中图像采集装置可以是摄像头，音频采集装置可以是麦克风。对于图像采集装置采集到的图像信息，通过人脸检测算法，在驾驶室图像中提取驾驶员的人脸图像数据，其中，人脸检测算法可以为mtcnn(multi-taskconvolutionalneuralnetwork，多任务卷积神经网络)人脸检测算法或其他人脸检测算法，本发明实施例对人脸检测算法的具体类型不做限制。

进一步地，对于音频采集装置采集到的音频信息，通过快速独立成分分析算法(fastica，fastindependentcomponentanalysis)，在驾驶室音频信息中分理处驾驶员的声音数据。能够理解的是，本发明实施例的音频处理方法，并不局限于上述fastica算法，其他能够实现对驾驶员声音数据的分离的算法，均为本发明的可行实施例。

在得到驾驶员的人脸图像数据和驾驶员的声音数据之后，进一步结合人脸图像数据和声音数据，进行特征提取，得到驾驶员的情绪特征。其中，人脸图像数据包括了人脸的表情、姿态、微表情等。一般来说，驾驶员在处于“悲伤”、“愤怒”、“高兴”等不同情绪下，其面部表情会有较大的差别，对驾驶员的面部表情进行有效地数据分析，提取其中的“表情特征”，并形成为对应面部表情的情绪数据集，该情绪数据集能在第一个方面上对驾驶员的情绪状态进行表征。

同时，驾驶员的声音数据包括了驾驶员的音调、音量和语音内容等。一般来说，驾驶员在处于不同情欲下，其语言的音调、音量和语音内容等也会不同，比如人在高兴时，其说话的语调较高，音量适中，且语音内容一般不会有“咒骂”、“抱怨”类的词汇。而当人处于愤怒的情绪下，其说话的语调较低，音量较大，且语音中有较大可能出现“咒骂”、“抱怨”类的词汇。根据驾驶员说话时的音调、音量以及语音识别后的关键词检测等方法，形成为对应声音的情绪数据集，该情绪数据集能在第二个方面上对驾驶员的情绪状态进行表征。

最后，对基于面部表情的情绪数据集，和基于声音的情绪数据集进行整合，最终得到情绪数据集，最后通过情绪识别模型对情绪数据集进行分析，预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

其中，对人脸图像和声音数据进行特征提取时，可通过梅尔能量谱特征提取法、短时傅里叶变换提取法、梅尔倒谱系数提取法、bark域能量谱提取法、等效矩形带宽域(erb，equvivalentrectangularbandwidth)能量谱提取法或伽马通(gammatone)倒谱系数提取法等方法，本发明实施例对特征提取的具体方法不做限定。

在上述任一技术方案中，在将情绪数据集输入至情绪识别模型中之前，监控方法还包括：获取预设的情绪数据训练集；将初始神经网络模型输入情绪数据训练集，通过情绪数据训练集训练神经网络模型，以得到情绪识别模型。

在该技术方案中，为了得到能够准确识别驾驶员情绪状态的情绪识别模型，需要通过训练集对初始神经网络模型进行训练，使得神经网络模型“学会”如何通过图像信息和音频信息等媒体信息，来识别驾驶员的情绪状态。具体地，获取预设的情绪数据训练集，该情绪数据训练集中包含大量不同性别、性格、外貌特征的“人”，在不同情绪下的音、视频数据。通过这些数据，对初始的神经网络模型进行反复训练、校验和测试，直到神经网络模型的预测精度满足需求后，将训练好的神经网络模型保存为情绪识别模型，通过保存的情绪识别模型预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

其中，初始神经网络模型可以包括卷积-递归神经网络、卷积神经网络、递归神经网络、隐马尔科夫模型、高斯混合模型或支持向量机等，本发明实施例对初始神经网络模型的具体类型不做限定。

在上述任一技术方案中，根据情绪状态，控制车辆执行对应的操作，具体包括：根据情绪状态确定情绪类型和对应的情绪强度；根据情绪类型和对应的情绪强度，确定目标媒体文件；控制车辆播放媒体文件。

在该技术方案中，驾驶员的情绪状态包括情绪类型和该情绪类型对应的情绪强度，其中情绪类型主要包括如“愤怒”、“困倦”、“注意力涣散”等可能对驾驶安全产生影响的负面情绪，而对应的情绪强度则用于表述驾驶员处于某个“情绪”下的强烈度，如将“愤怒”的情绪划分为强度1至强度10，强度越高，驾驶员就越“愤怒”。

通过情绪识别模型识别出驾驶员的情绪状态后，进一步确定驾驶员的情绪类型和情绪强度，并针对性的确定目标媒体文件。具体地，媒体文件可以是音乐、视频、语音播报、氛围灯光或香薰等，又或是上述种类的结合。

举例来说，如果确定驾驶员的情绪是“愤怒”，则可以播放舒缓平静的音乐，同时点亮柔和的氛围灯光，释放令人平静的熏香，进而安抚驾驶员的情绪，使驾驶员的情绪平复。

如果确定驾驶员的情绪是“困倦”，则可以播放激昂的音乐，释放强烈的熏香，进而使驾驶员打起精神，同时通过语音播报，提示驾驶员尽快停车休息。

通过根据驾驶员的情绪确定目标媒体文件并进行播放，通过目标媒体文件缓解驾驶员的负面情绪，有利于防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

在上述任一技术方案中，根据情绪状态，控制车辆执行对应的操作，还包括：基于情绪类型为目标情绪类型，且情绪强度高于情绪强度阈值的情况，生成对应的报警信息；控制车辆播放报警信息，并将报警信息发送至对应的服务器。

在该技术方案中，如果确定到的驾驶员的情绪类型是目标情绪类型，且同时情绪强度高于情绪强度阈值，则说明当前驾驶员处于极端负面情绪下，通过播放目标媒体文件已经难以安抚驾驶员的负面情绪，此时生成对应的报警信息，一方面控制车辆播放报警信息，警示驾驶员尽快停车冷静，另一方面将报警信息发送至对应的服务器，以使服务器能够即使掌握事态并有针对性的运行应对方案。

其中，目标情绪类型具体可以包括可能对驾驶安全造成影响的负面情绪，如“愤怒”、“困倦”等。

在一些实施方式中，车辆播放报警信息时，可以同时向周围一定范围内的车辆同步发送该报警信息，以警示周围的车辆注意安全。

在另一些实时方式中，对于具有自动驾驶功能的车辆，当情绪类型为目标情绪类型，且情绪强度高于情绪强度阈值时，还可以控制车辆进行制动。值得注意的是，在控制车辆自动制动时，需通过传感器、感应雷达、激光扫描装置等设备确定行驶安全，且不会影响到其他车辆。

在上述任一技术方案中，车辆驾驶状态的监控方法还包括：获取车辆的行驶数据，根据行驶数据判断车辆是否处于变道状态；基于车辆处于变道状态中，获取变道状态对应的目标车道信息，与目标车道信息对应的外部车辆位置；根据目标车道信息和外部车辆位置生成对应的提示信息；控制车辆播放变道提示信息。

在该技术方案中，车辆驾驶过程中，实时获取车辆的行驶数据，并根据行驶数据判断车辆是否处于变道过程。如果判定车辆当前处于变道过程，则进一步确定车辆即将驶入的目标车道信息，以及该目标车道信息中的外部车辆位置，根据目标车道信息和外部车辆信息，生成对应的提示信息，并向驾驶员播放该变道提示信息。

举例来说，如果车辆当前行驶于最左侧车道，并开始向右转向，则确定左侧第二车道为目标车道，同时通过激光扫描设备、雷达设备或图像识别设备，获取左侧第二车道一定范围内的车辆信息，如果左侧第二车道在一定范围内没有其他车辆，则确定变道安全，此时可生成“可安全变道”的提示信息，提示驾驶员当前变道安全。

如果左侧第二车道在一定范围内存在其他车辆，则进一步获取该车辆的位置信息，根据其他车辆和本车辆的位置关系，判断变道过程是否会对其他车辆产生影响。如果变道过程不会对其他车辆产生影响，则可以生成“可安全变道，请小心车道内有其他车辆”的提示信息，提示驾驶员注意其他车辆。如果变道过程会对其他车辆产生影响，则生成“车道内有其他车辆，请等待其他车辆通过后再变道”。

在一些实施方式中，还可通过网络，将变道信息发送至其他车辆，提示其他车辆前车将要变道，注意安全。

对于另一些实施方式，如果在提示驾驶员变道可能对其他车辆产生影响后，驾驶员仍执意变道，则可向驾驶员播放警示信息，同时将警示信息发送至其他车辆，警示其他车辆以避免事故，同时将该警示信息发送至服务器，将不文明变道行为上报至管理人员备案。

在上述任一技术方案中，行驶数据包括行驶速度、行驶加速度和/或车道信息。

在该技术方案中，行驶数据包括车辆的行驶速度，即车速。同时还包括行驶加速度，其中可通过gps(globalpositioningsystem，全球定位系统)信号来获取加速度信息，或通过设置加速度计来获取加速度信息，也可以通过油门信号计算加速度信息。行驶数据还包括车道信息，可通过图像识别算法识别车道白线，进而识别当前车道与相邻车道。

能够理解的是，行驶数据具体为车辆行驶过程中的多种数据，并不局限于上述提到的具体类型。

本发明第二方面提供了一种车辆，包括：驾驶室，驾驶室中设置有图像采集装置和音频采集装置；存储器，被配置为存储计算机程序；处理器，与存储器、图像采集装置和音频采集装置相连接，处理器被配置为执行计算机程序时实现如上述任一技术方案中提供的车辆驾驶状态的监控方法的步骤，因此，该车辆还包括如上述任一技术方案中提供的车辆驾驶状态的监控方法的全部有益效果，在此不再赘述。

本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一技术方案中提供的车辆驾驶状态的监控方法的步骤，因此，该计算机可读存储介质还包括如上述任一技术方案中提供的车辆驾驶状态的监控方法的全部有益效果，在此不再赘述。

附图说明

本发明的上述或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之一；

图2示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之二；

图3示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之三；

图4示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之四；

图5示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之五；

图6示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之六；

图7示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之七；

图8示出了根据本发明实施例的车辆的控制逻辑示意图；

图9示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之八；

图10示出了根据本发明实施例的车辆的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图10描述根据本发明一些实施例所述车辆驾驶状态的监控方法、车辆和计算机可读存储介质。

实施例一

图1示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之一，其中，该车辆包括驾驶室，驾驶室中设置有媒体采集装置，监控方法包括：

步骤102，通过媒体采集装置获取驾驶室内的媒体信息，根据媒体信息确定驾驶员的情绪状态；

步骤104，根据情绪状态，控制车辆执行对应的操作。

在本发明实施例中，在车辆的驾驶室中设置媒体采集装置，该媒体采集装置能够采集驾驶室内的媒体信息，如视频信息和音频信息等，通过采集到的媒体信息，通过大数据人工智能算法等方法，对驾驶员的当前情绪状态加以分析和监控，如果发现驾驶员处于明显的负面情绪下，则控制车辆执行对应的操作，对驾驶员的负面情绪进行安抚，进而防止驾驶员因负面情绪导致的危险驾驶行为。在一些情况下，如果判定驾驶员负面情绪较为严重，还可以通过控制车辆减速、减速、自动靠边停车的方式，对车辆驾驶安全进行保证。

应用了本发明提供的实施例，通过设置在驾驶室内的媒体采集装置采集驾驶室内驾驶员的媒体信息，进而对驾驶员的当前情绪状态进行分析，并控制车辆针对驾驶员的情绪状态执行对应的操作，一方面能够减缓驾驶员的负面情绪，有利于缓解驾驶员的压力，同时防止驾驶员因压力和负面情绪导致的过激驾驶行为，有利于保护车辆和车辆驾驶员自身的安全，另一方面能够在驾驶员负面情绪较重时，通过直接控制车辆行驶的方式，避免驾驶员因负面情绪导致的危险驾驶，有利于维护良好的道路交通秩序，有利于提高道路交通安全。

实施例二

图2示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之二，具体包括：

步骤202，根据媒体信息确定驾驶员的情绪数据集；

步骤204，将情绪数据集输入至情绪识别模型中，并获取情绪识别模型输出的情绪状态。

在本发明实施例中，通过基于卷积神经网络算法的神经网络模型，具体为情绪识别模型，来对驾驶员的情绪状态进行分析，能够实现自动、高效且准确的情绪分析，进而实现对驾驶员情绪的实时监控。具体地，通过设置在驾驶室内的媒体采集装置，采集驾驶室内的媒体信息，对采集到的媒体信息进行处理，形成为能够被情绪识别模型应用的情绪数据集。将得到的情绪数据集输入至情绪识别模型后，情绪识别模型能够通过计算机卷积神经网络算法，对当前驾驶员的情绪状态进行预测，并输出对应的预测结果。通过基于卷积神经网络算法的情绪识别模型来预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

实施例三

在本发明的一些实施例中，媒体信息包括图像信息和音频信息，图3示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之三，具体包括：

步骤302，通过人脸检测算法，在图像信息中提取驾驶员的人脸图像数据；

步骤304，通过快速独立成分分析算法，在音频信息中分离驾驶员的声音数据；

步骤306，对人脸图像和声音数据进行特征提取，得到情绪数据集。

在本发明实施例中，媒体信息具体包括图像信息和音频信息，相对应的，媒体采集装置可包括图像采集装置和音频采集装置，其中图像采集装置可以是摄像头，音频采集装置可以是麦克风。对于图像采集装置采集到的图像信息，通过人脸检测算法，在驾驶室图像中提取驾驶员的人脸图像数据，其中，人脸检测算法可以为mtcnn(multi-taskconvolutionalneuralnetwork，多任务卷积神经网络)人脸检测算法或其他人脸检测算法，本发明实施例对人脸检测算法的具体类型不做限制。

进一步地，对于音频采集装置采集到的音频信息，通过快速独立成分分析算法(fastica，fastindependentcomponentanalysis)，在驾驶室音频信息中分理处驾驶员的声音数据。能够理解的是，本发明实施例的音频处理方法，并不局限于上述fastica算法，其他能够实现对驾驶员声音数据的分离的算法，均为本发明的可行实施例。

在得到驾驶员的人脸图像数据和驾驶员的声音数据之后，进一步结合人脸图像数据和声音数据，进行特征提取，得到驾驶员的情绪特征。其中，人脸图像数据包括了人脸的表情、姿态、微表情等。一般来说，驾驶员在处于“悲伤”、“愤怒”、“高兴”等不同情绪下，其面部表情会有较大的差别，对驾驶员的面部表情进行有效地数据分析，提取其中的“表情特征”，并形成为对应面部表情的情绪数据集，该情绪数据集能在第一个方面上对驾驶员的情绪状态进行表征。

同时，驾驶员的声音数据包括了驾驶员的音调、音量和语音内容等。一般来说，驾驶员在处于不同情欲下，其语言的音调、音量和语音内容等也会不同，比如人在高兴时，其说话的语调较高，音量适中，且语音内容一般不会有“咒骂”、“抱怨”类的词汇。而当人处于愤怒的情绪下，其说话的语调较低，音量较大，且语音中有较大可能出现“咒骂”、“抱怨”类的词汇。根据驾驶员说话时的音调、音量以及语音识别后的关键词检测等方法，形成为对应声音的情绪数据集，该情绪数据集能在第二个方面上对驾驶员的情绪状态进行表征。

最后，对基于面部表情的情绪数据集，和基于声音的情绪数据集进行整合，最终得到情绪数据集，最后通过情绪识别模型对情绪数据集进行分析，预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

其中，对人脸图像和声音数据进行特征提取时，可通过梅尔能量谱特征提取法、短时傅里叶变换提取法、梅尔倒谱系数提取法、bark域能量谱提取法、等效矩形带宽域(erb，equvivalentrectangularbandwidth)能量谱提取法或伽马通(gammatone)倒谱系数提取法等方法，本发明实施例对特征提取的具体方法不做限定。

实施例四

图4示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之四，具体包括：

步骤402，获取预设的情绪数据训练集；

步骤404，将初始神经网络模型输入情绪数据训练集，通过情绪数据训练集训练神经网络模型，以得到情绪识别模型。

在本发明实施例中，为了得到能够准确识别驾驶员情绪状态的情绪识别模型，需要通过训练集对初始神经网络模型进行训练，使得神经网络模型“学会”如何通过图像信息和音频信息等媒体信息，来识别驾驶员的情绪状态。具体地，获取预设的情绪数据训练集，该情绪数据训练集中包含大量不同性别、性格、外貌特征的“人”，在不同情绪下的音、视频数据。通过这些数据，对初始的神经网络模型进行反复训练、校验和测试，直到神经网络模型的预测精度满足需求后，将训练好的神经网络模型保存为情绪识别模型，通过保存的情绪识别模型预测驾驶员的情绪状态，有利于对驾驶员的情绪状态进行高效准确的识别，进而防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

其中，初始神经网络模型可以包括卷积-递归神经网络、卷积神经网络、递归神经网络、隐马尔科夫模型、高斯混合模型或支持向量机等，本发明实施例对初始神经网络模型的具体类型不做限定。

实施例五

图5示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之五，具体包括：

步骤502，根据情绪状态确定情绪类型和对应的情绪强度；

步骤504，根据情绪类型和对应的情绪强度，确定目标媒体文件；

步骤506，控制车辆播放媒体文件。

在本发明实施例中，驾驶员的情绪状态包括情绪类型和该情绪类型对应的情绪强度，其中情绪类型主要包括如“愤怒”、“困倦”、“注意力涣散”等可能对驾驶安全产生影响的负面情绪，而对应的情绪强度则用于表述驾驶员处于某个“情绪”下的强烈度，如将“愤怒”的情绪划分为强度1至强度10，强度越高，驾驶员就越“愤怒”。

通过情绪识别模型识别出驾驶员的情绪状态后，进一步确定驾驶员的情绪类型和情绪强度，并针对性的确定目标媒体文件。具体地，媒体文件可以是音乐、视频、语音播报、氛围灯光或香薰等，又或是上述种类的结合。

举例来说，如果确定驾驶员的情绪是“愤怒”，则可以播放舒缓平静的音乐，同时点亮柔和的氛围灯光，释放令人平静的熏香，进而安抚驾驶员的情绪，使驾驶员的情绪平复。

如果确定驾驶员的情绪是“困倦”，则可以播放激昂的音乐，释放强烈的熏香，进而使驾驶员打起精神，同时通过语音播报，提示驾驶员尽快停车休息。

通过根据驾驶员的情绪确定目标媒体文件并进行播放，通过目标媒体文件缓解驾驶员的负面情绪，有利于防止因驾驶员负面情绪导致的危险驾驶行为，保证道路安全。

实施例六

图6示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之六，具体包括：

步骤602，基于情绪类型为目标情绪类型，且情绪强度高于情绪强度阈值的情况，生成对应的报警信息；

步骤604，控制车辆播放报警信息，并将报警信息发送至对应的服务器。

在本发明实施例中，如果确定到的驾驶员的情绪类型是目标情绪类型，且同时情绪强度高于情绪强度阈值，则说明当前驾驶员处于极端负面情绪下，通过播放目标媒体文件已经难以安抚驾驶员的负面情绪，此时生成对应的报警信息，一方面控制车辆播放报警信息，警示驾驶员尽快停车冷静，另一方面将报警信息发送至对应的服务器，以使服务器能够即使掌握事态并有针对性的运行应对方案。

其中，目标情绪类型具体可以包括可能对驾驶安全造成影响的负面情绪，如“愤怒”、“困倦”等。

在一些实施方式中，车辆播放报警信息时，可以同时向周围一定范围内的车辆同步发送该报警信息，以警示周围的车辆注意安全。

在另一些实时方式中，对于具有自动驾驶功能的车辆，当情绪类型为目标情绪类型，且情绪强度高于情绪强度阈值时，还可以控制车辆进行制动。值得注意的是，在控制车辆自动制动时，需通过传感器、感应雷达、激光扫描装置等设备确定行驶安全，且不会影响到其他车辆。

实施例七

图7示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之七，还包括：

步骤702，获取车辆的行驶数据，根据行驶数据判断车辆是否处于变道状态；

步骤704，基于车辆处于变道状态中，获取变道状态对应的目标车道信息，与目标车道信息对应的外部车辆位置；

步骤706，根据目标车道信息和外部车辆位置生成对应的提示信息；

步骤708，控制车辆播放变道提示信息。

在本发明实施例中，车辆驾驶过程中，实时获取车辆的行驶数据，并根据行驶数据判断车辆是否处于变道过程。如果判定车辆当前处于变道过程，则进一步确定车辆即将驶入的目标车道信息，以及该目标车道信息中的外部车辆位置，根据目标车道信息和外部车辆信息，生成对应的提示信息，并向驾驶员播放该变道提示信息。

举例来说，如果车辆当前行驶于最左侧车道，并开始向右转向，则确定左侧第二车道为目标车道，同时通过激光扫描设备、雷达设备或图像识别设备，获取左侧第二车道一定范围内的车辆信息，如果左侧第二车道在一定范围内没有其他车辆，则确定变道安全，此时可生成“可安全变道”的提示信息，提示驾驶员当前变道安全。

如果左侧第二车道在一定范围内存在其他车辆，则进一步获取该车辆的位置信息，根据其他车辆和本车辆的位置关系，判断变道过程是否会对其他车辆产生影响。如果变道过程不会对其他车辆产生影响，则可以生成“可安全变道，请小心车道内有其他车辆”的提示信息，提示驾驶员注意其他车辆。如果变道过程会对其他车辆产生影响，则生成“车道内有其他车辆，请等待其他车辆通过后再变道”。

在一些实施方式中，还可通过网络，将变道信息发送至其他车辆，提示其他车辆前车将要变道，注意安全。

对于另一些实施方式，如果在提示驾驶员变道可能对其他车辆产生影响后，驾驶员仍执意变道，则可向驾驶员播放警示信息，同时将警示信息发送至其他车辆，警示其他车辆以避免事故，同时将该警示信息发送至服务器，将不文明变道行为上报至管理人员备案。

在本发明的一些实施例中，行驶数据包括行驶速度、行驶加速度和/或车道信息。

其中，行驶数据包括车辆的行驶速度，即车速。同时还包括行驶加速度，其中可通过gps(globalpositioningsystem，全球定位系统)信号来获取加速度信息，或通过设置加速度计来获取加速度信息，也可以通过油门信号计算加速度信息。行驶数据还包括车道信息，可通过图像识别算法识别车道白线，进而识别当前车道与相邻车道。

能够理解的是，行驶数据具体为车辆行驶过程中的多种数据，并不局限于上述提到的具体类型。

实施例八

在本发明的一些实施例中，提出了基于搅拌车驾驶员与车辆情感交流的辅助驾驶装置和方法，其中，该装置具备采集驾驶员的图像、声音信息，在适当的时机，对搅拌车驾驶员的情绪及时进行干预、疏导的功能，紧急时刻限制车辆速度，降低因搅拌车驾驶员情绪波动而引发交通事故的可能性；采集当前车道信息，在变道时，分析变道行为是否会激怒其他车道车辆驾驶员，并及时做出警示。

具体地，图8示出了根据本发明实施例的车辆的控制逻辑示意图，其中，本装置包括登录控制模块802，数据采集模块804，预处理模块806，判断模块808，存储模块810，输出控制模块812，语音播放模块814，网络模块816，云端服务模块818，如图8所示，登录控制模块802用以匹配驾驶员信息，向服务端进行登录。

数据采集模块804负责采集驾驶员的视频以及音频数据，以及车辆的状态信息、车道线位置信息等。

预处理模块806从采集到的图像和语音信息中提取驾驶员情绪特征信息；

判断模块808将识别模块输入特征信息与存储模块中存储的各类情感信息进行对比，判断驾驶员当前所处的情感分类；

存储模块810存储各种语音提示信息以及驾驶员的个人登录信息以及事先量化的各种情绪分类以及强度等级表；

输出控制模块812用于控制语音播放模块以及网络模块向周围车辆的广播以及向车辆can(controllerareanetwork，控制器局域网络)总线输出减速等控制指令；

语音播放模块814用于控制音频设备播放语音；

网络模块816用以向周边安装本装置的车辆发送通知以及实时向云端服务报告驾驶员的情绪状态以及是否不文明变道行为；

云端服务模块818用于收集终端上报的数据，对单个驾驶员的情绪状态以每天、每月的时间粒度进行统计，并形成统计报表。

控制方法具体包括以下步骤：

步骤s1，装置开机，自动采集驾驶员图像信息进行信息匹配，然后向云端服务进行登录；

步骤s2，采集驾驶员的图像以及音频信息，并且获取车辆的速度、转向角度、车道线位置等信息；

步骤s3，从步骤s2中获取到的图像数据中使用mtcnn(multi-taskconvolutionalneuralnetwork)人脸检测算法提取到扣取驾驶员的面部图像，以及使用fastica算法从采集到的音频数据中分离出驾驶员的音频，然后，针对驾驶员面部图像数据以及音频数据，进一步提取驾驶员的情绪特征；

步骤s4，利用上述s3提取的情绪特征数据，使用卷积神经网络算法训练，建立搅拌车驾驶员的情绪识别模型；

步骤s5，利用该模型对搅拌车驾驶员的情绪状态进行实时的监控，将提取到的驾驶员情绪特征数据输入到模型中进行计算，然后得出搅拌车驾驶员当前的情绪分类以及强度数据；

步骤s6，与存储模块所存储的各个类型的情绪以及强度数据进行比对，得出当前的情绪类型以及强度等级；

步骤s7，针对不同类型、强度的情绪采取不同的干预措施，比如，播放相应的语音提示、音乐、笑话，或者紧急情况下对车辆进行限速，同时向云端服务实时报告搅拌车驾驶员的情绪状态；

步骤s8，必要时刻，向周边装备本装置的车辆发出告警通知；

步骤s9，从采集到的车速、转向角度、加速度、车道线位置信息、周边车辆位置信息，判定搅拌车驾驶员当前是否处于变道操作，以及变道操作是否会对邻近车道的车辆造成干扰；

步骤s10，如果判定当前变道不文明，则会向驾驶员发出告警提示，同时向云端上报。

具体地，图9示出了根据本发明实施例的车辆驾驶状态的监控方法的流程图之八，具体包括：

步骤902，获取用户信息；

步骤904，判断用户信息是否匹配；是则进入步骤906，否则结束；

步骤906，采集驾驶员信息、本车信息和其他车辆信息；

步骤908，对信息进行预处理，以提取情绪信息和车辆信息；

步骤910，根据车道信息和转向信息、速度信息确定变道警告；

步骤912，通过神经网络模型对情绪信息进行匹配；

步骤914，判断是否为目标情绪；是则进入步骤916，否则结束；

步骤916，针对目标情绪采取对应的干预措施；

步骤918，将情绪数据集发送云端服务器；

步骤920，判断是否警示周围车辆；是则进入步骤922，否则结束；

步骤922，发送警示信息；

步骤924，判断是否播放变道语音；是则进入步骤926，否则结束；

步骤926，播放变道语音；

步骤928，将变道数据发送云端服务器。

实施例九

图10示出了根据本发明实施例的车辆的结构框图，具体地，车辆1000包括：驾驶室1002，驾驶室中设置有媒体采集装置1004；存储器1006，被配置为存储计算机程序；处理器1008，被配置为执行计算机程序时实现如上述任一实施例中提供的车辆驾驶状态的监控方法的步骤，因此，该车辆1000还包括如上述任一实施例中提供的车辆驾驶状态的监控方法的全部有益效果，在此不再赘述。

在本发明的一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一实施例中提供的车辆驾驶状态的监控方法的步骤，因此，该计算机可读存储介质还包括如上述任一实施例中提供的车辆驾驶状态的监控方法的全部有益效果，在此不再赘述。

本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所述的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。