基于情绪识别的驾驶模式调节方法、系统、装置及介质与流程

本发明涉及车辆控制，尤其是一种基于情绪识别的驾驶模式调节方法、系统、装置及存储介质。

背景技术：

1、在汽车驾驶中，行驶安全最为重要，但大多数的交通事故都是人为因素导致的，而车内人员尤其是驾驶员的情绪则是导致人为交通事故的重要原因。在行车过程中，由于长途的驾驶容易导致驾驶员疲劳困倦，而堵车、糟糕的路况以及其它的车辆的不规范行为也会导致驾驶员产生愤怒、不满等不良情绪，从而影响车辆行驶的安全性。因此有必要对驾驶员的情绪进行识别，以便于及时调节驾驶模式，防止可能出现的交通事故。

2、现有技术中，驾驶员的情绪识别一般是通过驾驶员面部表情变化来进行识别，这种单一维度的情绪识别方式一方面容易受到外界环境的干扰，另一方面未考虑到车辆当前所处行驶环境，影响了驾驶员情绪识别的准确性；此外，现有技术中的驾驶模式大多通过驾驶员手动进行调节，效率较低，且在驾驶员情绪消极、异常时，往往忘记或不愿去主动调节驾驶模式，影响了车辆行驶的安全性和驾驶员的驾驶体验。

技术实现思路

1、本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

2、为此，本发明实施例的一个目的在于提供一种基于情绪识别的驾驶模式调节方法，该方法提高了驾驶员情绪识别的准确性，也提高了车辆行驶的安全性和驾驶员的驾驶体验。

3、本发明实施例的另一个目的在于提供一种基于情绪识别的驾驶模式调节系统。

4、为了达到上述技术目的，本发明实施例所采取的技术方案包括：

5、第一方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节方法，包括以下步骤：

6、获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

7、根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

8、根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

9、根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

10、进一步地，在本发明的一个实施例中，所述获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：

11、通过设置在所述目标车辆内的第一摄像装置获取所述驾驶员的人脸图像信息；

12、通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；

13、通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的肢体动作信息；

14、通过设置在所述目标车辆外的第二摄像装置获取所述目标车辆的行驶环境图像信息。

15、进一步地，在本发明的一个实施例中，所述根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息这一步骤，其具体包括：

16、对所述人脸图像信息进行纹理特征提取得到面部特征信息，并将所述面部特征信息输入到预设的面部表情识别模型，得到所述面部表情信息；

17、对所述语音信息进行声学特征提取得到声学特征信息，并将所述声学特征信息输入到预设的语音情感识别模型，得到所述语音情感信息；

18、对所述肢体动作信息进行姿态特征提取得到姿态特征信息，并将所述姿态特征信息输入到预设的驾驶行为识别模型，得到所述驾驶行为信息。

19、进一步地，在本发明的一个实施例中，所述根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息这一步骤，其具体包括：

20、对所述行驶环境图像信息进行目标检测得到若干个目标对象，所述目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；

21、根据连续多帧所述行驶环境图像信息确定所述目标对象的状态变化信息；

22、根据所述状态变化信息确定所述目标车辆的驾驶场景信息；

23、其中，所述驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。

24、进一步地，在本发明的一个实施例中，所述基于情绪识别的驾驶模式调节方法还包括预先训练所述情绪识别模型的步骤，其具体包括：

25、获取预设的多个情绪识别样本数据，并确定各所述情绪识别样本数据的标签信息，所述情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据组成；

26、根据所述情绪识别样本数据和对应的所述标签信息构建训练数据集；

27、将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型。

28、进一步地，在本发明的一个实施例中，所述将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：

29、基于注意力机制对所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据进行权重分配；

30、将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络，识别得到情绪预测结果；

31、根据所述情绪预测结果和所述标签信息确定所述深度神经网络的损失值；

32、根据所述损失值通过反向传播算法更新所述深度神经网络的模型参数，并返回将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络这一步骤；

33、当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。

34、进一步地，在本发明的一个实施例中，所述根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节这一步骤，其具体包括：

35、根据所述情绪识别结果和所述驾驶场景信息生成第一数组；

36、获取预设的驾驶模式数据池，所述驾驶模式数据池包括多个第一映射关系，所述第一映射关系为所述第一数组与对应的驾驶模式的映射关系；

37、根据所述第一数组和所述第一映射关系确定目标驾驶模式，并通过车身控制器控制所述目标车辆切换至所述目标驾驶模式。

38、第二方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节系统，包括：

39、信息获取模块，用于获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

40、信息识别模块，用于根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

41、情绪识别模块，用于根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

42、驾驶模式调节模块，用于根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

43、第三方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节装置，包括：

44、至少一个处理器；

45、至少一个存储器，用于存储至少一个程序；

46、当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种基于情绪识别的驾驶模式调节方法。

47、第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种基于情绪识别的驾驶模式调节方法。

48、本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

49、本发明实施例获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息，根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息，然后根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果，进而可以根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。本发明实施例对驾驶员的面部表情信息、语音情感信息、驾驶行为信息以及目标车辆的驾驶场景信息分别进行识别，然后基于这四个维度的识别信息利用预先训练好的情绪识别模型对驾驶员进行情绪识别，克服了单一维度的特征容易受到外界环境影响的缺陷，且考虑了车辆当前所处行驶环境对驾驶员情绪的影响，提高了驾驶员情绪识别的准确性；基于情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节，提高了驾驶模式调节的效率和准确性，从而提高了车辆行驶的安全性和驾驶员的驾驶体验。