基于语音和上下文的驾驶员情绪识别方法和系统与流程

1.本发明涉及汽车领域，更具体地，涉及基于语音和上下文的驾驶员情绪识别方法和系统。


背景技术：

2.近年来，尤为重要的是，汽车能够在驾驶场景中根据驾驶员的情绪识别结果来与驾驶员进行主动沟通，并且在驾驶员陷入负面情绪时提供及时的帮助和指导，因为首先为驾驶员提供更舒适的驾驶环境和更好的驾驶体验始终是汽车行业的主要目标之一，其次对于许多人来说，驾驶已经成为必不可少的日常活动，人们在通勤、旅行等路上花费了大量时间，每个人在驾驶过程中的情绪显然会影响其驾驶行为，在紧急情形中，生气的驾驶员可能会做出非常激进的判断，从而可能导致安全隐患。
3.目前已经对情绪识别进行了许多研究，并从以下多个方面得到了各种解决方案：
4.1、车辆能够通过传感器(例如，相机或红外传感器)来捕捉驾驶员的面部表情或驾驶姿势，这直接暗示了驾驶员的情绪。
5.2、驾驶员的语音也可以作为用于情绪识别的分析资源，因为语音也具有许多独特的特征。
6.3、一些设备可以分析相关的驾驶信息(例如，车辆状况、道路状况、行车路线等)，并且根据预定义的类别来对驾驶员的情绪进行分类。
7.4、利用生理信号和神经元信号的研究如今也是热点，从一些可穿戴设备产生的脑电图可以生动地显示驾驶员的情绪波动。
8.然而，目前已有的方法还存在以下挑战：
9.1、面部表情情绪识别需要附加的相机设备来提取图像，或者姿势捕捉需要其他传感器。附加的硬件设备需要花费更多的时间和成本来测试以适应车辆结构。
10.2、由于车内乘客多，语音情绪识别容易受到干扰。当其他人在聊天时，声源混乱，驾驶员的语音特征难以提取。
11.3、人的情绪是一种主观表现，具有灵活性和不可预测性，仅根据环境状况来进行识别的结果是不够可靠的。
12.4、生理或神经信号机制的技术较为复杂。在现有的相关技术下，驾驶员需要佩戴较重或具有许多电极的头盔，由于技术的不成熟，会使驾驶员感到不舒服，甚至可能造成潜在的安全隐患。
13.5、单一的识别机制很可能会得到错误的结果，驾驶员可能会无意识地隐藏他/她的情绪特征，例如，假笑并不意味着驾驶员真的心情好。
14.因此，希望能够提供一种新的解决方案来优化情绪识别技术。


技术实现要素：

15.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一
些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
16.针对以上问题，根据本发明的一个方面，提供了一种基于语音和上下文的驾驶员情绪识别方法，所述方法包括：
17.接收驾驶员的语音消息；
18.处理所接收到的语音消息以获取关于驾驶员情绪的语音情绪评估参数；
19.获取与所述驾驶员相关联的情绪上下文参数，其中所述情绪上下文参数是能够对驾驶员情绪产生影响的因素；以及
20.将所述语音情绪评估参数和所述情绪上下文参数输入情绪识别模型以识别所述驾驶员的情绪。
21.根据本发明的一个实施例，所述语音情绪评估参数包括以下一者或多者：
22.语调；
23.语速；或者
24.内容。
25.根据本发明的进一步实施例，所述内容包括指示驾驶员情绪的关键词。
26.根据本发明的进一步实施例，所述情绪上下文参数包括以下一者或多者：
27.日程信息；
28.当前路况信息；
29.当前天气状况；
30.出行时间段；或者
31.驾驶行为。
32.根据本发明的进一步实施例，所述情绪识别模型是采用机器学习算法通过预先训练来建立的。
33.根据本发明的进一步实施例，所述情绪识别模型是通过以下方式来建立的：
34.创建与所述语音情绪评估参数和所述情绪上下文参数的多种不同组合相对应的出行场景特征向量集；
35.获取所述出行场景特征向量集中各场景下的情绪评估值；以及
36.将各场景下的语音情绪评估参数和情绪上下文参数作为训练输入，将各场景下的情绪评估值作为训练响应，采用机器学习算法来完成模型的建立。
37.根据本发明的进一步实施例，所述情绪识别模型是基于识别规则来建立的。
38.根据本发明的进一步实施例，所述方法进一步包括：
39.基于所识别的情绪，执行相应的车辆控制。
40.根据本发明的另一方面，提供了一种基于语音和上下文的驾驶员情绪识别系统，所述系统包括：
41.语音处理模块，所述语音处理模块被配置成：
42.接收驾驶员的语音消息；以及
43.处理所接收到的语音消息以获取关于驾驶员情绪的语音情绪评估参数；
44.情绪识别模块，所述情绪识别模块被配置成：
45.获取与所述驾驶员相关联的情绪上下文参数，其中所述情绪上下文参
46.数是能够对驾驶员情绪产生影响的因素；以及
47.将所述语音情绪评估参数和所述情绪上下文参数输入情绪识别模型以识别所述驾驶员的情绪。
48.根据本发明的一个实施例，所述语音情绪评估参数包括以下一者或多者：
49.语调；
50.语速；或者
51.内容。
52.根据本发明的进一步实施例，所述内容包括指示驾驶员情绪的关键词。
53.根据本发明的进一步实施例，所述情绪上下文参数包括以下一者或多者：
54.日程信息；
55.当前路况信息；
56.当前天气状况；
57.出行时间段；或者
58.驾驶行为。
59.根据本发明的进一步实施例，所述情绪识别模型是采用机器学习算法通过预先训练来建立的。
60.根据本发明的进一步实施例，所述情绪识别模型是基于识别规则来建立的。
61.根据本发明的又一方面，提供了一种汽车，所述汽车包括：
62.语音采集模块，所述语音采集模块被配置成采集驾驶员的语音消息；
63.前述情绪识别系统，所述情绪识别系统被配置成基于从所述语音采集模块所采集的语音消息中获取的语音情绪评估参数和与所述驾驶员相关联的情绪上下文参数识别所述驾驶员的情绪；以及
64.车辆控制模块，所述车辆控制模块被配置成基于所述情绪识别系统所识别的情绪来执行相应的车辆控制。
65.针对现有技术中存在的问题，本发明提供了一种用于情绪识别的优化解决方案，该解决方案基于现有的语音情绪识别技术，结合内容情绪识别以及附加的上下文分析来得到驾驶员情绪的更加准确的结果，并且至少具有以下优点：
66.1、在原有语音系统的基础上，不需要附加的硬件设备，即对汽车公司和客户没有附加的经济负担。
67.2、识别资源仅需要额外包括驾驶员的语音和来自软件的信息，无需直接身体接触意味着更安全、更方便和更舒适。
68.3、与单一的识别机制不同，语音、内容、与驾驶员情绪有关的上下文等信息的多元素识别可以显著提高识别结果的准确性并且降低误判的可能性。
69.4、在驾驶员心情不好的情况下，系统可以相应的帮助缓解驾驶员的负面情绪，如播放一些音乐或讲一些笑话，从而实现更加人性化的辅助系统，并提高行车安全。
70.5.可以以更准确的用户需求来优化其他车载娱乐系统，为驾驶员提供更好的行车体验。
71.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的
各方面形成限制。
附图说明
72.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
73.图1是根据本发明的一个实施例的基于语音和上下文的驾驶员情绪识别系统的架构示意图。
74.图2是根据本发明的一个实施例的基于语音和上下文的驾驶员情绪识别方法的示意流程图。
75.图3是根据本发明的一个实施例的汽车的结构示意图。
具体实施方式
76.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
77.图1是根据本发明的一个实施例的基于语音和上下文的驾驶员情绪识别系统的架构示意图。如图1所示，驾驶员情绪识别系统100可至少包括语音处理模块101和情绪识别模块102。
78.语音处理模块101可接收所采集的驾驶员语音消息，处理所接收到的语音消息以获取关于驾驶员情绪的语音情绪评估参数。语音情绪评估参数可包括语调、语速或者内容中的一者或多者，其中内容可包括指示驾驶员情绪的关键词。作为一个示例，可以通过自然语言理解(nlu)来提取出关于驾驶员情绪表达的关键词。作为另一示例，可以对接收到的语句进行诸如分词、停用词之类的预处理，随后利用预先构建好的情绪词典与经处理的语句进行字符串匹配，从而提取出关于驾驶员情绪表达的关键词。情绪词典可例如包括正面词语词典、负面词语词典、否定词语词典和程度副词词典。在一些情形中，驾驶员在例如碰到交通事故时可能会说出负面词汇，该词汇可与负面词语词典中的词汇相匹配，从而判断出驾驶员可能处于负面情绪。目前已经存在许多开源的情绪词典(例如，bosonnlp词典)。此外，还可以通过语料来自己训练情绪词典。作为另一示例，可以对接收到的语句进行诸如分词、停用词之类的预处理，随后基于深度学习来提取出关于驾驶员情绪表达的关键词。
79.情绪识别模块102可获取与驾驶员相关联的情绪上下文参数，并且将从语音处理模块101获取的语音情绪评估参数与多个情绪上下文参数输入情绪识别模型以得到对应的情绪评估值。情绪上下文参数可以例如是从车载传感器或车联网获取的。情绪上下文参数是能够对驾驶员情绪产生影响的因素，包括但不限于例如日程信息(诸如活动、假期等)、当前路况信息(诸如交通事故、交通拥堵、红绿灯等)、当前天气状况(诸如光照、温度、风等)、驾驶行为(诸如紧急刹车、突然加速、持续按喇叭、拍打方向盘等)和出行时间段(诸如工作日的上下班高峰时间、节假日等)。通过将语音情绪评估参数与多个情绪上下文参数相结合，可以更准确地判断出驾驶员的当前情绪。在一个场景中，驾驶员的日程表显示他在当天下午将要进行4小时的会议，当前路况较为拥堵并且正在下雨，驾驶员说出“天啊，又堵车
了，太糟糕了”，则驾驶员很可能情绪不佳。在另一场景中，驾驶员的日程表显示他周末即将去度假，当前路况畅通且天气晴朗，驾驶员说出“太好了，马上休假了”，则驾驶员的情绪大概率是正面积极的。情绪识别模型可以基于识别规则来建立。情绪识别模型还可以采用机器学习算法(例如，支持向量机、朴素贝叶斯等)通过预先训练来得到。具体而言，创建与语音情绪评估参数和多个情绪上下文参数的多种不同组合相对应的出行场景特征向量集，然后选择一定数量的参与者对特征向量集中各场景下的驾驶员情绪进行评价并转换成对应的情绪评估值，在取得上述评价样本后，将每个行车场景下的语音情绪评估参数和多个情绪上下文参数作为训练输入，将与每个场景对应的情绪评估值作为训练响应，采用机器学习算法来完成模型的建立。举例来说，情绪评估值可包括1(表示正面情绪)、0(表示中性情绪)和-1(表示负面情绪)。情绪评估值还可以是例如处于负面情绪的概率(例如，85％)。
80.图2是根据本发明的一个实施例的可以由例如图1中的驾驶员情绪识别系统执行的基于语音和上下文的情绪识别方法200的示意流程图。
81.方法开始于步骤201，语音处理模块101接收驾驶员的语音消息(例如，“天啊，又堵车了，太糟糕了”)。
82.在步骤202，语音处理模块101处理所接收到的语音消息以获取关于驾驶员情绪的语音情绪评估参数。例如，语音处理模块102通过自然语言理解(nlu)提取出关于情绪表达的关键词(例如，“天啊”、“糟糕”、“oh my god”等)，并且获取关于语调、语速等的信息，从而得到关于驾驶员情绪的语音情绪评估参数。
83.在步骤203，情绪识别模块102获取与驾驶员相关联的多个情绪上下文参数，其中该多个情绪上下文参数是能够对驾驶员情绪产生影响的因素(例如，日程信息、当前路况信息、当前天气状况、驾驶行为和出行时间段等)。
84.在步骤204，情绪识别模块102将所获取的语音情绪评估参数和多个情绪上下文参数输入情绪识别模型以识别驾驶员的情绪。情绪识别模型可以是例如通过机器学习算法来建立的。例如，在一个场景中，情绪识别模块103将所获取的语音情绪评估参数(例如，“内容：天啊，又堵车了，太糟糕了；语速：较快；语调：急促尖锐”)和多个情绪上下文参数(例如，“日程信息：下午将要进行4小时的会议；当前路况信息：拥堵；当前天气状况：下雨；出行时间段：上班高峰时间”)输入情绪识别模型，得到对应的情绪评估值(例如，“85％”(表示大概率处于负面情绪))。
85.图3是根据本发明的一个实施例的汽车300的结构示意图。汽车300至少包括语音采集模块301、车辆控制模块302和情绪识别系统100。语音采集模块301可以是汽车内现有的麦克风或麦克风阵列。车辆控制模块302可与情绪识别系统100通信地耦合，在通过情绪识别系统100判断出驾驶员的情绪之后，车辆控制模块302可基于所识别的情绪来执行相应的车辆控制。例如，车辆控制模块302可基于所识别的情绪(例如，驾驶员大概率处于负面情绪)来控制音频输出装置播放比较欢快的音乐或提醒周末即将到来，以缓解驾驶员的负面情绪，或者车辆控制模块302也可控制车速降低以防止驾驶员由于路怒情绪而做出诸如持续踩油门、超速或激烈行驶等危险驾驶行为。
86.以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从
而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。