一种车内免唤醒语音交互方法、装置、设备及存储介质与流程

本技术涉及汽车智能座舱，具体涉及一种车内免唤醒语音交互方法、装置、设备及存储介质。

背景技术：

1、随着智能汽车技术的发展，车辆的智能性越来越高，车舱内进行智能的语音控制也成为了当前智能座舱的一个主流需求，越来越多的车辆开始具备语音交互功能。当前用户在使用车内的语音系统时，需要利用唤醒词唤醒或眼动或唇动等方式进行语音唤醒，如果一旦用户嗓音较小或噪音过大，或者有多人说话时，则无法保证语音系统的正常交互；而且在车内有多个人使用语音交互系统时，每次使用均需要进行语音唤醒，显得非常不方便，语音交互也不够自然。因此，用户需要一种更自然的语音交互方式，若能无需唤醒即可使用语音系统，将大大提高语音交互的便捷性和体验感。

2、为了实现上述功能，有人提出了一种服务器、智能设备以及多设备语音唤醒方法，该方法可以在用户输入语音控制指令后，由服务器从语音控制指令中解析业务需求信息，并根据业务需求信息筛选当前设备状态能够实现该业务需求的目标设备，从而向目标设备发送响应指令，以使作为目标设备的智能设备做出语音响应。但是此种唤醒方式相当复杂，且延时太久。还有人提出了一种免唤醒交互方法，该方法包括：响应于接收到用户的有效语音信号，基于所述有效语音信号所在的时间段确定检测区间；若在所述检测区间内检测到所述用户的有效指向特征，判断所述有效语音信号和所述有效指向特征是否对应有效指令；若判断对应有效指令，则对所述有效指令进行处理和反馈。然而，该技术方案需要判断语义是否有效才能继续进行语音交互，仿佛是在背后监视用户，非常的不友好。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明提供一种车内免唤醒语音交互方法、装置、设备及存储介质，以解决车内多人存在时，车辆语音交互系统不自然、不方便等技术问题。

2、为实现上述目的及其他相关目的，本发明第一方面提供一种车内免唤醒语音交互方法，包括：

3、获取本车车舱内n个位置上的车内人员的唇动信息，基于所述唇动信息识别车内人员的唇动信号，所述唇动信号包括唇动状态和未唇动状态，根据所述唇动信号确定唇动人员；

4、获取所述唇动人员的声音信息，并基于所述声音信息识别所述唇动人员的发声信号，所述发声信号包括发声状态和未发声状态，根据所述发声信号确定发声人员；

5、基于所述声音信息获取所述发声人员的语音指令信息，并将所述语音指令信息与预设语音指令集进行匹配，根据匹配结果确定所述语音指令信息的命令集中信号，所述命令集中信号包括指令命中状态和指令未命中状态；

6、根据所述命令集中信号确定语音交互系统的响应策略为免唤醒模式，所述免唤醒模式包括：启动语音交互系统，进行语音交互。

7、于本发明的一实施例中，所述车内免唤醒语音交互方法还包括：

8、若未检测到唇动人员或发声人员，或所述命令集中信号为指令未命中状态，则获取本车车舱内n个位置上的车内人员的语音信息，将所述语音信息与预设唤醒词进行匹配，根据匹配结果确定所述语音信息中包含预设唤醒词，则确定语音交互系统的响应策略为唤醒模式，所述唤醒模式包括：

9、根据唤醒词唤醒并启动语音交互系统，进行语音交互。

10、于本发明的一实施例中，获取本车车舱内n个位置上的车内人员的唇动信息的方式包括：

11、通过车辆内部的摄像设备采集车舱内n个位置上的车内人员的图像信息，基于所述图像信息获取车舱内n个位置上的车内人员的唇动信息。

12、于本发明的一实施例中，所述摄像设备设置有若干个，安装位置选自车舱内前部区域、中间区域和/或后部区域。

13、于本发明的一实施例中，获取所述唇动人员的声音信息，或者获取车舱内n个位置上的车内人员的语音信息的方式包括：

14、通过声音采集设备采集车舱内的声音，识别并提取采集到的车舱内声音的特征参数，基于所述特征参数对采集到的车舱内声音进行区分，从而获取得到所述唇动人员的声音信息，或者所述车舱内n个位置上的车内人员的语音信息。

15、于本发明的一实施例中，所述声音的特征参数包括音色、音调、响度、能量、频率、语速、语言风格。

16、于本发明的一实施例中，本车安装有车载信息娱乐系统，所述车载信息娱乐系统基于所述唇动信息识别车内人员的唇动信号，并根据所述唇动信号确定唇动人员，基于所述声音信息识别所述唇动人员的发声信号，并根据所述发声信号确定发声人员，以及基于所述声音信息获取所述发声人员的语音指令信息，并将所述语音指令信息与预设语音指令集进行匹配，根据匹配结果确定所述语音指令信息的命令集中信号，并根据所述命令集中信号确定语音交互系统的响应策略为免唤醒模式。

17、本发明第二方面提供一种车内免唤醒语音交互装置，包括：

18、唇动信息获取模块，用于获取本车车舱内n个位置上的车内人员的唇动信息；

19、声音获取模块，用于获取所述唇动人员的声音信息，和/或获取本车车舱内n个位置上的车内人员的语音信息；

20、车载信息娱乐系统，用于基于所述唇动信息识别车内人员的唇动信号并根据所述唇动信号确定唇动人员，基于所述声音信息识别所述唇动人员的发声信号并根据所述发声信号确定发声人员，以及基于所述声音信息获取所述发声人员的语音指令信息，并将所述语音指令信息与预设语音指令集进行匹配，根据匹配结果确定所述语音指令信息的命令集中信号，并根据所述命令集中信号确定语音交互系统的响应策略为免唤醒模式；

21、语音交互系统，用于进行语音交互。

22、本发明第三方面提供一种电子设备，包括：

23、一个或多个处理器；

24、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如第一方面所述的车内免唤醒语音交互方法。

25、本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如第一方面所述的车内免唤醒语音交互方法。

26、本发明的车内免唤醒语音交互方法、装置、设备及存储介质，具有以下有益效果：

27、为了在车舱内有多人存在时，可以更加自然、更加方便地进行语音交互，本发明提出一种基于当前车内人员的唇动、是否发声以及是否说出有意义的语音指令的免唤醒语音交互方法。本方法通过获取唇动信息来识别判断该车内人员是否有唇动，检测到唇动后再获取此人的声音信息，识别判断此人是否有发出声音，最后再通过声音信息获取此人的语音指令信息，判断该语音指令是否为命令集中的指令，如果是命令集中的指令，则判断该语音指令为有意义的指令，则进行唤醒和响应，此时语音交互系统被打开，用户随时说的话都将开始跟车辆进行语音交互；其余情况均需要通过获取语音信息，识别唤醒词，即通过唤醒词唤醒来使用语音交互系统。其中，唇动信息可以通过安装在车舱内的摄像设备采集图像获取得到，声音信息和语音信息可以通过声音采集设备采集获取得到；同时，本发明还运用车载信息娱乐系统来识别判断唇动、发声及命令集中信号，并将命令集中信号传达给语音交互系统，使其被唤醒，进行响应。

28、本发明提供的车内免唤醒语音交互方案实施方式简单，响应速度快，在车内有多个人使用语音交互系统时，无需每次使用都进行语音唤醒，能使语音交互更加方便、自然。

29、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。