一种车载会议场景下的语音交互方法、装置及车辆与流程

1.本发明涉及车载娱乐音响技术领域，尤其涉及一种车载会议场景下的语音交互方法、装置及车辆。


背景技术：

2.随着远程办公的普及，zoom、飞书、腾讯会议、钉钉等在线办公软件也有着非常强大的远程办公能力，其中在线会议功能是必不可少的。
3.为了更好地利用车内乘坐的时间，越来越多的乘客选择在车内进行在线会议。当乘客在车内进行会议时，需进行发言时手动开启会议麦克风权限，静音时手动关闭会议麦克风权限的操作(通过对会议软件的麦克风按钮进行手动操控)，该操作很繁琐，给乘客带来不便，尤其是对于手部不方便的乘客而言。
4.另一方面，当车内乘客采用车载自带会议软件进行在线会议时，会议过程中乘客需要手动操作会议麦克风权限，给乘客带来很大的不便，尤其是当车载自带会议软件运行在靠近前排驾驶座的中控屏上，对于后排乘客来说，这种手动操作方式非常不便。


技术实现要素：

5.有鉴于此，本发明提供一种车载会议场景下的语音交互方法、装置及车辆，以解决乘客在车内在线会议过程中需手动操作会议麦克风权限给乘客带来不便的问题。
6.本发明第一方面提供一种车载会议场景下的语音交互方法，包括：
7.在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息；
8.识别所述第一语音信息，并根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令；其中，所述麦克风触发指令包括开启会议麦克风权限和关闭会议麦克风权限；
9.当存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作。
10.本发明第二方面提供一种车载会议场景下的语音交互装置，包括：
11.语音采集模块，用于在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息；
12.识别模块，用于识别所述第一语音信息，并根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令；其中，所述麦克风触发指令包括开启会议麦克风权限和关闭会议麦克风权限；
13.指令发送模块，用于当存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作。
14.本发明第三方面提供一种车辆，包括处理器、存储器及存储在所述存储器上并能
够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的车载会议场景下的语音交互方法。
15.与现有技术相比，本发明提供的车载会议场景下的语音交互方法、装置及车辆，具有以下有益效果：
16.本发明通过在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息，并识别所述第一语音信息，以根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令，从而在判断到存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作，其能在乘客在车内进行远程会议的场景下，通过语音交互，减少乘客需手动操作麦克风的问题，从而给乘客带来便利。
附图说明
17.图1是本发明提供的车载会议场景下的语音交互方法的一种实施例的流程示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本技术实施例中，主要针对乘客在车内进行会议时需手动打开会议麦克风权限和关闭会议麦克风权限给用户带来不便的场景而提出一种车载会议场景下的语音交互方法、装置及车辆。
20.其中，在车机端可以应配置有配备至少一个麦克风，以支持对车内的声音进行拾取。在一种情况中，考虑到车载可能未安装会议软件，需要通过第三方终端上的会议软件来实现在线会议的功能。该第三方终端可以是配备有会议软件的手机、ipad等设备。本技术中，由车载麦克风采集语音信息并识别是否为麦克风触发指令，并与会议终端进行交互，以控制会议终端的会议应用程序自动开启会议麦克风权限或关闭会议麦克风权限。
21.为了减小车机系统的计算量，车载麦克风在采集到语音信息还可将其发送给云端进行语义识别，提取关键词或关键句，云端再根据预先存储的麦克风状态库中对语音信息的识别结果进行查询，以查询是否有对应的麦克风触发指令，并在查询到有对应的麦克风触发指令时，将麦克风触发指令发送给车机，并由车机将指令发送到会议终端的会议应用程序。
22.下面参考图1对本发明实施例提供的车载会议场景下的语音交互方法进行说明。其中，本发明实施例提供的车载会议场景下的语音交互方法，由车机端执行，包括步骤s11～s13：
23.s11，在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息。
24.其中，用户上车时启动车载麦克风设备，以使得车载麦克风对车内声音进行监听，
即进入监听模式。
25.其中，车载麦克风应当为与参会乘客对应的麦克风。具体的，在车的前排驾驶座、后排座位均对应设置有麦克风。当参会乘客在车内进行会议时，开启对应的麦克风，即进入监听模式，车载麦克风即对参会用户的语音进行拾取。
26.具体的，若车机系统有对应的车载会议应用程序则使用车机自带会议应用程序；若车机无此功能，用户使用第三方终端的会议应用程序参会时，将第三方终端蓝牙及车载蓝牙进行连接，第三方终端的会议应用程序中的声音即可通过整车音响播放出来，用户也会听的更清晰。
27.s12，识别所述第一语音信息，并根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令；其中，所述麦克风触发指令包括开启会议麦克风权限和关闭会议麦克风权限。
28.具体的，车机的语音识别模块对用户的第一语音信息进行语义识别，并得到语音识别结果中包含的关键信息(关键词或关键句)，识别时可调用预先训练的语音模型进行识别。如当用户发出“ok，发言完毕，我先静音”，通过语义识别后识别出关键词“发言完毕”、“静音”关键信息。
29.在识别出所述第一语音信息的关键信息后，调用麦克风状态库中查询第一语音信息的关键信息，以判断是否有与第一语音信息的关键信息对应的麦克风触发指令。如通过查询“发言完毕、静音”匹配到对应的麦克风触发指令为关闭会议麦克风权限指令。
30.其中，所述麦克风状态库的实现方式可以为：用户在车机界面上设置开启或关闭会议麦克风权限的关键信息，以得到关键信息与会议麦克风执行操作的对应关系，也可以为车出厂时就配置好的麦克风状态库。同时，该麦克风状态库可随着车机运行而实时更新，以提高会议麦克风开启或关闭的识别准确性。
31.步骤s13，当存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作。
32.具体的，当车机系统安装有会议应用程序且用户直接在车机系统安装的会议应用程序进行在线会议时，则直接将麦克风触发指令发送给车机上的会议应用程序。若车机系统未安装会议应用程序或用户在第三方终端的会议应用程序进行在线会议时，则通过车载蓝牙将麦克风触发指令发送到第三方终端的会议应用程序。
33.在一种可能的情况中，当乘客在第三方终端，如手机上的会议应用程序进行在线会议时，若乘客此时手比较疲劳或者不方便，通过语音交互的方式唤醒会议麦克风权限的开启和关闭，能够给乘客带来极大的便利。
34.在另一种可能的情况中，当后排乘客采用车载自带会议应用程序进行会议时，且车载自带会议应用程序运行在前排的中控屏中，若后排乘客要会议过程中要发言，后排乘客需通过点击中控屏上的会议麦克风按钮的方式以开启会议麦克风。由于后排乘客与中控屏存在一定的距离，后排乘客进行会议麦克风开启权限的操作会受到距离的限制，给后排乘客带来很大的不便，甚至可能给驾驶员带来干扰，从而无法给用户带来良好的体验感。在本发明实施例中，通过语音交互的方式，实现会议麦克风权限的自动开启和关闭，大大方便了用户。
35.基于上述提供的技术方案，其通过在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息，并识别所述第一语音信息，以根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令，从而在判断到存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作，其能在车内乘客进行远程会议的场景下，通过语音交互，减少乘客需手动操作麦克风的问题，从而给乘客带来便利
36.考虑到不同用户开启会议麦克风权限和关闭会议麦克风权限的习惯用语不同，在本发明实施例中可针对不同用户设置不同的麦克风状态库。在具体实施时，由用户登入个人账号，并建立个人账号的个人麦克风状态库，如用户设置当涉及“汤姆，你来说下”、“汤姆，在吗”等关键词或关键句时，开启会议应用程序的麦克风；设置“ok，发言完毕，我先静音”“我这边就说这么多”等关键词或关键句时，关闭会议应用程序的麦克风。
37.进而，在一种可选的实施方式中，在获取车载麦克风采集到的用户的第一语音信息之后，通过以下步骤识别用户身份信息：
38.识别所述第一语音信息的用户声纹，并与预先存储的用户声纹库进行匹配以识别发出所述第一语音信息的第一用户；
39.则，所述根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令，具体包括：
40.获取第一用户的个人麦克风状态库，并根据所述第一语音信息的识别结果从所述个人麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令。
41.上述提供的实施方案均是基于用户主动触发麦克风的场景，本技术为了进一步便利性，还提供了乘客在线会议时被动触发会议应用程序的麦克风的场景(即由参会的另一方触发本端的会议麦克风开启权限)。具体的，在一种可选的实施方式中，所述方法还包括：
42.通过车载蓝牙监听会议终端发送的第三语音信息；
43.识别所述第三语音信息，并根据所述第三语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第三语音信息的识别结果对应的麦克风触发指令；
44.当存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作。
45.当车机驾驶员在车内进行在线会议时，由于此时车机无自带会议应用程序或用户直接在手机端的会议应用程序进行会议，此时车载蓝牙与会议终端(手机端)的蓝牙应当相互连接。此时，车载蓝牙会将参会的另一方的语音信息传输到车载蓝牙，并由车内音响等设备播放出来。参会另一方的语音信息作为第三语音信息被车机语音模块进行识别并解析，并由车机系统对该语音信息的识别结果进行查询。具体的，用户在建立个人麦克风状态库时考虑参与另一方呼叫本人的场景，设置对应的关键信息，如，“汤姆(本人姓名)，在吗”，“汤姆(本人姓名)，你怎么看”这类关键词句对应于麦克风开启状态。
46.在一种可选的实施方式中，本技术实施例提供的车载会议场景下的语音交互方法还包括：
47.当存在对应的麦克风触发指令时，控制车载麦克风以倒计时的方式提醒用户即将开始发言或静音。
48.车机在识别到存在麦克风触发指令时，通过倒计时加提示音的方式告知用户在一定时间后(如3s，用户可在设置个人麦克风状态时配置)即将开启会议麦克风，请做好发言准备。车机通过蓝牙发送指令至第三方终端会议应用程序的会议麦克风开启按钮，用户可进行自由发言；若为车机内置会议应用程序，发送指令至会议应用程序开启发言即可。
49.在本发明实施例中，设置倒计时加提示音的方式不仅能提醒用户，还能在会议麦克风触发识别错误的场景下，给用户校正的时间。
50.具体的，基于上述提供的设置倒计时加提示音的技术方案，在一种可选的实施方式中，所述方法还包括：
51.当识别到用户的第一语音信息存在对应的麦克风触发指令时，且在车载麦克风倒计时播放时间段内接收到用户的第二语音信息时，对所述第二语音信息进行识别；
52.当检测到所述第二语音信息的识别结果为麦克风触发指令且其触发类型与第一语音信息的触发类型不同时，响应于所述第二语音信息对应的麦克风触发指令。其中，触发类型包括了开启会议麦克风权限和关闭会议麦克风权限。
53.也即，当车机通过倒计时加提示音的方式告知用户在一定时间后即将开启会议麦克风权限时，若用户通过语音发布关闭会议麦克风权限指令时则会议麦克风继续静音。
54.为了提高麦克风触发的准确率，本发明实施例还根据用户的反馈对个人麦克风状态库进行更新。
55.具体的，在所述响应于所述第二语音信息对应的麦克风触发指令后，还包括：
56.在车载蓝牙断开连接或接收到会议应用程序发送的会议终止提醒后，询问用户是否取消对所述第一语音信息的麦克风触发操作；
57.响应于用户对取消询问的反馈结果，判断是否对所述麦克风状态库进行修正。
58.当会议结束时，第三方终端蓝牙设备与车载蓝牙可能取消连接，或者，可在会议应用程序结束运行时，向车机发出会议中止提醒。车机在接收到该提醒指令后，识别此时已终止会议，并向用户询问是否取消对第一语音信息的麦克风触发操作。具体的，当车机识别到第一语音信息为开启会议麦克风权限指令后，在倒计时播放时间段内又识别到第二语音信息为关闭会议麦克风权限指令，此时，第一语音信息可能识别错误，为误触发，因此可通过向用户询问的方式，判断是否在个人麦克风状态库中删除该第一语音信息的麦克风触发指令，以对个人麦克风状态库进行修正，以降低误触发的情况。
59.在一种可选的实施方式中，所述方法还包括：
60.当识别到用户的第一语音信息存在对应的麦克风触发指令后，向会议应用程序请求麦克风触发响应结果；
61.当接收到麦克风触发响应成功信息后，且在预设的第一时间段内接收到会议应用程序发送的麦克风状态切换信息时，在车载蓝牙断开连接或接收到会议应用程序发送的会议终止提醒后，询问用户是否取消对所述第一语音信息的麦克风触发操作；
62.响应于用户对取消询问的反馈结果，判断是否对所述麦克风状态库进行修正。
63.示例性的，当用户发出的第一语音信息触发麦克风权限关闭指令时，且会议应用程序响应成功时，若此时为误触发，用户可能直接在手机端的会议应用程序进行手工打开
麦克风以开启发言，此时会议麦克风权限状态发生了切换。则在会议结束后，通过向用户询问的方式，判断是否在个人麦克风状态库中删除该第一语音信息的麦克风触发指令，以对个人麦克风状态库进行修正，以降低误触发的情况。
64.本发明实施例第二方面提供一种车载会议场景下的语音交互装置，其用于执行上述实施例提供的车载会议场景下的语音交互方法的全部步骤和流程，包括：
65.语音采集模块，用于在进入监听模式时，获取车载麦克风采集到的用户的第一语音信息；
66.识别模块，用于识别所述第一语音信息，并根据所述第一语音信息的识别结果从预先获取的麦克风状态库中判断是否存在与所述第一语音信息的识别结果对应的麦克风触发指令；其中，所述麦克风触发指令包括开启会议麦克风权限和关闭会议麦克风权限；
67.指令发送模块，用于当存在对应的麦克风触发指令时，将所述麦克风触发指令发送给会议终端的会议应用程序，以控制所述会议终端的会议应用程序执行开启会议麦克风权限或关闭会议麦克风权限的操作。
68.需说明的是，本发明实施例提供的车载会议场景下的语音交互装置用于执行上述实施例的防晕车方法的全部步骤和流程，两者的工作原理和有益效果一一对应，这里不再作过多的赘述。
69.此外，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
70.本发明实施例第三方面提供一种车辆，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例提供的车载会议场景下的语音交互控制方法，例如图1的s11～s13。
71.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。