基于语音的智能座舱与移动终端互联的社交软件交互方法与系统

本发明属于车载语音交互，涉及一种基于语音的智能座舱与移动终端互联的社交软件交互方法与系统。

背景技术：

1、伴随着语音交互技术在智能座舱领域中的不断发展，为保证驾乘人员避免因为触屏操作和按钮操作等分散注意力而引发事故，近年来与车载语音交互相关的解决方案层出不穷。

2、但其中又有一个问题随之诞生，即很多驾乘人员在驾驶车辆的同时会使用到手机上的如qq、微信、电话和短信等社交软件，在驾驶过程中对手机频繁进行触屏操作的驾驶行为非常危险，找寻合适的解决方案迫在眉睫。

3、传统的社交软件交互方法与系统均要取决于汽车厂商与社交软件开发商间的合作程度，如车载微信、车载qq等专用软件的语音交互技术仅被授权于部分汽车厂商的部分合作车型，且该部分汽车仅占汽车市场的极小部分，其解决方案也并未完全处理好各类社交软件的统一交互问题。车企与互联网公司间的互不开放更加导致了适用于广泛车型与广大人群的手机车机互联系统路程遥远。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于语音的智能座舱与移动终端互联的社交软件交互方法与系统，实现驾驶中对手机社交软件的消息播报及语音命令控制，以及对车机硬件的人机交互控制。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于语音的智能座舱与移动终端互联的社交软件交互系统，包括座舱中控端和移动终端；所述座舱中控端包括语音与文本转换模块、语音接收模块、语音播报模块、手机互联协议模块和人机交互模块；所述移动终端包括社交软件交互管理模块、车机互联协议模块和语音识别模块；所述手机互联协议模块与车机互联协议模块、语音与文本转换模块和人机交互模块互联；

4、所述语音与文本转换模块用于接收语音接收模块的语音信息，然后将其转换成文本信息后传输给手机互联协议模块；所述语音与文本转换模块还能将手机互联协议模块处理后的文本信息转换成语音信息，然后将其发送语音播报模块；所述人机交互模块主要用于执行由移动终端传输过来的语音命令；

5、所述社交软件交互管理模块与车机互联协议模块互联，用于接收各种社交软件的语音、文本或图像信息，然后通过车机互联协议模块与手机互联协议模块实现移动终端与座舱中控端的连接；

6、所述移动终端的语音识别模块，用于将移动终端通过麦克风输入的语音信息发送给车机互联协议模块。

7、进一步，所述语音与文本转换模块包括语音识别模块、语音与本文处理模块、声纹提取模块和语音合成模块；

8、所述语音识别模块主要用于提取语音操作命令、社交软件id和内容实体等；

9、所述语音与文本处理模块主要用于语音与文本的相互转换；

10、所述声纹提取模块主要是根据社交软件中的通话对象id，查询本地是否保存有声纹信息，如果没有则通过声纹识别算法提出声纹信息，用于后续文本交互信息的语音合成；

11、所述语音合成模块用于文本的语音合成，可根据声纹信息模拟合成播报语音。

12、进一步，所述座舱中控端可以通过手机互联协议模块获取移动终端的控制命令，实现对车机的各种操作；移动终端的控制命令可以通过移动终端的麦克风获取语音信息，转换为文本命令，然后通过车机互联协议模块传递给车机，车机根据文本的分类id识别并传递给座舱中控端的人机交互模块，实现对车机各个功能的控制。

13、进一步，所述语音与文本转换模块和社交软件交互管理模块之间的交互信息主要包含语音指令、社交软件id、信息类别、通道编号和内容实体等部分；

14、所述语音指令主要用于区分不同操作；所述社交软件id包含数字的、语音的和字符的，但不限于这些类别；所述信息类别包含语音和文本等，可以采用编号表示；所述通道编号主要用于标识座舱本地和其他连接于座舱的外部设备，如手机、平板、服务后台等，不限于此类别，用于区分信息来源；所述内容实体主要是想要发送的具体消息内容。

15、进一步，所述座舱中控端通过以下步骤获取语音文本：

16、1)监听用户语音指令，识别第一段指令得到命令文本；

17、2)语音提示用户输入发送内容，再次监听用户语音指令，识别第二段指令得到发送消息文本；

18、3)将所获文本按“命令文本，标识符，发送消息文本”格式合并，得到一段完整的语音文本；其中，标识符包括发送标识符和接收标识符，此处为发送标识符。

19、进一步，所述语音与文本转换模块根据系统需要自动将交互信息转换为语音或文本；然后与社交软件交互管理模块进行信息交互；

20、如果社交软件主要以语音进行交互，则不需要语音与文本转换；如果社交软件交互的是文本信息，则需要将消息文本转换成语音进行播报；一方面，语音与文本转换模块将处理后的驾乘人员交互信息发送给社交软件交互管理模块，或者通过手机互联发送给移动终端的社交软件交互管理模块；另一方面，语音与文本转换模块根据社交软件的交互信息类别(语音或文本)统一转换为语音信息，通过语音播报模块(如扬声器)播放出来。

21、进一步，所述社交软件交互管理模块通过以下步骤获取接收消息文本或语音：

22、1)设置各应用接口权限，针对每个社交软件分别开启一个有优先级的监听进程；

23、2)当进程监听到消息，按优先级调用对应接口获取接收消息文本或语音；

24、3)将所获文本按“社交软件id，标识符，接收消息文本”格式合并，得到一段完整的消息文本；其中，标识符包括发送标识符和接收标识符，此处为接收标识符。

25、进一步，所述社交软件交互管理模块用于识别语音交互社交应用软件交互信息类别和id，将交互信息类别与id进行绑定，以便于语音与文本转换模块进行处理；

26、所述社交软件交互管理模块监听与读取社交软件id与交互信息并对类别进行识别，需要的信息交互方式进行标记，如语音还是文本，为语音与文本转换模块提供处理依据；并将社交软件交互信息发送给语音与文本转换模块；另一方面，接收语音与文本转换模块的交互信息，根据id将信息推送给对应的社交软件并执行相应操作。

27、进一步，座舱中控端通过蓝牙、wifi或usb接口与其他设备建立连接并通信，其中，座舱中控端发送语音文本给其他移动终端，其他移动终端向座舱中控端发送消息文本或语音。

28、本发明的有益效果在于：本发明系统通过获取用户的语音命令，理解语音命令获得操作指令，通过蓝牙连接从座舱中控端将该指令传至移动终端，交由社交软件交互管理模块应用进行执行，通过调用各社交软件的开发接口完成打开应用，发送消息和获取消息等操作，同时监听社交软件的消息接收，将所接受的文本消息和语音消息传回座舱中控端后，分别处理并通过扬声器播报，形成一整套的基于语音的便携式车载社交软件交互流程，提高用户体验的同时也解决了驾乘人员注意力不集中的问题。具体的，

29、(1)本发明系统具有普遍的适配性，只需要驾驶车辆携带有麦克风、扬声器和蓝牙即可，目前市场上符合该条件的汽车占比非常高。

30、(2)本发明系统很好的解决了驾车时使用手机的安全问题，如今大多数驾车人员会在驾乘过程中使用导航或社交软件，所提供方法符合现状。

31、(3)本发明所设计的社交软件交互管理模块很好地归并了所有在驾乘过程中用户可能会使用到的手机应用，并对这些应用进行了有序且合理的管理操作。

32、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。