一种带有图像理解的智能语音车载交互系统的制作方法

本发明涉及一种带有图像理解的智能语音车载交互系统，属于信息技术领域，主要涉及物联网、车联网、移动互联网、网络通讯、数据库、智能语音、自然语言理解、图像理解。

背景技术：

近年来，随着移动网络的发展和移动智能终端设备的广泛使用，利用移动智能终端的卫星定位及无线通信功能构建的车联网，实现更多更复杂功能已是必然趋势。但是拥有众多功能的车载终端系统需要驾驶员更多更复杂的交互操作，进行这些操作的时候，驾驶员一般无法目视前方，因此增加了出现交通意外的风险。因此需引入其他措施以使得相关信息更够更好地与驾驶员交互。

技术实现要素：

本发明目的在于提供一种带有图像理解的智能语音车载交互系统，以提供一种前所未有的辅助驾驶体验。

为实现上述目的，本发明提供了一种带有图像理解的智能语音车载交互系统，该带有图像理解的智能语音车载交互系统包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统。

所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。

为了进一步提高性能，所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块；

其中，所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；

所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；

所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；

所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户；

为了进一步提高性能，所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息合成为语音信号，包括云端车载图像接收模块、云端语音接收模块、在线语音识别引擎、实时视频监控模块、图像理解引擎、其他用户需求响应模块、在线语音合成引擎、语音反馈信息发送模块；

其中，所述的云端车载图像接收模块，通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息；

所述的云端语音接收模块，通过车载无线网关在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的在线语音识别引擎，对云端语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别；

所述的实时视频监控模块，汇集道路视频监控图像，根据车辆GPS定位，实时采集当前车辆周边道路视频监控图像；

所述的图像理解引擎，整合云端车载图像接收模块接收的车辆周边路况图像信息和实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，对其进行分析，实现图像的语义理解；

所述的其他用户需求响应模块，根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息；

所述的在线语音合成引擎，将图像理解引擎输出的信息和车联网云平台对用户其他需求的响应，合成为语音信号；

所述的语音反馈信息发送模块，用于接收在线语音合成引擎合成为语音信号，并通过车载无线网关发送至语音反馈信息接收模块；

为了进一步提高性能，所述的车载无线网关，分别与车联网云平台和车载移动终端连接，用于实现车载移动终端和车联网云平台之间的无线通信功能；

为了进一步提高性能，所述的互联网，与车联网云平台连接，用于获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源。

所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互；

其中，所述的离线语音接收模块，通过采集用户的语音数据，接收用于控制汽车车窗、空调、广播等的用户基础语音控制命令；

所述的车辆OBD接口，用于输出包括车速、转速、油耗等车况参数信息；

所述的离线语音识别引擎，用于对离线语音接收模块接收的用于控制汽车车窗、空调、广播等的用户基础语音控制命令进行理解、识别；

所述的离线语音合成引擎，用于将车辆OBD接口输出的车况参数信息和执行离线语音控制命令后汽车对用户的需求响应，合成为语音信号；

所述的离线语音播放模块，用于将离线语音合成引擎的合成结果播放给用户；

所述的车载移动终端，根据OBD协议与车辆OBD接口通信，并在在本地离线状态进行OBD信息以及简单语音识别、简单语音合成的信息处理。

有益效果在于：同现有技术相比，本发明提供了一种前所未有的辅助驾驶新体验。本发明考虑用户无法良好关注图像信息的情形，创新性地运用图像理解、自然语言理解、智能语音和网络通讯等技术对整合云端车载图像接收模块接收的车辆周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

附图1是本发明提供的车载移动终端系统的整体结构示意图；

附图2是根据本发明可选实施例的在线带有图像理解的智能语音交互系统的结构示意图；

附图3是根据本发明可选实施例的离线智能语音交互系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下文中将参考附图并结合实施例来详细说明本发明。

实施例一

本实施例提供了一种带有图像理解的在线智能语音车载交互系统，整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互如图附2所示，包括车载移动终端、车载无线网关、车联网云平台、互联网等，其中：

可选地，所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块，其中：

所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；

所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；

所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；

所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户；

可选地，所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息合成为语音信号，包括云端车载图像接收模块、云端语音接收模块、在线语音识别引擎、实时视频监控模块、图像理解引擎、其他用户需求响应模块、在线语音合成引擎、语音反馈信息发送模块，其中：

所述的云端车载图像接收模块，通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息；

所述的云端语音接收模块，通过车载无线网关在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的在线语音识别引擎，对云端语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别；

所述的实时视频监控模块，汇集道路视频监控图像，根据车辆GPS定位，实时采集当前车辆周边道路视频监控图像；

所述的图像理解引擎，整合云端车载图像接收模块接收的车辆周边路况图像信息和实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，对其进行分析，实现图像的语义理解；

所述的其他用户需求响应模块，根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息；

所述的在线语音合成引擎，将图像理解引擎输出的信息和车联网云平台对用户其他需求的响应，合成为语音信号；

所述的语音反馈信息发送模块，用于接收在线语音合成引擎合成为语音信号，并通过车载无线网关发送至语音反馈信息接收模块；

可选地，所述的车载无线网关，分别与车联网云平台和车载移动终端连接，用于实现车载移动终端和车联网云平台之间的无线通信功能；

可选地，所述的互联网，与车联网云平台连接，用于获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源。

实施例二

本实施例提供了一种离线智能语音车载交互系统，用于显示无需联网可完的用户需求语音交互，如附图3所示，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块、车载移动终端，其中：

所述的离线语音接收模块，通过采集用户的语音数据，接收用于控制汽车车窗、空调、广播等的用户基础语音控制命令；

所述的车辆OBD接口，用于输出包括车速、转速、油耗等车况参数信息；

所述的离线语音识别引擎，用于对离线语音接收模块接收的用于控制汽车车窗、空调、广播等的用户基础语音控制命令进行理解、识别；

所述的离线语音合成引擎，用于将车辆OBD接口输出的车况参数信息和执行离线语音控制命令后汽车对用户的需求响应，合成为语音信号；

所述的离线语音播放模块，用于将离线语音合成引擎的合成结果播放给用户；

车载移动终端，根据OBD协议与车辆OBD接口通信，并在在本地离线状态进行OBD信息以及简单语音识别、简单语音合成的信息处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。