一种车载问答方法、系统、车辆及存储介质与流程

本发明涉及车辆技术领域，尤其涉及一种车载问答方法、系统、车辆及存储介质。

背景技术：

当用户进行驾车的过程中，通过车窗和风挡玻璃能看到很多车外的事物，比如说其他车辆、广告牌和建筑物、交通标志、商店的牌匾。当遇到感兴趣的内容(比如一辆很酷的车、一个没见过的交通标示)时，往往因为驾车的缘故无法停下来进行确认和资料查找，只能在事后根据回忆或是行车记录仪记录的结果进行查询，这样效率往往会很低，甚至会因部分内容查找不到而郁闷。

从目前市场上看，部分车型有语音识别系统并能进行智能问答，但是这种问答主要通过语音输入或是文字输入，仅能够对能通过语言明确描述的问题进行回答，无法对用户所在场景中实时发现的问题，且无法准确通过语言描述的问题进行解答。例如，仅能回答“大黄蜂是什么车？”，而无法回答“左前方那辆黄色的车是什么车？”。

技术实现要素：

基于以上所述，本发明的目的在于提供一种车载问答方法、系统、车辆及存储介质，使用户仅仅依靠语音描述，就能获得所在场景中实时发现问题的答案，具有更好的体验感和更高的驾驶安全性。

为达上述目的，本发明采用以下技术方案：

一种车载问答方法，包括：

实时接收用户的语音，通过分析识别获取用户需求；

根据所述用户需求采集相应的图像信息；

对所述图像信息进行识别和搜索，获得所述图像信息中与用户需求相对应的答案，并反馈给用户。

作为一种车载问答方法的优选方案，通过摄像头实时摄录视频画面，根据所述用户需求在所述视频画面中截取图片以获取所述图像信息。

作为一种车载问答方法的优选方案，通过眼球追踪模块实时追踪用户的眼睛状态，获得眼睛状态信息，所述摄像头摄录用户眼睛所观注的画面。

作为一种车载问答方法的优选方案，通过语音识别模块分析识别用户的语音以获取所述用户需求。

作为一种车载问答方法的优选方案通过图像识别模块对所述图像信息进行识别，并联网搜索所述图像信息中与用户需求相对应的答案。

作为一种车载问答方法的优选方案，所述图像识别模块连接有图像识别云后台，以识别所述图像信息。

作为一种车载问答方法的优选方案，通过输出模块将答案反馈给用户，所述输出模块为显示屏和/或语音播放器。

一种车载问答系统，包括：

语音分析识别模块，用于实时接收用户的语音，通过分析识别获取用户需求；

图像采集模块，用于根据所述用户需求采集相应的图像信息；

识别搜索模块，用于对所述图像信息进行识别和搜索，获得所述图像信息中与用户需求相对应的答案，并反馈给用户。

一种车辆，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的车载问答方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述的车载问答方法。

本发明的有益效果为：通过实时接收用户的语音，分析识别获得用户需求，并通过用户需求采集相应的图像信息，通过对图像信息的识别的搜索，获得用户需求的答案，并反馈给用户。使用户仅仅依靠语音描述，就能获得所在场景中实时发现问题的答案，针对一些与所在场景关联较大、不方便通过语言描述清楚的问题，通过采集与之相关的图像信息来获取答案，即不仅能解决“大黄蜂是什么车？”的问题，还能解决“左前方那辆黄色的车是什么车？”的问题；采用上述车载问答方法的车辆，用户无需亲自对所在场景中的未知问题进行拍照、输入问题以及搜索，就能获得未知问题的答案，进而能为用户提供更好的体验感和更高的驾驶安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明具体实施例一中提供的车载问答方法的流程图；

图2是本发明具体实施例二中提供的车载问答系统示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本实施方式提供一种车载问答方法，具体包括实时接收用户的语音，通过分析识别获取用户需求；根据用户需求采集相应的图像信息；对图像信息进行识别和搜索，获得与图像信息对应的答案，并反馈给用户。采用上述车载问答方法，用户能通过仅仅依靠语音描述，而获得所在场景中实时发现问题的答案，针对一些与所在场景关联较大、不方便通过语言描述清楚的问题，通过采集与之相关的图像信息来获取答案，即不仅能解决“大黄蜂是什么车？”的问题，还能解决“左前方那辆黄色的车是什么车？”的问题。

具体地，在该种车载问答方法中，通过语音识别模块分析识别语音以获取用户需求，并反馈给语音控制板。语音识别模块上设置有麦克风，用于接收用户的语音。语音识别模块与语音识别云后台连接，用于对用户的语音进行分析识别，以获取用户需求。

由于在麦克风接收的区域范围内存在扰乱语音信息的杂声，语音识别模块需要在各种杂声中识别出用户的语音信息。为防止有未成功接收识别用户语音，进而无法获取到用户需求的情况发生，语音控制板上还设置有交互模块，在麦克风接收到用户语音，但未成功获取到用户需求时，交互模块能显示和/或发出未获取到用户需求的信号，以表示获取用户需求失败，此时语音识别模块持续接收语音信息和获取用户需求，直到清楚地接收识别到用户需求且获取到用户需求。

在上述车载问答方法中，采集相应的图像信息可以通过摄像头实时摄录视频画面，再根据用户需求在视频画面中截取图片获取图像信息。由于摄像头实时摄录视频画面，使摄录的视频画面更加连贯，不会出现中断，所以当用户发出语音信息时，均能从摄录的视频画面中截取到与用户需求相关的图片。

值得说明的是，为了一定能从摄录的视频画面中截取到与用户需求相应的图片，摄像头需要具有较大的视角范围，以保证摄录的视频画面能包括用户需求涉及的当前的任意场景。

优选地，可以通过眼球追踪模块实时追踪用户的眼睛状态，获得眼睛状态信息，摄像头则能根据眼睛状态信息摄录视频画面，使视频画面与用户的眼睛状态一致。眼球追踪模块的应用能使摄录的视频画面与用户的眼睛状态一致，即摄像头摄录的视频画面就是用户看到的场景。

当采用眼球追踪模块，通过获得用户的眼睛信息以控制摄像头摄录视频图像时，无需对较大的视角范围进行摄录，也能保证摄录的视频画面包括用户需求涉及的当前的任意场景，能使视频画面更加具有针对性，更加容易截图到与语音信息相关的图片。

具体地，摄像头设置有旋转机构，旋转机构能够带动摄像头旋转以摄录与用户的眼睛状态一致的视频画面。为实现眼球追踪模块和旋转机构的配合运动，眼球追踪模块和旋转机构均与图像控制板电连接，进一步地，旋转机构可以是旋转电机，旋转电机也与图像控制板电连接，图像控制板能获取眼睛状态信息，并根据的眼睛状态信息控制旋转电机旋转，进而使摄像头旋转，以摄录与用户的眼睛状态一致的视频画面。

语音控制板与图像控制板均与控制器连接，控制器能够根据语音控制板的用户需求控制图像控制板采集图像信息。当根据用户需求，无法在视频画面中截取到相关图像信息时，控制器会将未采集图像信息的信号反馈至语音控制板，语音控制板进而将该信号反馈至交互模块，交互模块则会显示和/或发出未采集图像的信号给用户，以表示采集图像信息失败，此时语音识别模块持续接收语音信息和获取用户需求，直到能成功采集与用户需求相关的图像信息。

成功获取用户需求和采集到与用户需求相关的图像信息后，具体地，图像识别模块连接有图像识别云后台，以识别图像信息。识别图像信息后，通过输出模块将答案反馈给用户，进一步具体地，输出模块为显示屏和/或语音播放器，以为用户提供视和/或听等不同接收答案的方式。

优选地，当控制器控制语音控制板和图像控制板，获得用户需求对应的图像信息后，为提高图像识别模块对图像的识别率，还可以在获得图像信息后对图像信息进行裁剪，以得到与用户需求对应的图像主体。得到图像主体后，通过图像识别模块对图像主体进行识别，并联网搜索与图像主体对应的答案。

下面规定驾驶员作为用户，驾驶具有上述车载问答方法的车辆为例，进一步说明车载问答方法：

眼球追踪模块实时追踪驾驶员的眼睛状态，并反馈至图像控制板，图像控制板控制旋转机构带动摄像头旋转，摄录与驾驶员眼睛状态一致的视频画面；当驾驶员发出语音信息，语音识别模块接收，并通过与语音识别模块连接的语音识别云后台进行分析识别，以获取用户需求，反馈给语音控制板；控制器接收语音控制板的用户需求，并控制图像控制板在摄录的视频画面中截取相应的图像信息；图像识别模块通过与图像识别模块连接的图像识别云后台对图像信息进行识别，并联接互联网搜索与图像信息对应的答案；通过显示屏和/或语音播放器将答案反馈给驾驶员。

实施例二

如图2所示，本实施例还公开了一种可采用上述车载问答方法的车载问答系统，包括语音分析识别模块、图像采集模块和识别搜索模块。其中语音分析识别模块用于实时接收用户的语音，通过分析识别获取用户需求；图像采集模块用于根据用户需求采集相应的图像信息；识别搜索模块用于对图像信息进行识别和搜索，获得图像信息中与用户需求相对应的答案，并反馈给用户。

具体地，语音分析识别模块包括语音识别模块、交互模块和语音控制板；图像采集模块包括眼球追踪模块、摄像头、旋转机构和图像控制板；识别搜索模块包括控制器、图像识别模块和输出模块。

进一步地，语音识别模块能分析识别语音以获取用户需求，并反馈给语音控制板，控制板能根据获取用户需求的实际情况控制交互模块与用户进行交互；眼球追踪模块能实时追踪用户的眼睛状态，获得眼睛状态信息，并反馈图像控制板，图像控制板控制旋转机构旋转，进而使摄像头能根据眼睛状态信息摄录与用户的眼睛状态一致的视频画面；控制器接收语音控制板获取的用户需求，在图像控制板获取的视频画面中截取中与用户需求相对应的图像信息，通过图像识别模块进行识别并获得答案，最后通过输出模块反馈给用户。

实施例三

本实施例还公开了一种具有上述车载问答系统，且采用上述车载问答方法的车辆，包括一个或多个处理器；用于存储一个或多个程序的存储器；当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的车载问答方法。

用户操作该车辆，无需亲自对所在场景中的未知问题进行拍照、输入问题以及搜索，就能获得未知问题的答案，进而能为用户提供更好的体验感和更高的驾驶安全性。

存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例四

本实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的车载问答方法，该方法包括：

实时接收用户的语音，通过分析识别获取用户需求；

根据用户需求采集相应的图像信息；

对图像信息进行识别和搜索，获得所述图像信息中与用户需求相对应的答案，并反馈给用户。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。