代理装置、代理系统以及非暂时性记录介质的制作方法

文档序号:26297564发布日期:2021-08-17 13:43阅读:103来源:国知局
代理装置、代理系统以及非暂时性记录介质的制作方法

本公开涉及提供对于使用者的提问的回答的代理装置、代理系统以及记录介质。



背景技术:

日本特开2001-141500号公报中公开了一种提供与各种车载单元的操作有关系的信息的车辆用代理处理装置。

将日本特开2001-141500号公报的车辆用代理处理装置应用于用于检索用户手册的代理。在该情况下,当无法应对车辆的一部分或全部功能的代理时,例如在没有配备存储有对于提问的回答的用户手册的情况以及用户手册因处于更新中而暂时无法利用的情况下等,在接收到来自使用者的提问时,会在对于提问的回答中出现“不清楚”、“超出范围”等,给使用者带来违和感。



技术实现要素:

本公开的目的是提供在推定与车辆的功能有关的提问的意图的代理中能够降低在无法应对一部分或全部功能的代理时的给使用者带来的违和感的代理装置、代理系统以及非暂时性记录介质。

第一方案的代理装置包括存储器和与所述存储器连接的处理器,所述处理器构成为,能够从搭载于车辆的车载设备接收所述车辆的车辆信息以及来自使用者的提问即提问信息,基于接收到的所述车辆信息来确认不能够生成对于所述提问的回答的所述提问的范围,对于确认为不能够生成所述回答的范围的所述提问,向所述车载设备进行指示以在所述车载设备中禁止接收。

第一方案的代理装置能够向使用者提供对于使用者的提问的回答。在该代理装置中,在接收提问信息的接收部中,接收能够确定车辆的车辆信息。并且,代理装置基于车辆信息来确认不能够生成回答的提问的范围。在此,“不能够生成回答”的情况包括没有配备存储有对于提问的回答的手册的情况、手册因处于更新中而暂时无法利用的情况等。并且,对于通过代理装置而确认为不能够生成回答的范围的提问,代理装置向车载设备进行指示以在车载设备中禁止接收。因此,根据该代理装置,能够降低在对于与一部分或全部的功能有关的提问而不能够生成回答的情况下给使用者带来的违和感。

第二方案在第一方案的代理装置的基础上,所述处理器构成为,检索存储有手册的针对每个车辆的应对状况的数据库,基于有无与所述车辆信息对应的所述手册来确认不能够生成所述回答的所述提问的范围,所述手册存储有回答。

第二方案的代理装置通过检索存储有手册与车辆之间的对应的数据库来确认不能够生成回答的提问的范围。根据该代理装置,通过使每个车辆的手册的有无数据库化而能够容易进行车载设备中的接收禁止的管理。

第三方案在第一方案或第二方案的代理装置的基础上,所述处理器构成为,在所述车辆启动时确认不能够生成所述回答的所述提问的范围。

根据第三方案的代理装置,在车辆启动的阶段确认不能够生成回答的提问的范围,因此不会错误接收提问,能够降低给使用者带来的违和感。

第四方案的代理系统具备代理装置和车载设备,所述代理装置包括存储器和与所述存储器连接的处理器,所述处理器构成为,能够从搭载于车辆的所述车载设备接收所述车辆的车辆信息以及来自使用者的提问即提问信息,基于接收到的所述车辆信息来确认不能够生成对于所述提问的回答的所述提问的范围,对于确认为不能够生成所述回答的范围的所述提问,向所述车载设备进行指示以在所述车载设备中禁止接收,所述车载设备以在设于所述车辆的显示装置中使输入按钮变暗的方式进行控制,所述输入按钮与由所述代理装置进行指示以禁止接收的所述提问相关。

在第四方案的代理系统中,搭载于车辆的车载设备使输入按钮变暗地显示于显示装置,并且禁止接收输入按钮的操作。因此,根据该代理系统,能够利用视觉告诉乘员无法利用代理。

第五方案的非暂时性记录介质储存有程序,该程序使计算机执行以下处理:从搭载于车辆的车载设备接收来自使用者的提问即提问信息且在所述车辆启动时接收所述车辆的车辆信息,基于接收到的所述车辆信息来确认不能够生成对于所述提问的回答的所述提问的范围,对于确认为不能够生成所述回答的范围的所述提问,向所述车载设备进行指示以在所述车载设备中禁止接收。

第五方案的非暂时性记录介质中记录的程序能够使计算机执行向使用者提供对于使用者的提问的回答的处理。在执行该程序的计算机中,接收能够确定车辆的车辆信息,基于车辆信息来确认不能够生成回答的提问的范围。“不能够生成回答”的情况和上述一样。并且,计算机对于确认为不能够生成回答的范围的提问,向车载设备进行指示以在车载设备中禁止接收。因此,根据该程序,能够降低在对于与一部分或全部的功能有关的提问而不能够生成回答的情况下给使用者带来的违和感。

第六方案在第五方案的非暂时性记录介质的基础上,所述非暂时性记录介质构成为,检索存储有手册的针对每个车辆的应对状况的数据库,基于有无与所述车辆信息对应的所述手册来确认不能够生成所述回答的所述提问的范围,所述手册存储有回答。

第六方案的非暂时性记录介质中记录的程序通过检索存储有手册与车辆之间的对应的数据库来确认不能够生成回答的提问的范围。根据该程序,通过使每个车辆的手册的有无数据库化而能够容易进行车载设备中的接收禁止的管理。

第七方案在第五方案或第六方案的非暂时性记录介质的基础上,所述非暂时性记录介质构成为,在所述车辆启动时确认不能够生成所述回答的所述提问的范围。

第七方案的非暂时性记录介质中记录的程序在车辆启动的阶段确认不能够生成回答的提问的范围,因此不会错误接收提问,能够降低给使用者带来的违和感。

根据本公开,在推定与车辆的功能有关的提问的意图的代理中,能够降低在不能进行与一部分或全部的功能相对的代理的应对的情况下给使用者带来的违和感。

附图说明

图1是例示第一实施方式的手册提供系统的概略结构的图。

图2是例示第一实施方式的车辆的硬件结构的框图。

图3是例示第一实施方式的服务器的硬件结构的框图。

图4是例示第一实施方式的代理服务器的功能结构的框图。

图5是说明第一实施方式的手册提供系统的功能的框图。

图6是表示教师数据的生成方法的一例的图。

图7是表示第一实施方式的手册提供系统中的与代理的应对状况的确认有关的处理以及使应对状况反映于监视器的处理的流程的一例的顺序图。

图8是存在代理的应对的情况下的监视器的显示的例子。

图9是没有代理的应对的情况下的监视器的显示的例子。

图10是表示第一实施方式的手册提供系统中的推定提问的意图的情况的处理的流程的一例的顺序图。

图11是表示第一实施方式的手册提供系统中的推定提问的意图的情况的处理的流程的一例的顺序图(图10的接续)。

图12是表示将与回答信息有关的信息向乘员提示的例子的图。

图13是表示第二实施方式的手册提供系统中的推定提问的意图的情况的处理的流程的一例的顺序图。

图14是表示第二实施方式的手册提供系统中的推定提问的意图的情况的处理的流程的一例的顺序图(图13的接续)。

图15是例示第三实施方式的代理服务器的功能结构的框图。

具体实施方式

[第一实施方式]

如图1所示,作为第一实施方式的代理系统的手册提供系统10包括多个车辆12和多个服务器30。各车辆12中搭载有作为通知装置的车载设备20。并且,服务器30包括作为以人机接口(humanmachineinterface、以下称为“hmi”)起作用的接口装置的hmi服务器14、作为代理装置的代理服务器16、用户手册(owner'smanual、以下有时简称为“om”)服务器18以及数据服务器19。

各车辆12的车载设备20、hmi服务器14、om服务器18以及数据服务器19分别经由网络n1而相互连接。并且,hmi服务器14和代理服务器16通过网络n2而相互连接。需要说明的是,代理服务器16也可以与其他的服务器30一样连接于网络n1。

(车辆)

如图2所示,本实施方式的车辆12包括车载设备20、多个ecu22、作为声音输入装置的麦克风24、作为操作输入装置的输入开关26、作为显示装置的监视器28、扬声器29。

车载设备20包括cpu(centralprocessingunit:中央处理器)20a、rom(readonlymemory:只读存储器)20b、ram(randomaccessmemory:随机存取存储器)20c、车内通信i/f(interface:接口)20d、无线通信i/f20e以及输入输出i/f20f。cpu20a、rom20b、ram20c、车内通信i/f20d、无线通信i/f20e以及输入输出i/f20f经由内部总线20g而相互以能够通信的方式连接。

cpu20a是中央运算处理单元,执行各种程序或者对各部进行控制。即,cpu20a从rom20b读出程序并将ram20c作为作业区域来执行程序。

rom20b存储各种程序以及各种数据。本实施方式的rom20b中存储有用于控制车载设备20的控制程序。

ram20c作为作业区域而暂时存储程序或数据。

车内通信i/f20d是用于与ecu22连接的接口。该接口使用基于can协议的通信标准。车内通信i/f20d与作为通信路径的外部总线20h连接。作为控制装置的ecu22按照车辆12的每个功能而设置多个。作为本实施方式的ecu22,例示车辆控制ecu、发动机ecu、制动器ecu、车身ecu、相机ecu、多媒体ecu。

无线通信i/f20e是用于与服务器30进行通信的无线通信模块。该无线通信模块使用例如5g、lte、wi-fi(注册商标)等的通信标准。无线通信i/f20e与网络n1连接。

输入输出i/f20f是用于与搭载于车辆12的麦克风24、输入开关26、监视器28以及扬声器29进行通信的接口。

麦克风24设于车辆12的前立柱以及仪表板(dashboard)等,是收集使用者即车辆12的乘员发出的声音的装置。

输入开关26设于仪表面板(instrumentpanel)、中控台、方向盘等,是输入由乘员的手指进行的操作的开关。作为输入开关26,可采用例如按钮式的数字键以及触摸板等。

监视器28设于仪表面板、仪表盘(meterpanel)等,是用于显示与用户手册以及后述的回答信息有关的图像的液晶监视器。监视器28也可以设为兼作输入开关26的触摸面板。

扬声器29设于仪表面板、中控台、前立柱、仪表板等,是用于输出与回答信息有关的声音的装置。

(服务器)

如图3所示,服务器30包括作为硬件处理器的一例的cpu30a、与存储器相当的rom30b、ram30c、储存器(storage)30d以及通信i/f30e。cpu30a、rom30b、ram30c、储存器30d以及通信i/f30e经由内部总线30g而相互以能够通信的方式连接。cpu30a、rom30b、ram30c以及通信i/f30e的功能与上述的车载设备20的cpu20a、rom20b、ram20c以及无线通信i/f20e相同。

储存器30d包括hdd(harddiskdrive:硬盘驱动器)或ssd(solidstatedrive:固态驱动器),存储各种程序以及各种数据。

cpu30a从储存器30d中加载程序并将ram30c作为作业区域来执行程序,由此作为oma对话控制部36即接收部50、取得部52、确认部53、指示部54、提供部56以及意图推定部38起作用。

本实施方式的储存器30d中存储有处理程序100以及数据组110。处理程序100是用于实现服务器30具有的各功能的程序。

(hmi服务器)

hmi服务器14具有接收来自车载设备20的提问并且向代理服务器16询问对于用户手册涉及的提问的回答的功能。

如图5所示,在本实施方式的hmi服务器14中,cpu30a通过执行处理程序100而以作为选定部的hmi对话控制部32来起作用。

hmi对话控制部32在与车载设备20之间进行通信。hmi对话控制部32取得从车载设备20发送的与车辆12的乘员有关的声音信息,进行声音识别,将声音信息转换成文本信息。在此,在本实施方式中,假定以车辆12的乘员的说话来进行提问。因此,与乘员的说话有关的声音信息为通过乘员向车载设备20输入的输入信息。例如,“请告知灯的关闭方法”、“圆圈a的开关是什么?”等乘员发出的提问所涉及的声音信息成为输入信息。

并且,hmi对话控制部32根据转换的文本信息来理解乘员的说话的意图。然后,hmi对话控制部32在理解为乘员进行了用户手册所涉及的提问的情况下,对于代理服务器16执行与该提问有关的询问。然后,hmi对话控制部32将与提问有关的文本信息向代理服务器16发送,从代理服务器16接收与回答有关的回答信息。

并且,hmi对话控制部32将从代理服务器16接收的回答信息向车载设备20发送。需要说明的是,回答信息包括对于提问的回答所涉及的文本信息以及声音信息。该文本信息包括用于浏览用户手册的html数据的url。

并且,hmi服务器14具有基于从车载设备20取得的车辆信息来确认对用户手册所涉及的提问进行处理的代理(owner'smanualagent(以下称为“oma”))的应对状况的功能。关于该功能的详细情况,后文叙述。

(代理服务器)

代理服务器16作为oma起作用。代理服务器16从hmi服务器14取得车辆12的车辆信息和与提问有关的文本信息,从数据服务器19取得与车辆12的状态有关的状态信息即can信息。并且,代理服务器16向hmi服务器14提供对于提问的回答所涉及的回答信息。

在本实施方式的代理服务器16中,cpu30a通过执行处理程序100而作为图4所示的oma对话控制部36以及意图推定部38起作用。并且,oma对话控制部36包括接收部50、取得部52、确认部53、指示部54以及提供部56。

并且,代理服务器16的数据组110包括图5所示的车辆om对应数据200、意图推定id管理数据210、qa数据220、单词标准化数据230以及学习完成模型240。

车辆om对应数据200是存储有车辆12的车身编号、车型、等级、装备品等所涉及的车辆信息与赋予每个用户手册的om产品编号之间的对应关系的数据。该车辆om对应数据200是存储有手册的针对每个车辆的应对状况的数据库的一例,所述手册存储有对于提问的回答。

意图推定id管理数据210是存储有om产品编号与意图推定引擎之间的对应关系的数据。意图推定id管理数据210中存储有与om产品编号对应的意图推定引擎id。意图推定引擎id是指给执行后述的意图推定处理的每个意图推定引擎赋予的id。该意图推定引擎设于类似或关联的每个用户手册。

qa数据220是对与附于每个回答的意图标签有关联的回答信息进行保持的数据。在此,“意图标签”是指作为由乘员的说话内容推定意图的结果而提供的标签编号。回答信息包括对于提问的回答所涉及的显示用文本、显示用图像、朗读用文本、用户手册显示用的url等信息。

单词标准化数据230是在意图推定处理的前处理中使用的单词的标准化用的数据。该前处理是使表述的不统一以及表达的不统一统一的处理。例如,单词标准化数据230是表示“断开”和“off”为相同的词的信息,包括用于使表述不统一统一的数据。并且,例如单词标准化数据230是“轮胎空气压力警告灯”和“空气压力警告灯”指代相同的东西的信息,包括用于使不同的表达统一的数据。

学习完成模型240是通过使用以后述的接收部50接收到文本信息的情况下的与接收时相比过去的车辆12的状态和乘员的过去的提问为基础的教师数据并进行机器学习而生成的数据。该教师数据以车辆12的过去的状态所涉及的can信息和与该过去的状态下的提问有关联的多个表达方式所涉及的文本信息为输入,以对于该提问的正确的回答所涉及的意图标签为输出。过去的状态所涉及的can信息是过去状态信息的一例。该学习完成模型240预先准备了按照每个意图推定引擎学习的模型。

图6中示出以过去的提问以及过去的can信息为基础的教师数据的一例。如图6所示,车载设备20存储有以车辆12的can信息为基础的警告灯、显示灯的点亮状态、通知声的通知状态。并且,车载设备20存储有向麦克风24输入的声音。

在此,在车载设备20接收到乘员的说话的情况下,在从与接收时即时刻b相比早预定时间的时刻a至时刻b的判定期间,从can信息中取得点亮状态以及通知状态为激活状态的项目。在图6的例子中,在从时刻a到时刻b为止的预定时间内,显示1、显示2以及通知声1为“接通”即激活状态。并且,在教师数据中,对于在判定期间内激活一定时间以上的要素,生成给特征量赋予了“1”的输入数据。

并且,发出的提问通过声音识别而文本化,并提取单词。成为提取候补的单词相当于“表达方式”。在图6的例子中,说话中包括单词2,因此关于该单词2,生成给特征量赋予了“1”的输入数据。

另一方面,对于如上述那样给出了特征量的输入,作为输出而赋予与说话的意图对应的意图标签。在图6的例子中,将意图标签的1号建立对应。以上,在本实施方式的例子中,在显示1、显示2以及通知声1激活的状态下,进行包括单词2的提问时,使用对于该提问生成1号意图标签的教师数据来进行机器学习。

在图5所示的oma对话控制部36中,首先接收部50接收作为车辆信息以及提问信息的文本信息。并且,接收部50能够接收车辆12的状态所涉及的can信息。接着,在oma对话控制部36中,在文本信息为乘员的提问的情况下,取得部52基于车辆信息、can信息以及文本信息来取得对于提问的回答。取得的回答是通过经过推定提问的意图的意图推定处理而获得的。

详细而言,取得部52参照车辆om对应数据200,根据车辆12的车辆信息来取得与该车辆12对应的om产品编号。在取得部52无法取得om产品编号的情况下,向hmi对话控制部32通知“超出服务范围”的内容。并且,取得部52参照意图推定id管理数据210,根据取得的om产品编号来取得适用于该车辆12的oma意图推定引擎id。

然后,取得部52以提问所涉及的文本信息、车辆12的can信息以及oma意图推定引擎id为输入值,向意图推定部38进行询问,取得与回答相当的意图标签。在意图标签一个也无法取得的情况下,提供部56将表示“不适用”的不适用信息向hmi服务器14发送。另一方面,取得部52在取得的意图标签为一个的情况下,参照qa数据220,根据取得的意图标签以及om产品编号来取得对应的回答信息。

需要说明的是,取得部52在取得的意图标签存在多个的情况下,也可以参照qa数据220,生成与多个回答的选择项有关的选择项信息。在生成了选择项信息的情况下,将该选择项信息向车载设备20发送,从车载设备20取得乘员的选择结果即结果信息,由此能够确定一个意图标签。

在oma对话控制部36中,确认部53具有确认车辆12中的oma的应对状况的功能。oma的应对状况不仅可以确认对于乘员的全部的提问是否能够生成回答,也可以确认对于一部分的提问是否能够生成回答。确认部53检索车辆om对应数据200,基于有无与接收部50接收到的车辆信息对应的om产品编号来确认oma的应对状况。

在oma对话控制部36中,指示部54对于通过确认部53而确认为不能够生成回答的范围的提问,向车载设备20进行指示以在车载设备20中禁止接收。关于指示部54的功能的详细情况,后文叙述。

并且,在oma对话控制部36中,提供部56将不适用信息、回答信息以及选择项信息中的某一个朝向hmi服务器14的hmi对话控制部32发送。补充而言,在取得部52无法取得意图标签的情况下,将不适用信息向hmi服务器14发送。并且,在取得部52取得了一个意图标签的情况下,将对应的回答信息向hmi服务器14发送。而且,在取得部52取得了多个意图标签的情况下,将生成的选择项信息向hmi服务器14发送。

作为推定部的意图推定部38执行作为推定乘员的提问的意图的推定处理的意图推定处理。该意图推定处理使用与意图推定引擎id对应的意图推定引擎来执行。在意图推定处理中,详细而言,执行以下的处理。首先,意图推定部38对于取得的文本信息所涉及的文本,使用单词标准化数据230来进行前处理。通过前处理来使表述的不统一以及表达的不统一统一。接着,意图推定部38向按照每个意图推定引擎准备的学习完成模型240中输入进行了前处理的文本信息和车辆12的can信息,输出意图标签以及意图标签的确信度。确信度相当于向学习完成模型240中输入的文本信息为推定的意图标签的概率。然后,意图推定部38将确信度超过预定值即担保有预定的概率以上的可靠性的意图标签提供给oma对话控制部36。

(om服务器)

om服务器18是提供用户手册的服务器30。om服务器18的数据组110包括用户手册所涉及的html数据即om数据300。在车辆12的监视器28中显示了回答信息所涉及的图像的情况下,在乘员选择该图像中包含的url时,对于om服务器18执行与该url对应的html数据的发送要求。由此,将与url对应的用户手册的html数据向车载设备20发送,显示于监视器28。

(数据服务器)

数据服务器19是从车载设备20取得can信息并且向代理服务器16提供can信息的服务器30。在本实施方式的数据服务器19中,cpu30a通过执行处理程序100而作为数据管理部39起作用。

并且,数据服务器19的数据组110包括can数据库400,该can数据库400是包括车辆12的车辆信息和与该车辆信息对应的can信息的数据。数据管理部39每隔预定时间从车载设备20取得车辆12的can信息并存储于can数据库400。并且,数据管理部39基于来自代理服务器16的要求而向该代理服务器16提供can信息。

需要说明的是,在数据服务器19中,通过从车载设备20中与can信息一起取得提问所涉及的声音信息,数据管理部39能够生成教师数据,并且进行机器学习,生成新的学习完成模型240。生成的新的学习完成模型240向代理服务器16发送并更新。

(控制的流程)

(1)关于代理的应对状况的确认所涉及的处理以及使应对状况反映于监视器的处理

关于各车辆12中的oma的应对状况的确认所涉及的处理以及使应对状况反映于监视器28的处理,使用图7的顺序图来进行说明。

首先,说明对oma的应对状况进行确认的处理。

在图7的步骤s10中,车载设备20检测车辆12的启动。启动是指附件开关(acc)变成接通的状态。

在步骤s11中,车载设备20将车辆12的车辆信息朝向hmi服务器14发送。

在步骤s12中,在hmi服务器14中,hmi对话控制部32进行oma应对状况的确认请求。即,进行对于代理服务器16的确认要求。

在步骤s13中,hmi对话控制部32将车辆信息朝向代理服务器16的oma对话控制部36发送。

在步骤s14中,oma对话控制部36检索om产品编号。详细而言,oma对话控制部36参照车辆om对应数据200来检索是否存在与取得的车辆信息对应的om产品编号。

在步骤s15中,oma对话控制部36对oma的对应有无进行确认。详细而言,oma对话控制部36在能够检测到与车辆信息对应的om产品编号的情况下确认存在对应,在无法检测到与车辆信息对应的om产品编号的情况下确认没有对应。

在步骤s16中,oma对话控制部36经由hmi服务器14向车载设备20通知应对状况。

在步骤s17中,车载设备20对oma的对应有无进行更新。

接着,说明使oma的应对状况反映于监视器28的处理。

在图7的步骤s20中,车载设备20接收说话。例如,车辆12的乘员朝向麦克风24说出用于使代理启动的关键词即“我的代理(myagent)”。

于是,在步骤s21中,车载设备20使代理功能所涉及的第一画面显示于监视器28。图8以及图9是显示于监视器28的第一画面的一例。监视器28上显示了车载设备20的功能所涉及的多个输入按钮80。该输入按钮80包括导航按钮80a、音频按钮80b、通话按钮80c、车辆功能按钮80d以及帮助按钮80e。在本实施方式中,帮助按钮80e对应于oma。

在监视器28中显示了第一画面时,在oma为“存在对应”的情况下,如图8所示的那样帮助按钮80e变成能够选择的激活显示。另一方面,在监视器28中显示了第一画面时,在oma为“没有对应”的情况下,如图9所示的那样帮助按钮80e变成不能够选择的变暗显示。在该情况下,车载设备20无法接收变暗显示的车辆12的功能所涉及的提问。

(2)提示对于提问的回答的情况下的处理

关于在车辆12中乘员进行了提问的情况下到回答被提示为止的处理,使用图10以及图11的顺序图来进行说明。

在图10的步骤s30中,车载设备20从外部总线20h取得can信息。

在步骤s31中,车载设备20将取得的can信息与车辆12的车辆信息一起朝向数据服务器19发送。需要说明的是,在本实施方式中,车辆信息以及can信息每隔一定时间从车载设备20向数据服务器19发送,但并不限于此,也可以在can信息发生了变化的情况下从车载设备20向数据服务器19发送。

在步骤s32中,在数据服务器19中,将数据管理部39取得的信息存储于can数据库400。存储的信息包括车辆信息、can信息以及接收时刻。

在步骤s40中,车载设备20接收乘员的说话。详细而言,车载设备20的cpu20a将乘员朝向麦克风24说出的声音作为声音信息来取得。例如,在车辆12中轮胎空气压力警告灯点亮的状态下,乘员进行“仪表的灯亮了是怎么了?”这样的发言。在该情况下,通过说话接收,取得“仪表的灯亮了是怎么了”这样的发言来作为声音信息。

在步骤s41中,车载设备20将车辆12的车辆信息以及说话开始时刻与取得的声音信息一起朝向hmi服务器14发送。

在步骤s42中,在hmi服务器14中,hmi对话控制部32进行声音识别。由此,声音信息被转换成文本信息。需要说明的是,在该声音识别中,在与提问相当的词语包含于文本信息的情况下判定为声音信息是提问。

在步骤s43中,hmi对话控制部32将车辆信息、说话开始时刻以及文本信息朝向代理服务器16的oma对话控制部36发送。在上述的例子中,将判定为提问的“仪表的灯亮了是怎么了”的文字列作为文本信息来发送。

在步骤s44中,oma对话控制部36检索can信息。即,oma对话控制部36从数据服务器19中尝试取得can信息。

在步骤s45中,oma对话控制部36将车辆信息以及说话开始时刻朝向数据服务器19发送。

在步骤s46中,在数据服务器19中,数据管理部39将can信息或无信息通知向代理服务器16发送。发送的can信息是通过数据管理部39询问can数据库400并检索车辆12的车辆信息以及说话开始时刻紧前的接收时刻所涉及的can信息来取得的。需要说明的是,无信息通知是指在无法取得与车辆信息以及说话开始时刻对应的can信息的情况下表示没有can信息的内容的通知。

在步骤s47中,oma对话控制部36根据车辆信息来确定对应的om产品编号。即,确定与车辆12的车身编号、车型、等级以及装备品等对应的用户手册。需要说明的是,om产品编号的确定也可以使用can信息。在该情况下,oma对话控制部36在因通信不良等某些理由而无法取得车辆12的最新的can信息的情况下,也可以确定利用车型、等级等作为标准的om产品编号。

在步骤s48中,oma对话控制部36根据om产品编号来确定对应的意图推定引擎id。即,确定与车辆12的用户手册对应的意图推定引擎。需要说明的是,意图推定引擎id的确定也可以使用can信息。在该情况下,oma对话控制部36在因通信不良等某些理由而无法取得车辆12的最新的can信息的情况下,也可以确定利用车型、等级等作为标准的意图推定引擎id。

在步骤s49中,oma对话控制部36向意图推定部38提供从hmi服务器14取得的文本信息、从数据服务器19取得的can信息以及意图推定引擎id。

在步骤s50中,意图推定部38执行意图推定处理。由此,意图推定部38输出与文本信息以及can信息对应的意图标签。在本实施方式的例子中,对于“仪表的灯亮了是怎么了”这样的文本信息,输出与推定的意图对应的意图标签。

在图11的步骤s51中,意图推定部38向oma对话控制部36提供确信度最大的一个意图标签。需要说明的是,在没有输出确信度超过预定值的意图标签的情况下,意图推定部38向oma对话控制部36提供表示没有意图标签的无标签信息。

在步骤s52中,oma对话控制部36基于意图标签来生成回答信息。即,oma对话控制部36参照qa数据220来生成由显示用文本、显示用图像、朗读用文本、用户手册显示用的url等的组合构成的回答信息。

在步骤s53中,oma对话控制部36向hmi服务器14发送回答信息。

在步骤s54中,hmi对话控制部32生成提示信息。提示信息是向车载设备20发送的信息,是省略了意图标签以及om产品编号等不需要用监视器28以及扬声器29进行提示的信息后的回答信息。需要说明的是,也可以将回答信息直接作为提示信息。

在步骤s55中,hmi对话控制部32向车载设备20发送提示信息。

在步骤s56中,车载设备20向车辆12的乘员提示接收到的提示信息。详细而言,车载设备20的cpu20a使接收到的提示信息所涉及的图像显示于监视器28,使接收到的提示信息所涉及的声音从扬声器29输出。例如如图12所示,cpu20a使轮胎空气压力警告系统的说明显示于监视器28,使“是轮胎空气压力警告系统的警告”这样的声音从扬声器29输出。

(第一实施方式的总结)

在本实施方式的手册提供系统10中,对于车辆12的乘员通过车载设备20而输入的提问,能够向车载设备20提供通过推定该提问的意图而获得的回答。

在本实施方式的代理服务器16中,在接收文本信息的接收部50中,在车辆12启动时接收车辆信息。并且,在确认部53中,基于车辆信息来确认不能够生成回答的提问的范围。在此,“不能够生成回答”的情况包括没有配备存储有对于提问的回答的用户手册的情况、用户手册因处于更新中而暂时无法利用的情况等。并且,对于通过确认部53而确认为不能够生成回答的范围的提问,指示部54向车载设备20进行指示以在车载设备20中禁止接收。因此,根据本实施方式,能够降低在对于与一部分或全部的功能有关的提问而不能够生成回答的情况下给乘员带来的违和感。

并且,在车辆12启动的阶段确认不能够生成回答的提问的范围,因此不会错误接收提问,能够降低给使用者带来的违和感。需要说明的是,接收车辆信息的定时不一定限于车辆12启动时。

并且,本实施方式的代理服务器16的特征在于,通过确认部53检索存储有用户手册与车辆12之间的对应的车辆om对应数据200来确认不能够生成回答的提问的范围。根据本实施方式,通过使每个车辆12的用户手册的有无数据库化而能够容易进行车载设备20中的接收禁止的管理。

并且,在本实施方式的代理服务器16中,在接收部50中,除了接收提问信息以外,还接收车辆12的can信息。并且,本实施方式的代理服务器16的特征在于,意图推定部38使用can信息与文本信息一起来进行作为推定处理的意图推定处理,基于推定的意图而取得部52取得对于提问的回答。根据本实施方式的代理服务器16,在推定提问的意图的情况下反映车辆12的状态,由此能够提高意图的推定精度。

并且,本实施方式的代理服务器16通过意图推定部38使用学习完成模型240来推定意图,该学习完成模型240通过预先进行机器学习而生成。根据本实施方式,通过学习更多的车辆12的信息以及表达方式,能够提高对于乘员提问的意图的推定精度。需要说明的是,在数据服务器19中,通过取得can信息和对于提问的回答结果,能够进行进一步的机器学习,生成新的学习完成模型240。并且,通过更新代理服务器16的学习完成模型240,能够进一步提高推定精度。

并且,在本实施方式的代理服务器16中,能够从将控制车辆12的多个ecu22彼此连接的外部总线20h取得车辆12的can信息。根据本实施方式,通过利用车辆控制用的通信信息,能够容易地从车辆12取得该车辆12的状态。

并且,在本实施方式的代理服务器16中,如图6所示的那样基于预定时间内的车辆12的状态来进行机器学习。因此,根据本实施方式,通过例如将乘员能够识别警告灯等的时间设定为预定时间,能够使乘员会注意到的车辆12的状态反映于意图的推定。

在本实施方式的手册提供系统10中,搭载于车辆12的车载设备20能够提供对于乘员提问的回答。根据本实施方式,能够提高车辆12中的乘员的操作的便利性。

并且,在本实施方式中,如图9所示的那样车载设备20使输入按钮变暗地显示于监视器28,并且禁止通过输入按钮80接收操作。因此,根据本实施方式,能够利用视觉告诉乘员无法利用代理。

需要说明的是,在本实施方式中,通过使输入按钮80变暗来禁止操作的接收,但并不限于此,也可以使“未对应”等文本重叠显示于输入按钮80上。

并且,本实施方式的车载设备20在马上能够获得与车辆12对应的用户手册的情况下,也可以使“准备中”、“获取中”等文本与对应的输入按钮80相邻或重叠地显示。并且,车载设备20在与车辆12对应的用户手册的获得完成的情况下,也可以使“新(new)”、“从今天开始能够使用”等文本与对应的输入按钮80相邻或重叠地显示。而且,车载设备20也可以从与车辆12对应的用户手册的获得期间到获得完成使输入按钮80的颜色随时间改变或者使变暗的程度逐渐变弱。与用户手册有关的“获得”是指将对应的用户手册追加于om服务器18的om数据300,将车辆12的与用户手册的对应信息追加于代理服务器16的车辆om对应数据200。

[第二实施方式]

在第一实施方式中,基于文本信息以及can信息来执行意图推定处理,取得一个意图标签。相对于此,在第二实施方式中,在意图推定处理中取得多个意图标签,参照can信息来执行锁定一个意图标签的意图确定处理。即,作为推定处理,执行意图推定处理和意图确定处理。以下,说明提示对于提问的回答的情况下的处理中的与第一实施方式的不同点。

关于在本实施方式的车辆12中乘员进行了提问的情况下到回答被提示为止的处理,使用图13以及图14的顺序图来进行说明。

关于图13的从步骤s60到步骤s63为止的处理,与图10的从步骤s40到步骤s43为止的处理相同。

在步骤s64中,oma对话控制部36根据车辆信息来确定对应的om产品编号。即,确定与车辆12的车身编号、车型、等级以及装备品等对应的用户手册。

在步骤s65中,oma对话控制部36根据om产品编号来确定对应的意图推定引擎id。即,确定与车辆12的用户手册对应的意图推定引擎。

在步骤s66中,oma对话控制部36向意图推定部38提供从hmi服务器14取得的文本信息以及意图推定引擎id。

在步骤s67中,意图推定部38执行作为推定处理之一的意图推定处理。由此,意图推定部38输出与文本信息对应的意图标签。例如,对于“仪表的灯亮了是怎么了”这样的文本信息,输出与推定的意图对应的多个意图标签。

在图14的步骤s68中,意图推定部38向oma对话控制部36提供确信度超过预定值的多个意图标签。需要说明的是,在没有输出确信度超过预定值的意图标签的情况下,意图推定部38向oma对话控制部36提供表示没有意图标签的无标签信息。

在步骤s69中,oma对话控制部36进行是否存在应该参照的can信息的判定。例如,取得关于与意图推定处理的结果、显示1、显示2以及显示10有关系的警告灯的意图标签。在该情况下,能够参照警告灯所涉及的can信息,因此判定为存在应该参照的can信息。oma对话控制部36在判定为存在应该参照的can信息的情况下进入步骤s70。另一方面,oma对话控制部36在判定为没有应该参照的can信息的情况下进入步骤s74。

在步骤s70中,oma对话控制部36检索can信息。即,oma对话控制部36从数据服务器19中尝试取得can信息。

在步骤s71中,oma对话控制部36将车辆信息以及说话开始时刻朝向数据服务器19发送。

在步骤s72中,在数据服务器19中,数据管理部39将can信息或无信息通知向代理服务器16发送。关于步骤的详细情况,与图10的步骤s46相同。

在步骤s73中,作为确定部的oma对话控制部36根据can信息来执行作为推定处理之一的意图确定处理。由此,oma对话控制部36从多个意图中取得与can信息对应的一个意图标签。例如,在取得表示轮胎空气压力警告灯点亮的can信息的情况下,从多个意图标签中取得轮胎空气压力警告系统所涉及的意图标签。即,通过基于意图推定部38的意图推定处理和基于oma对话控制部36的意图确定处理来执行推定处理。

以下,关于从步骤s74到步骤s78为止的处理,与图11的从步骤s52到步骤s56为止的处理相同。

根据进行以上的处理的本实施方式的手册提供系统10,能够获得与第一实施方式同样的效果。

[第三实施方式]

在第一以及第二实施方式中,hmi服务器14、代理服务器16以及数据服务器19构成为不同的服务器30。相对于此,在第三实施方式中,如图15所示的那样将hmi服务器14以及数据服务器19与代理服务器16合并。

在本实施方式的手册提供系统10中,也能够获得与第一以及第二实施方式同样的效果。

[备注]

在上述各实施方式中,使基于乘员的说话的声音信息为对于hmi服务器14的输入信息,但并不限于此,也可以使基于乘员对于触摸面板即监视器28的操作的操作信息为输入信息。该情况下的操作信息可列举例如与乘员对于监视器28输入的文字列有关的文本信息。

在上述第三实施方式中,将手册提供系统10中包括的hmi服务器14以及数据服务器19与代理服务器16合并,但是也可以进一步使om服务器18统一合并。并且,也可以将hmi服务器14、代理服务器16、om服务器18、数据服务器19中的一部分的服务器30合并。并且,在代理服务器16中,也可以配置于使oma对话控制部36以及意图推定部38的功能分别不同的服务器30。

需要说明的是,上述实施方式中cpu20a、30a读取软件(程序)并执行的各种处理也可以由除cpu以外的各种处理器来执行。作为该情况下的处理器,例示fpga(field-programmablegatearray:现场可编程门阵列)等在制造后能够变更电路结构的pld(programmablelogicdevice:可编程逻辑器件)以及asic(applicationspecificintegratedcircuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。并且,上述的接收处理既可以利用这些各种处理器中的一个来执行,也可以利用同种或不同种的两个以上的处理器的组合(例如多个fpga以及cpu与fpga的组合等)来执行。并且,这些各种处理器的硬件上的构造更详细而言为将半导体元件等电路元件组合而成的电路。

并且,在上述实施方式中,说明了各程序预先存储(安装)于计算机能够读取的非暂时性记录介质的方案。例如,服务器30中的处理程序100预先存储于储存器30d。但是并不限于此,各程序也可以以记录于cd-rom(compactdiscreadonlymemory:紧凑型光盘只读储存器)、dvd-rom(digitalversatilediscreadonlymemory:数字通用光盘只读储存器)以及usb(universalserialbus:通用串行总线)存储器等非暂时性记录介质的方式提供。并且,程序也可以为经由网络从外部装置下载的方式。

上述各实施方式中的处理不仅可以通过一个处理器来执行,也可以由多个处理器协作地执行。上述实施方式中说明的处理的流程也是一例,可以在不脱离主旨的范围内删除不必要的步骤、或者追加新的步骤、或者更换处理顺序。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1