对话系统、车辆和用于控制车辆的方法与流程

文档序号:19600269发布日期:2020-01-03 12:57阅读:248来源:国知局
对话系统、车辆和用于控制车辆的方法与流程

本发明的实施方案涉及一种对话系统、具有该对话系统的车辆以及用于控制车辆的方法,所述对话系统配置为通过与用户的对话而来识别用户的意图来以提供用户所需的信息或服务。



背景技术:

本部分中的陈述仅提供与本发明相关的背景信息并且不构成现有技术。

对于车辆的音频-视频-导航(avn)装置或大多数移动装置,当向用户提供视觉信息或接收用户的输入时,装置中设置的小屏幕和小按钮可能会导致用户不便。

具体地,在行驶期间,当用户从方向盘上拿下他或她的手时或当用户在另一个地方查看以检查视觉信息和操作装置时,可能对安全驾驶构成严重危险。

因此,当车辆采用对话系统时,可以以更方便和更安全的方式提供服务,其中,所述对话系统能够通过与用户对话来识别用户的意图并提供用户所需的信息或服务。



技术实现要素:

因此,本发明的一个方面是提供一种对话系统、具有该对话系统的车辆和用于控制车辆的方法,所述对话系统能够基于与用户的对话信息、车辆状态信息和行驶环境信息中的至少一种获取车辆使用模式和话语模式,能够基于获取的车辆使用模式和话语模式获取关于至少一个功能的通知事件信息,并且能够在当前时间是通知事件信息的通知时刻时输出关于通知事件信息的引导信息。

本发明的另一方面是提供一种对话系统、具有该对话系统的车辆和用于控制车辆的方法,基于车辆行驶期间的诸如与用户的对话和车辆状态信息、行驶环境信息以及用户信息的各种信息通过精确地识别用户的意图,所述对话系统能够根据用户的真实意图或用户最需要的服务来提供服务。

本发明的另外方面的将会部分地在随后的描述中阐述,并且将会部分地通过描述而变的明显或者可以通过本发明的实践学习到。

根据本发明的一个方面,一种与装置进行通信的对话系统包括:语音输入处理器,其配置为当输入用户的语音时识别输入语音;储存装置,其配置为存储多条通知事件信息;语境信息处理器,其配置为当接收到装置状态信息和行驶环境信息中的至少一条时,基于接收到的至少一条信息识别语境,配置为确定识别的语境信息和识别的语音信息中的至少一条是否与多条通知事件信息中的任何一条相对应,并且配置为当至少一条信息与通知事件信息中的任何一条相对应时,验证关于该通知事件信息中的任何一条的通知时刻;对话管理器,其配置为在当前时间为通知时刻时,将关于该任何一条通知事件信息的引导信息确定为动作;以及结果处理器,其配置为输出与确定的动作相对应的话语。

语境信息处理器可以基于接收到的至少一条信息生成装置使用模式,生成与生成的装置使用模式相对应的通知事件信息,并将所生成的通知事件信息存储在储存装置中。

语境信息处理器可以基于生成的装置使用模式生成关于在装置中执行的多个功能中的至少一个的更新信息,生成关于新添加到装置的功能的新功能信息,以及通过利用生成的更新信息和新功能信息生成通知事件信息。

所述通知事件信息可以包括通知事件名称、通知时刻和通知事件信息的引导信息,其中,通知时刻可以包括执行与任何一条通知事件信息相对应的功能的时间点。

根据本发明的另一个方面,车辆包括:检测器,其配置为检测车辆状态信息和行驶环境信息;储存装置,其配置为存储多条通知事件信息;对话系统,其配置为确定检测的车辆状态信息和行驶环境信息中的至少一条是否与多条通知事件信息中的任何一条相对应;配置为当至少一条信息与该任何一条通知事件信息相对应时,确认关于该任何一条通知事件信息的通知时刻;配置为在当前时间为通知时刻时,将关于该任何一条通知事件信息的引导信息确定为动作,配置为输出与确定的动作相对应的话语,并且配置为选择性地生成与任何一条通知事件信息相对应的控制指令;以及车辆控制器,其配置为当接收到控制指令时,基于接收到的控制指令控制多个功能中的至少一个功能。

车辆可以进一步包括:语音输入装置,其配置为接收用户的语音,其中,所述对话系统:在输入用户的语音时可以识别输入语音;确定识别的语音信息是否与多条通知事件信息中的任何一条通知事件信息相对应。

车辆的对话系统可以基于识别的语音生成话语模式,基于检测到的车辆状态信息和行驶环境信息中的至少一个生成车辆使用模式,并且基于生成的车辆使用模式和话语模式中的至少一个生成通知事件信息。

对话系统可以基于生成的车辆使用模式和话语模式中的至少一种,生成关于在车辆中执行的多个功能中的至少一个功能的更新信息;生成关于新添加到车辆的功能的新功能信息;通过利用更新信息和新功能信息生成通知信息事件,并且车辆控制器可以基于生成的更新信息更新至少一个功能,并且将生成的新功能信息添加作为车辆的功能。

车辆可以进一步包括:通信装置,其配置为与移动装置通信;其中,所述对话系统可以接收移动装置的状态信息,并且确定移动装置状态信息是否与多条通知事件信息中的任何一条相对应。

对话系统可以在与移动装置通信的同时生成移动装置的使用模式,并且基于生成的移动装置的使用模式生成通知事件信息。

车辆可以进一步包括:语音输入装置,其配置为接收用户的语音,其中,当通过语音输入装置输入关于输出话语的响应语音时,对话系统可以基于输入的响应语音,控制与移动装置的通知事件相对应的控制指令的发送执行或控制指令的停止发送。

车辆的对话系统可以生成与移动装置的通知事件相对应的控制指令,并且当接收到控制指令时,车辆控制器可以控制通信装置将控制指令发送到移动装置。

多个功能可以包括以下功能中的至少两个:车窗打开/关闭功能、广播开/关功能、广播频道改变功能、空调开/关功能、空调温度控制功能、座椅加热开/关功能、方向盘电热丝开/关功能、音频开/关功能、音频类型改变功能、音量调节功能以及与移动装置的通信连接功能。

车辆可以进一步包括:通信装置,其配置为与外部服务器通信;其中,当通过服务器接收到固件更新信息时,对话系统可以基于接收到的固件更新信息获取通知事件信息,并且车辆控制器可以基于接收到的固件更新信息控制固件更新。

车辆的对话系统可以基于关于固件的通知事件信息在固件操作执行期间确定当前时间是否是通知事件信息的通知时刻,并且在确定出当前时间是通知事件信息的通知时刻时,对话系统可以输出关于通知事件信息的引导信息。

根据本发明的另一方面,对话处理方法包括:监控车辆状态信息和行驶环境信息中的至少一条:基于监控的信息生成车辆使用模式;生成并存储与生成的车辆使用模式相对应的通知事件信息;确定监控的信息是否与存储在储存装置中的通知事件信息中的任何一条事件信息相对应;当确定监控的信息与任何一条事件信息相对应时,确定任何一条通知事件信息的通知时刻;在当前时间是任何一条通知事件信息的通知时刻时,输出关于通知事件信息的引导信息;生成与存储的通知事件信息相对应的控制指令;并且基于控制指令执行与通知事件信息相对应的功能。

生成通知事件信息可以包括在输入用户的语音时识别输入语音;基于识别的语音信息生成话语模式;并且生成与生成的话语模式相对应的通知事件信息。

生成通知事件信息可以包括:基于生成的车辆使用模式和话语模式中的至少一种,生成关于在车辆中执行的多个功能中的至少一个功能的更新信息;基于生成的车辆使用模式和话语模式中的至少一种,生成关于新添加到车辆的功能的新功能信息;并且通过利用生成的更新信息和新功能信息获取通知事件信息。

控制方法可以进一步包括:接收移动装置状态信息;基于移动装置状态信息,在与移动装置进行通信期间生成移动装置的使用模式;生成并存储与生成的移动装置的使用模式相对应的通知事件信息;确定移动装置状态信息是否与存储在储存装置中的通知事件信息中的任何一条事件信息相对应;当确定出移动装置状态信息与任何一条事件信息相对应时,确定任何一条通知事件信息的通知时刻;并且在当前时间是任何一条通知事件信息的通知时刻时,输出与任何一条通知事件信息相对应的引导信息。

控制方法可以进一步包括:生成与移动装置的任何一个通知事件相对应的控制指令;并且将生成的控制指令发送到移动装置。

控制方法可以进一步包括:当通过外部服务器接收到固件更新信息中的至少一条时,基于接收到的固件更新信息中的至少一条来控制固件更新;基于接收到的固件更新信息中的至少一条生成并存储通知事件信息;基于关于固件的通知事件信息,在固件操作执行期间确定当前时间是否是通知事件信息的通知时刻;并且在确定出当前时间是通知事件信息的通知时刻时,输出关于通知事件信息的引导信息。

通过本文提供的说明,其它应用领域将变得明显。应当理解的是,说明和具体示例仅旨在用于说明的目的,而并不旨在限制本发明的范围。

附图说明

为了可以更好地理解本发明,将参照附图、通过给出示例的方式来描述本发明的各种实施方式,在附图中:

图1是示出根据本发明的实施方案的对话系统的控制框图;

图2是示出车辆内部的示意图;

图3至图5是示出在对话系统和驾驶员之间生成的对话的示例的示意图;

图6和图7是示意性地示出对话系统和车辆的组件之间的连接的控制框图;

图8和图9是示意性地示出对话系统的组件与车辆的组件之间的连接的控制框图;

图10是示出车辆独立方法的控制框图,在所述车辆独立方法中,在车辆中设置对话系统;

图11和图12是示出车辆网关方法的控制框图,在所述车辆网关方法中,在远程服务器中设置对话系统,并且车辆用作将用户连接到对话系统的网关;

图13是示出在车辆网关方法中车辆能够进行部分输入处理和输出处理的情况的控制框图;

图14是示出混合方法的控制框图,在所述混合方法中远程对话系统服务器和车辆都进行对话处理;

图15和图16是示出移动网关方法的控制框图,在所述移动网关方法中,连接到车辆的移动装置将用户连接到远程对话系统服务器;

图17是示出移动独立方法的控制框图,在所述移动独立方法中,在移动装置中设置对话系统;

图18、图19a和图19b是详细示出对话系统的配置中的输入处理器的配置的控制框图;

图20a和图20b是示出存储在语境理解表中的信息的示例的示意图;

图21是示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制框图;

图22a、图22b和图22c是示出存储在预先发声条件表中的信息的示例的示意图;

图23是详细示出对话管理器的配置的控制框图;

图24是示出存储在关系动作db中的信息的示例的示意图;

图25是示出存储在动作执行条件db中的信息的示例的示意图;

图26是示出存储在动作参数db中的信息的示例的示意图;

图27是示出存储在模糊解算信息db中的信息的示例的表格;

图28a和图28b是示出由于模糊解算器通过参考模糊解算信息db并提取动作来解算模糊而执行车辆控制的各种示例的表格;

图29是详细示出结果处理器的配置的控制框图;

图30至图42是示出当用户输入与路线引导相关的话语时,对话系统处理输入、管理对话并输出结果的具体示例的示意图;

图43是示出根据实施方案的对话处理方法中处理用户输入的方法的流程图;

图44是示出根据实施方案的对话处理方法中利用输入处理器的输出来管理对话的方法的流程图;

图45是示出根据实施方案的对话处理方法中用于生成与对话管理的结果相对应的响应的结果处理方法的流程图;

图46至图48是示出在根据实施方案的对话处理方法中,当对话系统在用户输入话语之前输出预先发声的情况下的流程图;

图49是示出在根据实施方案的对话处理方法中,当对话系统在用户输入话语之前输出预先发声时处理重复任务的流程图;

图50是示出根据另一实施方案的设置对话系统的车辆的控制框图;

图51是示出根据另一实施方案的对话系统的详细控制框图;

图52是示出根据另一实施方案的对话系统的输入处理器的控制框图;

图53是示出根据另一实施方案的对话系统的输入处理器的详细控制框图;

图54是示出根据另一实施方案的对话系统的结果处理器的控制框图;

图55是示出根据本发明另一实施方案的具有对话系统的车辆的控制框图;以及

图56至图60是示出根据另一实施方案的用户与对话系统之间的对话的示例。

这里所描述的附图只是用于说明目的,并且不旨在以任何方式来限制本发明的范围。

附图标记说明:

100:对话系统

110:输入处理器

120:对话处理器

130:结果处理器

200:车辆

210:语音输入装置

220:除语音之外的信息输入装置

230:对话输出装置

280:通信装置。

具体实施方式

以下说明在本质上仅仅是示例性的,而并非旨在限制本发明、应用或用途。应当理解的是,在所有附图中,相应的附图标记表示相同或相应的部件和特征。

在下面的说明书中,相同的附图标记表示相同的元件。没有详细描述众所周知的功能或结构,因为它们会以不必要的细节模糊一个或更多个示例性实施方案。术语诸如“单元”、“模块”、“构件”和“块”可以实现为硬件或软件。根据实施方案,多个“单元”、“模块”、“构件”和“块”可以实现为单个组件,或者单个“单元”、“模块”、“构件”和“块”可以包括多个组件。

应当理解,当一个元件被称为“连接”另一个元件时,它可以直接或间接地连接到另一个元件,其中,间接连接包括“通过无线通信网络的连接”。

此外,当部件“包括”或“包括了”元件时,除非存在与其相反的特定描述,否则该部件可以进一步包括其它元件,而不排除其它元件。

正如本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文另有明确指示。

识别码用于方便描述,但并不旨在说明每个步骤的顺序。除非上下文另有明确指示,否则每个步骤可以以与所示顺序不同的顺序实现。

现在将对本发明的实施方案详细地作出展示,这些实施方案的示例显示在附图中。

根据实施方案,对话系统可以配置为通过利用用户的语音和除语音之外的另一输入来识别用户的意图,并且配置为提供适合用户意图或用户意图需要的服务。对话系统可以通过输出系统话语来执行与用户的对话,该系统话语是配置为提供服务或者清楚地识别用户意图的工具之一。

根据实施方案,提供给用户的服务可以包括根据用户的需要或用户的意图的所有类型的操作,其中,所有类型的操作可以包括提供信息、控制车辆、执行音频/视频/导航功能以及从外部服务器提供内容。

根据实施方案,对话系统提供专用于车辆环境的对话处理技术,以便在特殊环境(即,车辆)中精确地识别用户的意图。

将对话系统连接到用户的网关可以是车辆或连接到车辆的移动装置。如下所述,对话系统可以设置于车辆或车辆外部的远程服务器中,以便通过与车辆或连接到车辆的移动装置进行通信来发送或接收数据。

对话系统中的一些组件可以在车辆中设置,而另一些组件可以在远程服务器中设置。因此,车辆和远程服务器可以执行对话系统的一部分操作。

图1是示出根据本发明的实施方案的对话系统的控制框图。

参照图1,对话系统100可以包括输入处理器110、对话管理器120、结果处理器130和储存装置140,所述输入处理器110处理用户的输入,所述用户的输入包括用户的语音和除用户语音之外的输入,或者包括与车辆相关的信息或与用户相关的信息的输入;所述对话管理器120利用输入处理器110的处理结果识别用户的意图和车辆状态,并确定与用户的意图或车辆状态相对应的动作;所述结果处理器130根据对话管理器120的输出结果提供特定服务或输出用于继续对话的系统话语;所述储存装置140存储用于稍后描述的操作的各种信息。

输入处理器110可以接收两种输入,诸如用户语音和除语音之外的输入。除语音之外的输入可以包括识别用户的手势,除通过输入装置的操作输入的用户的语音之外的输入,指示车辆状态的车辆状态信息,与车辆的行驶信息相关的行驶环境信息以及指示用户的状态的用户信息。此外,除上述信息之外,只要信息用于识别用户的意图或向用户或车辆提供服务,与用户和车辆相关的信息就可以被输入到输入处理器110。用户可以包括驾驶员和乘客。

输入处理器110通过识别用户的语音将用户的语音转换为文本类型的话语,并通过将自然语言理解算法应用于用户话语来识别用户的意图。

输入处理器110收集用户语音之外的与车辆状态或车辆的行驶环境相关的信息,然后利用收集到的信息来理解语境。

输入处理器110将通过自然语言理解技术获取的用户意图以及与语境相关的信息发送到对话管理器120。

对话管理器120基于从输入处理器110发送的用户的意图以及与语境相关的信息来确定与用户的意图或当前语境相对应的动作,并管理执行相应动作所需的参数。

根据实施方案,动作可以表示用于提供特定服务的各种动作,并且可以预先确定动作的种类。根据需要,提供服务可以与执行动作相对应。

例如,可以在域/动作推断规则db141(参考图19a)中预定义诸如路线引导、车辆状态检查和加油站推荐的动作,可以根据存储的推断规则提取与用户的话语相对应的动作,即用户预期的动作。可以预先定义与车辆中发生的事件相关的动作,然后将其存储在关系动作db146b中(参考图21)。

动作的种类没有限制。如果允许对话系统100经由车辆200或移动装置400执行动作,并且该动作在其推断规则或该动作与其它动作/事件的关系被存储的同时该动作被预定义,则该动作可以是上述提到的动作。

对话管理器120将与确定的动作相关的信息发送到结果处理器130。

结果处理器130生成并输出对话响应以及执行发送的动作所需的指令。对话响应可以以文本、图像或音频类型输出。当输出了指令时,可以执行与输出的指令相对应的诸如车辆控制和提供外部内容的服务。

储存装置140存储用于对话处理和提供服务的各种信息。例如,储存装置140可以预先存储与自然语言理解所使用的域、动作、语言行为和实体名称相关的信息,以及通过输入信息理解语境所使用的语境理解表。此外,储存装置140可以预先存储由车辆中设置的传感器检测的数据、与用户相关的信息以及动作所需的信息。稍后将描述存储在储存装置140中的信息的描述。

如上所述,对话系统100提供车辆环境专用的对话处理技术。对话系统100的全部或部分组件可以存在于车辆中。对话系统100可以在远程服务器中设置,并且车辆可以充当对话系统100和用户之间的网关。在上述任一情况下,对话系统100都可以经由车辆或连接到车辆的移动装置连接到用户。

图2是示出车辆内部的示意图。

参照图2,可以在中央仪表板203上设置显示装置231和输入按钮221;所述显示装置231配置为显示包括音频功能、视频功能、导航功能和呼叫功能的车辆控制所需的屏幕;所述输入按钮221配置为接收用户的控制指令;中央仪表板203对应于车辆200内部的仪表板的中心部分。

为了用户的操作方便,可以在方向盘207上设置输入按钮,并且可以在设置在驾驶员座椅254a和副驾驶员座椅254b之间的中央控制台区域202上设置用作输入按钮的旋钮225。

包括显示装置231、输入按钮221和控制各种功能的处理器的模块可以与音频视频导航(avn)终端或音响主机相对应。

显示装置231可以由各种显示装置,例如,液晶显示屏(lcd)、发光二极管(led)、等离子显示面板(pdp)、有机发光二极管(oled)和阴极射线管(crt)中的任何一种实现。

输入按钮221可以以实体按键类型设置于与显示装置231相邻的区域,如图2所示。或者,当通过触摸屏实现显示装置231时,显示装置231可以执行输入按钮221的功能。

车辆200可以经由语音输入装置210接收用户控制指令作为语音。语音输入装置210可以包括麦克风,该麦克风配置为接收声音然后将声音转换为电信号。

为了有效的语音输入,语音输入装置210可以安装于车顶织物衬里205,如图2所示,但是,车辆200的实施方案不限于此。因此,语音输入装置210可以安装到仪表板201或方向盘207。此外,只要位置适合于接收用户的语音,语音输入装置210可以安装到任何位置。

在车辆200的内部,可以设置扬声器232,扬声器232配置为与用户进行对话或配置为输出提供用户期望的服务所需的声音。例如,扬声器232可以设置在驾驶员座椅车门253a和副驾驶员座椅车门253b的内部。

扬声器232可以输出用于导航路线引导的语音、存在于音频和视频内容中的声音或语音、用于提供用户期望的信息或服务的语音,以及作为对用户的话语的响应而生成的系统话语。

根据实施方案,对话系统100通过利用适合于车辆环境的对话处理技术来提供适合于用户生活方式的服务,并且对话系统100可以利用诸如联网汽车、物联网(iot)和人工智能(ai)的技术来实现新服务。

当应用适合于车辆环境的对话处理技术时,例如根据实施方案的对话系统100,在驾驶员直接驾驶车辆期间可以容易地识别并响应关键语境。可以通过对影响驾驶的参数(例如汽油不足和疲劳驾驶)施加权重来提供服务,或者基于在大多数情况下车辆移动到目的地的情况,可以容易地获取服务所需信息,例如,行驶时间和目的地信息。

此外,可以通过识别驾驶员的意图容易地实现配置为提供功能的智能服务。这是因为在驾驶员直接驾驶情况下优先考虑实时信息和动作。例如,当驾驶员在驾驶时搜索加油站时,可以将其解释为驾驶员将去加油站的意图。然而,当驾驶员不在车辆处搜索加油站时,可以将其解释为另一个意图,例如搜索位置信息查询、电话号码查询和价格查询,而不是驾驶员将去往加油站的意图。

此外,尽管车辆是有限的空间,但是其中可能发生各种情况。例如,驾驶员可以在各种情况下使用对话系统100,例如,驾驶具有不熟悉的界面的车辆(例如租用的车辆)、使用驾驶员服务、车辆管理情况(例如洗车)、车上有婴儿的情况以及访问特定目的地的情况。

此外,在形成车辆行驶的每个阶段以及行驶的前后阶段(例如,车辆检查阶段、开始准备阶段、行驶阶段和停车阶段)中可能发生各种服务和对话情况。具体地,驾驶员可以在各种情况下使用对话系统100,例如,驾驶员不知道如何处理问题的情况、车辆与各种外部装置相关联的情况、检查驾驶习惯(例如汽油里程)的情况,以及利用安全支持功能(例如智能巡航控制)的情况、导航操作的情况、疲劳驾驶的情况、每天沿同一路线行驶的情况,以及检查该地方是否可停车的情况。

图3至图5是示出在对话系统和驾驶员之间生成的对话的示例的示意图。

参照图3,虽然驾驶员没有输入用于询问当前剩余油量或用于请求加油站引导的话语,但是对话系统100可以自己识别当前剩余汽油,并且当识别出的剩余汽油小于预先确定的值时,对话系统100可以首先输出提供与当前剩余汽油相关的信息的话语(s1:用剩余的汽油可以行驶43km)。

响应于该话语,驾驶员可以输入询问附近的加油站的话语以接收路线引导(u1:让我知道附近的加油站),并且对话系统100可以输出提供与距离当前位置最近的加油站相关的信息的话语(s2:最近的加油站是a油seong-rim加油站,b油jang-dae加油站和c油太平洋加油站)。

驾驶员可以额外输入询问汽油价格的话语(u2哪里最便宜?),并且对话系统100可以输出提供与燃料类型的价格相关的信息的话语(汽油的最低价格是b油jang-dae加油站,每升1294韩元,而柴油的最低价格是a油seong-rim加油站,每升985韩元)。

驾驶员可以输入询问到b油jang-dae加油站(u3)的引导的话语,并且对话系统100可以输出指示到由驾驶员选择的加油站的引导开始的话语(s4:到b油jang-dae加油站的路线开始)。

也就是说,对话系统100可以基于经由输入处理器110接收的车辆的状态信息来确定当前所需服务是加油站引导服务,并且输出预先发声以提供所需的服务。此外,可以通过与对话系统100的对话,将驾驶员引导到以最低价格销售当前车辆的燃料类型的附近的加油站。根据一个实施方案,假设“预先发声”表示在用户发声之前首先从对话系统100输出的话语。

同时,当在如图3所示的示例中选择加油站时,对话系统100可以省略部分问题并直接提供信息,因此可以减少对话的步骤和时间。

例如,对话系统100可以预先识别出当前车辆的燃料类型是汽油,以及驾驶员用于选择加油站的标准是价格。可以从车辆获取与车辆的燃料类型相关的信息,而驾驶员用于选择加油站的标准可以由驾驶员预先输入,或者通过学习驾驶员对话历史或加油站选择历史来获取。该信息可以预先存储在储存装置140中。

在这种情况下,在驾驶员不输入请求关于燃料价格的信息的话语(u2)的情况下,即省略了u2,如图4所示,对话系统100可以主动输出提供与燃料价格相关的信息的话语(s2+s3=s3'),具体地,当前车辆的燃料类型的汽油价格。

驾驶员可以省略用于请求关于燃料价格的信息的话语(u2),并且对话系统100的响应可以形成,使得引导附近的加油站的话语(s2)和引导燃料价格的话语(s3)集成为单一响应,以减少对话的步骤和时间。

此外,对话系统100可以基于驾驶员询问当前剩余油量的情况,自己识别驾驶员的意图为搜索加油站。

在这种情况下,如图5所示,尽管驾驶员没有输入询问附近的加油站的话语(u1),即省略了u1,但是对话系统100可以主动输出提供与燃料价格相关的信息的话语(s2+s3=s3”)。

在距离当前位置最近的加油站和提供最低燃料价格的加油站是相同的加油站的状态下,提供与燃料价格相关的信息的话语(s3”)可以包括用于询问是否要引导到相应的加油站的问题。因此,用户可以通过简单地输入同意对话系统100的问题的话语(u3':是)来请求到相应的加油站的路线引导,而无需输入用于询问到特定加油站的引导的具体的话语。

如上所述,对话系统100可以基于预先获取的信息,通过考虑用户未说出的内容来识别用户的真实意图并主动提供与意图相对应的信息。因此,可以减少用于提供用户期望的服务的对话步骤和时间。

图6和图7是示意性地示出对话系统和车辆的组件之间的连接的控制框图。

参照图6,输入到对话系统100的用户语音可以经由车辆200中设置的语音输入装置210来输入。如图2所示,语音输入装置210可以包括设置在车辆200内部的麦克风。

可以通过除语音之外的信息输入装置220输入用户输入中除语音之外的输入。除语音之外的信息输入装置220可以包括输入按钮221和223以及旋钮225,以用于通过用户的操作接收指令。

除语音输入之外的信息输入装置220可以包括对用户成像的摄像机。通过由摄像机成像的图像,可以识别用作指令输入工具的用户的手势、表情或视线方向。或者,可以通过摄像机成像的图像来识别用户的状态(困倦状态等)。

可以经由车辆控制器240将与车辆相关的信息输入到对话系统100中。与车辆相关的信息可以包括由车辆200中设置的各种传感器获取的车辆状态信息或周围环境信息,以及最初存储在车辆200中的信息,例如车辆的燃料类型。

对话系统100可以利用经由语音输入装置210输入的用户语音,经由除语音之外的信息输入装置220输入的除用户的语音之外的输入,以及经由车辆控制器240输入的各种信息来识别用户的意图和语境。对话系统100输出响应以执行与用户意图相对应的动作。

对话输出装置230是配置为以视觉、听觉或触觉方式向讲话者提供输出的装置。对话输出装置230可以包括在车辆200中设置的显示装置231和扬声器232。显示装置231和扬声器232可以以视觉或听觉方式输出对用户的话语的响应、关于用户的问题或用户请求的信息。此外,可以通过在方向盘207中安装振动器来输出振动。

此外,根据从对话系统100输出的响应,车辆控制器240可以控制车辆200执行与用户的意图或当前情况相对应的动作。

同时,除由车辆200中设置的传感器获取的信息之外,车辆200还可以经由通信装置280收集从外部内容服务器300或外部装置获取的信息,例如,行驶环境信息和用户信息,诸如交通状况、天气、温度、乘客信息和驾驶员个人信息,然后车辆200可以将信息发送到对话系统100。

如图7所示,通过车辆200中设置的传感器获取的信息(例如,剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置)可以经由内部信号控制器241输入到对话系统100。

通过车辆到一切(v2x)通信从外部获取的行驶环境信息可以经由外部信号控制器242输入到对话系统100。v2x可以表示在行驶期间通过与道路基础设施以及其它车辆通信,车辆交换并共享各种有用信息(例如,交通状况)。

v2x通信可以包括车辆对基础设施(v2i)通信、车辆对车辆(v2v)通信和车辆对漫游装置(v2n)通信。因此,通过利用v2x通信,可以通过在车辆之间直接执行的通信或与安装在道路上的基础设施的通信来发送和接收信息(诸如,关于前面的交通信息、或另一车辆的访问、或与另一车辆发生碰撞的风险),因此可以向驾驶员通知该信息。

因此,经由外部信号控制器242输入到对话系统100的行驶环境信息可以包括关于前面的交通信息、相邻车辆的访问信息、与另一车辆的碰撞警告、实时交通状况、意外情况和交通流量控制状态。

尽管未在附图中示出,但是经由v2x获取的信号也可以经由通信装置280输入到车辆200。

车辆控制器240可以包括存储器和处理器,所述存储器存储用于执行上述操作和稍后描述的操作的程序;所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器,并且当设置多个存储器和处理器时,它们可以集成在一个芯片上或物理上分开。

此外,内部信号控制器241和外部信号控制器242可以由同一个处理器和存储器实现,或者由单独的处理器和存储器实现。

图8和图9是示意性地示出对话系统和车辆的组件之间的连接的控制框图。

参照图8,从语音输入装置210发送的用户语音可以输入到在输入处理器110中设置的语音输入处理器111,从除语音之外的信息输入装置220发送的除用户语音之外的输入可以输入到在输入处理器110中设置的语境信息处理器112。

此外,经由内部信号控制器241或外部信号控制器242输入的信息被输入到输入处理器110中设置的语境信息处理器112。

输入到语境信息处理器112的语境信息可以包括车辆状态信息、行驶环境信息和用户信息,所述信息是从除语音之外的信息输入装置220和车辆控制器240输入的。语境信息处理器112可以基于输入的语境信息来识别语境。对话系统100可以通过识别语境来精确地识别用户的意图或有效地找出用户所需的服务。

从结果处理器130输出的响应可以输入到对话输出装置230或车辆控制器240,以允许车辆200提供用户所需的服务。此外,可以将响应发送到外部内容服务器300以请求所需的服务。

从车辆控制器240发送的车辆状态信息、行驶环境信息和用户信息可以存储在储存装置140中。

参照图9,储存装置140可以包括长期存储器143和短期存储器144。存储在储存装置140中的数据可以根据数据的重要性和持久性以及设计者的意图分为短期存储器和长期存储器。

短期存储器144可以存储先前执行的对话。先前的对话可以是在距当前时间的参考时间内执行的对话。或者,可以连续存储对话,直到用户和对话系统100之间的话语内容的容量为参考值。

例如,当到了用餐的时候,车辆200可以经由扬声器232输出询问是否引导餐馆的话语。可以基于当前时间是否在预先确定的用餐时间范围内来识别是否是用餐时间。当用户说出“让我知道江南站附近的餐馆”或“让我知道餐馆”的内容并且当车辆200的当前位置在江南站附近时,对话系统100可以通过外部内容服务器300搜索江南站附近的餐馆,然后向用户提供与搜索到的江南站附近的餐馆相关的信息。提供信息的示例:对话系统100可以在显示装置231上显示餐馆的列表,并且当用户说出“第一个”时,可以在短期存储器144中存储与从请求餐馆到选择餐馆相关的对话内容。

或者,不仅存储整个对话内容,而且还可以存储存在于对话内容中的特定信息。例如,可以将餐馆列表上的第一个餐馆存储在短期存储器144或者长期存储器143中作为用户选择的餐馆。

当用户在关于江南站附近的餐馆的对话之后向对话系统100询问“天气如何?”时,对话系统100可以通过短期存储器144中存储的对话假设用户感兴趣的地点是江南站,然后输出响应“江南站正在下雨”。

接下来,当用户说出“推荐餐馆菜单”时,对话系统100可以通过存储在短期存储器中的对话假设“餐馆”代表江南站附近的餐馆,并通过从外部内容服务器300提供的服务获取与相应餐馆的推荐菜单相关的信息。因此,对话系统100可以输出响应“面条是餐馆中的最佳菜单”。

长期存储器143可以根据数据持久性的存在来存储数据。例如,长期存储器143可以确定数据的持久性得到保证,然后将数据存储在其中,所述数据诸如感兴趣的位置(poi)信息(例如,家)、朋友的电话号码和家庭或公司,以及用户对某些参数的偏好。相反,当确定数据的持久性得不到保证时,可以将数据存储在短期存储器144中。

例如,用户的当前位置可以是临时数据,因此存储在短期存储器144中,而用户对餐馆的偏好可以是以后可用的持久数据,因此存储在长期存储器143中。

当用户说“这附近有没有餐馆?”时,对话系统100可以识别出用户的当前位置并且从长期存储器143中找到用户喜欢的中餐馆。因此,对话系统100可以通过利用外部内容来推荐当前位置周围的用户喜欢的中餐馆的列表。

此外,对话系统100可以利用存储在长期存储器143和短期存储器144中的数据主动向用户提供服务和信息。

例如,与用户住宅相关的信息可以存储在长期存储器143中。对话系统100可以从外部内容服务器300获取与用户住宅相关的信息,然后提供指示“由于公寓的清洁而预计在这周五停水”的信息。

与车辆电池状态相关的信息可以存储在短期存储器144中。对话系统100可以分析存储在短期存储器144中的车辆电池状态,然后提供指示“电池处于不良状态,在冬天之前修好它。”的信息。

图10是示出车辆独立方法的控制框图,在所述车辆独立方法中,在车辆中设置对话系统。

根据车辆独立方法,对话系统100具有输入处理器110、对话管理器120、结果处理器130和储存装置140,对话系统100可以存在于车辆200中,如图10所示。

当对话系统100存在于车辆200中时,车辆200可以自己处理与用户的对话并提供用户所需的服务。然而,也可以从外部内容服务器300获取对话处理和提供服务所需的信息。

由车辆检测器260检测到的车辆状态信息或行驶环境信息(例如,剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置)可以经由车辆控制器240输入到对话系统100。

根据从对话系统100输出的响应,车辆控制器240可以控制设置在车辆200中的空调装置251、车窗252、车门253、座椅254或avn255。

例如,当对话系统100确定出用户的意图或用户所需的服务是降低车辆200内的温度然后生成并输出相应的指令时,车辆控制器240可以通过控制空调251降低车辆200内的温度。

再例如,当对话系统100确定出用户的意图或用户所需的服务是升起驾驶员座椅的车窗252a并且生成和输出相应的指令时,车辆控制器240可以通过控制车窗252来升起驾驶员座椅的车窗252a。

再例如,当对话系统100确定出用户的意图或用户所需的服务是引导到特定目的地的路线并且生成和输出相应的指令时,车辆控制器240可以通过控制avn255来执行路线引导。根据需要,通信装置280可以从外部内容服务器300获取地图数据和poi信息,然后利用该信息提供服务。

图11和图12是示出车辆网关方法的控制框图,在所述车辆网关方法中,在远程服务器中设置对话系统,并且车辆用作将用户连接到对话系统的网关。

根据车辆网关方法,如图11所示,可以在车辆200的外部设置远程对话系统服务器1,并且可以在车辆200中设置通信装置280和经由远程对话系统服务器1连接的对话系统客户端270。通信装置280用作连接车辆200和远程对话系统服务器1的网关。

对话系统客户端270可以用作连接到输入/输出装置的接口,并进行收集、发送和接收数据。

当车辆200中设置的语音输入装置210和除语音输入之外的信息输入装置220接收用户的输入并将用户输入发送到对话系统客户端270时,对话系统客户端270可以经由通信装置280将输入的数据发送到远程对话系统服务器1。

车辆控制器240还可以将由车辆检测器260检测到的数据发送到对话系统客户端270,并且对话系统客户端270可以经由通信装置280将由车辆检测器260检测到的数据发送到远程对话系统服务器1。

由于在远程对话系统服务器1中设置了上述对话系统100,因此远程对话系统服务器1可以执行以下所有处理:输入数据处理,基于输入数据处理的结果的对话处理,以及基于对话处理的结果的结果处理。

此外,远程对话系统服务器1可以从外部内容服务器300获取输入数据处理、对话管理或结果处理所需的信息或内容。

根据从远程对话系统服务器1发送的响应,车辆200可以从外部内容服务器300获取用户所需的服务的信息或内容。

参照图12,通信装置280可以包括配置为与外部装置通信的至少一个通信模块。例如,通信装置280可以包括短程通信模块281、有线通信模块282和无线通信模块283中的至少一种。

短程通信模块281可以包括各种短程通信模块,其配置为在短距离利用无线通信模块发送和接收信号,所述无线通信模块例如,蓝牙模块、红外通信模块、射频识别(rfid)通信模块、无线局域网(wlan)通信模块、nfc通信模块和zigbee通信模块。

有线通信模块282可以包括各种有线通信模块和各种电缆通信模块,所述有线通信模块例如,局域网(lan)模块、广域网(wan)模块、或增值网络(van)模块;所述电缆通信模块例如,通用串行总线(usb)、高清多媒体接口(hdmi)、数字视频接口(dvi)、推荐标准232(rs-232)、电力线通信或普通老式电话服务(pots)。

无线通信模块283可以包括支持各种无线通信方法的无线通信模块,例如,wifi模块、无线宽带模块、全球移动系统(gsm)通信、码分多址(cdma)、宽带码分多址(wcdma)、时分多址(tdma)、长期演进(lte)、4g和5g。

此外,通信装置280可以进一步包括用于车辆200中的电子装置之间的通信的内部通信模块(图未示)。车辆200的通信协议可以利用控制器局域网(can)、本地互连网络(lin)、flexray和以太网。

对话系统100可以经由无线通信模块283向外部内容服务器300或远程对话系统服务器1发送数据,并从外部内容服务器300或远程对话系统服务器1接收数据。对话系统100可以利用无线通信模块283执行v2x通信。此外,利用短程通信模块281或有线通信模块282,对话系统100可以向连接到车辆200的移动装置发送数据并从连接到车辆200的移动装置接收数据。

图13是示出在车辆网关方法中,车辆能够进行部分输入处理和输出处理的情况的控制框图。

如上所述,车辆200的对话系统客户端270可以仅收集、发送和接收数据,但是由于在对话系统客户端270中包含输入处理器271、结果处理器273和储存装置274,所以对话系统客户端270可以处理从用户或车辆输入的数据或者执行与所确定的用户需要的提供服务相关的处理,如图13所示。也就是说,输入处理器110和结果处理器130的操作不仅可以由远程对话系统服务器1执行,还可以由车辆200执行。

在这种情况下,对话系统客户端270可以执行输入处理器110的全部或部分操作。对话系统客户端270可以执行结果处理器130的全部或部分操作。

可以考虑待处理的数据的容量和数据处理速度来确定远程对话系统服务器1和对话系统客户端270之间的任务共享。

图14是示出远程对话系统服务器和车辆都进行对话处理的混合方法的控制框图。

根据混合方法,如图14所示,由于在远程对话系统服务器1中设置有输入处理器110、对话管理器120、结果处理器130和储存装置140,所以远程对话系统服务器1可以执行对话处理,并且由于在车辆200中设置有终端对话系统290(终端对话系统290设置有输入处理器291、对话管理器292、结果处理器293和储存装置294),所以车辆200可以执行对话处理。

然而,在容量或性能方面,在车辆200中设置的处理器和存储器与在远程对话系统服务器1中设置的处理器或存储器之间可能存在差异。相应地,当终端对话系统290能够通过处理所有输入数据和管理对话来输出结果时,终端对话系统290可以执行整个过程。否则,可以向远程对话系统服务器1请求处理。

在执行对话处理之前,终端对话系统290可以基于数据类型确定是否可以执行对话处理,并且终端对话系统290可以基于确定的结果直接执行处理或向远程对话系统服务器1请求处理。

当终端对话系统290在执行对话处理期间不能执行处理的事件发生时,终端对话系统290可以向远程对话系统服务器1请求处理,同时将终端对话系统290自己处理的结果发送到远程对话系统服务器1。

例如,当需要高性能计算能力或长期数据处理时,远程对话系统服务器1可以执行对话处理,而当需要实时处理时,终端对话系统290可以执行对话处理。例如,当需要立即处理的情况发生并因此需要在同步之前处理数据时,可以设置为终端对话系统290首先处理数据。

此外,当车辆中存在未登记的讲话者并且因此需要用户确认时,远程对话系统服务器1可以处理该对话。

此外,在不允许终端对话系统290经由通信装置280与远程对话系统服务器1连接的状态下,终端对话系统290不能自己完成对话处理时,可以通过对话输出装置230通知用户不能执行对话处理。

可以根据数据类型或数据容量来确定存储在终端对话系统290中的数据和存储在远程对话系统服务器1中的数据。例如,在由于个人识别而具有侵犯隐私风险的数据的情况下,数据可以存储在终端对话系统290的储存装置294中。此外,可以将大量数据存储在远程对话系统服务器1的储存装置140中,并且可以将少量数据存储在终端对话系统290的储存装置294中。或者,可以将少量数据存储在远程对话系统服务器1的储存装置140和终端对话系统290的储存装置294中。

图15和图16是示出移动网关方法的控制框图,在所述移动网关方法中,连接到车辆的移动装置将用户连接到远程对话系统服务器。

根据移动网关方法,如图15所示,移动装置400可以从车辆200接收车辆状态信息和行驶环境信息等,并且将用户输入和车辆状态信息发送到远程对话系统服务器1。也就是说,移动装置400可以充当将用户连接到远程对话系统服务器1或将车辆200连接到远程对话系统服务器1的网关。

移动装置400可以表示电子装置,该电子装置便携并且能够通过与外部内容服务器和车辆通信来向外部服务器和车辆发送数据以及从外部服务器和车辆接收数据,其中,移动装置400可以包括智能电话、智能手表、智能眼镜、pda和平板电脑。

移动装置400可以包括语音输入装置410、除语音之外的信息输入装置420、输出装置430、通信装置480和对话系统客户端470,所述语音输入装置410接收用户语音;所述除语音之外的信息输入装置420接收除用户语音之外的输入;所述输出装置430以视觉、听觉或触觉方式输出响应;所述通信装置480通过通信向远程对话系统服务器1和车辆200发送数据并且从远程对话系统服务器1和车辆200接收数据;所述对话系统客户端470通过通信装置480收集来自用户的输入数据并将数据发送到远程对话系统服务器1。

语音输入装置410可以包括麦克风,麦克风接收声音、将声音转换为电信号并输出电信号。

除语音之外的信息输入装置420可以包括移动装置400中设置的输入按钮、触摸屏或摄像机。

输出装置430可以包括在移动装置400中设置的显示装置、扬声器或振动器。

在移动装置400中设置的语音输入装置410、除语音之外的信息输入装置420和输出装置430,可以用作用户的输入和输出接口。此外,在车辆200中设置的语音输入装置210、除语音之外的信息输入装置220和对话输出装置230,可以用作用户的输入和输出接口。

当车辆200将由车辆检测器260检测到的数据和用户输入发送到移动装置400时,移动装置400的对话系统客户端470可以将数据和用户输入发送到远程对话系统服务器1。

对话系统客户端470可以将从远程对话系统服务器1发送的响应或指令发送到车辆200。当对话系统客户端470利用车辆200中设置的对话输出装置230作为用户的输入和输出接口时,可以经由对话输出装置230输出对话系统100的话语或对用户的话语的响应。当对话系统客户端470利用在移动装置400中设置的输出装置430时,可以经由输出装置430输出对话系统100的话语或对用户的话语的响应。

用于车辆控制的指令可以被发送到车辆200,并且车辆控制器240可以执行与发送的指令相对应的控制,从而提供用户所需的服务。

对话系统客户端470可以收集输入数据并将输入数据发送到远程对话系统服务器1。对话系统客户端470还可以执行对话系统100的输入处理器110和结果处理器130的全部或部分功能。

参照图16,移动装置400的通信装置480可以包括配置为与外部装置通信的至少一个通信模块。例如,通信装置480可以包括短程通信模块481、有线通信模块482和无线通信模块483中的至少一种。

短程通信模块481可以包括各种短程通信模块,其配置为在短距离利用无线通信模块发送和接收信号,所述无线通信模块例如,蓝牙模块、红外通信模块、射频识别(rfid)通信模块、无线局域网(wlan)通信模块、nfc通信模块和zigbee通信模块。

有线通信模块482可以包括各种有线通信模块和各种电缆通信模块,所述有线通信模块例如,局域网(lan)模块、广域网(wan)模块、或增值网络(van)模块);所述电缆通信模块例如,通用串行总线(usb)、高清多媒体接口(hdmi)、数字视频接口(dvi)、推荐标准232(rs-232)、电力线通信或普通老式电话服务(pots)。

无线通信模块483可以包括支持各种无线通信方法的无线通信模块,例如,wifi模块、无线宽带模块、全球移动系统(gsm)通信、码分多址(cdma)、宽带码分多址(wcdma)、时分多址(tdma)、长期演进(lte)、4g和5g。

例如,移动装置400可以经由短程通信模块481或有线通信模块482连接到车辆200,并且移动装置400可以经由无线通信模块483连接到远程对话系统服务器1或外部内容服务器300。

图17是示出移动独立方法的控制框图,在所述移动独立方法中,在移动装置中设置对话系统。

根据移动独立方法,如图17所示,可以在移动装置400中设置对话系统100。

因此,在没有连接到用于对话处理的远程对话系统服务器1的情况下,移动装置400可以自己处理与用户的对话并且提供用户所需的服务。然而,移动装置400可以从外部内容服务器300获取用于对话处理和提供服务的一条信息。

根据上述方法中的任何方法,形成对话系统100的组件可以在物理上彼此分离,或者可以省略部分组件。例如,即使在远程对话系统服务器1中设置对话系统100,也可以在单独的服务器或车辆中设置形成对话系统100的部分组件。单独服务器的操作器或管理器可以与远程对话系统服务器1的操作器或管理器相同或不同。例如,可以在单独的服务器中设置稍后描述的语音识别器或自然语言理解部分,并且对话系统100可以从单独的服务器接收关于用户的话语的语音识别的结果或自然语言理解的结果。或者,可以在单独的服务器中设置储存装置140。

将详细描述对话系统100的每个组件的详细配置和详细操作。根据稍后描述的实施方案,为了便于解释,假设对话系统100设置在车辆200中。稍后描述的对话系统100的特定组件可以根据其操作来分类,并且对于组件是否由相同的处理器和存储器来实现以及处理器和存储器的物理位置可以没有限制。

图18、图19a和图19b是详细示出对话系统的配置中的输入处理器的配置的控制框图。

参照图18,输入处理器110可以包括处理语音输入的语音输入处理器111和处理语境信息的语境信息处理器112。

从语音输入装置210发送的用户语音可以被输入到语音输入处理器111,从除语音之外的信息输入装置220发送的除用户语音之外的输入可以被输入到语境信息处理器112。

车辆控制器240可以将车辆状态信息、行驶环境信息和用户信息发送到语境信息处理器112。可以将行驶环境信息和用户信息提供给外部内容服务器300或连接到车辆200的移动装置400。

除语音之外的输入可以存在于语境信息中。也就是说,语境信息可以包括车辆状态信息、行驶环境信息和用户信息。

车辆状态信息可以包括指示车辆状态并且由在车辆200中设置的传感器获取的信息,以及与车辆相关并且存储在车辆中的信息,例如车辆的燃料类型。

行驶环境信息可以是由车辆200中设置的传感器获取的信息。行驶环境信息可以包括由前置摄像机、后置摄像机或立体摄像机获取的图像信息、由传感器(例如雷达、激光雷达、超声波传感器)获取的障碍物信息、与降雨量相关的信息以及由雨量传感器获取的降雨速度信息。

行驶环境信息可以进一步包括通过v2x获取的交通状态信息、交通灯信息和相邻车辆访问或相邻车辆碰撞风险信息。

用户信息可以包括:由车辆中设置的摄像机或生物识别读取器测量的与用户状态相关的信息,利用由用户在车辆中设置的输入装置直接输入的与用户相关的信息,与用户相关并存储在外部内容服务器300中的信息,以及存储在连接到车辆的移动装置400中的信息。

语音输入处理器111可以包括:语音识别器111a、自然语言理解部分111b和对话输入管理器111c,所述语音识别器111a通过识别输入的用户的语音来输出文本类型的话语;所述自然语言理解部分111b通过将自然语言理解技术应用于用户的话语来识别话语中包含的用户的意图;所述对话输入管理器111c将对自然语言理解的结果和语境信息发送到对话管理器120。

语音识别器111a可以包括语音识别引擎,并且语音识别引擎可以通过将语音识别算法应用于输入语音来识别用户发出的语音并生成识别结果。

由于输入语音被转换成用于语音识别的更有用的形式,语音识别器111a可以通过从语音信号中检测起点和终点来检测包括在语音中的实际语音部分。这称为终点检测(epd)。

语音识别器111a可以通过应用特征向量提取技术(例如倒频谱、线性预测系数:(lpc)、梅尔频率倒频谱系数(mfcc)或滤波器组能量)从检测到的部分提取输入语音的特征向量。

语音识别器111a可以通过将提取的特征向量与训练的参考模式进行比较来获取识别结果。此时,语音识别器111a可以利用声学模型和语言模型,所述声学模型对语音的信号特征进行建模和比较;所述语言模型对与词汇识别相对应的词语或音节的语言顺序关系进行建模。为此,储存装置140可以存储声学模型和语言模型db。

声学模型可以分为直接比较方法和统计方法,所述直接比较方法将目标识别设置为特征向量模型,并将该特征向量模型与语音信号的特征向量进行比较;所述统计方法统计地处理目标识别的特征向量。

直接比较方法是将诸如作为目标识别的词语或音素的单元设置到特征向量模型,并将接收到的语音与特征向量模型进行比较以确定它们之间的相似性。直接比较方法的代表性示例是矢量量化。矢量量化是将接收到的语音信号的特征矢量映射到作为参考模型的码本,以将映射的结果编码为代表值,并将代表值彼此进行比较。

统计模型方法是将目标识别的单元配置为状态序列并利用状态序列之间的关系。每个状态序列可以配置有多个节点。利用状态序列之间的关系的方法可以分为动态时间规整(dtw)、隐马尔可夫模型(hmm)和利用神经网络的方法。

dtw是这样一种方法:其考虑到语音的动态特征通过与参考模型比较来补偿时间轴的差异的方法,所述语音的动态特征是即使同一个人发出相同的发音,信号的长度也随时间变化。hmm是这样一种识别方法:其将语音假设为马尔可夫过程,所述马尔可夫过程在每个状态下具有节点(输出符号)的状态转移概率和观察概率,然后基于学习数据估算节点的状态转移概率和观察概率,并通过估算的模型计算生成接收到的语音的概率。

同时,语言模型是对词语、音节等的语言顺序关系建模,语言模型通过将配置语言的单元之间的顺序关系应用于通过语音识别获取的单元,可以减少声音模糊和识别错误。语言模型可以包括统计语言模型和基于有限状态自动机(fsa)的模型。统计语言模型利用词语的链概率,例如unigram、bigram和trigram。

语音识别器111a可以利用上述方法中的任何一种进行语音识别。例如,语音识别器111a可以利用应用hmm的声学模型,或者声学模型与语音模型组合的n-best搜索方法。n-best搜索方法可以利用声学模型和语言模型通过选择n个或更少个识别结果候选来改进识别性能,然后重新估算识别结果候选的顺序。

语音识别器111a可以计算置信度以确保识别结果的可靠性。置信度可以是表示语音识别结果可靠程度的标准。例如,置信度可以定义为:对于识别出结果的音素或词语,从其它音素或词语发出相应的音素或词语的概率的相对值。因此,置信度可以表示为0到1之间或0到100之间的值。

当置信度大于预先确定的阈值时,语音识别器111a可以输出识别结果以允许执行与识别结果相对应的操作。当置信度等于或小于阈值时,语音识别器111a可以拒绝识别结果。

作为语音识别器111a的识别结果的文本形式的话语可以被输入到自然语言理解部分111b。

自然语言理解部分111b可以通过应用自然语言理解技术来识别包括在话语语言中的用户话语的意图。因此,用户可以通过自然对话输入控制指令,并且对话系统100还可以通过对话引起控制指令的输入并提供用户所需的服务。

自然语言理解部分111b可以对文本形式的话语进行形态分析。语素是意义的最小单位,代表不能再细分的最小语义元素。因此,形态分析是自然语言理解的第一步,并将输入的字符串转换为语素字符串。

自然语言理解部分111b可以基于形态分析结果从话语中提取域。该域可以用于识别用户话语语言的主题,并且指示各种主题(例如,路线引导、天气搜索、交通搜索、日程安排管理、燃料管理和空调控制)的域可以存储为数据库。

自然语言理解部分111b可以从话语中识别实体名称。实体名称可以是专有名词,例如,人名、地名、组织名称、时间、日期和货币,并且实体名称识别可以配置为识别句子中的实体名称并确定识别的实体名称的类型。自然语言理解部分111b可以利用实体名称识别从句子中提取重要关键字并识别句子的含义。

自然语言理解部分111b可以分析存在于话语中的言语行为。言语行为分析可以配置为识别用户话语的意图,例如,用户是否询问问题,用户是否进行请求,用户是否回应或者用户是否简单地表达情绪。

自然语言理解部分111b提取与用户的话语意图相对应的动作。自然语言理解部分111b可以基于诸如域、实体名称和言语行为的信息来识别用户的话语的意图,并提取与话语相对应的动作。动作可以由对象和操作者定义。

自然语言理解部分111b可以提取与动作执行相关的参数。与动作执行相关的参数可以是动作执行直接需要的有效参数,或者是用于提取有效参数的无效参数。

例如,当用户的话语是“我们去首尔站吧”时,自然语言理解部分111b可以提取“导航”作为与话语相对应的域,并且提取“路线引导”作为动作,其中,言语行为与“请求”相对应。

实体名称“首尔站”可以对应于与动作执行相关的[参数:目的地],但是可能需要站点的特定出口号码或gps信息来经由导航系统实际地引导路线。在这种情况下,由自然语言理解部分111b提取的[参数:目的地:首尔站]可以是用于在多个首尔站poi中搜索用户实际期望的“首尔站”的候选参数。

自然语言理解部分111b可以提取配置为表达词语之间或句子之间的关系的工具,例如,语法树。

可以将自然语言理解部分111b的处理结果发送到对话输入管理器111c,自然语言理解部分111b的处理结果包括形态分析结果、域信息、动作信息、言语行为信息、提取的参数信息、实体名称信息和语法树。

语境信息处理器112可以包括语境信息收集器112a、语境信息收集管理器112b和语境理解部分112c,所述语境信息收集器112a收集来自除语音之外的信息输入装置220和车辆控制器240的信息;所述语境信息收集管理器112b管理语境信息的收集;所述语境理解部分112c基于自然语言理解的结果和收集到的语境信息来理解语境。

输入处理器110可以包括存储器和处理器,在所述存储器中,存储用于执行上述操作和稍后描述的操作的程序;所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器,并且当设置多个存储器和处理器时,它们可以集成在一个芯片上或物理上分开。

存在于输入处理器110中的语音输入处理器111和语境信息处理器112可以由同一个处理器和存储器实现,或者可以由单独的处理器和存储器实现。

在下文中,将参考图19a和图19b详细描述输入处理器110的组件利用存储在储存装置140中的信息来处理输入数据的方法。

参照图19a,自然语言理解部分111b可以利用域/动作推断规则db141进行域提取、实体识别、言语行为分析和动作提取。

在域/动作推断规则db141中,可以存储域提取规则、言语行为分析规则、实体名称转换规则、动作提取规则。

诸如除语音之外的用户输入、车辆状态信息、行驶环境信息和用户信息的其它信息可以被输入到语境信息收集器112a,然后存储在语境信息db142、长期存储器143或短期存储器144中。

例如,由车辆检测器260检测的原始数据可以分为传感器类型和传感器值,然后存储在语境信息db142中。

在短期存储器144和长期存储器143中,可以存储对用户有意义的数据,其中,所述数据可以包括当前用户状态、用户的偏好和取向,或用于确定用户的偏好和取向的数据。

如上所述,确保持久性并因此可长期使用的信息可以存储在长期存储器143中,其中,该信息可以包括用户的电话簿、日程安排、偏好、教育历史、个性、工作以及与家庭相关的信息。

不能确保持久性或具有不确定性并因此可短期使用的信息可以存储在短期存储器144中,其中,所述信息可以包括当前位置和先前位置、今天的日程安排、先前对话内容、对话参与者、环境、域和驾驶员状态。根据数据类型,在语境信息db142、短期存储器144和长期存储器143中的至少两个储存装置中存储的数据可以一式两份。

此外,在存储在短期存储器144中的信息中,可以将确定为确保持久性的数据发送到长期存储器143。

可以利用存储在短期存储器144和语境信息db142中的信息来获取将要存储在长期存储器143中的信息。例如,可以通过分析存储特定持续时间的目的地信息或对话内容来获取用户的偏好,并且可以将获取的用户的偏好存储在长期存储器143中。

通过利用存储在短期存储器144或语境信息db142中的信息,可以执行获取将要存储在对话系统100中的长期存储器143中或者附加的外部系统中的信息。

可以在结果处理器130的存储器管理器135中执行前一种情况。在这种情况下,在存储在短期存储器144或语境信息db142中的数据中,用于获取有意义信息的数据(例如,用户的偏好或取向或持久信息)可以以日志文件类型存储在长期存储器143中。存储器管理器135可以通过分析存储了超过特定持续时间的数据来获取持久数据,并且将数据重新存储在长期存储器143中。在长期存储器143中,存储持久数据的位置可以与存储以日志文件类型存储的数据的位置不同。

存储器管理器135可以确定存储在短期存储器144中的数据中的持久数据,并将确定的数据移动并存储到长期存储器143中。

当在附加外部系统中执行利用存储在短期存储器144或语境信息db142中的信息获取将要存储在长期存储器143中的信息时,可以利用数据管理系统800,数据管理系统800设置有通信器810、储存装置820和控制器830,如图19b所示。

通信器810可以接收存储在语境信息db142或短期存储器144中的数据。存储的所有数据可以被发送到通信器810,或者可以选择然后发送用于获取有意义信息(例如,用户的偏好或取向或持久信息)的数据。接收到的数据可以存储在储存装置820中。

控制器830可以通过分析存储的数据来获取持久数据,然后经由通信器810将获取到的数据发送到对话系统100。发送的数据可以存储在对话系统100的长期存储器143中。

此外,对话输入管理器111c可以通过将自然语言理解部分111b的输出的结果发送到语境理解部分112c来获取与动作执行相关的语境信息。

通过参考根据语境理解表145中的动作而存储的语境信息,语境理解部分112c可以确定与用户话语的意图相对应的与动作执行相关的语境信息。

图20a和图20b是示出存储在语境理解表中的信息的示例的示意图。

参考图20a的示例,根据每个动作可以将语境信息以及与动作执行相关的语境信息的类型存储在语境理解表145中。

例如,当动作是路线引导时,可能需要当前位置作为语境信息,并且语境信息的类型可以是gps信息。当动作是车辆状态检查时,可能需要行驶距离作为语境信息,并且语境信息的类型可以是整数。当动作是加油站推荐时,可能需要剩余燃料量和剩余燃油可行驶距离(dte)作为语境信息,并且语境信息的类型可以是整数。

当与对应于用户话语的意图的动作执行相关的语境信息预先存储在语境信息db142、长期存储器143或短期存储器144中时,语境理解部分112c可以从语境信息db142、长期存储器143或短期存储器144获取相应的信息,并将该相应的信息发送到对话输入管理器111c。

当与对应于用户话语的意图的动作执行相关的语境信息未存储在语境信息db142、长期存储器143或短期存储器144中时,语境理解部分112c可以向语境信息收集管理器112b请求所需信息。语境信息收集管理器112b可以允许语境信息收集器112a收集所需信息。

语境信息收集器112a可以周期性地收集数据,或仅在特定事件发生时收集数据。此外,语境信息收集器112a可以周期性地收集数据,然后额外地在特定事件发生时收集数据。此外,当接收到来自语境信息收集管理器112b的数据收集请求时,语境信息收集器112a可以收集数据。

语境信息收集器112a可以收集所需信息,然后将该信息存储在语境信息db142或短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。

语境信息收集管理器112b可以将确认信号发送到语境理解部分112c,并且语境理解部分112c可以从长期存储器143或短期存储器144中获取所需信息,然后将信息发送到对话输入管理器111c。

具体地,当与用户的话语的意图相对应的动作是路线引导时,语境理解部分112c可以搜索语境理解表145并且识别出与路线引导相关的语境信息是当前位置。

在当前位置预先存储在短期存储器144中时,语境理解部分112c可以获取当前位置并将当前位置发送到对话输入管理器111c。

在当前位置未存储在短期存储器144中时,语境理解部分112c可以向语境信息收集管理器112b请求当前位置,并且语境信息收集管理器112b可以允许语境信息收集器112a从车辆控制器240获取当前位置。

语境信息收集器112a可以获取当前位置,然后将当前位置存储在短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。语境信息收集管理器112b可以将确认信号发送到语境理解部分112c,并且语境理解部分112c可以从短期存储器144获取当前位置信息,然后将该信息发送到对话输入管理器111c。

对话输入管理器111c可以将自然语言理解部分111b的输出和语境理解部分112c的输出发送到对话管理器120,并且对话输入管理器111c可以设法防止重复的输入进入对话管理器120。此时,自然语言理解部分111b的输出和语境理解部分112c的输出可以组合为一个输出然后发送到对话管理器120,或者独立地发送到对话管理器120。

当语境信息收集管理器112b由于语境信息收集器112a收集到的数据满足预先确定条件而确定出特定事件发生时,语境信息收集管理器112b可以将动作的触发信号发送到语境理解部分112c。

语境理解部分112c可以搜索语境理解表145以搜索与相应事件相关的语境信息,而当搜索的语境信息未存储在语境理解表145中时,语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。

如图20b所示,可以根据每个事件将语境信息和与事件相关的语境信息的类型存储在语境理解表145中。

例如,当生成的事件是发动机温度警告时,可以存储整数形式的发动机温度作为与事件相关的语境信息。当生成的事件是驾驶员疲劳驾驶检测时,可以存储整数形式的驾驶员疲劳驾驶状态作为与事件相关的语境信息。当生成的事件是轮胎气压不足时,可以存储整数形式的轮胎气压作为与事件相关的语境信息。当生成的事件是燃料警告时,可以存储整数形式的剩余燃油可行驶距离(dte)作为与事件相关的语境信息。当生成的事件是传感器错误时,可以存储文本形式的传感器名称作为与事件相关的语境信息。

语境信息收集管理器112b可以经由语境信息收集器112a收集所需的语境信息,并将确认信号发送到语境理解部分112c。语境理解部分112c可以从语境信息db142、长期存储器143或短期存储器144获取所需的语境信息,然后将语境信息与动作信息一起发送到对话输入管理器111c。

对话输入管理器111c可以将语境理解部分112c的输出输入到对话管理器120。

在下文中,将描述在用户的话语输入之前对话系统100自己输出预先发声的情况。

图21是示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制框图,而图22a、图22b和图22c是示出存储在预先发声条件表中的信息的示例的示意图。

参照图21,对话系统100的输入处理器110可以进一步包括预先发声确定器151和重复任务处理器152,所述预先发声确定器151确定是否是预先发声的语境。储存装置140可以进一步包括预先发声条件表145a和任务处理db145b,所述预先发声条件表145a存储预先发声条件。

可以将存储在语境信息db142、长期存储器143和短期存储器144中的数据发送到预先发声确定器151。预先发声确定器151可以分析发送的数据并确定发送的数据是否满足存储在预先发声条件表145a中的预先发声条件。

参考图22a的示例,在预先发声条件表145a中,可以针对每个语境信息存储与语境信息相关的预先发声条件以及当满足相应的预先发声条件时输出的预先发声消息。

当从语境信息db142发送的语境信息满足预先发声条件时,预先发声确定器151可以确定出是预先发声语境,并且生成预先发声的触发信号。

预先发声确定器151可以将预先发声的触发信号以及与对应的预先发声语境相对应的预先发声消息发送到语境理解部分112c。此外,预先发声确定器151可以发送与对应的预先发声语境相关的信息。与对应的预先发声语境相关的信息可以包括稍后描述的与对应的预先发声语境相对应的预先发声条件或者与预先发声语境相对应的动作。

例如,当语境信息与轮胎气压相关并且轮胎气压等于或小于预先确定的参考值时,可以满足预先发声条件。当满足轮胎气压的预先发声条件时,预先发声确定器151可以确定出由轮胎气压不足引起预先发声语境,并且生成预先发声的触发信号。

预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如,在由轮胎气压不足引起的预先发声语境下,可以将指示轮胎气压低的预先发声消息(诸如“轮胎压力太低”)发送到语境理解部分112c。

此外,当语境信息与发动机温度相关并且发动机温度等于或高于预先确定的参考值时,可以满足预先发声条件。当满足发动机温度的预先发声条件时,预先发声确定器151可以确定出由发动机温度的异常引起预先发声语境,并且生成预先发声的触发信号。

预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如,在由发动机温度的异常引起的预先发声语境下,可以将指示发动机过热的预先发声消息(例如“发动机温度太高”)发送到语境理解部分112c。

此外,当语境信息与汽油的剩余量相关并且汽油的剩余量等于或小于预先确定的参考值时,可以满足预先发声条件。当用户利用车辆的导航服务设置目的地时,可以基于从当前位置到目的地的距离来设置预先确定的参考值。在未设置目的地时,可以应用默认值作为参考值。例如,当值小于用于指示燃料不足警告灯的参考值时,该值可以被设置为与剩余汽油量不足相关的预先发声条件的参考值。当满足汽油的剩余量的预先发声条件时,预先发声确定器151可以确定出由汽油的剩余量不足引起预先发声语境,并生成预先发声的触发信号。

预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如,在由汽油的剩余量不足引起的预先发声语境下,可以将指示汽油的剩余量不足的预先发声消息(例如“汽油的剩余量不足以达到目的地”)发送到语境理解部分112c。

然而,图22a中所示的预先发声条件和预先发声消息仅是可以应用于对话系统100的示例。在上述示例中,已经描述了与预先发声语境相对应的预先发声消息是通知当前情况的内容的情况。然而,对话系统100也可能首先建议执行预先发声语境所需的特定功能或服务。

参照图22b,当预先发声语境是由轮胎气压不足或发动机温度异常引起时,可以存储与主动建议维修店预约服务的内容相对应的预先发声消息,例如“您想要预约维修店吗?”。

此外,当预先发声语境是由剩余汽油不足引起时,可以存储与主动建议加油站引导服务的内容相对应的预先发声消息,例如“您想要引导加油站吗?”。

此外,当预先发声语境是由车辆的内部温度引起并且当车辆的内部温度超出预先确定的参考范围时,可以满足预先发声条件。当满足车辆内部温度的预先发声条件时,语境理解部分112c可以确定出由车辆内部温度的异常引起预先发声语境,并生成预先发声的触发信号。

在由车辆内部温度异常引起的预先发声语境下,可以存储与主动建议内部温度控制功能的内容相对应的预先发声消息,例如“您想要操作空调吗?”。

此外,当语境信息与麦克风输入相关并且当麦克风输入值等于或小于预先确定的参考值时,可以满足预先发声条件。当满足麦克风输入的预先发声条件时,语境理解部分112c可以确定出是用于改变情绪的预先发声语境,并且生成预先发声的触发信号。因此,可以存储与主动建议多媒体播放服务的内容相对应的预先发声消息,例如“您想要播放音乐吗?”。

此外,当语境信息与车窗的打开和关闭以及是否正在下雨相关时,并且当车窗打开且正在下雨时,可以满足预先发声条件。当车窗打开并且正在下雨时,语境理解部分112c可以确定出由车窗打开引起预先发声语境,并生成预先发声的触发信号。

在由车窗打开引起的预先发声语境下,可以存储与主动建议车窗关闭功能的内容相对应的预先发声消息,例如“您想要关闭车窗吗?”。

在图22a和图22b的上述示例中,已经描述了在预先发声条件表145a中预先存储的与预先发声语境相对应的预先发声消息的情况。然而,对话系统100的示例不限于此,也可以预先存储与预先发声语境相对应的动作。

如上所述,当输入用户的话语时,自然语言理解部分111b可以参考域/动作推断规则db141来提取与用户的话语相对应的动作。当对话系统100输出预先发声时,可以在每个预先发声语境下预先存储与预先发声语境相对应的动作,如图22c所示。

例如,当预先发声语境是由轮胎气压和发动机温度的异常引起时,可以将“维修店引导”存储为相应的动作,而当预先发声语境是由汽油的剩余量不足引起时,可以将“加油站站引导”存储为相应的动作。

此外,当预先发声语境由车辆内部温度的异常引起时,可以将“空调操作”存储为相应的动作,而当预先发声的语境是用于改变情绪时,可以将“多媒体播放”存储为相应的动作。当预先发声语境是由车窗打开引起时,可以将“车窗的打开和关闭”存储为相应的动作。

如上所述,当预先存储了与预先发声语境相对应的动作时,可以将预先发声的触发信号和与预先发声语境相对应的动作发送到语境理解部分112c,并且对话输入管理器111c可以将预先发声的触发信号和与预先发声语境相对应的动作输入到对话管理器120。在这种情况下,可以在对话管理器120中执行与输入的用户话语的情况相同的操作。

再例如,在预先发声条件表145a中,可以以这样的方式存储预先发声语境:预先发声语境与对应于每个预先发声语境的虚拟用户话语相匹配,并且预先发声确定器151可以生成与预先发声语境相对应的虚拟用户话语。预先发声确定器151可以将存储在预先发声条件表145a中或由预先发声确定器151生成的用户话语以文本类型发送到自然语言理解部分111b。例如,当预先发声语境是由轮胎气压的异常引起时,可以存储或生成虚拟用户话语,诸如“检查轮胎压力”或“引导到维修店”。此外,当预先发声语境是由车辆内部温度的异常引起时,可以存储或生成虚拟用户话语,诸如“打开空调”。

此外,根据移动装置400充当车辆和对话系统100之间的网关的移动网关方法,移动装置400的对话系统客户端470可以执行预先发声确定器151的部分操作。在这种情况下,对话系统客户端470可以生成与预先发声语境相对应的虚拟用户话语,并将虚拟用户话语发送到自然语言理解部分111b。

自然语言理解部分111b可以提取与所发送的虚拟用户话语相对应的域和动作,并将所述域和动作发送到对话输入管理器111c。由自然语言理解部分111b提取的动作可以是与预先发声语境相对应的动作。在与预先发声语境相对应的动作被发送到对话管理器120之后执行的处理可以以与用户首先发声的情况相同的方式执行。

上述语境信息、预先发声条件、预先发声消息和动作仅是应用于对话系统100的实施方案的示例,但是对话系统100的实施方案不限于此。此外,可以存储各种语境信息、预先发声条件、预先发声消息和动作。

当预先发声确定器151将与预先发声的触发信号和预先发声语境相关的信息发送到语境理解部分112c时,语境理解部分112c可以将与预先发声语境相关的信息发送到重复任务处理器152。

重复任务处理器152可以确定是否已经处理了与当前发生的预先发声语境相关的任务,或者该任务是否是重复任务。

在任务处理db145b中,可以存储与已经处理或当前处理的任务相关的信息。例如,可以存储对话历史(包括对话内容和每个对话时间)、车辆状态以及任务是否在对话时间内完成等。此外,可以存储处理的结果和任务处理,诸如利用导航功能而不管对话的路线引导。

具体地,当预先发声语境是由汽油的剩余量不足引起时,重复任务处理器152可以基于存储在任务处理db145b中的信息来确定当前是否处理了加油站引导任务。在当前进行用于加油站引导的对话或当前执行加油站引导动作时,重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务,并且终止该预先发声语境。

此外,当先前输出了用于加油站引导的话语时,并且当存在用户拒绝加油站引导的对话历史时,重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务,并终止该预先发声语境。

此外,在当前处理利用导航功能的加油站引导任务而不管加油站引导的对话历史时,重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务,并终止该预先发声语境。重复任务处理器152可以基于存储在任务处理db145b中的信息识别出当前正在处理利用导航功能的加油站引导任务。

此外,当从执行与汽油的剩余量的引导相关的对话的时间开始没有过去参考时间段时,尽管当前没有执行加油站引导,但是可以假设用户自己开车到加油站。因此,重复任务处理器152可以确定与当前预先发声语境相关的任务是重复任务,并且终止该预先发声语境。

此外,在预先发声语境是用于指示基于存储在长期存储器143中的信息(诸如用户的生日或家庭成员生日)的日程安排的状态下,当存在先前引导的相同的日程安排的对话历史并且从进行相应对话的时间开始没有经过参考时间段时,则重复任务处理器152可以确定与当前预先发声语境相关的任务是重复任务,并且终止该预先发声语境。

也就是说,重复任务处理器152可以基于存储在任务处理db145b中的对话历史来确定先前是否输出了预先发声,以及用户关于预先发声语境的意图。重复任务处理器152可以基于存储的对话时间、用户的意图、车辆状态或任务的完成来确定是否是重复任务。

在重复任务处理器152中,可以存储配置为基于存储在任务处理db145b中的信息来确定是否是重复任务(即,是否终止预先发声语境)的策略。重复任务处理器152可以根据存储的策略确定与当前预先发声语境相关的任务是否是重复任务,并且当确定出是重复任务时,重复任务处理器152可以终止预先发声语境。

在上述示例中,已经描述了对话系统100包括预先发声确定器151、重复任务处理器152、预先发声条件表145a和任务处理db145b的情况。

然而,对话系统100的示例不限于此,因此可以利用图19a和图19b所示的组件来执行上述组件的操作。

例如,语境理解部分112c可以执行与确定是否满足预先发声条件相对应的预先发声确定器151的操作,以及与处理重复任务相对应的重复任务处理器152的操作。

存储在预先发声条件表145a中的信息可以存储在语境理解表145中,存储在任务处理db145b中的信息可以存储在稍后描述的对话和动作状态db147中。

图23是详细示出对话管理器的配置的控制框图,图24是示出存储在关系动作db中的信息的示例的示意图,图25是示出存储在动作执行条件db中的信息的示例的示意图,而图26是示出存储在动作参数db中的信息的示例的示意图。

参照图23,对话管理器120可以包括对话流管理器121、对话动作管理器122、模糊解算器123、参数管理器124、动作优先级确定器125和外部信息管理器126,所述对话流管理器121请求生成、删除和更新对话或动作;所述对话动作管理器122根据对话流管理器121的请求来生成、删除和更新对话或动作;所述模糊解算器123通过解算语境的模糊和对话的模糊来明确用户的意图;所述参数管理器124管理动作执行所需的参数;所述动作优先级确定器125确定多个候选动作的动作是否可执行;所述外部信息管理器126管理外部内容列表和相关信息,并管理外部内容查询的参数信息。

对话管理器120可以包括存储器和处理器,所述存储器存储用于执行上述操作和稍后描述的操作的程序;所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器,并且当设置多个存储器和处理器时,它们可以集成在一个芯片上或物理上分开。

存在于对话管理器120中的每个组件可以由同一个处理器实现,或者可以由单独的处理器实现。

此外,对话管理器120和输入处理器110可以由同一个处理器实现,或者可以由单独的处理器实现。

当输入用户话语时或者当将与预先发声语境匹配的用户话语被发送到自然语言理解部分111b时,对话输入管理器111c可以将自然语言理解的结果(自然语言理解部分的输出)和语境信息(语境理解部分的输出)发送到对话流管理器121。此外,当出现预先发声语境时,对话输入管理器111c可以发送预先发声的触发信号。

自然语言理解部分111b的输出可以包括与用户的话语内容相关的信息(例如形态分析结果)以及信息(例如域和动作)。语境理解部分112c的输出可以包括由语境信息收集管理器112b确定的事件以及语境信息。

对话流管理器121可以在对话和动作状态db147中搜索是否存在与对话输入管理器111c的输入相对应的对话任务或动作任务。

对话和动作状态db147可以是用于管理对话状态和动作状态的存储空间,因此对话和动作状态db147可以存储当前正在进行的对话和动作,以及待处理的对话状态和与初步动作相关的动作状态。例如,对话和动作状态db147可以存储与完成的对话和动作,停止的对话和动作,正在进行的对话和动作以及待处理的对话和动作相关的状态。

对话和动作状态db147可以存储与是否切换和嵌套动作、切换动作索引、动作改变时间和屏幕/语音/指令相关的最后的输出状态。

例如,在提取与用户话语相对应的域和动作的情况下,当在最近存储的对话中存在与相应的域和动作相对应的对话和动作时,对话和动作状态db147可以将该对话和动作确定为与来自对话输入管理器111c的输入相对应的对话任务或动作任务。

当未提取到与用户话语相对应的域和动作时,对话和动作状态db147可以生成随机任务或请求对话动作管理器122引用最近存储的任务。

当对话和动作状态db147中不存在与输入处理器110的输入相对应的对话任务或动作任务时,对话流管理器121可以请求对话动作管理器122生成新的对话任务或动作任务。

此外,当从输入处理器110发送预先发声的触发信号时,尽管存在当前执行的对话任务或动作任务,但是可以暂时停止该对话任务或动作任务,并且可以首先生成与预先发声语境相对应的对话任务或动作任务。此外,可以根据建立的规则选择优先级。

当从对话输入管理器111c输入预先发声的触发信号和与预先发声的触发信号相对应的动作时,对话流管理器121可以以与从用户话语获取动作的情况相同的方式请求对话动作管理器122生成新的对话任务或动作任务。

此外,当从对话输入管理器111c输入预先发声的触发信号和与预先发声的触发信号相对应的预先发声消息时,对话流管理器121可以请求对话动作管理器122生成用于输出输入的预先发声消息的新的对话任务或动作任务。

当对话流管理器121管理对话流时,对话流管理器121可以参考对话策略db148。对话策略db148可以存储继续对话的策略,其中,策略可以表示用于选择、开始、建议、停止和终止对话的策略。

此外,对话策略db148可以存储系统输出响应的时间点以及关于方法学的策略。对话策略db148可以通过连接多个服务存储用于生成响应的策略,并且可以存储用于删除先前动作并用另一个动作替换先前动作的策略。

例如,可以允许两个策略,其中,这两个策略可以包括一次生成针对两个动作的响应的策略(例如,“在执行a动作之后是否需要执行b动作?”),以及在生成针对一个动作的响应之后生成针对另一动作的单独响应的策略(例如,“a动作已执行”,“您是否要执行b动作?”)。

对话和动作状态db147可以存储用于确定候选动作中的优先级的策略。稍后将描述优先级确定策略。

对话动作管理器122可以给对话和动作状态db147指定存储空间,并生成与输入处理器110的输出相对应的对话任务和动作任务。

当不能从用户的话语中提取域和动作时,对话动作管理器122可以生成随机对话状态。在这种情况下,如稍后所述,模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图,并确定适合于用户意图的动作。

当对话和动作状态db147中存在与输入处理器110的输出相对应的对话任务或动作任务时,对话流管理器121可以请求对话动作管理器122参考对应的对话任务或动作任务。

动作优先级确定器125可以搜索关系动作db146b以搜索与输入处理器110的输出中包含的动作或事件相关的动作列表,然后动作优先级确定器125可以提取候选动作。如图24所示,关系动作db146b可以指示彼此相关的动作、动作之间的关系、与事件相关的动作以及事件之间的关系。例如,路线引导、车辆状态检查和加油站推荐可以被分为关系动作,并且其中的关系可以对应于关联。

因此,当执行路线引导时,可以一起执行车辆状态检查和加油站推荐。在这种情况下,“一起执行”可以包括在路线引导之前或之后执行车辆状态检查和加油站推荐的情况以及在路线引导期间执行车辆状态检查和加油站推荐的情况(例如,添加作为中途停留)。

警告灯输出事件可以存储为与维修店引导动作相关的事件动作,并且它们之间的关系可以对应于关联。

当警告灯输出事件发生时,可以根据警告灯类型或是否需要维修来执行维修店引导动作。

当输入处理器110将与用户的话语相对应的动作与由语境信息收集管理器112b确定的事件一起发送时,与对应于用户的话语动作相关的动作和与事件相关的动作可以成为候选动作。

可以将提取的候选动作列表发送到对话动作管理器122,并且对话动作管理器122可以通过添加候选动作列表来更新对话和动作状态db147的动作状态。

动作优先级确定器125可以在动作执行条件db146c中搜索执行每个候选动作的条件。

如图25所示,动作执行条件db146c可以根据每个动作存储执行动作所需的条件,以及确定是否满足相应条件的参数。

例如,用于车辆状态检查的执行条件可以是目的地距离等于或大于100km的情况,其中用于确定条件的参数可以与目的地距离相对应。加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(dte)的情况,其中用于确定条件的参数可以与目的地距离和剩余燃油可行驶距离(dte)相对应。

动作优先级确定器125可以将候选动作的执行条件发送到对话动作管理器122,并且对话动作管理器122可以根据每个候选动作添加执行条件并更新对话和动作状态db147的动作状态。

动作优先级确定器125可以在语境信息db142、长期存储器143、短期存储器144或者对话和动作状态db147中搜索确定动作执行条件所需的参数(下文中称为条件确定参数),并利用搜索到的参数确定是否可以执行候选动作。

当用于确定动作执行条件的参数未存储在语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147中时,动作优先级确定器125可以经由外部信息管理器126从外部内容服务器300获取所需参数。

动作优先级确定器125可以利用用于确定动作执行条件的参数来确定是否可以执行候选动作。此外,动作优先级确定器125可以基于是否执行存储在对话策略db148中的候选动作和优先级确定规则来确定候选动作的优先级。

可以根据当前情况计算每个候选动作的分数。可以将更高的优先级给予计算的分数更高的候选动作。例如,与以下参数相对应的动作可以用作计算分数的参数:用户话语动作、安全分数、便利性分数、处理时间、处理时间点(是否立即处理)、用户偏好(用户在建议服务时的接受水平或由用户预先确定的偏好)、管理员分数、与车辆状态相关的分数以及动作成功率(对话成功率),如下面的公式1所示。w1、w2、w3、w4、w5、w6、w7、w8和w9表示每个参数的权重值。

[公式1]

优先级分数=w1×用户话语动作+w2×安全分数+w3×便利性分数+w4×处理时间+w5×处理时间点+w6×用户偏好+w7×管理员分数+w8×与车辆状态相关的分数+w9×动作成功率×动作执行的可能性(1:可能,尚未知,0:不可能)×动作完成状态(完成:1,未完成:0)。

如上所述,动作优先级确定器125可以通过搜索直接与用户的话语、语境信息关联的动作以及与其相关的动作列表,并通过确定它们之间的优先级来向用户提供最需要的服务。

动作优先级确定器125可以将候选动作执行的可能性和优先级发送到对话动作管理器122,并且对话动作管理器122可以通过添加发送的信息来更新对话和动作状态db147的动作状态。

参数管理器124可以在动作参数db146a中搜索用于执行每个候选动作的参数(下文中称为动作参数)。

如图26所示,动作参数db146a可以根据每个动作存储必要参数、替代参数、参数的初始值和用于获取参数的参考位置。在存储了参数的初始值的状态下,当在用户的话语和从输入处理器110输出的语境信息中不存在与相应参数相对应的参数值时,并且当在语境信息db142中不存在参数值时,可以根据存储的初始值执行动作,或者可以向用户确认是否根据存储的初始值执行动作。

例如,用于路线引导的必要参数可以包括当前位置和目的地,并且替代参数可以包括路线类型。可以将替代参数的初始值存储为快速路线。可以通过按顺序搜索对话和动作状态db147、语境信息db142、短期存储器144或长期存储器143来获取当前位置和目的地。

用于车辆状态检查的必要参数可以包括车辆状态信息,并且替代参数可以包括待检查的部分(下文中称为“检查部分”)。可以将整个部分存储为替代参数的初始值。可以从语境信息db142获取车辆状态信息。

加油站推荐的替代参数可以包括喜欢的加油站,并且“a油”可以存储为替代参数的初始值。可以从长期存储器143获取喜欢的加油站。替代参数可以进一步包括车辆的燃料类型和燃料价格。

如上所述,参数管理器124可以从对应的参考位置获取在动作参数db146a中搜索到的参数的参数值。引入参数值的参考位置可以是语境信息db142、短期存储器144或长期存储器143、对话和动作状态db147和外部内容服务器300中的至少一个。

参数管理器124可以通过外部信息管理器126从外部内容服务器300获取参数值。外部信息管理器126可以通过参考外部服务集合db146d来确定从哪里获取信息。

外部服务集合db146d可以存储与连接到对话系统100的外部内容服务器相关的信息。例如,外部服务集合体db146d可以存储外部服务名称、关于外部服务的说明、从外部服务提供的信息的类型、外部服务使用方法以及提供外部服务的主题。

由参数管理器124获取的初始值可以被发送到对话动作管理器122,对话动作管理器122可以通过将候选动作的初始值添加到动作状态来更新对话和动作状态db147。

参数管理器124可以获取所有候选动作的初始值,或者参数管理器124可以仅获取由动作优先级确定器125确定为可执行的候选动作的初始值。

参数管理器124可以选择性地利用指示相同信息的不同类型的初始值中的初始值。例如,通过导航系统使用目的地搜索服务,可以将指示目的地并且为文本形式的“首尔站”转换为poi的形式的“首尔站”。

当对话和语境中不存在模糊时,根据动作优先级确定器125、参数管理器124和外部信息管理器126的上述操作可以获取所需信息并管理对话和动作。当在对话和语境中存在模糊时,可能难以仅利用动作优先级确定器125、参数管理器124和外部信息管理器126的操作来提供用户所需的服务。

在这种情况下,模糊解算器123可以处理对话中或语境中的模糊。例如,当对话中包含指代(例如,那个人、昨天的那个地方、父亲、母亲、祖母和儿媳)时,因为指代代表的人或物是不清楚的,所以可能存在模糊。在这种情况下,模糊解算器123可以通过参考语境信息db142、长期存储器143或短期存储器144来解算模糊,或者提供解算模糊的引导。

例如,“昨天的那个地方”、“房子附近的市场”和“我昨天去过的首尔站”中包含的模糊的词语可以与动作参数的参数值相对应或条件确定参数的参数值相对应。然而,在这种情况下,由于词语的模糊,不能通过利用相应的词语来执行实际动作或确定动作执行条件。

模糊解算器123可以通过参考存储在语境信息db142、长期存储器143或短期存储器144中的信息来解算初始值的模糊。根据需要,模糊解算器123可以通过利用外部信息管理器126从外部内容服务器300获取所需信息。

例如,模糊解算器123可以通过参考短期存储器144来搜索用户昨天去过的地方,以便将“昨天的那个地方”转换为路线引导动作的目的地的可用信息。模糊解算器123可以通过参考长期存储器143来搜索用户的房屋地址,并且从外部内容服务器300获取与用户的房屋地址附近的a市场相关的位置信息。因此,模糊解算器123可以将“房屋附近的市场”转换为路线引导动作的目的地的可用信息。

当输入处理器110没有清楚地提取动作(对象和操作者)时或者当用户的意图不清楚时,模糊解算器123可以通过参考模糊解算信息db146e来识别用户的意图,并确定与所识别的意图相对应的动作。

图27是示出存储在模糊解算信息db中的信息的示例的表格。

基于车辆状态信息和周围环境信息,模糊解算信息db146e可以将话语与对应于话语的动作相匹配,然后存储话语和动作。存储在模糊解算信息db146e中的话语可以是不能通过自然语言理解提取动作的话语。图27示出了根据形态分析结果的话语内容是手极冷或手冷的情况。

周围环境信息可以包括车辆的外部温度以及是否正在下雨,而车辆状态信息可以包括空调和加热器的开/关、空调的风量和风向,以及方向盘电热电热丝的开/关。

具体地,在下雨的同时外部温度超过20度的状态下,当空调开启(on)时,可以识别出空调温度设置较低,因此“把空调温度提高3度”可以存储为与其对应的车辆控制动作。

在下雨的同时室外温度超过20度的状态下,当空调关闭(off)时,可以识别出用户因下雨而感到寒冷,因此“开启加热器”可以存储为与其对应的车辆控制动作。

在没有下雨的同时外部温度超过20度的状态下,当空调开启(on)并且空调的风向是向上时,可以识别出手因空调的风直接影响手而极冷,因此“将空调的风向改变为向下”可以存储为与其对应的车辆控制动作。

在没有下雨的同时外部温度超过20度的状态下,当空调开启(on),空调的风向为向下,并且风量设置为比中档大时,可以识别出用户因空调的风量过大而感到寒冷,因此“降低空调的风量”可以存储为与其对应的车辆控制动作。

在没有下雨的同时外部温度超过20度的状态下,当空调开启(on),空调的风向为向下,并且风量设置为弱时,“将空调温度提高3度”可以存储为与其对应的车辆控制动作。

在外部温度低于20度的状态下,当加热器关闭(off)时,可以识别出手因寒冷天气而极冷,因此“打开加热器”可以存储为与其对应的车辆控制动作。

在外部温度低于20度的状态下,当加热器开启(on)并且方向盘电热丝关闭时,可以识别出手因热空气不会传递到手上而极冷,因此“开启方向盘电热丝”可以存储为与其对应的车辆控制动作。

在外部温度低于20度的状态下,当加热器和方向盘电热丝开启(on)并且加热器的风向是向下时,可以识别出手因加热器的风不会传递到手上而极冷,因此“将加热器的风向改变为双向”可以存储为与其对应的车辆控制动作。

在外部温度低于20度,加热器和方向盘电热丝开启(on),加热器的风向为向上的状态下,当加热器温度设置为低于最高时,“提高加热器的温度”可以存储为与其对应的车辆控制动作。

在外部温度低于20度,加热器和方向盘电热丝开启(on),加热器的风向为向上,并且加热器温度设置为最高的状态下,当加热器的风量未设置为最高时,“提高加热器的风量”可以存储为与其对应的车辆控制动作。

在外部温度低于20度,加热器和方向盘电热丝开启(on),加热器的风向为向上,并且加热器温度和加热器的风量设置为最高的状态下,当座椅电热丝关闭时,“打开座椅电热丝”可以存储为与其对应的车辆控制动作。

在外部温度低于20度,加热器和方向盘电热丝开启(on),加热器的风向为向上,并且加热器温度和加热器的风量设置为最高的状态下,当座椅电热丝开启时,“通知:等待一段时间,因为加热器现在处于完全工作状态”可以存储为与其对应的车辆控制动作。

图28a和图28b是示出由于模糊解算器通过参考模糊解算信息db并提取动作来解算模糊而执行车辆控制的各种示例的表格。

例如,如图28a和图28b所示,在根据形态分析结果的话语内容是手极冷或手冷的状态下,当周围环境是夏天,车辆状态是空调的风向是乘客头部的上方(向上),空调设置温度为19度,并且空调的风量是高档时,可以识别出手因空调的风是指向手而极冷。可以将用于在将风向改变到脚侧(向下)的同时降低风量强度的空调控制动作提取为与话语相对应的动作,并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中,当周围环境是冬天,车辆状态为空调的风向是乘客的脚,空调设置温度是25度,并且空调的风量是在高档时,可以识别出手因热空气不会传递到手上而极冷。可以提取“开启方向盘电热丝”的动作作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在根据形态分析结果的话语内容是“闷热”的状态下,当车速为30km或更小并且前后间距小于30cm时,可以识别出闷热是由交通繁忙引起的。因此,可以提取“在路线引导动作中改变路线选项(快速路线引导)”、“播放多媒体内容,例如音乐”或“开启聊天功能”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在根据形态分析结果的话语内容是“困倦”的状态下,当车辆状态是内部空气模式时,可以识别出困倦是由缺乏空气循环引起的。因此,可以提取“改变为外部空气模式”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当车辆状态是外部空气模式并且加热器开启(on)时,可以识别出困倦是由加热器排放的热空气引起的。可以提取“打开车窗”作为与话语相对应的动作,并且可以根据提取提取的动作控制车辆。

在根据形态分析结果的话语内容是“出汗”或“热”的状态下,当周围环境是冬天并且加热器开启(on)时,可以识别出热是由加热器排放的热空气引起的。因此,“降低加热器温度”或“减小风量”可以存储为与话语相对应的动作。

在具有相同内容的话语中,当周围环境是冬天并且当加热器关闭(off)时,可以识别出热是由用户的体热引起的。因此,可以提取“打开车窗”或“建议打开车窗”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且当空调关闭(off)时,可以识别出热是由车辆的内部温度升高引起的。因此,可以提取“打开空调”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且当空调开启(on)时,可以识别出热是由空调温度设置的高引起的。因此,可以提取“降低空调温度”或“增加空调的风量”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在根据形态分析结果的话语内容是“冷”的状态下,当周围环境是夏天并且当空调开启(on)时,可以识别出冷是由空调温度设置的过低或由空调的风过强引起的。因此,可以提取“提高空调温度”或“减小风量”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且当空调关闭(off)时,可以识别出冷是由用户的身体状况引起的。可以提取“加热器工作”或“检查用户的生物节律”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是冬天并且加热器开启(on)时,可以识别出冷是由加热器温度设置的低或风量弱引起的。因此,可以提取“提高加热器温度”或“增加风量”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是冬天并且加热器关闭(off)时,可以识别出冷是由加热器不工作引起的。可以提取“加热器工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在根据形态分析结果的话语内容是“头痛”的状态下,当周围环境是冬天并且加热器开启(on)时,可以识别出头痛是由缺乏空气循环引起的。因此,可以提取“改变为外部空气模式”或“打开车窗”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是冬天并且加热器关闭(off)时,可以识别出头痛是由寒冷引起的。可以提取“加热器工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且空调关闭(off)时,可以识别出头痛是由热引起的。可以提取“空调工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且空调打开(on)时,可以识别出头痛是由空调引起的。可以提取“改变空调的风向或风量”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在根据形态分析结果的话语内容是“不舒服”的状态下,当周围环境是冬天并且正在下雨时,可以识别出不舒服是由高湿度引起的。因此,可以提取“除雾功能工作”或“除湿功能工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且没有下雨时,可以识别出不舒服是由季节特征和热引起的。因此,可以提取“让空调以最低温度工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

在具有相同内容的话语中,当周围环境是夏天并且正在下雨时,可以识别出不舒服是由热和高湿度引起的。因此,可以提取“让空调以除湿模式工作”作为与话语相对应的动作,并且可以根据提取的动作控制车辆。

根据上述模糊解算器123的操作,尽管在用户的话语或情况中存在模糊,但是通过整体考虑用户的话语与周围环境信息和车辆状态信息,模糊解算器123可以精确地识别用户实际期望的动作或者用户实际需要的动作,并提供期望的动作和需要的动作。

与模糊解算器123确定的动作相关的信息可以被发送到对话动作管理器122,并且对话动作管理器122可以基于发送的信息更新对话和动作状态db147。

如上所述,动作优先级确定器125和参数管理器124可以确定关于由模糊解算器123确定的动作的动作执行条件,确定其优先级并获取参数值。

当获取了用于执行每个动作的参数值的所有值(其中,所述值是通过当前语境和对话获取的)时,对话动作管理器122可以向对话流管理器121发送信号。

当由于对话和动作状态db147、外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在用于动作执行和条件确定的必要参数,而要通过用户获取所述必要参数值时,结果处理器130可以生成向用户询问参数值的对话的响应。

对话流管理器121可以将与对应于第一优先级动作的动作相关的信息和对话状态发送到结果处理器130。此外,对话流管理器121可以根据对话策略发送与多个候选动作相关的信息。

当对话系统100输出预先发声时(即,由输入处理器110生成预先发声的触发信号时),从结果处理器130发送的对话状态可以包括预先发声的触发信号。然而,不要求预先发声的触发信号存在于对话状态中,而是只要是指示预先发声语境的任何类型的信息都可以存在于对话状态中。当指示预先发声语境的信息存在于对话状态中时,相比于其它类型的响应,结果处理器130可以首先输出对话响应,或者一起输出对话响应与其它类型响应。

在对话系统100输出预先发声的状态下,当从对话输入管理器111c输入与预先发声语境相对应的预先发声消息时,可以在没有上述模糊解算方案、参数管理和动作优先级确定的过程的情况下,将预先发声消息发送给结果处理器130。

在对话系统100输出预先发声的状态下,当从对话输入管理器111c输入与预先发声语境相对应的动作时,可以在有或没有上述模糊解算方案、参数管理和动作优先级确定的过程的情况下,将预先发声消息发送给结果处理器130。

图29是详细示出结果处理器的配置的控制框图。

参照图29,结果处理器130可以包括响应生成管理器131、对话响应生成器132、输出管理器133、服务编辑器134、存储器管理器135和指令生成器136,所述响应生成管理器131管理执行从对话管理器120输入的动作所需的响应的生成;所述对话响应生成器132根据响应生成管理器131的请求来生成文本、图像或音频类型的响应;所述指令生成器136根据响应生成管理器131的请求,利用外部内容生成用于车辆控制或提供服务的指令;所述服务编辑器134连续地或间歇地执行多个服务并收集其结果以提供用户期望的服务;所述输出管理器133输出生成的文本类型的响应、图像类型的响应或音频类型的响应,输出由指令生成器136生成的指令,或者当输出为多个时确定输出的顺序;存储器管理器135基于响应生成管理器131和输出管理器133的输出来管理长期存储器143和短期存储器144。

结果处理器130可以包括存储器和处理器,在所述存储器中存储用于执行上述操作和稍后描述的操作的程序;所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器,并且当设置多个存储器和处理器时,它们可以集成在单个芯片上或物理上分开。

存在于结果处理器130中的每个组件可以由同一个处理器实现,或者可以由单独的处理器实现。

此外,结果处理器130、对话管理器120和输入处理器110可以由同一个处理器实现,或者可以由单独的处理器实现。

通过与用户的话语或语境相对应而输出的响应可以包括对话响应、车辆控制和提供外部内容。对话响应可以包括初始对话、问题和包括信息的答案。对话响应可以作为数据库存储在响应模板149中。

响应生成管理器131可以请求对话响应生成器132和指令生成器136生成执行动作所需的响应,该动作由对话管理器120确定。为此,响应生成管理器131可以将与要执行的动作相关的信息发送到对话响应生成器132和指令生成器136,其中,与要执行的动作相关的信息可以包括动作名称和参数值。当生成响应时,对话响应生成器132和指令生成器136可以参考当前对话状态和动作状态。

对话响应生成器132可以通过搜索响应模板149来提取对话响应模板,并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。当不从对话管理器120发送生成对话响应所需的参数值时或者当发送利用外部内容的介绍时,对话响应生成器132可以从外部内容服务器300接收参数值或者搜索长期存储器143、短期存储器144或语境信息db142。

例如,当对话管理器120确定的动作与路线引导相对应时,对话响应生成器132可以搜索响应模板149,然后提取对话响应模板“从[当前位置:-]到[目的地:-]将历时[持续时间:-]。开始引导?”。

可以从对话管理器120发送对话响应模板中需要填充的参数中的[当前位置]和[目的地],而可以不发送[持续时间]的参数值。在这种情况下,对话响应生成器132可以向外部内容服务器300请求从[当前位置]到[目的地]的持续时间。

当对用户话语或语境的响应包括车辆控制或提供外部内容时,指令生成器136可以生成执行车辆控制或提供外部内容的指令。例如,当由对话管理器120确定的动作是控制空调装置、车窗和avn时,指令生成器136可以生成执行控制的指令,然后将指令发送到响应生成管理器131。

当由对话管理器120确定的动作需要提供外部内容时,指令生成器136可以生成从外部内容服务器300接收相应内容的指令,然后将指令发送到响应生成管理器131。

当指令生成器136提供多个指令时,服务编辑器134可以确定执行多个指令的方法和指令,并将该方法和指令发送到响应生成管理器131。

响应生成管理器131可以将从对话响应生成器132、指令生成器136或服务编辑器134发送的响应发送到输出管理器133。

输出管理器133可以确定由对话响应生成器132生成的对话响应的输出时刻、输出序列和输出位置以及由指令生成器136生成的指令。

输出管理器133可以通过以下方式输出响应:将由对话响应生成器132生成的对话响应和由指令生成器136生成的指令以适当的时刻、适当的顺序发送到适当的输出位置。输出管理器133可以经由扬声器232输出文本到语音(tts)响应,并且经由显示装置231输出文本响应。当输出tts类型的对话响应时,输出管理器133可以利用车辆200中设置的tts模块,或者输出管理器133可以包括tts模块。

根据控制目标,可以将指令发送到车辆控制器240或与外部内容服务器300通信的通信装置280。

响应生成管理器131还可以将从对话响应生成器132、指令生成器136或服务编辑器134发送的响应发送到存储器管理器135。

输出管理器133可以将自己输出的响应发送到存储器管理器135。

存储器管理器135可以基于从响应生成管理器131和输出管理器133发送的内容来管理长期存储器143或短期存储器144。例如,基于生成的和输出的对话响应,存储器管理器135可以通过存储用户和系统之间的对话内容来更新短期存储器144。存储器管理器135可以通过存储与用户相关的信息(该信息通过与用户的对话获取)来更新长期存储器143。

在存储在短期存储器144中的信息中,持久信息(例如,用户的偏好或取向)或用于获取持久信息的信息可以存储在长期存储器143中。

基于与生成的和输出的指令相对应的车辆控制和外部内容请求,可以更新存储在长期存储器143中的用户偏好或车辆控制历史。

同时,在对话系统100在用户输入话语之前输出预先发声的状态下,当从对话输入管理器111c输入与预先发声语境相对应的动作时,接收与动作相关的信息的对话响应生成器132可以通过搜索响应模板149来提取对话响应模板,并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。对话响应可以成为对话系统100的预先发声。

响应生成管理器131可以将从对话响应生成器132发送的对话响应发送到输出管理器133。

输出管理器133可以经由扬声器232输出由对话响应生成器132生成的对话响应。

当结果处理器130从对话流管理器121接收到与预先发声语境相对应的预先发声消息时,输入的预先发声消息可以成为对话响应,并且输入的预先发声消息可以被发送到输出管理器133。

输出管理器133可以经由扬声器232输出发送的预先发声消息。

当在对话系统100输出预先发声之后输入用户话语时,可以执行与用于处理用户话语的操作相同的操作。

根据上述实施方案,对话系统100可以通过考虑车辆内部发生的各种情况来提供最适合用户的服务。在不输入用户的话语的情况下,对话系统100可以基于由自己收集的语境信息或驾驶员信息自己确定用户所需的服务,并主动提供服务。

例如,车辆状态的评价标准可以根据启动车辆时的情况而变化,因此可以主动提供反馈。行驶开始时间可以定义为车辆启动时间、解除电子停车制动器的时间点(epb)或设置导航目的地的时间点。计算驾驶可用分数的车辆状况评价系统可以给予单个装置权重,并根据情况因素改变应用于单个装置的可变权重。当确定出车辆状态存在问题时,可以提供关于单个装置的解决方案,例如维修店引导。

通过考虑车辆启动时的目的地,可以确定车辆是否燃料不足。当燃料不足时,可以执行将用户喜欢的加油站添加为到目的地的路线中的自动中途停留,作为燃料不足的反馈,并且通知用户中途停留的变化。此外,根据用户的响应,可以改变添加为自动中途停留的加油站。

虽然当前的车辆状态并没有指示燃料不足,但是可以通过综合考虑用户的下一个日程安排、主要移动记录和剩余燃料量来主动提供加油站或加油时间。

通过获取与驾驶员的身体状况和睡眠记录相关的信息,可以基于获取的信息有条件地允许车辆启动。例如,当通过识别的身体状况和车辆外部的睡眠记录识别出疲劳驾驶的风险时,可以建议用户不要驾驶车辆。或者,可以根据身体状况或睡眠记录来提供与推荐的驾驶时间相关的信息。

当反复发生指示疲劳驾驶风险的触发时,可以检测疲劳驾驶的风险并根据风险程度输出警告或提供反馈,反馈诸如自动改变路线,即,将路线改变为通往休息区。例如,心率减小的情况、前后间距是参考距离或更大的情况、车速是参考速度或更低的情况,可以通过手动测量驾驶员状态和车辆状态来获取指示疲劳驾驶风险的触发,或者例如,向驾驶员说出问题并测量驾驶员对问题的响应速度的情况,可以通过经由对话进行主动测量来获取指示疲劳驾驶风险的触发。

当用户输入指示情绪的话语时,对话系统100可能无法从用户的话语中提取特定域或动作。然而,对话系统100可以通过利用周围环境信息、车辆状态信息和用户状态信息来识别用户的意图,然后继续对话。如上所述,可以通过模糊解算器123解算用户话语的模糊来执行实施方案。

在下文中,将详细描述利用对话系统100的对话处理的示例。

图30至图42是示出当用户输入与路线引导相关的话语时,对话系统100处理输入、管理对话并输出结果的具体示例的示意图。

如图30所示,当用户输入话语“我们去昨天去过的首尔站吧”时,语音识别器111a可以将用户的语音输出为文本形式的话语(我们去昨天去过的首尔站吧)。

自然语言理解部分111b可以执行形态分析,并通过参考域/动作推断规则db141,根据形态分析结果(昨天/nng、去过/vv、首尔站/nnp、去/vv)输出[域:导航]、[动作:路线引导]、[言语行为:请求]和[参数:nlu:目的地:首尔站],然后将它们输入到对话输入管理器111c。

参照图31,在将自然语言理解部分111b的自然语言理解结果发送到语境理解部分112c的同时,当语境理解部分112c中存在附加信息时,对话输入管理器111c可以请求语境理解部分112c发送附加信息。

语境理解部分112c可以搜索语境理解表145并且提取这样的情况:与[域:导航]和[动作:路线引导]相关的语境信息是当前位置,并且语境信息的类型是gps值。

语境理解部分112c可以通过搜索语境信息db142来提取当前位置的gps值。在当前位置的gps值未存储在语境信息db142中时,语境理解部分112c可以向语境信息收集管理器112b请求当前位置的gps值。

语境信息收集管理器112b可以向语境信息收集器112a发送信号,使得语境信息收集器112a收集当前位置的gps值。语境信息收集器112a可以从车辆控制器240收集当前位置的gps值,然后在向语境信息收集管理器112b发送gps值收集确认信号的同时将当前位置的gps值存储在语境信息db142中。当语境信息收集管理器112b将gps值收集确认信号发送到语境理解部分112c时,语境理解部分112c可以从语境信息db142中提取当前位置的gps值,然后将当前位置的gps值发送到对话输入管理器111c。

对话输入管理器111c可以组合自然语言理解结果:[域:导航]、[动作:路线引导]、[言语行为:请求]、[参数:nlu:目的地:首尔站]和[语境信息:当前位置:仪旺站(gps值)],然后将组合的信息发送到对话管理器120。

参照图32,对话流管理器121可以搜索对话和动作状态db147,并确定是否存在当前正在进行的对话任务或动作任务。此时,对话流管理器121可以参考对话策略db148。根据该实施方案,假设不存在当前正在进行的对话任务或动作任务。

对话流管理器121可以请求对话动作管理器122生成与输入处理器110的输出相对应的动作任务和对话任务。生成动作任务和对话任务可以表示指定用于存储和管理与动作状态和对话状态相关的信息的存储空间。

因此,对话动作管理器122可以指定对话和动作状态db147中的存储空间,以存储与动作状态和对话状态相关的信息。

对话动作管理器122可以将动作状态和对话状态发送到动作优先级确定器125。

动作优先级确定器125可以在关系动作db146b中搜索与路径引导相关的车辆状态检查和加油站推荐。路线引导动作和关系动作可以成为候选动作。

动作优先级确定器125可以根据预先存储的规则确定候选动作的优先级。在确定候选动作的执行条件之前,可以确定优先级,或者,在确定候选动作的执行条件之后,可以仅确定满足执行条件的候选动作的优先级。

候选动作列表可以再次发送到对话动作管理器122,并且对话动作管理器122可以通过添加搜索到的关系动作来更新动作状态。

参照图33,动作优先级确定器125可以在动作执行条件db146c中搜索关于每个候选动作的执行条件或确定执行条件的参数。动作优先级确定器125还可以确定候选动作之间的优先级。

例如,用于车辆状态检查的条件可以是目的地距离等于或大于100km的情况,其中,用于确定条件的参数可以与目的地距离相对应。

用于加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(dte)的情况,其中用于确定条件的参数可以与目的地距离和剩余燃油可行驶距离(dte)相对应。

对话动作管理器122可以通过将用于执行每个候选动作的条件和确定条件所需的参数添加到对话和动作状态db147来更新动作状态。

动作优先级确定器125可以在对话和动作状态db147、语境信息db142、长期存储器143或者短期存储器144中搜索用于确定候选动作是否满足执行条件所需的参数值,并且从对话和动作状态db147、语境信息db142、长期存储器143或短期存储器144中获取参数值。

当参数值存在于先前对话内容中、在与对话内容相关的语境信息中,或者在与生成的事件相关的语境信息中时,动作优先级确定器125可以从对话和动作状态db147获取参数值。

当不允许动作优先级确定器125从对话和动作状态db147、语境信息db142、长期存储器143或短期存储器144获取参数值时,动作优先级确定器125可以向外部信息管理器126请求参数值。

例如,可以从提供导航服务的外部内容服务器300获取目的地距离,并且可以经由外部信息管理器126从语境信息db142获取dte。同时,为了搜索目的地距离,可能需要用于导航服务的正确目的地信息。在该实施方案中,从用户的话语输入的目的地可以与“首尔站”相对应,其中,“首尔站”可以包括具有以“首尔站”开头的名称的各种地方,以及具有特定含义的“首尔站”。因此,仅利用“首尔站”可能难以搜索出正确的目的地距离。

根据需要,可以从连接到车辆200的移动装置400获取参数值。例如,当需要用户信息(例如,未存储在长期存储器143中的联系人和日程安排)作为参数值时,外部信息管理器126可以向移动装置400请求所需信息,然后获取所需的参数值。

当经由储存装置140、外部内容服务器300和移动装置400可能无法获取参数值时,可以通过询问用户来获取所需的参数值。

动作优先级确定器125可以通过利用参数值来确定候选动作的执行条件。由于未搜索出目的地距离,因此可以推迟与车辆状态检查动作和加油站推荐相关的执行条件的确定。

如图34所示,对话动作管理器122可以通过将获取的参数值与是否满足动作执行条件添加到对话和动作状态db147来更新动作状态,是否满足动作执行条件是通过利用对应的参数值确定的。

对话动作管理器122可以向参数管理器124请求用于执行候选动作的参数列表。

参数管理器124可以从动作参数db146a提取当前位置和目的地作为用于执行路线引导动作的必要参数,并提取路线类型(初始值:快速路线)作为替代参数。

参数管理器124可以提取用于执行车辆状态检查动作的检查部分(初始值:整个部分)作为替代参数,并提取喜欢的加油站(初始值:a油)作为用于执行加油站推荐动作的替代参数。

提取的参数列表可以被发送到对话动作管理器122并用于更新动作状态。

参数管理器124可以在对话和动作状态db147、语境信息db142、长期存储器143和短期存储器144中的每个参数的参考位置中搜索对应的参数值,以获取与候选动作的必要参数和替代参数相对应的参数值。当需要经由外部服务提供参数值时,参数管理器124可以经由外部信息管理器126向外部内容服务器300请求所需的参数值。

可以复制用于确定候选动作的执行条件的参数和用于执行候选动作的参数。当由动作优先级确定器125获取然后存储在对话和动作状态db147中的参数值中存在与用于执行候选动作的参数(必要参数和替代参数)相对应的参数时,可以使用对应的参数。

参照图35,对话动作管理器122可以通过添加由参数管理器124获取的参数值来更新动作状态。

如上所述,当利用从用户的话语中提取的目的地(首尔站)作为路线引导动作的参数时,可能存在模糊。因此,可能尚未获取到路线引导动作的参数(目的地)、车辆状态检查动作的参数(目的地距离)以及加油站推荐的参数(目的地距离)。

当[参数:nlu:目的地:首尔站]被转换为适合路线引导行动的目的地参数时,模糊解算器123可以检查是否存在模糊。如上所述,“首尔站”可以包括具有以“首尔站”开头的名称的各种地方,以及具有用户特定含义的“首尔站”。

模糊解算器123可以通过参考形态分析结果确认在用户话语中存在“首尔站”的修饰符。模糊解算器123可以在长期存储器143或短期存储器144中搜索日程安排、移动位置和联系人,以识别“我们昨天去过的首尔站”的位置。

例如,模糊解算器123可以从昨天执行的用户移动位置确认“我们昨天去过的首尔站”是“首尔站出口4”。在确认poi(例如,“首尔站出口4”)存在之后,模糊解算器123可以获取相应的值。

由模糊解算器123获取的目的地信息可以发送到对话动作管理器122,并且对话动作管理器122可以通过将“首尔站出口4”添加到候选动作的目的地参数来更新动作状态。

参数管理器124可以从对话和动作状态db147获取目的地信息(首尔站出口4),并且经由外部信息管理器126向提供导航服务的外部内容服务器300请求目的地距离值。

参照图36,当外部信息管理器126从外部内容服务器300获取到目的地距离值(80km),然后将目的地距离值发送到参数管理器124时,参数管理器124可以将目的地距离值发送到对话动作管理器122以允许更新动作状态。

动作优先级确定器125可以通过参考动作状态来确定候选动作是否是可执行的,并调整候选动作的优先级。由于获取了作为必要参数的当前位置和目的地的参数值,因此可以确定路线引导动作是可执行的。由于目的地距离(70km)小于100km,因此可以确定车辆状态检查动作不可执行。由于目的地距离(80km)大于dte,因此可以确定加油站推荐动作是可执行的。

由于车辆状态检查动作不可执行,因此可以从优先级的确定中排除车辆状态检查动作。因此,路线引导动作可以排序为第一,加油站推荐动作可以排序为第二。

对话动作管理器122可以根据候选动作是否可以执行以及修改的优先级来更新动作状态。

对话流管理器121可以检查存储在对话和动作状态db147中的对话状态和动作状态,并且可以通过参考对话策略db148来开发对话策略以继续对话。例如,对话流管理器121可以在可执行动作中选择最高优先级动作,并且对话流管理器121可以根据对话策略db148请求响应生成管理器131生成用于对话继续进行的响应。

存储在对话和动作状态db147中的对话状态和动作状态可以更新为[状态:确认路线引导开始]。

参照图37,响应生成管理器131可以通过搜索响应模板149来生成tts响应和文本响应。

对话响应生成器132可以生成对话响应,该对话响应配置为以tts形式和文本形式输出“预计从仪旺站到首尔站出口4需要30分钟。您想开始引导吗?”。

响应生成管理器131可以将由对话响应生成器132生成的tts响应和文本响应发送到输出管理器133和存储器管理器135,并且输出管理器133可以将tts响应发送到扬声器232并将文本响应发送到显示装置231。此时,在tts响应通过tts模块(tts模块配置为将文本与语音进行组合)之后,输出管理器133可以将tts响应发送到扬声器232。

存储器管理器135可以在短期存储器144或长期存储器143中存储用户请求路线引导。

配置为询问“预计从仪旺站到首尔站4号出口需要30分钟。您想开始引导吗?”的对话响应可以通过显示装置231和扬声器232输出。如图38所示,当用户说出“是”时,可以将用户的话语输入到语音识别器111a,然后输出为[文本:是],并且自然语言理解部分111b可以输出[域:-]、[动作:-]、[言语行为:-]和[形态分析结果:是/ic]。

可以将自然语言理解结果发送到对话输入管理器111c,并且对话输入管理器111c可以将自然语言理解结果发送到对话管理器120。

参照图39,对话流管理器121可以搜索对话和动作状态db147并分析先前的对话状态。对话流管理器121可以请求对话动作管理器122更新与当前执行的[路线引导]相关的对话/动作。

对话动作管理器122可以将对话状态和动作状态更新为[状态:路线引导开始]。

对话流管理器121可以请求结果处理器130生成用于开始路线引导的响应。

参照图40,对话动作管理器122可以将对话状态更新为[状态:进行下一个对话]并将动作状态更新为[状态:执行]。

对话流管理器121可以请求响应生成管理器131生成用于路线引导的响应。

对话响应生成器132可以生成对话响应,该对话响应配置为以tts形式和文本形式输出“开始路线引导”,然后将对话响应发送到响应生成管理器131。

指令生成器136可以生成用于执行路线引导的指令[目标:导航,指令:路线引导,目的地:首尔站出口4,出发:仪旺站],然后将指令发送到响应生成管理器131。

响应生成管理器131可以将生成的对话响应和指令发送到输出管理器133。输出管理器133可以经由显示装置231和扬声器232输出对话响应。输出管理器133可以经由车辆控制器240将路线引导指令发送到车辆200的avn230,或者发送到提供导航服务的外部内容服务器300。

参照图41,对话流管理器121可以选择加油站推荐作为下一个可执行动作,并请求响应生成管理器131生成响应,该响应配置为询问用户是否推荐加油站。

对话状态和动作状态可以更新为[状态:检查相关的服务推荐]。

响应生成管理器131可以请求对话响应生成器132生成tts响应和文本响应,并且对话响应生成器132可以生成对话响应,该对话响应配置为以tts和文本形式输出“没有足够的燃料到达目的地。您想将a油站添加到中途停留吗?”。对话响应生成器132可以将tts和文本发送到响应生成管理器131。

响应生成管理器131可以将由对话响应生成器132生成的tts响应和文本响应发送到输出管理器133和存储器管理器135,并且输出管理器133可以将tts响应发送到扬声器232并将文本响应发送到显示装置231。

可以通过显示装置231和扬声器232输出配置为询问“没有足够的燃料到达目的地。您想将a油站添加到中途停留吗?”的对话响应。如图42所示,当用户说出“不”时,可以将用户的话语输入到语音识别器111a,然后输出为[文本:不],并且自然语言理解部分111b可以输出[域:-]、[动作:-]、[言语行为:-]和[形态分析结果:不/ic]。

对话流管理器121可以请求对话动作管理器122更新对话状态和动作状态。

对话动作管理器122可以将对话状态更新为[状态:进行下一个对话]并将动作状态更新为[状态:取消]。

对话流管理器121可以请求响应生成管理器131生成指示加油站推荐服务被取消的响应,并且对话流管理器121可以检查是否存在要继续进行的对话。当要继续的对话不存在时,对话流管理器121可以将对话状态更新为[状态:空闲]并等待用户的输入。

上述数据处理流程仅是应用于对话系统100的示例。因此,由对话系统100的每个组件处理数据的顺序不限于上述示例,因此多个组件可以同时处理数据,或者多个组件可以按与上述示例不同的顺序处理数据。

在下文中,根据实施方案,将描述对话处理方法。根据实施方案,对话处理方法可以应用于上述对话系统100或设置有对话系统100的车辆200。因此,将以相同的方式将图1至图42的描述应用于对话处理方法。

图43是示出根据实施方案的对话处理方法中处理用户输入的方法的流程图。处理用户输入的方法可以在对话系统100的输入处理器110中执行。

参照图43,当输入用户的话语时(500的是),语音识别器111a可以识别输入的用户的话语(510)。用户的话语可以被输入到车辆200中设置的语音输入装置210或移动装置400中设置的语音输入装置410。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。

自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语(520)并输出自然语言理解的结果。

具体地,自然语言理解过程(520)可以包括对文本形式的话语进行形态分析(521),基于形态分析结果从话语中提取域(522),识别实体名称(523),分析言语行为(524)并提取动作(525)。

可以通过参考域/动作推断规则db141来执行域的提取,实体名称的识别和动作的提取。

自然语言理解部分111b的输出,即自然语言理解的结果,可以包括与用户的话语相对应的域、动作、言语行为以及形态分析的结果。

可以搜索与提取的动作相关的语境信息(530)。与提取的动作相关的语境信息可以存储在语境理解表145中。语境理解部分112c可以在语境索引表145中搜索与提取的动作相关的语境信息,并且语境信息处理器112可以从语境信息db142、长期存储器143或短期存储器144中获取搜索到的语境信息的信息值。

当需要附加语境信息时(540的是),即,在没有从语境信息db142、长期存储器143或短期存储器144获取到语境信息的情况下,语境理解部分112c可以请求收集相应的语境信息(550)。除语音之外的输入,例如车辆状态信息、周围环境信息和驾驶员信息可以经由语境信息收集器112a输入,这是与用户的话语的输入分开执行的。

信息可以周期性地输入或仅在特定事件发生时输入。此外,信息可以周期性地输入,然后在特定事件发生时额外输入。在任何情况下,当请求收集信息时,都可以主动收集相应的信息。

因此,当已经收集到与动作相关的语境信息时,可以从语境信息db142、长期存储器143或短期存储器144获取相应的信息,否则,可以通过语境信息收集器112a收集相应的信息。

当接收到用于收集语境信息的请求的语境信息收集器112a收集到对应的语境信息并将该信息存储在语境信息db142中时,语境理解部分112c可以从语境信息db142获取对应的语境信息。

当语境信息收集管理器112b由于语境信息收集器112a收集到的数据满足预先确定条件而确定特定事件发生时,语境信息收集管理器112b可以将动作的触发信号发送到语境理解部分112c。

语境理解部分112c可以搜索语境理解表145以搜索与相应事件相关的语境信息,而当搜索的语境信息未存储在语境理解表145中时,语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。

当完成所需语境信息的收集时,可以将自然语言理解的结果和语境信息发送到对话管理器120(560)。当事件发生时,还可以发送与事件相关的信息(发生哪个事件)和与发生的事件相关的语境信息。

图44是示出根据实施方案的对话处理方法中利用输入处理器的输出来管理对话的方法的流程图。对话处理方法可以由对话系统100的对话管理器120执行。

参照图44,对话流管理器121可以在对话和动作状态db147中搜索相关对话历史(600)。

在该实施方案中,已经描述了从用户的话语中提取域和动作的情况作为示例,但是可能存在这样的情况:由于话语内容或语境中存在模糊而不能从用户的话语中提取域和动作。在这种情况下,对话动作管理器122可以生成随机对话状态,并且模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图,并确定适合于用户意图的动作。

当存在相关对话历史时(600的是),可以参考相关对话历史(690)。当不存在相关对话历史时(600的否),可以生成新的对话任务和动作任务(610)。

可以在关系动作db146b中搜索与从用户的话语提取的动作相关的相关动作列表(下文中称为输入的动作),并且可以生成候选动作列表(620)。输入的动作和与输入的动作相关的动作可以与候选动作列表相对应。

可以在动作执行条件db146c中搜索每个候选动作的执行条件(620)。执行条件可以表示执行动作的必要条件。因此,当满足相应条件时,可以确定动作是可执行的,但是当不满足相应条件时,可以确定动作不可执行。在动作执行条件db146c中,还可以存储与用于确定动作执行条件的参数的类型相关的信息。

可以获取用于确定动作执行条件的参数值(640)。用于确定动作执行条件的参数可以称为条件确定参数。可以通过搜索语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147来获取条件确定参数的参数值。当需要经由外部服务来提供条件确定参数的参数值时,可以经由外部信息管理器126从外部内容服务器300提供所需参数值。

当由于语境和话语中的模糊而不能获取所需的参数值时,可以通过利用模糊解算器123解算模糊来获取所需的参数值。

尽管获取的参数是难以确定动作执行条件的无效参数,但是模糊解算器123可以通过无效参数获取有效参数。

基于获取的条件确定参数,可以确定每个候选动作是否可执行(650),并且可以确定候选动作的优先级(660)。可以预先存储用于确定候选动作的优先级的规则。动作优先级确定器125可以在确定每个候选动作是否可执行之后,通过仅考虑可执行的候选动作来确定候选动作的优先级。或者,不管每个候选动作是否可执行,在确定候选动作的优先级之后,可以基于每个候选动作是否可执行来修改候选动作的优先级。

可以在动作参数db146a中搜索用于执行候选动作的参数列表(670)。用于执行候选动作的参数可以与动作参数相对应。动作参数可以包括必要参数和替代参数。

可以获取用于执行候选动作的参数值(680)。可以通过搜索语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147来获取动作参数的参数值。当需要经由外部服务来提供动作参数的参数值时,可以经由外部信息管理器126从外部内容服务器300提供所需参数值。

当由于语境和话语中的模糊而不能获取所需的参数值时,可以通过利用模糊解算器123解算模糊来获取所需的参数值。

尽管获取的参数是难以确定动作执行条件的无效参数,但是模糊解算器123可以通过无效参数获取有效参数。

由对话动作管理器122管理的对话状态和动作状态可以通过上述步骤来执行,并且每当状态改变时,可以更新对话状态和动作状态。

当获取所有可获取的参数值时,对话流管理器121可以将与候选动作和对话状态相关的信息发送到结果处理器130。根据对话策略,对话流管理器121可以发送与对应于第一优先级的动作相关的信息或者与多个候选动作相关的信息。

当由于在外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在所需参数值而仅能通过用户获取所需参数值时,可以输出用于向用户询问参数值的对话响应。

图45是示出根据实施方案的对话处理方法中用于生成与对话管理的结果相对应的响应的结果处理方法的流程图。结果处理方法可以由对话系统100的结果处理器130执行。

参照图45,当需要生成对话响应时(700的是),对话响应生成器132可以搜索响应模板149(710)。对话响应生成器132可以提取与当前对话状态和动作状态相对应的对话响应模板,并用所需参数值填充响应模板,以便生成对话响应(720)。

当没有从对话管理器120发送生成对话响应所需的参数值时或者当发送利用外部内容的介绍时,可以从外部内容服务器300提供所需的参数值或者在长期存储器143、短期存储器144或语境信息db142中进行搜索。当由于外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在所需参数值而仅能通过用户获取所需参数值时,可以生成用于向用户询问参数值的对话响应。

当需要生成指令时(760),指令生成器136可以生成用于车辆控制或外部内容的指令(770)。

生成的对话响应或指令可以被输入到输出管理器133,并且输出管理器133可以确定对话响应与指令之间的输出顺序或多个指令的输出顺序(730)。

可以基于生成的对话响应或指令来更新存储器(740)。基于生成的对话响应或指令,存储器管理器135可以通过存储用户和系统之间的对话内容来更新短期存储器144,并通过存储与用户的对话获取的用户相关的信息来更新长期存储器143。存储器管理器135可以基于生成的并输出的车辆控制和外部内容请求来更新存储在长期存储器143中的用户的偏好和车辆控制历史。

输出管理器133可以通过将对话响应和指令发送到恰当的输出位置来输出响应(750)。可以经由扬声器232输出tts响应,并且可以在显示装置231上输出文本响应。可以根据控制目标将指令发送到车辆控制器240,或者将指令发送到外部内容服务器300。此外,该指令可以被发送到配置为与外部内容服务器300通信的通信装置280。

图46至图48是示出在根据实施方案的对话处理方法中,当对话系统在用户输入话语之前输出预先发声时的情况的流程图。

参照图46,语境信息收集器112a和语境信息收集管理器112b收集语境信息(810)。具体地,车辆控制器240可以将由设置在车辆中的传感器获取的信息(例如,燃料的剩余量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置和行驶环境信息)输入到语境信息处理器112。经由除语音之外的信息输入装置220输入的用户信息和从外部内容服务器300或外部装置获取的信息可以被输入到语境信息处理器112。收集到的语境信息可以存储在语境信息db142、长期存储器143或短期存储器144中。

预先发声确定器151基于语境信息确定预先发声条件(811)。预先发声条件可以存储在预先发声条件表145a中。如图22a至图22c所示,可以针对每个语境信息在预先发声条件表145a中存储与语境信息相关的预先发声条件。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(812的是),预先发声确定器151确定出是预先发声语境,并生成预先发声的触发信号(813)。

预先发声确定器151提取与预先发声语境相对应的动作(814)。如图22c所示,与预先发声语境相对应的动作可以预先存储在预先发声条件表145a中。预先发声确定器151可以从预先发声条件表145a中提取与预先发声语境相对应的动作。此外,预先发声确定器151可以根据建立的规则生成与预先发声语境相对应的动作。

当预先发声确定器151将预先发声的触发信号以及与预先发声语境相对应的动作发送到对话输入管理器111c时,对话输入管理器111c将与预先发声语境相对应的动作发送到对话管理器120(815)。在这种情况下,可以发送预先发声的触发信号和指示预先发声语境的信号。

在将与预先发声语境相对应的动作发送到对话管理器120之后,可以执行一系列处理,例如生成对话任务和动作任务,以及获取动作参数,如图44所示。当其它对话任务或动作任务也在执行时,对话流管理器121可首先生成并处理与预先发声语境相关的任务,或者可以根据建立的规则选择优先级。

当对话管理器120将与首先执行的动作相关的信息发送到结果处理器130时,对话响应生成器132可以通过搜索响应模板149来提取对话响应模板,并通过用参数值填充提取的对话响应模板生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由车辆200或移动装置400中设置的扬声器输出生成的对话响应。

此外,可以按上述同样的方式获取或生成与预先发声语境相对应的预先发声消息。参照图47,语境信息收集器112a和语境信息收集管理器112b收集语境信息(820),并且预先发声确定器151基于语境信息确定预先发声条件(821)。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(822的是),预先发声确定器151确定出是预先发声语境,并生成预先发声的触发信号(823)。

预先发声确定器151提取与预先发声语境相对应的预先发声消息(824)。如图22a和图22b所示,与预先发声语境相对应的预先发声消息可以预先存储在预先发声条件表145a中。预先存储的预先发声消息可以是指示当前语境的内容,或者是建议首先执行预先发声语境所需的特定功能或服务的内容。此外,预先发声确定器151可以根据建立的规则生成预先发声消息。

当预先发声确定器151将预先发声的触发信号和预先发声消息发送到对话输入管理器111c时,对话输入管理器111c可以将预先发声消息发送到对话管理器120(825)。在这种情况下,可以发送预先发声的触发信号和指示预先发声语境的信号。

对话管理器120可以生成用于输出发送的预先发声消息的对话任务,并将对话任务发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预先发声消息。

此外,可以提取与预先发声语境相对应的虚拟用户话语。参照图48,语境信息收集器112a和语境信息收集管理器112b收集语境信息(830),并且预先发声确定器151基于语境信息确定预先发声条件(831)。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(832的是),预先发声确定器151确定出是预先发声语境,并生成预先发声的触发信号(833)。

预先发声确定器151提取与预先发声语境相对应的虚拟用户话语(834)。尽管未在附图中示出,但是与预先发声语境相对应的虚拟用户话语可以预先存储在预先发声条件表145a中。预先发声确定器151可以从预先发声条件表145a中提取与预先发声语境相对应的虚拟用户话语。此外,预先发声确定器151可以根据建立的规则生成与预先发声语境相对应的虚拟用户话语。

当预先发声确定器151以文本形式将虚拟用户话语发送到自然语言理解部分111b时(835),自然语言理解部分111b可以以与用户实际发声的情况相同的方式从虚拟用户话语中提取域和动作。

对话输入管理器111c将预先发声的触发信号和自然语言理解结果发送到对话管理器120(836)。自然语言理解的结果可以包括从虚拟用户话语中提取的域和动作,并且提取的域和动作可以成为预先发声语境相对应的域和动作。

例如,根据移动网关方法,在移动网关方法中移动装置400充当车辆和对话系统100之间的网关,移动装置400的对话系统客户端470可以执行预先发声确定器151的部分操作。在这种情况下,对话系统客户端470可以生成与预先发声语境相对应的虚拟用户话语,并将虚拟用户话语发送到自然语言理解部分111b。

在将预先发声的触发信号和自然语言理解结果发送到对话管理器120之后,可以执行一系列处理,例如生成对话任务和动作任务,以及获取动作参数,如图44所示。当其它对话任务或动作任务也在执行时,对话流管理器121可首先生成并处理与预先发声语境相关的任务,或者可以根据建立的规则选择优先级。

当对话管理器120将与首先执行的动作相关的信息发送到结果处理器130时,对话响应生成器132可以通过搜索响应模板149来提取对话响应模板,并通过用参数值填充提取的对话响应模板生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由车辆200或移动装置400中设置的扬声器输出生成的对话响应。

图49是示出在根据实施方案的对话处理方法中,当对话系统在用户输入话语之前输出预先发声时处理重复任务的流程图。

参照图49,语境信息收集器112a和语境信息收集管理器112b收集语境信息(840),并且预先发声确定器151基于语境信息确定预先发声条件(841)。

预先发声确定器151确定从语境信息db142、长期存储器143或短期存储器发送的语境信息是否满足预先发声条件,并且当语境信息满足预先发声条件时(842的是),重复任务处理器152确定当前发生的与预先发声语境相关的任务是否重复(843)。

具体地,基于存储在任务处理db145b中的与在对话系统100中先前执行或正在执行的任务相关的信息,重复任务处理器152可以确定任务是否已经执行或正在执行,所述任务例如与当前发生的预先发声语境相关的对话和动作。

例如,当与当前发生的预先发声语境相关的对话已经执行时,并且当从对话时间点开始还没有经过参考时间段时,重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务。此外,当与当前的预先发声语境相关的对话和动作正在执行时,重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务。

也就是说,基于存储在任务处理db145b中的对话历史和任务是否执行,重复任务处理器152可以确定预先发声是否已经输出以及用户关于预先发声语的意图。基于存储的对话时间、用户的意图或者是否处理了任务,重复任务处理器152可以确定是否是重复任务。

当识别出与当前的预先发声语境相关的任务是重复任务时(843的是),重复任务处理器152终止预先发声语境。

当确定与当前的预先发声语境相关的任务不是重复任务时(843的否),可以执行如上述实施方案所示的预先发声操作(844)。例如,可以将与预先发声语境相对应的预先发声的触发信号和动作或预先发声消息发送到对话管理器120。此外,可以将与预先发声语境相对应的虚拟用户话语发送到自然语言理解部分111b,并将自然语言理解的结果和预先发声的触发信号发送到对话管理器120。

根据上述实施方案,假设附加组件(诸如预先发声确定器151和重复任务处理器152)和附加储存装置(诸如预先发声条件表145a和任务处理db145b)用于执行预先发声的对话处理方法。然而,对话处理方法的实施方案不限于此,语境理解部分112c也可以执行预先发声确定器151和重复任务处理器152的操作,而存储在预先发声条件表145a和任务处理db145b中的信息也可以存储在语境理解表145中。

根据实施方案的对话处理方法不限于上述流程图中的顺序。根据图41至图49的流程图的流程可以仅是应用于对话处理方法的示例。因此,可以在同时执行多个步骤,还可以改变每个步骤的顺序。

图50是示出根据另一实施方案的对话系统100a以及设置有对话系统的装置的控制框图。该装置可以代表家用电器或终端以及车辆。

在该实施方案中,车辆200a将被描述为设置有对话系统的装置。此外,在根据另一实施方案的车辆和对话系统的组件中,执行与根据实施方案的组件相同的操作的组件具有与根据实施方案的组件相同的附图标记。

根据另一实施方案,车辆200a包括对话系统100a、语音输入装置210、除语音之外的信息输入装置220、对话输出装置230、车辆控制器240a、多个负载251-255、车辆检测器260和通信装置280。

当对话系统100a存在于车辆200a中时,车辆200a可以自己处理与用户的对话并提供用户所需的服务。然而,也可以从外部内容服务器300获取对话处理和提供服务所需的信息。

如上所述,根据另一实施方案的对话系统100a提供适合于车辆环境的对话处理方法。对话系统100a的所有组件或部分组件可以存在于车辆中。对话系统100a可以在远程服务器中设置,并且车辆可以仅用作对话系统100a和用户之间的网关。在任何情况下,对话系统100a可以经由连接至车辆的多个移动装置400a、400b、400c和400d中的至少一个或车辆连接到用户。

对话系统100a可以配置为通过以下方式识别用户的意图和语境:利用通过语音输入装置210输入的用户的语音,通过除语音之外的信息输入装置220输入的除语音之外的另一输入,以及通过车辆控制器240a输入的与车辆相关的各种信息;并且对话系统100a可以输出响应以执行与用户意图相对应的动作。

与车辆相关的各种信息可以包括由车辆200a中设置的各种传感器获取的车辆状态信息或周围环境信息,以及最初存储在车辆200a中的信息,例如车辆200a的燃料类型。

车辆的状态信息可以是设置有对话系统的装置的状态信息,特别是表示装置中设置的负载的各种状态。

对话系统100a可以基于检测到的车辆状态信息和行驶环境信息生成车辆使用模式,并获取与生成的车辆使用模式相对应的通知事件信息。对话系统100a可以确定与获取的通知事件信息相对应的动作,输出与确定的话语相对应的话语,生成与获取的通知事件信息相对应的控制指令,并且将生成的控制指令发送到车辆控制器240a。

稍后将详细描述该对话系统200a。

语音输入装置210可以接收用户控制指令作为车辆200a中的用户的语音。语音输入装置210可以包括麦克风,麦克风配置为接收声音然后将声音转换为电信号。

除语音之外的信息输入装置220接收用户指令中除语音输入之外的指令。

除语音之外的信息输入装置220可以包括用于通过用户的操作接收指令的输入按钮和旋钮中的至少一种。

除语音之外的信息输入装置220可以包括配置为对用户成像的摄像机。在这种情况下,车辆可以通过由摄像机获取的图像接收指令。也就是说,车辆可以识别存在于图像中的用户的手势、表情或视线方向,并且接收识别出的信息作为用户指令。此外,车辆可以通过由摄像机获取的图像识别用户的状态(困倦状态等)。

对话输出装置230是配置为以视觉、听觉或触觉方式向讲话者提供输出的装置。对话输出装置230可以包括车辆200a中设置的显示装置231和扬声器232。

显示装置231和扬声器232可以以视觉或听觉方式输出对用户的话语的响应、关于用户的问题或用户请求的信息。此外,可以通过在方向盘207中安装振动器来输出振动。

车辆控制器240a可以向对话系统100a发送从车辆200a中设置的传感器获取的信息,诸如燃料的剩余量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力和当前位置。

除由车辆200a中设置的传感器获取的数据(即,信息)之外,车辆控制器240a还可以通过通信装置280发送信息,其中,该信息包括行驶环境信息和用户信息,例如,交通状况、天气、温度、乘客信息和驾驶员个人信息,并且该信息是从外部内容服务器300、移动装置400a、400b、400c和400d或外部装置获取的。车辆控制器240a可以将关于车辆的多个功能的功能控制信息发送到对话系统100a。

车辆控制器240a可以将通过车辆到一切(v2x)通信从外部获取的行驶环境信息发送到对话系统100a。

从对话系统100a发送的行驶环境信息可以包括关于前面的交通信息、相邻车辆的访问信息、与另一车辆的碰撞警告、实时交通状况、意外情况和交通流量控制状态。

根据从对话系统100a输出的响应,车辆控制器240a可以控制车辆200a执行与用户的意图或当前状况相对应的动作。也就是说,车辆控制器240a可以接收用于从对话系统100a发送的至少一个功能的控制指令,并且控制至少一个负载的操作以基于接收到的控制指令执行至少一个功能。

该至少一个功能可以包括车窗打开/关闭功能、广播开/关功能、广播频道改变功能、空调开/关功能、空调温度控制功能、座椅加热开/关功能、方向盘电热丝开/关功能、音频开/关功能、音频类型改变功能、音量调节功能以及与移动装置的通信连接功能。

执行至少一个功能的至少一个负载可以包括空调装置251、车窗252、车门253、座椅254的电热丝和avn255,并且可以进一步包括方向盘电热丝、广播和通信装置280。

例如,当对话系统100a确定出用户的意图或用户所需的服务是降低车辆200a内的温度然后生成并输出相应的指令时,车辆控制器240a可以根据接收到的指令通过控制空调251降低车辆200a内的温度。

再例如,当对话系统100a确定出用户的意图或用户所需的服务是引导到特定目的地的路线并且生成和输出相应的指令时,车辆控制器240a可以通过控制avn255来执行路线引导。根据需要,通信装置280可以从外部内容服务器300获取地图数据和poi信息,然后利用该信息提供服务。

车辆控制器240a可以监控能够通信的移动装置400的状态,并且将移动装置的状态信息发送到对话系统100a。

在从对话系统100a接收到移动装置的控制指令时,车辆控制器240a可以将控制指令发送到移动装置400。

当从外部内容服务器300接收到关于车辆中设置的固件的更新的信息时,车辆控制器240a可以将关于固件更新的信息发送到对话系统100a,并且基于接收到的关于固件更新的信息来更新车辆中设置的相应固件。

车辆控制器240a可以包括存储器和处理器,所述存储器存储用于执行上述操作和稍后描述的操作的程序;所述处理器包括用于执行存储的程序。可以设置至少一个存储器和至少一个处理器,并且当设置多个存储器和处理器时,它们可以集成在一个芯片上或物理上分开。

车辆检测器260(即,探测器)可以检测车辆状态信息,诸如燃料的剩余量、轮胎压力和当前车辆位置、发动机温度、车辆速度、制动踏板压力、加速器踏板和维护时间。

车辆检测器260检测行驶环境信息,诸如外部温度、内部温度、乘客是否上车、外部湿度、内部湿度、降雨量、降雨速度和邻近的障碍物信息。

也就是说,车辆检测器可以包括多个传感器以检测车辆状态信息和环境信息。

通信装置280可以与外部内容服务器300和移动装置400通信,并且可以与其它车辆和基础设施通信。

通信装置280还配置为将接收到的信息发送到对话系统和车辆控制器中的至少一个,并且配置为将对话系统100a和车辆控制器240a的信息发送到外部。

图51是示出根据另一实施方案的对话系统的详细控制框图,并且将参照图52至图54来进行描述。

图52是示出根据另一实施方案的对话系统的输入处理器的控制框图,图53是示出根据另一实施方案的对话系统的输入处理器的详细控制框图,而图54是示出根据另一实施方案的对话系统的结果处理器的控制框图。

如图51所示,对话系统100a包括输入处理器110a、对话管理器120a、结果处理器130a和储存装置140a。

输入处理器110a可以接收两种输入,诸如用户语音和除语音之外的输入。除语音之外的输入可以包括识别用户的手势,除通过输入装置的操作输入的用户的语音之外的输入,指示车辆状态的车辆状态信息,与车辆的行驶信息相关的行驶环境信息以及指示用户的状态的用户信息。

此外,除上述信息之外,只要信息用于识别用户的意图或者向用户或车辆提供服务,就可以将与用户和车辆相关的信息输入到输入处理器110a。用户可以包括驾驶员和乘客。

输入处理器110a通过识别用户的语音将用户的语音转换为文本类型的话语,并通过将自然语言理解算法应用于用户话语来识别用户的意图。

输入处理器110a收集除用户语音之外的与车辆状态或车辆的行驶环境相关的信息,然后利用收集到的信息来理解语境。

输入处理器110a将通过自然语言理解技术获取的用户意图以及与语境相关的信息发送到对话管理器120a。

输入处理器110a可以包括语音输入处理器a1和语境信息处理器a2,所述语音输入处理器a1配置为接收从语音输入装置210发送的关于用户语音的信息;所述语境信息处理器a2配置为接收从除语音之外的信息输入装置220发送的除用户语音之外的输入信息。

语音输入处理器a1与实施方案中的相同,因此将省略其描述。

语境信息处理器a2接收从除语音之外的信息输入装置220和车辆控制器240a输入的语境信息,诸如车辆状态信息、行驶环境信息和用户信息。

语境信息处理器a2基于接收到的语境信息来识别语境。

更具体地,语境信息处理器a2基于车辆状态信息和行驶环境信息生成车辆使用模式,获取与生成的车辆使用模式相对应的通知事件信息,并确定与获取的通知事件信息相对应的动作。

语境信息处理器a2可以基于识别的语音信息生成话语模式,并获取与生成的话语模式相对应的通知事件信息。

语境信息处理器a2可以接收移动装置状态信息,基于接收到的移动装置的状态信息生成移动装置的使用模式,并获取与生成的移动装置的使用模式相对应的通知事件信息。

对话系统100a可以通过语境理解来精确地识别用户的意图,或者容易地找到当前用户所需的服务。

如图52至图53所示,输入处理器110a的语音输入处理器a1可以包括语音识别器a11、自然语言理解部分a12和对话输入管理器a13,并且语境信息处理器a2可以包括语境信息收集器a21、语境信息收集管理器a22和语境理解部分a23。

语音识别器a11、自然语言理解部分a12和对话输入管理器a13可以与实施方案中的相同,因此将省略其描述。

语境信息处理器a2可以包括语境信息收集器a21、语境信息收集管理器a22和语境理解部分a23;语境信息收集器a21收集来自除语音之外的信息输入装置220和车辆控制器240a的信息;语境信息收集管理器a22管理语境信息的收集;语境理解部分a23基于自然语言理解的结果和收集的语境信息来理解语境。

更具体地,语境信息处理器a2的语境信息收集器a21可以周期性地收集数据,或仅在发生特定事件时收集数据。此外,语境信息收集器a21可以周期性地收集数据,然后额外地在特定事件发生时收集数据。

此外,当接收到来自语境信息收集管理器a22的数据收集请求时,语境信息收集器a21可以收集数据。

语境信息收集器a21可以收集所需信息,然后将该信息存储在语境信息db142a或短期存储器144a中。语境信息收集器a21可以将确认信号发送到语境信息收集管理器a22。

语境信息收集管理器a22将确认信号发送到语境理解部分a23。语境理解部分a23从语境信息db142a、长期存储器143a或短期存储器144a收集所需信息,并将收集的信息发送到对话输入管理器a13。

例如,语境信息收集器a21可以接收目的地信息、行驶时间信息、行驶距离信息、高速行驶信息,车窗打开/关闭信息、无线电开/关信息、广播频道改变信息、空调开/关信息、空调温度控制信息、座椅电热丝开/关信息、方向盘电热丝开/关信息、音频开/关信息、音频类型变化信息、音量调节信息、与移动装置的通信连接信息、移动装置的联系信息装置、移动装置的功能控制信息、外部温度信息、内部温度信息、外部湿度信息、内部湿度信息、制动踏板压力信息、加速器踏板压力信息、维护信息和燃料信息。

基于存储在语境信息db142a中的信息,语境信息收集管理器a22生成车辆使用模式和移动装置使用模式,诸如车窗打开/关闭模式、广播开/关模式、广播频道改变模式、空调开/关模式、空调温度控制模式、座椅电热丝开/关模式、方向盘电热丝开/关模式、音频开/关模式、音频类型变化模式、音量调节模式、与移动装置的通信连接模式,以及移动装置的功能使用模式。

语境信息收集管理器a22可以基于识别的语音信息生成话语模式。

例如,当基于存储了一段时间的车辆状态信息而确定出在从行驶开始时间开始一小时之后发生事件时(其中,事件是打开前座椅和后座椅的所有车窗),语境信息收集管理器a22可以生成一种模式,其中所有车窗在从行驶开始时间开始一小时之后打开。

语境信息收集管理器a22监控接收的各种信息,并将监控的信息发送到语境理解部分a23。

语境理解部分a23可以基于车辆使用模式、移动装置使用模式和话语模式中的至少一种来生成通知事件,并且将生成的通知事件存储在通知事件表中。

语境理解部分a23基于通知事件表145c确定该语境下是否需要通知用户与通知事件相关的通知。

多条通知事件信息可以存储在通知事件表145c中。

通知事件信息可以包括通知事件的通知时刻和引导信息,并且进一步包括通知事件名称。

也就是说,在当前时间是通知事件的通知时刻时,语境理解部分a23获取关于通知事件信息的引导信息。

语境理解部分a23可以基于由语境信息收集管理器a22监控的信息和存储在通知事件表中的信息来获取通知事件。

例如,当信息是在行驶开始时间之后经过了一小时的信息(由语境信息收集管理器a22监控)时,语境理解部分a23可以检查存储在通知事件表中的信息并从通知事件表中获取指示打开所有车窗的通知事件。

语境理解部分a23可以针对通知事件表145c的多个通知事件的每个通知事件确定车辆状态信息和行驶环境信息是否满足参考条件。

用于多个通知事件的每个通知事件的预先确定的参考条件可以是预先设置和存储的信息。

作为多个通知事件的每个通知事件的参考条件的示例,关于在行驶期间打开驾驶员座椅的车窗的情况的通知事件的参考条件可以是正在进入收费站。

作为另一示例,关于建议休息的通知事件的参考条件可以是从参考行驶开始时间开始经过了两个小时。

语境理解部分a23可以接收移动装置的状态信息,并且基于接收到的移动装置的状态信息和通知事件表的信息来获取通知事件信息。

例如,在与移动装置的通信可用的状态下,当通过移动装置接收到电话呼叫时,语境理解部分a23可以确定与接收电话呼叫相对应的通知事件信息是否存在于通知事件表的通知事件信息中,并且当确定与接收电话呼叫相对应的通知事件信息存在时,语境理解部分a23可以获取与接收电话呼叫相对应的通知事件信息。

语境理解部分a23可以基于识别的语音信息和通知事件表中的信息获取通知事件信息。

语境理解部分a23可以基于车辆使用模式生成关于在车辆中执行的多个功能中的至少一个的更新信息,生成关于要添加到车辆的新功能的新功能信息,并且基于生成的更新信息和新功能信息生成通知事件信息。语境理解部分a23可以基于通过语音输入装置和除语音之外的信息输入装置中的至少一个输入的用户指令来确定是否连续执行更新的功能、改变的功能或新功能。

也就是说,当用户不想将更新的功能、改变的功能或新功能应用于车辆时,语境理解部分a23可以删除更新的功能、改变的功能或新功能。

根据用户指令,语境理解部分a23可以允许无论何时执行更新的功能、改变的功能或新功能都输出引导,或者,语境理解部分a23可以允许仅在第一次输出引导。

当接收到固件时,语境理解部分a23可以确认与接收到的固件相对应的通知事件信息,并且将确认的通知事件信息的通知事件名称、通知时刻和引导信息存储在储存装置中。当从车辆控制器接收到执行至少一个功能的信息时,语境理解部分a23可以确定在车辆中执行的功能是否与接收到的固件相对应,并且当确定出在车辆中执行的功能是与接收到的固件相关的功能时,语境理解部分a23可以允许输出通知事件名称和引导信息。

当与用户话语的意图相对应的动作是路线引导时,语境理解部分a23可以搜索语境理解表145a并且验证出与路线引导相关的语境信息是当前位置。

当与用户话语的意图相对应的动作执行相关的语境信息未存储在语境信息db142a、长期存储器143a或短期存储器144a中时,语境理解部分a23可以向语境信息收集管理器a22请求所需信息。

对话管理器120a基于从输入处理器a1发送的用户的意图、讲话者之间的关系以及与语境相关的信息来确定与用户的意图或当前语境相对应的动作,并管理执行相应动作所需的参数。

也就是说,在当前时间是存储的通知事件信息的通知时刻时,对话管理器120a通过利用关于通知事件信息的引导信息确定动作。

根据实施方案,动作可以表示用于提供特定服务的全部动作,并且可以预先确定动作的种类。根据需要,提供服务可以与执行动作相对应。

例如,可以在域/动作推断规则db141a(参考图53)中预定义诸如路线引导、车辆状态检查和加油站推荐的动作,并且可以根据存储的推断规则提取与用户的话语相对应的动作,即用户预期的动作。可以预先定义与车辆中发生的事件相关的动作,然后将其存储在语境理解表145(参考图53)和通知事件表145c中。

动作的种类没有限制。如果允许对话系统100a经由车辆200a或移动装置400执行动作,并且在该动作的推理规则或该动作与其它动作/事件的关系被存储的同时该动作被预定义,则该动作可以成为上述提到的动作。

对话管理器120a将与确定的动作相关的信息发送到结果处理器130a。

结果处理器130a生成并输出对话响应以及执行发送的动作所需的指令。对话响应可以以文本、图像或音频类型输出。当输出指令时,可以执行与输出指令相对应的诸如车辆控制和提供外部内容的服务。

参照图54,结果处理器130a可以包括响应生成管理器131a、对话响应生成器132a、输出管理器133a、服务编辑器134a、存储器管理器135a和指令生成器136a,所述响应生成管理器131a管理执行从对话管理器120a输入的动作所需的响应的生成;所述对话响应生成器132a根据响应生成管理器131a的请求来生成文本、图像或音频类型的响应;所述指令生成器136a根据响应生成管理器131a的请求,利用外部内容生成用于车辆控制或提供服务的指令;所述服务编辑器134a连续地或间歇地执行多个服务并收集其结果以提供用户期望的服务;所述输出管理器133a输出生成的文本类型的响应、图像类型的响应或音频类型的响应,输出由指令生成器136a生成的指令,或者当输出为多个时确定输出的顺序;所述存储器管理器135a基于响应生成管理器131a和输出管理器133a的输出来管理长期存储器143a和短期存储器144a。

结果处理器130a的详细配置与实施方案中的相同,因此将省略其描述。

储存装置140a存储用于对话处理和提供服务的各种信息,并且还存储获取的通知事件信息。例如,储存装置140a可以预先存储与用于自然语言理解的域、动作、言语行为和实体名称相关的信息,以及用于通过输入信息理解语境的语境理解表。此外,储存装置140a可以预先存储由车辆中设置的传感器检测到的数据、与用户相关的信息以及执行动作所需的信息。

通知事件信息包括通知事件名称、通知时刻和引导信息。通知时刻包括执行与获取的通知事件信息相对应的功能的时间点。

储存装置140a存储车辆状态信息和行驶环境信息。

储存装置140a可以存储多个通知事件的通知事件名称和参考条件,以及每个通知事件名称的引导信息。

多个预先确定的通知事件可以是可以在车辆中发生的事件,并且可以是为了方便用户而向用户提供通知服务的预设事件。

例如,多个通知事件名称可以包括吸烟模式、预防疲劳驾驶模式和停车模式。

例如,引导信息可以包括用于在吸烟模式中引导前车窗和后车窗打开的引导信息,用于在停车模式中引导外后视镜的角度变化的引导信息,以及用于在预防疲劳驾驶模式中引导车辆中的声音输出的音量增大、改变播放音乐的类型或打开车窗的引导信息。

参考条件是用于确定在多个预先确定的通知事件中与将要添加的功能相对应的通知事件的信息,也是用于确定要通知给用户的通知事件的信息。

图55是示出具有根据另一实施方案的对话系统的车辆的控制框图,并且将参照图56至图60来进行描述。

当点火开启时,车辆监控车辆状态信息和行驶环境信息中的至少一种(1001),基于监控的信息和过去存储的信息生成车辆使用模式(1002),生成与使用模式相对应的通知事件信息,并将生成的通知事件信息存储在储存装置140a的通知事件表中(1003)。

通知事件信息可以包括通知事件名称、通知时刻和引导信息。

监控车辆状态信息和行驶环境信息包括通过车辆中设置的车辆检测器(或探测器)的各种传感器获取的监控信息或数据。

监控车辆状态信息和行驶环境信息包括通过语音输入装置和除语音之外的信息输入装置监控的各种信息。

例如,车辆状态信息和行驶环境信息可以包括:目的地信息、行驶时间信息、行驶距离信息、高速行驶信息,车窗打开/关闭信息、广播开/关信息、广播频道改变信息、空调开/关信息、空调温度控制信息、座椅电热丝开/关信息、方向盘电热丝开/关信息、音频开/关信息、音频类型改变信息、音量调节信息、与移动装置的通信连接信息、移动装置的联系人信息装置、移动装置的功能控制信息、外部温度信息、内部温度信息、外部湿度信息、内部湿度信息、制动踏板压力信息、加速器踏板压力信息、维护信息和燃料信息。

车辆状态信息和行驶环境信息可以进一步包括乘客上车信息。

车辆使用模式的获取执行为将在储存装置中存储了一段时间的车辆状态信息和行驶环境信息与监控的车辆状态信息和行驶环境信息进行比较,并且当在过去和当前信息中,相似或相同的操作搜索了参考次数或更多次时,将已经执行了参考次数的搜索操作生成为车辆使用模式。

例如,如果从行驶开始时间经过一小时的时候打开驾驶员座椅的车窗的操作在一个月内检测到参考次数或更多次,那么生成这样的模式:从行驶开始时间开始经过一小时后打开驾驶员座椅的车窗。生成的驾驶员座椅的车窗打开模式存储为车辆使用模式。

此时,车辆将驾驶员座椅的车窗打开作为通知事件名称存储,并且将从行驶开始时间经过一小时的时间点存储为通知时刻,并且将指示打开驾驶员座椅的车窗的引导消息存储为引导信息。

作为生成车辆使用模式的另一示例,可以将在剩余量为10升时加油操作执行了参考次数或更多次生成为加油模式,并将其存储为车辆使用模式。

此时,车辆将加油时刻存储为通知事件名称,将剩余量为10升的时间点存储为通知时刻,将指示加油时刻即将到来的引导消息存储为引导信息。

作为生成车辆使用模式的另一示例,当在冬天每个星期一乘客上车并且座椅电热丝开启的操作执行了参考次数或更多次时,星期一座椅电热丝开启操作可以存储为车辆使用模式。

作为生成车辆使用模式的另一示例,当乘客在一个月内每个星期一早晨7:00上车了参考次数或更多次时,在星期一早上7:00进行与空调的风向控制相关的操作可以存储为车辆使用模式。

当生成通知事件时,车辆可以基于车辆使用模式通过利用关于在车辆中执行的多个功能中的至少一个功能的更新信息来生成通知事件信息,并且通过利用关于新添加到车辆的新功能的新功能信息来生成通知事件信息。

在行驶期间生成车辆使用模式的同时,车辆将监控的车辆状态信息和行驶环境信息与存储在储存装置140a中的通知事件信息进行比较,并确定车辆状态信息和行驶环境信息中的至少一条是否与任何一条通知事件信息相对应(1004)。当确定出车辆状态信息和行驶环境信息中的至少一条与任何一条通知事件信息相对应时,车辆可以确认该任何一条通知事件信息的通知时刻和关于该任何一条通知事件信息的引导信息。

例如,当确定从行驶开始时间经过一小时的时候,车辆可以确定在通知事件表中的通知事件信息中是否存在具有行驶时间是一小时的参考条件的信息。当确定具有行驶时间是一小时的参考条件的信息存在时,车辆可以确认具有行驶时间是一小时的参考条件的通知事件信息。

确定至少一条信息是否与一条通知事件信息相对应可以包括确定是否有至少一条信息满足与通知事件信息相对应的车辆使用模式。

此外,确定是否有至少一条信息与一条通知事件信息相对应可以包括确定与通知事件信息中的至少一条信息匹配的通知事件信息。

车辆确定当前时间是否是通知事件信息的通知时刻(1005),并且如果确定出当前时间是通知事件信息的通知时刻,车辆输出关于确定的通知事件信息的引导信息(1006)。

通知时刻可以包括时间信息,或者可以包括由车辆检测器感测的感测信息。

作为示例,确定当前时间是否是通知事件信息的通知时刻可以包括确定当前时间是否是从行驶开始时间起一小时。

作为另一示例,确定当前时间是否是通知事件信息的通知时刻可以包括:当检测到的剩余量是10升时,确定当前时间是加油的通知时刻。

作为另一示例,确定当前时间是否是通知事件信息的通知时刻可以包括:当检测到的外部温度是25℃时,确定当前时间是开启空调的通知时刻。

输出关于通知事件信息的引导信息可以包括通过扬声器执行语音引导,以及通过avn以文本形式显示引导信息。

在输出关于通知事件信息的引导信息之后,车辆可以基于通过语音输入装置或除语音之外的信息输入装置从用户输入的指令执行或不执行与通知事件信息相对应的功能。

当接收到与通知事件信息相对应的功能的执行指令时,车辆可以更新在车辆中执行的多个功能中的至少一个,或者通过使用与通知事件信息相对应的功能向车辆添加新功能。

车辆可以生成与通知事件信息相对应的控制指令(1007),并且基于控制指令执行与通知事件信息相对应的功能(1008)。

车辆控制车辆中设置的多个负载中的至少一个的操作,以便执行与通知事件信息相对应的功能。

例如,当通知事件信息是进入收费站事件时,车辆生成用于打开驾驶员座椅的车窗的控制指令并执行打开驾驶员座椅的车窗功能。

此时,车辆可以控制设置在驾驶员座椅的门中的车窗打开/关闭构件(图未示)的操作,以执行打开驾驶员座椅的车窗功能。

参照图56,将描述车辆的通知事件引导操作的示例。

车辆可以基于用户输入的目的地信息和车辆的位置信息确定车辆行驶长距离还是短距离。

当确定出执行长距离行驶时,车辆的对话系统可以收集具有长距离行驶的通知事件信息作为参考条件,并通过扬声器输出确定的通知事件信息。

对话系统可以询问是否执行与长距离行驶相对应的吸烟模式。

对话系统确认用户输入的指令,并且当确定确认的指令是肯定的(即,是)时执行吸烟模式。对话系统确认与吸烟模式相对应的功能,并确认输出关于该功能的引导信息的通知时刻。

执行吸烟模式可以包括计算打开车窗的时间点。

当确定当前时间是打开车窗的时间(即,打开车窗的通知时刻)时,车辆的对话系统根据执行吸烟模式询问是否打开车窗。

对话系统确认用户输入的指令,并且当确定确认的指令是肯定的(即,是)时,对话系统引导打开车窗,并且在完成吸烟时询问用户输入关闭指令。

对话系统可以将打开车窗指令发送到车辆控制器。此时,车辆控制器可以在接收到打开车窗指令时控制打开车窗。

在预先确定的时间过去之后还是没有输入关闭车窗指令时,车辆的对话系统可以询问关闭车窗。

当对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以引导关闭车窗并且将关闭车窗的指令发送到车辆控制器,使得车辆控制关闭车窗。

参照图57,将描述车辆的通知事件引导操作的另一示例。在图57中,假设存储了车辆使用模式,其中,车辆使用模式是每当车辆通过收费站时打开驾驶员座椅的车窗。

在当前位置是收费站的进入位置时,车辆的车辆控制器可以将当前位置发送到对话系统。此时,车辆的对话系统可以询问是否在将来进入收费站时将驾驶员座椅的车窗打开功能设置为通知事件信息,同时提供指示模式的引导消息,引导信息指示已经定义每次进入收费站时都会打开驾驶员座椅的车窗的模式。

当车辆的对话系统确认用户的输入指令并且确定确认的指令是肯定的(即,是)时,对话系统可以通过扬声器输出引导信息,引导信息是关于每次进入收费站时都执行打开驾驶员座椅的车窗的功能。

车辆的对话系统通过扬声器输出引导信息,引导信息指示每次进入收费站时都打开驾驶员座椅的车窗。

此外,对于没有高通卡的车辆,可以预先存储用于在进入收费站时打开驾驶员座椅的车窗的通知事件信息。此时,当基于车辆位置信息确定车辆的当前位置是用于进入收费站的位置时,车辆的对话系统通过扬声器输出用于引导打开驾驶员座椅的车窗的引导信息。

车辆可以执行与移动装置的通信。此时,车辆可以检查在移动装置中执行的功能的状态和移动装置的操作状态,并且基于检查的移动装置的功能的状态和移动装置的操作状态来获取移动装置的状态信息。车辆可以基于存储在储存装置中的通知事件信息和获取的移动装置的状态来确定与获取的移动装置的状态相对应的通知事件信息,并且在通知时刻输出关于确定的移动装置的引导信息。

输出关于通知事件信息的引导信息可以包括通过扬声器执行语音引导,以及通过avn以文本形式显示引导信息。

通知时刻可以包括执行与任何一条通知事件信息相对应的功能的时间点。

参照图58,将描述当车辆与移动装置通信时车辆的通知事件引导操作的示例。

车辆根据用户的指令与移动装置进行蓝牙通信。

此时,车辆可以通过车辆的扬声器输出在移动装置中执行的音乐的音频信息,并且通过车辆的扬声器输出在移动装置中执行的导航的音频信息。

此外,车辆可以接收诸如在移动装置中执行的音乐播放或导航的每个功能的控制指令,并且可以将输入的控制指令发送到移动装置。

当通过移动装置接收到呼叫时,车辆可以通过avn显示呼叫者的信息。

车辆控制器可以将与呼叫接收相关的移动装置的状态信息发送到对话系统。此时,车辆的对话系统将存储在储存装置中的通知事件信息与移动装置的状态信息进行比较。

对话系统确定以呼叫接收为参考条件的通知事件信息,并确认关于确定的通知事件信息的引导信息和通知时刻。当确定当前时间是通知时刻时,对话系统输出引导信息。

用于呼叫接收的通知时刻可以是呼叫接收开始时间或从呼叫接收开始时间经过特定时间的时间点。

车辆的对话系统在接收呼叫的同时询问自动文本传输。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以通过扬声器输出通知自动文本传输的引导信息。

接下来,对话系统可以将自动文本传输指令发送到车辆控制器。当接收到自动文本传输指令时,车辆控制器可以将自动文本传输指令发送到移动装置以允许通过移动装置将指示用户正在驾驶的自动文本发送给呼叫者。

此外,车辆的对话系统可以询问是否设置在接收呼叫期间自动发送文本的功能。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以引导关于自动文本传输功能的设置选项的选择,并且询问是否选择任何一个设置选项。

车辆的对话系统可以验证用户输入的指令,并且当确定验证的指令是设置选项之一(即,引导模式)时,对话系统可以将引导模式存储为自动文本功能的设置选项,并且通过扬声器输出指示该引导模式存储为自动文本功能的设置选项的信息。

参照图59,将描述当车辆与移动装置通信时车辆的通知事件引导操作的另一示例。

当通过移动装置接收呼叫时,车辆控制器可以将与接收呼叫相关的移动装置的状态信息发送到对话系统。此时,车辆的对话系统将存储在储存装置中的通知事件信息与移动装置的状态信息进行比较。

对话系统确定具有呼叫接收的通知事件信息作为参考条件,并确认关于确定的通知事件信息的引导信息和通知时刻。当确定当前时间是通知时刻时,对话系统输出引导信息。

车辆的对话系统在接收呼叫时询问自动文本传输。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以通过扬声器输出通知自动文本传输的引导信息。

接下来,对话系统可以将自动文本传输指令发送到车辆控制器。当接收到自动文本传输指令时,车辆控制器可以将自动文本传输指令发送到移动装置以允许通过移动装置将指示用户正在驾驶的自动文本发送给呼叫者。

此外,车辆的对话系统可以询问是否设置在接收呼叫期间自动发送文本的功能。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以输出引导关于自动文本传输功能的设置选项的选择,并且询问是否选择任何一个设置选项。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是否定的(即,否)时,对话系统可以询问是否选择其它设置选项。

车辆的对话系统可以验证用户输入的指令,并且当确定出验证的指令是其它设置选项(即,自动模式)时,对话系统可以将自动模式存储为自动文本功能的设置选项。

车辆的对话系统可以通过扬声器输出指示将自动模式存储为自动文本功能的设置选项的信息。

因此,车辆的对话系统可以在每次接收呼叫时自动发送文本。此时,车辆可以通过对话系统通知自动发送了文本。

车辆可以执行与外部服务器的通信。基于从外部服务器接收到的信息,车辆可以更新在车辆中执行的多个功能中的至少一个功能。

此外,基于从外部服务器接收到的信息,车辆可以向车辆添加新功能。

车辆确认执行更新功能的时间点,并且当确定当前时间是执行更新功能的时间点时,车辆输出关于更新功能的引导信息。

此外,车辆确认执行新添加的功能的时间点,并且当确定出当前时间是执行新添加的功能的时间点时,车辆输出关于新添加的功能的引导信息。

将参考图60对其进行描述。

当车辆中设置的avn的导航模式开启时,车辆控制器将关于导航开启操作的状态信息发送到对话系统。

对话系统通知avn的导航模式开启并执行指示将要执行导航模式的引导。

当确定新功能被添加到avn的导航模式时,对话系统可以执行关于新功能的引导并询问是否执行新功能。

当车辆的对话系统确认用户输入的指令并且确定确认的指令是肯定的(即,是)时,对话系统可以将控制指令发送到车辆控制器,使得车辆控制器执行新的功能。

对话系统可以询问是否每个导航模式都执行新功能,或者对话系统在每次导航开启时询问是否执行新功能。

对话可以基于用户的指令设置新功能的执行选项。

从以上描述中显而易见的是,根据提出的对话系统、车辆和用于控制车辆的方法,基于各种信息(例如,在车辆行驶期间与用户的对话和车辆状态信息,行驶环境信息和用户信息),可以通过精确地识别用户的意图来提供适合于用户意图的服务或用户所需的服务。

通过在功能可用的时间点适当地通知根据固件的更新而改变的或新的功能,可以提高改变的功能或新的功能的效用。

在需要改变的功能或新的功能的时间点通过通知改变的功能或新的功能的必要性,可以更有效地利用改变的功能或新的功能,因此可以提高用户便利性和车辆的商业性,其中,改变的功能或新的功能基于过去的车辆使用模式、话语模式和移动装置的使用模式进行个性化定制。

通过对话功能,可以提高车辆的质量,增加商业性,增加用户的满意度,并且提高用户的便利性和车辆的安全性。

尽管已经显示并描述了几个本发明的实施方案,但是本领域技术人员能够理解的是,在不偏离本发明的原理和精神的情况下,可以对这些实施方案进行修改,本发明的范围由权利要求书及其等价形式所限定。

根据提出的对话处理装置,具有该对话处理装置的车辆和对话处理方法,可以通过使用车辆专用的对话处理方法来提供适合于用户意图的服务或用户所需的服务。

此外,通过考虑车辆中出现的各种语境,可以提供用户所需的服务。具体地,无论用户的话语如何,都可以基于由对话系统100收集的语境信息或驾驶员信息来确定用户所需的服务并主动提供该服务。

对本发明的描述在本质上只是示例性的,因此,不偏离本发明内容的变化旨在也落入本发明范围之内。这样的变化不应被视为偏离了本发明的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1