对话系统和对话处理方法与流程

本公开的实施例总体上涉及对话系统和处理方法，并且更具体地，涉及被配置为通过与用户的对话识别用户的意图来提供用户所需的信息或服务的对话系统，以及对话处理方法。

背景技术：

许多用于车辆的传统音频-视频导航(avn)装置类似于移动装置具有相对较小的屏幕和按钮。当提供视觉信息或接收用户输入时，小屏幕按钮可能给用户带来不便。

具体地，在驾驶时，如果用户将他或她的手从方向盘上移开或视线远离道路来操作装置或查看正在显示的信息，则可能存在严重的危险风险。

因此，当在车辆中实现对话系统时，对话系统应该能够通过与用户对话来识别用户的意图，并以更方便和更安全的方式提供用户所需的信息或服务。

技术实现要素：

因此，本公开的一个方面提供一种对话系统、具有该对话系统的车辆以及对话处理方法，其能够通过基于诸如与用户的对话、车辆状态信息和用户信息的各种信息精确地识别用户的意图来提供符合用户的真实意图的服务或用户所需的服务。

本公开的另一方面提供一种对话系统，具有该对话系统的车辆，以及对话处理方法，其能够基于驾驶时车辆中的乘员之间的对话来识别乘客并且能够管理车辆中的乘客数量的变化。

本公开的另外方面将在下面的描述中部分阐述，部分将从所述描述中显而易见或者可以通过实施本发明来了解。

根据本公开的实施例，用于车辆的对话系统可以包括：输入处理器，其被配置为接收车辆的包括驾驶员和至少一个乘客的乘员之间的对话，检测车辆操作信息，基于乘员之间的对话或车辆操作信息识别至少一个乘客，基于乘员之间的对话来生成估算当车辆到达停留点时车辆中的乘客数量的变化的乘客数量信息，并根据乘客数量信息来获取预话语消息；以及结果处理器，其被配置为根据预话语消息输出所述预话语。

所述预话语消息可以指示以下中的至少一者：至少一个乘客中的每个乘客在停留点处离开车辆的可能性，至少一个乘客中的每个乘客在停留点处离开车辆后再次登上车辆的可能性，以及潜在乘客在停留点处登上车辆的可能性。

输入处理器可以包括语音输入处理器，该语音输入处理器被配置为基于乘员之间的对话中包含的至少一个乘客的语音的一个或多个语音特征来确定该至少一个乘客是否登上车辆；以及语境(context)信息处理器，其被配置为基于车辆操作信息确定所述至少一个乘客是否登上车辆。

当确定至少一个乘客正在登上车辆时，输入处理器可以获取与至少一个乘客登上车辆相对应的预话语消息，接收与预话语消息相关的至少一个乘客的话语，并通过将自然语言理解算法应用于至少一个乘客的话语来识别至少一个乘客，并且当确定至少一个乘客没有登上车辆时，输入处理器可以获取与至少一个乘客未登上车辆相对应的预话语消息，接收与预话语消息相关的驾驶员的话语，并通过将自然语言理解算法应用于驾驶员的话语来验证至少一个乘客的存在。

输入处理器可以通过将自然语言理解算法应用于乘员之间的对话来确定至少一个乘客中的每个乘客在停留点处离开车辆的可能性以及至少一个乘客中的每个乘客在停留点处离开车辆之后再次登上车辆的可能性，并且基于所确定的至少一个乘客在停留点处离开车辆的可能性以及所述至少一个乘客在停留点处离开车辆之后再次登上车辆的可能性来生成乘客数量信息。

输入处理器可以接收车辆中的呼叫会话，通过将自然语言理解算法应用于所接收到的呼叫会话来确定潜在乘客在停留点处登上车辆的可能性，并基于潜在乘客在停留点处登上车辆的可能性来生成乘客数量信息。

在车辆离开停留点之后，输入处理器可以基于乘员之间的对话和车辆操作信息确定车辆中的乘客数量的变化，比较基于乘客数量信息的车辆中的乘客数量的估算变化与所确定的乘客数量变化，并基于比较结果获取预话语消息。

在车辆离开停留点之后，输入处理器可以获取预话语消息以确定车辆中的乘客数量的变化，接收与预话语消息相关的至少一个乘客的话语，并且通过将自然语言理解算法应用于至少一个乘客的话语来确定车辆中乘客数量的变化。

对话系统还可以包括存储装置，该存储装置被配置为当车辆停止行驶时存储车辆的行驶相关信息和至少一个乘客中的每个乘客的乘客信息。

乘客信息可包括乘客识别信息、语音特征信息、座位位置信息、登上车辆时间信息、登上车辆位置信息、离开时间信息或与离开车辆的位置有关的信息中的至少一者。

输入处理器可以接收乘员之间的对话和车辆操作信息，基于乘员之间的对话和车辆操作信息确定至少一个乘客是否登上车辆，确定至少一个乘客中的每个乘客的特征是否对应于乘客信息，并通过验证具有与乘客信息相对应的特征的第一乘客是否参与先前行驶来获取预话语消息。

输入处理器可以接收与预话语消息有关的至少一个乘客的话语，通过将自然语言理解算法应用于乘客的话语来验证第一乘客是否参与了先前的行驶，并当第一乘客参与先前行驶时，基于乘员之间的对话和乘客信息来生成乘客数量信息。

此外，根据本公开的实施例，一种用于车辆的对话处理方法可以包括：接收车辆的包括驾驶员和至少一个乘客的乘员之间的对话；检测车辆操作信息；基于乘员之间的对话或车辆操作信息识别至少一个乘客；基于乘员之间的对话来生成估算当车辆到达停留点时车辆中的乘客数量的变化的乘客数量信息；根据乘客数量信息获取预话语消息；并根据所述预话语消息输出预话语。

所述预话语消息可以指示以下中的至少一者：至少一个乘客中的每个乘客在停留点处离开车辆的可能性，至少一个乘客中的每个乘客在停留点处离开车辆后再次登上车辆的可能性，以及潜在乘客在停留点处登上车辆的可能性。

对话处理方法还可包括：基于乘员之间的对话中包含的至少一个乘客的语音的一个或多个语音特征来确定所述至少一个乘客是否登上车辆；并且基于车辆操作信息来确定所述至少一个乘客是否登上车辆。

对话处理方法还可以包括：当确定至少一个乘客正在登上车辆时，获取与至少一个乘客登上车辆相对应的预话语消息；接收与预话语消息相关的至少一个乘客的话语；并通过将自然语言理解算法应用于至少一个乘客的话语来识别至少一个乘客；以及当确定至少一个乘客没有登上车辆时，获取与至少一个乘客未登上车辆相对应的预话语消息；接收与预话语消息相关的驾驶员的话语；并通过将自然语言理解算法应用于驾驶员的话语来验证至少一个乘客的存在。

对话处理方法还可以包括：通过将自然语言理解算法应用于乘员之间的对话来确定至少一个乘客中的每个乘客在停留点处离开车辆的可能性以及至少一个乘客中的每个乘客在停留点处离开车辆之后再次登上车辆的可能性；并且基于所确定的至少一个乘客在停留点处离开车辆的可能性以及所述至少一个乘客在停留点处离开车辆之后再次登上车辆的可能性来生成乘客数量信息。

对话处理方法还可以包括：接收车辆中的呼叫会话；通过将自然语言理解算法应用于所接收到的呼叫会话来确定潜在乘客在停留点处登上车辆的可能性；并基于潜在乘客在停留点处登上车辆的可能性来生成乘客数量信息。

对话处理方法还可以包括：在车辆离开停留点之后，基于乘员之间的对话和车辆操作信息确定车辆中的乘客数量的变化；比较基于乘客数量信息的车辆中乘客数量的估算变化与所确定的乘客数量的变化；并基于比较结果获取预话语消息。

对话处理方法还可以包括：在车辆离开停留点之后，获取预话语消息以确定车辆中的乘客数量的变化；接收与预话语消息相关的至少一个乘客的话语；并且通过将自然语言理解算法应用于至少一个乘客的话语来确定车辆中乘客数量的变化。

对话处理方法还可以包括：当车辆停止行驶时存储车辆的行驶相关信息和至少一个乘客中的每个乘客的乘客信息。

行驶相关信息可包括行驶的出发点、停留点和目的地中的至少一者。

乘客信息可包括乘客识别信息、语音特征信息、座位位置信息、登上车辆时间信息、登上车辆位置信息、离开时间信息或与离开车辆的位置有关的信息中的至少一者。

对话处理方法还可以包括：接收乘员之间的对话和车辆操作信息；基于乘员之间的对话和车辆操作信息确定至少一个乘客是否登上车辆；确定至少一个乘客中的每个乘客的特征是否对应于乘客信息；并通过验证具有与乘客信息相对应的特征的第一乘客是否参与先前行驶来获取预话语消息。

对话处理方法还可以包括：接收与预话语消息有关的至少一个乘客的话语；通过将自然语言理解算法应用于乘客的话语来验证第一乘客是否参与了先前的行驶；并当第一乘客参与先前行驶时，基于乘员之间的对话和乘客信息来生成乘客数量信息。

附图说明

结合附图，从以下实施例的描述中，本公开的这些和/或其他方面将变得显而易见并且更容易理解，其中，附图中：

图1为示出根据本公开的实施例的对话系统的控制框图；

图2a为示出车辆内部的视图；

图2b为示出从与图2a不同的另一角度观察时的车辆内部的视图；

图3至图6为示出在对话系统和驾驶员之间生成的对话的示例的视图；

图7和图8为示出对话系统的视图，该对话系统被配置为估算乘客数量的变化并输出预话语；

图9和图10为示意性地示出对话系统和车辆组件之间的连接的控制框图；

图11和图12为示意性地示出对话系统的组件和车辆组件之间的连接的控制框图；

图13为示出在车辆中设置对话系统的车辆单独方式的控制框图；

图14和图15为示出车辆网关方式的控制框图，其中在远程服务器中提供对话系统，并且车辆用作将用户连接到对话系统的网关；

图16为示出在车辆网关方式中车辆能够执行输入处理和输出处理的情况的控制框图；

图17为示出远程对话系统服务器和车辆均执行对话处理的混合方式的控制框图；

图18和图19为示出连接到车辆的移动装置将用户连接到远程对话系统服务器的移动网关方式的控制框图；

图20为示出在移动装置中设置对话系统的移动单独方式的控制框图；

图21、图22a和图22b为详细示出对话系统的配置中的输入处理器的配置的控制框图；

图23a、图23b和图23c为示出存储在语境理解表中的信息的示例的视图；

图24为示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制方框图；

图25a、图25b、图25c和图25d为示出存储在预话语条件表中的信息的示例的视图；

图26为详细说明对话管理器的配置的控制框图；

图27为示出存储在关系动作db中的信息的示例的视图；

图28为示出存储在动作执行条件db中的信息的示例的视图；

图29为示出存储在动作参数db中的信息的示例的视图；

图30为示出存储在模糊解析信息db中的信息的示例的表格；

图31a和图31b为示出由于模糊解算器通过参考模糊解析信息db并提取动作来解决模糊性而执行车辆控制的各种示例的表格；

图32为详细示出结果处理器的配置的控制框图；

图33至图45为示出当用户输入与路线引导相关的话语时对话系统处理输入、管理对话并输出结果的特定示例的视图；

图46为示出根据实施例的在对话处理方法中处理用户输入的方法的流程图；

图47为示出根据实施例的在对话处理方法中使用输入处理器的输出来管理对话的方法的流程图；

图48为示出根据实施例的用于在对话处理方法中生成与对话管理的结果相对应的响应的结果处理方法的流程图；

图49至图51为示出根据实施例的在对话处理方法中对话系统输入话语之前输出预话语的情况的流程图；

图52为示出根据实施例的在对话处理方法中当对话系统在用户输入话语之前输出预话语时处理重复任务的流程图；

图53为示出根据实施例的在对话处理方法中确定乘客登上车辆上并输出预话语的方法的流程图；

图54为示出根据实施例的在对话处理方法中估算乘客数量的变化并输出预话语的方法的流程图；以及

图55为示出根据实施例的在对话处理方法中确定参与先前行驶的乘客登上车辆并输出预话语的方法的流程图。

应当理解，上述附图不一定按比例绘制，其呈现了说明本公开的基本原理的各种优选特征的略微简化的表示。本公开的具体设计特征，包括例如具体的尺寸、取向、位置和形状将部分地由特定预期的应用和使用环境来确定。

附图标记说明

100：对话系统

110：输入处理器

120：对话处理器

130：结果处理器

200：车辆

210：语音输入装置

220：除了语音之外的信息输入装置

230：对话输出装置

280：通信装置

具体实施方式

在下文中，将参考附图详细描述本公开的实施例。本领域技术人员应当认识到，可以在不脱离本公开的精神或范围的情况下以各种不同方式修改所描述的实施例。在以下描述中，相同的附图标记在整个说明书中指代相同的元件。

众所周知的功能或结构没有详细描述，因为它们会以不必要的细节模糊一个或多个示例性实施例。诸如“单元”、“模块”、“构件”和“块”的术语可以实施为硬件或软件。根据实施例，多个“单元”、“模块”、“构件”和“块”可以实施为单个组件或单个“单元”、“模块”、“构件”和“块”可以包括多个组件。

应当理解，当一个元件被称为“连接”另一个元件时，它可以直接或间接地连接到另一个元件，其中，间接连接包括“经由无线通信网络的连接”。

此外，当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件还可包括其他元件、不排除其他元件。

如本文所用，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。

附图标记用于方便描述，但并不旨在说明每个步骤的顺序。除非上下文另有明确指示，否则每个步骤可以以与所示顺序不同的顺序实现。

应当理解，本文使用的术语“汽车”或“车辆”或其他类似术语包括一般的机动车辆，例如包括运动型多功能车(suv)、公共汽车的乘用车、卡车、各种商用车辆，包括各种船舶的水运工具、飞机等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代燃料车辆(例如，来自石油以外的资源的燃料)。如本文所提到的，混合动力车辆为具有两个或更多动力源的车辆，例如汽油动力车辆和电动车辆。

另外，应当理解，以下方法或其方面中的一者或多者可以由至少一个控制器执行。术语“控制器”可以指的是包括存储器和处理器的硬件装置。存储器被配置成存储程序指令，并且处理器被具体编程为执行程序指令以执行下面进一步描述的一个或多个过程。如本文所述，控制单元可以控制单元、模块、组件、装置等的操作。此外，应当理解，下面的方法可以由包括控制器结合一个或多个其他组件的装置执行，如本领域普通技术人员应理解的。

此外，本公开的控制器可以实施为包含由处理器执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质还可以分布在整个计算机网络中，使得程序指令以分布式方式存储和执行，例如通过远程信息处理服务器或控制器区域网络(can)。

现在将详细参考本公开的实施例，其示例在附图中示出。

根据实施例，对话系统可以被配置为通过使用用户的语音和除语音之外的另一输入来识别用户的意图，并且被配置为提供对用户意图适当或需要的服务。对话系统可以通过输出系统话语来执行与用户的对话，该系统话语为被配置为提供服务或者清楚地识别用户意图的一种手段。

作为示例，对话系统通过使用语音识别来识别车辆中的乘员之间的对话内容，基于车辆中的乘员之间的对话内容识别乘客，并且确定每位乘客离开车辆的可能性以及每位乘客离开后再次登上车辆的可能性。对话系统可以通过输出作为用于通知驾驶员每位乘客离开车辆的可能性以及每位乘客在离开车辆之后再次登上车辆的可能性的手段的系统话语来与乘客进行对话。

此时，对话系统可以通过响应于用户的请求输出系统话语来与用户进行对话，或者可以通过在没有用户请求的情况下输出预话语来与用户进行对话。

下面描述的预话语表示在没有用户请求的情况下输出的话语，并且该话语可以包括当车辆到达停留点或目的地时需要立即响应时输出的话语。另外，预话语可以包括通过获取并分析用户信息，尽管用户没有请求但是在需要信息传输时输出的话语。

预话语可以包括通过从诸如车辆、用户终端和外部服务器的外部装置接收各种信息，在需要信息传输时输出的话语。

同时，预话语不限于尽管用户没有请求但输出的系统话语。预话语可以包括由于用户的请求不是立即的而在一段时间内或者发生特定条件时需要输出话语的情况。例如，当尽管用户请求在一段时间之后输出话语或者尽管请求的时间即将到来，但是由于用户正在通话而推迟话语的输出时，对话系统选择适当的时间并且在所选时间输出话语。在下文中，为了便于描述，如果不必区分预话语或响应于用户请求而输出的系统话语，则将其统称为话语。

下面描述的车辆中的用户或乘员包括登上车辆的所有对象。例如，车辆中的用户或乘员(乘车的人员)不仅包括驾驶员而且包括乘客(即，同乘人员)，并且具体地，车辆中的用户或乘员是坐在驾驶员座位的人员、副驾驶座位和后座位上的乘客的统称。根据实施例，提供给用户的服务可以包括根据用户的需要或用户的意图的所有类型的操作，其中，所有类型的操作可以包括提供信息、控制车辆、执行音频/视频/导航功能并从外部服务器提供内容。

根据一个实施例，对话系统提供专用于车辆环境的对话处理技术，以便在特殊环境即车辆中精确地识别用户的意图。

用于连接对话系统与用户的网关可以为车辆或连接到车辆的移动装置。如下所述，对话系统可以设置在车辆中或车辆外部的远程服务器中，以便通过与车辆或连接到车辆的移动装置的通信来发送或接收数据。

对话系统中的一些组件可以设置在车辆中，并且还有一些组件可以设置在远程服务器中。因此，车辆和远程服务器可以执行对话系统的一部分操作。

图1为示出根据本公开的实施例的对话系统的控制框图。

参考图1，对话系统100可以包括：输入处理器110，其处理包括用户的语音和除用户语音之外的输入的用户输入或者包括与车辆有关的信息或与用户有关的信息的输入；对话管理器120，使用输入处理器110的处理结果识别用户的意图和车辆状态，并确定与用户的意图或车辆状态相对应的动作；结果处理器130，根据对话管理器120的输出结果提供特定服务或输出系统话语以用于继续对话；以及存储装置140，其存储用于稍后描述的操作的各种信息。

输入处理器110可以接收两种输入，诸如用户语音和除语音之外的输入。除了语音之外的输入可以包括通过识别用户的手势或输入装置的操作输入的用户的除语音之外的输入，指示车辆状态的车辆状态信息，与车辆的行驶信息相关的行驶环境信息以及指示用户的状态的用户信息。另外，除了上述信息之外，可以将任何与用户和车辆有关的信息输入到输入处理器110，只要该信息用于识别用户的意图或用于向用户或车辆提供服务即可。用户可以包括驾驶员和乘客。

输入处理器110通过识别用户的语音将用户的语音转换为文本类型的话语，并通过将自然语言理解算法应用于用户话语来识别用户的意图。

输入处理器110可以通过识别作为输入的乘客的语音和除了用户的语音之外的输入来确定乘客是否登上车辆，其中该除了用户的语音之外的输入为通过除语音之外的信息输入装置的输入。对话系统100可以执行预话语来请求乘客的识别信息，以识别被确定登上车辆的每位乘客。对话系统100可以通过接收每位乘客的话语来识别每位乘客。乘客的识别信息可以表示基于识别信息区分确定登上车辆的每位乘客。

输入处理器110收集用户语音之外的与车辆状态有关或与车辆的行驶环境有关的信息，然后使用所收集的信息来理解语境。

输入处理器110将通过自然语言理解技术获得的用户意图以及与语境相关的信息发送到对话管理器120。

对话管理器120基于从输入处理器110发送的与用户的意图和语境相关的信息来确定与用户的意图或当前语境相对应的动作，并管理执行相应动作所需的参数。

根据实施例，动作可以表示用于提供特定服务的各种动作，并且可以预先确定动作的种类。根据需要，提供服务可以对应于执行动作。

例如，可以在域/动作推断规则db141(参考图22a)中预定义诸如路线引导、车辆状态检查和加油站推荐的动作，并且可以根据存储的推理规则提取对应于用户的话语的动作，即用户想要的动作。可以预定义与车辆中发生的事件相关的动作，然后将其存储在关系动作db146b中(参考图24)。

动作的种类没有限制。如果对话系统100允许经由车辆200或移动装置400执行动作，并且该动作被预定义并且其推理规则或与其他动作/事件的关系被存储，则该动作可以成为上述提到的动作。

对话管理器120将与所确定的动作有关的信息发送到结果处理器130。

结果处理器130生成并输出执行所发送的动作所需的对话响应和命令。对话响应可以以文本、图像或音频类型输出。当输出命令时，可以执行与输出命令相对应的诸如车辆控制和外部内容提供的服务。

例如，结果处理器130可以生成并输出用于识别乘客的对话响应和命令。作为示例，结果处理器130可以输出请求乘客的识别信息的话语，以识别通过输入处理器110确定登上车辆的乘客。

另外，结果处理器130可以生成并输出用于估算乘客数量变化的对话响应和命令。作为示例，结果处理器130可以输出具有与每位乘客在停留点处离开车辆的可能性以及每位乘客在离开车辆之后再次登上车辆的可能性相关的内容的预话语。

应当理解，输入处理器110和结果处理器130可以实现为单独的处理器，或者另选地，实现为单个处理器。还应理解，输入处理器110和结果处理器130可以实现为一个或多个硬件处理器、一个或多个软件模块或其组合。还应理解，输入处理器110和结果处理器130的操作可以由车辆控制器240控制。

存储装置140存储用于对话处理和服务提供的各种信息。例如，存储装置140可以预存储与用于自然语言理解的域、动作、语音行为和实体名称有关的信息，以及用于从输入信息理解语境的语境理解表。另外，存储装置140可以预存储由设置在车辆中的传感器检测的数据、与用户有关的信息以及动作所需的信息。

例如，当车辆的行驶终止时，存储装置140可以存储关于车辆行驶的行驶相关信息和关于在行驶时登上车辆的乘客的乘客信息。具体地，存储装置140可以存储关于车辆的行驶的行驶相关信息，诸如行驶的出发点、停留点和目的地，以及关于乘客的乘客信息，诸如个人识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开时间信息、登上车辆位置信息以及与离开车辆的位置有关的信息。稍后将描述存储在存储装置140中的信息的描述。

如上所述，对话系统100提供专用于车辆环境的对话处理技术。对话系统100的全部或一些组件可以包含在车辆中。对话系统100可以设置在远程服务器中，并且车辆可以充当对话系统100和用户之间的网关。在任一种情况下，对话系统100都可以经由车辆或连接到车辆的移动装置连接到用户。

图2a为示出车辆内部的视图，以及图2b为示出当从与图2a不同的另一角度观察时车辆内部的视图。

参考图2a，被配置为显示包括音频功能、视频功能、导航功能和呼叫功能的车辆控制所需的屏幕的显示器231、以及被配置为接收用户的控制命令的输入按钮221可以设置在与车辆200内部的仪表板201的中心部分相对应的中心托板(centerfascia)203中。

为了用户的操作方便，可以在方向盘207中设置输入按钮，并且可以在设置在驾驶员座位254a和副驾驶座位254b之间的中心控制台区域202中设置用作输入按钮的旋转飞梭(jogshuttle)225。

同时，座位254不限于驾驶员座位254a和副驾驶座位254b。参考图2b，车辆1可根据需要设置有后座254c和254d。

此时，当乘客登上副驾驶座位254b以及后座254c和254d时，并且当在车辆中的乘员之间进行对话时，对话系统可以通过语音识别来确定乘客是否登上车辆，并且通过估算生成语音的位置来确定乘客在车辆中的座位位置。另外，对话系统可以通过设置在副驾驶座位254b以及后座254c和254d侧的各种传感器来确定乘客是否位于相应的座位上。

根据一个实施例，对话系统可以输出预话语来请求乘客的识别信息以识别确定登上车辆的每位乘客，并通过接收每位乘客的话语来识别每位乘客。如上所述，乘客的识别可以表示基于确定要登上车辆的乘客的识别信息来区分乘客。

根据一个实施例，对话系统可以存储乘客信息，该乘客信息包括车辆中每位乘客的座位位置。稍后将描述其详细描述。

包括显示器231、输入按钮221和控制各种功能的处理器的模块可以对应于音频视频导航(avn)终端或头部单元(headunit)。

显示器231可以由各种显示装置中的任何一种，例如，液晶显示器(lcd)、发光二极管(led)、等离子显示面板(pdp)、有机发光二极管(oled)和阴极射线管(crt)来实现。

如图2所示，输入按钮221可以在与显示器231相邻的区域上以硬键类型提供。另选地，当通过触摸屏实现显示器231时，显示器231可以执行输入按钮221的功能。

车辆200可以经由语音输入装置210接收作为语音的用户控制命令。语音输入装置210可以包括麦克风，该麦克风被配置为接收声音然后将声音转换为电信号。

如图2所示，为了有效语音输入，语音输入装置210可以安装到顶板205，但是车辆200的实施例不限于此。因此，语音输入装置210可以安装到仪表板201或方向盘207上。另外，语音输入装置210可以分别设置在副驾驶座位254b以及后座254c和254d中，以用于输入坐在副驾驶座位254b以及后座254c和254d上的乘客的语音。另外，语音输入装置210可以安装到任何位置，只要该位置适合于接收用户的语音即可。

在车辆200的内部，可以提供扬声器232，其被配置为与用户进行对话或被配置为输出提供用户期望的服务所需的声音。例如，扬声器232可以设置在驾驶员座位门253a和副驾驶座位门253b的内部。

扬声器232可以输出用于导航路线引导的语音，包含在音频和视频内容中的声音或语音，用于提供用户期望的信息或服务的语音，以及作为对用户的话语的响应而生成的系统话语。

根据实施例，对话系统100通过使用适合于车辆环境的对话处理技术来提供适合于用户生活方式的服务，并且对话系统100可以使用诸如联网汽车(connectedcar)、物联网(iot)和人工智能(ai)的技术来实现新服务。

当应用适合于车辆环境的对话处理技术，诸如根据实施例的对话系统100时，可以在驾驶员直接驾驶车辆期间容易地识别并响应关键语境(context)。可以通过对影响驾驶的参数诸如汽油短缺和困倦驾驶施加权重来提供服务，或者可以基于在大多数情况下车辆移动到目的地的条件容易地获得信息，例如行驶时间和目的地信息，这是服务所需要的。

另外，可以通过识别驾驶员的意图来容易地实现被配置为提供功能的智能服务。这是因为在驾驶员直接驾驶情况下优先考虑实时信息和动作。例如，当驾驶员在驾驶时搜索加油站时，可以将其解释为驾驶员将去加油站的意图。然而，当驾驶员在不是车辆的地方搜索加油站时，除了驾驶员将要去加油站的意图外，可以将其解释为另一个意图，诸如搜索位置信息查询、电话号码查询和价格查询。

此外，尽管车辆具有有限的空间，但是其中可能发生各种情况。例如，驾驶员可以在各种情况下利用对话系统100，例如，驾驶诸如租车之类的具有不熟悉界面的车辆，使用代驾服务，诸如洗车之类的车辆管理情况，婴儿在车上的情况，以及访问特点目的地的情况。

另外，在构成车辆行驶以及行驶的前后阶段(例如，车辆检查阶段、开始准备阶段、行驶阶段和停车阶段)的每个阶段中可能发生各种服务和对话情况。具体地，驾驶员可以在各种情况下利用对话系统100，例如，驾驶员不知道如何处理问题的情况，车辆与各种外部装置相关联的情况，检查驾驶习惯的情况，例如汽油里程，以及使用安全支持功能的情况，例如智能巡航控制，导航操作情况，困倦驾驶情况，每天沿同一路线行驶的情况，以及检查该地方是否可停车的情况。

图3至图6为示出在对话系统和驾驶员之间生成的对话的示例的视图。

参考图3，尽管驾驶员没有输入用于询问当前剩余汽油量或用于请求加油站引导的话语，但是对话系统100可以自己识别当前剩余汽油并且当识别出的剩余汽油小于预定值的情况下，对话系统100可以首先输出提供与当前剩余汽油相关的信息的话语(s1：可以用剩余的汽油行驶43km)。

响应于该话语，驾驶员可以输入要求向就近加油站接收路线引导的话语(u1：让我知道就近加油站)，并且对话系统100可以输出提供与当前位置最近的加油站有关的信息的话语(s2：就近加油站有a-oilseong-rim加油站，b-oiljang-dae加油站和c-oilpacific加油站)。

驾驶员可另外输入询问汽油价格的话语(u2：哪里最便宜？)，并且对话系统100可输出提供与燃料类型的价格相关的信息的话语(汽油价格最低的为boiljang-dae加油站，每升1294韩元，而柴油价格最低的为aoilseong-rim加油站，每升985韩元)。

驾驶员可以输入要求向boiljang-dae加油站(u3)引导的话语，并且对话系统100可以输出指示开始向由驾驶员选择的加油站引导的话语(s4：开始向boiljang-dae加油站的路线)。

也就是说，对话系统100可以基于经由输入处理器110接收到的车辆的状态信息来确定当前所需服务为汽油引导服务，并且输出预话语以提供需求服务。另外，可以通过与对话系统100的对话，将驾驶员引导到以最低价格销售当前车辆的燃料类型的就近加油站。根据一个实施例，假设“预话语”表示在用户说出之前首先从对话系统100输出的话语。

同时，当在如图3所示的示例中选择加油站时，对话系统100可以省略一些问题并直接提供信息，因此可以减少对话的步骤和时间。

例如，对话系统100可以预先识别出当前车辆的燃料类型为汽油，并且驾驶员选择加油站的标准为价格。可以从车辆获取与车辆的燃料类型有关的信息，并且可以从驾驶员预先输入驾驶员选择加油站的标准，或者通过学习驾驶员对话历史或加油站选择历史来获取驾驶员选择加油站的标准。该信息可以预存储在存储装置140中。

在这种情况下，如图4所示，对话系统100可以主动输出提供与燃料价格有关的信息的话语，特别是作为当前车辆的燃料类型的汽油价格(s2+s3＝s3')，而无需输入驾驶员请求关于燃料价格的信息的话语(u2)，即省略了u2。

驾驶员可以省略用于请求关于燃料价格的信息的话语(u2)，并且可以形成对话系统100的响应，使得引导就近加油站的话语(s2)和引导燃料价格的话语(s3)作为单一响应被整合，以减少对话的步骤和时间。

另外，对话系统100可以基于驾驶员询问当前剩余汽油量的事实，自己识别出驾驶员的意图是正在搜索加油站。

在这种情况下，如图5所示，尽管驾驶员没有输入询问就近加油站的话语(u1)，即省略了u1，但是对话系统100可以主动输出提供与燃料价格有关的信息的话语(s2+s3＝s3”)。

在从当前位置的最近的加油站和提供最低燃料价格的加油站为相同的加油站的状态下，提供与燃料价格相关的信息的话语(s3”)可以包括用于询问是否要引导到相应的加油站的问题。因此，用户可以通过简单地输入同意对话系统100的问题的话语(u3'：是)来请求到相应的加油站的路线引导，而无需输入用于要求引导到某个加油站的特定话语。

如上所述，对话系统100可以基于预先获得的信息，通过考虑用户未发出的内容来识别用户的真实意图并主动提供与该意图相对应的信息。因此，可以减少用于提供用户期望的服务的对话步骤和时间。

参考图6，当基于车辆中的乘员之间的对话和车辆操作信息确定乘客登上车辆时，对话系统100可以首先输出询问乘客的识别信息的话语(s11：你是谁？告诉我你的姓名)。

在响应所述话语时，乘客可以输入包含乘客的识别信息的话语(u11：我是oo)，并且对话系统100可以通过乘客的话语识别乘客的身份。

也就是说，对话系统100可以基于通过输入处理器110接收到的乘员之间的对话和车辆操作信息来确定乘客是否登上车辆，并输出预话语以识别乘客的身份。另外，乘客可以通过与对话系统100的对话向对话系统100提供识别信息。

图7和图8为示出对话系统的视图，该对话系统被配置为估算乘客数量的变化并输出预话语。

参考图7，在识别乘客的身份之后，车辆200中的对话系统100可以基于车辆中的乘客之间的对话来估算乘客数量的变化并输出指示估算乘客数量的变化的结果的预话语。

具体地，通过将自然语言理解算法应用于车内乘员之间的对话，车辆200中的对话系统100可以获取每位乘客在停留点700处离开车辆的可能性以及在离开车辆之后再次登上车辆的可能性。此外，通过将自然语言理解算法应用于在车中的呼叫会话，车辆200中的对话系统100可以获取打算在停留点700登上车辆的乘客(即，潜在乘客)的可能性。将描述其详细描述。

在到达停留点700之前，车辆200中的对话系统100可以基于每位乘客离开车辆的可能性以及每位乘客离开后再次登上车辆的可能性，输出与估算乘客数量的变化的结果有关的预话语，诸如“a将在停留点处离开”。“b将在停留点处离开车辆后再次登上车辆”。“c不会在停留点处离开”。以及“d将在停留点处登上车辆”。

参考图8，在离开停留点700之后，车辆200中的对话系统100可以输出与在到达停留点700之前估算的乘客数量的变化的估算结果和在从停留点700离开之后乘客数量的变化的结果之间的比较结果相关的预话语。

具体地，在离开停留点700之后，车辆200中的对话系统100可以比较在到达停留点700之前获取的乘客数量的变化的估算结果以及在从停留点700离开之后的乘客数量的变化结果。

到达停留点700之前获取的乘客数量的变化的估算结果与在从停留点700离开之后获取的乘客数量的变化的结果之间的比较可以基于在离开停留点700之后车辆中的乘员之间的对话和车辆操作信息通过确定在离开停留点700之后乘客是否登上车辆来执行。

另外，在离开停留点700之后，车辆200中的对话系统100可以输出验证乘客数量的变化的估算结果是否正确的预话语，以便验证乘客人数的变化的结果。车辆200中的对话系统100可以通过使用乘员关于验证乘客数量的变化的估算结果是否正确的预话语的响应话语来比较在到达停留点700之前获取的乘客数量的变化的估算结果以及在从停留点处离开之后的乘客数量的变化的结果。

在离开停留点700之后，车辆200中的对话系统100可以基于在到达停留点700之前获取的乘客数量的变化的估算结果与从停留点700离开之后的乘客数量的变化的结果之间的比较，输出关于比较结果“当前乘客数量与乘客数量变化的估算结果不同”的预话语。图9和图10为示意性地示出对话系统和车辆组件之间的连接的控制框图。

参考图9，用户对对话系统100的语音输入可以经由设置在车辆200中的语音输入装置210来输入。如图2中所示，语音输入装置210可以包括设置在车辆200内部的麦克风。

用户输入中除语音之外的输入可以为通过除语音之外的信息输入装置220的输入。除语音之外的信息输入装置220可以包括用于通过用户的操作接收命令的输入按钮221和223以及旋转飞梭225。

除语音之外的信息输入装置220可包括拍摄用户的摄像头。通过由摄像头成像的图像，可以识别用作命令输入的手段的用户的手势、表情或视线方向。另选地，可以通过摄像头成像的图像来识别用户的状态(困倦状态等)。

另外，除语音之外的信息输入装置220可包括设置在副驾驶座位254b以及后座254c和254d侧的窗户调节按钮、座位调节按钮和空调调节按钮，以确定乘客登上车辆和乘客的座位位置。

可以经由车辆控制器240将与车辆相关的信息输入到对话系统100中。与车辆相关的信息可以包括由设置在车辆200中的各种传感器获取的车辆状态信息或周围环境信息，以及最初存储在车辆200中的信息，例如车辆的燃料类型。

对话系统100可以使用经由语音输入装置210的用户语音输入、经由除语音之外的信息输入装置220的除了用户的语音之外的输入以及经由车辆控制器240的各种输入来识别用户的意图和语境。对话系统100输出响应以执行与用户意图相对应的动作。

对话输出装置230为被配置为以视觉、听觉或触觉方式向讲话者提供输出的装置。对话输出装置230可以包括设置在车辆200中的显示器231和扬声器232。显示器231和扬声器232可以以视觉或听觉方式输出对用户的话语的响应、关于用户的问题或用户请求的信息。另外，可以通过在方向盘207中安装振动器来输出振动。

此外，根据来自对话系统100的响应输出，车辆控制器240可以控制车辆200以执行与用户的意图或当前情况相对应的动作。

同时，除了由设置在车辆200中的传感器获取的信息之外，车辆200还可以经由通信装置280收集从外部内容服务器300或外部装置获取的信息，例如，行驶环境信息和用户信息，诸如交通状况、天气、温度、乘客信息和驾驶员个人信息，然后车辆200可以将这些信息发送到对话系统100。

如图10所示，由设置在车辆200中的传感器获取的信息，例如，剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置，可以经由内部信号控制器241输入到对话系统100。

另外，由设置在车辆中的传感器获取的信息，诸如窗户调节按钮操作信息、座位调节按钮操作信息和空调调节按钮操作信息可以通过内部信号控制器241输入到对话系统100。

经由车辆到万物(v2x)通信从外部获取的行驶环境信息可以经由外部信号控制器242输入到对话系统100。v2x可以表示车辆通过在行驶时与道路基础设施和其他车辆进行通信来交换并共享各种有用信息，例如，交通状况。

v2x通信可以包括车辆到基础设施(v2i)通信、车辆到车辆(v2v)通信和车辆到移动装置(v2n)通信。因此，通过使用v2x通信，可以通过在车辆之间直接执行的通信或与安装在道路上的基础设施的通信来发送和接收诸如关于前方的交通信息或另一车辆的接近或与另一车辆发生碰撞的风险等信息，从而可以向驾驶员通知该信息。

因此，经由外部信号控制器242输入到对话系统100的行驶环境信息可包括关于前方的交通信息、相邻车辆的接近信息、与另一车辆的碰撞警告、实时交通状况、意外状况和交通流量控制状态。

尽管未在附图中示出，但是经由v2x获得的信号也可以经由通信装置280输入到车辆200。

车辆控制器240可以包括：存储器，用于执行上述操作和稍后描述的操作的程序存储在该存储器中；以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器，并且当提供多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。

另外，内部信号控制器241和外部信号控制器242可以由相同的处理器和存储器实现，或者由单独的处理器和存储器实现。

图11和图12为示意性地示出对话系统和车辆组件之间的连接的控制框图。

参考图11，从语音输入装置210发送的用户语音可以输入到设置在输入处理器110中的语音输入处理器111，除了语音之外的信息输入装置220发送的用户语音之外的输入可以被输入到设置在输入处理器110中的语境信息处理器112。

另外，经由内部信号控制器241或外部信号控制器242输入的信息被输入到设置在输入处理器110中的语境信息处理器112。

输入到语境信息处理器112的语境信息可以包括从除语音之外的信息输入装置220和车辆控制器240输入的车辆状态信息、行驶环境信息和用户信息。语境信息处理器112可以基于输入的语境信息来识别语境。对话系统100可以通过识别语境来精确地识别用户的意图或有效地找出用户所需的服务。

例如，语音输入处理器111可以基于通过语音输入装置210识别的车辆中的乘员之间的对话来确定乘客登上车辆。另外，语音输入处理器111可以基于在通过语音输入装置210识别的车辆中的乘员之间的对话来确定每位乘客在停留点处离开车辆的可能性以及每位乘客在停留点处离开之后再次登上车辆的可能性。另外，语音输入处理器111可以基于通过语音输入装置210识别的车辆中的呼叫会话来估算打算登上车辆的乘客。语境信息处理器112可以识别除语音之外的信息输入装置220的操作，并基于识别结果确定乘客是否登上车辆。来自结果处理器130的响应输出可以输入到对话输出装置230或车辆控制器240，以允许车辆200提供用户所需的服务。另外，可以将响应发送到外部内容服务器300以请求所需的服务。

从车辆控制器240发送的车辆状态信息、行驶环境信息和用户信息可以存储在存储装置140中。

参考图12，存储装置140可以包括长期存储器143和短期存储器144。存储在存储装置140中的数据可以根据数据的重要性和持久性以及设计者的意图被分类为短期存储器和长期存储器。

短期存储器144可以存储先前执行的对话。先前的对话可以为在距当前时间的参考时间内执行的对话。另选地，所述对话可以连续存储，直到用户和对话系统100之间的话语内容的容量达到参考值为止。

例如，当为用餐时间时，车辆200可以经由扬声器232输出询问是否引导到餐馆的话语。可以基于当前时间是否在预定进餐时间范围内来识别是否为进餐时间。当用户说出“让我知道江南站附近的餐馆”的内容或“让我知道餐馆”的内容并且当车辆200的当前位置在江南站附近时，对话系统100可以通过外部内容服务器300搜索江南站附近的餐馆，然后向用户提供与搜索到的在江南站附近的餐馆有关的信息。作为提供信息的示例，对话系统100可以在显示器231上显示餐馆的列表，并且当用户说出“第一”时，可以在短期存储器144中存储与餐馆的请求和餐馆的选择相关的对话内容。

另选地，不仅存储整个对话内容，而且还可以存储包含在对话内容中的特定信息。例如，可以在短期存储器144或者长期存储器143中将餐馆列表的第一餐馆存储为用户选择的餐馆。

当用户在关于江南站附近的餐馆的对话之后向对话系统100询问“天气如何？”时，对话系统100可以从存储在短期存储器144的对话中假设用户的兴趣位置为江南站，然后输出响应“江南站正在下雨”。

接下来，当用户说出“推荐餐馆菜单”时，对话系统100可以从存储在短期存储器中的对话中假设“所述餐馆”表示江南站附近的餐馆，并通过从外部内容服务器300提供的服务获取与相应餐馆的推荐菜单相关的信息。因此，对话系统100可以输出响应“面条为该餐馆中的最佳菜单”。

长期存储器143可以根据数据存在的持久性来存储数据。例如，长期存储器143可以确定能保证数据(诸如亲属和朋友的电话号码以及感兴趣的位置(poi)信息，例如家庭或公司，以及某些参数的用户偏好)的持久性，并且然后将所述数据存储在所述长期存储器中。相反，当确定不保证数据的持久性时，可以将所述数据存储在短期存储器144中。

例如，当车辆的行驶终止时，长期存储器143可以存储关于车辆行驶的行驶相关信息和在行驶时乘客登上车辆的乘客信息。具体地，长期存储器143可以存储关于车辆的行驶的行驶相关信息，诸如行驶的出发点、停留点和目的地，以及关于乘客的乘客信息，诸如个人识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开时间信息、登上车辆位置信息以及与离开车辆的位置有关的信息。例如，用户的当前位置可以为临时数据并因此存储在短期存储器144中，并且用户对餐馆的偏好可以为稍后可用的持久数据并且因此存储在长期存储器143中。

当用户说出“这里有没有餐馆？”时，对话系统100可以从短期存储器144中识别出用户的当前位置并且从长期存储器143中指出用户喜欢中餐馆。因此，对话系统100可以通过使用外部内容来推荐当前位置周围的用户最喜欢的中餐馆的列表。

另外，对话系统100可以使用存储在长期存储器143和短期存储器144中的数据主动地向用户提供服务和信息。

例如，与用户住宅相关的信息可以存储在长期存储器143中。对话系统100可以从外部内容服务器300获取与用户住宅有关的信息，然后提供指示“由于公寓的清洁而预计在这个周五停水”的信息。

另外，当与先前行驶中的乘客相同的乘客在下一次行驶中乘坐时，对话系统100可以基于存储的乘客信息和车辆中的乘员之间的对话估算每位乘客离开车辆的可能性以及在离开之后再次登上车辆的可能性。

与车辆电池状态有关的信息可以存储在短期存储器144中。对话系统100可以分析存储在短期存储器144中的车辆电池状态，然后提供指示“电池处于不良状态。在冬天之前修好它”的信息。

图13为示出在车辆中设置对话系统的车辆单独方式的控制框图。

如图13所示，根据车辆单独方式，具有输入处理器110、对话管理器120、结果处理器130和存储装置140的对话系统100可以包含在车辆200中。

当对话系统100包含在车辆200中时，车辆200可以自己处理与用户的对话并提供用户所需的服务。然而，可以从外部内容服务器300获得对话处理和服务提供所需的信息。

由车辆检测器260检测到的车辆状态信息或行驶环境信息，例如，剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置可以经由车辆控制器240输入到对话系统100。

根据来自对话系统100的响应输出，车辆控制器240可以控制设置在车辆200中的空调装置251、窗户252、车门253、座位254或avn255。

例如，当对话系统100确定用户的意图或用户所需的服务是降低车辆200内的温度然后生成并输出相应的命令时，车辆控制器240可以通过控制空调251来降低车辆200内的温度。

再例如，当对话系统100确定用户的意图或用户所需的服务是升高驾驶员的座位窗户252a并生成和输出相应的命令时，车辆控制器240可通过控制窗户252来升高驾驶员座位窗户252a。

再例如，当对话系统100确定用户的意图或用户所需的服务是将路线引导到某个目的地并生成和输出相应的命令时，车辆控制器240可以通过控制avn255来执行路线引导。根据需要，通信装置280可以从外部内容服务器300获取地图数据和poi信息，然后使用该信息进行服务提供。

图14和图15为示出车辆网关方式的控制框图，其中在远程服务器中提供对话系统，并且车辆用作将用户连接到对话系统的网关。

如图14所示，根据车辆网关方式，可以在车辆200的外部提供远程对话系统服务器1，并且与远程对话系统服务器1经由通信装置280连接的对话系统客户端270可以设置在车辆200中。通信装置280用作用于连接车辆200和远程对话系统服务器1的网关。

对话系统客户端270可以用作连接到输入/输出装置的接口，并执行收集以及发送和接收数据。

当设置在车辆200中的语音输入装置210和除语音之外的信息输入装置220接收到用户的输入并将用户输入发送到对话系统客户端270时，对话系统客户端270可以经由通信装置280将输入数据发送到远程对话系统服务器1。

车辆控制器240还可以将由车辆检测器260检测到的数据发送到对话系统客户端270，并且对话系统客户端270可以经由通信装置280将由车辆检测器260检测到的数据发送到远程对话系统服务器1。

由于在远程对话系统服务器1中设置了上述对话系统100，因此输入数据处理、基于输入数据处理的结果的对话处理、基于对话处理的结果的结果处理均可以由远程对话系统服务器1执行。

另外，远程对话系统服务器1可以从外部内容服务器300获取输入数据处理、对话管理或结果处理所需的信息或内容。

根据从远程对话系统服务器1发送的响应，车辆200可以从外部内容服务器300获取用户所需的服务的信息或内容。

参考图15，通信装置280可以包括被配置为与外部装置通信的至少一个通信模块。例如，通信装置280可以包括短程通信模块281、有线通信模块282和无线通信模块283中的至少一者。

短程通信模块281可以包括各种短程通信模块(例如，蓝牙模块、红外通信模块、射频识别(rfid)通信模块、无线局域网(wlan)通信模块、nfc通信模块和zigbee通信模块)，该短程通信模块被配置为使用短程无线通信模块来发送和接收信号。

有线通信模块282可以包括各种有线通信模块，例如，局域网(lan)模块、广域网(wan)模块或增值网络(van)模块，以及各种线缆通信模块，例如，通用串行总线(usb)、高清多媒体接口(hdmi)、数字视频接口(dvi)、推荐标准232(rs-232)、电力线通信或普通老式电话服务(pots)。

无线通信模块283可以包括支持各种无线通信方法的无线通信模块，例如，wifi模块、无线宽带模块、全球移动通信系统(gsm)、码分多址(cdma)、宽带码分多址(wcdma)、通用移动通信系统(umts)、时分多址(tdma)、长期演进(lte)、4g和5g。

另外，通信装置280还可以包括用于车辆200中的电子装置之间的通信的内部通信模块(未示出)。车辆200的通信协议可以使用控制器区域网络(can)、本地互连网络(lin)、flexray和以太网。

对话系统100可以经由无线通信模块283向外部内容服务器300或远程对话系统服务器1发送数据和从外部内容服务器300或远程对话系统服务接收数据。对话系统100可以使用无线通信模块283执行v2x通信。另外，通过使用短程通信模块281或有线通信模块282，对话系统100可以向连接到车辆200的移动装置发送数据和从其接收数据。

图16为示出在车辆网关方式中车辆能够执行输入处理和输出处理的情况的控制框图。

如上所述，车辆200的对话系统客户端270可以仅收集并发送和接收数据，但是当如图16所示，输入处理器271、结果处理器273和存储装置274包含在对话系统客户端270中时，对话系统客户端270也可以处理从用户或车辆输入的数据或者执行与确定用户需要的服务提供相关的处理。也就是说，输入处理器110和结果处理器130的操作不仅可以由远程对话系统服务器1执行，还可以由车辆200执行。

在这种情况下，对话系统客户端270可以执行输入处理器110的全部或一些操作。对话系统客户端270可以执行结果处理器130的全部或一些操作。

可以考虑要处理的数据的容量和数据处理速度来确定远程对话系统服务器1和对话系统客户端270之间的任务分担。

图17为示出远程对话系统服务器和车辆均执行对话处理的混合方式的控制框图。

如图17所示，根据混合方式，由于输入处理器110、对话管理器120、结果处理器130和存储装置140设置在远程对话系统服务器1中，因此远程对话系统服务器1可以执行对话处理，并且由于在车辆200中设置了设置有输入处理器291、对话管理器292、结果处理器293和存储装置294的终端对话系统290，因此车辆200也可以执行对话处理。

然而，设置在车辆200中的处理器和存储器与设置在远程对话系统服务器1中的处理器或存储器之间在容量或性能方面可能存在差异。因此，当终端对话系统290能够通过处理所有输入数据并管理对话来输出结果时，终端对话系统290可以执行整个处理。否则，可以向远程对话系统服务器1请求处理。

在执行对话处理之前，终端对话系统290可以基于数据类型确定是否可以执行对话处理，并且终端对话系统290可以基于确定的结果直接执行处理或向远程对话系统服务器1请求处理。

当在终端对话系统290执行对话处理期间发生终端对话系统290不能执行的处理的事件时，终端对话系统290可以向远程对话系统服务器1请求处理，同时将其自己处理的结果发送到远程对话系统服务器1。

例如，当需要高性能计算能力或长期数据处理时，远程对话系统服务器1可以执行对话处理，并且当需要实时处理时，终端对话系统290可以执行对话处理。例如，当发生需要立即处理的情况并因此需要在同步之前处理数据时，可以设置成终端对话系统290首先处理数据。

另外，当车辆中存在未登记的讲话者并且因此需要用户确认时，远程对话系统服务器1可以处理该对话。也就是说，当由于新乘客在车辆中而需要识别该乘客时，远程对话系统服务器1可以处理对话。

此外，当终端对话系统290在不能经由通信装置280与远程对话系统服务器1连接的状态下不能自己完成对话处理时，可以经由对话输出装置230通知用户不能执行对话处理。

存储在终端对话系统290中的数据和存储在远程对话系统服务器1中的数据可以根据数据类型或数据容量来确定。例如，在由于个人识别而具有侵犯隐私的风险的数据的情况下，所述数据可以存储在终端对话系统290的存储装置294中。另外，可以将大量数据存储在远程对话系统服务器1的存储装置140中，并且可以将少量数据存储在终端对话系统290的存储装置294中。另选地，可以将少量数据存储在远程对话系统服务器1的存储装置140和终端对话系统290的存储装置294中。

图18和图19为示出连接到车辆的移动装置将用户连接到远程对话系统服务器的移动网关方式的控制框图。

如图18所示，根据移动网关方式，移动装置400可以从车辆200接收车辆状态信息和行驶环境信息等，并将用户输入和车辆状态信息发送到远程对话系统服务器1。也就是说，移动装置400可以充当将用户连接到远程对话系统服务器1或将车辆200连接到远程对话系统服务器1的网关。

移动装置400可以表示为便携式的并且能够通过与外部服务器和车辆通信向外部服务器和车辆发送数据和从外部服务器和车辆接收数据的电子装置，其中，移动装置400可以包括智能电话、智能手表、智能眼镜、pda和平板计算机。

移动装置400可以包括接收用户语音的语音输入装置410，接收除用户语音之外的输入的除了语音输入装置410之外的输入装置420，以视觉、听觉或触觉方式输出响应的输出装置430，通过通信向远程对话系统服务器1和车辆200发送数据和从远程对话系统服务器1和车辆200接收数据的通信装置480，以及从车辆200和用户收集输入数据并经由通信装置480将数据发送到远程对话系统服务器1的对话系统客户端470。

语音输入装置410可以包括麦克风，其接收声音、将声音转换为电信号并输出电信号。

除语音输入装置410之外的输入装置420可以包括设置在移动装置400中的输入按钮、触摸屏或摄像头。

输出装置430可以包括设置在移动装置400中的显示器、扬声器或振动器。

设置在移动装置400中的语音输入装置410，除了语音输入装置410之外的输入装置420和输出装置430可以用作用户的输入和输出接口。另外，设置在车辆200中的语音输入装置210、除语音之外的信息输入装置220、对话输出装置230可以用作用户的输入和输出接口。

当车辆200将由车辆检测器260检测到的数据和用户输入发送到移动装置400时，移动装置400的对话系统客户端470可以将数据和用户输入发送到远程对话系统服务器1。

对话系统客户端470可以将从远程对话系统服务器1发送的响应或命令发送到车辆200。当对话系统客户端470将设置在车辆200中的对话输出装置230用作用户的输入和输出接口时，可以经由对话输出装置230输出对话系统100的话语或对用户的话语的响应。当对话系统客户端470使用设置在移动装置400中的输出装置430时，可以经由输出装置430输出对话系统100的话语或对用户的话语的响应。

用于车辆控制的命令可以被发送到车辆200，并且车辆控制器240可以执行与所发送的命令相对应的控制，从而提供用户所需的服务。

对话系统客户端470可以收集输入数据并将输入数据发送到远程对话系统服务器1。对话系统客户端470还可以执行对话系统100的输入处理器110和结果处理器130的全部或一些功能。

参考图19，移动装置400的通信装置480可以包括被配置为与外部装置通信的至少一个通信模块。例如，通信装置480可以包括短程通信模块481、有线通信模块482和无线通信模块483中的至少一者。

短程通信模块481可以包括各种短程通信模块(例如，蓝牙模块、红外通信模块、射频识别(rfid)通信模块、无线局域网(wlan)通信模块、nfc通信模块和zigbee通信模块)，该短程通信模块被配置为使用短程无线通信模块来发送和接收信号。

有线通信模块482可以包括各种有线通信模块，例如，局域网(lan)模块、广域网(wan)模块或增值网络(van)模块，以及各种线缆通信模块，例如，通用串行总线(usb)、高清多媒体接口(hdmi)、数字视频接口(dvi)、推荐标准232(rs-232)、电力线通信或普通老式电话服务(pots)。

无线通信模块483可以包括支持各种无线通信方法的无线通信模块，例如，wifi模块、无线宽带模块、全球移动通信系统(gsm)、码分多址(cdma)、宽带码分多址(wcdma)、通用移动通信系统(umts)、时分多址(tdma)、长期演进(lte)、4g和5g。

例如，移动装置400可以经由短程通信模块481或有线通信模块482连接到车辆200，并且移动装置400可以经由无线通信模块483连接到远程对话系统服务器1或外部内容服务器300。

图20为示出在移动装置中设置对话系统的移动单独方式的控制框图。

如图20所示，根据移动单独方式，可以在移动装置400中设置对话系统100。

因此，不必为了对话处理而连接到远程对话系统服务器1，移动装置400就可以自己处理与用户的对话并且提供用户所需的服务。不过，移动装置400可以从外部内容服务器300获取用于对话处理和服务提供的一部分信息。

根据上述方式中的任何方式，形成对话系统100的组件可以在物理上彼此分开，或者可以省略一些组件。例如，即使当在远程对话系统服务器1中提供对话系统100时，也可以在单独的服务器或车辆中提供形成对话系统100的一些组件。单独服务器的操作员或管理员可以与远程对话系统服务器1的操作员或管理员相同或不同。例如，可以在单独的服务器中提供稍后描述的语音识别器或自然语言理解部分，并且对话系统100可以从单独的服务器接收语音识别的结果或关于用户的话语的自然语言理解的结果。另选地，可以在单独的服务器中提供存储装置140。

将详细描述对话系统100的每个组件的详细配置和详细操作的描述。根据稍后描述的实施例，为了便于说明，假设对话系统100设置在车辆200中。稍后描述的对话系统100的特定组件可以根据其操作来分类，并且对于所述组件是否由相同的处理器和存储器来实现以及处理器和存储器的物理位置可以没有限制。

图21、图22a和图22b为详细示出对话系统的配置中的输入处理器的配置的控制框图。

参考图21，输入处理器110可以包括处理语音输入的语音输入处理器111和处理语境信息的语境信息处理器112。

通过语音输入装置210输入的用户语音可以被发送到语音输入处理器111，以及通过除了语音之外的信息输入装置220输入的用户语音之外的输入可以被发送到语境信息处理器112。

车辆控制器240可以将车辆状态信息、行驶环境信息和用户信息发送到语境信息处理器112。可以从连接到车辆200的外部内容服务器300或移动装置400提供行驶环境信息和用户信息。

除语音之外的输入均可以包含在语境信息中。也就是说，语境信息可以包括车辆状态信息、行驶环境信息、用户信息、乘客登上车辆信息、停留点到达信息和停留点离开信息。乘客登上车辆信息可以对应于指示乘客是否登上车辆的语境信息，停留点到达信息可以对应于指示车辆是否到达停留点的语境信息，以及停留点离开信息可以对应于指示车辆在到达停留点之后是否从停留点离开的语境信息。

对话系统100可以基于通过语音输入装置210识别车辆中的乘员之间的对话而获取的关于乘客的信息以及通过除语音之外的信息输入装置220获取的乘客的信息来获取乘客登上车辆信息。

另外，对话系统100可以基于由车辆检测器260检测到的诸如当前位置和车辆速度的车辆状态信息来确定车辆是否到达停留点或从停留点离开，并且对话系统100可以获取停留点到达信息和停留点离开信息。

车辆状态信息可以包括指示车辆状态并且由设置在车辆200中的传感器获取的信息，以及与车辆相关并且存储在车辆中的信息，例如车辆的燃料类型。

行驶环境信息可以为由设置在车辆200中的传感器获取的信息。行驶环境信息可包括由前置摄像头、后置摄像头或立体摄像头获取的图像信息，由传感器(例如雷达、激光雷达、超声波传感器)获取的障碍物信息，以及由雨水传感器获取的与降雨量有关的信息和雨速信息。

行驶环境信息还可以包括经由v2x获取的交通状态信息、交通灯信息以及相邻车辆接近或相邻车辆碰撞风险信息。

用户信息可以包括由设置在车辆中的摄像头或生物识别读取器测量的与用户状态有关的信息，由用户使用设置在车辆中的输入装置直接输入的与该用户有关的信息，存储在外部内容服务器300中的与用户相关的信息，以及存储在连接到车辆的移动装置400中的信息。

语音输入处理器111可以包括：语音识别器111a，其通过识别输入的用户的语音输出文本类型的话语；自然语言理解部分111b，其通过将自然语言理解技术应用于用户的话语来识别话语中包含的用户的意图；以及对话输入管理器111c，其将对自然语言理解的结果和语境信息发送到对话管理器120。

语音识别器111a可以包括语音识别引擎，并且语音识别引擎可以通过将语音识别算法应用于输入语音来识别用户说出的语音并生成识别结果。

由于输入语音被转换为用于语音识别的更有用的形式，因此语音识别器111a可以通过从语音信号中检测起点和终点来检测包括在语音中的实际语音部分。这称为终点检测(epd)。

语音识别器111a可以通过应用特征向量提取技术，例如倒谱(cepstrum)、线性预测系数(lpc)、梅尔频率倒谱系数(mfcc)或滤波器组能量(filterbankenergy)，从检测到的部分获取输入语音的特征向量。

语音识别器111a可以通过将提取的特征向量与训练的参考图案(pattern)进行比较来获取识别结果。此时，语音识别器111a可以使用建模并比较语音的信号特征的声学模型，以及建模与识别词汇对应的单词或音节的语言顺序关系的语言模型。为此，存储装置140可以存储声学模型和语言模型db。

声学模型可以被分类为将识别对象设置为特征向量模型并且将特征向量模型与语音信号的特征向量进行比较的直接比较方法，以及统计处理识别对象的特征向量的统计方法。

直接比较方法是将诸如作为识别对象的单词或音素的单元设置到特征向量模型，并将接收到的语音与特征向量模型进行比较以确定它们之间的相似性。直接比较方法的代表性示例为向量量化。向量量化是将接收到的语音信号的特征向量映射到作为参考模型的码本，以将映射的结果编码为代表值，并对代表值彼此进行比较。

统计模型方法是将识别对象的单元配置为状态序列并使用状态序列之间的关系。每个状态序列可以配置有多个节点。使用状态序列之间的关系的方法可以分类为动态时间扭曲(dtw)、隐马尔可夫模型(hmm)和使用神经网络的方法。

dtw为一种考虑到即使同一个人说出相同的发音，信号的长度也随时间变化的语音的动态特征，通过与参考模型进行比较来补偿时间轴上的差异的方法。hmm为一种将语音假设为具有状态转移概率和每个状态中的节点(输出符号)的观察概率的马尔可夫处理，然后基于学习数据估算节点的状态转移概率和观察概率并从估算的模型计算生成接收到的语音的概率的识别方法。

同时，通过将构成语言的单元之间的顺序关系应用于通过语音识别获取的单元，对单词、音节等的语言顺序关系建模的语言模型可以减少声学模糊和识别错误。语言模型可以包括统计语言模型和基于有限状态自动机(fsa)的模型。统计语言模型使用单词的链概率，诸如unigram、bigram和trigram。

语音识别器111a可以使用上述方法中的任何一种方法来进行语音识别。例如，语音识别器111a可以使用应用hmm的声学模型，或者声学模型与语音模型组合的n最佳搜索方法。n最佳搜索方法可以通过使用声学模型和语言模型选择n个或更少识别结果候选项，然后重新评价识别结果候选项的排名来改进识别性能。

语音识别器111a可以计算置信度值以确保识别结果的可靠性。置信度值可以为表示语音识别结果有多可靠的标准。例如，可以对于作为识别结果的音素或单词将置信度值定义为从不同音素或单词发出相应音素或单词的概率的相对值。因此，置信度值可以表示为0到1之间或1到100之间的值。

当置信度值大于预定阈值时，语音识别器111a可以输出识别结果以允许执行与识别结果相对应的操作。当置信度值等于或小于阈值时，语音识别器111a可以拒绝识别结果。

另外，语音识别器111a可以通过语音输入装置210来区分乘客的语音输入。具体地，语音识别器111a可以通过比较通过语音输入装置210输入的乘客语音的非言语语音特征和言语特征来区分每位乘客的语音。非言语语音特征可以包括乘客语音的高度、强度、呼吸和速度。言语特征可以包括乘客语音的方言、俚语和重音。

另外，语音识别器111a可以通过区分通过语音输入装置210输入的乘客语音来确定新乘客是否登上车辆。

作为语音识别器111a的识别结果的文本形式的话语可以输入到自然语言理解部分111b。

自然语言理解部分111b可以通过应用自然语言理解技术来识别包括在话语语言中的用户话语的意图。因此，用户可以通过自然对话输入控制命令，并且对话系统100还可以经由对话引起控制命令的输入并提供用户所需的服务。

自然语言理解部分111b可以对呈文本形式的话语执行语素分析。语素为含义的最小单位，并表示不能再细分的最小语义元素。因此，语素分析为自然语言理解的第一步，并将输入字符串转换为语素字符串。

自然语言理解部分111b可以基于语素分析结果从话语中获取域。所述域可用于识别用户话语语言的主题，指示各种主题(例如路线引导、天气搜索、交通搜索、日程管理、燃料管理和空调控制、乘客登上车辆以及乘客数量的变化)的域可以存储为数据库。

自然语言理解部分111b可以从话语中识别实体名称。所述实体名称可以为专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部分111b可以使用实体名称识别从句子中获取重要关键词并识别句子的含义。

自然语言理解部分111b可以分析包含在话语中的语音行为。语音行为分析可以被配置为识别用户话语的意图，例如，用户是否询问问题，用户是否进行请求，用户是否响应或用户是否简单地表达情绪。

自然语言理解部分111b提取与用户的话语的意图相对应的动作。自然语言理解部分111b可以基于例如域、实体名称和语音行为的信息来识别用户的话语的意图，并提取与所述话语相对应的动作。所述动作可以由对象和运算符(operator)定义。

自然语言理解部分111b可以获取与动作执行有关的参数。与动作执行相关的参数可以为动作执行直接需要的有效参数，或者为用于提取有效参数的无效参数。

例如，当用户的话语为“让我们去首尔站”时，自然语言理解部分111b可以获取作为与话语对应的域的“导航”，以及作为动作的“路线引导”，其中，语音行为对应于“请求”。

实体名称“首尔站”可以对应于与动作执行相关的[参数：目的地]，但是可能需要该站的特定出口号或gps信息来实际地经由导航系统来引导路线。在这种情况下，由自然语言理解部分111b提取的[参数：目的地：首尔站]可以为用于在多个首尔站poi中搜索用户实际期望的“首尔站”的候选参数。

自然语言理解部分111b可以获取被配置为表达单词之间或句子之间的关系的工具，例如，解析树。

作为自然语言理解部分111b的处理结果的语素分析结果、域信息、动作信息、语音行为信息、提取的参数信息、实体名称信息和解析树可以被发送到对话输入管理器111c。

另外，作为自然语言理解部分111b的处理结果的语素分析结果、域信息、动作信息、语音行为信息、提取的参数信息、实体名称信息和解析树可以通过乘客确定器111d被发送到对话输入管理器111c。

乘客确定器111d基于自然语言理解部分111b的输出来估算车辆中的乘客数量的变化。具体地，乘客确定器111d可以基于车辆中的乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性，并且乘客确定器111d可以基于车辆中的呼叫会话来估算潜在乘客的数量。

乘客确定器111d可以基于乘客数量的变化的估算结果来生成乘客数量信息。

乘客数量信息可以包括每位乘客在停留点处离开车辆的可能性，每位乘客在停留点处离开之后再次登上车辆的可能性，以及潜在乘客在停留点处登上车辆的可能性。

语境信息处理器112可包括：语境信息收集器112a，从除语音之外的信息输入装置220和车辆控制器240收集信息；语境信息收集管理器112b，管理语境信息的收集；以及语境理解部分112c，基于自然语言理解的结果和收集的语境信息理解语境。

输入处理器110可以包括：存储器，用于执行上述操作和稍后描述的操作的程序存储在该存储器中；以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器，并且当提供多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。

包含在输入处理器110中的语音输入处理器111和语境信息处理器112可以由相同的处理器和存储器或单独的处理器和存储器实现。

在下文中，将参考图22a和图22b详细描述输入处理器110的组件使用存储在存储装置140中的信息处理输入数据的方法。

参考图22a，自然语言理解部分111b可以使用域/动作推断规则db141进行域提取、实体识别、语音行为分析和动作提取。

在域/动作推断规则db141中，可以存储域提取规则、语音行为分析规则、实体名称转换规则、动作提取规则。

诸如除语音之外的用户输入、车辆状态信息、行驶环境信息和用户信息的其他信息可以被输入到语境信息收集器112a，然后存储在语境信息db142、长期存储器143或短期存储器144中。

例如，由车辆检测器260检测到的原始数据可以按传感器类型和传感器值分类，然后存储在语境信息db142中。

在短期存储器144和长期存储器143中，可以存储对用户有意义的数据，可以包括当前用户状态、用户的偏好和取向或用于确定用户的偏好和取向的数据。

如上所述，确保持久性并因此可长期使用的信息可以存储在长期存储器143中，可以包括用户的电话簿、日程安排、偏好、学历、性格、工作以及家庭成员有关的信息。另外，长期存储器143可以存储与行驶相关的行驶相关信息和在行驶时乘客登上车辆的乘客信息。

不能确保持久性或具有不确定性并因此在短期内可用的信息可以存储在短期存储器144中，可以包括当前和先前位置、今天日程安排、先前对话内容、对话参与者、环境、域和驾驶员状态。根据数据类型，可以在语境信息db142、短期存储器144和长期存储器143中的至少两个存储装置中重复存储数据。

另外，在存储在短期存储器144中的信息中，可以将确定为确保持久性的数据发送到长期存储器143。

可以使用存储在短期存储器144或语境信息db142中的信息来获取要存储在长期存储器143中的信息。例如，可以通过分析存储特定持续时间的目的地信息或对话内容来获取用户的偏好，并且可以将获取的用户的偏好存储在长期存储器143中。

通过使用存储在短期存储器144或语境信息db142中的信息获得要存储在长期存储器143中的信息，可以在对话系统100中执行或者在另外的外部系统中执行。

在前一种情况下，可以在结果处理器130的存储器管理器135中执行。在这种情况下，在存储在短期存储器144或语境信息db142中的数据中获取有意义信息或持久信息(例如，用户的偏好或取向)时所使用的数据可以以日志文件类型存储在长期存储器143中。

存储器管理器135可以通过分析存储超过特定持续时间的数据来获取持久数据，并且将所述数据重新输入长期存储器143中。在长期存储器143中，存储持久数据的位置可以与以日志文件类型存储的数据所存储的位置不同。

存储器管理器135可以确定存储在短期存储器144中的数据中的持久数据，并将确定的数据移动并存储到长期存储器143中。

如图22b所示，当在附加外部系统中使用存储在短期存储器144或语境信息db142中的信息获得要存储在长期存储器143中的信息时，可以使用设置有通信器810、存储装置820和控制器830的数据管理系统800。

通信器810可以接收存储在语境信息db142或短期存储器144中的数据。存储的所有数据可以被发送到通信器810，或者可以选择用于获取有意义信息或持久信息(例如用户的偏好或取向)时所使用的数据，然后将其发送。接收到的数据可以存储在存储装置820中。

控制器830可以通过分析所存储的数据来获取持久数据，然后经由通信器810将获取的数据发送到对话系统100。发送的数据可以存储在对话系统100的长期存储器143中。

另外，对话输入管理器111c可以通过将自然语言理解部分111b的输出结果发送到语境理解部分112c来获取与动作执行有关的语境信息。

语境理解部分112c可以通过参考语境理解表145中的按照动作存储的语境信息来确定哪个语境信息与对应于用户的话语的意图的动作执行相关。

图23a和图23b为示出存储在语境理解表中的信息的示例的视图。

参考图23a的示例，可以根据每个动作将与动作执行相关的语境信息和语境信息的类型存储在语境理解表145中。

例如，当动作为路线引导时，可能需要当前位置作为语境信息，并且语境信息的类型可以为gps信息。当动作为车辆状态检查时，可能需要行驶距离作为语境信息，并且语境信息的类型可以为整数。当动作为加油站推荐时，可能需要剩余燃料量和耗尽距离(dte)作为语境信息，并且语境信息的类型可以为整数。

当与对应于用户话语的意图的动作执行相关的语境信息预存储在语境信息db142、长期存储器143或短期存储器144中时，语境理解部分112c可以从语境信息db142、长期存储器143或短期存储器144获取相应的信息，并将相应的信息发送到对话输入管理器111c。

当与对应于用户话语的意图的动作执行相关的语境信息未存储在语境信息db142，长期存储器143或短期存储器144中时，语境理解部分112c可以请求语境信息收集管理器112b所需的信息。语境信息收集管理器112b可以允许语境信息收集器112a收集所需信息。

语境信息收集器112a可以周期性地收集数据或仅在特定事件发生时收集数据。另外，语境信息收集器112a可以周期性地收集数据，然后在特定事件发生时另外收集数据。此外，当从语境信息收集管理器112b接收数据收集请求时，语境信息收集器112a可以收集数据。

语境信息收集器112a可以收集所需信息，然后将信息存储在语境信息db142或短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。

语境信息收集管理器112b可以将确认信号发送到语境理解部分112c，并且语境理解部分112c可以从长期存储器143或短期存储器144中获取所需信息，然后将所需信息发送到对话输入管理器111c。

具体地，当与用户的话语的意图相对应的动作为路线引导时，语境理解部分112c可以搜索语境理解表145并且识别出与路线引导相关的语境信息为当前位置。

当当前位置预存储在短期存储器144中时，语境理解部分112c可以获取当前位置并将当前位置发送到对话输入管理器111c。

当当前位置未存储在短期存储器144中时，语境理解部分112c可以向语境信息收集管理器112b请求当前位置，并且语境信息收集管理器112b可以允许语境信息收集器112a从车辆控制器240获取当前位置。

语境信息收集器112a可以获取当前位置，然后将当前位置存储在短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。语境信息收集管理器112b可以将确认信号发送到语境理解部分112c，并且语境理解部分112c可以从短期存储器144中获取当前位置信息，然后将该信息发送到对话输入管理器111c。

对话输入管理器111c可以将自然语言理解部分111b的输出和语境理解部分112c的输出发送到对话管理器120，并且对话输入管理器111c可以设法防止重复输入被输入到对话管理器120。此时，自然语言理解部分111b的输出和语境理解部分112c的输出可以组合为一个输出然后发送到对话管理器120或者可以各自独立地发送到对话管理器120。

当语境信息收集管理器112b确定由于语境信息收集器112a所收集的数据满足预定条件而发生某个事件时，语境信息收集管理器112b可以将动作触发信号发送到语境理解部分112c。语境理解部分112c可以搜索语境理解表145以用于搜索与相应事件有关的语境信息，并且当搜索到的语境信息未存储在语境理解表145中时，语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。

例如，当由于由语境信息收集器112a收集的除语音之外的信息输入装置220的车辆操作信息满足预定条件，语境信息收集管理器112b确定乘客登上车辆时，语境信息收集管理器112b可以将动作触发信号发送到语境理解部分112c。语境理解部分112c可以搜索语境理解表145以用于搜索与相应事件有关的语境信息，并且当搜索到的语境信息未存储在语境理解表145中时，语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。如图23b所示，可以根据每个事件将与所述事件相关的语境信息和语境信息的类型存储在语境理解表145中。

例如，当所生成的事件为发动机温度警告时，可以将整数形式的发动机温度存储为与所述事件相关的语境信息。当所生成的事件为驾驶员困倦驾驶检测时，可以将整数形式的驾驶员困倦驾驶状态存储为与所述事件相关的语境信息。当所生成的事件为轮胎气压不足时，可以将整数形式的轮胎气压存储为与所述事件相关的语境信息。当所生成的事件为燃料警告时，可以将整数形式的耗尽距离(dte)存储为与所述事件相关的语境信息。当所生成的事件为传感器错误时，可以将文本形式的传感器名称存储为与所述事件相关的语境信息。

另外，如图23c所示，可以根据每个事件将与所述事件相关的语境信息和语境信息的类型存储在语境理解表145中。当所生成的事件为窗户调节按钮操作时，可以将文本形式的窗户调节信息存储为语境信息。当所生成的事件为座位调节按钮操作时，可以将文本形式的座位调节信息存储为语境信息。当所生成的事件为空调调节按钮操作时，可以将文本形式的空调调节信息存储为语境信息。另外，可以发生与乘客登上车辆相关的事件，并且此时，可以将文本形式的乘客登上车辆信息存储为语境信息。

语境信息收集管理器112b可以经由语境信息收集器112a收集所需的语境信息，并将确认信号发送到语境理解部分112c。语境理解部分112c可以从语境信息db142、长期存储器143或短期存储器144获取所需的语境信息，然后将语境信息与动作信息一起发送到对话输入管理器111c。

对话输入管理器111c可以将语境理解部分112c的输出输入到对话管理器120。

在下文中，将描述在输入用户的话语之前对话系统100自己输出预话语的情况。

图24为示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制框图，以及图25a、图25b和图25c，图25d为示出在预话语条件表中存储的信息的示例的视图。

参考图24，对话系统100的输入处理器110还可以包括：预话语确定器151，其确定是否为预话语语境；以及重复任务处理器152。存储装置140还可以包括存储预话语条件的预话语条件表145a和任务处理db145b。

存储在语境信息db142、长期存储器143和短期存储器144中的数据可以被发送到预话语确定器151。预话语确定器151可以分析发送的数据并确定发送的数据是否满足存储在预话语条件表145a中的预话语条件。

另外，输入处理器110的语音输入处理器111和语境信息处理器112可以生成指示乘客是否登上车辆的语境信息，并将所生成的语境信息发送到预话语确定器151。

输入处理器110的乘客确定器111d可以基于乘客数量的变化的估算结果生成乘客数量信息，并且将所生成的乘客数量信息发送到预话语确定器151。

另外，当确定车辆已经离开停留点时，乘客确定器111d可以基于乘客数量信息比较在到达停留点之前获取的乘客数量的变化的估算结果与在离开停留点之后乘客数量的变化的结果，并将比较结果发送到预话语确定器151。

预话语确定器151可以分析乘客数量信息和比较结果，并确定发送的数据是否满足存储在预话语条件表145a中的预话语条件。参考图25a的示例，在预话语条件表145a中，可以存储每个语境信息的与语境信息相关的预话语条件和当满足相应的预话语条件时所输出的预话语消息。

当从语境信息db142发送的语境信息满足预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以与对应的预话语语境所对应的预话语消息一起将预话语触发信号发送到语境理解部分112c。此外，预话语确定器151可以发送与对应的预话语语境有关的信息。与对应的预话语语境相关的信息可以包括与相应的预话语语境相对应的预话语条件或者稍后描述的与预话语语境相对应的动作。

例如，当语境信息与轮胎气压相关并且轮胎气压等于或小于预定参考值时，可以满足预话语条件。当满足轮胎气压的预话语条件时，预话语确定器151可以确定预话语语境是由轮胎气压不足引起的，并且生成预话语触发信号。

预话语确定器151可以将预话语触发信号与预话语消息一起发送到语境理解部分112c。例如，在由轮胎气压不足引起的预话语语境中，可以将指示轮胎气压低(诸如“轮胎压力太低”)的预话语消息发送到语境理解部分112c。

另外，当语境信息与发动机温度相关并且发动机温度等于或高于预定参考值时，可以满足预话语条件。当满足发动机温度的预话语条件时，预话语确定器151可以确定预话语语境是由发动机温度的异常引起的，并且生成预话语触发信号。

预话语确定器151可以将预话语触发信号与预话语消息一起发送到语境理解部分112c。例如，在由发动机温度的异常引起的预话语语境中，可以将指示发动机过热(诸如“发动机温度太高”)的预话语消息发送到语境理解部分112c。

另外，当语境信息与剩余汽油量相关并且汽油的剩余量等于或小于预定参考值时，可以满足预话语条件。当用户使用车辆的导航服务设置目的地时，可以基于从当前位置到目的地的距离来设置预定参考值。当未设置目的地时，可以将默认值用作参考值。例如，小于用于指示燃料不足警告灯的参考值的值可以被设置为与汽油剩余量不足相关的预话语条件的参考值。当满足剩余汽油量的预话语条件时，预话语确定器151可以确定预话语语境是由汽油剩余量不足引起的，并生成预话语触发信号。

预话语确定器151可以将预话语触发信号与预话语消息一起发送到语境理解部分112c。例如，在由汽油剩余量不足引起的预话语语境中，指示剩余汽油量不足(诸如“剩余的汽油量不足以到达目的地”)的预话语消息可以被发送到语境理解部分112c。

然而，图25a中所示的预话语条件和预话语消息仅仅为可以应用于对话系统100的示例。在上述示例中，已经描述了对应于预话语语境的预话语消息为通知当前情况的内容的情况。然而，对话系统100也可以首先建议执行预话语语境所需的特定功能或服务。

参考图25b，当预话语语境是由轮胎气压不足或发动机温度异常引起的时，可以存储与此相对应的如下内容的预话语消息，该内容为主动建议修理店预约服务，诸如“你想预订维修店吗？”。

另外，当预话语语境是由汽油剩余量不足引起的时，可以存储与此相对应的如下内容的预话语消息，该内容为主动建议加油站引导服务，诸如“你想要引导到加油站吗？”。

另外，当预话语语境是由车辆的内部温度引起的并且当车辆的内部温度超出预定参考范围时，可以满足预话语条件。当满足车辆内部温度的预话语条件时，语境理解部分112c可以确定预话语语境是由车辆内部温度的异常引起的，并生成预话语触发信号。

在预话语语境是由车辆内部温度异常引起的的情况下，可以存储与此相对应的如下内容的预话语消息，该内容为主动建议内部温度控制功能，诸如“你想要操作空调吗？”。

另外，当语境信息与麦克风输入相关并且麦克风输入值等于或小于预定参考值时，可以满足预话语条件。当满足麦克风输入的预话语条件时，语境理解部分112c可以确定该预话语条件为用于改变情绪的预话语语境，并且生成预话语触发信号。因此，可以存储与此对应的如下内容的预话语消息，该内容为主动建议多媒体播放服务，诸如“你想要播放音乐吗？”。

另外，当语境信息与窗户的打开和关闭以及是否下雨有关时，并且当窗户打开并且正在下雨时，可以满足预话语条件。当窗户打开并且正在下雨时，语境理解部分112c可以确定预话语语境是由窗户打开引起的，并生成预话语触发信号。

在预话语语境是由窗户打开引起的情况下，可以存储与此对应的如下内容的预话语消息，该内容为主动建议窗户关闭功能，诸如“你想要关闭窗户吗？”。

在图25a和图25b的上述示例中，已经描述了对应于预话语语境的预话语消息被预存储在预话语条件表145a中的情况。然而，对话系统100的示例不限于此，并因此可以预存储与预话语语境相对应的动作。

如上所述，当输入用户的话语时，自然语言理解部分111b可以参考域/动作推断规则db141获取与用户的话语相对应的动作。如图25c所示，当对话系统100输出预话语时，可以在每个预话语语境中预存储与预话语语境相对应的动作。

例如，当预话语语境是由轮胎气压和发动机温度的异常引起的时，“修理店引导”可以被存储为相应的动作，并且当预话语语境是由汽油剩余量不足引起的时，“加油站引导”可以被存储为相应的动作。

另外，当预话语语境为由车辆内部温度的异常引起的时，可以将“空调操作”存储为相应的动作，并且当预话语语境用于改变情绪时，“多媒体播放”可以被存储为相应的动作。当预话语语境是由窗户打开引起的时，可以将“窗户的打开和关闭”存储为相应的动作。

如上所述，当预存储对应于预话语语境的动作时，可以将预话语触发信号与对应于预话语语境的动作一起发送到语境理解部分112c，并且对话输入管理器111c可以将预话语触发信号与对应于预话语语境的动作一起输入到对话管理器120。在这种情况下，可以在对话管理器120中执行与输入用户话语的情况相同的操作。

再例如，在预话语条件表145a中，可以以预话语语境与对应于每个预话语语境的虚拟用户话语相匹配的方式存储预话语语境，或预话语确定器151可以生成对应于预话语语境的虚拟用户话语。预话语确定器151可以将存储在预话语条件表145a中或由预话语确定器151生成的用户话语以文本类型发送到自然语言理解部分111b。例如，当预话语语境是由轮胎气压的异常引起的时，可以存储或生成虚拟用户话语，诸如“检查轮胎压力”或“对修理店的引导”。另外，当预话语语境是由车辆内部温度的异常引起的时，可以存储或生成诸如“开启空调”的虚拟用户话语。

另外，根据移动装置400充当车辆和对话系统100之间的网关的移动网关方式，移动装置400的对话系统客户端470可以执行预话语确定器151的一些操作。在这种情况下，对话系统客户端470可以生成与预话语语境相对应的虚拟用户话语，并将虚拟用户话语发送到自然语言理解部分111b。

自然语言理解部分111b可以获取与所发送的虚拟用户话语相对应的域和动作，并将所述域和动作发送到对话输入管理器111c。由自然语言理解部分111b提取的动作可以变为对应于预话语语境的动作。在对应于预话语语境的动作被发送到对话管理器120之后执行的过程可以以与用户首先发声的情况相同的方式执行。

上述语境信息、预话语条件、预话语消息和动作仅仅为应用于对话系统100的实施例的示例，但是对话系统100的实施例不限于此。另外，可以存储各种语境信息、预话语条件、预话语消息和动作。

当预话语确定器151将与预话语触发信号和预话语语境相关的信息发送到语境理解部分112c时，语境理解部分112c可以将与预话语语境相关的信息发送到重复任务处理器152。

重复任务处理器152可以(基于任务处理db145b中存储的信息)确定是否已经处理了与当前发生的预话语语境相关的任务，或者所述任务是否为重复任务。

在任务处理db145b中，可以存储与已经处理或当前处理的任务有关的信息。例如，可以存储对话历史(包括对话内容和每个对话时间)、在对话时间内的车辆状态以及任务是否完成等。另外，可以存储诸如使用导航功能的路线引导任务过程和处理结果，而不管对话如何。

具体地，当预话语语境是由汽油剩余量不足引起的时，重复任务处理器152可以基于存储在任务处理db145b中的信息来确定当前是否处理了加油站引导任务。当当前执行着加油站引导的对话或当前执行着加油站引导动作时，重复任务处理器152可以确定与当前的预话语语境相关的任务为重复任务，并且终止预话语语境。

此外，当先前输出过用于加油站引导的话语时，并且当存在用户拒绝加油站引导的对话历史时，重复任务处理器152可以确定与当前的预话语语境相关的任务为重复任务，并终止预话语语境。

此外，当当前处理着使用导航功能的加油站引导任务时，重复任务处理器152也可以确定与当前的预话语语境相关的任务为重复任务，并终止预话语语境，而不管加油站引导的对话历史如何。重复任务处理器152可以基于存储在任务处理db145b中的信息识别出当前正在处理使用导航功能的加油站引导任务。

此外，当从执行与汽油剩余量的引导相关的对话时起没有经过参考时间段时，可以假设用户自己开车到加油站，即使当前尚未执行加油站引导。因此，重复任务处理器152可以确定与当前预话语语境相关的任务为重复任务，并且终止预话语语境。

此外，在预话语语境用于基于存储在长期存储器143中的信息(诸如用户的生日或家庭成员生日)指示日程安排的状态下，当存在先前引导了相同的日程安排的对话历史并且从执行了相应对话起尚未经过参考时间段时，重复任务处理器152可以确定与当前预话语语境相关的任务为重复任务，并且终止预话语语境。

也就是说，重复任务处理器152可以基于存储在任务处理db145b中的对话历史来确定先前是否输出了预话语以及关于预话语语境的用户意图。重复任务处理器152可以基于存储的对话时间、用户的意图、车辆状态或任务的完成来确定是否为重复任务。

在重复任务处理器152中，可以存储被配置为基于存储在任务处理db145b中的信息来确定是否为重复任务，即，是否终止预话语语境的策略。重复任务处理器152可以根据存储的策略确定与当前预话语语境相关的任务是否为重复任务，并且当确定为重复任务时，重复任务处理器152可以终止预话语语境。

在上述示例中，已经描述了对话系统100包括预话语确定器151、重复任务处理器152、预话语条件表145a和任务处理db145b的情况。

然而，对话系统100的示例不限于此，因此图22a和图22b中所示的组件也可以执行上述组件的操作。

例如，语境理解部分112c可以执行对应于确定是否满足预话语条件的预话语确定器151的操作，以及对应于处理重复任务的重复任务处理器152的操作。

存储在预话语条件表145a中的信息可以存储在语境理解表145中，并且存储在任务处理db145b中的信息可以存储在稍后描述的对话和动作状态db147中。

参考图25d的示例，在预话语条件表145a中，可以存储每条语境信息的与语境信息相关的预话语条件和当满足相应的预话语条件时所输出的预话语消息。

也就是说，对话系统100可以基于语境信息和预话语条件来获取存储在预话语条件表中的预话语消息。

当在语境信息与乘客是否登上车辆相关的状态下确定乘客登上车辆时，可以满足预话语条件。当由于确定了乘客登上车辆而满足预话语条件时，预话语确定器151可以确定为由乘客登上车辆引起的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在与乘客登上车辆相关的预话语语境的情况下，请求乘客的识别信息，诸如“你是谁？告诉我你的名字”的预话语消息可以发送到对话输入管理器111c。

另外，对于与乘客是否登上车辆相关的语境信息，当确定乘客没有登上车辆时，可以满足预话语条件。当由于确定了乘客未登上车辆而满足预话语条件时，预话语确定器151可以确定为由乘客未登上车辆引起的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在与乘客未登上车辆相关的预话语语境中，可以将用于验证乘客是否存在的预话语消息(诸如“是否还有其他乘客登上车辆？”)发送到对话输入管理器111c。

另外，当对话系统100在语境信息与潜在乘客是否将登上车辆相关的状态下估算潜在乘客登上车辆的可能性时，可以满足预话语条件。当由于估算了潜在乘客登上车辆的可能性而满足预话语条件时，预话语确定器151可以确定为由潜在乘客登上车辆引起的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在潜在乘客将登上车辆的预话语的情况下，验证乘客是否存在(诸如“谁在途中登上车辆？告诉我他/她的名字”)的预话语消息可以被发送到对话输入管理器111c。

另外，当在语境信息与到达停留点之前相关的状态下估算了乘客数量的变化时，可以满足预话语条件。当由于估算了乘客数量的变化而满足预话语条件时，预话语确定器151可以确定为由于在到达停留点之前的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在与到达停留点之前相关的预话语语境中，与乘客数量变化的估算结果相关的预话语，诸如“a将在停留点处离开”、“b将在停留点处离开车辆后再次登上车辆”、“c不会在停留点处离开”和“d将在停留点处登上车辆”可以被发送到对话输入管理器111c。

另外，当在语境信息与离开停留点之后相关的状态下估算了乘客数量的变化时，可以满足预话语条件。当由于估算了乘客数量的变化而满足预话语条件时，预话语确定器151可以确定为由于在离开停留点之后的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在与从停留点离开之后的预话语语境中，验证乘客数量变化的估算结果是否正确的预话语，例如“a离开？”、“b是否再次登上车辆？”、“c是否仍然在？”和“d登上车辆了吗？”可以被发送到对话输入管理器111c，以验证从停留点离开之后乘客数量变化的结果。

另外，当在语境信息与从停留点离开之后相关的状态下将乘客数量的变化的估算结果与从停留点离开之后乘客数量的变化的结果进行比较时，可以满足预话语条件。当由于将乘客数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果进行比较而满足预话语条件时，预话语确定器151可以确定为由于在从停留点离开之后的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在与从停留点离开之后相关的预话语语境中，指示乘客数量的变化的估算结果与在离开停留点之后乘客数量的变化的结果不同的预话语，诸如“当前乘客的数量与乘客数量的变化的估算结果不同”可以被发送到对话输入管理器111c，或者指示乘客数量变化的估算结果与从停留点离开之后乘客数量变化的结果相同的预话语，诸如“当前乘客的数量与乘客数量的变化的估算结果相同”可以被发送到对话输入管理器111c。

另外，当在语境信息与乘客是否登上车辆相关的状态下，确定登上车辆的乘客的特征与所存储的乘客信息相同时，可以满足预话语条件。当由于估算了乘客数量的变化而满足预话语条件时，预话语确定器151可以确定为由于乘客登上车辆的预话语语境，并且可以生成预话语触发信号。

预话语确定器151可以与所存储的预话语消息一起将预话语触发信号发送到对话输入管理器111c。例如，在由于乘客登上车辆引起的预话语语境中，可以将用于验证当前乘客是否在先前行驶中的预话语消息(诸如“你是00”)发送到对话输入管理器111c。

如上所述，对话系统100可以通过使用预话语条件表145a来确定乘客是否登上车辆并输出识别乘客的预话语。

具体地，对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息中的至少一者来确定乘客登上车辆。例如，对话系统100可以基于通过语音输入处理器111输入的车辆中的乘员之间的对话来确定乘客的登上车辆。车辆中的乘员可以包括驾驶员和至少一个乘客，并且车辆操作信息可以包括除语音之外的信息输入装置220的操作信息。

由对话系统100执行的乘客登上车辆的确定可以在从车辆200开始行驶起的特定时间段内或者在从车辆200停止行驶起的特定时间段内执行。

语音输入处理器111可以基于通过设置在车辆200中的语音输入装置210和设置在移动装置400中的语音输入装置410输入的车辆中的乘员之间的对话来区分每位乘客的语音。具体地，语音输入处理器111可以通过基于通过语音输入装置210输入的乘客语音的非言语语音特征和言语特征比较每位乘客的语音来区分每位乘客的语音。非言语语音特征可以包括乘客语音的高度、强度、呼吸和速度。言语语音特征可以包括乘客语音的方言、俚语和重音。

因此，语音输入处理器111可以通过基于一个或多个语音特征区分通过语音输入装置210和设置在移动装置400中的语音输入装置410输入的每位乘客的语音来确定每位乘客是否登上车辆。

语音特征可以包括非言语特征和言语特征中的至少一者。

车辆中的乘员之间的对话(其通过语音输入处理器111输入以确定乘客是否登上车辆)可以表示不是用于向车辆200发送意图的话语，而是包括驾驶员在内的车辆中的乘员之间的对话。

对话系统100的语境信息处理器112可以基于车辆操作信息来确定乘客登上车辆。也就是说，对话系统100可以基于车辆操作信息来确定乘客的登上车辆，以便确定是否存在由于没有参与对话而未能通过语音输入处理器111确定的登上车辆的乘客。

具体地，语境信息处理器112可以检测由乘客进行的除语音之外的信息输入装置220的操作。除语音之外的信息输入装置220可包括分别设置在副驾驶座位254b以及后座254c和254d侧的窗户调节按钮、座位调节按钮和空调调节按钮，以确定乘客登上车辆和乘客的座位位置。当检测到除语音之外的信息输入装置220的操作时，语境信息处理器112可以基于除语音之外的信息输入装置220的操作来获取车辆操作信息。

车辆操作信息可包括与副驾驶座位254b以及后座254c和254d相关的窗户调节按钮操作信息、座位调节按钮操作信息或空调调节按钮操作信息中的至少一者。

语境信息处理器112可以基于车辆操作信息来确定乘客登上车辆。

也就是说，输入处理器110可以通过语音输入处理器111和语境信息处理器112中的至少一者来收集指示乘客登上车辆的语境或乘客未登上车辆的语境的乘客登上车辆信息。

当对话系统100在从车辆200开始行驶起的一段时间内或者从车辆200停止行驶起的一段时间内确定乘客登上车辆时，对话系统100可以输出用于请求识别信息的预话语。具体地，当确定乘客登上车辆时，对话系统100可以输出用于请求识别信息的预话语。

例如，当确定乘客登上车辆时，对话系统100可以输出请求乘客的识别信息的预话语，诸如“你是谁？告诉我你的名字”。

输入处理器110的预话语确定器151可以基于预话语条件确定是否输出预话语，该预话语条件与基于与乘客是否登上车辆相关的语境信息确定乘客是否登上车辆有关。另外，当与乘客是否登上车辆的语境信息满足与乘客登上车辆的确定相对应的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取对应于与乘客登上车辆相关的预话语语境的预话语消息，诸如“你是谁？告诉我你的名字”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收乘客的话语来识别乘客。具体地，对话系统100可以通过接收乘客关于预话语消息的话语来识别乘客。

例如，乘客可以响应于请求乘客的识别信息的预话语消息而说出“我是00”。也就是说，乘客可以响应于预话语消息而说出包括他/她的姓名的消息。

当输入乘客的话语时，语音输入处理器111识别输入的乘客的话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘客的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别姓名。

另外，自然语言理解部分111b可以使用存储在长期存储器143中的驾驶员电话簿来增加姓名的识别率。具体地，自然语言理解部分111b可以通过将包含在乘客话语中的姓名与包含在电话簿中的姓名进行比较来增加姓名的识别率。

乘客确定器111d可以基于自然语言理解部分111b的输出来验证乘客的姓名，以便识别乘客的身份。

因此，基于乘客的话语，对话系统100可以识别说出该消息的乘客的身份。

另外，对话系统100可以通过基于乘客话语的方向和大小估算话语的位置来确定乘客在车辆中的座位位置。对话系统100可以基于与设置在副驾驶座位254b以及后座254c和254d上的窗户调节按钮、座位调节按钮和空调调节按钮相关的车辆操作信息来确定乘客在车辆中的座位位置。因此，对话系统100可以通过将乘客与车辆中的座位位置进行映射来为每位乘客生成座位位置信息。

当在行驶时改变乘客的座位位置时，对话系统100可以基于乘客的话语和车辆操作信息来估算乘客的座位位置的变化，并确定乘客的改变的座位位置。在这种情况下，对话系统100可以通过应用改变的乘客座位位置来生成座位位置信息。

关于识别出的乘客的乘客信息可以实时存储在存储装置140中，其中，乘客信息可以包括个人识别信息、乘客语音的一个或多个语音特征以及座位位置信息。

当确定乘客未登上车辆时，对话系统100可输出验证乘客是否存在的预话语。具体地，当对话系统100确定在从车辆200开始行驶起的一段时间内或从车辆200停止行驶起的一段时间内乘客未登上车辆时，对话系统100可以输出验证乘客是否存在的预话语。

例如，当对话系统100确定在从车辆200开始行驶起的一段时间内或从车辆200停止行驶起的一段时间内乘客未登上车辆时，对话系统100可以输出验证乘客是否存在的预话语，“是否还有其他乘客登上车辆？”。

预话语确定器151可以基于与乘客是否登上车辆相关的语境信息，根据与乘客未登上车辆相关的预话语条件来确定是否输出预话语。另外，当与乘客是否登上车辆相关的语境信息满足与乘客未登上车辆相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取与乘客未登上车辆的预话语语境相对应的预话语消息，诸如“是否还有其他乘客登上车辆？”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收驾驶员的话语来验证乘客是否存在。具体地，对话系统100可以通过接收驾驶员的关于预话语消息的话语来验证乘客是否存在。

例如，响应于验证乘客是否存在的预话语消息，驾驶员可以说出“没有”或“有”。也就是说，驾驶员可以响应于预话语消息而说出包括指示乘客存在的响应的消息。

当输入驾驶员的话语时，语音输入处理器111识别输入的驾驶员的话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入驾驶员的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解部分111b可以从话语中识别实体名称。所述实体名称可以为专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部分111b可以利用实体名称识别从句子中获取重要关键词并识别句子的含义。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别实体名称。

作为自然语言理解的结果的自然语言理解部分111b的输出可以包括实体名称和与乘客的话语相对应的语素分析的结果。

乘客确定器111d可以基于自然语言理解部分111b的输出来识别乘客的存在。

因此，语音输入处理器111可以基于驾驶员的话语来验证乘客的存在。

对话系统100可以通过识别乘客来估算每位乘客在停留点处离开车辆的可能性以及每位乘客在停留点处离开之后再次登上车辆的可能性并引导。

另外，对话系统100可以基于在从车辆200开始行驶起的一段时间内或从车辆200停止行驶起的一段时间内车辆中的乘员之间的对话和车辆操作信息来执行乘客的识别。因此，对话系统100可以连续识别新乘客。

另外，当对话系统100错误地将已经登上车辆的乘客识别为新乘客并输出预话语时，乘客可以通过说出包括他/她的姓名的消息来通知他/她为现有乘客。

对话系统100可以通过使用预话语条件表145a来估算乘客数量的变化并输出关于乘客数量变化的估算结果的预话语。

具体地，如上所述，对话系统100可以识别乘客。对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息中的至少一者来确定乘客的登上车辆，并且通过使用预话语来识别乘客。

对话系统100可以基于车辆中的乘员之间的对话来生成乘客数量信息。具体地，对话系统100可以通过连续接收车辆中的乘员之间的对话来确定每位乘客在特定停留点处离开车辆的可能性以及每位乘客在特定停留点处离开后再次登上车辆的可能性。

例如，对话系统100的语音输入处理器111可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410连续地接收车辆中的乘员之间的对话。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解部分111b可以从话语中识别实体名称。所述实体名称可以为专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部分111b可以使用实体名称识别从句子中获取重要关键词并识别句子的含义。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别实体名称。

作为自然语言理解的结果的自然语言理解部分111b的输出可以包括实体名称和与乘客的话语相对应的语素分析的结果。

乘客确定器111d可以基于自然语言理解部分111b的输出来估算乘客数量的变化。具体地，乘客确定器111d可以通过分析乘客的话语来估算在特定停留点处的乘客数量的变化。

例如，当某个乘客发出指示他/她将在特定停留点处离开的消息，诸如“我即将在首尔站离开”时，语音识别器111a可以输出文本形式的某个乘客的话语，并且自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

具体地，自然语言理解部分111b可以输出语素分析结果，诸如“我”、“很快”、对应于实体名称的“首尔站”以及“离开”。

乘客确定器111d可以基于自然语言理解部分111b的实体名称和语素分析结果来估算特定乘客将在特定停留点处离开。

具体地，当某个乘客发出指示他/她将在特定停留点处离开的消息，诸如“我即将在首尔站离开”时，乘客确定器111d可以估算该特定乘客将会在不久的将来在首尔站离开。也就是说，乘客确定器111d可以估算特定乘客在特定停留点离开的可能性及其时间点。

此外，当某位乘客说出指示他/她将在特定停留点处离开然后再次登上车辆的消息，诸如“我即将在首尔站离开并再次登上车辆”时，自然语言理解部分111b可以输出语素分析结果，诸如“我”、“离开”、对应于实体名称的“首尔站”、“再次”和“登上车辆”。

乘客确定器111d可以基于自然语言理解部分111b的实体名称和语素分析结果来估算特定乘客将在特定停留点处离开并再次登上车辆。

具体地，当某个乘客发出指示他/她将在特定停留点处离开并再次登上车辆的消息，诸如“我即将在首尔站离开并再次登上车辆”时，乘客确定器111d可以估算该特定乘客将在首尔站离开并再次登上车辆。也就是说，乘客确定器111d可以估算特定乘客在离开后再次登上车辆的可能性。

另外，对话系统100可以通过接收车辆中的呼叫会话确定被叫方登上车辆的可能性来估算潜在乘客的数量。

具体地，当车辆中的乘客说出指示特定潜在乘客将在特定停留点处登上车辆的消息，诸如“我们将很快在首尔站见面”时，自然语言理解部分111b可以输出语素分析结果，诸如“很快”、对应于实体名称的“首尔站”以及“见面”。

乘客确定器111d可以基于自然语言理解部分111b的实体名称和语素分析结果来估算潜在乘客将在特定停留点处登上车辆。

具体地，当车辆中的乘员说出指示特定潜在乘客将在特定停留点处登上车辆的消息，诸如“我们将很快在首尔站见面”时，乘客确定器111d可以估算该特定的潜在乘客将在首尔站处登上车辆。也就是说，乘客确定器111d可以估算潜在乘客登上车辆的可能性。

当估算潜在乘客登上车辆的可能性时，对话系统100可以输出用于验证潜在乘客登上车辆可能性的预话语。

例如，当估算潜在乘客登上车辆的可能性时，对话系统100可以输出用于验证潜在乘客登上车辆可能性的预话语，诸如“谁在中途登上车辆？告诉我他/她的名字”。

预话语确定器151可以基于与潜在乘客是否将登上车辆相关的语境信息，根据与登上车辆可能性的估算相关的预话语条件来确定是否输出预话语。另外，当与潜在乘客是否将登上车辆相关的语境信息满足与潜在乘客登上车辆的可能性的估算相关的预话语条件时，预话语确定器151可以确定为预话语语境，并生成预话语触发信号。

预话语确定器151可以获取与潜在乘客将登上车辆的预话语语境相对应的预话语消息，例如“谁在中途登上车辆？告诉我他/她的名字”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收在车辆中的乘员话语来验证潜在乘客登上车辆的可能性。具体地，对话系统100可以通过接收关于预话语消息的乘员的话语来验证潜在乘客是否存在。

乘客确定器111d可以基于自然语言理解部分111b的输出来估算车辆中的乘客数量的变化。具体地，乘客确定器111d可以基于呼叫会话来估算潜在乘客的数量，并且乘客确定器111d还可以基于车辆中乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性。

乘客确定器111d可以基于乘客数量的变化的估算结果来生成乘客数量信息。

也就是说，乘客确定器111d可以基于每位乘客在停留点处离开车辆的可能性、每位乘客在停留点处离开之后再次登上车辆的可能性以及潜在乘客在停留点处登上车辆的可能性来生成乘客数量信息。

在到达停留点之前，对话系统100可以基于乘客数量信息输出与乘客数量的变化的估算结果有关的预话语。

例如，当确定车辆200在到达停留点之前，对话系统100可以输出与乘客数量变化的估算结果相关的预话语，诸如“a将在停留点处离开”、“b将在停留点处离开车辆后再次登上车辆”、“c不会在停留点处离开”和“d将在停留点处登上车辆”。

也就是说，在到达停留点处之前，对话系统100可以输出乘客数量信息中包含的与每位乘客在停留点处离开车辆的可能性、每位乘客在停留点处再次登上车辆的可能性以及在停留点处登上车辆的可能性相关的预话语。

然而，对话系统100可以不仅在到达停留点处之前，而且在到达停留点处之后，也基于乘客数量信息输出与乘客数量的变化的估算结果有关的预话语。

此外，与每位乘客在停留点处离开车辆的可能性、每位乘客在停留点再次登上车辆的可能性以及在停留点处登上车辆的可能性相关的内容可以包括关于离开车辆的乘客数量的消息，诸如“下次再见”，以及关于乘客在离开车辆后再次登上车辆的消息，诸如“旅行愉快并安全地回来”。

对话系统100可以基于诸如由车辆检测器260检测到的车辆位置和车辆速度的车辆状态信息来确定车辆是否刚好在到达停留点之前或车辆是否刚好在到达停留点之后。

具体地，当档位放置在p档位上时，对话系统100可以确定车辆200到达停留点，并且当速度等于或小于10kph时，对话系统100可以确定车辆200刚好在到达停留点之前。

预话语确定器151可以基于与到达停留点之前相关的语境信息、根据与乘客数量的变化的估算相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于从乘客确定器111d发送的乘客数量信息来确定满足与乘客数量的变化的估算相关的预话语条件。另外，当与到达停留点之前相关的语境信息满足与乘客数量的变化的估算相关的预话语条件时，预话语确定器151可以确定为预话语语境，并生成预话语触发信号。

预话语确定器151可以基于乘客数量信息，获取与估算乘客数量变化的预话语语境相对应的预话语消息，诸如“a将在停留点处离开”、“b将在停留点处离开车辆后再次登上车辆”、“c不会在停留点处离开”和“d将在停靠点登上车辆”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以基于乘客数量信息将乘客数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果进行比较。

对话系统100可以基于诸如由车辆检测器260检测到的车辆位置和车辆速度的车辆状态信息来确定车辆是否离开停留点。

具体地，对话系统100可以基于诸如停车制动器被释放、点火开启或制动踏板开启的事实来确定车辆离开停留点。

对话系统100可以通过语音输入处理器111和语境信息处理器112来检测乘客，并通过乘客确定器111d识别乘客，以确定在从停留点离开之后乘客数量的变化的结果。

因此，当确定车辆200离开停留点时，对话系统100的乘客确定器111d可以将基于乘客数量信息的乘客数量的变化的估算结果与从停留点离开之后的乘客数量变化的结果进行比较。

另外，对话系统100可以输出预话语以将乘客数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果进行比较。

例如，对话系统100可以输出验证乘客数量的变化的估算结果是否正确的预话语，以便验证在离开停留点之后乘客数量的变化的结果。具体地，对话系统100可以输出确定在停留点处确定要离开的乘客是否在停留点处离开的预话语，诸如“a离开？”，以及确定在停留点处确定要离开车辆之后再次登上车辆的乘客是否在停留点再次登上车辆的预话语，诸如“b再次登上车辆了吗？”。

另外，对话系统100可以输出确定在停留点处确定不会离开的乘客是否在停留点处没有离开的预话语，诸如“c仍在？”，以及确定在停留点处确定要登上车辆的潜在乘客是否在停留点登上车辆的预话语，诸如“d登上车辆了吗？”。

预话语确定器151可以基于从停留点离开之后的语境信息，根据与是否估算乘客数量的变化相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于从乘客确定器111d发送的乘客数量信息来确定满足与乘客数量的变化的估算相关的预话语条件。另外，当与离开停留点之后相关的语境信息满足与乘客数量的变化的估算相关的预话语条件时，预话语确定器151可以确定为预话语语境，并生成预话语触发信号。

预话语确定器151可以获取与乘客数量的变化相对应的预话语消息。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示它为预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收在车辆中的乘员话语来验证乘客数量的变化的结果。具体地，对话系统100的乘客确定器111d可以通过接收对应于预话语消息的乘员的话语来验证乘客数量的变化的结果。

例如，乘员可以响应于询问确定要在停留点处离开的乘客是否在停留点处离开的预话语消息，诸如“a离开？”，而说出“是，他/她离开了”或“不，他/她登上了车辆”。也就是说，车辆中的乘员可以响应于询问确定要在停留点处离开的乘客是否在停留点处离开的预话语消息而说出指示乘客数量变化的结果的消息。

当输入在车辆中的乘员的话语时，语音输入处理器111识别输入的在车辆中的乘员话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘员的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别乘客数量的变化的结果。

因此，对话系统100的乘客确定器111d可以基于车辆中的乘员之间的对话来验证乘客数量的变化的结果。

对话系统100可以输出与乘客数量的变化的估算结果和从停留点处离开之后的乘客数量的变化的结果之间的比较结果相关的预话语。

例如，对话系统100可以输出指示乘客数量的变化的估算结果与从停留点处离开之后的乘客数量的变化的结果不同的预话语消息，诸如“当前乘客的数量与乘客数量的变化的估算结果不同”，以及指示乘客数量变化的估算结果与在离开停留点之后的乘客数量的变化的结果相同的预话语消息，诸如“当前乘客的数量与乘客数量的变化的估算结果相同”。

具体地，预话语确定器151可以基于与在离开停留点之后相关的语境信息，根据与是否将乘客数量的变化的估算结果与离开停留点之后的乘客数量的变化的结果进行比较相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于从乘客确定器111d发送的乘客的数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果之间的比较结果来确定满足预话语条件。另外，当在从停留点处离开之后的语境信息满足与乘客数量的变化的估算结果和从离开停留点之后的乘客数量的变化的结果之间的比较相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以基于乘客数量的变化的估算结果与离开停留点之后的乘客数量的变化的结果之间的比较结果来获取指示比较结果的预话语消息。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

因此，驾驶员可以基于乘客数量的变化的估算结果与从停留点处离开之后的乘客数量的变化的结果之间的比较结果来验证每位乘客是离开还是登上车辆，并专注于车辆管理，诸如行驶和停车，而不关注乘客离开还是登上车辆。

另外，可以防止乘客由于他/她没能再次登上车辆而留在停留点的情况或者当车辆到达停留点时乘客没能离开的情况。

当车辆的行驶终止时，对话系统100可以存储行驶相关信息和关于每位乘客的乘客信息。

例如，当终止车辆的行驶时，对话系统100的存储装置140可以存储与车辆行驶有关的信息和在行驶时登上车辆的每位乘客的乘客信息。

具体地，对话系统100的存储装置140可以存储关于车辆的行驶的行驶相关信息，诸如行驶的出发点、停留点和目的地，以及关于乘客的乘客信息，诸如个人识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开时间信息、登上车辆位置信息以及与离开车辆的位置有关的信息。

也就是说，对话系统100的存储装置140可以通过从车辆控制器240收集gps值来存储与车辆的行驶相关的行驶相关信息，诸如行驶的出发点、停留点和目的地。

另外，对话系统100的存储装置140可以收集乘客识别信息、语音特征信息、座位位置信息和乘客数量信息并且存储关于乘客的乘客信息，诸如乘客识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开时间信息、登上车辆位置信息以及与离开车辆的位置有关的信息。

此外，对话系统100可以通过使用预话语条件表145a来确定乘客登上车辆并输出当前乘客是否为先前行驶中的同一乘客的预话语。

具体地，对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息来确定乘客登上车辆。具体地，输入处理器110的语音输入处理器111可以通过接收车辆中的乘员之间的对话来确定乘客登上车辆，并且获取诸如每位乘客的语音特征、座位位置、登上车辆时间和登上车辆位置的特征。

对话系统100可以确定乘客特征是否与存储的乘客特征相同。具体地，对话系统100的语音输入处理器111可以将从存储装置140获取的乘客的特征与确定为登上车辆的乘客的乘客特征(诸如语音特征、座位位置、登上车辆时间和登上车辆位置)进行比较。

例如，语音输入处理器111可以将包含在乘客信息中的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置与确定登上车辆的乘客的特征进行比较。

当乘客信息中包含的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置中的至少两者与检测到的乘客特征相同时，语音输入处理器111可以确定被确定为登上车辆的乘客的特征与乘客信息相同。

当比较乘客信息中包含的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置与检测到的乘客的特征时，语音输入处理器111可以将一定范围内的类似的语音特征、座位位置、登上车辆时间、登上车辆位置确定为相同。

当确定被确定登上车辆的乘客的特征与存储的乘客信息相同时，对话系统100可以输出验证乘客是否参与先前行驶的预话语。

例如，当被确定登上车辆的乘客的特征与存储的乘客信息相同时，对话系统100可以输出验证乘客是否与先前行驶中的乘客相同的预话语，诸如“你是00？”。

预话语确定器151可以基于与乘客是否登上车辆相关的语境信息，根据与被确定登上车辆的乘客的特征与存储的乘客信息相同相关的预话语条件来确定是否输出预话语。另外，当与乘客是否登上车辆相关的语境信息满足与被确定为登上车辆的乘客的特征和所存储的乘客信息相同相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取与乘客登上车辆的预话语语境相对应的预话语消息，诸如“你是00？”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收在车辆中的乘客的话语来验证乘客是否参与了先前的行驶。具体地，对话系统100可以通过接收对应于预话语消息的乘客话语来验证乘客是否参与了先前的行驶。

例如，乘客可以响应于询问乘客是否参与先前行驶的预话语消息而说出“是”或“否”。也就是说，乘客可以响应于询问乘客是否参与了先前行驶的预话语消息而说出包括指示乘客是否参与先前行驶的响应的消息。

当输入乘客的话语时，语音输入处理器111识别输入的在车辆中的乘客话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘客的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别乘客是否参与先前的行驶。

因此，对话系统100的乘客确定器111d可以基于车辆中的乘员的话语来验证乘客是否参与先前行驶。

当确定乘客参与了先前行驶时，对话系统100可以基于车辆中的乘员之间的对话和存储的乘客信息来生成乘客数量信息。也就是说，当基于车辆中的乘员之间的对话生成乘客数量信息时，对话系统100可以另外考虑所存储的乘客信息。

例如，对话系统100的乘客确定器111d可以基于自然语言理解部分111b的输出来估算在停留点处的乘客数量的变化。具体地，乘客确定器111d可以基于车辆中的乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性，并且乘客确定器111d可以基于车辆中的呼叫会话来估算潜在乘客登上车辆的数量。

当基于车辆中的乘员之间的对话来估算乘客数量的变化时，乘客确定器111d可以通过使用存储的乘客信息中的离开时间信息和与离开车辆的位置相关的信息来增加乘客数量变化的估算结果的准确性。

具体地，当基于车辆中的乘员之间的对话估算乘客将在特定停留点处离开时，乘客确定器111d可以通过使用存储的乘客信息中的离开时间信息和与离开车辆的位置有关的信息，验证在先前行驶中的离开时间和离开车辆的位置。

乘客确定器111d可以基于车辆中的乘员之间的对话来确定估算的乘客离开的特定停留点是否与先前行驶中的离开位置相同。

当基于车辆中的乘员之间的对话估算的乘客离开的特定停留点与先前行驶中的离开位置相同时，乘客确定器111d可以通过理由基于车辆中的乘员之间的对话估算的乘客数量的变化的估算来生成乘客信息。

当基于车辆中的乘员之间的对话估算的乘客离开的特定停留点与先前行驶中的离开位置不同时，乘客确定器111d可以通过说出对乘客的预话语来验证离开位置是否为特定停留点位置，并通过利用乘客的话语来生成乘客信息。

图26为详细示出对话管理器的配置的控制框图，图27为示出存储在关系动作db中的信息的示例的视图，图28为示出存储在动作执行条件db中的信息的示例的视图，以及图29为示出存储在动作参数db中的信息的示例的视图。

参考图26，对话管理器120可以包括：请求生成、删除和更新对话或动作的对话流管理器121；对话动作管理器122，根据对话流管理器121的请求生成、删除和更新对话或动作；模糊解算器123，通过解决语境的模糊性和对话的模糊性来澄清用户的意图；参数管理器124，管理动作执行所需的参数；动作优先级确定器125，关于多个候选动作确定动作是否可执行；以及外部信息管理器126，管理外部内容列表和相关信息，并管理外部内容查询的参数信息。

对话管理器120可以包括：存储器，用于执行上述操作和稍后描述的操作的程序存储在该存储器中；以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器，并且当提供多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。

对话管理器120中包含的每个组件可以由相同的处理器或单独的处理器实现。

另外，对话管理器120和输入处理器110可以由相同的处理器或单独的处理器实现。

当输入用户话语时或者当与预话语语境匹配的用户话语发送到自然语言理解部分111b时，对话输入管理器111c可以向对话流管理器121发送自然语言理解的结果(自然语言理解部分的输出)和语境信息(语境理解部分的输出)。另外，当发生预话语语境时，对话输入管理器111c可以发送预话语触发信号。

自然语言理解部分111b的输出可以包括与用户的话语内容相关的信息，例如语素分析结果，以及例如域和动作的信息。语境理解部分112c的输出可以包括由语境信息收集管理器112b确定的事件以及语境信息。

对话流管理器121可以搜索与由对话输入管理器111c的输入相对应的对话任务或动作任务是否存在于对话和动作状态db147中。

对话和动作状态db147可以为用于管理对话状态和动作状态的存储空间，因此对话和动作状态db147可以存储当前正在进行的对话和动作，以及与待处理的初步动作相关的对话状态和动作状态。例如，对话和动作状态db147可以存储与完成的对话和动作、停止的对话和动作、进行的对话和动作以及待处理的对话和动作有关的状态。

对话和动作状态db147可以存储与是否切换和嵌套(nesting)、切换动作索引、动作改变时间和屏幕/语音/命令有关的最后输出状态。

例如，在提取对应于用户话语的域和动作的情况下，当在最近存储的对话中存在与对应域和动作相对应的对话和动作时，对话和动作状态db147可以确定它为对应于来自对话输入管理器111c的输入的对话任务或动作任务。

当未提取对应于用户话语的域和动作时，对话和动作状态db147可以向对话动作管理器122请求生成随机任务或参考最近存储的任务。

当对话和动作状态db147中不存在与输入处理器110的输入相对应的对话任务或动作任务时，对话流管理器121可以请求对话动作管理器122生成新的对话任务或动作任务。

此外，当从输入处理器110发送预话语触发信号时，尽管存在当前执行的对话任务或动作任务，但是可以暂时停止该对话任务或动作任务，并且可以首先生成对应于预话语语境的对话任务或动作任务。另外，可以根据建立的规则选择优先级。

当从对话输入管理器111c输入预话语触发信号和对应于预话语触发信号的动作时，对话流管理器121可以以与从用户话语获得动作的情况相同的方式请求对话动作管理器122生成新的对话任务或动作任务。

此外，当从对话输入管理器111c输入对应于预话语触发信号的预话语触发信号和预话语消息时，对话流管理器121可以请求对话动作管理器122生成用于输出输入的预话语消息的新对话任务或动作任务。

当对话流管理器121管理对话流时，对话流管理器121可以参考对话策略db148。对话策略db148可以存储用于继续对话的策略，其中，所述策略可以表示用于选择、开始、建议、停止和终止对话的策略。

另外，对话策略db148可以存储关于系统输出响应的时间点和方法的策略。对话策略db148可以存储用于通过链接多个服务来生成响应的策略以及用于删除先前动作并用另一个动作来替换动作的策略。

例如，可以允许两个策略，其中，所述两个策略可以包括：立刻生成对两个动作的响应的策略，例如，“是否需要在执行a动作之后执行b动作？”；以及在生成对一个动作的响应之后生成针对另一个动作的单独响应的策略，例如，“执行a动作”→“你想要执行b动作吗？”。

对话和动作状态db147可以存储用于确定候选动作中的优先级的策略。稍后将描述优先级确定策略。

对话动作管理器122可以向对话和动作状态db147指定存储空间，并生成与输入处理器110的输出相对应的对话任务和动作任务。

当不能从用户的话语中提取域和动作时，对话动作管理器122可以生成随机对话状态。在这种情况下，如稍后所述，模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图，并确定适合于用户意图的动作。

当对话和动作状态db147中存在与输入处理器110的输出相对应的对话任务或动作任务时，对话流管理器121可以请求对话动作管理器122参考相应的对话任务或动作任务。

动作优先级确定器125可以搜索关系动作db146b以搜索与输入处理器110的输出中包含的动作或事件有关的动作列表，然后动作优先级确定器125可以获取候选动作。如图27中所示，关系动作db146b可以指示彼此相关的动作、这些动作之间的关系、与事件相关的动作以及事件之间的关系。例如，路线引导、车辆状态检查和加油站推荐可以被分类为关系动作，并且其中的关系可以对应于关联。

因此，当执行路线引导时，可以一起执行车辆状态检查和加油站推荐。在这种情况下，“一起执行”可以包括在路线引导之前或之后执行车辆状态检查和加油站推荐的情况以及在路线引导期间(例如，添加为停留点)执行车辆状态检查和加油站推荐的情况。

警告灯输出事件可以被存储为与修理店引导动作相关的事件动作，并且它们之间的关系可以对应于关联。

当警告灯输出事件发生时，可以根据警告灯类型或是否需要修理来执行修理店引导动作。

当输入处理器110将与用户的话语相对应的动作与由语境信息收集管理器112b确定的事件一起发送时，与对应于用户的话语的动作相关的动作和与事件相关的动作可以成为候选动作。

可以将提取的候选动作列表发送到对话动作管理器122，并且对话动作管理器122可以通过添加候选动作列表来更新对话和动作状态db147的动作状态。

动作优先级确定器125可以在动作执行条件db146c中搜索执行每个候选动作的条件。

如图28所示，动作执行条件db146c可以根据每个动作存储执行动作所需的条件，以及用于确定是否满足相应条件的参数。

例如，用于车辆状态检查的执行条件可以为目的地距离等于或大于100km的情况，其中，用于确定所述条件的参数可以对应于目的地距离。加油站推荐的条件可以为目的地距离大于耗尽距离(dte)的情况，其中，用于确定所述条件的参数可以对应于目的地距离和耗尽距离(dte)。

动作优先级确定器125可以将候选动作的执行条件发送到对话动作管理器122，并且对话动作管理器122可以按照每个候选动作添加执行条件并更新对话和动作状态db147的动作状态。

动作优先级确定器125可以从语境信息db142、长期存储器143、短期存储器144或者对话和动作状态db147中搜索确定动作执行条件所需的参数(下文中称为条件确定参数)，并使用搜索到的参数确定是否可以执行候选动作。

当用于确定动作执行条件的参数未存储在语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147中时，动作优先级确定器125可以经由外部信息管理器126从外部内容服务器300获取所需参数。

动作优先级确定器125可以使用用于确定动作执行条件的参数来确定是否可以执行候选动作。另外，动作优先级确定器125可以基于是否可执行候选动作和存储在对话策略db148中的优先级确定规则来确定候选动作的优先级。

可以根据当前情况计算每个候选动作的得分。可以给予具有更高计算得分的候选动作以更高的优先级。例如，对应于用户话语的动作、安全得分、便利得分、处理时间、处理时间点(是否需要立即处理)、用户偏好(用户在建议服务时的接受程度或由用户预先确定的偏好)、管理员得分、与车辆状态相关的得分以及动作成功率(对话成功率)可以用作用于计算得分的参数，如下面的等式1所示。w1、w2、w3、w4、w5、w6、w7、w8和w9表示每个参数的权重值。

[等式1]

优先级得分＝w1*用户话语动作+w2*安全得分+w3*便利得分+w4*处理时间+w5*处理时间点+w6*用户偏好+w7*管理员得分+w8*与车辆状态相关的得分+w9*动作成功率*动作执行的可能性(1：可能，尚未知晓，0：不可能)*动作完成状态(完成：1，未完成：0)。

如上所述，动作优先级确定器125可以通过搜索直接关联到用户的话语和语境信息的动作以及与其相关的动作列表，并通过确定它们之间的优先级来向用户提供最需要的服务。

动作优先级确定器125可以将候选动作执行的可能性和优先级发送到对话动作管理器122，并且对话动作管理器122可以通过添加发送的信息来更新对话和动作状态db147的动作状态。

参数管理器124可以在动作参数db146a中搜索用于执行每个候选动作的参数(下文中称为动作参数)。

如图29中所示，动作参数db146a可以按照每个动作存储必要参数、选择性参数、参数的初始值和用于获取参数的参考位置。在存储有参数的初始值的状态下，当在从输入处理器110输出的用户的话语和语境信息中不存在与对应参数相对应的参数值并且在语境信息db142中也不存在参数值时，可以根据存储的初始值执行动作，或者可以根据存储的初始值向用户确认是否执行动作。

例如，用于路线引导的必要参数可以包括当前位置和目的地，并且选择性参数可以包括路线的类型。可以将选择性参数的初始值存储为快速路线。可以通过按顺序搜索对话和动作状态db147、语境信息db142、短期存储器144或长期存储器143来获取当前位置和目的地。

用于车辆状态检查的必要参数可以包括车辆状态信息，并且选择性参数可以包括待检查的部分(下文中称为“检查部分”)。可以将整个部分(整体)存储为选择性参数的初始值。可以从语境信息db142中获取车辆状态信息。

加油站推荐的选择性参数可以包括喜欢的加油站，并且“a加油站”可以存储为选择性参数的初始值。可以从长期存储器143中获取最喜欢的加油站。选择性参数还可以包括车辆的燃料类型和燃料价格。

如上所述，参数管理器124可以从对应的参考位置获取在动作参数db146a中搜索到的参数的参数值。获取参数值的参考位置可以为语境信息db142、短期存储器144或长期存储器143、对话和动作状态db147以及外部内容服务器300中的至少一者。

参数管理器124可以经由外部信息管理器126从300获取参数值。外部信息管理器126可以通过参考外部服务集合db146d来确定从哪里获取信息。

外部服务集合db146d可以存储与连接到对话系统100的外部内容服务器有关的信息。例如，外部服务集合db146d可以存储外部服务名称、关于外部服务的说明、从外部服务提供的信息的类型、外部服务使用方法以及提供外部服务的主体。

由参数管理器124获取的参数值可以被发送到对话动作管理器122，并且对话动作管理器122可以通过根据候选动作将初始值添加到动作状态来更新对话和动作状态db147。

参数管理器124可以获取所有候选动作的参数值，或者参数管理器124可以仅获取被确定为可由动作优先级确定器125执行的候选动作的参数值。

参数管理器124可以选择性地使用指示相同信息的不同类型的参数值中的参数值。例如，通过使用导航系统的目的地搜索服务，可以将指示目的地并且呈文本形式的“首尔站”转换为poi的形式的“首尔站”。

当对话和语境中不存在模糊时，可以根据动作优先级确定器125、参数管理器124和外部信息管理器126的上述操作来获取所需信息并管理对话和动作。当对话和语境中存在模糊时，可能难以仅使用动作优先级确定器125、参数管理器124和外部信息管理器126的操作来提供用户所需的服务。

在这种情况下，模糊解算器123可以处理对话中或语境中的模糊。例如，当对话中包含回指(例如，那个人、昨天的那个地方、父亲、母亲、祖母和儿媳)时，可能存在模糊，因为不清楚回指代表谁或者哪一个。在这种情况下，模糊解算器123可以通过参考语境信息db142、长期存储器143或短期存储器144来解决模糊，或者提供解决模糊的指导。

例如，“昨天的那个地方”、“住宅附近的市场”和“我昨天去过的首尔站”中包含的含糊不清的词可以对应于动作参数的参数值或条件确定参数的参数值。然而，在这种情况下，由于单词的模糊性，不能通过使用相应的单词来执行实际动作或确定动作执行条件。

模糊解算器123可以通过参考存储在语境信息db142、长期存储器143或短期存储器144中的信息来解决参数值的模糊性。根据需要，模糊解算器123可以通过使用外部信息管理器126从外部内容服务器300获取所需信息。

例如，模糊解算器123可以通过参考短期存储器144来搜索用户昨天去过的地方，以便将“昨天的那个地方”转换为可用作路线引导动作的目的地的信息。模糊解算器123可以通过参考长期存储器143来搜索用户的住宅地址，并且从外部内容服务器300获取与用户的住宅地址附近的a市场相关的位置信息。因此，模糊解算器123可以将“住宅附近的市场”转换为可用作路线引导动作的目的地的信息。

当输入处理器110没有清楚地提取动作(对象和操作符)时或者当用户的意图不清楚时，模糊解算器123可以通过参考模糊解析信息db146e来识别用户的意图，并确定对应于所识别的意图的动作。

图30为示出存储在模糊解析信息db中的信息的示例的表格。

基于车辆状态信息和周围环境信息，模糊解析信息db146e可以将话语与对应于话语的动作相匹配，然后存储所述话语和动作。存储在模糊解析信息db146e中的话语可以为不能通过自然语言理解提取动作的话语。图30示出了根据语素分析结果的话语内容为手要冻了或手冷的情况。

周围环境信息可以包括车辆的室外温度以及是否在下雨，并且车辆状态信息可以包括空调和加热器的开/关以及空调的风量和风向以及方向盘电热丝的开/关。

具体地，在下雨时室外温度超过20度的状态下，当空调开启(on)时，可以识别出因空调温度设定为低而感到手要冻了，因此“将空调温度增加3度”可以存储为与其对应的车辆控制动作。

在下雨时室外温度超过20度的状态下，当空调关闭(off)时，可以识别出用户因下雨而感到寒冷，并因此“加热器开启”可以被存储为与其对应的车辆控制动作。

在没有下雨时室外温度超过20度的状态下，当空调开启(on)并且空调的风向为上部时，可以识别出因为空调的风直接影响到手而感到手要冻了，因此“将空调的风向改变到下侧”可以被存储为与其对应的车辆控制动作。

在没有下雨时室外温度超过20度的状态下，当空调开启(on)、空调的风向为下侧并且风量设定为超过中间水平时，可以识别出由于空调的风量过大而使用户感觉到寒冷，因此“降低空调的风量”可以被存储为与其对应的车辆控制动作。

在没有下雨时室外温度超过20度的状态下，当空调开启(on)、空调的风向为下侧并且风量设定为弱时，“将空调温度增加3度”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，当加热器关闭(off)时，可以识别出由于寒冷天气导致手要冻了，并因此“开启加热器”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，当加热器开启(on)并且方向盘电热丝关闭时，可以识别出因为热空气不会被传递到手上而手要冻了，并因此，“方向盘电热丝开启”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，当加热器和方向盘电热丝开启(on)并且加热器的风向为下侧时，可以识别出因为加热器的风不会传递到手上而手要冻了，并因此“将加热器的风向改变为双向”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，加热器和方向盘电热丝开启(on)，加热器的风向为上侧，当加热器温度设定为低于最高温度时，“增加加热器的温度”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，加热器和方向盘电热丝开启(on)，加热器的风向为上侧，并且加热器温度设定为最高，当加热器的容量未设定为最高时，“增加加热器的风量”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，加热器和方向盘电热丝开启(on)，加热器的风向为上侧，并且加热器温度和加热器的风量设定为最高，当座位电热丝关闭时，“开启座位电热丝”可以被存储为与其对应的车辆控制动作。

在室外温度低于20度的状态下，加热器和方向盘电热丝开启(on)，加热器的风向为上侧，并且加热器温度和加热器的风量设定为最高，当座位电热丝开启时，“通知等待一段时间，因为加热器现在处于全操作(满载)状态”可以被存储为与其对应的车辆控制动作。

图31a和图31b为示出由于模糊解算器通过参考模糊解析信息db来解决模糊性并提取动作而执行车辆控制的各种示例的表格。

例如，如图31a和图31b所示，在根据语素分析结果的话语内容为手要冻了或手冷的状态下，当周围环境为夏天、车辆状态为空调的风向为在乘客头部的上侧(上侧)、空调设定温度为19度并且空调的风量为高水平时，可以识别出手由于空调的风指向手而要冻了。可以将用于在将风向改变到脚侧(下侧)的同时降低风量强度的空调控制动作提取为与话语相对应的动作，并且可以根据所提取的动作来控制车辆。

在具有相同内容的话语中，当周围环境为冬天、车辆状态为空调的风向为乘客的脚、空调设定温度为25度并且空调的风量为高水平时，可以识别出因为热空气不会传递到手上而手要冻了。“开启方向盘电热丝”动作可以被提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在根据语素分析结果的话语内容为“烦躁”的状态下，当车速为30km或更低并且前后间隙小于30cm时，可以识别出烦躁是由于交通繁忙引起的。因此，可以将“在路线引导动作中改变路线选项(快速路线引导)”、“播放多媒体内容，例如音乐”或“开启聊天功能”提取为与话语相对应的动作，并且可以根据提取的动作控制车辆。

在根据语素分析结果的话语内容为“困倦”的状态下，当车辆状态为内部空气模式时，可以识别出困倦是由缺乏空气流通引起的。因此，可以将“改变为外部空气模式”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中，当车辆状态为外部空气模式并且加热器开启(on)时，可以识别出困倦是由加热器发出的热空气引起的。可以将“打开窗户”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在根据语素分析结果的话语内容为“出汗”或“热”的状态下，当周围环境为冬天并且加热器开启(on)时，可以识别出热量是由加热器发出的热空气引起的。因此，“降低加热器温度”或“减小风量”可以被存储为与话语相对应的动作。

在具有相同内容的话语中，当周围环境为冬天并且当加热器关闭(off)时，可以识别出热量是由用户的体热引起的。因此，可以将“打开窗户”或“建议打开窗户”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且当空调关闭(off)时，可以识别出热量是由车辆的内部温度升高引起的。因此，可以将“开启空调”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且当空调开启(on)时，可以识别出热量是由设定为高的空调温度引起的。因此，可以将“降低空调温度”或“增加空调的风量”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在根据语素分析结果的话语内容为“冷”的状态下，当周围环境为夏天并且当空调开启(on)时，可以识别出冷是由空调温度设定得过低或受到空调过强的风力引起的。因此，可以将“增加空调温度”或“减小风量”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且当空调关闭(off)时，可以识别出冷是由用户的身体状况引起的。可以将“操作加热器”或“检查用户的生物节律”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为冬天并且加热器开启(on)时，可以识别出冷是由加热器温度设定为低或弱风量引起的。因此，可以将“增加加热器温度”或“增加风量”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为冬天并且加热器关闭(关闭)时，可以识别出冷是由于加热器的未操作引起的。可以将“操作加热器”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在根据语素分析结果的话语内容为“头部疼痛”的状态下，当周围环境为冬天并且加热器开启(on)时，可以识别出头痛是由缺乏空气流通引起的。因此，可以将“改变为外部空气模式”或“打开窗户”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中，当周围环境为冬天并且加热器关闭(off)时，可以识别出头痛是由寒冷引起的。可以将“操作加热器”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且空调关闭(off)时，可以识别出头痛是由热引起的。可以将“操作空调”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且打开空调(on)时，可以识别出头痛是由空气调节引起的。可以将“改变空调的风向或风量”提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。

在根据语素分析结果的话语内容为“不舒服”的状态下，当周围环境为冬天并且正在下雨时，可以识别出不舒服是由高湿度引起的。因此，可以将“操作除雾功能”或“操作除湿功能”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且没有下雨时，可以识别出不舒服是由季节特征和热引起的。因此，可以将“在最低温度下操作空调”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

在具有相同内容的话语中，当周围环境为夏天并且正在下雨时，可以识别出不舒服是由热和高湿度引起的。因此，可以将“在除湿模式下操作空调”提取为对应于话语的动作，并且可以根据提取的动作控制车辆。

根据上述模糊解算器123的操作，尽管在用户的话语或情况中存在模糊性，但模糊解算器123可以通过整体考虑用户话语的周围环境信息和车辆状态信息来精确地识别用户实际期望的动作，或者用户实际需要的动作，并且提供期望的动作和所需的动作。

与模糊解算器123确定的动作有关的信息可以被发送到对话动作管理器122，并且对话动作管理器122可以基于发送的信息更新对话和动作状态db147。

如上所述，动作优先级确定器125和参数管理器124可以确定关于由模糊解算器123确定的动作的动作执行条件，确定其优先级并获取参数值。

当获取了用于执行每个动作的参数值中的所有能够通过当前语境和对话获取的值时，对话动作管理器122可以向对话流管理器121发送信号。

当在对话和动作状态db147、外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在用于动作执行和条件确定的必要参数值，只能通过用户获取这些必要参数时，结果处理器130可以生成用于向用户询问参数值的对话响应。

对话流管理器121可以将与对应于第一优先级动作的动作有关的信息和对话状态发送到结果处理器130。另外，对话流管理器121可以根据对话策略发送与多个候选动作有关的信息。

当对话系统100输出预话语时，即预话语触发信号由输入处理器110生成时，从结果处理器130发送的对话状态可以包括预话语触发信号。然而，不要求预话语触发信号包含在对话状态中，而是只要指示预话语语境，任何类型的信息都可以包含在对话状态中。当指示预话语语境的信息包含在对话状态中时，结果处理器130可以优先于其他类型响应，首先输出对话响应，或者输出对话响应以及其他类型响应。

在对话系统100输出预话语的状态下，当从对话输入管理器111c输入对应于预话语语境的预话语消息时，可以将预话语消息发送到结果处理器130而无需上述模糊解决方案、参数管理和动作优先级确定的过程。

在对话系统100输出预话语的状态下，当从对话输入管理器111c输入对应于预话语语境的动作时，可以在经过上述模糊解决方案、参数管理和动作优先级确定的过程的情况下或不经过上述过程的情况下，将预话语消息发送到结果处理器130。

图32为详细示出结果处理器的配置的控制框图。

参考图32，结果处理器130可以包括：响应生成管理器131，其管理执行从对话管理器120输入的动作所需的响应的生成；对话响应生成器132，根据响应生成管理器131的请求而生成文本、图像或音频类型的响应；命令生成器136，根据响应生成管理器131的请求，生成用于车辆控制或使用外部内容提供服务的命令；服务编辑器134，其按顺序或偶尔地执行多个服务并收集其结果以提供用户期望的服务；输出管理器133，其输出所生成的文本类型响应、图像类型响应或音频类型响应，输出由命令生成器136生成的命令，或者当输出为多个时确定输出的顺序；以及存储器管理器135，其基于响应生成管理器131和输出管理器133的输出来管理长期存储器143和短期存储器144。

结果处理器130可以包括：存储器，用于执行上述操作和稍后描述的操作的程序存储在该存储器中；以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器，并且当提供多个存储器和处理器时，它们可以集成在单个芯片上或物理上分开。

包含在结果处理器130中的每个组件可以由相同的处理器或单独的处理器实现。

另外，结果处理器130、对话管理器120和输入处理器110可以由相同的处理器或单独的处理器实现。

通过对应于用户的话语或语境输出的响应可以包括对话响应、车辆控制和外部内容提供。对话响应可以包括初始对话、询问和包括信息的回答。对话响应可以作为数据库存储在响应模板149中。

响应生成管理器131可以请求对话响应生成器132和命令生成器136生成执行由对话管理器120确定的动作所需的响应。为此，响应生成管理器131可以将与待执行的动作有关的信息发送到对话响应生成器132和命令生成器136，其中，与待执行的动作有关的信息可以包括动作名称和参数值。当生成响应时，对话响应生成器132和命令生成器136可以参考当前对话状态和动作状态。

对话响应生成器132可以通过搜索响应模板149来获取对话响应模板，并通过用参数值填充所提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。当没有从对话管理器120发送生成对话响应所需的参数值时或者当发送使用外部内容的介绍时，对话响应生成器132可以从外部内容服务器300接收参数值或者搜索长期存储器143、短期存储器144或语境信息db142。

例如，当对话管理器120确定的动作对应于路线引导时，对话响应生成器132可以搜索响应模板149，并且然后提取对话响应模板“从[当前位置：-]到[目的地：-]需要[持续时间：-]。开始引导？”。

可以从对话管理器120发送对话响应模板中需要填充的参数中的[当前位置]和[目的地]，并且可以不发送[持续时间]的参数值。在这种情况下，对话响应生成器132可以向外部内容服务器300请求从[当前位置]到[目的地]花费的持续时间。

当对用户话语或语境的响应包括车辆控制或外部内容提供时，命令生成器136可以生成用于执行车辆控制或外部内容提供的命令。例如，当由对话管理器120确定的动作为空调装置、窗户、座位和avn的控制时，命令生成器136可以生成执行控制的命令，然后将所述命令发送到响应生成管理器131。

当由对话管理器120确定的动作需要外部内容提供时，命令生成器136可以生成用于从外部内容服务器300接收相应内容的命令，然后将命令发送到响应生成管理器131。

当由命令生成器136提供多个命令时，服务编辑器134可以确定执行多个命令的方法和顺序，并将该方法和顺序发送到响应生成管理器131。

响应生成管理器131可以将从对话响应生成器132、命令生成器136或服务编辑器134发送的响应发送到输出管理器133。

输出管理器133可以确定由对话响应生成器132生成的对话响应以及由命令生成器136生成的命令的输出定时、输出顺序和输出位置。

输出管理器133可以通过以适当的定时将由对话响应生成器132生成的对话响应和由命令生成器136生成的命令以适当的顺序发送到适当的输出位置来输出响应。输出管理器133可以经由扬声器232输出文本到语音(tts)响应，并且经由显示器231输出文本响应。当输出tts类型的对话响应时，输出管理器133可以使用设置在车辆200中的tts模块，或者另选地，输出管理器133可以包括tts模块。

根据控制目标，可以将命令发送到车辆控制器240或用于与外部内容服务器300通信的通信装置280。

响应生成管理器131还可以将从对话响应生成器132、命令生成器136或服务编辑器134发送的响应发送到存储器管理器135。

输出管理器133可以将自身输出的响应发送到存储器管理器135。

存储器管理器135可以基于从响应生成管理器131和输出管理器133发送的内容来管理长期存储器143或短期存储器144。例如，存储器管理器135可以通过基于所生成和输出的对话响应存储用户和系统之间的对话内容来更新短期存储器144。存储器管理器135可以通过存储通过与用户对话获取的与用户相关的信息来更新长期存储器143。

在存储在短期存储器144中的信息中，持久信息(例如，用户的偏好或取向)或用于获取持久信息的信息可以存储在长期存储器143中。

基于对应于所生成和输出的命令的车辆控制和外部内容请求，可以更新存储在长期存储器143中的用户偏好或车辆控制历史。

同时，在对话系统100在用户输入话语之前输出预话语的状态下，当从对话输入管理器111c输入对应于预话语语境的动作时，接收与动作相关的信息的对话响应生成器132可以通过搜索响应模板149获取对话响应模板，并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。对话响应可以成为对话系统100的预话语。

响应生成管理器131可以将从对话响应生成器132发送的对话响应发送到输出管理器133。

输出管理器133可以经由扬声器232输出由对话响应生成器132生成的对话响应。

当结果处理器130从对话流管理器121接收到对应于预话语语境的预话语消息本身时，输入的预话语消息可以成为对话响应，并且输入的预话语消息可以被发送到输出管理器133。

输出管理器133可以经由扬声器232输出发送的预话语消息。

当在对话系统100输出预话语之后输入用户话语时，可以执行与上述用于处理用户话语的操作相同的操作。

根据上述实施例，对话系统100可以通过考虑车辆内部发生的各种情况来提供最适合用户的服务。在不输入用户的话语的情况下，对话系统100也可以基于由其自身收集的语境信息或驾驶员信息来自己确定用户所需的服务，并主动提供服务。

例如，车辆状态的评价标准可以根据启动车辆时的情况而变化，因此可以主动地提供反馈。行驶开始时间可以被定义为车辆启动时间，释放电子停车制动器的时间点(epb)或设置导航目的地的时间点。计算行驶可用得分的车辆状况评价系统可以赋予各个装置以权重，并根据情况因素改变应用于各个装置的可变权重。当确定车辆状态存在问题时，可以提供关于各个装置的解决方案，例如修理店引导。

车辆启动时通过考虑目的地，可以确定车辆是否缺少燃料。当缺乏燃料时，作为缺少燃料的反馈，可以执行将用户喜爱的加油站添加到到目的地的路线中的自动停留点，并通知用户停车点的变化。另外，根据用户的响应，可以改变作为自动停留点添加的加油站。

尽管当前的车辆状态并不指示燃料不足，但是可以通过综合考虑用户的下一个日程安排、主要移动记录和剩余燃料量来主动提供加油站或加油时间。

通过获取与驾驶员的身体状况和睡眠记录相关的信息，可以基于所获取的信息有条件地允许车辆启动。例如，当从车辆外部通过识别身体状况和睡眠记录来识别出困倦驾驶的风险时，可以建议用户不驾驶车辆。另选地，可以根据身体状况或睡眠记录提供与推荐驾驶时间有关的信息。

当反复发生指示困倦驾驶风险的触发时，可以检测到困倦驾驶的风险并根据风险程度输出警告或提供诸如自动改变路线即改变到休息区的路线的反馈。可以通过手动测量驾驶员的状态和车辆状态(例如，心率降低的情况，前后间隙为参考距离或更多的情况，车速为参考速度或更低的情况)或经由对话的主动测量(例如向驾驶员说出问题并测量驾驶员对问题的响应速度的情况)来获取指示困倦驾驶风险的触发。

当用户输入指示情绪的话语时，对话系统100可以不从用户的话语中提取某个域或动作。然而，对话系统100可以通过使用周围环境信息、车辆状态信息和用户状态信息来识别用户的意图，然后继续对话。如上所述，该实施例可以通过模糊解算器123解决用户话语的模糊性来执行。

另外，当乘客登上车辆时，对话系统100可以确定乘客登上车辆并输出用于识别乘客的预话语。具体地，当乘客登上车辆时，对话系统100可以通过语音输入或除语音之外的输入来确定乘客登上车辆，并提出问题(例如，你是谁？告诉我你的名字)以用于识别乘客的身份。对话系统100可以接收与该问题相关的乘客的话语，并通过对话主动识别乘客。

另外，当估算车辆中的乘客数量的变化时，对话系统100可以输出与乘客数量的变化的估算结果有关的预话语。具体地，对话系统100可以通过语音输入接收车辆中的乘员之间的对话，并且估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性，以便输出与乘客人数变化的估算结果有关的预话语。

在下文中，将详细描述使用对话系统100的对话处理的示例。

图33至图45为示出当用户输入与路线引导相关的话语时对话系统100处理输入、管理对话并输出结果的特定示例的视图。

如图33所示，当用户输入话语“让我们去昨天去的首尔站”时，语音识别器111a可以以文本形式的话语(让我们去昨天去的首尔站)输出用户的语音。

自然语言理解部分111b可以通过参考域/动作推断规则db141，执行语素分析并从语素分析结果(昨天/nng、去/vv、首尔站/nnp、去/vv)输出[域：导航]、[动作：路径引导]、[语音行为；请求]和[参数：nlu：目的地：首尔站]，然后将它们输入到对话输入管理器111c。

参考图34，在将自然语言理解部分111b的自然语言理解结果发送到语境理解部分112c时语境理解部分112c中存在附加信息时，对话输入管理器111c可以请求语境理解部分112c发送附加信息。

语境理解部分112c可以搜索语境理解表145并且提取与[域：导航]和[动作：路线引导]相关的语境信息为当前位置并且语境信息的类型为gps值的事实。

语境理解部分112c可以通过搜索语境信息db142来获取当前位置的gps值。当当前位置的gps值未存储在语境信息db142中时，语境理解部分112c可以向语境信息收集管理器112b请求当前位置的gps值。

语境信息收集管理器112b可以向语境信息收集器112a发送信号，使得语境信息收集器112a收集当前位置的gps值。语境信息收集器112a可以从车辆控制器240收集当前位置的gps值，然后将当前位置的gps值存储在语境信息db142中，同时将gps值收集确认信号发送到语境信息收集管理器112b。当语境信息收集管理器112b将gps值收集确认信号发送到语境理解部分112c时，语境理解部分112c可以从语境信息db142获取当前位置的gps值，然后向对话输入管理器111c发送当前位置的gps值。

对话输入管理器111c可以将[域：导航]、[动作：路线引导]、[语音行为；请求]、[参数：nlu：目的地：首尔站]和[语境信息：当前位置：首尔站(gps值)]组合为自然语言理解结果，然后将组合信息发送到对话管理器120。

参考图35，对话流管理器121可以搜索对话和动作状态db147，并确定是否存在当前正在进行的对话任务或动作任务。此时，对话流管理器121可以参考对话策略db148。根据该实施例，假设不存在当前正在进行的对话任务或动作任务。

对话流管理器121可以请求对话动作管理器122生成与输入处理器110的输出相对应的动作任务和对话任务。动作任务和对话任务的生成可以表示指定用于存储和管理与动作状态和对话状态有关的信息的存储空间。

因此，对话动作管理器122可以指定对话和动作状态db147中的存储空间，以存储与动作状态和对话状态有关的信息。

对话动作管理器122可以将动作状态和对话状态发送到动作优先级确定器125。

动作优先级确定器125可以在关系动作db146b中搜索与路径引导相关的车辆状态检查和加油站推荐。路线引导动作和关系动作可以成为候选动作。

动作优先级确定器125可以根据预存储的规则确定候选动作的优先级。在确定候选动作的执行条件之前，可以确定优先级，或者可选地，在确定候选动作的执行条件之后，可以仅确定关于满足执行条件的候选动作的优先级。

候选动作列表可以被再次发送到对话动作管理器122，并且对话动作管理器122可以通过添加搜索到的关系动作来更新动作状态。

参考图36，动作优先级确定器125可以在动作执行条件db146c中搜索关于每个候选动作的执行条件和确定执行条件所需的参数。动作优先级确定器125还可以确定候选动作之间的优先级。

例如，用于车辆状态检查的条件可以为目的地距离等于或大于100km的情况，其中，用于确定条件的参数可以对应于目的地距离。

加油站推荐的条件可以为目的地距离大于耗尽距离(dte)的情况，其中，用于确定所述条件的参数可以对应于目的地距离和耗尽距离(dte)。

对话动作管理器122可以通过将用于执行每个候选动作的条件和确定所述条件所需的参数添加到对话和动作状态db147来更新动作状态。

动作优先级确定器125可以在对话和动作状态db147、语境信息db142、长期存储器143或短期存储器144中搜索确定候选动作是否满足执行条件所需的参数值，并且从对话和动作状态db147、语境信息db142、长期存储器143或短期存储器144获取参数值。

当参数值包含在先前对话内容中，在与对话内容相关的语境信息中，或者在与所生成的事件有关的语境信息中时，动作优先级确定器125可以从对话和动作状态db147获取参数值。

当动作优先级确定器125未能从对话和动作状态db147、语境信息db142、长期存储器143或短期存储器144获取参数值时，动作优先级确定器125可以向外部信息管理器126请求参数值。

例如，可以经由外部信息管理器126从提供导航服务的外部内容服务器300获取目的地距离，并且可以从语境信息db142获取dte。同时，为了搜索目的地距离，可能需要用于导航服务的正确目的地信息。在该实施例中，从用户的话语输入的目的地可以对应于“首尔站”，其中，“首尔站”可以包括具有以“首尔站”开头的名称的各种地方以及具有特定含义的“首尔站”。因此，仅使用“首尔站”可能难以搜索正确的目的地距离。

根据需要，可以从连接到车辆200的移动装置400获取参数值。例如，当需要未存储在长期存储器143中的用户信息(例如，联系人和日程表)作为参数值时，外部信息管理器126可以向移动装置400请求所需信息，然后获取所需的参数值。

当可能无法经由存储装置140、外部内容服务器300和移动装置400获取参数值时，可以通过询问用户来获取所需的参数值。

动作优先级确定器125可以通过使用参数值来确定候选动作的执行条件。由于未搜索到目的地距离，因此可以推迟与车辆状态检查动作和加油站推荐相关的执行条件的确定。

如图37中所示，对话动作管理器122可以通过将所获取的参数值与通过使用相应参数值确定的是否满足动作执行条件添加到对话和动作状态db147来更新动作状态。

对话动作管理器122可以向参数管理器124请求用于执行候选动作的参数列表。

参数管理器124可以从动作参数db146a获取当前位置和目的地作为用于执行路线引导动作的必要参数，并且提取路线类型(初始值：快速路线)作为选择性参数。

参数管理器124可以获取用于执行车辆状态检查动作的检查部分(初始值：整个部分)作为选择性参数，并提取喜爱的加油站(初始值：a-加油站)作为用于执行加油站推荐动作的选择性参数。

提取的参数列表可以被发送到对话动作管理器122并用于更新动作状态。

参数管理器124可以在对话和动作状态db147、语境信息db142、长期存储器143和短期存储器144中的每个参数的参考位置中搜索对应的参数值以获取对应于候选动作的必要参数和选择性参数的参数值。当需要经由外部服务提供参数值时，参数管理器124可以经由外部信息管理器126向外部内容服务器300请求所需的参数值。

用于确定候选动作的执行条件的参数和用于执行候选动作的参数可能重叠。在由动作优先级确定器125获取然后存储在对话和动作状态db147中的参数值中，当存在与用于执行候选动作的参数(必要参数和选择性参数)相对应的参数时，可以使用相应的参数。

参考图38，对话动作管理器122可以通过添加由参数管理器124获取的参数值来更新动作状态。

如上所述，当使用从用户的话语中提取的目的地(首尔站)作为路线引导动作的参数时，可能存在模糊。因此，可能尚未获取路线引导动作的参数(目的地)、车辆状态检查动作的参数(目的地距离)以及加油站推荐的参数(目的地距离)。

当[参数：nlu：目的地：首尔站]被转换为适合路线引导动作的目的地参数时，模糊解算器123可以检查是否存在模糊。如上所述，“首尔站”可以包括具有以“首尔站”开头的名称的不同种类的地方，以及具有用户特定含义的“首尔站”。

模糊解算器123可以通过参考语素分析结果来确认在用户话语中存在“首尔站”的修饰语。模糊解算器123可以在长期存储器143或短期存储器144中搜索日程安排、移动位置和联系人，以识别“我们昨天去的首尔站”的位置。

例如，模糊解算器123可以从用户昨天执行的移动位置确认“我们昨天去的首尔站”为“首尔站出口4”。在确认存在poi(例如，“首尔站出口4”)之后，模糊解算器123可以获取相应的值。

由模糊解算器123获取的目的地信息可以被发送到对话动作管理器122，并且对话动作管理器122可以通过向候选动作的目的地参数添加“首尔站出口4”来更新动作状态。

参数管理器124可以从对话和动作状态db147获取目的地信息(首尔站出口4)，并且经由外部信息管理器126向提供导航服务的外部内容服务器300请求目的地距离值。

参考图39，当外部信息管理器126从外部内容服务器300获取目的地距离值(80km)然后将该目的地距离值发送到参数管理器124时，参数管理器124可以将目的地距离值发送到对话动作管理器122以允许更新动作状态。

动作优先级确定器125可以通过参考动作状态来确定候选动作是否可执行，并调节候选动作的优先级。由于获取了作为必要参数的当前位置和目的地的参数值，因此可以确定路线引导动作是可执行的。由于目的地距离(70km)小于100km，因此可以确定车辆状态检查动作不可执行。由于目的地距离(80km)大于dte，因此可以确定加油站推荐动作是可执行的。

由于车辆状态检查动作不可执行，因此可以从优先级确定中排除车辆状态检查动作。因此，路线引导动作可以被排序为第一，并且加油站推荐动作可以被排序为第二。

对话动作管理器122可以根据候选动作是否可执行以及修改的优先级来更新动作状态。

对话流管理器121可以检查存储在对话和动作状态db147中的对话状态和动作状态，并且可以通过参考对话策略db148来开发对话策略以继续对话。例如，对话流管理器121可以在可执行动作中选择最高优先级动作，并且对话流管理器121可以根据对话策略db148请求响应生成管理器131生成用于进行对话的响应。

存储在对话和动作状态db147中的对话状态和动作状态可以被更新为[状态：确认路线引导开始]。

参考图40，响应生成管理器131可以响应于对话流管理器121的请求，请求生成对话响应生成器132的响应。

对话响应生成器132可以通过搜索响应模板149来生成tts响应和文本响应。例如，对话响应生成器132可以生成对话响应，该对话响应被配置为以tts和文本表格输出“预计从uiwang站到首尔站出口4需要30分钟。你想开始引导吗？”。

作为另一示例，对话流管理器121可以将预话语事件发送到对话响应生成器132。因此，对话响应生成器132可以生成对话，该对话被配置为以tts和文本表格输出“你是谁？，告诉我你的名字”。另选地，对话响应生成器132可以生成对话，该对话被配置为以tts和文本表格输出“a将在停留点处离开”。换句话说，对话响应生成器132可以生成用于在乘客登上车辆时识别乘客的问题，并且对话响应生成器132可以确定每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性并生成与其相关的对话。

响应生成管理器131可以将由对话响应生成器132生成的tts响应和文本响应发送到输出管理器133和存储器管理器135，并且输出管理器133可以将tts响应发送到扬声器232并将文本响应发送到显示器231。此时，输出管理器133可以将tts响应在通过被配置为将文本与语音组合的tts模块之后发送到扬声器232。

存储器管理器135可以在短期存储器144或长期存储器143中存储用户请求路线引导。

被配置为询问“预计从uiwang站到首尔站4号出口需要30分钟。你想开始引导吗？”的对话响应可以经由显示器231和扬声器232输出。如图41所示，当用户说出“是”时，可以将用户的话语输入到语音识别器111a，然后输出为[文本：是]，并且自然语言理解部分111b可以输出[域：-]、[动作：-]、[语音动作：-]和[语素分析结果：是/ic]。

可以将自然语言理解结果发送到对话输入管理器111c，并且对话输入管理器111c可以将自然语言理解结果发送到对话管理器120。

参考图42，对话流管理器121可以搜索对话和动作状态db147并分析先前的对话状态。对话流管理器121可以请求对话动作管理器122更新与当前执行的[路线引导]相关的对话/动作。

对话动作管理器122可以将对话状态和动作状态更新为[状态：路线引导开始]。

对话流管理器121可以请求结果处理器130生成用于开始路线引导的响应。

参考图43，对话动作管理器122可以将对话状态更新为[状态：进行下一个对话]并将动作状态更新为[状态：执行]。

对话流管理器121可以请求响应生成管理器131生成对路线引导的响应。

对话响应生成器132可以生成被配置为将“开始路线引导”输出为tts和文本表格的对话响应，然后将对话响应发送到响应生成管理器131。

命令生成器136可以生成用于执行路线引导的命令[目标：导航、命令：路线引导，目的地：首尔站出口4，出发：uiwang站]，然后将该命令发送到响应生成管理器131。

响应生成管理器131可以将生成的对话响应和命令发送到输出管理器133。输出管理器133可以经由显示器231和扬声器232输出对话响应。输出管理器133可以经由车辆控制器240将路线引导命令发送到车辆200的avn230，或者发送到提供导航服务的外部内容服务器300。

参考图44，对话流管理器121可以选择加油站推荐作为下一个可执行动作，并请求响应生成管理器131生成响应，该响应被配置为询问用户是否推荐加油站。

对话状态和动作状态可以被更新为[状态：检查相关的服务推荐]。

响应生成管理器131可以请求对话响应生成器132生成tts响应和文本响应，并且对话响应生成器132可以生成对话响应，该对话响应被配置为以tts和文本表格输出“没有足够的燃料到达目的地。你想将a-加油站添加到停留点吗？”。对话响应生成器132可以将该tts和文本发送到响应生成管理器131。

响应生成管理器131可以将由对话响应生成器132生成的tts响应和文本响应发送到输出管理器133和存储器管理器135，并且输出管理器133可以将tts响应发送到扬声器232并将文本响应发送到显示器231。

被配置为询问“没有足够的燃料到达目的地。您想要将油站添加到停留点吗？”的对话响应可以经由显示器231和扬声器232输出。如图45所示，当用户说出“否”时，可以将用户的话语输入到语音识别器111a，然后输出为[文本：否]，并且自然语言理解部分111b可以输出[域：-]、[动作：-]、[语音行为：-]和[语素分析结果：否/ic]。

对话流管理器121可以请求对话动作管理器122更新对话状态和动作状态。

对话动作管理器122可以将对话状态更新为[状态：进行下一个对话]并将动作状态更新为[状态：取消]。

对话流管理器121可以请求响应生成管理器131生成指示加油站推荐服务被取消的响应，并且对话流管理器121可以检查是否存在要继续进行的对话。当要继续的对话不存在时，对话流管理器121可以将对话状态更新为[状态：空闲]并等待用户的输入。

上述数据处理的流程仅为应用于对话系统100的示例。因此，对话系统100的每个组件处理数据的顺序不限于上述示例，因此多个组件可以同时处理数据，或者多个组件可以按与上述示例不同的顺序处理数据。

在下文中，根据实施例，将描述对话处理方法。根据实施例，对话处理方法可以应用于上述对话系统100或设置有对话系统100的车辆200。因此，图1至图45的描述将以相同的方式应用于对话处理方法。

图46为示出根据实施例的在对话处理方法中处理用户输入的方法的流程图。处理用户输入的方法可以在对话系统100的输入处理器110中执行。

参考图46，当输入用户的话语时(500中的是)，语音识别器111a可以识别输入的用户的话语(510)。用户的话语可以输入到设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。

自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语(520)，并输出自然语言理解的结果。

具体地，自然语言理解过程(520)可以包括对文本形式的话语执行语素分析(521)、基于语素分析结果从话语中提取域(522)、识别实体名称(523)、分析言语行为(524)并提取动作(525)。

可以通过参考域/动作推断规则db141来执行域的提取、实体名称的识别和动作的提取。

自然语言理解部分111b的输出，即自然语言理解的结果，可以包括与用户的话语相对应的域、动作、语音行为以及语素分析的结果。

可以搜索与提取的动作有关的语境信息(530)。与提取的动作有关的语境信息可以存储在语境理解表145中。语境理解部分112c可以在语境理解表145中搜索与提取的动作有关的语境信息，并且语境信息处理器112可以从语境信息db142、长期存储器143或短期存储器144中获取搜索到的语境信息的信息值。

当需要附加语境信息时(540中的是)，即，不能从语境信息db142、长期存储器143或短期存储器144获取语境信息的情况下，语境理解部分112c可以请求收集相应的语境信息(550)。除了语音之外的输入，例如车辆状态信息、周围环境信息和驾驶员信息可以与用户的话语的输入分开，经由语境信息收集器112a输入。

信息可以周期性地输入或仅在发生特定事件时输入。另外，信息可以周期性地输入，然后在发生特定事件时另外输入。在任何情况下，当请求收集信息时，可以主动收集相应的信息。

因此，当已经收集了与动作相关的语境信息时，可以从语境信息db142、长期存储器143或短期存储器144获取相应的信息，否则，相应的信息可以经由语境信息收集器112a收集。

当接收到用于收集语境信息的请求的语境信息收集器112a收集对应的语境信息并将该信息存储在语境信息db142中时，语境理解部分112c可以从语境信息db142获取相应的语境信息。

当语境信息收集管理器112b确定由于语境信息收集器112a所收集的数据满足预定条件而发生某个事件时，语境信息收集管理器112b可以将动作触发信号发送到语境理解部分112c。

语境理解部分112c可以搜索语境理解表145以用于搜索与相应事件有关的语境信息，并且当搜索到的语境信息未存储在语境理解表145中时，语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。

当完成所需语境信息的收集时，可以将自然语言理解的结果和语境信息发送到对话管理器120(560)。当事件发生时，还可以发送与事件有关的信息(发生哪个事件)和与发生的事件有关的语境信息。

图47为示出根据实施例的在对话处理方法中使用输入处理器的输出来管理对话的方法的流程图。对话处理方法可以由对话系统100的对话管理器120执行。

参考图47，对话流管理器121可以在对话和动作状态db147中搜索相关对话历史(600)。

在该实施例中，描述从用户的话语中提取域和动作的情况作为示例，但是可能存在这样的情况：不可能从用户的话语中提取域和动作，因为存在话语内容或语境的模糊性。在这种情况下，对话动作管理器122可以生成随机对话状态，并且模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图，并且确定适合用户意图的动作。

当存在相关对话历史时(600中的是)，可以参考相关对话历史(690)。当不存在相关对话历史时(600中的否)，可以生成新的对话任务和动作任务(610)。

可以在关系动作db146b中搜索与从用户的话语中提取的动作(下文中称为输入动作)相关的相关动作列表，并且可以生成候选动作列表(620)。输入动作和与输入动作相关的动作可以对应于候选动作列表。

可以在动作执行条件db146c中搜索根据每个候选动作的执行条件(620)。执行条件可以表示执行动作的必要条件。因此，当满足相应条件时，可以确定动作是可执行的，但是当不满足相应条件时，可以确定动作不可执行。在动作执行条件db146c中，还可以存储与用于确定动作执行条件的参数的类型有关的信息。

可以获取用于确定动作执行条件的参数值(640)。用于确定动作执行条件的参数可以被称为条件确定参数。可以通过搜索语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147来获取条件确定参数的参数值。当需要经由外部服务提供条件确定参数的参数值时，可以经由外部信息管理器126从外部内容服务器300提供所需参数值。

当由于语境和话语中的模糊性而不可能获取所需的参数值时，可以通过使用模糊解算器123解决模糊来获取所需的参数值。

尽管所获取的参数为在动作执行条件确定中具有困难的无效参数，但是模糊解算器123可以从无效参数获取有效参数。

基于所获取的条件确定参数，可以确定每个候选动作是否可执行(650)，并且可以确定候选动作的优先级(660)。可以预存储用于确定候选动作的优先级的规则。动作优先级确定器125可以在确定每个候选动作是否可执行之后，通过仅考虑可执行候选动作来确定候选动作的优先级。另选地，在不管每个候选动作是否可执行，确定候选动作的优先级之后，可以基于每个候选动作是否可执行来修改候选动作的优先级。

可以在动作参数db146a中搜索用于执行候选动作的参数列表(670)。用于执行候选动作的参数可以对应于动作参数。动作参数可以包括必要参数和选择性参数。

可以获取用于执行候选动作的参数值(680)。可以通过搜索语境信息db142、长期存储器143、短期存储器144或对话和动作状态db147来获取动作参数的参数值。当需要经由外部服务提供动作参数的参数值时，可以经由外部信息管理器126从外部内容服务器300提供所需参数值。

当由于语境和话语中的模糊性而不能获取所需的参数值时，可以通过使用模糊解算器123解决模糊来获取所需的参数值。

尽管所获取的参数为在动作执行条件确定中具有困难的无效参数，但是模糊解算器123可以从无效参数获取有效参数。

由对话动作管理器122管理的对话状态和动作状态可以通过上述步骤来执行，并且每当状态改变时，可以更新对话状态和动作状态。

当获得所有可获得的参数值时，对话流管理器121可以将与候选动作和对话状态有关的信息发送到结果处理器130。根据对话策略，对话流管理器121可以发送与对应于第一优先级的动作有关的信息或者与多个候选动作有关的信息。

当由于在外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在所需参数值而仅能够通过用户获取所需参数值时，可以向用户输出用于询问参数值的对话响应。

图48为示出根据实施例的用于在对话处理方法中生成与对话管理的结果相对应的响应的结果处理方法的流程图。结果处理方法可以由对话系统100的结果处理器130来执行。

参考图48，当需要生成对话响应时(700中的是)，对话响应生成器132可以搜索响应模板149(710)。对话响应生成器132可以获取与当前对话状态和动作状态相对应的对话响应模板，并用所需参数值填充响应模板，以便生成对话响应(720)。

当没有从对话管理器120发送生成对话响应所需的参数值时，或者当发送使用外部内容的介绍时，可以从外部内容服务器300提供或者在长期存储器143、短期存储器144或语境信息db142中搜索所需的参数值。当由于在外部内容服务器300、长期存储器143、短期存储器144和语境信息db142中不存在所需参数值而仅能够通过用户获取所需参数值时，可以向用户生成用于询问参数值的对话响应。

当需要生成命令时(760)，命令生成器136可以生成用于车辆控制或外部内容的命令(770)。

生成的对话响应或命令可以输入到输出管理器133，并且输出管理器133可以确定对话响应与命令的输出顺序或多个命令中之间的输出顺序(730)。

可以基于所生成的对话响应或命令来更新存储器(740)。存储器管理器135可以通过基于所生成的对话响应或命令存储用户和系统之间的对话内容来更新短期存储器144，并通过存储与通过与用户的对话所获取的与用户有关的信息来更新长期存储器143。存储器管理器135可以基于所生成和输出的车辆控制和外部内容请求来更新存储在长期存储器143中的用户的偏好和车辆控制历史。

输出管理器133可以通过将对话响应和命令发送到适当的输出位置来输出响应(750)。可以经由扬声器232输出tts响应，并且文本响应可以在显示器231上输出。可以根据控制对象将命令发送到车辆控制器240，或者将命令发送到外部内容服务器300。另外，该命令可以被发送到被配置为与外部内容服务器300通信的通信装置280。

图49至图51为示出根据实施例的对话系统在对话处理方法中输入话语之前输出预话语的情况的流程图。

参考图49，语境信息收集器112a和语境信息收集管理器112b收集语境信息(810)。具体地，车辆控制器240可以将由设置在车辆中的传感器获取的车辆状态信息和行驶环境信息，例如，剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置输入到语境信息处理器112。经由除语音之外的信息输入装置220输入的用户信息和从外部内容服务器300或外部装置获取的信息可以输入到语境信息处理器112。收集的语境信息可以存储在语境信息db142、长期存储器143或短期存储器144中。

预话语确定器151基于语境信息确定预话语条件(811)。预话语条件可以存储在预话语条件表145a中。如图25a至图25d所示，可以针对每个语境信息在预话语条件表145a中存储与语境信息相关的预话语条件。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预话语条件时(812中的是)，预话语确定器151确定为预话语语境，并生成预话语触发信号(813)。

预话语确定器151提取与预话语语境相对应的动作(814)。如图25c所示，对应于预话语语境的动作可以预存储在预话语条件表145a中。预话语确定器151可以从预话语条件表145a获取与预话语语境相对应的动作。另外，预话语确定器151可以根据建立的规则生成与预话语语境相对应的动作。

当预话语确定器151将具有与预话语语境相对应的动作的预话语触发信号发送到对话输入管理器111c时，对话输入管理器111c将对应于预话语语境的动作发送到对话管理器120(815)。在这种情况下，可以利用指示预话语语境的信号发送预话语触发信号。

如图47所示，在将对应于预话语语境的动作被发送到对话管理器120之后，可以执行一系列处理，诸如对话任务和动作任务的生成以及动作参数的获取。当正在执行其他对话任务或动作任务时，对话流管理器121可首先生成并处理与预话语语境相关的任务，或者可根据所建立的规则选择优先级。

当对话管理器120将与首先执行的动作有关的信息发送到结果处理器130时，对话响应生成器132可以通过搜索响应模板149来获取对话响应模板，并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由设置在车辆200或移动装置400中的扬声器输出所生成的对话响应。

此外，可以获得或生成对应于预话语语境的预话语消息本身。参考图50，语境信息收集器112a和语境信息收集管理器112b收集语境信息(820)，并且预话语确定器151基于语境信息确定预话语条件(821)。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预话语条件时(822中的是)，预话语确定器151确定为预话语语境，并生成预话语触发信号(823)。

预话语确定器151提取对应于预话语语境的预话语消息(824)。如图25a、图25b、图25c和图25d所示，对应于预话语语境的预话语消息可以预存储在预话语条件表145a中。事先存储的预话语消息可以为指示当前语境的内容或者首先建议执行预话语语境所需的特定功能或服务的内容。另外，预话语确定器151可以根据建立的规则生成预话语消息。

当预话语确定器151将预话语触发信号与预话语消息一起发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120(825)。在这种情况下，可以与指示预话语语境的信号一起发送预话语触发信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将对话任务发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

此外，可以提取与预话语语境相对应的虚拟用户话语。参考图51，语境信息收集器112a和语境信息收集管理器112b收集语境信息(830)，并且预话语确定器151基于语境信息确定预话语条件(831)。

当从语境信息db142、长期存储器143或短期存储器144发送的语境信息满足预话语条件时(832中的是)，预话语确定器151确定为预话语语境，并生成预话语触发信号(833)。

预话语确定器151提取与预话语语境相对应的虚拟用户话语(834)。尽管未在附图中示出，但是对应于预话语语境的虚拟用户话语可以预存储在预话语条件表145a中。预话语确定器151可以从预话语条件表145a获取与预话语语境相对应的虚拟用户话语。另外，预话语确定器151可以根据建立的规则生成与预话语语境相对应的虚拟用户话语。

当预话语确定器151将文本形式的虚拟用户话语发送到自然语言理解部分111b(835)时，自然语言理解部分111b可以以用户实际说出的情况相同的方式从虚拟用户话语中获取域和动作。

对话输入管理器111c将预话语触发信号与自然语言理解结果一起发送到对话管理器120(836)。自然语言理解的结果可以包括从虚拟用户话语中提取的域和动作，并且提取的域和动作可以成为对应于预话语语境的域和动作。

例如，根据移动装置400充当车辆和对话系统100之间的网关的移动网关方式，移动装置400的对话系统客户端470可以执行预话语确定器151的一些操作。在这种情况下，对话系统客户端470可以生成与预话语语境相对应的虚拟用户话语，并将虚拟用户话语发送到自然语言理解部分111b。

如图47所示，在将预话语触发信号与自然语言理解结果一起发送到对话管理器120之后，可以执行诸如对话任务和动作任务的生成以及动作参数的获取的一系列处理。当正在执行其他对话任务或动作任务时，对话流管理器121可首先生成并处理与预话语语境相关的任务，或者可根据所建立的规则选择优先级。

当对话管理器120将与首先执行的动作有关的信息发送到结果处理器130时，对话响应生成器132可以通过搜索响应模板149来获取对话响应模板，并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由设置在车辆200或移动装置400中的扬声器输出所生成的对话响应。

图52为示出根据实施例的在对话处理方法中当对话系统在用户输入话语之前输出预话语时处理重复任务的流程图。

参考图52，语境信息收集器112a和语境信息收集管理器112b收集语境信息(840)，并且预话语确定器151基于语境信息确定预话语条件(841)。

预话语确定器151确定从语境信息db142、长期存储器143或短期存储器发送的语境信息是否满足预话语条件，以及当语境信息满足预话语条件时(842中的是)，重复任务处理器152确定与当前发生的预话语语境相关的任务是否重复(843)。

具体地，重复任务处理器152可以基于与存储在任务处理db145b中的在对话系统100中先前或当前执行的任务相关的信息来确定是否已经执行或当前执行着诸如与当前发生的预话语语境相关的对话和动作的任务。

例如，当已经执行与当前发生的预话语语境相关的对话时，并且当从对话时间点起没有经过参考时间段时，重复任务处理器152可以确定与当前的预话语语境相关的任务为重复任务。另外，当当前执行着与当前预话语语境相关的对话和动作时，重复任务处理器152可以确定与当前预话语语境相关的任务为重复任务。

也就是说，重复任务处理器152可以基于存储在任务处理db145b中的对话历史以及是否执行任务来确定是否已经输出了预话语以及用户关于预话语语境的意图。重复任务处理器152可以基于存储的对话时间、用户的意图或者任务是否被处理来确定是否为重复任务。

当识别出与当前预话语语境相关的任务为重复任务时(843中的是)，重复任务处理器152终止预话语语境。

当确定与当前预话语语境相关的任务不是重复任务时(843中的否)，可以执行如上述实施例中所示的预话语操作(844)。例如，可以将预话语触发信号和对应于预话语语境的动作或预话语消息发送到对话管理器120。另外，可以将对应于预话语语境的虚拟用户话语发送到自然语言理解部分111b，并将自然语言理解的结果和预话语触发信号发送到对话管理器120。

根据上述实施例，假设了诸如预话语确定器151和重复任务处理器152的单独组件和诸如预话语条件表145a和任务处理db145b的单独存储装置用于执行预话语的对话处理方法。然而，对话处理方法的实施例不限于此，语境理解部分112c可以执行预话语确定器151和重复任务处理器152的操作，以及存储在预话语条件表145a和任务处理db145b中的信息可以存储在语境理解表145中。

根据实施例的对话处理方法不限于上述流程图中的顺序。根据图44至图52的流程图的流程可以为仅是应用于对话处理方法的示例。因此，可以同时执行多个步骤，还可以改变每个步骤的顺序。

图53为示出根据实施例的在对话处理方法中确定乘客登上车辆上并输出预话语的方法的流程图。

参考图53，对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息中的至少一者来确定乘客的登上车辆(5300)。例如，对话系统100可以基于通过语音输入处理器111输入的车辆中的乘员之间的对话来确定乘客的登上车辆。车辆中的乘员可以包括驾驶员和至少一个乘客，并且车辆操作信息可以包括除语音之外的信息输入装置220的操作信息。

由对话系统100执行的乘客登上车辆的确定可以在从车辆200开始行驶起的特定时间段内或者在从车辆200停止行驶起的特定时间段内执行。

语音输入处理器111可以基于通过设置在车辆200中的语音输入装置210和设置在移动装置400中的语音输入装置410输入的车辆中的乘员之间的对话来区分每位乘客的语音。

语音输入处理器111可以通过基于语音特征信息区分通过语音输入装置210和设置在移动装置400中的语音输入装置410输入的每位乘客的语音来检测每位乘客。

语音特征可以包括言语特征和非言语特征中的至少一者。

车辆中的乘员之间的对话(其通过语音输入处理器111输入以确定乘客的登上车辆)可以表示不是用于向车辆200发送意图的话语，而是包括驾驶员在内的车辆中的乘员之间的对话。

另外，对话系统100的语境信息处理器112可以基于车辆操作信息来确定乘客的登上车辆。也就是说，对话系统100可以基于车辆操作信息来确定乘客登上车辆，以便确定是否存在由于乘客没有参与对话而未能通过语音输入处理器111确定的登上车辆的乘客。

车辆操作信息可包括与副驾驶座位254b以及后座254c和254d相关的窗户调节按钮操作信息、座位调节按钮操作信息或空调调节按钮操作信息中的至少一者。

语境信息处理器112可以基于车辆操作信息来确定乘客登上车辆。

也就是说，输入处理器110可以通过语音输入处理器111和语境信息处理器112中的至少一者来收集指示乘客登上车辆的语境或乘客未登上车辆的语境的乘客登上车辆信息。

当对话系统100确定乘客在从车辆200开始行驶起的一段时间内或者从车辆200停止行驶起的一段时间内登上车辆时(5300中的是)，对话系统100可以输出用于请求识别信息的预话语(5310)。具体地，当确定乘客登上车辆时，对话系统100可以输出用于请求识别信息的预话语。

例如，当确定乘客登上车辆时，对话系统100可以输出请求乘客的识别信息的预话语，诸如“你是谁？告诉我你的名字”。

输入处理器110的预话语确定器151可以基于预话语条件确定是否输出预话语，该预话语条件与基于与乘客是否登上车辆相关的语境信息确定乘客是否登上车辆有关。另外，当与乘客是否登上车辆的语境信息满足与乘客登上车辆的确定相对应的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取对应于与乘客登上车辆相关的预话语语境的预话语消息，诸如“你是谁？告诉我你的名字”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收乘客的话语来识别乘客(5320)。具体地，对话系统100可以通过接收关于预话语消息的乘客的话语来识别乘客。

例如，乘客可以响应于请求乘客的识别信息的预话语消息而说出“我是00”。也就是说，乘客可以响应于预话语消息而说出包括他/她的姓名的消息。

当输入乘客的话语时，语音输入处理器111识别输入的乘客的话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘客的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别姓名。

另外，自然语言理解部分111b可以使用存储在长期存储器143中的驾驶员电话簿来增加姓名的识别率。具体地，自然语言理解部分111b可以通过将包含在乘客话语中的姓名与包含在电话簿中的姓名进行比较来增加姓名的识别率。

乘客确定器111d可以基于自然语言理解部分111b的输出来验证乘客的姓名，以便识别乘客的身份。

因此，基于乘客的话语，对话系统100可以识别说出该消息的乘客的身份。

关于识别出的乘客的乘客信息可以实时存储在存储装置140中，其中，乘客信息可以包括个人识别信息、乘客语音的一个或多个语音特征以及座位位置信息。

当确定乘客未登上车辆时(5300中的否)，对话系统100可输出验证乘客是否存在的预话语(5330)。具体地，当对话系统100确定从车辆200开始行驶起的一段时间内或从车辆200停止行驶起的一段时间内乘客未登上车辆时，对话系统100可以输出验证乘客是否存在的预话语。

例如，当对话系统100确定从车辆200开始行驶起的一段时间内或从车辆200停止行驶起的一段时间内乘客未登上车辆时，对话系统100可以输出验证乘客是否存在的预话语，“是否还有其他乘客登上车辆？”。

预话语确定器151可以基于与乘客未登上车辆相关的预话语条件根据与乘客是否登上车辆相关的语境信息来确定是否输出预话语。另外，当与乘客是否登上车辆的语境信息满足与乘客未登上车辆相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取与乘客未登上车辆的预话语语境相对应的预话语消息，诸如“是否还有其他乘客登上车辆？”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收驾驶员的话语来验证乘客是否存在(5340)。具体地，对话系统100可以通过接收关于预话语消息的驾驶员的话语来验证乘客是否存在。

例如，响应于预话语消息，驾驶员可以说出“没有”或“有”以验证乘客是否存在。也就是说，驾驶员可以响应于预话语消息而说出包括指示乘客存在的响应的消息。

当输入驾驶员的话语时，语音输入处理器111识别输入的驾驶员的话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入驾驶员的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解部分111b可以从话语中识别实体名称。所述实体名称可以为专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部分111b可以使用实体名称识别从句子中获取重要关键词并识别句子的含义。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别实体名称。

作为自然语言理解的结果的自然语言理解部分111b的输出可以包括实体名称和与乘客的话语相对应的语素分析的结果。

乘客确定器111d可以基于自然语言理解部分111b的输出来识别乘客的存在。

因此，语音输入处理器111可以基于驾驶员的话语来验证乘客的存在。

图54为示出根据实施例的在对话处理方法中估算乘客数量的变化并输出预话语的方法的流程图。

参考图54，对话系统100可以如图53中所述识别乘客(5400)。具体地，对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息中的至少一者来确定乘客登上车辆，并且通过使用预话语来识别乘客。

对话系统100可以基于车辆中的乘员之间的对话来生成乘客数量信息(5410)。具体地，对话系统100可以通过连续接收车辆中的乘员之间的对话来确定每位乘客在特定停留点处离开车辆的可能性以及每位乘客在特定停留点处离开后再次登上车辆的可能性。

例如，对话系统100的语音输入处理器111可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410连续地接收车辆中的乘员之间的对话。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

自然语言理解部分111b可以从话语中识别实体名称。所述实体名称可以为专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部分111b可以使用实体名称识别从句子中获取重要关键词并识别句子的含义。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别实体名称。

作为自然语言理解的结果的自然语言理解部分111b的输出可以包括实体名称和与乘客的话语相对应的语素分析的结果。

乘客确定器111d可以基于自然语言理解部分111b的输出来估算乘客数量的变化。具体地，乘客确定器111d可以通过分析乘客的话语来估算在特定停留点处的乘客数量的变化。

乘客确定器111d可以基于自然语言理解部分111b的实体名称和语素分析结果来估算特定乘客将在特定停留点处离开。

乘客确定器111d可以基于自然语言理解部分111b的实体名称和语素分析结果来估算特定乘客将在特定停留点处离开并再次登上车辆。

另外，对话系统100可以通过接收车辆中的呼叫会话确定被叫方登上车辆的可能性来估算潜在乘客的数量。

当估算潜在乘客登上车辆的可能性时，对话系统100可以输出用于验证潜在乘客登上车辆可能性的预话语。

例如，当估算潜在乘客登上车辆的可能性时，对话系统100可以输出用于验证潜在乘客登上车辆可能性的预话语，诸如“谁在中途登上车辆？告诉我他/她的名字”。

预话语确定器151可以基于与潜在乘客是否将登上车辆相关的语境信息、根据与登上车辆可能性的估算相关的预话语条件来确定是否输出预话语。另外，当与潜在乘客是否将登上车辆相关的语境信息满足与潜在乘客登上车辆的可能性的估算相关的预话语条件时，预话语确定器151可以确定为为预话语语境，并生成预话语触发信号。

预话语确定器151可以获取与潜在乘客将登上车辆的预话语语境相对应的预话语消息，例如“谁在中途登上车辆？告诉我他/她的名字”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收在车辆中的乘员的话语来验证潜在乘客登上车辆的可能性。具体地，对话系统100可以通过接收关于预话语消息的乘员的话语来验证潜在乘客是否存在。

乘客确定器111d可以基于自然语言理解部分111b的输出来估算车辆中的乘客数量的变化。具体地，乘客确定器111d可以基于呼叫会话来估算潜在乘客的数量，并且乘客确定器111d还可以基于车辆中乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性。

乘客确定器111d可以基于乘客数量的变化的估算结果来生成乘客数量信息。

也就是说，乘客确定器111d可以基于每位乘客在停留点处离开车辆的可能性、每位乘客在停留点处离开之后再次登上车辆的可能性以及潜在乘客在停留点处登上车辆的可能性来生成乘客数量信息。

在到达停留点之前，对话系统100可以基于乘客数量信息输出与乘客数量的变化的估算结果有关的预话语(5420)。

例如，当确定车辆200在到达停留点之前，对话系统100可以输出与乘客数量变化的估算结果相关的预话语，诸如“a将在停留点处离开”、“b将在停留点处离开车辆后再次登上车辆”、“c不会在停留点处离开”和“d将在停留点处登上车辆”。

也就是说，在到达停留点处之前，对话系统100可以输出与每位乘客在停留点处离开车辆的可能性、每位乘客在停留点处再次登上车辆的可能性以及乘客数量信息中包含的在停留点处登上车辆的可能性相关的预话语。

然而，对话系统100可以不仅在到达停留点处之前，而且在到达停留点处之后，也基于乘客数量信息输出与乘客数量的变化的估算结果有关的预话语。

此外，与每位乘客在停留点处离开车辆的可能性相关的内容、每位乘客在停留点再次登上车辆的可能性以及在停留点处登上车辆的可能性可以包括关于离开车辆的乘客数量的消息，诸如“下次再次”，以及关于乘客在离开车辆后再次登上车辆的消息，诸如“旅行愉快并安全回来”。

对话系统100可以基于诸如由车辆检测器260检测到的车辆位置和车辆速度的车辆状态信息来确定车辆是否刚好在到达停留点之前或车辆是否刚好在到达停留点之后。

具体地，当档位放置在p档位上时，对话系统100可以确定车辆200到达停留点，并且当速度等于或小于10kph时，对话系统100可以确定车辆200刚好在到达停留点之前。

预话语确定器151可以基于与到达停留点之前相关的语境信息、基于与乘客数量的变化的估算相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于从乘客确定器111d发送的乘客数量信息来确定满足与乘客数量的变化的估算相关的预话语条件。另外，当与到达停留点之前相关的语境信息满足与乘客数量的变化的估算相关的预话语条件时，预话语确定器151可以确定为预话语语境，并生成预话语触发信号。

预话语确定器151可以基于乘客数量信息，获取与估算乘客数量变化的预话语语境相对应的预话语消息，诸如“a将在停留点处离开”、“b将在停留点处离开车辆后再次登上车辆”、“c不会在停留点处离开”和“d将在停靠点登上车辆”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以基于乘客数量信息将乘客数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果进行比较(5430)。

对话系统100可以基于诸如由车辆检测器260检测到的车辆位置和车辆速度的车辆状态信息来确定车辆是否离开停留点。

具体地，对话系统100可以基于诸如停车制动器被释放、点火开启或制动踏板开启的事实来确定车辆离开停留点。

对话系统100可以通过语音输入处理器111和语境信息处理器112来检测乘客登上车辆，以确定在从停留点离开之后乘客数量的变化的结果，并通过乘客确定器111d识别乘客。

因此，当确定车辆200离开停留点时，对话系统100的乘客确定器111d可以将基于乘客数量信息的乘客数量的变化的估算结果与从停留点离开之后的乘客数量变化的结果进行比较。

另外，对话系统100可以输出预话语以将乘客数量的变化的估算结果与从停留点离开之后的乘客数量的变化的结果进行比较。

例如，对话系统100可以输出验证乘客数量的变化的估算结果是否正确的预话语，以便验证在离开停留点之后乘客数量的变化的结果。具体地，对话系统100可以输出确定被确定要在停留点处离开的乘客是否在停留点处离开的预话语，诸如“a离开？”，以及确定被确定要在停留点处离开车辆之后再次登上车辆的乘客是否在停留点再次登上车辆的预话语，诸如“b再次登上车辆了吗？”。

另外，对话系统100可以输出确定被确定不在停留点处离开的乘客是否没有在停留点处离开的预话语，诸如“c仍在？”，以及确定被确定在停留点处登上车辆的潜在乘客是否在停留点登上车辆的预话语，诸如“d登上车辆了吗？”。

预话语确定器151可以基于与从停留点离开之后的语境信息，根据与是否估算乘客数量的变化相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于从乘客确定器111d发送的乘客数量信息来确定满足与乘客数量的变化的估算相关的预话语条件。另外，当与离开停留点之后相关的语境信息满足与乘客数量的变化的估算相关的预话语条件时，预话语确定器151可以确定为预话语语境，并生成预话语触发信号。

预话语确定器151可以获取与乘客数量的变化相对应的预话语消息。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收乘客在车辆中的话语来验证乘客数量的变化的结果。具体地，对话系统100的乘客确定器111d可以通过接收对应于预话语消息的乘客的话语来验证乘客数量的变化的结果。

例如，乘客可以响应于询问被确定要在停留点处离开的乘客是否在停留点处离开的预话语消息，诸如“a离开？”，而说出“是，他/她离开”或“不，他/她登上车辆”。也就是说，车辆中的乘客可以响应于询问被确定要在停留点处离开的乘客是否在停留点处离开的预话语消息而说出指示乘客数量变化的结果的消息。

当输入在车辆中的乘客话语时，语音输入处理器111识别输入的在车辆中的乘客话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘客的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别乘客数量的变化的结果。

因此，对话系统100的乘客确定器111d可以基于车辆中的乘员之间的对话来验证乘客数量的变化的结果。

对话系统100可以输出与乘客数量的变化的估算结果和从停留点处离开之后的乘客数量的变化的结果之间的比较结果相关的预话语(5440)。

例如，对话系统100可以输出指示乘客数量的变化的估算结果与从停留点处离开之后的乘客数量的变化的结果不同的预话语消息，诸如“当前乘客的数量与乘客数量的变化的估算结果不同”，以及指示乘客数量变化的估算结果与在离开停留点之后的乘客数量的变化的结果相同的预话语消息，诸如“当前乘客的数量与乘客数量的变化的估算结果相同”。

具体地，预话语确定器151可以基于与在离开停留点之后相关的语境信息，根据是否将乘客数量的变化的估算结果与离开停留点之后的乘客数量的变化的结果进行比较相关的预话语条件来确定是否输出预话语。预话语确定器151可以基于在从停留点离开之后的乘客数量的变化的结果与从乘客确定器111d发送的乘客的数量的变化的估算结果之间的比较结果来确定满足预话语条件。另外，当在从停留点处离开之后的语境信息满足与乘客数量的变化的估算结果和从离开停留点之后的乘客数量的变化的结果之间的比较相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以基于乘客数量的变化的估算结果与离开停留点之后的乘客数量的变化的结果之间的比较结果来获取指示比较结果的预话语消息。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

因此，驾驶员可以基于乘客数量的变化的估算结果与从停留点处离开之后的乘客数量的变化的结果之间的比较结果来验证每位乘客是否离开或者登上车辆，并专注于车辆管理，诸如行驶和停车，而不关注乘客离开还是登上车辆。

另外，可以防止乘客由于他/她不能再次登上车辆而留在停留点的情况或者当车辆到达停留点时乘客没能离开的情况。

当车辆的行驶终止时，对话系统100可以存储行驶相关信息和关于每位乘客的乘客信息(5450)。

例如，当终止车辆的行驶时，对话系统100的存储装置140可以存储与车辆行驶有关的信息和在行驶时登上车辆的每位乘客的乘客信息。

具体地，对话系统100的存储装置140可以存储关于车辆的行驶的行驶相关信息，诸如行驶的出发点、停留点和目的地，以及关于乘客的乘客信息，诸如个人识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开时间信息、登上车辆位置信息以及与离开车辆的位置有关的信息。

也就是说，对话系统100的存储装置140可以通过从车辆控制器240收集gps值来存储与车辆的行驶相关的行驶相关信息，诸如行驶的出发点、停留点和目的地。

另外，对话系统100的存储装置140可以收集乘客识别信息、语音特征信息、座位位置信息和乘客数量信息并且存储关于乘客的乘客信息，诸如乘客识别信息、语音特征信息、座位位置信息、登上车辆时间信息、离开信息、登上车辆位置信息以及与离开车辆的位置有关的信息。

图55为示出根据实施例的在对话处理方法中确定参与先前行驶的乘客登上车辆并输出预话语的方法的流程图。

对话系统100可以基于车辆中的乘员之间的对话和车辆操作信息来确定乘客是否登上车辆(5500)。具体地，输入处理器110的语音输入处理器111可以通过接收车辆中的乘员之间的对话来确定乘客是否登上车辆，并且获取诸如每位乘客的语音特征、座位位置、登上车辆时间和登上车辆位置的特征。

对话系统100可以确定乘客特征是否与存储的乘客特征相同(5510)。具体地，对话系统100的语音输入处理器111可以将从存储装置140获取的乘客的特征与确定为登上车辆的乘客的乘客特征(诸如语音特征、座位位置、登上车辆时间和登上车辆位置)进行比较。

例如，语音输入处理器111可以在步骤5510将包含在乘客信息中的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置与确定登上车辆的乘客的特征进行比较。

当乘客信息中包含的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置中的至少两者与在步骤5510处确定登上车辆的乘客特征相同时，语音输入处理器111可以确定被确定为登上车辆的乘客的特征与乘客信息相同。

当比较乘客信息中包含的乘客的语音特征、座位位置、登上车辆时间和登上车辆位置与在步骤5510确定登上车辆的的乘客的特征时，语音输入处理器111可以将一定范围内的类似的语音特征、座位位置、登上车辆时间、登上车辆位置确定为相同。

当确定被确定登上车辆的乘客的特征与存储的乘客信息相同时(5510中的是)，对话系统100可以输出验证乘客是否参与先前行驶中的预话语(5520)。

例如，当被确定登上车辆的乘客的特征与存储的乘客信息相同时，对话系统100可以输出验证乘客是否为与先前行驶中的乘客相同的预话语，诸如“你是00？”。

基于与乘客是否登上车辆相关的语境信息，预话语确定器151可以根据与被确定登上车辆的乘客的特征与存储的乘客信息相同相关的预话语条件来确定是否输出预话语。另外，当与乘客是否登上车辆相关的语境信息满足与被确定为登上车辆的乘客的特征和所存储的乘客信息相同相关的预话语条件时，预话语确定器151可以确定为预话语语境，并且生成预话语触发信号。

预话语确定器151可以获取与乘客登上车辆的预话语语境相对应的预话语消息，诸如“你是00？”。当预话语确定器151将预话语触发信号和预话语消息发送到对话输入管理器111c时，对话输入管理器111c可以将预话语消息发送到对话管理器120。此时，可以与预话语消息一起发送预话语触发信号或指示预话语语境的信号。

对话管理器120可以生成用于输出所发送的预话语消息的对话任务，并将预话语消息发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预话语消息。

对话系统100可以通过接收在车辆中的乘客的话语来验证乘客是否参与先前的行驶(5530)。具体地，对话系统100可以通过接收对应于预话语消息的乘客话语来验证乘客是否参与先前的行驶。

例如，乘客可以响应于询问乘客是否参与先前行驶的预话语消息而说出“是”或“否”。也就是说，乘客可以响应于询问乘客是否参与先前行驶的预话语消息而说出包括指示乘客是否参与先前行驶中的响应的消息。

当输入乘客的话语时，语音输入处理器111识别输入的在车辆中的乘客的话语。可以通过设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410来输入乘客的话语。

语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语，并输出自然语言理解的结果。

具体地，自然语言理解过程可以包括对文本形式的话语执行语素分析，并基于语素分析的结果识别乘客是否处于先前的行驶中。

因此，对话系统100的乘客确定器111d可以基于车辆中的乘员之间的对话来验证乘客是否参与先前行驶。

当确定乘客参与先前行驶时，对话系统100可以基于车辆中的乘员之间的对话和存储的乘客信息来生成乘客数量信息(5540)。也就是说，如步骤5540所述，当基于车辆中的乘员之间的对话生成乘客数量信息时，对话系统100可以另外考虑所存储的乘客信息。

例如，对话系统100的乘客确定器111d可以基于自然语言理解部分111b的输出来估算在停留点处的乘客数量的变化。具体地，乘客确定器111d可以基于车辆中的乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性，并且乘客确定器111d可以基于车辆中的呼叫会话来估算潜在乘客登上车辆的数量。

当基于车辆中的乘员之间的对话来估算乘客数量的变化时，乘客确定器111d可以通过使用存储的乘客信息中的离开时间信息和与离开车辆的位置相关的信息来增加乘客数量变化的估算结果的准确性。

具体地，当基于车辆中的乘员之间的对话估算乘客将在特定停留点处离开时，乘客确定器111d可以通过使用存储的乘客信息中的离开时间信息和与离开车辆的位置有关的信息，验证在先前行驶中的离开时间和离开车辆的位置。

乘客确定器111d可以基于车辆中的乘员之间的对话来确定估算的乘客离开的特定停留点是否与先前行驶中的离开位置相同。

当基于车辆中的乘员之间的对话估算的乘客离开的特定停留点与先前行驶中的离开位置相同时，乘客确定器111d可以通过使用基于车辆中的乘员之间的对话估算的乘客数量的变化的估算来生成乘客信息。

当基于车辆中的乘员之间的对话估算的乘客离开的特定停留点与先前行驶中的离开位置不同时，乘客确定器111d可以通过说出对乘客的预话语来验证离开位置是否为特定停留点位置，并通过使用乘客的话语来生成乘客信息。

从以上描述中显而易见的是，根据所提出的对话系统，车辆和用于控制车辆的方法可以基于各种信息，诸如与用户的对话和车辆状态信息、行驶环境信息和车辆行驶期间的用户信息，通过精确地识别用户的意图来提供适合于用户的意图或用户所需的服务。

另外，可以基于行驶期间车辆中的乘员之间的对话来估算每位乘客离开车辆的可能性以及每位乘客在离开之后再次登上车辆的可能性，以便引导乘客使得乘客在乘客所希望的位置离开，并且还防止驾驶员在驾驶时分心。

尽管已经示出和描述了本公开的一些实施例，但是本领域技术人员应当理解，在不脱离本公开的原理和精神的情况下，可以在这些实施例中进行改变，本公开的范围在权利要求及其等价物中定义。

根据所提出的对话处理装置，具有该对话处理装置的车辆和对话处理方法，可以通过使用为该车辆指定的对话处理方法来提供适合于用户的意图或用户所需的服务。

另外，通过考虑车辆中出现的各种语境，可以提供用户所需的服务。具体地，无论用户的话语如何，都可以基于由对话系统100收集的语境信息或驾驶员信息来确定用户所需的服务并主动提供服务。