交互服务器、显示设备及其控制方法
【专利摘要】公开一种交互服务器、显示设备及其控制方法。一种交互服务器包括：通信单元，被构造为执行与显示设备的通信并接收包括表示对象的第一命令元素和表示执行命令的第二命令元素的语音命令信号；存储单元，被构造为存储指示符和命令字；提取单元，被构造为从存储单元提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及控制器，被构造为通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。
【专利说明】交互服务器、显示设备及其控制方法
[0001]本申请要求于2013年I月7日在韩国知识产权局提交的第10-2013-0001755号韩国专利申请的权益，该申请的公开通过引用整体合并于此。
【技术领域】
[0002]本公开涉及交互服务器、显示设备及其控制方法。更具体地说，本公开涉及用于提供与用户的语音命令相应的响应信息的交互服务器、显示设备及其控制方法。
【背景技术】
[0003]通常，在交互系统中，能够语音识别的显示设备收集用户的语音命令，并且将收集的语音命令发送到通过网络连接的外部服务器。接收语音命令的外部服务器分析该语音命令以识别用户的意图，产生与用户的意图相应的响应信息，并且将响应信息发送到显示设备。因此，显示设备可以基于从外部服务器接收到的响应信息来与用户的语音命令相应地执行功能或提供信息。
[0004]但是，常规的交互系统并不局限于分析用户的语音命令和基于其分析结果来识别用户的意图。例如，当语音命令所指的目标像“为我显示第一内容”一样是清楚的时，外部服务器可以通过分析语音命令来正确地识别用户的意图，根据用户的意图来产生响应信息，并且将响应信息发送到显示设备。因此，显示设备可以基于响应信息来显示用户所请求的第一内容。
[0005]但是，当语音命令所指的目标像“为我显示这个” 一样不清楚时，外部服务器具有这样的问题，即，它不能清楚地从语音命令识别用户的意图。要换句话说，由于传统的交互系统只针对预定义的语音命令来识别用户的意图并与用户的意图相应地执行操作或者提供信息，所以存在可由外部服务器识别的语音命令被限制的问题。
【发明内容】
[0006]一个或更多个示例性实施例可以克服上述缺点和在上面未描述的其它缺点。但是，应理解，不要求一个或更多个示例性实施例克服上述缺点，并且一个或更多个示例性实施例可以不克服上述问题中的任意一个问题。
[0007]本公开的一个方面涉及提供一种可以执行与各种语音命令相应的操作的交互系统。
[0008]本公开的上述方面和/或其它特征可以基本上通过提供以下交互服务器来实现，所述交互系统可以包括:通信单元，被构造为执行与显示设备的通信并接收包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令信号；存储单元，被构造为存储多个指示符(indicator)和多个命令字；提取单元，被构造为从存储单元提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及控制器，被构造为通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。
[0009]第一命令元素可以包括代词、序数和方向中的至少一个。提取单元还可以被构造为:确定第一命令元素是否包括请求信息，并且，如果第一命令元素包括请求信息，则从存储单元提取与请求信息相应的命令字。控制器还可以被构造为:基于提取的与请求信息相应的命令字，将与请求信息相应的内容信息添加到响应信息。
[0010]指示符可以包括指在显示设备的屏幕上显示的对象中的目标的执行字。
[0011]指示符可以包括在显示设备的屏幕上显示的对象的唯一识别信息；并且，提取单元还可以被构造为基于显示设备的对话历史来确定第一命令元素所指的目标，并且可以提取与确定的目标相应的唯一识别信息作为指示器。
[0012]交互服务器还可以包括:语音处理单元，被构造为将接收到的语音命令信号转换为文本信息。
[0013]根据本公开的另一个方面，一种显示设备可以包括:输入单元，被构造为接收语音命令；通信单元，被构造为将用于语音命令的语音命令信号发送到服务器设备；显示单元，被构造为显示屏幕；以及控制器，被构造为当从服务器设备接收到包括指示符和命令字的响应信息时基于在显示单元的屏幕上显示的对象的显示状态来选择指示符所指的目标，并且针对选择的目标执行与命令字相应的操作。
[0014]语音命令信号可以包括表示目标的第一命令元素和表示执行命令的第二命令元素，并且，第一命令元素可以是基于显示设备的屏幕显示状态确定的命令元素，并且可以包括代词、序数和方向中的至少一个。
[0015]根据本公开的另一个方面，一种交互服务器的控制方法可以包括:从显示设备接收包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令信号；使用处理器来提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素可以是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。
[0016]第一命令元素可以包括代词、序数和方向中的至少一个。
[0017]提取与第一命令元素相应的指示符和与第二命令元素相应的命令字的步骤可以包括:确定第一命令元素是否包括请求信息；如果第一命令元素包括请求信息，则从存储单元提取与请求信息相应的命令字，并且将响应信息发送到显示设备的步骤可以包括:基于提取的命令字，将与请求信息相应的内容信息添加到响应信息。
[0018]指示符可以包括指在显示设备的屏幕上显示的对象中的目标的执行字。
[0019]指示符可以包括在显示设备的屏幕上显示的对象的唯一识别信息；并且提取与第一命令元素相应的指示符和与第二命令元素相应的命令字的步骤可以包括:基于显示设备的对话历史来确定第一命令元素所指的目标；以及提取与确定的目标相应的唯一识别信息作为指示符。
[0020]所述控制方法可以包括将接收到的语音命令信号转换为文本信息。
[0021]根据本公开的另一个方面，一种显示设备的控制方法可以包括:接收语音命令；将与语音命令相应的语音命令信号发送到服务器设备；从服务器设备接收包括指示符和命令字的响应信息；以及基于在屏幕上显示的对象的显示状态来选择指示符所指的目标，并且，使用处理器来针对选择的目标来执行与命令字相应的操作。
[0022]语音命令信号可以包括表示目标的第一命令元素和表示执行命令的第二命令元素，并且，第一命令元素可以是基于显示设备的屏幕显示状态确定的命令元素，并且可以包括代词、序数和方向中的至少一个。
[0023]根据本公开的另一个方面，一种显示设备可以包括:显示单元，被构造为显示包括多个可选择的对象的屏幕；输入单元，被构造为接收语音命令；通信单元，被构造为响应于接收到语音命令来从外部装置接收响应信息，该响应信息包括根据语音命令选择的命令字；以及控制器，被构造为使用从外部装置接收到的响应信息来从多个可选择的对象中选择目标对象，并且针对选择的目标对象执行与命令字相应的操作。
[0024]通过根据本公开的各种实施例的交互服务器，交互服务器可以针对各种语音命令来识别用户的意图，可以产生与用户的意图相应的响应信息，并且可以将响应信息提供给显示设备。
[0025]从结合附图公开了优选实施例的以下的详细描述，本公开的其它目的、优点和显著特征将变得明显。
【专利附图】
【附图说明】
[0026]根据下面的结合附图对实施例进行的描述，本公开的这些和/或其它方面和优点将变得明显并且更加容易被理解，在附图中:
[0027]图1是示出根据本公开的实施例的提供适合于用户的语音命令的响应信息的交换系统的第一视图；
[0028]图2是示出根据本公开的另一个实施例的提供适合于用户的语音命令的响应信息的交换系统的第二视图；
[0029]图3是示出根据本公开的实施例的交互服务器的框图；
[0030]图4是示出在根据本公开的实施例的显示设备的屏幕上显示的对象的显示状态的视图；
[0031]图5是示出根据本公开的实施例的显示设备的框图；
[0032]图6是用于解释根据本公开的实施例的交互服务器的控制方法的流程图；以及
[0033]图7是用于解释根据本公开的实施例的显示设备的控制方法的流程图。
[0034]在所有的附图中，相同的附图标记将被理解为表示相同的部分、组件和结构。
【具体实施方式】
[0035]在下文中，将参照附图详细地描述本公开的某些示例实施例。
[0036]为了帮助全面地理解本说明书，提供本文中限定的内容，例如，其详细的结构和元件。因此，显而易见的是，可以在没有这些限定的内容的情况下实现示例性实施例。此外，为了提供对示例性实施例的清楚和简要的描述，省略了公知的功能或结构。此外，为了帮助全面理解，可以任意地增大或减小附图中的各种元件的尺寸。
[0037]图1是示出根据本公开的实施例的提供适合于用户的语音命令的响应信息的交换系统的视图。
[0038]如图1所示，根据本公开的实施例的交互系统包括显示设备100和交互服务器200。
[0039]显示设备100是能够访问互联网的设备，并且可以被实现为各种电子设备，例如，智能TV、蜂窝电话(例如，智能电话)、桌上型PC、笔记本计算机、导航装置等。当输入了用户的语音命令时，显示设备100执行与输入的语音命令相应的操作。详细地说，显示设备100可以输出与用户的语音命令相应的响应消息，或者可以执行与用户的语音命令相应的功能。换句话说，显示设备100通过分析输入的语音命令来确定执行的动作。然后，根据确定的结果，显示设备100可以执行与输入的语音命令相应的功能，或者，可以基于从交互服务器200接收到的响应信息来执行操作。
[0040]例如，如果输入了“音量调大”的语音命令，则显示设备100可以基于预先存储的控制信息中的与输入的语音命令相应的控制信息来调整音量。
[0041]又例如，如果输入了“今天天气怎样？ ”的语音命令，则显示设备100将关于输入的语音命令的语音命令信号(在下文中，被称为语音命令)发送到交互服务器200。这里，语音命令可以是模拟信号。因此，显示设备100将模拟信号的语音命令转换为数字信号，然后将数字信号发送到交互服务器200。然后，显示设备100可以基于从交互服务器200接收到的响应信息来以语音或文本图像的形式输出关于今天的天气的结果。
[0042] 交互服务器200基于从显示设备100接收到的用户的语音命令来提供适合于用户的意图的响应信息。详细地说，如果从显示设备100接收到用户的语音命令，则交互服务器200可以从接收到的语音命令来提取命令元素，可以基于提取的命令元素来产生与用户的语音命令有关的响应信息，并且可以发送响应信息。如上所述，从显示设备100接收到的语音命令可以是数字信号。因此，在接收到被转换为数字信号的语音命令之后，交互服务器200可以将语音命令转换为文本信息,然后通过分析产生的文本信息来提取命令元素。然后，交互服务器200可以基于提取的命令元素来产生与用户的语音命令相应的响应信息。关于从被转换为数字信号的语音命令产生文本信息是已知的技术；因此，在本描述中将省略其详细描述。
[0043]另一方面，可能在用户的语音命令内存在包括用于执行用户请求的操作的核心关键字的命令元素。提取的命令元素可以按照目的区域(域)、目的功能(用户动作)和主要特征(特征)来被分类。如上所述，如果产生关于“今天天气怎样？ ”的用户的语音命令的文本信息，则交互服务器200可以提取“今天”、“天气”和“怎样？ ”的命令元素。此后，交互服务器200可以将“今天”和“天气”分类为用于主要特征的命令元素(在下文中，被称为第一命令元素)，并且可以将“怎样？ ”分类为用于目的功能的命令元素(在下文中，被称为第二命令元素)。此外，交互服务器200可以基于提取的命令元素将用于目的区域的命令要素(在下文中，被称为第三命令元素)分类为属于网络搜索的域。在针对用户的语音命令从文本信息分类第一命令要素至第三命令要素之后，从提供各种内容的外部服务器(未示出)向交互服务器200提供天气信息，交互服务器200产生包括天气信息的响应信息，并且将响应信息发送到显示设备100。因此，显示设备100可以基于从交互服务器200接收到的响应信息通过语音和文本中的至少一种来显示今天的天气信息。
[0044]另一方面，如图2所示，上述的交互服务器200可以包括第一服务器10和第二服务器20，该第一服务器10将已经被转换为数字信号的用户的语音命令转换为文本信息，该第二服务器20产生与已经被转换为文本信息的语音命令相应的响应信息。在下文中，将详细地描述通过显示设备100以及第一服务器10和第二服务器20来提供适用于用户的语音命令的响应信息的交互系统。
[0045]图2是示出根据本公开的另一个实施例的提供适合于用户的语音命令的响应信息的交换系统的第二视图。
[0046]如图2所示，如果输入了用户的语音命令，则显示设备100将输入的语音命令转换为数字信号，然后将数字信号发送到第一服务器10。在接收到被转换为数字信号的语音命令之后，第一服务器10根据各种语音命令的预先存储的特定模式来产生关于所述语音命令的文本信息，然后将文本信息发送到显示设备100。
[0047]从第一服务器10接收到关于用户的语音命令的文本信息的显示设备100将关于用户的语音命令的文本信息发送到第二服务器20。
[0048]在一些示例实施例中，第一服务器10将文本信息直接发送到第二服务器20。
[0049]接收到关于语音命令的文本信息的第二服务器20可以通过分析接收到的文本信息来提取命令元素，可以基于提取的命令元素来产生用于执行与用户的语音命令相应的操作的响应信息，然后可以将响应信息发送到显示设备100。
[0050]迄今为止，已经描述了根据本公开的实施例的由显示设备100和交互服务器200构成的交互系统提供与用户的语音命令相应的响应信息的操作。在下文中，将进一步详细地描述上述的显示设备100和交互服务器200中的每一个的构造。
[0051]图3是示出根据本公开的实施例的交互服务器200的框图。
[0052]如图3所示，交互服务器200包括通信单元210、语音处理单元220、存储单元230、提取单元240和控制器250。
[0053]通信单元210与显示设备100通信，以接收语音命令。特别地，通信单元210可以接收与包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令相应的数字信号。这里，第一命令元素是用户的语音命令内的被分类为主要特征的命令元素。如果第一命令元素是基于在显示设备100的屏幕上显示的对象的显示状态确定的命令元素，则第一命令元素可以是表示目标的命令元素。换句话说，第一命令元素可以是通过代词、序数和方向中的至少一个表示目标的命令元素。然后，第二命令元素是用户的语音命令内的被分类为对象功能的命令元素。对象功能在本文中也被称为执行命令。
[0054]例如，如果语音命令是“执行这个”，则“这个”可以变成表示代词的第一命令元素，并且，“执行”可以变成表示执行命令的第二命令元素。在接收到与包括第一命令元素和第二命令元素的语音命令相应的数字信号之后，语音处理单元220将接收到的语音命令转换为文本信息。根据实施例，语音处理单元220可以通过使用语音到文本(STT)算法来将接收到的语音命令转换为文本。但是，本公开并不局限于此。通信单元210可以从显示设备100接收关于用户的语音命令的文本信息。在这种情况下，显示设备100从上述的第一服务器10接收关于输入的语音命令的文本信息，然后将文本信息发送到交互服务器200。因此，通信单元210可以从显示设备100接收关于用户的语音命令的文本信息。在从显示设备100接收与用户的语音命令相应的文本信息的情况中，可以省略上述的语音处理单元220。
[0055]如上所述，如果语音命令被转换为文本信息，或者，如果从显示设备100接收到与用户的语音命令相应的文本信息，则提取单元240从存储单元230提取与第一命令元素相应的指示符和与第二命令元素相应的命令字。这里，存储单元230是存储操作交互服务器200所需的各种程序的存储介质，并且可以被实现为存储器、硬盘驱动器(HDD)等。例如，存储单元230可以包括存储程序并执行稍后描述的控制器250的操作的ROM、根据控制器250的操作来临时地存储数据的RAM等。另外，存储单元230还可以包括存储各种参考数据的电可擦可编程ROM (EEPROM)等。特别地，存储单元230可以存储多个指示符和多个命令字。这里，多个指示器和多个命令字是处于可以被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素执行操作的执行信息。详细地说，指示符是相对地指在显示设备100的屏幕上显示的对象中的目标的执行字。换句话说，指示符是处于能够被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素中的诸如代词、序数和方向的表示目标的第一命令元素来执行操作的执行字。
[0056]因此，存储单元230可以存储如表1所示的其中表示目标的第一命令元素中的每一个与指示符匹配的表。
[0057]
【权利要求】
1.一种交互服务器,包括: 通信单元，执行与显示设备的通信，并接收包括表示目标的第一发音元素和表示执行命令的第二发音元素的语音发音信号； 存储单元，存储多个指示符和多个命令字； 提取单元，从存储单元提取与第一发音元素相应的指示符和与第二发音元素相应的命令字；以及 控制器，通过组合提取的指示符和命令字来产生与语音发音信号相应的响应信息，并且将响应信息发送到显示设备， 其中，第一发音元素是基于在显示设备的屏幕上显示的对象的显示状态确定的发音元素。
2.根据权利要求1所述的交互服务器，其中 第一发音元素包括代词、序数和方向中的至少一个。
3.根据权利要求2所述的交互服务器，其中 提取单元确定第一发音元素是否包括请求信息，并且，如果第一发音元素包括请求信息，则提取单元从存储单元提取与所述请求信息相应的命令字，并且 其中，控制器基于提取的与请求信息相应的命令字来将与请求信息相应的内容信息添加到响应信息。
4.根据权利要求1所述的交互服务器，其中 指示符包括指在显示设备的屏幕上显示的对象中的目标的执行字。
5.根据权利要求1所述的交互服务器，其中 指示符包括在显示设备的屏幕上显示的对象的唯一识别信息；并且提取单元基于显示设备的对话历史来确定第一发音元素所指的目标，并提取与确定的目标相应的唯一识别信息作为指示符。
6.根据权利要求1所述的交互服务器，还包括: 语音处理单元，将接收到的语音发音信号转换为文本信息。
7.一种交互服务器的控制方法，所述控制方法包括: 从显示设备接收包括表示目标的第一发音元素和表示执行命令的第二发音元素的语音发音信号; 使用处理器来提取与第一发音元素相应的指示符和与第二发音元素相应的命令字；以及 通过组合提取的指示符和命令字来产生与语音发音信号相应的响应信息，并将响应信息发送到显示设备， 其中，第一发音元素是基于在显示设备的屏幕上显示的对象的显示状态确定的发音元素。
8.根据权利要求7所述的控制方法，其中 第一发音元素包括代词、序数和方向中的至少一个。
9.根据权利要求8所述的控制方法，其中 提取与第一发音元素相应的指示符和与第二发音元素相应的命令字的步骤包括: 确定第一发音元素是否包括请求信息；以及如果第一发音元素包括请求信息，则从存储单元提取与所述请求信息相应的命令字，将响应信息发送到显示设备的步骤包括:基于提取的命令字，将与请求信息相应的内容信息添加到响应信息。
10.根据权利要求7所述的控制方法，其中 指示符包括指在显示设备的屏幕上显示的对象中的目标的执行字。
11.根据权利要求7所述的控制方法，其中 指示符包括在显示设备的屏幕上显示的对象的唯一识别信息；并且 提取与第一发音元素相应的指示符和与第二发音元素相应的命令字的步骤包括: 基于显示设备的对话历史来确定第一发音元素所指的目标；以及 提取与确定的目标相应的唯一识别信息作为指示符。
12.根据权利要求8所述的控制方法，还包括: 将接收到的语音发音信号转换为文本信息。
【文档编号】H04N21/472GK103916688SQ201410006709
【公开日】2014年7月9日 申请日期:2014年1月7日 优先权日:2013年1月7日
【发明者】郑知惠, 金命哉, 申容旭, 李宝拉, 李振湜, 李清宰 申请人:三星电子株式会社