显示设备、服务器设备和包括它们的显示系统及其提供内容的方法

显示设备、服务器设备和包括它们的显示系统及其提供内容的方法
【专利摘要】一种显示设备，包括：麦克风，被配置为接收语音信号；以及控制器，被配置为生成与第一显示屏幕不同的且根据第一显示屏幕的内容的状态的、与语音信号对应的结果屏幕，在显示器上显示结果屏幕。因此，显示设备根据显示设备的状态提供不同的结果屏幕。
【专利说明】
显示设备、服务器设备和包括它们的显示系统及其提供内容的方法
技术领域
[0001]与示例性实施例一致的设备和方法涉及响应于用户的语音提供各种信息的显示设备、服务器设备和包括它们的显示系统及其提供内容的方法。
【背景技术】
[0002]随着电子技术的发展，已经开发和发布各种电子设备。特别是，在一般家庭中使用包括电视(TV)的各种类型的电子设备。这样的电子设备配备有各种功能以满足用户的需求。
[0003]例如，TV可以接入因特网并支持基于因特网的服务。另外，用户可以通过TV观看许多数字广播频道。
[0004]因此，实现控制方法以更容易使用显示设备的各种功能。例如，正在开发能够识别用户的语音并且能够通过用户的语音来控制的显示设备。

【发明内容】

[0005]技术问题
[0006]然而，相关技术的显示设备仅提供与包括在用户发出的语音信号中的关键字对应的服务。也就是说，相关技术的显示设备提供了有限的服务。
[0007]因此，存在对根据用户发话意图提供各种结果屏幕的方法的需求。
[0008]技术方案
[0009]—个或多个示例性实施例可以克服上述缺点和上面没有描述的其他缺点。然而，应当理解，一个或多个示例性实施例不需要克服上述缺点，并且可以不克服上述任何问题。
[0010]—个或多个示例性实施例提供能够根据显示设备上显示的内容的状态来提供各种结果屏幕的显示设备、服务器设备以及包括它们的系统及其提供内容的方法。
[0011 ]根据示例性实施例的一方面，提供一种显示设备，包括:麦克风，被配置为接收语音信号；以及控制器，被配置为生成与第一显示屏幕不同的且根据第一显示屏幕的内容的状态的、与语音信号对应的结果屏幕。
[0012]显示设备还可以包括通信器，被配置为与服务器设备通信，服务器设备被配置为执行与状态信息和文本对应的搜索。控制器可以通过通信器向服务器设备发送关于至少一个内容的状态信息和与语音信号对应的文本，并且，当从服务器设备接收与状态信息和文本对应的搜索结果时，控制器可以根据搜索结果生成结果屏幕。
[0013]当输入语音信号时，控制器通过通信器向文本转换器发送语音信号，并且，当文本转换器将语音信号转换成文本时，控制器可以通过通信器从文本转换器接收文本。
[0014]显示设备可以包括处理器，以重放内容，其中，控制器可以从服务器设备接收用于获取指定内容的地址信息，可以根据地址信息获取指定内容，并且可以控制内容处理器来重放获取的内容。
[0015]当从服务器设备接收基于语音信号的搜索结果时，控制器可以基于搜索结果来控制图形处理器生成结果屏幕。
[0016]显示设备可以包括处理器，以根据第一显示屏幕上的内容的状态重放内容。当语音信号指定的内容存在于第一显示屏幕中时，控制器可以从服务器设备接收用于获取指定内容的地址信息，根据地址信息获取指定内容，重放获取的内容，并且在结果屏幕上显示内容。当语音信号指定的内容不存在于第一显示屏幕中时，控制器可以从服务器设备接收基于语音信号的搜索结果，并且基于搜索结果来生成结果屏幕。
[0017]状态信息可以包括在第一显示屏幕中包括的内容的标题信息、别名标题信息和标识信息中的至少一个。
[0018]状态信息可以包括在第一显示屏幕中包括的至少一个内容的识别信息、内容类型的信息、内容设置信息和内容数量的信息中的至少一个。
[0019]根据另一示例性实施例的一方面，提供一种显示设备，被配置为通过语音信号的输入来控制；文本转换器被配置为将输入到显示设备的语音信号转换成文本；以及服务器设备被配置为根据从显示设备接收的显示设备上的屏幕显示的状态信息和文本来执行搜索，并且向显示设备提供搜索结果，使得显示设备基于搜索结果而显示结果屏幕。
[0020]文本转换器可以包括在服务器设备中。
[0021 ]服务器设备从显示设备同时接收状态信息和文本。
[0022]服务器设备可以首先从显示设备接收状态信息，并且可以随后接收文本。
[0023]服务器设备可以基于状态信息来识别在显示设备的当前屏幕中包括的内容。
[0024]当文本指定的内容存在于显示设备的屏幕中时，服务器设备可以搜索用于获取指定内容的地址信息，并且可以向显示设备发送地址信息。
[0025]当文本指定的内容不存在于显示设备的屏幕中时，服务器设备可以通过使用文本来执行搜索，并且可以向显示设备发送搜索结果。
[0026]输入可以由显示设备接收。
[0027]根据另一示例性实施例，提供一种提供显示设备的内容信息的方法，所述方法包括:显示包括至少一个内容的屏幕;接收语音信号；以及根据屏幕中内容的状态不同地生成与语音信号对应的结果屏幕;并且显示结果屏幕。
[0028]所述方法还可以包括:向服务器设备发送关于至少一个内容的状态信息和与语音信号对应的文本;对应于发送的状态信息和文本来搜索服务器设备；以及接收搜索结果并基于搜索结果来生成结果屏幕。
[0029]所述方法还可以包括:当输入语音信号时，向文本转换器发送语音信号;并且当文本转换器将语音信号转换成文本时，接收文本。
[0030]显示可以包括:当语音信号指定的内容存在于屏幕中时，从服务器设备接收用于获取指定内容的地址信息;根据地址信息获取指定内容;重放获取内容;并且在结果屏幕上显示内容。显示可以包括:当语音信号指定的内容不存在于屏幕中时，从服务器设备接收语音信号指定的内容的搜索结果；以及基于搜索结果而生成结果屏幕并显示结果屏幕。
[0031]根据另一示例性实施例，提供一种显示设备，包括:显示器，被配置为显示至少一个内容；图形处理器，被配置为根据用户输入生成具有与显示的至少一个内容不同的内容的至少一个屏幕；以及控制器，被配置为控制显示器显示生成的至少一个屏幕。
[0032]显示设备还可以包括麦克风，被配置为接收用户输入，并且控制器可以控制麦克风向图形处理器发送用户输入。
[0033]用户输入可以是语音信号。
[0034]麦克风可以包括麦克风。
[0035]根据另一示例性实施例，提供一种在显示器上显示内容的方法，所述方法包括:在显示器上显示至少一个内容;接收输入;生成具有与显示的至少一个内容不同的内容的至少一个屏幕；以及在显示器上显示生成的至少一个屏幕。
[0036]输入可以是语音信号。
[0037]所述方法可以包括:当接收用户输入时，根据用户输入搜索服务器设备，其中，根据搜索结果来执行生成。
[0038]状态信息可以包括关于显示设备上显示的屏幕类型的信息、屏幕深度信息、至少一个内容的标题信息、至少一个内容的别名标题信息、至少一个内容的标识信息和屏幕中包括的内容数量的信息中的至少一个。
[0039]根据再一示例性实施例的一方面，提供一种提供服务器设备的内容信息的方法，所述方法包括:接收关于显示设备正在显示的屏幕中的至少一个内容的状态信息和与输入到显示设备的语音信号对应的文本；以及基于状态信息和文本执行搜索并向显示设备发送搜索结果。
[0040]向显示设备发送搜索结果包括:当文本指定的内容存在于显示设备的屏幕中时，向显示设备发送用于获取指定内容的地址信息；以及当文本指定的内容不存在于显示设备的屏幕时，对文本指定的内容执行搜索，并且向显示设备发送搜索结果。
[0041 ]状态信息可以包括显示设备上显示的屏幕类型的信息、屏幕深度信息、至少一个内容的标题信息、至少一个内容的别名标题信息、至少一个内容的标识信息和屏幕中包括的内容数量的信息中的至少一个。
[0042]有益效果
[0043]根据上述各种示例性实施例，当输入用户的语音时，显示设备可以根据显示设备的状态不同地配置对应于语音的结果屏幕，并且可以显示该结果屏幕。因此，可以根据用户的意图来执行语音控制。
【附图说明】
[0044]通过参照附图详细描述示例性实施例，上述和/或其他方面将变得明显，在附图中:
[0045]图1是示出根据示例性实施例的显示设备的配置的框图；
[0046]图2至图11是示出根据各种示例性实施例的显示设备的操作的视图；
[0047]图12是示出根据示例性实施例的提供显示设备的内容信息的方法的流程图；
[0048]图13是示出根据示例性实施例的显示系统的配置的框图；
[0049]图14是示出根据各种示例性实施例的显示设备的整体配置的框图；
[0050]图15是示出根据示例性实施例的显示设备的软件结构的视图；
[0051]图16是示出根据示例性实施例的服务器设备的配置的视图；以及
[0052]图17是示出根据示例性实施例的显示系统的操作的时序图。
【具体实施方式】
[0053]以下，将参照附图更加详细地描述示例性实施例。
[0054]在下面的描述中，当在不同的附图中描述元件时，相同的附图标记用于描绘相同的元件。在描述中定义的诸如详细结构和元件的事项被提供以帮助全面理解示例性实施例。因此，明显的是，可以在没有那些具体限定事项的情况下实现示例性实施例。此外，没有详细描述现有技术中公知的功能或元件，原因是它们会以不必要的细节模糊实施例。
[0055]图1是示出根据示例性实施例的显示设备的配置的框图。可以通过使用各种类型的设备，诸如TV、个人计算机(PC)、膝上型PC、移动电话、平板PC、个人数字助理(PDA)、MP3播放器、电子相册、信息台等，实现图1的显示设备100。参照图1，显示设备100包括麦克风110、控制器120、显示器130和图形处理器140。
[0056]麦克风110是用于接收用户的语音信号的元件。麦克风110的配置可以根据各种示例性实施例有所不同。例如，麦克风110可以包括直接接收语音的麦克风或者可以通过提供在遥控器上的麦克风接收用户语音。对于将被输入的语音信号，可以使用麦克风本身，并且可以使用包括在视听(AV)设备、计算机、便携式计算机、移动电话、智能电话和遥控器中的麦克风。
[0057]控制器120是用于控制显示设备100的整体操作的元件。
[0058]图形处理器140是配置各种屏幕的元件。具体地，图形处理器140可以使用操作器(未示出)和渲染器(未示出)生成包括各种对象(诸如图标、图像和文本)的屏幕。操作器根据屏幕的布局计算将要显示的每个对象的属性值，诸如坐标值、形状、大小和颜色。渲染器基于操作器计算的属性值生成包括对象的各种布局的屏幕。渲染器生成的屏幕被提供给显示器130。
[0059]显示器130显示图形处理器140生成的各种屏幕。当显示设备100是用于接收和处理广播信号的广播接收设备时，显示器130显示广播节目屏幕。当显示设备100从各种内容提供服务器、诸如因特网协议(IP)服务器下载内容时，显示器130可以显示内容播放屏幕。
[0060]此外，控制器120可以控制图形处理器140配置各种屏幕，诸如通过其选择各种内容的内容选择屏幕、通过其选择各种菜单的主屏幕、显示用户频繁使用的功能的偏好功能屏幕以及引导关于用户已经观看的内容的信息的观看历史屏幕。当在显示器130上正在显示包括至少一个内容的屏幕的同时输入用户的语音信号时，控制器120可以控制图形处理器140配置与该语音信号对应的结果屏幕。图形处理器140生成的屏幕可以被提供给显示器130并显示。在这种情况下，控制器120可以控制图形处理器140根据包括在屏幕上的内容的信息来配置不同的结果屏幕。
[0061]虽然图形处理器140是与图1的控制器120分离的元件，但是图形处理器140可以被实现为提供在控制器120中的图形处理单元(GPU)。然而，省略其附加示出。
[0062]图2至图11是示出根据各种示例性实施例的显示设备的操作的视图。
[0063]图2是示出根据示例性实施例的根据用户的语音信号指定的内容是否包括在屏幕中的不同操作的性能的视图。
[0064]如图2所示，显示器100可以显示包括当前广播的内容的信息的屏幕210。这样的屏幕210可以被称为各种名称，诸如内容选择屏幕或ONTV面板。参照图2，通过TV广播网络、IP网络以及其他各种途径提供的关于可观看内容的缩略图图像211-1至211-12可以根据预定布局被显示在屏幕210上。
[0065]当用户10在屏幕210正在被显示的同时发出包括屏幕中的内容的标题的语音信号时，控制器120基于语音信号和显示设备100的状态显示与语音信号对应的结果屏幕220。例如，当多个缩略图图像211-1到211-12中的一个(例如，211-9)是关于标题为“AAA”的内容的缩略图图像，并且用户10说出“劳驾AAA”时，控制器120执行控制操作，以直接选择和重放AAA内容。具体地，显示设备100还可以包括处理器(未示出)以重放内容。控制器120可以控制处理器重放AAA内容。
[0066]因此，显示器130显示AAA内容的播放屏幕220jAA内容可以从各种源来提供。例如，当显示设备100已经存储AAA内容时，显示设备100可以直接地重放所存储的AAA内容。当AAA内容是通过广播信道从特定广播站提供的广播节目时，控制器120控制调谐器(未示出)调谐到相应的广播信道，并且通过广播信道接收广播节目。当AAA内容是从内容提供服务器(未示出)提供的内容时，控制器120控制通信器(未示出)使用用于获取AAA内容的地址信息访问内容提供服务器，并且下载AAA内容。地址信息可以是由显示设备100预先存储的信息。然而，根据另一示例性实施例，与显示设备100交互的服务器设备(未示出)可以提供地址信息。在上述示例性实施例中提到的处理器和通信器将在下面参照附图详细地进行说明。
[0067]用户10可以说出没有包括在屏幕中的内容的标题。图3示出在与图2相同的屏幕210正在被显示的同时用户说出“劳驾BBB”的情况。当通过用户的语音信号指定的BBB内容不存在于当前屏幕210中时，控制器120显示作为搜索BBB内容的结果的搜索结果屏幕310。根据示例性实施例，可以在各种设备中执行搜索。例如，显示设备100的控制器120可以执行搜索，或者外部服务器设备执行搜索并向控制器120提供相应的结果。图3的搜索结果屏幕310包括包含关键字BBB的各种项311-1至311-12。
[0068]当用户选择项311-1到311-12中的一个时，控制器120可以重放与所选择的项对应的内容，并且通过显示器130输出该内容。
[0069]根据上面参照图2和图3描述的示例性实施例，显示设备100可以根据关于通过用户的语音信号指定的内容的信息是否包括在当前屏幕中执行不同的控制操作。因此，用户可以直接重放特定内容或可以搜索内容。
[0070]根据另一示例性实施例，显示设备100可以根据当前显示的屏幕的类型提供各种结果屏幕。
[0071]例如，当在包括关于当前可观看内容的信息的屏幕210正如图2所示显示的同时用户输入语音信号时，控制器120根据内容是否包括在屏幕210中执行不同的操作。
[0072]另一方面，当包括关于用户偏好的内容的信息的屏幕410如图4所示显示，并且用户输入指定在屏幕410中包括的特定内容的语音信号时，控制器120可以不直接重放内容，并且可以执行不同的控制操作。
[0073]具体地，如图4所示，显示设备100可以显示包括用户之前观看的内容、相关内容、相似内容等的屏幕410。这样的屏幕410可以被称为各种名称，诸如偏好内容屏幕、我的内容屏幕、观看历史内容等。参照图4，可以根据预定布局在屏幕410上显示与内容相关联的缩略图图像411-1至411-8。图4的屏幕410的布局可以与从图2和图3的屏幕210的布局不同。
[0074]在这种状态下，当通过麦克风110输入用户发出的语音信号时，控制器120确定关于与语音信号对应的内容的信息、即缩略图图像是否包括在当前屏幕410中。当对应于语音信号的内容的缩略图图像(例如，411-6)存在时，控制器120可以在显示器130上显示具有与相应内容相关的各种内容的搜索结果屏幕420。搜索结果屏幕420可以包括与相应内容相关的已经观看的内容421 -1和421 -2的信息以及新的可观看的内容421 -3至421 -5的信息。当相应内容是包括多个系列的运动图像时，控制器120可以区分用户已经观看的系列421-1和421-2以及用户还没有观看的系列421-3、421-4和421-5。当在屏幕420正在被显示的同时用户输入语音信号(例如，“部分3”)来指定内容的特定部分(例如，421-3)时，控制器120可以直接地重放相应内容并输出该内容。
[0075]图5示出通过用户的语音信号指定的内容不存在于包括用户偏好的内容的信息的屏幕410上的情况。例如，如图5所示，当用户输入语音信号“劳驾DDD”以指定不存在于屏幕410中的内容(例如，DDD)时，控制器120显示关于在相应语音信号中包括的关键字之中的识别词DDD的搜索结果屏幕510。搜索结果屏幕510可以包括关于具有包括文本DDD的各种标题的内容511-1至51 1-η的信息。
[0076]图6是示出在特定内容的播放屏幕610正在被显示的同时用户输入语音信号的情况的视图。在这种情况下，控制器120确定在语音信号中包括的内容(例如，DDD)没有被包括当前屏幕中，并且显示关于在语音信号中包括的识别词的搜索结果屏幕。当语音信号包括与图5相同的识别词DDD时，可以显不与图5相同的搜索结果屏幕510。
[0077]在上述示例性实施例中，当除了标题的全称之外，发出标题的简称或其他名称时，控制器120可以显示对应于简称或其他名称的内容的信息。
[0078]如上参照图4至图6所述，甚至在用户输入相同语音信号时，显示设备100也可以根据各种条件，诸如当前显示的屏幕的类型、屏幕的内容显示状态等提供各种结果屏幕。
[0079]在上述示例性实施例中，用户输入语音信号以指定特定内容。然而，显示设备100可以接收用户任意地发出的语音信号，并且可以根据语音信号的含义来提供各种结果屏蒂。
[0080]图7是示出根据这样的示例性实施例的显示设备的操作的视图。图7示出当特定内容屏幕710正在被显示时用户10输入语音信号“那是什么? ”的情况。控制器120分析用户的语音信号，并且确定其含义。因此，控制器120确定通过表述“那”所指示的对象，并且显示与确定结果对应的响应消息720。图7示出当显示具有名为EEE的企鹅字符的动画内容时用户输入语音信号的情况。控制器120可以响应于用户的问题来配置响应消息720 “EEE是企鹳”，并且可以显示响应消息720。
[0081 ]响应消息可以以各种方式进行配置。
[0082]例如，控制器120可以从当前显示的内容的元数据中搜索相应内容的各种信息，诸如标题、字符名称、附加说明等。控制器120可以控制图形处理器140根据搜索结果来配置响应消息720。
[0083]根据另一示例性实施例，控制器120可以检测在输入用户的语音信号时显示的图像帧。控制器120可以检测包括在所检测的图像帧中的边缘，并且可以搜索与边缘指定的对象的形状对应的相关图像。当搜索相关图像时，控制器120可以控制图形处理器140来配置响应消息720，以包括相关图像或包括具有相关图像的文本。
[0084]此外，控制器120可以基于与相应内容链接的地址信息来访问特定服务器设备，并且可以控制图形处理器140以基于服务器设备提供的文本来配置响应消息720。
[0085]图8示出显示web屏幕810的状态。在这种状态下，当用户输入语音信号“那是什么? ”时，控制器120可以基于来自提供当前显示的web屏幕810的web服务器(未示出)的信息来显示响应消息820。在图8中，示出显示指示当前显示的站点是FFF门户站点的信息的响应消息820。
[0086]对于另一示例，控制器120可以控制图形处理器140配置响应消息820，以包括当前显示的web屏幕810的统一资源定位符(URL)。图9是示出在包括关于至少一个内容的信息的内容选择屏幕正在被显示的同时用户输入特定语音信号的示例性实施例的视图。参照图9，内容选择屏幕910可以包括关于可观看内容的缩略图图像911-1至911-12。
[0087]控制器120可以将缩略图图像911-1到911-12中的一个高亮显示。在图9中，第二缩略图图像911-2被高亮显示。当用户操纵设置在遥控设备上的方向键或输入指示方向的语音信号时，控制器120可以沿与方向键或语音信号对应的方向移动显示的高亮显示区域。在这种状态下，当用户输入语音信号“那是什么?”时，控制器120可以控制图形处理器140和显示器130，以显示与当前高亮显示的缩略图图像911-2链接的详细信息屏幕920。例如，当相应的缩略图图像911-2是电影内容时，详细信息屏幕920可以包括各种信息，诸如电影标题、语言、片长、故事情节、主要场景等。
[0088]此外，当用户输入语音信号“展示给我!”时，控制器120可以控制处理器直接重放与当前高亮显示的缩略图像911-2对应的内容，并且可以在显示器130上显示其重放屏幕。
[0089]根据上述各种示例性实施例，即使在用户输入相同的语音信号时，显示设备也能够根据显示设备的操作状态提供各种结果屏幕。
[0090]此外，即使在用户输入相同的语音信号时，显示设备也能够根据显示设备的操作状态执行不同的控制操作。
[0091]图10和图11示出根据另一示例实施例的显示设备的操作。根据当前示例性实施例，即使在用户输入相同的语音信号时，显示设备也能够根据显示设备的操作状态执行不同的控制操作。
[0092]在图10和图11中，用户输入语音信号“请增加”。在图10中，显示与音频音量无关的屏幕1010。具体地，显示设备100可以显示包括多个对象1011-1至1011-8的屏幕1010。例如，可以如图2至图5所示显示包括关于可观看内容的缩略图图像的内容选择屏幕或用户偏好内容的屏幕。
[0093]在这种状态下，当输入语音信号“请增加”时，控制器120可以确定用户10的意图是放大屏幕1010。因此，控制器120可以控制图形处理器140来配置屏幕1020，以放大的形式包括屏幕1010的对象1011-1至1011-8。当作为放大的结果所有对象1011-1至1011-8不能都包括在一个屏幕1020中时，可以减少包括在一个屏幕1020中的对象的数量。在图10中，8个对象1011-1至1011-8被包括在放大前的屏幕1010中，而只有4个对象1011-1、1011-2、1011-5和1011-6被包括在放大后的屏幕1020中。当多次重复输入语音信号“请增加”时，控制器120可以控制图形处理器140继续放大对象1011-1至1011-8。此外，当输入语音信号超过预定次数时，控制器120可以控制图形处理器140将对象1011-1至1011-8中的一个(例如，1011-1)配置为全屏大小，使得对象1011-1至1011-8中的一个被显示在整个显示器上。虽然在图10中以缩略图图像的形式显示对象1011-1至1011-8中的每一个，但是可以以各种形式实现对象，诸如文本、照片、图像等。
[0094]图11示出重放运动图像内容并显示其播放屏幕1110的状态。在这种状态下，当用户10输入语音信号“请增加”时，控制器120可以确定用户的意图是要调高音频音量。因此，控制器120可以将音频音量增大到预定水平。此外，控制器120可以控制图形处理器140配置指示音频音量状态的图形用户界面(GUIH120。
[0095]在图10和图11中，通过示例的方式输入语音信号“请增加”。然而，当输入语音信号“请降低”时，控制器120可以执行不同的操作，诸如根据屏幕的类型减少尺寸或调低音频音量。
[0096]根据如上所述的各种示例实施例，即使当用户输入相同的语音信号时，显示设备也能够根据显示设备的操作状态执行各种操作。
[0097]在上述示例性实施例中，显示设备100接收语音信号并处理语音信号。然而，没有显示器的广播接收装置(例如，机顶盒)可以执行上述处理操作。当在显示设备正在显示包括至少一个内容的屏幕的同时输入用户的语音信号时，对应于语音信号并根据内容状态，机顶盒可以配置不同的结果屏幕，并且可以向显示设备提供结果屏幕。因此，可以在显示设备上显示与语音信号对应的结果屏幕。可以根据上面参照图2至图11描述的各种示例性实施例来配置由广播接收设备配置的结果屏幕。将省略广播接收设备的配置和操作的说明和解释。
[0098]图12是示出根据示例性实施例的用于提供显示设备的内容信息的方法的流程图。
[0099]参照图12，当显示设备100显示特定屏幕时(S1210)，显示设备100可以接收用户的语音信号(S1220)。可以以上面参照图2至图11描述的各种方式实现屏幕。当输入用户的语音信号时，显示设备100可以根据屏幕的内容状态不同地配置被显示的与将语音信号对应的结果屏幕，并且可以显示结果屏幕(S1230)。可以通过显示设备100独立地执行这种操作。然而，这不应该被认为是限制。根据示例性实施例，可以在包括文本转换器、显示设备100和服务器设备的显示系统中执行上述操作。
[0100]图13是示出根据示例性实施例的显示系统的配置的框图。参照图13，显示系统1300包括文本转换器1310、显示设备100和服务器设备1400。
[0101]当输入语音信号时，显示设备100可以向外部文本转换器1310发送语音信号。文本转换器1310是将通过显示设备100发送的语音信号转换为文本并且向显示设备100提供文本的设备。根据示例性实施例，文本转换器1310可以通过使用单独的服务器设备实现，或者可以包括在服务器设备1400中。
[0102]文本转换器1310可以通过使用各种识别算法中的至少一种来识别语音，诸如动态时间规整方法、隐马尔可夫模型、神经网络等，并且可以将识别的语音转换成文本。例如，当使用隐马尔可夫模型时，文本转换器1310对用户语音的时间变化和频谱变化分别建模，并且从预先存储的语言数据库检测相似词。因此，文本转换器1310可以将所检测的词作为文本输出。文本转换器1310将文本发送到显示设备100。当显示设备100配备有如上所述的文本转换功能时，显示设备100不向文本转换器1310发送语音信号，而是将语音信号直接转换成文本。
[0103]当从文本转换器1310发送文本时，显示设备100可以执行与文本对应的控制操作。例如，当用户输入的语音信号包括预先定义的语音命令时，显示设备100可以执行与语音命令对应的操作。例如，当显示设备100是TV时，语音命令可以被指定为各种操作，诸如打开、关闭、增加音量、降低音量、频道向上、频道向下等，并且可以被存储。当输入这种语音命令时，显示设备100可以执行匹配语音命令的操作。
[0104]另一方面，当语音命令与文本不一致时，显示设备100向服务器设备1400提供文本。此外，显示设备100可以在向服务器设备1400输入语音信号时发送关于包括在屏幕中的内容的状态信息。
[0105]服务器设备1400可以从显示设备100接收状态信息和文本。可以同时接收状态信息和文本，或者必要时可以按顺序接收状态信息和文本。例如，服务器设备1400可以先从显示设备100接收状态信息，然后可以接收文本。
[0106]服务器设备1400基于状态信息和文本执行搜索，并且向显示设备100发送搜索结果。搜索结果可以包括各种信息。例如，搜索结果可以包括缩略图图像，缩略图图像包括各种内容，诸如包括在用户的语音信号中的关键字、标题信息和用于获得内容信息的地址信息。
[0107]当显示设备100接收到搜索结果时，显示设备100可以基于搜索结果来配置结果屏幕，并且显示结果屏幕。状态信息可以包括屏幕中包括的内容的标题信息、别名标题信息和标识信息中的至少一条信息。此外，状态信息可以包括屏幕中包括的内容数量的信息、内容类型的信息和内容设置信息中的至少一条信息。内容数量的信息是指示在屏幕上显示的缩略图图像数量的信息，并且内容类型的信息是指示各种内容(诸如运动图像、照片、网页、TV、视频点播(VOD))之中在屏幕上显示的内容的类型的信息。内容设置信息是指用户为每个内容设置的信息。例如，当内容是3D内容时，内容设置信息可以是深度信息。
[0108]例如，显示设备100可以发送以下状态:
[0109]!7_状态:推荐、智能功能、网络浏览器等，
[0110]屏幕」言息:0nTV、MyCOntent、应用、电影、TV、照片、网页、多媒体、帐户、推荐条、多屏幕、主屏幕等，
[0111]面板_深度_信息:第一，第二，第三等，
[0?12] 面板_文本:标题1、标题2、命令1、命令2等，
[0113]内容_标题:标题1、标题2、标题3......标题n，
[0?14.] 别名标题:a-标题I，&_标题2、8_标题3......标题_n，
[0115]内容_数量:n，
[0116]内容_id:1D-l、ID-2、...1D-n。
[0117]对于另一示例，当重放特定内容时，显示设备100可以发送如下状态信息:
[0118]设备_状态_类型:EPG
[0119]内容_信息:内容-1d-001
[0120]内容_时间:20130102-10:00
[0121]标题:EEE是我的朋友
[0122]用户_id:1QM。
[0123]服务器设备1400可以通过使用显示设备100的状态信息来确定显示设备100的当前状态。当输入命令“劳驾AAA”时，服务器设备1400通过使用状态信息的标题信息、别名标题信息和标识信息来确定标题为AAA的内容是否存在于显示设备100的当前屏幕中。当存在AAA内容时，服务器设备1400可以向显示设备100直接发送AAA内容。根据另一示例性实施例，服务器设备1400可以向显示设备100发送用于获取AAA内容的地址信息。当接收到地址信息时，显示设备100可以基于地址信息来访问内容提供服务器(未示出)，并且可以获取AAA内容。
[0124]包括在图13的显示系统1300中的显示设备100可以包括上面参照图1所述的配置。然而，这不应该被认为是限制。
[0125]图14是示出当通过使用TV实现显示设备100时根据上述示例性实施例的显示设备100的详细配置的视图。
[0126]参照图14，显示设备100包括麦克风110、控制器120、显示器130、图形处理器140、存储器150、通信器165、广播接收器160、处理器170、扬声器180和遥控信号接收器190。
[0127]麦克风110是如上所述的接收语音信号的元件。
[0128]图形处理器140是如上所述的配置各种屏幕的元件。
[0129]控制器120可以将通过麦克风110输入的语音信号直接转换成文本，或者可以语音信号发送到图13所示的文本转换器，以将语音信号转换成文本。
[0130]通信器165是用于与各种外部设备、包括文本转换器1310和服务器设备1400进行通信的元件。通信器165可以以各种通信方式执行通信。具体来说，通信器165可以以各种有线和无线通信方式进行通信，诸如W1-F1、蓝牙、Zigbee、局域网(LAN)、第三代(3G)、4G、近场通信(NFC)等。控制器120可以通过通信器165与文本转换器1310和服务器设备1400进行通信。例如，当输入语音信号时，控制器120可以通过通信器165向服务器设备1400发送输入语音信号时显示的屏幕的状态信息和与语音信号对应的文本。
[0131]遥控信号接收器190是从遥控设备接收各种遥控信号的元件。
[0132]广播接收器160是调谐到各种广播频道并且通过调谐的广播频道接收广播内容的元件。
[0133]控制器120根据从遥控信号接收器190接收的遥控信号来控制广播接收器160调谐到广播频道。
[0134]处理器170是处理内容的元件。处理器170可以处理各种内容，诸如通过广播接收器160接收的广播内容、通过其他网络(诸如因特网)接收的内容和存储在存储器140的内容，并且可以重放内容。
[0135]处理器170可以包括视频处理器和音频处理器。视频处理器是用于处理包括在内容中的视频数据的元件。视频处理器可以对视频数据执行各种图像处理操作，诸如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。音频处理器是用于处理包括在内容中的音频数据的元件。音频处理器可以对音频数据执行各种处理操作，诸如解码、放大、噪声滤波等。
[0136]显示器130可以输出由处理器170处理的视频数据。
[0137]扬声器180可以输出由处理器170处理的音频数据。
[0138]存储器150是用于存储显示设备100的操作所必需的各种程序或数据和内容的元件。
[0139]控制器120使用存储在存储器150的程序控制显示设备100的整体操作。控制器120可以以各种形式进行配置。例如，控制器120可以包括随机存取存储器(RAM)121、只读存储器(R0M)122、CPU 123和总线125，如图14所示。RAM 121、R0M 122和CPU 123可以经由总线125彼此连接。
[0140]CPU 123通过使用存储在存储器150中的操作系统(OS)访问存储器150，并执行启动。此外，CPU 123使用存储在存储器150中的各种程序、内容、数据等执行各种操作。
[0141]ROM 122存储启动系统的命令集合。当输入开机命令并且提供电源时，CPU 123根据存储在ROM 122中的命令将存储在存储器150中的OS复制到RAM 121，执行0/S并启动系统。当完成启动时，CPU 123将存储在存储器150中的各种程序复制到RAM 121，执行复制到RAM 121的程序，并执行各种操作。
[0142]此外，虽然在图14中没有示出，但是显示设备100还可以包括各种元件，诸如麦克风、相机、USB端口、外部输入端口等。
[0143]图15示出根据示例性实施例的存储在显示设备100中的软件的结构。参照图15，存储器150可以存储OS 151、语音信号处理模块152-1、状态信息处理模块152-2、命令处理模块152-3、UI框架152-4、APP管理器152-5、数据库153和各种应用154-1至154-n。
[0144]OS 151控制和管理硬件的整体操作。也就是说，OS 151是执行基本功能(诸如硬件管理、存储器和安全)的软件。
[0145]语音信号处理模块152-1是将通过麦克风110输入的语音信号转换成文本的软件。可以根据上述各种算法执行文本转换。
[0146]状态信息处理模块152-2是生成在显示器130上显示的屏幕中包括的各种内容的状态信息的元件。可以以上述各种形式配置状态信息。
[0147]命令处理模块152-3是解析从服务器设备1400发送的命令的元件。控制器120执行与命令处理模块152-3处理的命令对应的操作。
[0148]UI框架152-4是提供将在显示器130上显示的各种UI的模块。UI框架152-4可以包括:图像合成器模块，以配置包括在屏幕上的各种对象;坐标合成器，计算将被显示的对象的坐标;渲染模块，在计算的坐标上渲染配置的对象；以及2D/3D UI工具包，提供用于配置2D或3D格式的UI的工具。控制器120通过执行UI框架152-3来显示上面参照图2至图11描述的各种屏幕。
[0149]APP管理器152-5是用于管理安装在存储器150中的各种应用的执行状态的模块。当检测到应用执行事件时，APP管理器152-5调用对应于该事件的应用并执行该应用。
[0150]数据库153包括各种语音命令或关键字。此外，各种应用155-1至155-n可以被存储在存储器150中。
[0151]图15所示的软件结构仅是示例，并且不限于此。相应地，可以省略或改变一部分元件，或者必要时可以添加新的元件。例如，当显示设备100未配备有文本转换功能时，可以省略语音信号处理模块152-1和数据库153。
[0152]如上所述，可以通过使用除了TV之外的各种类型的设备来实现显示设备100。因此，可以根据显示设备100的类型以各种方式改变图14和图15中描述的配置。
[0153]图16是示出包括在显示系统1300中的服务器设备的配置的示例的框图。参照图16，服务器设备1400包括服务器通信器1410和服务器控制器1420。
[0154]服务器通信器1410是与显示设备100通信的元件。服务器通信器1410可以接收显示设备100上正在显示的屏幕中的至少一个内容的状态信息和文本。
[0155]服务器控制器1420可以基于状态信息和文本根据显示设备100的使用意图执行搜索。具体地，服务器控制器1420可以基于状态信息而识别在显示设备100的屏幕中包括的内容。当文本指定的内容存在于识别的内容中时，服务器控制器1420可以搜索用于获取指定内容的地址信息，并且可以向显示设备发送该地址信息。另一方面，当文本指定的内容不存在于显示设备100的屏幕中时，服务器控制器1420可以使用文本执行搜索，并且向显示设备100发送搜索结果。
[0156]服务器控制器1420包括输入数据处理器1421、对话意图分析器1422、内容处理器1423、状态信息分析器1424、命令生成器1425和输出数据处理器1426。
[0157]输入数据处理器1421是解析从显示设备100发送的数据并向元件1422至1426中的每一个提供数据的元件。
[0158]状态信息分析器1422是用于接收输入数据处理器1421处理的状态信息并分析该状态信息的元件。状态信息分析器1422可以通过分析状态信息来确定哪些内容包括在于显示设备100显示的屏幕上以及显示何种屏幕。
[0159]对话意图分析器1423是基于通过服务器通信器1410接收的文本和状态信息分析器1422的分析结果来分析用户意图的元件。
[0160]内容处理器1424是生成包括用户的语音信号指定的内容的信息的查询的元件。月艮务器通信器1410可以向内容提供服务器1600或其他数据库发送查询，并且可以接收对查询的响应信号。响应信号可以包括搜索结果。
[0161]命令生成器1425基于对话意图分析器1423的分析结果和响应信号来生成对应于显示设备100的命令。
[0162]输出数据处理器1426是生成包括所生成的命令和搜索结果的输出数据的元件。可以以输出数据能够在显示设备中被处理的格式生成输出数据。
[0163]图17是示出根据示例性实施例的显示系统的操作的时序图。参照图17，当输入用户的语音时(S1710)，显示设备100向文本转换器1310发送语音信号。
[0164]文本转换器1310将语音信号转换成文本(S1720)，并且向显示设备100发送文本(S1725)。显示设备100向服务器设备1400发送文本和状态信息(S1730)。状态信息可以以上述各种方式进行配置。
[0165]服务器设备1400基于状态信息来分析对话意图(S1735)。服务器设备1400执行与所分析的对话意图对应的搜索(S1740)。可以以上面参照图2至图11描述的各种方式执行搜索。
[0166]服务器设备1400向显示设备100发送搜索结果(S1745)。搜索结果可以包括用于获取各种内容的地址信息。显示设备100根据包括在搜索结果中的地址信息来访问内容提供服务器1600。显示设备100从内容提供服务器1600请求内容信息。
[0167]内容提供服务器1600可以根据请求提供内容或缩略图图像(S1755)。
[0168]显示设备100可以基于发送的数据配置结果屏幕(S1760)。结果屏幕可以根据显示设备100的状态和用户的语音信号以各种方式配置，如图2至图11所示，并且可以显示结果屏幕。
[0169]如上所述，显示设备100可以根据用户输入的语音信号和显示设备100的屏幕显示状态来显示各种结果屏幕。
[0170]用于提供根据上述示例性实施例的显示系统的内容信息的显示设备或方法可以被存储在非临时性可读介质中。可以在各种设备中安装和使用非临时性可读介质。
[0171]非临时性可读介质是指半永久地存储数据而不是非常短时间存储数据且设备可读的介质，诸如寄存器、高速缓存和存储器。具体地，非临时性可读介质可以是光盘(CD)、数字多功能盘(DVD )、硬盘、蓝光光盘、USB、存储器卡、ROM等。
[0172]例如，可以在非临时性可读介质中存储并提供显示包括至少一个内容的屏幕，接收语音信号，根据内容的状态不同地配置对应于语音信号的结果屏幕并显示结果屏幕的程序代码。
[0173]上述示例性实施例和优点仅是示例性的，并且不被解释为限制本发明构思。示例性实施例可以容易地应用于其它类型的设备。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对本领域的技术人员将是显而易见的。
【主权项】
1.一种显不设备，包括: 显示器，被配置为显示包括至少一个内容的屏幕； 麦克风，被配置为接收语音信号； 图形处理器，被配置为根据屏幕内容的状态不同地生成与语音信号对应的结果屏幕；以及 控制器，被配置为控制显示器来显示图形处理器生成的结果屏幕。2.根据权利要求1所述的显示设备，还包括:通信器，被配置为与服务器设备通信，以及 其中，控制器通过通信器向服务器设备发送至少一个内容的状态信息和与语音信号对应的文本，并且当从服务器设备接收与状态信息和文本对应的搜索结果时，控制器基于搜索结果来生成结果屏幕。3.根据权利要求2所述的显示设备，其中，当输入语音信号时，控制器通过通信器向文本转换器发送语音信号，并且当文本转换器将语音信号转换成文本时，控制器通过通信器接收文本。4.根据权利要求2或3所述的显示设备，还包括:处理器，被配置为重放内容，以及 其中，控制器从服务器设备接收用于获取指定内容的地址信息，根据地址信息获取指定内容，并且控制内容处理器重放获取的内容。5.根据权利要求2至3中的任何一个所述的显示设备，其中，当从服务器设备接收基于语音信号的搜索结果时，控制器基于搜索结果来控制图形处理器生成结果屏幕。6.根据权利要求2至3中的任何一个所述的显示设备，还包括:处理器，被配置为重放内容，以及 其中，当语音信号指定的内容存在于屏幕中时，控制器从服务器设备接收用于获取指定内容的地址信息，根据地址信息获取指定内容，并且控制内容处理器重放获取的内容，以及 其中，当语音信号指定的内容不存在于屏幕中时，控制器从服务器设备接收基于语音信号的搜索结果，并且基于搜索结果来控制图形处理器生成结果屏幕。7.根据权利要求2至3中的任何一个所述的显示设备，其中，状态信息包括屏幕中包括的内容的标题信息、别名标题信息和标识信息中的至少一个。8.根据权利要求2至3中的任何一个所述的显示设备，其中，状态信息包括屏幕中包括的内容数量的信息、内容类型的信息和内容设置信息中的至少一条信息。9.一种显不系统，包括: 显示设备，被配置为通过语音信号的输入来控制； 文本转换器，被配置为将输入到显示设备的语音信号转换成文本；以及 服务器设备，被配置为根据从显示设备接收的状态信息和文本执行搜索，并且向显示设备提供搜索结果，以及 其中，显示设备基于搜索结果来显示结果屏幕。10.根据权利要求9所述的显示系统，其中，文本转换器被包括在服务器设备中。11.根据权利要求9或10所述的显示系统，其中，服务器设备从显示设备同时接收状态信息和文本。12.根据权利要求9至10中的任何一个所述的显示系统，其中，服务器设备首先从显示设备接收状态信息，然后接收文本。13.根据权利要求9至10中的任何一个所述的显示系统，其中，服务器设备基于状态信息来识别在显示设备的当前屏幕中包括的内容。14.一种提供显示设备的内容信息的方法，所述方法包括: 显示包括至少一个内容的屏幕； 接收语音信号；以及 根据屏幕中内容的状态不同地生成与语音信号对应的结果屏幕，并且显示结果屏幕。15.根据权利要求14所述的方法，还包括: 向服务器设备发送关于至少一个内容的状态信息和与语音信号对应的文本；以及 从服务器设备接收与状态信息和文本对应的搜索结果， 其中，根据搜索结果生成结果屏幕。
【文档编号】H04N21/482GK105850145SQ201480071052
【公开日】2016年8月10日
【申请日】2014年10月23日
【发明人】李熙兰, 柳熙涉, 崔成旭, 黄圣弼
【申请人】三星电子株式会社