显示装置及用于控制该显示装置的方法_2

文档序号:8303697阅读:来源:国知局
此提供了一种显示装置,其包括:动作输入单元,其接收用户的动作;显示器;以及控制器,其中,若使用双手执行动作任务的双手开始命令通过所述动作输入单元被输入,则将显示装置的模式改变为使用双手执行动作任务的双手任务模式,并在显示单元上显示使用双手执行动作任务的双手输入指导GUI。
[0083]若使用一只手的动作开始命令通过所述动作输入单元被输入,则控制器可以将显示装置的模式改变为执行该动作任务的动作任务模式;并且,若当显示装置的模式被改变为所述动作任务模式时使用另一只手的动作开始命令通过所述动作输入单元被输入,则可以识别出双手开始命令已被输入。
[0084]若同时摇动双手多次的摇动动作通过所述动作输入单元被输入,则所述控制器可以识别出双手开始命令已被输入。
[0085]使用双手的动作任务可以是放大或缩小显示屏幕的任务。
[0086]若当在显示屏幕的区域中显示双手输入指导GUI时使得双手彼此远离的动作被输入,则所述控制器可以基于双手输入指导GUI所显示的区域中的预定位置来放大显示屏幕;以及若使得双手彼此靠近的动作被输入,则所述控制器可以基于双手输入指导GUI所显示的预定位置来缩小显示屏幕。
[0087]所述双手输入指导⑶I可以是在所述显不屏蒂的中七、区域中显不双手圆形输入指导⑶I。
[0088]若移动双手的动作通过所述动作输入单元被输入,则所述控制器可以移动该双手圆形输入指导GUI,使得双手输入指导GUI与移动双手的动作相对应。
[0089]所述双手输入指导GUI可以是两个指针,其显示在与用户的双手的位置相对应的地方。使用双手的动作任务可以是通过使用所述两个指针来放大或缩小显示屏幕的任务。
[0090]根据另一示例性实施例的一方面,提供一种控制显示装置的方法,所述方法包括:通过语音输入单元接收语音开始命令;若所述语音开始命令被输入,则将显示装置的模式改变为语音任务模式,并且若在所述语音任务模式中发生语音识别错误,则显示多个示出所述语音识别错误的反馈消息中的一个。
[0091]所述方法还可包括:若在所述语音任务模式中语音识别错误反复地发生,则随机地选择并显示所述多个反馈消息中的一个。
[0092]所述语音任务模式可包括:第一语音任务模式,其是根据输入到所述显示装置的语音输入单元的用户语音来控制的,以及,第二语音任务模式,其是根据输入到与该显示装置一起操作的外部装置的用户语音来控制的。
[0093]所述多个反馈消息可以根据所述语音任务模式的类型不同地显示。
[0094]所述多个反馈消息可以根据所述语音识别错误的类型不同地显示。
[0095]所述语音识别错误可以包括以下各项中的至少一者:准确地识别通过所述语音输入单元输入的用户语音时的错误;用户语音被输入之后按下所述外部装置的识别按钮持续预设时间时的错误;以及在按下所述外部装置的识别按钮之后输入用户语音持续预设时间时的错误。
[0096]所述多个反馈消息中的一个的显示,可包括:若所述语音识别错误第一次发生,则显示默认的反馈消息。
[0097]根据另一示例性实施例的一方面,在此提供了一种显示装置,其包括:语音输入单元,其接收用户语音;显示器;控制器,其中,如果通过语音输入单元输入了语音开始命令,则将显示装置的模式改变为语音任务模式,并且若在所述语音任务模式中发生语音识别错误,则在显示单元上显示多个用于示出所述语音识别错误的反馈消息中的一个。
[0098]若在所述语音任务模式中语音识别错误反复地发生,则所述控制器可以随机地选择并显示所述多个反馈消息中的一个。
[0099]所述语音任务模式可包括:第一语音任务模式,其是根据输入到所述显示装置的语音输入单元的用户语音来控制的,以及,第二语音任务模式,其是根据输入到与该显示装置一起操作的外部装置的用户语音来控制的。
[0100]所述多个反馈消息可以根据所述语音任务模式的类型不同地显示。
[0101]所述多个反馈消息可以根据所述语音识别错误的类型不同地显示。
[0102]所述语音识别错误可以包括以下各项中的至少一者:精确地识别通过所述语音输入单元输入的用户语音时的错误;用户语音被输入之后按下所述外部装置的识别按钮持续预设时间时的错误;以及在按下所述外部装置的识别按钮之后输入用户语音持续预设时间时的错误。
[0103]若所述语音识别错误第一次发生,则所述控制器可以在显示单元上显示默认的反馈消息。
[0104]根据另一示例性实施例的一方面,提供一种控制显示装置的方法,所述方法包括:通过语音输入单元输入语音开始命令,若语音开始命令被输入,则将显示装置的模式改变为其中根据用户语音来控制显示装置的语音任务模式,以及,在所述显示装置上显示包括多个执行语音任务模式的语音命令的语音指导信息,以及根据用户的输入用不同的语音命令替换多个语音命令当中的至少一个。
[0105]所述语音指导信息可包括:在其上固定地显示语音命令的固定命令区域,以及在其上语音命令接受改变的可改变的命令区域。
[0106]所述固定命令区域可包括执行显示装置的电源关闭功能的语音命令。
[0107]所述改变可包括:响应于指示执行应用的用户命令来执行该应用;以及随着应用的执行,用与所执行的应用相对应的语音命令替换多个语音命令当中的至少一个。
[0108]所述改变可包括:输入用户命令,其指示显示用户最喜爱的语音命令;以及响应于输入的所述用户命令,用由用户设置的用户最喜爱的语音命令来替换多个语音命令当中的至少一个。
[0109]所改变的语音指导信息可包括:执行以返回到改变之前的语音指导信息的语音命令。
[0110]根据另一示例性实施例的一方面,在此提供了一种显示装置,其包括:语音输入单元,其接收用户语音;显示器;控制器,其将显示装置的模式改变为其中根据用户语音来控制显示装置的语音任务模式,以及,在所述显示装置上显示包括多个执行语音任务模式的语音命令的语音指导信息,以及,若语音开始命令通过所述语音输入单元被输入,则根据用户的输入用不同语音命令来替换多个语音命令当中的至少一个。
[0111]所述语音指导信息可包括:在其上固定地显示语音命令的固定命令区域,以及在其上语音命令接受改变的可变命令区域。
[0112]所述固定命令区域可包括执行显示装置的电源关闭功能的语音命令。
[0113]响应于指示执行应用的用户命令,所述控制器可以执行该应用;以及用与所执行的应用相对应的语音命令来替换多个语音命令当中的至少一个。
[0114]若指示显示用户最喜爱的语音命令的用户命令被输入,则所述控制器可以用由用户设置的用户最喜爱的语音命令来替换多个语音命令当中的至少一个。
[0115]所改变的语音指导信息可包括:执行以返回到改变之前的语音指导信息的语音命令。
[0116]根据另一示例性实施例的一方面,提供一种显示装置的控制方法,所述方法包括:通过动作输入单元输入动作开始命令,若动作开始命令被输入,则将显示装置的模式改变为其中根据用户的动作来控制显示装置的动作任务模式,以及,在所述显示装置上显示包括多个执行动作任务模式的动作命令的动作指导信息,以及若指示执行应用的命令被输入,则用与所执行的应用相对应的动作命令来替换多个动作命令当中的至少一个。
[0117]根据另一示例性实施例的一方面,在此提供了一种显示装置,其包括:动作输入单元,其接收用户的动作;显示器;控制器,其将显示装置的模式改变为其中根据用户的动作来控制显示装置的动作任务模式,以及,在所述显示装置上显示包括多个执行动作任务模式的动作命令的动作指导信息,以及若动作开始命令被输入,以及若指示执行应用的命令被输入,则用与所执行的应用相对应的动作命令来替换多个动作命令当中的至少一个。
[0118]根据另一示例性实施例的一方面,提供一种设置显示装置的视角的方法,所述方法包括:显示视角指导用户接口(UI),其指导对相机的视角的设置;以及使用所述视角指导Π来设置该相机的视角。
[0119]所述方法还包括:以预定的速度自动调整相机的角度;以及在调整相机的角度期间接收用户命令,其中所述相机的视角的设置将所述相机的视角设置为:当接收到用户命令的时间点处相机的角度。
[0120]显示所述视角指导Π可以响应于如下事件中的至少一个的发生而发生:在所述显示装置的初始安装期间电源被施加到所述显示装置的事件、动作任务模式被开启的事件、从所述显示装置的控制菜单当中视角设置菜单被选择的事件。
[0121]本发明的有益效果
[0122]如上所述,由于动作命令根据在显示装置上执行的应用而改变,因此用户能够更方便和高效地控制该显示装置。
【附图说明】
[0123]通过结合附图对特定本公开的描述,本公开的上述和/或其他方面将更加明显,附图中:
[0124]图1至图3是示出根据示例性实施例的各个方面的显示装置的结构的框图;
[0125]图4至图7是示出根据示例性实施例的、依赖于被连接到所述显示装置的外部设备提供不同语音指导信息的方法;
[0126]图8为流程图,其被提供以说明根据示例性实施例的、依赖于被连接到所述显示装置的外部设备提供不同语音指导信息的方法;
[0127]图9为示出根据示例性实施例的、具有显示装置、外部设备和中继该显示装置和外部设备的中继设备的系统的视图;
[0128]图10是示出根据示例性实施例的、在显示装置中提供的相机的视图;
[0129]图11是示出根据示例性实施例的、在显示装置中提供的、用于设置相机的视角的视角设置Π的视图;
[0130]图12是示出根据示例性实施例的、显示装置的视角设置方法的流程图;
[0131]图13至图18是示出根据示例性实施例的各个方面的、使用用户动作来执行频道控制和音量控制的方法的视图;
[0132]图19是示出根据示例性实施例的、使用用户动作的电子装置的控制方法的流程图;
[0133]图20是根据示例性实施例的、在第一语音任务模式中显示的第一语音指导信息,在第一语音任务模式中,通过显示装置的语音输入单元输入用户语音;
[0134]图21是根据示例性实施例的、在第二语音任务模式中显示的第二语音指导信息,在第二语音任务模式中,通过与显示装置一起操作的外部设备的语音输入单元输入用户语立曰;
[0135]图22是示出根据示例性实施例的、根据语音输入方法提供不同语音任务模式的方法的流程图;
[0136]图23至图26是示出根据示例性实施例的各个方面的、使用双手的用户动作来控制显示装置的方法的视图;
[0137]图27是示出根据示例性实施例的、由使用双手的用户动作来控制显示装置的方法的流程图;
[0138]图28是示出根据示例性实施例的、若发生语音识别错误时的反馈消息的视图;
[0139]图29至图32是示出根据示例性实施例的各个方面的、根据语音任务模式和语音错误类型显示的反馈消息的视图;
[0140]图33是示出根据示例性实施例的、控制显示装置的方法的流程图;
[0141]图34和图35是示出根据示例性实施例的、在语音任务模式中的一般语音指导信息的视图;
[0142]图36是示出根据示例性实施例的、在语音任务模式中专用于应用的语音指导信息的视图;
[0143]图37是示出根据示例性实施例的、在语音任务模式中、其中包括用户喜好的语音命令的语音指导信息的视图;
[0144]图38是示出根据示例性实施例的、控制显示装置以用于改变应用的语音命令的一部分的方法的流程图;
【具体实施方式】
[0145]某些示例性实施例将参照附图进行更详细的描述。
[0146]在下面的描述中,即使在不同附图中,相同的附图参考编号也用于相同的元件。在说明书中定义的事项,例如详细的构造或元件,是为了帮助对示例性实施例的全面理解而提供的。然而,示例性实施例可在没有这些具体定义的事项的情况下进行实践。同样,不对公知的功能或构造详细描述,因为其中不必要的细节会混淆本申请。
[0147]图1是示出根据本发明的总体构思的示例性实施例的、显示装置100的示意性框图。
[0148]参照图1,显示装置100包括语音输入单元110、动作输入单元120、存储单元130、控制器140和显示器193。在此,显示装置100可以实施为智能TV、机顶盒、或者能够被连接到外部网络的PC、数字TV、可移动电话等等,但并不限于此。
[0149]语音输入单元110接收用户发出的语音。语音输入单元110将输入的语音信号转换为电信号并输出该电信号到控制器140。例如,语音输入单元110可以被实施为麦克风。此外,语音输入单元110可以以多合一(all-1n-one)的形态安装在显示装置100中,或者可以与显示装置100分开地安装。分开的语音输入单元110可以通过有线或无线网络来连接到显示装置100。
[0150]动作输入单元120接收所拍摄的用户的动作的图像信号(如连续的帧)并将其提供到控制器140。作为示例,动作输入单元120可以被实施为包括镜头和图像传感器的相机单元。此外,动作输入单元120可以与显示装置100—体地提供,或者分开地提供。若是分开地提供的,则动作输入单元120可通过有线或无线网络连接到显示装置100。
[0151 ] 存储单元130可以存储各种数据和程序以驱动和控制显示装置100ο存储单元130还可存储:语音识别模块以识别通过语音输入单元110输入的语音,以及动作识别模块以识别通过动作输入单元120输入的动作。
[0152]存储单元130可包括语音数据库和动作数据库。如在此使用的,语音数据库是指其上记录有预设的语音和与该预设的语音匹配的语音任务的数据库。动作数据库是指其上记录有预设的动作和与该预设的动作匹配的动作任务的数据库。
[0153]显示器193可显示与从广播接收器接收到的广播信号相对应的图像。显示器193可显示通过外部端子输入单元输入的图像数据(如视频)。显示器193还可根据控制器140的控制,来显示语音指导信息以执行语音任务以及显示动作指导信息以执行动作任务。
[0154]控制器140可控制语音输入单元110、动作输入单元120和存储单元130。控制器140可包括中央处理单元(CPU)和模块以控制显示装置100,以及只读存储器(ROM)和随机存取存储器以存储数据。
[0155]若通过语音输入单元110输入语音,则控制器140使用语音识别模块和语音数据库来识别该语音。语音识别可主要被分类为基于孤立的单词(word)识别语音话语(voiceutterance)的孤立单词识别、识别连续句子和对话语音的连续语音识别、以孤立单词识别和连续语音识别的混合形式的关键词辨认(keyword spotting)(其检测和识别预定关键词
[0156]若输入用户语音,则控制器140在输入的语音信号中检测语音话语的开始和结束,从而确定语音片段。控制器140可通过计算输入的语音信号的能量,根据所计算的能量来划分该语音信号的能量等级,并实现动态编程,来检测语音片段。控制器140基于听觉模型从所检测的语音片段之内的语音信号中检测音素(phoneme)--其是语音的最小单位,
并且生成音素数据。控制器140对所生成的音素数据实现隐马尔可夫模型(HMM)以生成文本信息。然而,用于感知用户语音的方法并不限于上述示例。因此,各种其他方法可以被实施以识别用户语音。因此,控制器140能识别在语音信号中包含的用户语音。
[0157]若通过动作输入单元120接收到动作,则控制器140使用动作识别模块和动作数据库来识别该动作。动作识别可包括:通过动作识别模块的使用,通过将与通过动作输入单元120输入的用户的动作相对应的图像(如,连续的帧)区分为背景和手部区域(如,手的展开或握紧),来感知连续的手部动作。若用户的动作被输入,则控制器140以帧为单位存储所接收的图像并通过使用所存储的帧来检测对象。控制器140通过检测帧中包括的对象的形状、颜色或动作中的至少一者来检测对象。控制器140可以通过使用分别地被包括在多个帧中的对象的位置,来追踪所检测的对象的动作。
[0158]控制器140根据所追踪的对象的动作来确定动作。作为示例,控制器140通过使用对象的形状、速度、位置中的改变和对象的方向中至少一个来确定用户的动作。用户动作可包括:其中用户握紧其手的抓取(grab)动作、其中用户动作是用手移动所指示的光标的指针移动(pointing move)动作、其中用户沿一个方向高于预定速度移动其手的拍击(slap)动作,其中用户左/右挥手或上/下挥手的摇动(shake)动作,以及,其中用户转动他的手的旋转动作。实施例的技术概念可以适用于除了上述动作以外的其他动作。作为示例,用户的动作另外可以包括:其中用户展开他握紧的手的伸展动作。
[0159]控制器140确定对象是否在预定时间(如800ms)内离开预定区域(如,40cm x40cm的方框),从而确定用户的动作是指针移动还是拍击。若对象未在预定时间内离开预定区域,则控制器140可确定用户的动作为指针移动。若对象在预定时间内离开预定区域,则控制器140可确定用户的动作为拍击。在另一示例中,若确定对象的速度低于预设速度(如30cm/s),则控制器可以确定用户的动作为指针移动。若确定对象的速度超出预设速度,则控制器140确定用户的动作为拍击。
[0160]如上所述,控制器140使用识别的语音和动作来执行显示装置100的任务。显示装置100的任务可包括可以由显示装置100执行的以下各项中的至少一者:电源控制、频道改变、音量调整、内容(如视频、音乐、照片等)播放、显示在屏幕上的GUI (图形用户接口)的选择、或者因特网服务(例如,搜索、浏览)。
[0161]由控制器140控制显示装置100的方法将在下文中更详细地解释。
[0162]图2是根据另一示例性实施例的显示装置100的框图。参照图2,显示装置100可包括:语音输入单元110、动作输入单元120、存储单元130、控制器140、广播接收器150、外部端子输入单元160、遥控信号接收器170、网络接口 1
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1