技术领域根据示例性实施例一致的设备和方法涉及基于运动识别来显示虚拟输入设备，更具体地，涉及识别用户手势并根据用户手势来显示和操纵特定虚拟输入设备。
背景技术：
近年来，已经开发了使用手势识别以识别用户手势并执行与识别的手势相关的预定命令的命令输入设备。通常，用户优先通过方便的输入方法输入命令。然而，现有技术的使用手势的命令输入方法需要复杂的技术解决方案，诸如语音识别技术的附加应用来应用手势识别技术，并且如果在真实输入设备(例如，遥控器)不可用的环境下不应用语音识别技术，则会导致困难的情况。
技术实现要素：
技术问题一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为不但仅通过手势识别来显示各种虚拟输入设备的UI，而且通过识别手指手势所显示的虚拟输入设备的UI来输入用户命令。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为重置用户手指相对于所显示的虚拟输入设备的位置，并且即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也连续地提供用户命令的输入。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。问题的解决方案根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备，所述设备包括：显示器，被配置为显示图像；存储器，被配置为存储将用户手势与不同虚拟输入设备关联的模板；用户界面(UI)产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在存储器的模板中的用户手势进行比较，并控制UI产生器在显示器上显示与所匹配的用户手势相对应的虚拟输入设备的UI。所述虚拟输入设备可以包括遥控器、触摸遥控器、键盘和鼠标。所述用户手势可以包括真实输入设备的抓握手势。用于显示虚拟输入设备的用户界面(UI)的设备还可以包括：运动计算器，被配置为识别用户的手指手势以及用户的面部方向或凝视，以操作所显示的虚拟输入设备的UI。所述控制器可以基于由运动计算器计算的用户的手指手势在虚拟输入设备的UI上显示指示器。所述运动计算器可以识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上所述指示器相对于实际手指的大小。所述存储器可以存储以下项中的至少一项：根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。所述运动计算器可以通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。如果用户的凝视被确定为非凝视状态，则所述控制器可以重置用户之前的手指位置。如果用户的凝视被确定为非凝视状态，则所述控制器可以改变到语音引导模式。所述控制器可以根据用户命令删除、添加和修改虚拟输入设备的UI的功能按钮。根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法，所述方法包括：存储示出用户手势与不同虚拟输入设备之间的关联的模板；拍摄用户手势；将所拍摄的用户手势与存储器中的利用模板登记的用户手势进行比较；以及根据比较结果来显示与所匹配的用户手势相对应的虚拟输入设备的UI。所述识别可以包括：识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上指示器相对于实际手指的大小。识别用户的面部方向或凝视可以包括：通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。本发明的有益效果根据本发明，可以仅通过用户手势来简单地显示各种虚拟输入设备的UI。即使用户手指相对于所显示的虚拟输入设备的位置被重置，也可以正确地识别用户手势。即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也可以连续地提供用户命令的输入。可以基于运动识别来显示虚拟输入设备的UI，配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。可以基于运动识别来显示虚拟输入设备的UI，配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。附图说明通过参照附图描述特定示例性实施例，上述和/或其他方面将变得更加显然，在附图中：图1是根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备的框图；图2示出了示出用户手势与虚拟输入设备之间关联的模板；图3示出了使用根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的设备；图4示出了根据示例性实施例的虚拟输入设备的UI的编辑；以及图5是示出了根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法的流程图。具体实施方式下面将参照附图更加详细地描述特定示例性实施例。在以下描述中，即使在不同的图中，相同的附图参考标号用于相同的元件。在描述中定义的事项(例如，详细的构造和要素)被提供以辅助对示例性实施例的全面理解。因此，清楚的是可以实现示例性实施例而不需要那些具体定义的事项。此外，不再详细描述公知功能或构造，以免不必要的细节混淆示例性实施例。根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的显示设备100可以包括配备有相机的电视(TV)、个人计算机(PC)、智能电话、膝上型计算机、个人数字助理(PDA)、游戏机等。如图1所示，根据示例性实施例的显示设备100可以包括存储设备110、UI产生器120、相机130、控制器140、显示器160和语音输出设备170。除了前述元件之外，显示设备100还可以包括其他元件，例如包括调谐器的图像接收器(未示出)、有线/无线通信部(未示出)、时序控制器(未示出)、图像处理器(未示出)和语音处理器(未示出)。存储设备110可以预先存储与用户手势相关的虚拟输入设备的模板数据库(DB)、用户个人信息DB、根据手指手势的声音效果DB、说明虚拟输入设备的UI中的按钮名称的语音DB以及说明根据手指手势所输入的命令的执行的语音DB。当然，存储设备110可以存储包括图像数据、图形数据和操作系统(OS)的其他各种信息。图2示出了显示出用户手势与虚拟输入设备之间的关联的模板的示例。在该模板中，使用两只手的键盘打字手势与虚拟键盘相关；使用一只手的鼠标抓握手势与虚拟鼠标相关；以及使用一只手的遥控器抓握手势与遥控器相关。用户的个人信息DB登记有包括每个用户频繁使用的按钮的虚拟输入设备，并且存储包括每个用户频繁使用的按钮的虚拟输入设备。用户可以通过拖放来删除不想要的按钮，或者通过编辑虚拟输入设备的初始基本UI来添加并存储其他按钮。根据手指手势的声音效果DB可以通过用户设置来存储虚拟键盘的打字声音、虚拟鼠标的点击声音以及虚拟遥控器的按钮触摸声音，或者通过识别手指手势将虚拟键盘的打字声音、虚拟鼠标的点击声音以及虚拟遥控器的按钮触摸声音存储为基本设置。说明虚拟输入设备的UI中的按钮名称的语音DB可以存储宣告用户手指所位于的每个虚拟输入设备的UI中的按钮名称的语音。例如，如果用户手指位于“录音”按钮上，则可以存储消息“你的手指位于录音按钮上”并且之后宣告该消息。说明根据手指手势所输入的命令的执行的语音DB可以存储说明根据手指手势的用户命令的语音。例如，如果用户将“录音”按钮拖放到垃圾箱中以删除该按钮并形成他/她自己的虚拟输入设备，则可以定义并预先存储消息“录音按钮已被放入垃圾箱中以进行删除”。存储设备110可以包括以下至少一种类型的存储介质：闪存、硬盘、多媒体卡(MMC)微型、存储卡(例如SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。UI产生器120可以产生并显示与所识别的用户手势相对应的虚拟输入设备的UI。虚拟输入设备的UI表示包括诸如虚拟键盘、虚拟遥控器、触摸遥控器、虚拟鼠标等各种按钮的用于接收用户输入的图像。用户可以点击、双击或触摸前述按钮以输入预定命令。如图3所示，相机130可以拍摄用户的手势、面部180和/或眼睛182。可以产生用户面部的图像184和/或(由区域188指示的)用户手势的图像。相机130可以包括网络摄像机、云台摄像机、数字相机、模拟相机和摄录机。相机130可以被单独提供，或者可以安装在显示设备100中。相机130可以仅安装在显示设备100的前表面中，或者可以安装在显示设备100的不同表面或不同位置，以拍摄2D或3D图像。控制器140可以控制显示设备100的各个元件，例如存储设备110、UI产生器120、相机130、显示器160和语音输出设备170。控制器140可以将由相机130拍摄的用户手势的图像与存储在存储设备110中的手势进行比较，并且控制UI产生器120产生和显示与匹配的手势相对应的虚拟输入设备的UI。控制器140可以包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、微控制器和微处理器。运动计算器150可以基于由相机130拍摄的用户图像来计算用户的面部方向、凝视方向和手指手势。运动计算器150可以通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视状态(图像184)或用户的非凝视状态(图像186)。也就是说，在用户的凝视状态下，用户的凝视朝向TV。在用户的非凝视状态下，用户的凝视不朝向TV的方向。运动计算器150可以接收由相机130拍摄的用户手势(手指手势)，并计算手指位置、手指移动量、手指移动方向以及虚拟输入设备的UI相对于实际手指的大小。控制器140可以通过使用由运动计算器150计算的手指位置、手指移动量、手指移动方向以及虚拟输入设备的UI相对于实际手指的大小来执行各种命令。运动计算器150可以包括软件、程序或包括软件的硬件。显示器160可以显示由图像处理器(未示出)处理的图像和/或由UI产生器120产生的虚拟输入设备的UI。显示器160可以在多个水平扫描线垂直布置时显示单个静止图像帧。显示器160包括显示面板(未示出)以显示图像。显示面板可以包括：包含液晶层的液晶面板、包含有机发光层的有机发光面板或者等离子显示面板。显示器160可以包括柔性面板。语音输出设备170可以包括扬声器，并且可以基于由语音处理器(未示出)处理的语音信号来输出声音。语音处理器可以从存储设备110接收与由运动计算器150计算的手指手势相对应的语音信号，并且可以将语音信号处理为可由语音输出设备170输出的信号。基于运动计算器150计算的手指手势，语音输出设备170可以输出根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。将参考作为示例的TV来描述根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法。如图3所示，如果TV用户在观看TV的同时作出抓握遥控器的手势，则相机130拍摄TV用户的手势(区域188)。将拍摄的抓握遥控器的手势与预先创建并且存储在存储设备110中的各个手势的模板中的预定义手势进行比较，并且将虚拟输入设备的UI164在显示器160上显示为针对匹配手势的输入设备。将针对各个手势的输入设备的虚拟UI进行映射是基于当用户使用遥控器、键盘和/或鼠标时用户手势的一般特性。例如，如图2所示，像在键盘上打字一样伸展两只手的手势与键盘映射，用一只手覆盖鼠标并弯曲食指的手势与鼠标映射，用一只手握住遥控器并抬起拇指的手势与遥控器映射。如果用户作出抓握遥控器的手势，则可以显示包括普通虚拟遥控器和触摸虚拟遥控器的不同虚拟遥控器以便用户选择偏爱的遥控器。之后，如果用户作出移动拇指的手势，则可以显示普通遥控器，并且如果用户作出主要用于使用触摸遥控器的食指的手势，则可以显示触摸遥控器。可以通过直接识别手指手势而无需抓握手势步骤来减少显示虚拟遥控器的UI的步骤。用户可以附加地向存储设备110登记用户抓握真实遥控器的手指形状，以增加用户抓握手势的识别率。具体地，可以用半色调来显示虚拟遥控器，并且如果在识别并显示抓握和手指手势之后随着时间没有获得关于用户手势或手指手势的附加信息，则虚拟遥控器的透明度变得更高，并且在预定时间之后虚拟遥控器可以从屏幕消失。如图4所示，在虚拟遥控器显示在屏幕中之后，可以检测用户的手指手势，且可以在虚拟遥控器的UI上显示检测到的手指位置。如果显示了检测到的手指位置，则可以支持用户通过查看TV屏幕中的虚拟遥控器来调整他/她的手指手势量以按下虚拟遥控器的按钮。在虚拟遥控器显示在TV屏幕中之后，如果用户作出触摸或按压虚拟遥控器的按钮的手势，则可以产生相应的声音，以使用户可以感觉到他/她的操纵虚拟遥控器的按钮的手势。必要时，用户可以编辑期望的声音，或者可以将声音设置为默认。在根据用户面部方向或凝视的识别结果已经由相机130识别出虚拟遥控器的用户没有直接观看TV屏幕(非凝视状态186)的情况下，如果在TV屏幕中显示虚拟遥控器之后用户作出操纵虚拟遥控器的手指手势，则可以启用用于输出说明用户手指所位于的按钮的名称的语音的自动引导功能，以便用户方便地使用虚拟遥控器而无需直接查看虚拟遥控器。也就是说，可以同时检测和分析手指手势、面部方向以及对TV的凝视或非凝视。然而，可以通过使用连续帧数据来确定手指手势，并且可以基于可选的连续帧数据或不连续帧数据来确定朝向TV屏幕的凝视或非凝视以及面部方向。这是因为在用户是视觉有缺陷的人的情况下，即使面部方向指向TV，用户的凝视也不一定指向TV屏幕。可以基于红外相机所获得的数据来确定相对于TV屏幕的用户的凝视状态或用户的非凝视状态。如果用户临时地移动，则在TV屏幕中显示的虚拟遥控器上的手指位置和手势可以改变。即使在虚拟遥控器被显示的同时用户再次作出操纵虚拟遥控器的手势，可以将该手势识别为与初始手指位置不同的位置，并由此会发生故障。因此，如果基于用户面部方向或凝视的识别结果，由相机识别出虚拟遥控器的用户没有直接观看TV屏幕，则可以重置初始显示的手指位置，并且可以设置在用户再次向前看之后识别的手指位置。图4示出了将初始虚拟遥控器160编辑为期望的虚拟遥控器164的示例。如果用户想要登记虚拟遥控器的特定功能按钮，例如利用他/她自己的简单手势来登记语音对话麦克风按钮，则他/她可以双击在屏幕中显示的虚拟遥控器中的有关按钮，然后屏幕移动到可以替换该按钮的手势的登记屏幕，并且用户可以登记或删除他/她自己的简单手势。在用户通过书签手势检查登记列表并通过虚拟遥控器选择手势之后，可以使用针对每个用户登记的简单手势。除了虚拟遥控器的频繁使用的按钮之外，可以通过使用虚拟遥控器的垃圾箱功能将其他按钮拖放到垃圾箱中，或者可以取回其他按钮并在必要时进行显示。因此，通过用户的登记所形成的由此仅包括用户所需的按钮的虚拟遥控器提供了高度直观的界面并且易于使用。具体地，用户可以按照他/她的品味并针对他/她的视力来放大、缩小或另外设置虚拟遥控器的按钮的数量、位置和大小。可以在虚拟遥控器中设置“主页”按钮，使得当在市场上发布TV时按钮可以显示为集合。可以将TV的屏幕上需求(onscreendemand，OSD)菜单的详细功能指定为虚拟遥控器的按钮中的键盘快捷方式，使得可以通过双击手势执行该详细功能。将参照图5来描述根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法。将示出用户手势与不同虚拟输入设备之间的关系(映射)的模板预先存储在存储设备110中(操作S210)。当然，存储设备110可以预先存储说明虚拟输入设备的UI的按钮的名称或功能的语音数据、说明通过手势执行的功能的语音数据、虚拟输入设备的UI的按钮的操纵声音以及针对各个用户手势的虚拟输入设备的模板。由相机130拍摄用户手势、面部方向和凝视(操作S220)。将由相机130拍摄的用户手势与存储设备110中的利用模板登记的用户手势进行比较(操作S230)。显示根据比较结果与用户手势匹配的虚拟输入设备的UI(操作S240)。识别用户的手指手势和凝视(操作S250)。将用户的手指位置在所显示的虚拟输入设备的UI上显示为例如手指形状的指示器(操作S260)。用户可以移动他/她的手指，并通过虚拟遥控器的UI经由他/她的手势点击或触摸期望的按钮以输入他/她的命令。如果用户将他/她的眼睛从TV屏幕移开，则显示设备自动改变到语音模式以说明位于指示器中的特定按钮的功能或名称，并输出预定语音(操作S270)。当然，不管用户凝视如何，可以将显示设备预先设置为总是提供语音说明。如上所述，用户可以仅通过他/她的手势显示各种虚拟输入设备的UI。为了便利，用户可以登记并使用虚拟输入设备的他/她自己的UI。即使视觉有缺陷的人或用户的凝视不指向前方，也提供语音引导，并且用户可以更加方便地使用虚拟输入设备的UI。即使在用户使用所显示的虚拟输入设备的UI时环境发生了改变，也可以维持针对虚拟输入设备的UI输入命令的一致性。此外，即使用户通过他/她的手势使用显示在显示器上的虚拟输入设备的UI，也可以像使用真实输入设备一样地提供相同的声音。此外，基于软件的虚拟输入设备的UI是适用的，因此可以容易地执行新功能的更新。上述示例性实施例和优点仅是示例并不应视为限制。本发明的教导易于应用于其他类型的设备。示例性实施例的描述意在说明而不是限制权利要求的范围，并且许多替代、修改和变化对于本领域技术人员将是清楚的。