将数据输入计算系统的系统和方法

专利名称：将数据输入计算系统的系统和方法
技术领域：
本公开一般涉及数据输入设备的领域。更具体地，本公开涉及有助于 多种语言的数据输入的方法，并涉及利用该多种语言的数据输入的方法的 系统。
背景技术：
使用具有按键的数据输入设备，例如字母数字键盘、触摸板或触摸屏，
在本文被统称为"键盘"，将信息输入电子系统比如个人电脑(PC)、移动电 话、掌上电脑、飞机计算机等等，自从发明PC以来其没有发生过重大的改变。
由于键盘被设计用来输入比如文本和其他类型的字符(在下文中统称为 "符号"或"按键标签")的数据，以及还用来控制计算机的操作，几乎每 个计算机都配备键盘作为用户与计算机之间交互的主要形式。物理上，计 算机键盘是矩形的或近似矩形的多个按钮(或称为"按键")的排列。键盘通
常在每个按键上具有一个或多个雕刻的、印刷的或用别的方法标记的符号； 在多数情形下，按键的每次按下对应于单个符号被输入到计算机中，并且 在许多情形下，显示在计算机的显示屏上。但是， 一些符号的生成要求同 时或依次按下并按住数个按键。其他的按键当被按下的时可以产生动作， 并且通过同时按下多于一个的动作按键，其他的动作将是可用的。
存在大量不同的键盘布局(按键的安排和按键上的符号的分配)。不同的 键盘布局的需求的出现，是由于不同的人们可能需要使用不同的符号集合; 通常，这是因为他们使用不同的语言来书写/读。取决于应用的情况，键盘 上的按键的数目一般变化范围从标准的101个按键至104个windows按键的 键盘一直到130个具有一些可编程按键的按键。还有少于90个按键的小型的 变型；它们通常出现在膝上型电脑或具有空间限制的台式计算机中。在大 多数英语语言计算机和打字机键盘上的大多数普通的当今键盘布局的按键布局被称作QWERTY设计，其来自出现在键盘顶行字母的前六个字母。
大多数信息或数据通常使用具有固定按键功能的键盘被打入或键入。 特别是对于PC，双语键盘通常具有与英语字母表一起标记在键盘的按键上 的第二语言字母表符号，或允许改变语言的可替代的布局，其一般采用通 过软件指令来实现在每个按键的双语功能之间的切换。在标准的键盘中， 用户通常可以看到在每个可按压的按键上多达三个的符号，定义由不同的 软件和系统操作方法提供的不同的语言和选项。计算机鼠标也可以独立地 用于选择选单类选项和图形命令输入。
标准的键盘受到许多缺陷和限制。例如，标准的键盘通常包含功能键， 例如其具有F1至F12的符号，其隐藏了用不同的指令定义的功能。经常， 用户不得不学习并记住这些隐藏的功能，或从査找表格、"帮助"目录或者 从其他的来源得到他们的含义。但是，这种键盘按键的数量是受限的，因 此功能键的数量也是受限的。通常，非专业打字员不得不通过在放在桌子 上的键盘与通常放在桌子前面且更高处的PC监视屏之间频繁转移他的视 线来跟随打字活动。特别是对于双语键盘，视线频繁转移并且"Alt + Shift" 和"大写锁定"功能的频繁的无反馈使用将导致打字时出现错误。随着因 特网广泛使用的到来，要求PC用户使用传统的键盘，用于越来越复杂的输 入命令，或记住每个按键更多"隐藏的"功能。
与本公开相同的发明人的美国专利号6,611，253描述了虚拟输入环境和 创建具有可改变的按键显示的输入单元的方法和系统。然而，美国6,611,253 没有教导使用手势控制虚拟键盘的布局，它也没有教导虚拟手的出现可以取 决于所使用的虚拟键盘的布局。此外，美国专利序列号6,611,253没有评估 先前的命令来预测当前或未来的命令或用户的请求。
对于一些语言，如上所述，例如俄语和希伯来语，硬件键盘一般具有
与英语字母表一起蚀刻在键盘按键上的第二语言字母表符号。在一些所使 用语言具有大的字母表和/或许多字符(例如超过50个字符)的国家，键盘一
般只包括英语字母，因为在物理键盘上无法显示其他语言的所有字母。该 情形给这类语言的用户执行这类语言的数据录入任务造成巨大的问题。
该问题严重的国家的一个实例是印度，其是个具有22种宪法性语言和 IO种不同的文字的使用多语言国家。下面给出18种宪法性印度语言并在括
7号中给出他们的文字印地语(天诚文)、孔卡尼语(天诚文)、马拉地语(天诚 文)、尼泊尔语(天诚文)、梵语(天诚文)、信德语(天诚文/乌尔都语)、克什米 尔语(天诚文/乌尔都语)、阿萨姆语(阿萨姆语)、曼尼普尔语(曼尼普尔语)、 孟加拉语(孟加拉语)、奥利亚语(奥利亚语)、古吉拉特语(古吉拉特语)、旁 遮普语(果鲁穆奇语)、泰卢固语(泰卢固语)、卡纳达语(卡纳达语)、泰米尔 语(泰米尔语)、马拉雅拉姆语(马拉雅拉姆语)和乌尔都语(乌尔都语)。印度
文字通常具有12-15个元音、35-40个辅音和一些注音标记。除此之外，对于 每个元音，存在对应的修饰符，以及对于每个辅音，存在对应的纯辅音形 式(叫做半形字母)。这使得被需要来输入这类语言的全部符号集大于正常键 盘能够容纳的符号。在印度，例如，为了试图为键盘的不足提供解决方案， 不同的印度语言的文字处理软件与硬拷贝的"映射图"来一起分发，其指 示隐藏在每个英语字母后面的印度语字母。在不同的印度语的文字处理软 件分发者之中大约50个硬拷贝映射图可用，但是硬件制造商一般并不提供 具有印度语言布局的键盘。超过95%的印度人口通常被剥夺了基于英语的信 息技术的益处。

发明内容
下面的实施例及其情况与系统、工具和方法一同描述并说明，其表示 示例性和说明性的含义，而不是限制范围。在各种实施例中， 一个或多个 上面所述的问题得到了缓解或消除，而其他实施例则产生了其他的益处或 改进。
根据本公开的一些实施例，给出了将数据输入到计算机系统的系统和 方法。本文公开的系统可以包括用于基于与获得的图像相关联的信号来设 置和显示输入按键的图或键盘的全部(或部分)布局的控制器；以及在功能上 耦合至该控制器并用于为该控制器提供涉及或关于所获取图像的信号的图 像获取设备。系统可以捕捉并识别、辨认或解释一个或多个姿势，例如， 通过用户手部、手指或身体的其他部位生成或完成的姿势，以及依照这些 姿势来执行命令。相应地，"识别、辨认或解释"表示将给定的姿势或姿势 的组合(由控制器)关联到特定的命令。系统可以包括监视器或显示屏，用来 优选地实时显示虚拟键盘以及模拟用户物理的手的位置和/或移动的虚拟手。
在一些实施例中，按键或按键标签的含义在虚拟键盘上可以根据用户 的命令被动态地更新(改变)。可替换地，全部或仅仅部分虚拟键盘的布局可 以根据用户的命令被动态地更新(改变)。例如，虚拟键盘可以根据用户手部 的位置和/或移动动态地更新(改变)。
在一些实施例中，系统可以包括评估和可预测性软件应用(控制器可以 用于)来基于用户先前的命令，评估、预测或另外地确定所预见的随后在虚 拟键盘上所要求的按键和/或所预见的随后在虚拟键盘上所要求的布局。在 一些实施例中，手的移动或其他的姿势可以实现鼠标类型的导航
(navigation)。
作为本公开的一部分，提供了一种方法来将数据输入到计算机系统。 在一些实施例中，此方法可以包括获取部分的用户身体和物理键盘的图像， 以及基于所获得的图像设置并显示按键的映射。该方法还可以包括处理和 解释涉及或关于所获得的图像的信号，使得能够根据该信号输入所选择的 命令和/或符号。此方法还包括使用键盘识别功能来识别置于图像获取设备 的视场(FOV)内的物理键盘的按键；处理至少一个用户手部的图像来确定相 对于物理键盘的手的位置和/或手的移动；以及在相应的显示屏上，例如在 计算机显示器或在计算机显示对象上，显示在虚拟键盘上的至少一个手的 位置移动。
在一些实施例中，此方法可以包括在虚拟键盘上动态地更新按键标签 来作为对于所处理图像的响应，和/或动态地更新虚拟键盘全部或部分的键 盘布局来作为对于所处理图像的响应。
在一些实施例中，此方法可以包括手的移动，其期望来使用虚拟鼠标 来实现鼠标类型的导航，和/或其他的身体移动，其可以被解释为用户的输 入命令和/或数据。术语"其他的身体移动"可以表示，例如，手的移动、 头的移动、眼睛的移动、嘴巴的移动或可以指示用户命令和/或数据录入的 其他类型的移动。
除了上述示例性的情况和实施例，进一步的情况和实施例将通过参照 附图以及研究下面的详细说明而变得明显。


简略的示例性实施例在参考的附图中说明。本文所公开的实施例和附 图是要被考虑为说明性而非限制性的。然而，本发明的组织和操作方法， 以及与其对象、特征和益处一起可以通过阅读附图时参考下面的详细说明 而获得最佳的理解，其中
图1A和1B是根据本公开的一些实施例的虚拟键盘的图形示例；
图1C是根据一些实施例的具有有限数目的印地语字符的键盘的图形 实例，其可以被利用作为物理的和/或虚拟的键盘；
图1D示出根据一些实施例的可以用于指示输入的命令和/或数据的各 种基于手指的信号或姿势的一组示例性图形视图1E和1F示出根据本公开的一些实施例，基于与所获取的图像相关 联的信号对输入按键进行映射的实例，以及基于与所获取的图像相关的信 号的输入按键的图的实例；
图2A示出根据本公开的一些实施例操作数据录入系统的示例性流程
图2B示意性地说明根据本公开的一些实施例的数据录入系统的一般 布局和功能；以及
图3示意性地说明根据本公开的其他实施例的数据录入系统的一般布 局和功能。
将会理解，为了说明的简明和清楚，图中示出的元件并不一定依据比 例而绘出。例如，为了清楚， 一些元件的尺寸相对于其他元件可能被放大 了。此外，当被认为是适当时，参考数字在附图之间可以被重复，来在整 个视图系列中表示相应的或类似的元件。
具体实施例方式
虽然上面讨论了多个示例性的情况和实施例，本领域技术人员将认识 到特定的修改、排列、增加及其子组合。因此下面所附的权利要求以及今 后提出的权利要求是要被解释为将所有这种修改、排列、增加及其子组合 包括在它们真正的实质和范围内。
除非另有明文叙述，从下述讨论中明显可见，整个说明书叙述中使用
10的例如"处理"、"计算(computing)"、"计算(calculating)"、"确定"等表示 计算机、计算机系统或者类似的电子计算设备的动作和/或过程，其将在计 算系统的寄存器和/或存储器中的表示为物理量(例如电的量)的数据进行操 作和/或转换成其他的在计算系统的存储器、寄存器或其他这样的信息存储 装置、传输或显示设备中类似地表示为物理量的数据。
本文给出的平台、过程和显示器并不固有地与任何特定的计算机或其 他装置相关。各种通用计算平台和网络设备可以与根据本文教导的程序一 同使用，或者构建更为专用的装置来执行需要的方法可能被证明是方便的。 各种这些系统想要的结构将从下面描述中可见。此外，实施例并不涉及任 何特定的编程语言来描述。将会理解各种程序设计语言可以用于实现本文 所描述本公开的教导。
在下面的详细说明中，给出了许多特定的细节，以提供对于各个实施 例的全面理解。然而，本领域技术人员将会理解所描述的实施例可以不需 要这些特定细节来实施。
本文所使用的术语"姿势"可以至少包括由人的身体部分操作键盘而 引起的移动和/或信号和/或指示和/或手势和/或指令和/或请求等等。"命令" 在本文意思是使用姿势、姿势的系列或姿势的组合，来指示、请求或命令 计算机改变所选择的按键的含义或解释(分配或再分配符号)，根据该姿势、 姿势的系列或姿势的组合来改变整个键盘布局的含义或解释。此处，按键 的含义或解释(计算机解释按键被按下时的方式)，在给定的时刻，可以是物 理上标记在按键上的符号(开头或默认的符号)，或是由计算机根据特定的命 令分配(或再分配)给按键的不同符号。
本文所述实施例可以有助于人机交互问题中的改善，该人机交互问题 特别地但不仅仅地与具有许多符号的语言相关。这些实施例提高了数据输 入的速度，提供了语言数据录入的任务的完整的解决方案，充分减少了打 字错误的数量，并且通过提供对用户友好的数据输入环境，改进了语言的 文字处理软件的可用性。
参照图1A，根据本公开的一些实施例的示例性数据输入系统部分地被 描述。数据输入系统100可以包括至少一个图像获取或捕捉设备，比如图 像获取设备110，其可以是，例如数码相机、摄相机、个人计算机摄像头、网络摄像头等等，其可以被设置在例如计算机显示监视器120上。当然， 图像获取设备110可以位于不同的位置，只要用户手部或用于该目的的用 户身体的其他部分的位置、地点、移动和姿势是清晰可见的；即，他们出 现在图像获取设备110的视场内。数据输入系统100可以进一步包括与图 像获取设备100相关联或功能上耦合到图像获取设备110的控制器(未示 出)，并且该控制器用于基于由图像获取设备110生成并输出到该控制器的 信号来设置按键的映射或整个键盘布局的映射，该信号表示图像获取设备 110视场内的关于并包括姿势或移动的图像。"设置映射"在本文中一般表 示取决于姿势将特定的符号分配给特定的按键(或者将一组特定的符号分配 给相应的特定按键)。更具体地，按键的映射可以包括根据用户(比如仅示出 其(真实的)手放在物理键盘130上131和132处的用户)所作出的或与其相 关联的移动或姿势来改变分配给该按键的符号的含义。控制器可以是构成 计算机的组成部分，或者被嵌入、被并入或附属于计算机(PC、膝上型电脑 等等)，该计算机从键盘(比如键盘130)获得输入信号，并且操作显示屏(比 如显示屏120)。
当由图像获取设备110获取的与手131和132的图像相关的信号被不 断地或间歇地转发给数据输入系统100以用于处理和解释时，用户(未示出) 可以参照或相对于物理键盘130将他的手131和/或132从一个位置移动到 另一个位置。数据输入系统100可以处理和解释与所获取的图像相关的信 号，来识别由用户通过他的手或身体的其他部分作出的姿势和/或移动，以 及根据姿势和/或移动来执行命令，或者执行与姿势和/或移动有关的命令。 物理键盘130可以是标准键盘(其上具有所标记的符号)、空白键盘(按键上 没有标记的键盘)、纸质键盘(例如具有任何数目按键的键盘的图)、触摸板、 小键盘(keypad)、假想键盘(平坦无遮盖的表面，比如桌子或板)等等。数据 输入系统100也可以利用适用于所处理的语言(例如英语、印地语和德语) 的文字应用程序。
在一些实施例中，数据输入系统100的控制器可以利用数字信号处理 ("DSP")技术来处理由图像获取设备110所捕获的图像，以及利用模拟技 术将相应的虚拟键盘(比如虚拟键盘140)显示在计算机屏幕(比如计算机屏 幕120)上。在这些实施例的一些方面中，虚拟键盘140上的按键的数目、大小和间距可以充分模仿物理键盘130的相应特征以便于用户的定位。根 据其他的方面，虚拟键盘140上的按键的数目、大小或间距可以与物理键 盘130的相应特征有所不同。数据输入系统100的控制器可以使分配给按 键的符号或含义和/或分配给虚拟键盘140的整个布局的符号或含义，依照 对应的用户的姿势或移动来进行改变，所述姿势或移动可以由数据输入系 统100的控制器根据所获取或捕获的图像来识别、辨认或解释。
在本公开的一些实施例中，数据输入系统100的控制器可以利用模拟 技术来创建并处理虚拟手，并使虚拟手根据用户的(真实的、物理的)手的位 置、地点和移动在显示屏上出现并移动。例如，图1A中所示的虚拟手121 和122分别表现用户的手131和132。虚拟键盘140和/或虚拟手121和/或 122可以被相同或不同地縮放以助于容易的数据输入。
为了通过利用数据输入系统100来输入所请求语言的数据，用户可以 在图像获取设备110的视场内放置他的手，如131和132所示出，并且作 出与所请求的语言相关联的姿势、姿势的系列或组合。姿势、姿势系列或 姿势组合然后可以被数据输入系统100的控制器辨认或解释为与所请求的 语言相关联。响应于对姿势、姿势系列或组合的辨认或解释，数据输入系 统100的控制器可以将组成所请求的语言的符号分配给虚拟键盘140上选 定的按键，并且采用当前被请求所分配到的符号来显示虚拟键盘的布局。 可以说，数据输入系统100的控制器已经设置了键盘布局的映射，其对应 与所请求的语言。 一旦所请求的语言响应于用户的命令，己经被数据输入 系统100的控制器设置，用户可以通过观察虚拟键盘140上的按键，并在 物理键盘130上移动他的手(131或132)或其某些手指，来将数据输入到数 据输入系统100中。
用户可以移动他的手或其某些手指，直到相应的虚拟手(121或122)或 其相对应的虚拟手指到达虚拟键140上将被按下的下一个按键的附近并且 虚拟手121或122的手指与该按键叠加。然后用户可以按下在物理键盘上 130位于与同虚拟键盘140上所请求的按键叠加的虚拟手指相对应或者相关 联的手指下方的按键。上述步骤可以依照输入另外的符号所要求的被重复 那样多次。用户要是希望改变为或设置成不同的语言，用户可以摆出对应 于不同的语言的姿势、姿势系列或组合。每次数据输入系统100的控制器
13被请求来设置不同的按键的映射以设置不同的语言，控制器可以启用对应 的文字应用程序/处理程序。例如，如果数据输入系统100的控制器被请求 从法语改变为英语，那么控制器可以禁用法语文字应用程序/处理程序，并
启用英语应用程序/处理程序。物理键盘130在功能上耦合岛数据输入系统 100的控制器，或耦合到数据输入系统100的控制器所驻留在其中的计算机， 用于将表示与物理键盘130中的按键相关联的默认符号或功能的信号转发 给控制器。尽管如此，数据输入系统100的控制器被用于或被设定来根据 当前的映射设置来解释被从物理键盘130转发至其的信号。
数据输入系统100具有数个较现有技术解决方案的益处。例如，将数 据输入该系统的用户不必在物理键盘(例如键盘130)和显示打字结果的屏幕 (例如显示屏120)之间来回地转移视线。相反，用户可以只盯着虚拟键盘(例 如虚拟键盘140)，并观看相对于他的(真实的)手(例如手131和132)的位置 和移动而定位和移动的虚拟手(例如虚拟手121和122)。
一般来说，符号和功能可以取决于用户请求(通过执行相应的移动或姿 势)的语言、模式或功能而分配给按键，使得给定的按键在它已经被分配给 新的语言、模式或功能之后被用户按下时，将被数据输入系统100的控制 器以不同的方式来解释。响应于用户发出或摆出的命令，数据输入系统ioo 的控制器可以改变虚拟布局(比如虚拟布局140)的外观。例如，控制器可以 改变键盘的结构或按键的排列，例如，取决于需要的的应用程序，通过改 变虚拟键盘上的按键的数目、大小、间距和/或按键的放置。根据一些实施 例，虚拟键盘的布局可以根据用户手部的实时模拟和用户手部在物理键盘 上的放置和移动来改变，无论键盘是真实的(其具有实际的标记在相应的按 键上的标签)、空白的或纸质的键盘。数据输入系统100的另一个优势是， 同一个的物理键盘(例如物理键盘130)可以用来输入与可用的文字应用程序 /处理程序的数目一样多组的符号(每一组属于不同的语言)。
在一些实施例中，通过一起捕获用户手部的位置(如以上所述)与键盘按 键块(可按下的按钮)的图像，数据输入系统100的控制器可以在任何给定的 时刻并且实时地，确定用户手部和手指的位置和/或移动，然后通过在虚拟 键盘140的按键上的适合的位置显示虚拟手指来模拟它们。这允许用户在 监视器120上查看他的/她的手的放置和移动，因此，在用户按下按键且不
14必向下看物理键盘(例如键盘130)之前，无论选定了何种语言，在任何给定
的时刻，给予了用户对于他的/她的手指在物理键盘130的任何按键上面的 放置位置的确信。当真实的手指(例如手131的手指)在物理键盘上移动并在 物理键盘(比如物理键盘130)上按下按键或接触其上的区域时，控制器可以 使虚拟手(例如手121和122)来模拟有关虚拟键盘的手指的移动和形状。
在其他的实施例中，数据输入系统100可以使得能够进行处理单手或 双手以及其他的身体移动的图像。例如，在一些实施例中，数据输入系统 IOO可以捕获和处理头部移动、眼部移动、嘴部移动或其它的移动来指示用 户命令、信号和/或数据录入。如果需要，另外的图像获取设备比如图像获 取设备110，可以在用户身体的不同部分无法置于单个图像获取设备的视场 内的情形下被使用。这样的情形下，每个图像获取设备可以在空间上放置， 来获取与不同的身体部分相关的图像。
参照图1B，根据本公开的一些实施例示出了示例性虚拟键盘和虚拟手。 所示显示在计算机屏幕155上的虚拟键盘150,可以被数据输入系统的控制 器调整、调适或修改来成为所要求或所需要的一样大小。控制器也可以改 变相对于屏幕155的虚拟键盘150的位置。所示虚拟键盘150显示了当前 的印度语言键盘设置或布局，其可能由所采用的语言/文字组(例如50种选 项中的)所定义，或者由为功能键或所配置的键盘而定义的宏所定义。当物 理手指在物理键盘(比如图1A的物理键盘130)上从一个按键被移动到另一 个按键以及后面的按键被按下时，可以发生对于虚拟键盘150的对应的图 形变化，其导致手(如在图1B中所示的160)在虚拟键盘150上从一个位置 到另一个位置的移动，该移动模拟或者反映用户手部移动到适合的(所期望 的)物理按键。在一些实施例中，数据输入系统的控制器可以根据用户发出 的直接的命令或根据这一命令的结果，改变用户手部160的外观。"根据 用户发出的直接的命令"的意思是(就后面的实施例而言)按下物理键盘上其 作用为改变虚拟手的外观的按键，而"根据这一命令的结果"的意思是(就 后来的实施例而言)向控制器发出命令来改变语言(如以上所述，通过摆出姿 势或移动)并且同时根据正在使用的语言(由控制器)改变虚拟手的外观。改 变虚拟手的外观可以包括，例如，使虚拟手变得透明或部分变得透明，从 而允许用户充分地查看虚拟键盘150的全部区域。在图1B中所示的透明的虚拟手160叠加在虚拟键盘150上。根据当前分配给虚拟键盘布局150的 印地语，所示文本151由印地语的符号组成。
参照图1C，根据本公开的一些实施例，叠加在不同的虚拟键盘上的虚 拟手的三个实例被示出。数据输入系统，比如图1A的数据输入系统100， 可以允许用户改变虚拟键盘(比如虚拟键盘150)的标签和/或布局。如果用户 想要使用印度语言(具有在图1C所表示的情形下的天诚文文字的印地语言) 写文档，通过使用"KA" + "HALANT"组合(Windows中的"K" + "D" 按键)，他/她可以从第一布局切换至第二布局(例如从键盘布局170切换至 键盘布局170)，虚拟键盘上的某些或所有按键的外观，可以相应地改变有 关的按键和/或语言和/或模式和/或将使用的文字的布局或映射(例如，在图 1C所表示情形下的"HALANT形式的KA")。
在其他的实施例中，用户可以改变键盘的模式或功能，例如，通过采 用他/她的手/手指的适合的姿势来指示，她/他可以在虚拟键盘上的按键的语 言、字符、字母、图形等等之间进行改变。另外，虚拟手的外观和/或透明 程度可以根据所使用的实际键盘来改变。例如，所示的虚拟手172比虚拟 手173的透明程度低，因为他们各自与不同的键盘布局有关(分别涉及键盘 170和171)。所示虚拟键盘175只具有6个选定的符号(共同地指定为174)。 虚拟键盘175可以被示为半透明的。
参照图1D，其描述了信号或姿势的实例，用户可能向图像获取设备(比 如图像获取设备110)摆出该姿势，命令数据输入系统(比如数据输入系统100) 改变语言、模式，录入数据，改变功能等等。例如，用户可以使用对象和/ 或他/她的左手来创建所选定的可由图像获取设备捕获的信号/姿势，使得虚 拟键盘的按键按需要地被映射。例如，图1D描绘了 IO个示例性手势，例 如，每个手势分配到唯一的手势号码。每个手势号码可以与由数据输入系 统的控制器来执行或采取的特定的命令或动作相关联。例如，在182处所 示的与手势描述181相关联的5号手势可以指示来命令或发信号给数据输 入系统的控制器，使其例如从一种语言到另一种语言改变虚拟键盘的布局 或映射(例如图1B的虚拟键盘150的布局)。此后，用户可以使用改变后的 虚拟布局在物理键盘上移动他的手/手指来录入(打入)其他语言的字符或符 号，来创建相应的与改变后的虚拟键盘相关而移动的虚拟手。因而，通过数据输入系统(比如数据输入系统ioo)对信号、命令、指令等等的识别，可
以首先通过识别或辨认手势或信号(由图像获取设备进行，比如图1A的图 像获取设备110)，然后通过将手势解释成对应的手势号码以及如上文所述 使用手势来实现。
图1A的数据输入系统100可以被用户指示(通过将对应的姿势或移动 显示给图像获取设备110)来手动地、自动地或在选定的命令之后，例如在 物理键盘上按下"重置"按钮之后，接收信号。由身体的部分和/或对象等 等作出的任何号码和类型的手势、信号和/或移动和/或其他适合的信号和/ 或姿势和/或移动，可以用作对于数据输入系统的控制器的命令。例如，左 手和/或右手的位置和/或移动可以被捕获，如同用户可以用来指示命令的面 部移动、头部移动、手指移动、肩部移动或其它适合的移动一样可以被捕 获。这样，数据输入系统可以允许用户以最小数目的击键或其他动作，改 变虚拟键盘(比如图1B的虚拟键盘150)中按键的布局、模式、功能等等。
在一个实例中，用户可以作出与所选择的布局相关联的姿势，以及然 后后续地敲入一个或多个按键来录入所需的数据。这样的其通常会要求数 个按键录入来改变布局、按键等等并且在所需的布局处到达的数据录入， 可以通过采用姿势的组合并敲入选定的按键来完成。例如，当用户期望录 入印地语字符时，其存在比物理键盘上的按键更多的字符，用户可以使用 姿势或信号来录入命令，例如，在虚拟键盘上改变键盘按键的标签和/或布 局。在虚拟键盘上的这个改变可以使所需的字符被显示在虚拟键盘上，使 得最小数目的击键被要求来录入选定的按键。因此，可以只要求一次击键 来录入从一组具有许多截然不同的字符的语言的字符集中任何选定的字 符。其他的动作和/或动作的组合也可以被实现。
根据一些实施例，数据输入系统可以包括评估和可预测性应用程序， 用于帮助数据输入系统的控制器确定可能随后为用户所要求或所需要的预 见的按键和/或键盘布局(映射)。可预测性可以基于对用户的先前的命令的 评估，例如，先前通过使用手势、移动、鼠标移动、按键录入等等发出的 命令。例如，如果当前具有许多字符的语言在被使用，该当前被使用的语 言的文字应用程序可以将两个或多个特定的按键的组合解释为等同于选定 的字符的录入。可预测性应用程序可以，例如在敲击组合按键的第一个按键之后，自动更新其他相关的按键，来完成由第一个按键和各种其他按键
的组合而产生的可能的功能。例如，如果敲击"A"然后各种其他的按键将 录入命令的选择，那么"A"便起各种各样的功能键的作用。当用户录入"A" 时，虚拟键盘可以被立即改变为显示可以与"A"相结合来被录入的所有相 关的命令或按键。这样，用户不需要记住或使用物理的表格来发现按键的 组合；相反地，相关的组合可以实时在虚拟键盘上被动态地更新。
现在参照图1E，根据本公开的一些实施例举例说明了两种比较方法的 表。表格190描述了一些印度语言符号和需要被输入来获得印度语言符号 的相应的英语字母。根据示例性表格190，印度语言字符可以使用常规的方 法来被表示、使用和获得，根据该方法单个或两个、三个、四个或五个英 语字母或标记的组合需要被打入(录入或键入)。例如，通过录入字母"s" (194) 可得到字符193，以及通过录入字母的组合"s/t/r" (196)可得到字符195。 因而，获得字母195需要5此击键。
表格191描述了通过结合相应的手势只录入一个英语字符(单次敲击实 现)来获得相同的印度语言字符(在197示出)的方法。例如，字符193如以 前(194)一样通过录入字符"s" (198)获得，而不使用任何手势，因为使用一 个字符(194或198)便已足够简单。但是，不同于使用5次击键(196)来获得 字符195，只需要结合手势199 (在这个实例中为手势3)录入一个字符(例如 字符"s")便可获得字符195。
现在参照图1F，数个映射的实例被示意地说明和描述，其对应于图1E 中示出的印度语言字符。图1F将结合图1E被描述。在实例中，初始或默 认的英语字符"S"被示意性地示出(在184)已分配了印度语言字符183，因 为根据这个实例，字符"S"未采用任何手势(在两个图的185处"手势"为 "无")而被录入。在另一个实例中，初始或默认英语字符"S"被示意性地 示出(在186)已分配了印度语言字符187，因为根据这个实例，字符"S"采 用了手势(在两个图的188，"手势"为"没有")而被录入。
参照图2A，示意地说明了一系列操作或过程，其可以被实现来操作数 据录入系统。在方框200，用户可以在他/她的计算机上设定或初始化数据 输入系统的软件。 一旦软件被执行并工作，标定屏可以被示出，指示系统 正在开始或已经开始操作。在方框205，用户可以在摄像仪的视界内放置真
18实的(物理的)键盘。在方框210，数据输入系统可以使用键盘识别功能来识 别例如键盘的位置和按键，以及随后可以通知用户键盘已经被识别以及数 据输入系统做好了操作准备。
在方框215，用户可以将他的/她的手放在图像获取设备的视觉范围内。 在方框220数据输入系统可以捕获并
在方框215，用户可以将他的/她的手放在图像获取设备的视觉范围内。 在方框220数据输入系统可以捕获并处理手的图像，之后数据输入系统可 以通知用户手的识别已经完成。在方框225，用户可以根据实际所使用的语 言来操作文字处理应用程序。在方框230，数据输入系统可以在数据输入系 统的显示器上根据所选择的文字处理应用程序以一组默认的按键来显示虚 拟键盘。用户可以在观看虚拟键盘上他的/她的手具有相互关系的移动的同 时，在真实的键盘上键入命令，按要求采用被选择的语言来录入数据。虚 拟键盘可以描绘出虚拟的手指主动地移动来按下所选择的按键，从而指示 实际录入的命令。
在方框235，如果用户希望改变键盘的模式、语言、输入命令等等，用 户可以通过使用单手或双手(或身体的其他部分)来产生被选择的信号。信号 可以从一组预先设置的信号或动作中选择。在方框240，数据输入系统可以 捕获并处理手的信号，并录入所要求的用户命令或数据。在方框245，按键 和/或虚拟键盘的布局可以根据用户的命令来改变，例如通过录入功能键、 按键的组合、鼠标动作或命令、按键录入和鼠标动作的组合等等。可以实 现上述步骤的任何组合。此外，代替前面所述步骤和/或除此之外，可以使 用其他步骤或步骤的系列。
在其他实施例中，该方法可以使得能够处理单手或双手的移动，以及 同样地身体的其他移动。例如，在一些实施例中，该方法可以捕获并处理 头部移动、眼部移动、嘴巴移动或其他指示用户命令、信号和/或数据录入 的移动。
参见图2B，根据一些实施例示意地示出并描述了数据输入系统的一般 布局和功能。在方框260，图像获取设备290可以捕获由用户(未示出)的手 292产生或摆出的姿势。在方框265，捕获的姿势可以被识别为，例如图1D 中的3号姿势。在方框270，虚拟键盘(291)可以被改变为显示(例如)3号布局，其对应于3号姿势。相应地，在方框275，文字处理软件可以改变为第 3操作模式(改变语言)。在方框280，用户可以按下物理键盘293上的按键。 在方框285，数据输入系统201的控制器(未示出)在其使虚拟手294的位置 和移动与使用数据输入系统201的用户的物理的手292的位置和移动充分 地相互关联的同时，可以模拟并显示用户的手指(在294处示出)在虚拟键盘 291上敲击相应的按键。其他的步骤或步骤的系列也可以使用。计算机286 可以在功能上耦合到物理键盘293，从物理键盘293计算机286可以接收表 示被按下的按键的信号，以及在功能上耦合到显示屏295，从显示屏295计 算机286可以转发虚拟手和虚拟键盘的图像及其他。
参见图3，根据本公开的一些实施例示出并描述了类似于鼠标的实现。 作为本公开的一部分，虚拟手可以模拟或者模仿类似于鼠标的导航；用户 可以将数据录入计算机(304)并/或通过使用虚拟鼠标来操作图形应用程序。 计算机304包括数据306的控制器(未示出)。在方框300，图像获取设备301 可以捕获用户的移动或身体的部分，例如手(在302处示出)，其可以移动以 便实现鼠标类型的导航。在方框305，手的移动的方向，在例如X-Y平面 上被观测并被转发给计算机304。另外地或可替换地，在方框310，用户的 姿势或移动可以被图像获取设备301捕获。在方框315，捕获的姿势的图像 可以被处理以录入用户的命令和/或数据。在方框320，命令和/或数据等可 以被录入到计算机304中，在那里它们可以被相应地执行，例如通过在显 示器303上导航、改变模式和/或功能、录入特定的命令等等。
计算机的屏幕(例如图2B的显示屏295或图3的显示屏303)、物理键 盘(例如图2B的物理键盘293)和图像获取设备(例如图2B的图像获取设备 290或图3的图像获取设备301)，可以是任何适合的传统显示屏、物理键盘 或图像获取设备。图2B的计算机286或图3的计算机304可以是任何适合 的传统的计算机，其要求是它除了通常的硬件和软件组件之外，还包括所 要求的用于分析所获取的图像来确定用户产生或摆出的移动和姿势以及用 于生成以及一般地处理虚拟键盘和虚拟手的支持虚拟现实的硬件和软件应 用程序。
前面对各种实施例的描述是基于说明和描述的目的而给出的。其不是 要将本公开穷举或将其限制在所公开的明确的形式上。本领域技术人员将会理解，许多修改、变型、替换、改变和等同就上述教导而言是可能的。 因此所附权利要求是要被解释为包括所有处于权利要求真正的实质和范围 内的修改、排列、增加和子组合。
权利要求
1、一种数据输入系统，包括图像获取设备，用于生成与所获取的部分的用户身体和物理键盘的图像相关联的输出信号；以及控制器，用于接收所述输出信号，以及基于所获取图像来设置并显示输入按键的映射。
2、 根据权利要求1所述的系统，其中所述输入按键的映射是虚拟键盘的一部分。
3、 根据权利要求2所述的系统，其中所述部分的用户身体是用户手部， 并且所述控制器还显示模拟相对于所述物理键盘放置或移动的所述用户手 部的虚拟手。
4、 根据权利要求1所述的系统，其中所述控制器还用于将所获取的关于用户姿势的图像解释为单独的命令。
5、 根据权利要求4所述的系统， 势改变所述虚拟键盘上的按键。
6、 根据权利要求4所述的系统， 势改变所述虚拟键盘的布局。
7、 根据权利要求3所述的系统， 拟手的外观。其中所述控制器还用于根据用户姿 其中所述控制器还用于根据用户姿 其中所述控制器还用于改变所述虚
8、根据权利要求1所述的系统，其中所述物理键盘选自于由空白键盘、 纸键盘、触摸板、小键盘、假想键盘以及平坦无遮盖的表面所组成的键盘 组。
9、 根据权利要求4所述的系统，其中所述控制器还用于基于用户先 前的命令，确定并显示所预见的所述虚拟键盘上后续所要求的按键。
10、 根据权利要求4所述的系统，其中所述控制器还用于基于用户 先前的命令，确定并显示所预见的所述虚拟键盘上后续所要求的键盘布局。
11、 根据权利要求4所述的系统，其中所述姿势由用户手部作出。
12、 根据权利要求4所述的系统，其中所述姿势是从由用于实现鼠标 类型的导航的移动和用于实现命令的移动所组成的组中选出的一个或多个 用户移动。
13、 根据权利要求4所述的系统，其中所述姿势由用户身体的一个或 多个部分来作出，所述姿势是从包括手的移动、头部移动、眼部移动、嘴 部移动或其他指示用户命令的移动的组中选出的。
14、 根据权利要求3所述的系统，其中所述虚拟手透明地叠加显示在 所述虚拟键盘上。
15、 根据权利要求3所述的系统，其中所述虚拟手的外观取决于所使 用的虚拟键盘布局。
16、 根据权利要求4所述的系统，其中所述控制器还用于通过评估 先前的命令来预测后面的按键标签和后面的虚拟键盘布局。
17、 根据权利要求4所述的系统，其中所述姿势与所述物理键盘中按 下的按键组合来使用，用于设置并显示相应的映射。
18、 一种将数据输入到计算系统中的方法，包括获取部分的用户身体和物理键盘的图像；以及 基于所获取的图像，设置并显示虚拟键盘上输入按键的映射。
19、 根据权利要求18所述的方法，其中所述图像与由所述用户作出的、 将被解释为命令的姿势有关。
20、 根据权利要求19所述的方法，其中所述姿势与从由手部移动、头 部移动、眼部移动和嘴部移动所组成的组中选出的移动有关。
21、 根据权利要求19所述的方法，其中响应于所述姿势，所述虚拟键 盘上的按键标签发生变化。
22、 根据权利要求19所述的方法，其中响应于所述姿势，所述虚拟键 盘的布局发生变化。
23、 根据权利要求18所述的方法，还包括获取所述用户手部并显示模 拟相对于所述物理键盘放置或移动的所述用户手部的虚拟手。
24、 根据权利要求23所述的方法，其中使用所述物理键盘的单次击键 来将字符录入到所述计算系统中。
25、 根据权利要求21所述的方法，其中手的移动模拟虚拟鼠标，来实 现鼠标类型的导航。
26、 根据权利要求23所述的方法，其中所述虚拟手透明地叠加显示在 所述虚拟键盘上。
27、 根据权利要求23所述的方法，其中所述虚拟手的外观取决于所使 用的虚拟键盘布局。
28、 根据权利要求19所述的方法，还包括评估先前的命令来预测后面 的按键标签和后面的虚拟键盘布局。
29、 根据权利要求19所述的方法，其中所述姿势与所述物理键盘中按 下的按键组合来使用，用于设置并显示相应的映射。
30、 一种将数据输入到计算系统中的方法，包括显示虚拟手，所述虚拟手与真实的用户手部相关并且叠加在表示物理 键盘的虚拟键盘上；以及响应于用户手部作出的姿势，设置所述虚拟键盘上按键的映射。
31、 根据权利要求30所述的方法，其中响应于用户真实的手作出的姿 势，所述虚拟键盘的布局发生改变。
32、 根据权利要求30所述的方法，其中所述虚拟手透明地叠加显示在 所述虚拟键盘上。
33、 根据权利要求30所述的方法，其中所述虚拟手的外观取决于所使 用的虚拟键盘布局。
34、 根据权利要求30所述的方法，其中所述姿势与所述物理键盘中按 下的按键组合来使用。
全文摘要
提供了一种使数据能够录入到计算系统中的系统和方法。该系统包括控制器，其在功能上耦合到图像获取设备，并用于基于所获取的由所述图像获取设备捕获的图像，设置输入按键或整个键盘布局的映射。所述系统可以捕获所选择的视场内的用户的移动和/或姿势的图像，并且可以处理这些图像以根据所述移动来识别并执行命令。
文档编号G06F3/02GK101589425SQ200780013631
公开日2009年11月25日 申请日期2007年2月8日 优先权日2006年2月16日
发明者G·巴尔-萨凯, H·科亨 申请人:Ftk技术有限公司