专利名称：使用多模态输入来控制显示器上的多个对象的制作方法
技术领域：
本发明的各实施例一般涉及集成电路领域，尤其涉及用于通过多模态输入的使用 来控制显示器上的对象的系统、方法和设备。
背景技术：
手势输入随着Nintendo (任天堂) Wii 和其他游戏设备已变得非常流行。随 着集成摄像机和阵列话筒在计算产品中变得更常见，诸如手势、语音和凝视(眼睛的使用 或者头的运动)之类的输入方法将变成更常见的输入手段。附图简述本发明的实施例在各附图的插图中是作为示例而非作为限制来示出的，在附图中 相同的附图标记指代相同的元件。
图1示出眼睛凝视模态输入操纵在显示器上看到的东西的实施例。图2示出由用户作出的用以控制显示器上的对象的多模态输入的实施例。图3示出由用户作出的用以控制显示器上的对象的多模态输入的另一实施例。图4示出由两个用户分别作出的用以控制显示器上的对象的多模态输入的实施 例。图5是模块化多模态输入系统的实施例的框图。图6是利用模态输入流来控制被显示对象的过程的实施例的流程图。图7是利用多模态输入来同时控制一个以上被显示对象的过程的实施例的流程 图。图8示出实现多模态输入以控制显示器上的对象的计算机系统的实施例。图9示出实现多模态输入以控制显示器上的对象的计算机系统的另一实施例。详细描述各实施例一般涉及用于使用多模态输入来控制显示器上的对象的系统、方法和装置。在许多实施例中，使用多模态输入来控制被显示对象的过程涉及接收若干模态输 入流。该模态输入可以是来自任何类型的模态输入设备的输入。例如，模态输入设备可以 包括摄影机、话筒、诸如加速计之类的运动检测器、附连到皮肤的用以检测大脑或肌肉组织 中的电场/脉冲的电气测量装备、或者其他此类设备。模态输入设备可以能够捕捉(即，记 录)的模态输入类型有眼睛运动(即，眼睛凝视方向)、头运动、手臂和手运动、腿和脚运动、 语音命令以及许多其他形式的模态输入。模态输入“流”是指由这些模态输入设备之一捕捉的数据流。例如，摄影机可以针 对用户的眼睛运动被训练。摄影机可以每秒钟记录用户眼睛的特写视角的60个视频帧。这 些帧可被称为模态输入数据流。其他流包括音频捕捉流以及来自诸如Nintendo Wii 遥 控器之类的运动捕捉设备的坐标数据流，该运动捕捉设备可每隔一定数目个毫秒提供设备 位置的三维坐标。
这些模态输入流中的若干模态输入流可被接收到计算设备中。每一流随后由该计 算设备内的逻辑解读以查明动作集合。该动作集合随后被指派给显示设备上的对象。电视机可以是所利用的显示设备。 电视机上的对象可以是虚拟的手、虚拟的腿、球、或者可被显示的许多其他类型的对象之 一。另外，在许多实施例中，对象可以是屏幕的虚拟视点摄像机视角。换言之，通过操纵摄 像机视角，在屏幕上看到的视图可以变化。例如，如果眼睛凝视从左转向右，那么可在屏幕 上显示的虚拟世界可以作为响应而向右旋转。本质上，该过程允许该动作集合附连至被显 示的对象(或者关联于所看到的东西的显示)并且该对象因此在显示器上由这些动作动态 地操纵。该过程的示例利用用户眼睛运动流。如果用户的眼睛从向左看变成向右看， 那么解读逻辑辨别此运动并创建涉及潜在地与时间戳耦合的该运动的可动作命令。该 集合中的单个动作可以看上去如此(眼睛凝视中心偏左30°，中心偏下15° ；时间 10:17:57. 098)。图1示出眼睛凝视模态输入操纵在显示器上看到的东西的实施例。时刻1时的显 示器示出用户眼睛位置在屏幕中心，该屏幕示出在屏幕右侧有颗树的所显示环境。此眼睛 位置由凝视跟踪装备100(例如，潜在地戴在用户头上的摄影机)跟踪。在时刻2，显示器正 示出相同的环境位置，但是用户的眼睛突然向右凝视，这由凝视跟踪装备100记录。眼睛运动可以随后被解读，其揭示部分在当前所显示环境右侧的合意环境参照 系。解读逻辑随后创建控制视点向右移动的动作集合，示出了在时刻2+时，(在时刻1和 时刻2时在屏幕右边的)树已由于眼睛运动而移动到屏幕的中心。这已满足用户，因为合 意视点现在已在显示器的中心，所以用户的眼睛再一次在显示器的中心。图2示出由用户作出的用以控制显示器上的对象的多模态输入的实施例。图2具 体而言将眼睛凝视运动和手臂手势运动用作两种类型的模态输入。具体而言，用户的眼睛 凝视运动由模态输入设备2A(200)跟踪并且手臂手势运动由模态输入设备2B(202)跟踪。 用户的眼睛凝视运动被指派成操纵显示器的参照系并且用户的手臂运动被指派成操纵显 示器上的虚拟四分卫手臂。当用户将其凝视向右移时，视点变化到新的参照系。这由结果2A(204)来表示，该 结果表明对应于顶部的显示器参照系的框被修改到屏幕的中心。这导致橄榄球运动员从显 示器的右侧移动到中心。随着此举的发生，用户用其手臂作出投掷运动(即，手势)。此手势由模态输入设 备2B 202捕捉。解读逻辑解读该投掷运动手臂手势并控制显示器上的虚拟四分卫手臂向 橄榄球运动员投掷橄榄球，这是结果2B(206)。图3示出由用户作出的用以控制显示器上的对象的多模态输入的另一实施例。 图3具体地将眼睛凝视运动、手臂手势运动和语音命令用作三种类型的模态输入。具体 而言，用户的眼睛凝视运动由模态输入设备3A(300)跟踪，手臂手势运动由模态输入设备 3B(302)跟踪，并且用户的语音命令由模态输入设备3C(304)记录。用户的眼睛凝视运动被 指派成操纵显示器的参照系，用户的手臂运动被指派成操纵虚拟冒险家挥动武器的手臂， 并且用户的语音命令被指派成操纵非玩家控制角色(NPC)冒险家好友将做的事情以帮助 显示器上的该冒险家。
当用户将其凝视向左或向右移时，视点变化到新的参照系。这由结果3A(306)表 示，其表明用户目前的参照系在屏幕的中心，所以不需要移动。在模态输入“用户眼睛凝视”跟踪的同时，用户用其手臂作出运动(即，手势)。此 手势由模态输入设备3B 302捕捉。解读逻辑解读该手臂手势并控制冒险家的手臂用该冒 险家手中的虚拟武器来攻击、阻挡等。另外，在模态输入“用户眼睛凝视”跟踪和模态输入“用户手臂手势”跟踪的同时， 用户说出动作命令作为对冒险家的NPC好友的指令。例如，用户可能注意到有支箭将要击 中冒险家的好友并呼喊“避开”以使NPC好友避开该箭的路线。任何数目的语音命令可被 解读(例如，跳、攻击、坐下、等等)。因此，用户通过其眼睛、手臂和语音的同时模态输入可 以一次操纵显示器上的若干对象。图4示出由两个用户分别作出的用以控制显示器上的对象的多模态输入的实施 例。图4具体地将眼睛凝视运动和手臂手势运动用作两种类型的模态输入。尽管未在图 4中示出，但是相同或相似的模态输入设备可被用来跟踪用户眼睛凝视运动和手臂手势运 动。玩家1的眼睛凝视运动控制玩家1守门员402运动，此指派是通过模态控制链路1来 可视化的。玩家1的手臂手势运动404控制玩家1射手406运动，此指派是通过模态控制 链路2来可视化的。玩家2的眼睛凝视运动408控制玩家2守门员410运动，这是通过模 态控制链路3来可视化的。最后，玩家2的手臂手势运动412控制玩家2射手414运动，这 是通过模态控制链路4来可视化的。图5是模块化多模态输入系统的实施例的框图。多模态输入计算设备500可以是任何类型的计算设备，诸如台式计算机、服务器、 工作站、膝上型设备、手持式设备、电视机顶设备、媒体中心设备、游戏控制台、(诸如汽车中 的)集成系统设备、或者其他类型的计算设备。该计算设备可以耦合至若干模态输入设备， 诸如模态输入设备A 502 (摄影机)和模态输入设备B 504 (话筒)。在其他实施例中，有其 他和潜在更多的模态输入设备，诸如话筒或摄影机、运动检测设备、位置感知设备(诸如有 全球定位系统能力的设备)的整个阵列，以及其他类型的模态输入设备。这些模态输入设备各自耦合至模态解读逻辑506。如以上所讨论的，模态解读逻辑 506可以能够将模态输入数据流解读成动作/命令集合。该动作集合被发送给模态配对逻 辑508，模态配对逻辑508创建模态输入与显示对象的配对。配对信息以及动作集合随后被 馈送给模态控制逻辑510，模态控制逻辑510接收这些动作/命令并使用配对数据来确定用 哪个动作集合来控制在显示器512上显示的哪个对象。例如，模态输入设备A 502可以与被显示对象A 514配对，并且模态输入设备B 504可以与被显示对象B 516配对。多模态输入过程在模态配对逻辑508可以使给定的模 态输入数据流与第一被显示对象解除关联并且重新使相同的流与第二对象相关联的意义 上是模块化的。因此，输入流可以在任何时候从控制第一对象切换到控制第二对象。另外， 对象可以从由第一流控制切换到由第二流控制。在许多实施例中，模态配对逻辑508可以实现用户界面以赋予用户显式地将每个 输入模态指派给显示对象或其他受控元素(诸如视点眼睛凝视实现)的能力。因此，在许 多实施例中，用户可以进入具有第一可用输入模态列表和第二可用显示对象/元素/功能 列表的用户界面以进行控制。用户可以随后显式地使每个模态与对象/等配对。此信息可以随后由模态配对逻辑508在系统操作期间使用。另外，任何输入流未必都具有控制任何对象的能力，但是如果有任何限制，那么那 些限制可以是预定的并且通过限制某些用户设置编程到模态配对逻辑中的方式来实现。图6是利用模态输入流来控制被显示对象的过程的实施例的流程图。该过程由处理逻辑来执行，处理逻辑可包括硬件(例如，通用计算机中的电路系 统)、软件(例如，操作系统或软件应用代码)、固件(例如，微代码或基本输入/输出系统 (BIOS)代码)、或者这些形式的处理逻辑中任何两种或更多种形式的组合。图6中的过程 涉及单个模态输入流。在许多实施例中，为每个模态输入流执行此过程。该过程始于处理逻辑检索来自用户的模态输入数据流(处理框600)。接下来，处 理逻辑将该模态输入数据流解读成动作或命令集合(处理框602)。随后，处理逻辑将该动 作/命令集合指派成控制特定的被显示对象(处理框604)。最后，处理逻辑利用该动作集 合来控制所指派的被显示对象(处理框606)。图7是利用多模态输入来同时控制一个以上被显示对象的过程的实施例的流程 图。同样，该过程由处理逻辑来执行，处理逻辑可包括硬件(例如，通用计算机中的电 路系统)、软件(例如，操作系统或软件应用代码)、固件(例如，微代码或基本输入/输出 系统(BIOS)代码)、或者这些形式的处理逻辑中任何两种或更多种形式的组合。该过程始于处理逻辑将第一模态输入(藉由与该第一模态输入相关联的经解读 动作)指派成控制显示器屏幕上的第一对象(处理框700)。接下来，处理逻辑将第二模态 输入(藉由与该第二模态输入相关联的经解读动作)指派成控制显示器屏幕上的第二对象 (处理框702)。此刻，过程流分叉并且框704和框706由处理逻辑同时执行。具体而言，处理逻辑 使用第一模态输入(通过与第一模态输入有关的经解读动作集合)来控制显示器屏幕上的 第一对象(处理框704)。同时，处理逻辑使用第二模态输入(通过与第二模态输入有关的 经解读动作集合)来控制显示器屏幕上的第二对象(处理框706)。图8示出实现多模态输入以控制显示器上的对象的计算机系统的实施例。示出了计算机系统800。在若干实施例中，计算机系统800包括一个或多个中央处 理单元(CPU)。尽管在许多实施例中潜在地有许多CPU，但是为清楚起见在图8中所示的实 施例中仅示出两个CPU (802和804)。CPU 802和804可以是Intel 公司的CPU或者是另一 品牌的CPU。每个CPU包括一个或多个核。在所示的实施例中，CPU 802包括核AO (806)、核 Al (808)、核 A2 (810)和核 A3 (812)，并且 CPU 804 包括核 BO (814)、核 Bl (816)、核 B2 (818) 和核 B3 (820)。在其他实施例中，CPU 802和804可以各自具有比图8中所示各自具有的四个核 更多或更少的核数目。在许多实施例中，每个核(诸如核A0(806))包括内部功能块，诸如 一个或多个执行单元、引退单元、通用和专用寄存器集合等。如果图8中所示的这些核是多 线程或混合线程的，那么每个硬件线程也可被认为是核。CPU 802和804还可以各自分别包括诸如末级高速缓存(LLC) 822和824之类的一 个或多个高速缓存。在许多未示出的实施例中，除了高速缓存822和824之外，实现了附加 的高速缓存，其中在每个核中的执行单元与存储器之间存在多个高速缓存级。在不同的实施例中，这些高速缓冲可以按不同的方式来分配。在不同的实施例中，高速缓存822和824 各自可以具有许多不同的大小之一。例如，高速缓存822和824可以各自为8兆字节(MB) 高速缓存、16MB高速缓存、等等。另外，在不同的实施例中，高速缓存可以是直接映射高速缓 存、全关联高速缓存、多路组关联高速缓存、或者具有另一种类型的映射的高速缓存。每个 高速缓存可包括在相应CPU中的所有核之间共享的一个较大部分或者可被分成若干个分 开的功能片(例如，每个核一片)。每个高速缓存还可包括在所有核之间共享的一部分以及 作为每个核分开的功能片的若干个其他部分。在许多实施例中，CPU 802和804各自包括其自己的系统存储器控制器(分别为 826和828)以提供用于与系统存储器830和832通信的接口。在未示出的其他实施例中， 存储器控制器830和832可以是分立设备或者被集成在计算机系统800中的其他设备内。系统存储器830和832可包括诸如双倍数据率(DDR) DRAM类型的动态随机存取存 储器(DRAM)，诸如闪存之类的非易失性存储器、相变存储器(PCM)、或者另一种类型的存储 器技术。系统存储器830和832可以是用于存储分别由CPU 802和804操作的数据和指令 的通用存储器。另外，在计算机系统800内可以有其他潜在的具有对系统存储器进行读写 的能力的设备，诸如有直接存储器访问(DMA)能力的1/0(输入/输出)设备。将每个CPU与每个相应系统存储器相耦合的链路(S卩，总线、互连等)可包括能够 传输数据、地址、控制、和时钟信息的一个或多个光纤、金属线或其他线(即，导线)。另外，CPU 802和804可以通过点对点(P2P)接口分别使用P2P接口电路834和 836的来彼此通信。P2P接口可以尤其包括高速双向串行链路、分开的单向串行链路对、或 并行实现的链路。除了彼此通信之外，CPU 802和804还可通过相同类型的P2P接口与高 性能接口复合体838通信。具体而言，CPU802可通过CPU侧的P2P接口电路系统840和复 合体838侧的P2P接口电路系统842与复合体838通信，并且CPU 804可通过CPU侧的P2P 接口电路系统844和复合体838侧的P2P接口电路系统846与复合体838通信。高性能接口复合体838可提供与需要高数据吞吐量的任何子系统的接口。例如， 高性能图形子系统848可通过I/O接口 850与CPU通信，并且高性能通信子系统852可以 通过I/O接口 854通信。高性能接口复合体838还可包括I/O接口 856以与利用I/O接口 860的I/O中枢复合体858通信。计算机系统800中所示的每个I/O接口的电路系统可以 是相同的或者可以是不同的。例如，将高性能图形子系统848耦合至复合体838的I/O接 口 850可包括16通道外围组件接口(PCI)快速协议链路，而将高性能接口复合体838耦合 至I/O复合体858的I/O接口 856可以利用不同的协议。I/O中枢复合体858可提供耦合至一个或多个I/O互连(S卩，总线)的设备与CPU 802和804之间的通用通信接口。例如，I/O中枢复合体858可包括一个或多个I/O适配 器，诸如I/O适配器862，其可提供允许诸如I/O设备864之类的I/O设备通信地耦合至计 算机系统800的其余部分的接口。例如，一个I/O中枢复合体可以是通用串行总线(USB) 中枢复合体并且另一 I/O中枢复合体可以是旧式PCI中枢复合体。存储适配器866也可被 集成到I/O中枢复合体858中。存储适配器866提供与大容量存储设备868的通信接口。 大容量存储设备368可以是硬盘驱动器、固态驱动器、相变存储器阵列、或者另一种形式的 大容量存储。输入接口 870允许计算机系统800耦合至诸如摄像机872和话筒874之类的输入
能够成功地实现执行CLMARK和FASTCMPXCHG指令的处理逻辑的至少一个实施例 可以存在于计算机系统300中的每个核中。此逻辑分别由核AO (306)、A1 (308)、A2 (310)和 A3 (312)中的处理逻辑 400、402、404 和 406 以及分别由核 BO (314)、Bl (316)、B2 (318)和 B3(320)中的处理逻辑408、410、412和414来表示。另外，在其他实施例中，能够成功地执 行CLMARK和FASTCMPXCHG指令的处理逻辑可以分布遍及或图3中所示的若干电路、逻辑单 元、设备。尽管没有示出，但是对于实现本发明而言，利用CPU、总线、存储器等的不同布局的 其他计算机系统实现也是完全可接受的。另外，用于实现使用多模态输入来控制显示器上的对象的过程的逻辑可以在操作 期间的不同时刻驻留在计算机系统800中的一个或多个位置中。例如，该逻辑可包括实现 该过程的软件代码876。此逻辑可被存储在系统存储器830或832内(逻辑876A或876B)、 高速缓存822或824内(逻辑876C或876D)、大容量存储设备868内(逻辑876E)、或者计 算机系统800内部或外部的其他地方。在其他实施例中，该处理逻辑可以部分地在系统800 内的固件或硬件中实现。图9示出实现多模态输入以控制显示器上的对象的计算机系统的另一实施例。示出了计算机系统900。图9中的计算机系统一般包括片上系统(SoC)布局。SoC 布局可以在任何类型的计算机系统中利用但是对于诸如蜂窝电话、智能电话、机顶盒、游戏 控制台之类的小形状因子计算设备以及诸如上网本类型的计算设备之类的小型膝上型计 算机而言是有用的。计算机系统900具有许多以上关于图8所讨论的相同组件，包括CPU 902。在SoC 布局中，具有单个CPU是常见的，但是在未示出的其他实施例中，一个或多个附加的CPU也 位于计算机系统900中。同样，CPU 902可以是Intel 公司的CPU或者是另一品牌的CPU。CPU 902包括一个 或多个核。在所示的实施例中，CPU 902包括核A (904)、核B (906)、核C (908)和核D (910)。 该计算机系统的操作仅需要一个核，但是附加的核可以分摊工作量并潜在地提高总体系统 性能。CPU 902还可包括诸如高速缓存912之类的一个或多个高速缓存。在许多实施例中，CPU 902包括系统存储器控制器914以提供用于与系统存储器 916通信的接口。CPU 902还可包括能够计算要在显示设备920上显示的像素、顶点和几何 数据的集成图形子系统918。CPU 902另外还可包括提供用于与外部设备通信的I/O接口 的通信子系统922。通信子系统922可包括有线接口 924和无线接口 926两者。CPU 902还包括存储控制器928以提供与大容量存储设备930的接口。另外，CPU 902能够分别通过I/O主机控制器936和938与诸如I/O设备932和I/O设备934之类的 I/O设备通信。这些I/O适配器各自可以允许CPU 902通过某种协议与一个或多个I/O设 备通信。最后，输入接口 940允许该计算机系统耦合至诸如一个或多个摄像机942、一个或 多个话筒944之类的输入设备以及其他输入设备。这些输入设备中的许多输入设备可包括 模态输入设备。在许多实施例中，潜在地包括用于实现多模态输入以控制显示设备920上的对象 的逻辑在内的逻辑可以存在于以下位置中的任何一个位置中。当该逻辑的至少一部分是以软件实现时，该逻辑可以存在于系统存储器916 (逻辑946A)、大容量存储930 (逻辑946B)、 高速缓存912(逻辑946C)中或者潜在地在任何核中(未示出)。当该逻辑的至少一部分 是以硬件实现时，该逻辑可以存在于CPU 902的核以外的一般电路系统(核外)中(逻辑 946D)。本发明诸实施例的元素还可以作为用于存储机器可执行指令的机器可读介质来 提供。机器可读介质可包括但不限于闪存、光盘、压缩盘只读存储器(⑶-ROM)、数字多功能 /视频盘(DVD) ROM、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可 编程只读存储器(EEPROM)、磁卡或光卡、传播介质、或适于存储电子指令的其他类型的机器 可读介质。例如，本发明诸实施例可以作为计算机程序来下载，其可用具体化在载波或其它 传播介质中的数据信号的方式经由通信链路(例如，调制解调器或网络连接)从远程计算 机(例如，服务器)传输到请求计算机(例如，客户机)。在以上描述中，某个术语被用来描述本发明的实施例。例如，术语“逻辑，，代表执 行一个或多个功能的硬件、固件、软件(或其任何组合)。例如，“硬件”的示例包括但不限 于集成电路、有限状态机、或者甚至组合逻辑。集成电路可以采取诸如微处理器之类的处理 器、专用集成电路、数字信号处理器、微控制器等的形式。应当领会，在本说明书通篇中对“一个实施例”或“实施例”的引用意味着结合该 实施例描述的特定的特征、结构或特性包括在本发明的至少一个实施例中。因此，在此强调 且应当领会，本说明书的各个部分中对“实施例”、或“一个实施例”或“替换实施例”的两个 或多个引用未必都指代相同的实施例。此外，特定的特征、结构或特性在本发明的一个或多 个实施例中可被适当地组合。类似地，应当领会，在对本发明的实施例的以上描述中，出于流水线化本公开以辅 助理解各发明性方面中的一个或多个方面的目的，各个特征有时被一起编组在单个实施 例、附图、或其描述中。然而，这种公开方法不应被解释为反映所要求保护的主题内容需要 比在每一权利要求中明确表述的主题内容更多的特征的意图。相反，如所附权利要求书所 反映的，各发明性方面在于比单个在以上公开的实施例的所有特征要少的特征。因此，详细 描述所附的权利要求由此被明确结合到此详细描述中。
权利要求
1.一种模块化多模态输入系统，包括多个模态输入设备，每个模态输入设备检索来自用户的模态输入数据流；模态解读逻辑，用于将检索到的多个模态输入数据流中的每个模态输入数据流解读成 相应的动作集合；模态配对逻辑，用于将每个相应的动作集合指派成控制多个被显示对象中的一个被显 示对象；以及模态控制逻辑，用于通过每个被显示对象被指派的动作集合来控制该被显示对象。
2.如权利要求1所述的模块化多模态输入系统，其特征在于，所述模态配对逻辑用于 动态地将对所述多个被显示对象中的第一被显示对象的控制指派从第一模态输入数据流 改变为第二模态输入数据流。
3.如权利要求1所述的模块化多模态输入系统，其特征在于，所述模态配对逻辑用于 动态地将所述多个模态输入数据流中的第一模态输入数据流从控制第一被显示对象改变 为控制第二被显示对象。
4.如权利要求1所述的模块化多模态输入系统，其特征在于，进一步包括模态输入管理逻辑，用于将所述多个模态输入设备中的两个或多个模态输入设备作为 所述用户的群来管理，所述模态输入设备群允许所述用户提供对所述多个被显示对象中的 两个或多个被显示对象的同时控制。
5.如权利要求4所述的模块化多模态输入系统，其特征在于，所述群中的多个模态输 入设备中的至少两个模态输入设备是不用手操作的模态输入设备。
6.如权利要求4所述的模块化多模态输入系统，其特征在于，所述群中的第一模态输 入设备的模态类型不同于所述群中的第二模态输入设备的模态类型。
7.如权利要求1所述的模块化多模态输入系统，其特征在于，所述多个模态输入设备 中的至少一个模态输入设备是摄影机、话筒和加速计中的一者。
8.一种方法，包括检索来自用户的多个模态输入数据流；将检索到的所述多个模态输入数据流中的每个模态输入数据流解读成相应的动作集合；将每个相应的动作集合指派成控制多个被显示对象中的一个被显示对象；以及通过每个被显示对象被指派的动作集合来控制该被显示对象。
9.如权利要求8所述的方法，其特征在于，进一步包括动态地将对所述多个被显示对象中的第一被显示对象的控制指派从第一模态输入数 据流改变为第二模态输入数据流。
10.如权利要求8所述的方法，其特征在于，进一步包括动态地将所述多个模态输入数据流中的第一模态输入数据流从控制第一被显示对象 改变为控制第二被显示对象。
11.如权利要求8所述的方法，其特征在于，进一步包括将所述多个模态输入设备中的两个或多个模态输入设备作为所述用户的群来管理，所 述模态输入设备群允许所述用户提供对所述多个被显示对象中的两个或多个被显示对象 的同时控制。
12.如权利要求11所述的方法，其特征在于，所述群中的多个模态输入设备中的至少 两个模态输入设备是不用手操作的模态输入设备。
13.如权利要求11所述的方法，其特征在于，所述群中的第一模态输入设备的模态类 型不同于所述群中的第二模态输入设备的模态类型。
14.如权利要求8所述的方法，其特征在于，所述多个模态输入设备中的至少一个模态 输入设备是摄影机、话筒和加速计中的一者。
15.—种其上存储有指令的机器可读介质，所述指令在被机器执行时使所述机器执行 包括以下动作的方法检索来自用户的多个模态输入数据流；将检索到的所述多个模态输入数据流中的每个模态输入数据流解读成相应的动作集合；将每个相应的动作集合指派成控制多个被显示对象中的一个被显示对象；以及 通过每个被显示对象被指派的动作集合来控制该被显示对象。
16.如权利要求15所述的机器可读介质，其特征在于，所述被执行的方法进一步包括 动态地将对所述多个被显示对象中的第一被显示对象的控制指派从第一模态输入数据流改变为第二模态输入数据流。
17.如权利要求15所述的机器可读介质，其特征在于，所述被执行的方法进一步包括 动态地将所述多个模态输入数据流中的第一模态输入数据流从控制第一被显示对象改变为控制第二被显示对象。
18.如权利要求15所述的机器可读介质，其特征在于，所述被执行的方法进一步包括 将所述多个模态输入设备中的两个或多个模态输入设备作为所述用户的群来管理，所述模态输入设备群允许所述用户提供对所述多个被显示对象中的两个或多个被显示对象 的同时控制。
19.如权利要求18所述的机器可读介质，其特征在于，所述群中的多个模态输入设备 中的至少两个模态输入设备是不用手操作的模态输入设备。
20.如权利要求18所述的机器可读介质，其特征在于，所述群中的第一模态输入设备 的模态类型不同于所述群中的第二模态输入设备的模态类型。
21.如权利要求15所述的机器可读介质，其特征在于，所述多个模态输入设备中的至 少一个模态输入设备是摄影机和话筒中的一者。
全文摘要
本发明的各实施例一般涉及用于实现基于手势的签名认证的系统、方法和机器可读介质。在一个实施例中，系统可包括若干模态输入设备。每个模态输入设备能够检索来自用户的模态输入数据流。该系统还包括能够将检索到的模态输入数据流中的每个模态输入数据流解读成相应的动作集合的模态解读逻辑。该系统附加地包括用于将每个相应的动作集合指派成控制被显示对象之一的模态配对逻辑。另外，该系统具有使每个被显示对象由其被指派的动作集合来控制的模态控制逻辑。
文档编号G06F3/01GK102117118SQ20101062295
公开日2011年7月6日 申请日期2010年12月24日 优先权日2009年12月31日
发明者G·J·安德森, R·A·多亨帝 申请人:英特尔公司