专利名称：使用可变形装置的人机接口的制作方法
背景技术：
1.发明领域本发明总体上涉及计算机系统的手势输入，并且尤其涉及可视地跟踪能够被变形的装置，其中所述变形触发在计算机系统一部分上的动作。
2.相关领域描述在搜索用于计算系统的替代输入装置方面一直都具有很大的兴趣。视觉手势输入装置正日益变得更为流行。一般说来，手势输入涉及使得诸如计算系统、视频游戏控制台、智能器具等之类的电子装置，对由跟踪对象的摄像机所捕获的某个手势作出反应。
使用数字摄像机跟踪移动对象并且处理所述视频图像以便生成各种显示已为现有技术所知。例如，用于生成运动事件的动画视频模型的一个这种应用已经由Segen，美国专利号6,072,504所公开。依照这种系统，在比赛期间使用多个摄像机来跟踪网球的位置，并且使用把在球场中的三维点与在照相机视域内数字图像的二维点(即像素)联系起来的一组方程式。在给定数字图像中解析的球的像素位置可以与比赛中球的具体三维位置有关，并且使用来自各个视频图像的三角测量，通过最小平二乘法来分析一连串图像帧以便使球的位置适合描述球的运动的无阻段的轨道方程。
如在Segen的某个细节中所述，一旦已经确定对象的位置和动作的三维描述，在现有技术中存在各种为大家所熟知的方法，用于使用使在视频游戏环境中适当对象运动活动起来的程序来生成所述对象的动画表示。也就是说，Segen关心从在时间点所捕获的多个二维视频图像确定运动中的对象的三维位置。一旦已知“真实”对象的三维位置，那么可以使用该信息来依照许多不同的方式控制游戏程序，所述方式通常为游戏程序员所知。
然而，Segen的系统依赖于多个摄像机来根据三角测量展开关于所述对象的位置信息。此外，Segen的所检测对象是简单的球体，其不要求关于所述对象在空间上的取向(例如倾斜)的信息。从而，Segen的系统不能使用单个摄像机从二维视频图像来重构是不管是移动着的还是静止的对象的位置和取向。
通常游戏程序具有由三维几何形状组合形成的虚拟对象，其中在运行游戏程序期间，由使用诸如游戏杆、游戏控制器或其它输入装置之类的输入装置输入的控制输入参数来确定所述对象相互之间的三维描述(位置和取向)。然后，把所述虚拟对象的三维位置和取向投射到二维显示中(具有背景、照明和阴影、纹理等等)，以便借助于游戏控制台的再现处理器功能来创建三维透视场景或重现。
举例来说，能有这样的“虚拟对象”，这种“虚拟对象”在游戏显示中形成相当于一个在“真实”对象周围频繁来回移动的运动图像。为了显示所述虚拟对象，所计算的三维信息用于把所述“虚拟对象”的位置和取向固定在游戏控制台的存储空间中，继而用已知的处理来执行所述图像的再现以便把三维信息转换为现实的透视显示。
然而，尽管有上述知识和技术，还有问题防碍成功的对象跟踪，并且一个特别困难的问题是只精确地提取那些无歧义地对应于感兴趣对象的视频图像的像素。例如，尽管可以相对轻松地完成具有一种颜色的对象相对于另一种颜色的纯色背景的运动，其中所述对象和背景颜色互相变化明显，但是在多颜色或非静态背景的情况下，跟踪对象，即使跟踪涂了明亮颜色的对象，也不这样容易。照明的变化也极大影响摄像机所看到的对象的直观颜色，从而，依赖检测特定的着色对象的对象跟踪方法对错误极为敏感，或者要求随照明提交变化也有恒定的再校准。用于视频游戏程序的典型的家庭使用环境比使用常规对象跟踪计算机视觉系统可能的情况要求更大的灵活性和稳定性。
从而，在家庭使用环境下必须能由单个相对便宜的照相机来跟踪替代输入装置以便被广泛接受。另外，所述替代输入装置必须是方便使用的。虽然已经试验过戴在用户手上的手套，其中所述手套包括由照相机跟踪来捕获输入的传感器，但是用户却没有利用所述手套。对手套缺乏热心的一个原因是必须不断地脱下并戴上手套，这很不方便。
从而，需要解决现有技术的诸问题以便提供能够由单个摄像机跟踪的输入装置，其中所述输入装置对所述用户来说是方便的。
发明内容
一般地说，本发明通过提供如下的一种方法和系统来满足这些需要，所述方法和系统提供了一种能够由单个摄像机跟踪的无源输入装置。应当理解，可以依照多种方式来实现本发明，所述方式包括作为过程、系统或装置。下面描述了几个本发明的有创造力的实施例。
在一个实施例中，提供了一种用于触发在计算系统上运行的程序的输入命令的方法。所述方法以监视在捕获装置前面的视域开始。然后，识别所述视域之内的输入对象。分析所检测的输入对象形状的变化。接下来，检测输入对象的变化。然后，在计算系统上运行的程序触发输入命令。所述触发是所检测的输入对象变化的结果。
在另一实施例中，提供了一种输入检测程序。所述输入检测程序在计算设备上执行并且具有用于确定何时触发主程序的输入命令的程序指令。所述输入检测程序包括用于监控在捕获装置前面的视域的程序指令。所述捕获装置向所述输入检测程序提供数据。包括用于识别在所述视域内输入对象的程序指令。还包括用于检测所述输入对象的物理变化的程序指令，和用于触发在计算设备上运行的主程序的输入命令的程序指令，其中所述触发是所检测的输入对象的物理变化的结果。
在又一实施例中，提供了一种计算系统。所述计算系统具有输入检测系统。所述输入检测系统确定何时触发经由计算系统运行的主程序的输入命令。所述计算系统包括捕获装置。包括用于监视在所述捕获装置前面的视域的电路和用于识别在所述视域内输入对象的电路。包括用于检测输入对象的物理变化的电路和用于触发经由计算系统运行的主程序的输入命令。所述触发是所检测的输入对象的物理变化的结果。
在又一实施例中，提供了一种计算系统。所述计算系统具有输入检测系统。所述输入检测系统确定何时触发经由计算系统运行的主程序的输入命令。所述计算系统包括用于捕获图像数据的装置和用于监视在所述捕获装置前面的视域的装置。包括用于识别在所述视域内输入对象的装置和用于检测输入对象的物理变化的装置。还包括用于触发经由计算系统运行的主程序的输入命令的装置，其中所述触发是所检测的输入对象的物理变化的结果。
从下列详细说明，结合附图以举例形式说明本发明的原理，本发明的其它方面和优点将变得显而易见。
结合附图参考下列描述可以很好地理解本发明及其进一步的优点。
图1是依照本发明一个实施例能够跟踪用户输入装置的整体系统配置的高层示意图。
图2是依照本发明一个实施例适合于供作为替代输入装置的受操纵对象使用的视频游戏控制台的组件配置的框图。
图3是依照本发明一个实施例用于在用户输入装置正被操纵着之时来跟踪并区别对应于所述用户输入装置的像素组的功能块的框图。
图4A是依照本发明一个实施例的可变形用户输入装置的示意图，所述可变形用户输入装置被配置成在X、Y方向上加以跟踪并且被启用来触发要在监视器上加以显示的事件。
图4B是依照本发明一个实施例从前视图所看到的可变形装置的纵横比变化的简化示意图。
图5是依照本发明一个实施例的可变形用户输入装置的替代实施例的示意图。
图6A是参考图4A、4B和5所讨论的所述可变形用户输入装置的又一实施例的简化示意图。
图6B是处于松弛位置和闭合位置下的可变形装置的简化示意图。
图6C是图6A的替代，其中使用两个可变形装置而不是一个。
图7是依照本发明一个实施例用于触发在计算系统上运行的程序的输入命令的方法操作的流程图。
图8是依照本发明一个实施例用于触发视频游戏的游戏控制命令的方法操作的流程图。
具体实施例方式
本发明公开了一种能够被变形的输入装置，其中由摄像机来捕获所述变形以便触发一个事件。在下面描述中，阐明了许多具体细节以便提供对本发明的更彻底的理解。然而，对本领域技术人员来说显而易见的是在没有这些具体细节中的一些或全部的情况下，也是可以实施本发明的。在其它例子中，没有详细描述众所周知的过程步骤以便不会不必要地使本发明变得模糊。
本发明的实施例提供了一种用户输入装置，当所述用户输入装置处在摄像机的视域中时，它能够被变形。诸如所述输入装置纵横比的变化之类的变形由所述摄像机捕获，并且所述变型启动一个可以显示在监视器上的事件或动作。例如，输入装置的变形可以表示一次用于打开个人计算机的文件或窗口，抓取、拖动、操纵计算机游戏的图像，乃至起动智能器具的鼠标点击。应当理解，所述输入装置是无源器件，即所述输入装置是可以由外力变形的对象。从而，所述输入装置不产生向接收器发送的任何活动信号。如由这里描述的实施例所解释，所述用户输入装置允许可以与鼠标点击有关的体验，当其对所述用户方便时。
图1是依照本发明一个实施例能够跟踪用户输入装置的整体系统配置的高层示意图。这里，用户输入装置300可以通过加压以便一起挤压顶部和底部来改变其纵横比。在一个实施例中，所述变化是由数字摄像机190捕获的纵横比。数字摄像机190与视频游戏控制台60通信。在一个实施例中，事件是在诸如游戏控制台之类的计算系统上运行的主程序的输入命令。视频游戏控制台60与监视器80通信。从而，在用户输入装置纵横比方面的变化触发了允许用户操纵在监视器80上的图像的事件。应当理解，当用户输入装置在x、y或z平面中移动时，其被跟踪。在这些平面上的运动考虑到与鼠标相似的点击和拖动功能。也就是说，通过挤压用户输入装置300来改变纵横比并且通过移动变形时的所述输入装置，用户可以移动或操纵在显示监视器上的图像。虽然这里描述的是视频游戏控制台，但是这里描述的实施例适用于个人计算机及其他消费者电子设备，诸如电视、数字化视频光盘(DVD)播放器、智能器具等。
仍然参照图1，在一个实施例中，用户输入装置300可以是能适合在用户手掌内的可变形半圆柱。用户输入装置300可以由通过施加压力而被变形并且当解除压力时恢复其原形的任何适当的材料构成。用户把输入装置定位在摄像机190的视域中，所述摄像机190可以是连接到游戏控制台60的输入/输出端口的USB网络照相机(web cam)或数字摄像放像机，所述游戏控制台60诸如由索尼计算机娱乐有限公司制造的“游戏站(Playstation)2”。当所述用户把用户输入装置300移动到照相机190的视域中时，由照相机190获得用户输入装置的物理特征，诸如大小、形状、颜色等。然后，执行处理以便隔离并区别只对应于所述用户输入装置的像素组。计算所述圆柱的三维描述，包括其在三维空间中的位置和取向，并且把该描述相应地存储在游戏控制台60的主存储器中。然后，使用本领域中已知的再现技术，使用所述对象的三维描述来产生在游戏程序中的动作，其显示在监视器80的显示屏上。例如，在监视器80上的对象可以被遍及所述游戏场景移动，对应于用户输入装置300的移动。当所述用户改变用户输入装置300的位置和取向同时已经检测到纵横比变化时，连续地更新在存储器中所述对象的三维描述和在图像存储器的再现区域中所述对象的相应再现，以致也改变在监视器80上所述对象的位置和取向。从而，由用户向无源输入装置施加力所引起的视觉触发产生动作，诸如由与计算系统相关联的主程序执行的输入命令。
图2是依照本发明一个实施例适合于供作为替代输入装置的受操纵对象使用的视频游戏控制台的组件配置的框图。依照本发明游戏控制台60构成整体娱乐系统110的组件，如图2所示娱乐系统110装备有多处理器单元(MPU)112，用于控制整体系统110；主存储器114，用于各个程序操作并且用于数据存储；向量计算单元116，用于执行几何处理所必需的浮点向量计算；图像处理器120，用于根据来自MPU112的控制产生数据，并且用于向监视器80(例如CRT)输出视频信号；图形接口(GIF)122，用于经由在MPU 112或向量计算单元116和图像处理器120之间的传输总线来执行调节等；输入输出端口124，用于使接收和传输往返于外围设备的数据方便进行；由例如闪速存储器构成的内部OSD功能性ROM(OSDROM 126)，用于执行内核控制等，和具有日历和时间功能的实时时钟128。
主存储器114、向量计算单元116、GIF 122、OSDROM 126、实时时钟(RTC)128和输入输出端口124经由数据总线130与MPU 112相连。图像处理单元138也连接到总线130，所述图像处理单元138是用于扩展压缩运动图像和纹理图像从而展开所述图像数据的处理器。例如，所述图像处理单元138可以提供用于解码依照MPEG2或MPEG4标准格式的位流并将其展开、宏块解码、执行逆向离散余弦变换、颜色空间转换、矢量化等的功能。
音响系统由以下装置构成声音处理单元SPU 171，用于根据来自MPU 112的指令产生音乐或其它音响效果；声音缓冲器173，通过SPU 171可以把波形数据记录在其中；和扬声器175，用于输出由SPU171产生的音乐或其它音响效果。应当理解的是，扬声器175可以作为监视器80的一部分而并入或可以作为附着于外接扬声器175的独立音频线路输出连接来提供。
还提供了连接到总线130的通信接口140，其是具有输入/输出数字数据并且用于依照本发明输入数字内容的功能的接口。例如，通过通信接口140，可以向网络上的服务器终端发送用户输入数据并且从所述终端上接收状态数据以便适应在线视频游戏应用。输入装置132(又名控制器)和光盘装置136与输入输出端口124相连，所述输入装置132用于输入相对于所述娱乐系统110的数据(例如键输入数据或坐标数据)，所述光盘装置136用于再现例如CD-ROM等之类的光盘70的内容，其上有各种程序和数据(即关于对象的数据、纹理数据等)。
作为对所述输入装置的进一步扩展或替代，本发明包括连接到输入输出端口124的数字摄像机190。可以用包括串行和USB接口的一个或多个输入接口来配备输入输出端口124，其中数字摄像机190可以有益地利用适于供照相机190使用的USB输入或任何其它常规的接口。
上述图像处理器120包括再现引擎170、接口172、图像存储器174和显示控制装置176(例如可编程的CRT控制器等等)。所述再现引擎170与从MPU 112所供应的再现命令一致且通过存储器接口172来执行用于再现所述图像存储器中预先确定的图像数据的操作。所述再现引擎170具有遵照例如NTSC或PAL标准，并且尤其以比每1/60到1/30秒的间隔十到几十次更大的速率来实时地再现320×240像素或640×480像素的图像数据的能力。
总线178连接在存储器接口172和再现引擎170之间，并且第二总线180连接在存储器接口172和图像存储器174之间。第一总线178和第二总线180分别具有例如128位的位宽，并且所述再现引擎170能够相对于图像存储器执行高速再现处理。图像存储器174使用统一存储器结构，其中例如可以把纹理再现区域和显示再现区域设置在一致的区域中。
显示控制器176被构造成使得经由存储器接口172向图像存储器174的纹理再现区域写入经由光盘装置136从光盘70获取的纹理数据，或已经创建在主存储器114上的纹理数据。经由存储器接口172读出已经在图像存储器174的显示再现区域中再现的图像数据，向监视器80输出相同的数据借此将其显示在屏幕上。
图3是依照本发明一个实施例用于在用户输入装置正被操纵着之时来跟踪并区别对应于所述用户输入装置的像素组的功能块的框图。应当理解的是，由软件来实现用块所描述的功能，所述软件由在游戏控制台60中的MPU 112执行。此外，并非所有在图3中由所述块所指示的功能都用于每个实施例。
最初，经由输入/输出端口接口124把从所述照相机输入的像素数据提供给游戏控制台60，以便使得接着的过程能够在其上加以执行。首先，当例如以光栅为基础采样所述图像的每个像素时，执行颜色分段处理步骤S201，借此确定每个像素的颜色并且把所述图像分成各种不同颜色的二维段。接下来，对于某些实施例，执行颜色过渡局部化步骤S203，借此更具体地确定其中不同颜色段邻接的区域，从而限定其中发生明显的颜色过渡的图像的位置。然后，执行几何处理步骤S205，所述步骤根据实施例而包括边缘检测过程或执行面积统计计算，以便从而用代数或几何术语来限定对应于感兴趣对象边缘的线、弯曲和/或多边形。例如，在图1中示出的用户输入装置情况下，所述像素面积将包括对应于所述用户输入装置的正交前视图的总体上呈矩形的形状。根据所述矩形的代数或几何描述，可以限定只对应于所述对象的像素组的中心、宽度、长度和二维取向。
在步骤S207依照将要结合随后描述的本发明优选实施例描述的算法来计算所述对象的三维位置和取向。三维位置和取向的数据还经历卡尔曼滤波的处理步骤S209以便改善性能。执行这种处理以便估计在时间点上所述对象将要去哪里，以及滤去不可能的并因此被认为是在真实数据集之外的假测量。使用卡尔曼滤波的另一原因是所述照相机190以30Hz生成图像，而典型的显示以60Hz运行，因此卡尔曼滤波填补在所述数据中的间隙，其被用来控制在所述游戏程序中的动作。经由卡尔曼滤波对离散数据的平滑在计算机视觉领域为大家所熟知，因此不再进一步的详细说明。
图4A是依照本发明一个实施例的可变形用户输入装置的示意图，所述可变形用户输入装置被配置成在X、Y方向上加以跟踪并且被启用来触发要在监视器上加以显示的事件。由摄像机190来跟踪可变形用户输入装置300。摄像机190与游戏控制台60通信，所述游戏控制台60又接着与监视器80通信。在一个实施例中，由数字摄像机190通过如上所述的颜色来跟踪可变形装置300。也就是说，所述用户输入装置是当其处在照相机190的视域中时能够被跟踪的明显不同的颜色。如同看见的那样，可变形装置300基本上是已经被切成两半的圆柱的一部分。也就是说，依照一个实施例可变形装置300可以适合于在手掌内。从而，随着可变形装置300变形，所述可变形装置的纵横比也随之变化并且被数字摄像机190所捕获。把所捕获的纵横比的变化传送到控制台60，所述控制台60接着又产生被触发的事件并将其显示在监视器80上。例如，可以与鼠标相似来使用可变形装置300以致可以访问一个对象或一个在窗口中的对象并来回移动它。
在一个实施例中，可以在点302抓取图像304并依照要求拖动或操纵。本领域技术人员将理解可以执行许多适当的操作，其中可变形装置300能够完成如鼠标的类似功能。当然，可变形装置300可用于玩视频游戏或任何其它适当的交互游戏，其中要求类似鼠标的功能。这里，把可变形装置300的纵横比的变化与鼠标点击相比较并且当其纵横比已经从初始位置变化时可以拖动所述图像。从而，用户输入装置可用于玩卡片游戏。本领域技术人员将理解存在许多应用，其中可以应用这里描述的类似鼠标的功能。
图4B是依照本发明一个实施例从前视图所看见的可变形装置的纵横比变化的简化示意图。可变形装置处于松弛位置300A。随着用户向下挤压该可变形装置，纵横比转变为闭合位置300B。应当理解，这里描述的输入装置向用户提供了触觉/触知的反馈，其相当于一个正被触发着的动作。
图5是依照本发明一个实施例的可变形用户输入装置的替代选实施例的示意图。这里，可变形用户输入装置310可以依照由用户施加于所述可变形装置上的力以松弛状态310A或压下状态310B存在。因而，在这里，可变形装置310处于可伸缩的球体形式。更一般地说，任何类型的可变形球体都可以由这里描述的视觉跟踪系统跟踪。应当理解，在该实施例中，由视频数字摄象机190所看到的可变形装置310的面积保持恒定。从而，除捕获可变形装置310的X和Y二维运动之外，数字摄像机190还可以捕获在Z方向上的运动。所述Z方向可用于向前或向后-即采用如监视器80所示出的纵深方式来拉动诸如使文件304B之类的文件。另外，可以使由可变形装置310抓取的显示对象显得更小或更大，取决于可变形装置310移动所沿着的Z轴的方向。例如，在一个实施例中，如果把可变形装置310拉近照相机190，那么所显示的对象将显得更大，而如果把可变形装置310远离照相机190，那么所显示的对象将在监视器80上显得更小。本领域技术人员将理解通过X、Y和Z方向上运动的组合可以使所显示的对象改变其大小和位置。这里使用角度theta(θ)来确定在三维空间中的运动。本领域技术人员将理解theta是在照相机190的视图平面方向上的角度。
仍然参照图5，所述照相机捕获可变形装置310的位置。把所述位置信息传送到游戏控制台60。如上参考图1-3所述，由游戏控制台60来处理所述位置信息。随着所述可变形装置的纵横比或相对位置变化，所述处理把所述运动转化为正在监视器80上显示的对象。应当理解，在本发明一个实施例中，当在可变形装置的纵横比变化时可以产生音频信号。另外，可以把无源按钮下压的信号包括在所述可变形装置中。因此，即使计算系统没有检测到点击声，所述用户也会感受到点击体验。
在一个实施例中，通过分析在所述图像中的像素来确定x、y、z、θ和挤压参数。应当理解，在所述图像中的像素是被跟踪的所述对象—即可变形装置—的一部分。特别地是，X与在所述图像中像素的水平质心成正比。Y与在所述图像中的像素的垂直质心成正比。Z与所述像素面积或一次二阶矩(principle second moment)(产生不同的准确性/健壮性行为)的平方根成反比。Theta(θ)对应于所述一次二阶矩的旋转角。挤压参数，诸如挤压量-即在纵横比上的变形或变化量，与一次二阶矩的平方根除以最小二阶矩的平方根成正比。可以从所述图像单次遍历来计算上述的每一个参数。因而，这里描述的实施非常快并且对噪声-即视觉错误的敏感性比其它通常使用的度量要低。
图6A是参考图4A、4B和5所讨论的所述可变形用户输入装置的又一实施例的简化示意图。这里，可变形装置320包括连接在一起的上面部分和下面部分以致可以通过施加把这些部分集合起来的力来改变在所述上面和下面部分之间的距离。从而，随着把压力施加在可变形装置320的两端时，所述纵横比将随之变化。然而，可变形装置320的面积保持恒定，因此，照相机190可以跟踪可变形装置在X、Y和Z平面中的运动。如上所述，可变形用户输入装置320可以由能够变形并且恢复原形的任何适当的材料构成。
图6B是处于松弛位置320A和闭合位置320B下的可变形装置320的简化示意图。本领域技术人员将理解的是，如上所述，由照相机190检测的可变形装置320的面积保持相同。也就是说，处于松弛状态320A下的像素的数目与处于下压状态320B下的像素的数目相同。因此，可以在三维空间中跟踪所述运动。
图6C是图6A的替代，其中使用两个可变形装置而不是一个。这里，用户可以在每个手中持有每个可变形装置320A-1和320A-2。可变形装置320A-1和320A-2可用来抓取或操纵在显示屏80上的图像。装置320A-1和320A-2可以对相同的图像或不同的图像操作。在一个实施例中，持有一或两个可变形装置320的用户的图像可以由照相机190捕获以致持有一个或多个可变形用户输入装置320的用户的图像可以显示在监视器80上。
这里描述了实施例还可以使用定向反光材料。所述定向反光材料可以是磁带、油漆、塑料等的形式，其可以应用于所述可变形装置的一个面，诸如面对照相机190的可变形装置320的前面部。这里，照相机190往往包括将要被投向可变形装置的光。如通常所知，将把从所述定向反光材料反射的光投向到照相机190。所述光源可以是任何可见或不可见光的波长。在一个实施例中，所述光源是红外光源。
图7是依照本发明一个实施例用于触发在计算系统上运行的程序的输入命令的方法操作的流程图。所述方法以操作400开始，在那里提供了与计算机通信的捕获装置。在一个实施例中，所述捕获装置是诸如网络照相机之类的数字照相机。所述计算系统可以是一个具有如参考图1-3所描述的监视器的控制台。然后，所述方法前进到操作402，在那里监视捕获区域。在一个实施例中，所述捕获区域是所述捕获装置的视域。
然后，图7的方法移到操作404，在那里检测所述捕获区域之内的输入装置，并且识别所述输入装置的初始形状。这里，可以由用户把参考图4-6C所描述的输入装置带入捕获装置的视域中。所述输入装置的形状可以是任何合适的形状，诸如相对于图4-6C描述的用户输入装置。在一个实施例中，所述输入装置被配置成以致可以修改能够由捕获装置监视的正投影的纵横比。然后，所述方法前进到操作406，在那里识别所述输入装置形状的变化。例如，用户可以挤压输入装置，从而改变所述输入装置的纵横比。然后，所述方法继续到操作408，在那里响应于所检测的输入装置形状的变化，在运行于计算机的计算机程序上触发活动输入，所述计算机与所述捕获装置通信。在一个实施例中，用户输入装置的形状发生改变时，而对应于所述输入装置的图标被定位在监视器上的图像之上。在形状上的变化导致图像要被选择，与鼠标点击相似。在另一实施例中，在保持所述用户输入装置的改变的形状的同时用户输入装置的运动致使所选择的图像移动或改变。应当理解，可以包括多个用户输入装置。例如，用户可以在每个手中持有一个用户输入装置。
图8是依照本发明一个实施例用于触发视频游戏的游戏控制命令的方法操作的流程图。所述方法以操作410开始，在那里提供了用于玩视频游戏的游戏控制台。把所述视频游戏显示在屏幕上。在一个实施例中，所述游戏控制台是“游戏站2”游戏控制台。然后，所述方法继续到操作412，在那里提供了与所述游戏控制台耦合的视频捕获装置。在一个实施例中，所述捕获装置是诸如网络照相机之类的数字照相机。然后，所述方法移到操作414，在那里监视在捕获装置前面的捕获区域。如上所述，在一个实施例中，所述捕获区域是捕获装置的视域。
然后，图8的方法前进到操作416，在那里检测所述捕获区域之内的输入装置并且识别所述输入装置的初始形状。这里，可以由用户把参考图4-6C所描述的输入装置带入捕获装置的视域中。在一个实施例中，捕获装置通过把来自靠近捕获装置的光源的光发送出去来检测所述输入装置。在该实施例中，输入装置往往包括定向反光材料，所述定向反光材料被配置为把光直接反射回到产生所述光的源。然后，所述方法前进到操作418，在那里识别所述输入装置形状的变化。例如，用户可以挤压输入装置，从而改变所述输入装置的纵横比。然后，所述方法继续到操作420，在那里响应于所检测的输入装置形状上的变化，在运行于游戏控制台的计算机程序上触发游戏控制命令，所述游戏控制台与所述捕获装置通信。在一个实施例中，在保持所述用户输入装置的改变的形状的同时用户输入装置的运动使得所选择的图像移动或改变大小。在另一实施例中，纵横比改变的度表明在视频游戏期间紧握的力量。例如，纵横比的变化越大，用于特定视频游戏特征的紧握越紧。
总之，这里规定的可变形装置纵横比上的变化触发可与鼠标点击或抓取操作相比的事件或动作。应当理解，通过纵横比上的变化可以触发许多事件。例如，可以访问下拉菜单，可以玩视频游戏，可以抓取对象，使对象前进、后退、重叠或分层等。此外，通过挤压所述用户输入装置的动作来改变其纵横比，可以模拟事件，诸如按下按钮或抓取动作。在一个实施例中，捕获所述用户输入装置形状变化的照相机被配置为使用颜色跟踪所述装置。做为选择，所述照相机可以使用光来跟踪所述装置，定向反光材料被应用到具有所述可变形装置。这里描述的可变形装置可以是任何适当的形状以致所述用户在不必使用鼠标即接收触觉的/触知的反馈的情况下就可以体验点击的感觉。实实际上，在用户不必戴上手套的情况下就实现了手套的功能。虽然已经相对于视频游戏控制台描述了上述实施例，但是所述实施例意味着示例性的而不是限制性的。这里描述的可变形装置还可以应用于个人计算机，消费者电子设备，诸如电视、VCR、家庭影院系统等以及诸如厨房器具等之类的智能装置。本领域的技术人员将理解上述实施例适用于运行视频游戏以及在线视频游戏的游戏控制台，其中用户访问来自服务器的视频游戏。
本发明可以使用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是那些要求物理量的物理操纵的操作。通常，但并不一定是，这些量采取能够存储、转送、结合、比较及其它操作的电、磁信号的形式。此外，所执行的操纵常常用术语是指，诸如生成、识别、确定或比较。
形成为本发明一部分的这里所描述的任何操作都是有效的机器操作。本发明还涉及一种用于执行这些操作的装置或设备。为所要求的目的可以专门地构造所述设备，或者其可以是由存储在计算机中的计算机程序来有选择地激活或配置的通用计算机。特别地是，各种通用机器可以与依照这里的教导所写入的计算机程序一起使用，或者构造一种用于执行所要求操作的专门设备更为方便。
尽管为了理解清楚已经相当详细地描述了上述发明，然而进行某些改变和修改是显而易见的。因此，本实施例被认视为是说明性而不是限制性的，并且本发明不限于这里给出的细节，而是在说明书的范围和等价物之内就可以进行修改。
权利要求
1.一种用于触发在计算系统上运行的程序的输入命令的方法，包括监视捕获装置前面的视域；识别在所述视图域内的输入对象，分析所检测的输入对象形状上的变化；检测所述输入对象的变化；以及触发在计算系统上运行的程序的输入命令，所述触发是所检测的输入对象变化的结果。
2.如权利要求1所述的方法，其中所述视频捕获装置是数字摄像机。
3.如权利要求2所述的方法，其中所述数字摄像机跟踪所述输入对象的颜色。
4.如权利要求2所述的方法，其中所述数字摄像机跟踪来自所述输入对象的反射光。
5.如权利要求1所述的方法，其中所述检测所述输入对象的变化的方法操作还包括检测所述输入对象纵横比的变化；以及检测所述输入对象位置的变化。
6.如权利要求1所述的方法，其中所述程序是视频游戏并且所述计算系统是游戏控制台。
7.如权利要求5所述的方法，其中所述输入命令致使显示在与所述计算系统耦合的监视器上的图像大小改变。
8.如权利要求5所述的方法，其中所述输入命令致使显示在与所述计算系统耦合的监视器上的图像被选择。
9.一种在计算设备上执行的输入检测程序，所述输入检测程序具有用于确定何时触发主程序的输入命令的程序指令，所述输入检测程序包括用于监视在捕获装置前面的视域的程序指令，所述捕获装置向所述输入检测程序提供数据；用于识别所述视域之内的输入对象的程序指令；用于检测所述输入对象物理变化的程序指令；以及用于触发在所述计算设备上运行的主程序的输入命令的程序指令，所述触发是所检测的输入对象的物理变化的结果。
10.如权利要求9所述的输入检测程序，其中用于检测所述输入对象物理变化的程序指令包括用于检测所述输入对象纵横比的变化的程序指令；以及用于检测所述输入对象位置的变化的程序指令。
11.如权利要求9所述的输入检测程序，其中所述计算设备是视频游戏控制台。
12.如权利要求9所述的输入检测程序，其中所述输入对象是可伸缩的球体。
13.如权利要求9所述的输入检测程序，其中用于触发输入命令的程序指令致使显示在与所述计算系统耦合的监视器上的图像大小改变。
14.一种用于与计算设备接口的输入装置，包括第一部分；和与第一部分结合的第二部分，其中把所述输入装置配置为限定在第一状态下的第一纵横比和限定在第二状态下的第二纵横比，能够检测到的、在第一状态和第二状态之间的变化导致所述计算设备的输入命令。
15.如权利要求14所述的输入装置，其中第一部分和第二部分限定了半个圆柱。
16.如权利要求14所述的输入装置，其中把所述输入装置配置为基本上能握在人的手掌内。
17.如权利要求14所述的输入装置，其中第一部分和第二部分限定了球体。
18.如权利要求14所述的输入装置，其中第一部分限定了第一边缘并且第二部分限定了第二边缘，其中第一边缘基本上平行于第二边缘。
19.如权利要求18所述的输入装置，其中在第一和第二边缘之间限定了开口，所述开口能由施加于所述输入装置的外力加以闭合。
20.如权利要求14所述的输入装置，其中在第一状态和第二状态之间的变化导致一次可听得见的点击。
全文摘要
在一个实施例中，提供了一种用于触发在计算系统上运行的程序的输入命令的方法。所述方法以监视在捕获装置前面的视域开始。然后，识别在所述视域之内的输入对象。分析所检测的输入对象形状上的变化。接下来，检测输入对象的变化。然后，在所述计算系统上运行的程序触发输入命令。所述触发是所检测的输入对象的变化的结果。还提供了一种输入检测程序和计算系统。
文档编号G06F3/00GK1672120SQ03817968
公开日2005年9月21日 申请日期2003年7月14日 优先权日2002年7月27日
发明者R·马克斯 申请人:索尼电脑娱乐公司