利用与倾斜角信息相结合的视频输入的对象检测的制作方法

专利名称：利用与倾斜角信息相结合的视频输入的对象检测的制作方法
技术领域：
本发明通常涉及计穀几娱乐系统，并且更准确地说涉湖于这种计^t几娱乐 系统的控律螺的用户操纵。 2相m^的描述
计穀几娱乐系统典型地包括科雜伟幡，激戈控制器，赫其雄制器。用
户赫it^顿i娥帝徵向娱乐系乡im^令赫其哲旨令以控制正在运行的视
频^^戈棘其创莫拟。例如，鹏制器可以配有由用户操作的操纵器，例如操纵 杆。鹏纵杆的操纵媳人模拟值转换为数滩，纖纵體微澄合娜脏 机。i娥制器也可以配有可由用户操作的按钮。
本发明己乡级展了关于这些以及其它的背景信息因素。

发明内容
一个实施例衛共了一种用于/Mjm获得输入f^的方法，i^t^括用图
像捕获體捕获iMm的、赫图像；从除该图像捕获驢之外的一个或多个传感
皿收与W^的慨斜角有关的信息；禾,与iM^的慨斜角有关的信息获得该 对象的至少一个旋转参考图像；比较iM^的活动图像与该对象的旋转参考图像;以及，响应于銜薛力图像匹配i劾定转参考图像而产生J际。
另一个实施例掛共了一种用于^^#获得输入 的设备，该设备包括图 像捕获装置，配置为捕获iM^的^^图像；以及基于^S器的系统，配置为从 除该图像捕获驢之外的一个或多个传S^收与iM^的慨斜角有关的信息，
禾鹏与iM^的慨斜角有关的信息获得iM^的至少一个旋转参考图像比较该 ，的活动图像与iM^的旋转参考图像，以及，响应于该^^力图像匹配i刻鼓专 参考图像而产生指示。
另一个实施例提供了一种存储由基于处理器的系统执行的计嶽/lfMff的存 储介质，该计嶽MM^吏得该基于，器的系统执fi^骤，包括从图像捕获装 置接il^im的所捕获的、 ^力图像；从除该图像捕获體之外的一个或多个传麟 接收与iM^的慨斜角有关的信息；禾,与iM^的慨斜角有关的信息获得iM 象的至少一个旋转参考图像；比较iM^的、 ^力图像与iM^的旋转参考图像， 以及，响应于銜薛力图像匹配i劾定转参考图像而产生指示。
fflil参考随后的详细描述和附图可获得对本发明的不同实施例的特征和优 势的更好理解，J^详细描述和附图阐明了禾,本发明实施例的原理的说明性的 实施例。
附图的简要描述
根据随后结合以下附图所呈现的对本发明更详细的描述，本发明的实施例的 ± 其幼面、特征和优势将变得更加明显，其中


图1A是图解说明了依照本发明的实施例操作的系统的示意亂 图1B是依照本发明的实施例所构成的控伟螺的透视亂
图ic是依照本发明的实施例所构成的控帝m的透视亂
图1D是依照本发明的实施例所构成的控制器的透视亂 图1E是依照本发明的一些实施例所构成的控伟螺的透视亂 图2A是图解说明了依照本发明实施例的确定用于控带藤的j體信息的方式 的示意图-,
图2B是图解说明了傲照本发明实施例的确定用于控伟螺的l體信息的方式 的图l象平面的平面图3A是图解说明了依照本发明实施例的用于获得信息的方法的淑呈亂 图3B是图解说明了傲照本发明实施例的用于向系统樹共输入的方法的淑呈图4是图解说明了可以用来运行、实施禾P/^^亍^M本发明的实施例&W 示和描述的方法和技术的系统的方框图5是图解说明了可以用来运行、实施和/^i行傲照本发明的实施例Sb^ 示和描述的方法和技术的处理器的方框亂
图6A， 6B，和6C是图解说明了依照本发明的另一个实施例操作的系统的示
意图-，
图7是图解说明了依照本发明实施例的用于控制系统的方法的淑呈亂 图8是图解说明了依照本发明的另一个实施例操作的系统的示意亂 图9是图解说明了依照本发明的另一个实施例操作的系统的方框亂 图10是图解说明了依照本发明的另一个实施例操作的系统的示意亂
图IIA和11B是图解说明了依照本发明实施例的可iMk用于所描述系统的控
制器的透视图12是依照本发明实施例的用于混合不同的控制输入的系统的方块亂 图13A是傲照本发明实施例的系统的方块图； 图13B是^M本发明实施例的方法的^I呈图； 图13C是傲照本发明实施例的方法的漸呈图14是图解说明了依照本发明实施例的用于^^m获得输入娜的方法的 繊图15是图解说明了依照本发明实施例的图14所示的一些步骤的方框图；以
及
图16是图解说明了依照本发明实施例的一纟助龙转参考图像的方框图。
详细描述
典型地，为了操作位于控制器上的按钮、操纵杆等，柳频^^戈的用户^玩 家要用单手^(手 ^^^戈控制器。通常当运fil^戈时，由于^MM同NB作 这些按钮、操纵杆等，用户也将在空中来回移动M^控帝藤本身。当运行麟时， 一些用户趋于兴奋，并_§31)1在空中来回移动 ^控制器本身试图控审1^戈的动 作蹄各方面。
掛断描述的方法、设备、方案和系统的不同实施例劍共用于经由用户的整 个控帝藤主体自身的运动、动作和/ 纵的检测、捕获和足跟宗。经由用户的，控制滕主体的检测的运动、动作和/離纵可以用作为附加命令以控制正在运行的 ^l戈赫其创莫拟的各方面。
可以以不同的方式实施检测和卿宗i^爐第螺主体的用户操纵。例如，在一 些实施例中，樹斜M卜围设备可以与计嶽几娱乐系统一繊来检测手t雜伟螺主
体的动作，并且将它们转换为飽戈中的、)薛力。该樹斜几可用于检测i雜制器的许 多不同鄉的动作，例如，上下运动，扭瓶动，左右运动，急feii动，棒式动 作，突驗动等。这些动作可以相应于不同的命令以働每这些动作转换为 中 的添力。
检测和卿宗微戈控审藤主体的用户操纵可以用来执行许多不同，的微戈、
模拟等，例如，其允许用户参加剑魅船y战斗，禾,棒来描绘项目的微，参
加许多不同，的体育事件，参加屏上战斗^其它i!M^。
参考图1A，其图解说明了依照本发明的实施例操作的系统IOO。如图所示， 计^t几娱乐系统或者控制台102利用电卑M^其它视频湿示器104以在其_ 示 视频#^戈的图#^#其创莫拟的图像。可以在l^爾入控制台102中的DVD、 CD、 闪存、USB存储器赫其它存储媒介106上存储^^滅者其创莫拟。用户藏玩 家108操纵駒戈控伟螺110以控律舰 ^^#其创莫拟。
摄像tM^其它视频图像捕获驢112被定位以便控帝藤110处于摄像机的 丰鹏114内。如图所示，可以在柳MM示器104上方爐摄像机110，但愚左当働早 的是，可以在别处方燈该摄像机。對列来说，该摄像机112可以包括例如商4Lt 可用的EyeToy，产品的摄像丰"卜围设备。但题当働早的是，可以4顿倒可鄉 或者牌子的Mf象机，例如网络摄像机，附力卩USB摄像机，红外(HO肖g力衝象机， 高帧捕获率摄像机等。
在一些实施例中，摄像tM^其它图像捕获，112以及下面所描述的图像 捕获单元可以包括^摄像m^^采度摄像机。例如，这种Z-摄像丰M^深度衝象 机可以劍共棘测fi^H象素的深度，和/或确定像素和该摄像机的距离。同样，
在一些实施例中， 哳描述的樹可樹斜)1^#其它图像捕获錢可以包括招可 鄉的三维樹象机。
作期间，用户108物SLh移动控伟幡110本身。也就是说，用户108在 空中物iLtt回移动^h控伟幡110。例如，用户108可以在倒可方向±^移动控 伟ijfl110，例如向上，向下，向H则，向另"^f则，扭转，摆动，摇动，急拉，突降(plung)等。在如下所述的方式中，经由图像分析的足臨，樹象机112可以检测和 捕获控审勝110本身的这些运动。
通常，所检测和捕获的控带J^ 110的运动用来产顿于控帝勝110的l體和 方向娜。由于在图{ 帧基础上积聚该娜，所以iMi^可用Ti十算控制器110 的运动的许多物理特征，例如它髓任4邮幼口鹏和驗，它的慨斜，斜度， 偏航，摆动，以及控讳幡110的任一遥繊测点。
检测和卿宗控伟幡110的运动的能力使徵角定是否执行控带藤110的樹可预 定运动变得可能。也就是说，控伟懺110的某些运动模式赫姿势可以被预定并
朋作跑戈赫其创莫拟的输入命令。例如，可a維带慨no的向下突降姿势定 义为一^^令，a維带勝iio的扭转姿势定义为另一^^令，纟雜制篮110的摇
动姿势定义为另一^h^令，等。这样，棚户108物SU:移动控审微110本身的 方OTi傻制游戏的另一^入，其为用户提供了更加刺激和有趣的体验。以下 a繊鹏审勝110的运动怎样鹏寸为飾戈的输入命令的例子。
参考图1B，其图解说明了^M本发明的实施例构成的控制器110的更加详细
的视图。控制器iio包括主体m。主体iii是^(戈控伟螺iio的一部分，其是手
持的(赫如果它是可佩戴的駒戈控制器，则它是可佩戴的)。可以由用户操纵的
输入设备是这些，例如，控伟螺上的按钮^多车鹏纵杆。可以^i体ni上配
置一个或多个按钮。駐体可以包括用手可持的外壳。i鈔卜壳可以包括用手可握 的手柄。因而，^^作期间，当用户108物ah移动控制器110本身时，用户108
物ah移动控伟螺iio的主体m。溯户在空中，離在自由空间中移动主体 111。
当依照该微戈控制，制的^a程ffl幕JiM示时，主体lll可以具有面 向屏幕定位的向前部分。可以在主体lll上装SfiS少一^Mi入设备，用户可以操 纵i^入设备以登iS^自用户的输入。
可以姓体上隨以几何糊湖咧的一个或多个发光二极管(LED)。棘， 可以在主体lll上装配另一种类型的光子检测('TD")元件。通常当向前部分至 少面向屏幕被定向时，光子检测元件的位置可以处于由图像捕获^Si^己录的图 像内。在空间中主体lll的量4tg动时，在不同点的PD元件的jM是可以及时 量化的。
在这个实施例中，鄉幡110包括4个发光二极管(LED) 122， 124， 126，128。如图所示，这4个LED122， 124， 126， 128可以排歹伪基本正方形^^E 形的图案，并且位于控伟螺110的R1和L1按钮之间的職上。因而，在这个实 施例中，该几何^t包括基本正方形繊巨形的图案。由这4个LED122， 124， 126， 128所形成的正方形或群巨形图鄉匕被称为由这些LED所形成盼'包围
合" rm.。
应容易了解到，iM何开邻可以包掛午多不同的开揪。例如，WL何开^t可 以包括^f可线^^二维的图案。尽管iMLED的线^例，可替换地，LED可 以排列在矩形图案赫弓形图案中以当分析由图像捕^Mf斜/M获得的LED图 案的图像时，便于LED阵列的图像平面的确定。
当控审螺图解说明的实施例利用4个LED时，应容易了解到，其它实施例可 以禾U用大于4个LED^小于4个LED。例如，3个LED将工作，并且2个LED 也将工作以劍鄉跟對言息。甚至l个LED也可以衛翔iS信息。而且，LED可以 位于控伟幡110的不同部分上。
可以以多种方式在控制器110上方爐赫配置LED,包括串，行，三角形， 禾口/或其它这样的配置。可以^(OTl个LED或者可以^ffl多个LED。在多个LED 的情况下，在一种配置中，与LED相交所形成的平面关于该控制器的方位可以是 慨斜的。可以iM^行在图像平面中所接收至啲娜的转换以确定控制器方4姊 确定控伟幡的实P示方位。另外棘可替换地，LED可以是可移动的，可附连的和/ 或可分离的。例如，可以itAAi体lll上可分离的^^與虫的外^i:包括LED。
参考图1C，其图解说明了^M本发明的实施例构成的控带滕110的视图。控 帝藤110包括主体111和一串或者一列LED122， 124， 126和128。如图解说明 的，这4个LED122， 124， 126， 128可以排歹伪基本线状的图案，并且位于控制 器110的R1和L1按钮之间的桥赴。因而，在这个实施例中，i飢何糊犬包括 基本线状的图案。魏一步，在一些实施例中，M红外线LED可以实现一个或 多个LED。例如，会I^卜线LED可以与可见LED1S^。例如，该可见LED可以显 ^J腐ID。在一些实驗式中，可以将LED安装在表面，乡I^卜线LED3131小窗 口窥视，从而允i午可见LED和歸线LED的传输。
参考图1D，其图解说明了傲照本发明的实施例构成的控伟幡110的视图。控 制器110包括主体lll和通信接口禾口/^^口132。在一些实施例中，该接口允许 该控制藤与足跟宗體种離制台102直接耦合。i颏跟 驢ilil光的，^i^、的和减惯性可以至少部分地允许对控制器110运动的检测。接口 132基本上可以是任 何有关的通信接口，例如通用串行总线(USB)接口， TO异步^器(UART)，
禾口/或其它这样的有幾口。可以在控制器no上的基本上招可^a中方燈接口
132。如图解说明的，接口132可以位于控制器110的R1和L1按钮之间的桥连上。
参考图1E，其描述了^^本发明的一些实施例构成的控制膦110的透视图。 该控铜Jtl包括主体lll， R1和L1按钮， 一个或多个LED122， 124， 126和128， 接口132 (例如USB接口)，以及其它有关的按钮，^t^器等。在线状图案中示 出了LED122， 124， 126和128，然而，如同以上和魏一步以下所描述的，可以 4顿其它图案。另夕卜在一些实船式中，LED禾P/或接口132可以是可移动的，可 附连的和/或可分离的。
这4个LED122， 124， 126， 128产生了fflifflf象机112 (图1A)察觉到的 4个点蹄圆点。因为摄像机112察看在繊手中具有控伟螺110的| 108，所 以摄像机112育詢多M^歐宗由4个LED122， 124， 126， 128所产生的点以及它们 形成的包围^^f产生的点的运动鄉鹏控伟螺110的运动。
也就是，当用户108扭转和旋转控伟螺主体110时，将这4个圆点的麟投 在摄像机112的输出的图像平面上。图像分析用鄉郎宗控审徵的用户操纵，以及 确定控制^f體和方位。因而,这4个LED122， 124， 126， 128产生关于主体运 动的信息。可以确定一个或者两个控葡蹯的4體，或者可以躪宗两个控制器的相 对运云力。
图2A图解说明了包围戧卩何用郷跟宇、控制器运动的例子。特别地，该控制 器以及这样的4个LED122， 124， 126， 128 !颇爐在^f象机112的卑鹏114内。 当控铜 !:于第一隨时，这4个LED122， 124， 126， 128形成包围盒202。当 该控制器移至瞎二4體时，这4个LED122， 124， 126， 128形麟二包围盒204。 另外，当雜伟螺AAm—體移动至U第二健时，基于运动避和衝象机112的 帧速率也可捕,围盒的中间^g。
在摄像机112的图像平面中捕获由这4个LED122， 124， 126， 128形成的 包围盒202和204。图2B图解说明了表示包围盒202和204的樹象机112的图像 平面220的例子。执fi^理分析以导出和确定包围盒的运动，以及基于控带勝的 倾斜，偏航，导出和确定包围盒的矩形如何变形为不同的，。通过在图像平面上Sf》包围盒，可以确定控制徵的寸體，方位，力口驗，鹏等，其可以依次 用鄉跟宗滅控帝螺的用户操纵。
参考图3A，其图解说明了依照本发明实施例的用于从控制器获得信息的方 法300。 ffi31许多不同鄉的系统和驢，例如，娱乐系统和控制台，计穀几， 消费电，置等，来处理和执行方法300。以下^l射苗述可以用来执行方法300的 系统的例子。
方法300开始于步骤302，在步骤302中，在衝象机的图像平面上接收在该控 库U器上粒的几何微的S^。可以如同以上己经描述的夷孵^lfi^个步骤。
在步骤304中，分析几何微的S^中的运动和娜。也就是，卿斜口分析 包围盒的4个圆点。在樹象机输出的图像平面上执fi^和帧分析来分标玄4个参 考点的操纵以确定控律1藤的{體方位，慨斜，f翩九，摆动等。另外，可以在招可 方向JJ跟宗控制器的加鹏。图像帧的分析可以给出^^樹可轴的加鹏。还可 以计算控带藤的遥繊测点。同样可以确定控带勝是否处于静止^§^##止状 态，例如，当控制Sh于用户腰P(班的中性體稳定拔态时。
随着控制 动，图像在平面中转化。包围盒的矩形宽度中的改变^^控 律職正在摆动。随着调鹏制器的偏航，矩形的宽度改变了。偏航鹏到矩形的 宽度。控制器的慨斜影响矩形的高度。
例如，包围盒202 (图2B)指示在最初以相当直的朝向摄像机前的^g^爐 控审螺。包围盒204指示然后i雜制器向下移动，摆动和向用户左彻M^力。
难以知道的是在"地平面'的哪H则J^爐该控律幡，因为图像平面只看到变 形的矩形。例如，如果有人在前面走，和棚户操纵该控律螺期间遮蔽该摄像机， 以及在轴地平线的另—则上以相等的距离移动该控伟ijfl，则这个问题可能发生。 这可以^^包围盒在图{象平面中 ^^相同。如果该控伟1,图像捕获，4 区域以外移动，贝ij这同样可以出现。
同样，需要做出正或者负的慨斜蹄摆动(涉及远离稳定状态起始健的上 Af和^/右的正反)是否^5^的确定。通31A人该控伟幡读取其它遥，测，或 ^iffil频闪观测^调整LED以启动视频分析器系乡tt辨另,于S跟宗目的的包 围飾形的制虫的角，可以解决这个问题。可以频闪观测^i周整LED以作为辨 另抱围盒的不同角的辅助设备。或者，針LED可以有它自己的频率以作为辨别 包围盒的不同角的辅助设备。MiR^包围区域的^i^寺定角，即^LED，可以在任一点及时确定该控带J^f立于7jC平线的哪H这样，可以处理与经M^f象 机平面的控伟螺相关联的问题。
基于逐帧分析鄉服宗屏幕上的包围盒的运动和旋转。樹象机的输出仓犍图像 的帧。1顿软件 [駒围盒的 ^。 5fM帧的控伟l藤的运动是基于盒的转 换。
高帧速率的禾,掛共了精确足跟勃口iM以及在i娥制器运动的力口皿方面
发生改变的能力。也就是说，舰以高速軸平面上麟图像，可以足鹏控制器
的5运动。这个掛共了丰祐会加避，力口3MS顺点处的点，重力超U零点处的 点，以及弯曲的点的能力。该弯曲的点是控制器停止和改妙向处的转换点。通 过分析图像的帧以及确定该包围盒的^§和 1行所有的分析。 據说， 可以使用120帧/秒或者更高的帧速率，fffl容易了解到，可以^(OT倒可帧速率。
如同以下a細述的，可以鹏寸战帧的历史记录。这允i權制翻艘考虑的 之前的遥lii3测用于确定某些参数，例如，鄉贩効口 ， ，和停止点中。
在步骤306中(图3A)，基于在几何皿的，中的运动和 的分析来确 定控审藤的4體信息。剩列来说，图像分析器可以用来执4涉骤304和306之一 或两者。也就是，图像分析器可以用^l行樹象机的图像平面中的包围盒的运动 和变形的分析。视频摄像机的输出可以与图像分析器的输入相耦合。以下^鄉述 并入了用于实;鹏^^f描述的一个或多个方法，方案和功能的图像分析器的系统 的例子。
图像分析器鹏由参考LED形成的、摄像机的图像平面中所捕获的包围盒。 图像分析器分析包围盒的j體，旋转，7jC平和垂l^以确定控伟i滕的物棚户 操纵，它的位置，摆动，慨斜和偏IM标。在图像分析的最后，可以以输出ID等 的形式输出M。来自图像分析的这种输出ID可以包職如x， y， z坐标，髓
樹可轴的加鹏和鹏，该控审mh于静止健蹄状态等的娜。因而，在图
像分析的最后，该图像分析器可以指示控帝鹏哪以及是否发出命令。并且，该
图像分析^^倒 间者阿以发出砰声，并且它可以Jl^iig，方位，最后的命令等。
剩列来说，该图像分析器可以掛共，但不局限于掛共以下输出 控带J^g (X， Y， Z坐标)； 控铜J^方向a， (3， y控鹏X轴鹏
控制器Y轴鹏
控制器Z轴鹏
控制器X轴加鹏
控制器Y轴加鹏；
控制器Z轴加鹏
稳定状态的静止隨Y/N (如iff述的御要部，但可规定为樹可隨)；
自最后稳定状态以来的时间；
鄉啲最后姿势；
识别的最后姿势的时间；以及
中Wii^雾加iE^点。
fflil分析如J^f述的包围盒的运动和变形可以产生这，出的每一个。为了 足跟對亥控制器的运动，可以进一步鹏这纖出。这种足跟絵允许将被i賜啲控 制器的某些运动，如下所述，然后其可以用来触发某^^令。应容易了解到，除 战列出的输出之外棘^Lt^列出的输出的替换中，可以i顿许多其它的输出。
可以可淑 供到该图像分析器的附加输入。这种可选的输入可以包括，但 不局限于以下
设置噪声ZK平(X， Y赫Z轴)(当分析飽戈中手的抖动时，这是参考公差); 设置取样率(每隔多久读取和分析摄像机的帧)；
设置传动^a以及
设置鹏链。
如J^f述，检测和足跟宗控律幡110的运动的能力使f躺定是否执行控制藤110 的任意予腕运动变得可能。也就是说，可以纟維带擺IIO的某些运动模式赫姿 势自为微3^#其创莫拟的输入命令。
参考图3B，其图解说明了依照本发明实施例的用于向系统掛共输入的方法 320。方法320开始于步骤322，在其中确定系乡鹏伟幡的健信息。可以利用如 J^做的方法和技术娜豫个步骤。
在步骤324中，用于控帝徵的所确定的{體信息与跟命令相关联的预定健 信1进行比较。也就是说，可以将雜制器的许多不同的运动，姿势赫操纵映 射为不同的命令。其允许该控帝勝的不同的运动，姿势^操纵,至U淑划莫式中。例如，向上移动i娥制器可以,为一^^令，向下移动该控伟幡可以鹏 为另一^N^令，以及以倒可其它方向移动该控制器可以鹏寸为其它命令。
對吸也，摇动该控伟幡一次可以鹏为一^N^令，摇动该控制器两次可以映
射为另一4^令，以及类做也，摇动该控帝ij^3次，4次，5次等可以舰为其它 命令。也就是说，基于摇动i雜制器的某些次数可以确定不同的姿势。然而，基 于有力ilLt下摇动雜帝i麟些次数可以确定其它姿势。该控制器的其它运动， 诸如扭转，摆动等可以鹏为其它命令。
因而，将谤傲戈控伟i膘的各种不同的车爐鹏顿傻势中，该姿麯i^^戈中 的命令。 ^令鹏到该控制器的预定运动。雜伟螺的这种预定运动将具有 相关联的预定健信息。在这个实施例中，用于控制器的确定的隨信息与予腕 隨信細亍比较以歸是否应劍跋命令。
剩列来说，可以如下实现姿势与^^戈命令的这种,。该图像分析器的输出 可以用来确定控制器的^S和方位信息。该图像分析器可以输出各种不同的ID， 其^^控带藤的4體和方位。例如，可以输出一个ID用于稳定状态确定，可以 输出另一个ID以^i亥控制器的摇动，以及可以输出各种其它ID以标其幼 位。因而，这种ID的4顿可以用来输出该控伟螺是否处于稳定状态或者是否正在 移动。如果该控带M:于稳定状态，那么ID可以^i亥控葡攞已经处于稳定状态 多长时间。
然后，用于该控制器的确定的〗M和方位信息可以与跟^^戈的输入命令相关 联的予I^體信肩进行比较。如果i繊定的j體信息与命令的预定4體信息相匹 配，那么向该娱乐系统掛共该命令。jtWh诸如向上赫向下推动控伟幡，呈圆 形、向右駄扭转，当向上或者向下拉附丑转，向右躯摆动等各种姿辦阿以 ，,为不同命令。
当识别新的命令赫姿势时，该图像分析器可以角拨中断。这样中断的角拨 可以用作向该娱乐系统撒共命令的处理的一部分。可选地，可以配置该系统以便 在轴中的零加M点，停止点，禾口MK它事件还角贩中断。
在该确定的4體和方位信息与跟输入命令相关联的预定i體信肩进行比较 以 是否相匹配中，经常是这种情况没有精确的匹配。这是因为在自由空间 中随着该控制器的运动，难以精确i爐做予腕运动。因此，可以根据范围、公差、 禾口/或阈戯，艮输入命令相关联的予I^[體信息，这些范围、公差、禾口/或阈值被认为是足句 ^该预定位置信息以致肖,激活该命令。也就是说，可以根据阈值
棘范围定义命令。因而，在确定是否已经i賜j招可命令赫姿势中，该系统可
能检测以歸该确定的體和方位信息是否属于姿势的范围。因而，在确定是否 调用该命令中，该定义的命令可以具有将育嫩检査的阈值。
而且，在该确定的健和方位信息与跟输入命令相关联的预赵體信肩进行 比较以歸是否相匹配中，可以存储赫鹏先蒯贞的历史记录。例如，可以监
控帧缓冲器赫系统可以另夕hf呆^t行先ltpi)贞历史的记录。检查先i^贞以确定是 否满足樹可命令。帧历史记录的嗍寸允许在特定时间确定控律徵的遥繊测顿 供在确定是否满足命令中的^a方位。
最后，在步骤326中，如果用于控铜勝的确定的{體信息与用于命令的预定
隨信息相匹配，贝晌该系统掛共该命令。这种命令可以用来引发事件出JJKt 不出现在M^^^戈^其^S^莫拟中。
在其它实施例中，跑戈控制器的运动可以舰为^^命令，例如在柳M^戈 中。用这种用于柳 ^戈赫其创莫拟的方法，接收由用户正鹏纵的控审勝的 ^s信息。分析该^s信息以确定是否已经执行与命令相关联的控带藤的予腕运 动。可以如上戶;M执^H亥分析。如果已经执行了跟命令相关联的该控制藤的予旋
运动，接着M3ii^戈执衍亥命令。该命令的执行可能弓胞出5赃正^M示t^戈的
视步赐示器上的视觉舰等。
尽管&fcl:的描述涉及淑戈^其它娱乐系统的控审勝上的LED的iOT ，应容 易了解到， ^掛共的技术可以应用于检测和足服宗其它鄉的系统，驢，消 费电子设备等的控制器的运动。也就是说，如J^f述的该^^戈控审滕的LED可用 于执行消费电子设计^t樹可驢的遥控功能。LED可以用在许多其它,的系 统和驢的控制藤上，为了检测和S服對亥控带勝，以便这样的运动可以鹏为那 些系统和^g的命令。这样的其它类型的系统和装置的例子可以包括，而不局限 于，电视，立体声系统，电话，计穀几，^^者办公室网络，手t射十算^l信 驢等。
而且，fet^f描述的技术可以应用于具有控制几个^许多不同，的TO 遥控驢。也就是说，这种通用遥控驢可以包括&tk描述的LED，以便i^t用 遥控装置主体的运动可以用作几个I许多不同M^系统的输入命令。
此外，^^戈控带藤可以具有通用遥控功能。例如，当顿幕擅示依照 控带鹏制的、御戈的进行时，其可以包括具有面向屏幕定位的向前部分的主体。
可以姓体上装,少一^tfA^a，由用户可以操纵输A^S以登i諫自用户 的输入。可以包括信号编码器。可以包括红外线信号，器，其可操作i餅,通 过该信号编码器产生的信号用M电传输会I^卜线信号。该信号编码器可以是可编 程的，以用所选择的多个信令代码之一编码该信号，用于M31具有用所选择的一 个信令代码操作的纟I^卜线接收器和信号解码器的电^g的接收。
此外，可以形成具有LED的电、 作的玩具(包括塑造成品牌 的皿和 鄉的玩具)，并且在感知环境中形鄉跟宗用户操纵的主体。
在一些实施例中，该图像分析器可以i賜俩户^l程音频鉴别的姿辨。
在该系统中3iii姿势由分析器可以i賜,户，并m于用户，姿势可以尉寺定的。
可以由用户记录姿势并且在l题中存储。可淑也，记M:程可以存储在姿辦己录 期间产生的音频。可以将感知环境取样至眵信道分析器中并加以鹏。该处理器 可以参考姿势^^以基于声音#声波图确定和鉴别用户身份#，，并且能 达到非常高的精确性和性能。
依照本发明的实施例， 讽描述的方法和技术可以作为如图4所示的信号 处理设备400的一部^^执行。该设备400可以包括M器401和存储器402 (例 如，RAM， DRAM， ROM等)。另夕卜，如果^^行^4亍鹏，贝U信号鹏设备 400可以具有多个M器401 。存储器402可以包括如±^述配置的 和代码。 信号处理设备400包括基于，器的系统的一个例子。
特别地，存储器402可以包括信号 406。存储器402还可以包含校准数 据408，例如对于从麦，阵列422的校准所获得的一个或多个相应的预校准听 音区^^一个或多个相反特征矩阵C^的f^。對列来说，存储器402可以包含环 《據克风阵列422的18个20 ,形的特征矩阵。
设备400还可以包括公知的支持功能410，例如输Aylf出(I/O)元件411， 电源供给(P/S) 412，时钟(CLK) 413和高il^冲存储器414。可j^t也，该设备 400包蹄如M驱动器、CD-ROM驱动器、磁带驱动器等大容量剤i^g415 以存储禾辨和/ 。例如，这种剤il^g或者存储介质可以存储一个或多个由 该设备^其它基于处理器的系统可执行的计算棚聘，用于弓l起该系统执行在 此描述的方法和/^^:的一个或多^骤。可淑也，，伟i勝还可以包括显示单 元416和用户接口单元418以便于控帝螺400禾口用户之间的^S。显示单元416可以，示文字、数字、图^f守号^图像的阴t謝线管(CRT) ^t平禾赚幕 的形式。用户接口418可以包JSm、鼢示、操纵杆、光笔離其它體。另外， 用户接口 418可以包括麦，、视频樹斜滅者其它信号换育缀置以樹共将被分 析的信号的直,获。如图4所示，处理器401、存储器402以及系统400的其 它部件可以经由系统总线420彼此交换信号(例如，代码指令和数据)。
麦克风阵列422可以舰I/0功能411耦合到该设备400。该麦克风阵列可 以包括大约2-8僧克风，雌大约4賴克风，相邻的麦飘分隔大约小于4 厘米的距离，iM的在大约l厘將吠约2厘粒间。imt也，在阵列422中的 麦克风是全方向麦克风。可选的图像捕获单元423 (例如，数^M像机)可以经 由IZO功能411耦合到设备400。与该摄像机禾鹏禹合的一个或多个指示致动器 (pointing actuator) 425可以经由I/O功能411与处理器401交换信号。
如J^/f述，在一些实施例中，可选的图像捕获单元423，以及 ^描述的
樹可摄像机，可以包括會,检测光，元件的樹可，的摄像m^t传自。例
如，在一些实施例中，可选的图像捕获单元423可以包括Z"摄像m^深度樹象
禾滅者某一其它鄉的三维^f象机。例如，这种z-衞斜;i^深度樹象机可以提
供^测l^ti象素的深度，禾口/或确定像素与摄像机的距离。
如同掛颇用的，术语l/0通常涉及招可禾聘，操作或體，这些禾聘，操 作^S从系统400和外围^g或者向系统400和外围装置传 据。每个
传送可以被认为魏自一^g的输出以及到另一4^a的输入。夕隅驢包括
只输A^g，例如m和鼠标，只输出驢，例如打印机以及可以担当输A^口输 出设备两者的诸如可写CD-ROM的體。术语"外围體"包括外部设备，例如鼠 标，體，打印机，监视器，麦克风，^^戈控制勝，摄像机，外部Zip驱动器或 者扫描仪，以及内部體，例如CD-ROM驱动器，CD-R驱动器或者内部调制解 调器，或者其它外围设备，例如闪速存储器读取激写入器，《，驱动器。
在本发明的某些实施例中，该设备400可以是视频m单元，其可以包^t5 由1/0功能411或#^由有线(例如，USB电缆)或^i圣由職率給到鹏器的 操纵杆控审藤430。操纵杆控审蟠430可以具有模拟操纵杆控串幡431禾口传统按 钮433，其掛共通常在视步 ^^行期间使用的控制言号。这种年见W^戈可被实 现为处理器可读 和/或指令，所述娜禾喊旨令存储在存储器402中赫存储 在其它处理器可读媒介中，例如与大容量存^^S415相关联的介质。通常可以隨操纵杆控制徵431，以便向左赫向右移娜纵杆用信号通知 、髓X轴运动，以及向前(向上)赫向后(向下)移动它用信号通知髓Y轴 运动。在为三^t动配置的操纵杆中，向左(逆时针方向)赫向右(顺时针方 向)扭转棒可以用信号通知髓Z轴运动。这3^由-XY和Z经常分别被称为摆 动，臓斗，和偏航，尤微扁亍器。
除传统特tEt外，操纵杆控制器430可以包括一个或多个惯性传感器432， 惯性传繊432可以经由惯性信号向处理器401掛^S和/^"位信息。方位信 息可以包括角信息，例如操纵杆控制器430的慨斜，摆动竊偏航。剩列来说， 惯性传 432可以包括加速计，回转仪^#慨謝专 的任一 和/#结合。 在iffi实施例中，惯性传麟432包括适舒繊蟝纵杆控律螺关于慨斜和摆动
轴的方位的慨剣专自，适^^ii^S^偏航轴的加ilS的第一加速计，以及适
^^iH咲于该偏航轴的角力口iM的第二加速计。例如，加速计可被实现为MEMS ， MEMS ，包括由一个或多个弹簧安装的质影央(mass),具有用于繊J 质影央相对于一个或多个方向位移的传 。来自取决于质影刺立移的传 的 信号可以用来确定操纵杆控制器430的加鹏。可以由禾im戈码指令404来实现 这种技术，禾Mi^[戈码指令404存储在存储器402中并且由处理器401执行。
剩列来说，适于惯性传繊432柳瞇计可以是简单的质影央，在3赫4 个点上例如 #簧有弹性地耦合至雌架上。慨斜和摆动轴位于与框架相交的平 面中，该框架安装顿纵杆控伟螺430上。由于该框架(以鹏纵杆控伟i勝430) 关于慨斜和摆动轴旋转，所以M影央4S力的影响下转移，并且在取决于f恥斜 禾口/或摆动的角度的禾MRi:该弹簧将拉^t压縮。可以liiUi繊影央的位移，并 将，换为取决于慨斜和/或摆动量的信号。关于偏航轴的角力口皿^i^偏航 轴的线性加M还可以产生该弹簧的压縮和/或拉长棘i繊影央运动的特征图， 其可以被鑭U，并将離换为取决于角蹄线性加^tfi的信号。这样的加速计
^s可以M3^跟宗质影央的运动^该弹簧的ra和膨胀力来测量关于偏i辩由的
慨斜，摆动角力口聽，以及髓偏航轴的线性加鹏。具有许多不同的方娜艮 踪质影央的J體和/^^加于它上面的力，包括 ^变仪材料、光子传麟、磁
性传ii^、霍尔^te^S、压电，、电割专iifl等。
另外，操纵杆控伟螺430可以包括一个或多^t源434，例如发光二极管 (LED)。光源434可以用来辨别控制器。例如， 一个或多个LED可以舰闪5贼者保持LED图案代石^^完成凝照ij。剩列来说，可以 纵杆控制器430上以线 状^二维图案提供5个LED。尽管优选的是LED的线状阵列，可替换地，LED 可以排列为矩形图案或者弓形图案以当分fifM51图像捕获单元423获得的LED图 案的图像时，便于LED阵列的图像平面的确定。而且，LED图案代码也可以用来 在^^S行期间确定操纵杆控伟幡430的定位。例如，LED可以帮助i照啦伟螺 的慨斜，偏航和摆动。这个检测图案可以在^^戈中帮助掛M^子的用户感觉，例 如航行器飞fi^^戈等。图像捕获单元423可以捕^a含操纵杆控制器430和光源 434的图像。对这些图像的分析可以确定操纵杆控制器的健和/^"位。可以由 禾Mmf^码指令404来实i^种分析，禾im戈码指令404存储在存储器402中并且 由处理器401执行。为了便于舰图像捕获单元423对光源434的图像的捕获， 可以将光源434方爐 纵杆控制器430的两个或多个不同的侧，例如，在前面 和后面(如虚线所示的)。这种方 允许图像捕获单元423取决于用户如何手手 纵杆控制器430来获得操纵杆控制器430的不同方位的光源434的图像。
另外，光源434可以向处理器401掛共遥繊观赔号，例如，以脉冲代码， 调幅或#1周频格式。这样的遥 测信号可以^^正在按压哪个操纵杆按钮和/或 正，多大的力按压这样的按钮。可以将遥 观,号编码到光信号中，例如通 过脉冲编码，脉冲宽度调制，调频赫光3破(振幅)调制。处理器401可以从 光信号中解码i纖iia测信号，并且响应于劍莉马的遥 测言号执^^戈命令。 可以从图像捕获单元423获得的操纵杆控讳i藤430的图像的分析中解码遥 测 信号。可替换地，该设备401可以包,用于从光源434接Mliij观M言号的单 独的光学传麟。例如，在Richard L. Marks等共同拥有的题为"USE OF COMPUTER MAGE AND AUDIO PROCESSING IN DETERMINING AN INTENSITY AMOUNT WHEN MIERFACING WITH A COMPUTER PROGRAM
(当与计穀;u辨对接时，在确定^M中计嶽几斷斜喑频处理的4顿)"(代
理人档案No. SONYP052)的美国专利申请号11/429,414描述了顿^i十^^呈 序时LED的j顿连同确定^Si， ^Itb全文弓l入以供参考。另外，包含光源434 的图像分析可以用^M繊测和确定操纵杆控审攞430的健称^"位这两者。 可以由禾im邻马指令404来实Jj^种技术，禾il^[戈码指令404可以存储在存储器 402中并且由处理器401执行。423检测的光源434的光信号柳或来自麦克风阵列422检测的音顿言号的声源位 置和特性信息，以推断关于操纵杆控伟螺430禾口/或它的用户的4體和/^"位的信 息。例如，当3teJ^跟宗操纵杆控审螺的运动时(经由惯性传繊432种^f;源 434)，可以连同麦克风阵列422 —起{顿"声雷达"声源隨和特〖 跟斜多动的 声音。可以连同本发明的实施例一起使用向处理器401 ^f娥帝Ji言号的许多不同 模式的不同结合。可以由程m戈码指令404来实l^种技术，程m邻马指令404 可以存储在存储器402中并且由，器401执行。
来自惯性传感器432的信号可以提微服對言息输入的一部分，并且来自图像 捕获单元423由于足贩宇、一个或多个光源434而产生的信号可以掛共卿斜言息输入 的另一部分。举例来说，并且没有局限性，这样盼'混合模式"信号可以用于足球 鄉视频l^戈中，其中在^M叚装向左运动之后，四分卫向右鄉赇。特别地，持 有控制器430的^(划，可以向左转他的头并且发出声音，并且向右做出摆动控 制器的运动以S維制器当舰球一样。麦克风阵列420连同"声雷达"禾Mm戈码一 起可以卿宗用户的声音。图像捕获单元423可以卿宗用户的头部运动赫足跟宇、不 需要声音或者控制器的《柳的其它命令。传 432可以蹰宗操纵杆控库幡的运 动(^^足球)。图像捕获单元423还可以虽跟宗控审滕430上的光源434。当超U 操纵杆控制器430力口繊的某一 和/駄向时，離当fflil按腿纵杆控审滕 430上的按働跋按键命令时，用户可以释砍'球"。
在本发明的某些实施例中，例如来自加速计赫回转仪的惯性信号可以用来 确定操纵杆控审膦430的^§。特别地，可以关于时间结^~7姊卽卩速计的加 il^信号以确，度的变化，并且可以关于时间结，芰以确定位置的变化。如
果矢爐了某一时亥啲起始健和鹏的值，那么接着可以禾,这Mt和m^位
置的变tt^确定^^體。尽餅鹏惯性传繊的健确定可以比禾佣图像捕获 单元423和光源434的进行的更决，但是惯性传感器432可兽^MfU—种被称为 "漂移"的體，其中，随着时间而积聚的體可以导致在由惯性信号(如虚线所 示)计算的操纵杆430的健和操纵杆控制器430的实际健之间的體D。本
发明的实施例考虑了处理这些體的许多方式。
例如，ffl3^鞭纵杆控带勝430的初始健重新i體为与当前计算的^f體相 ^^手动消除该漂移。用户可以<顿操纵杆控伟幡430上的一个或多个按ffl^虫 发命令以重新设置该初始位置。可替换地，作为参考，可以3131将当前 重新设置到由从图像捕获单元423获得的图像而确定的^g来实^!^于图像的漂移。 例如，当用户角鹏纵杆控制器430上的一个或多个按钮时，可以手动实现这种 基于图像的漂移州尝。可替换地，例如，以规贝啲时间间隔棘响应于^^iS行， 可以自动地执行基于图像的漂移韦M尝。可以由禾im邻驶旨令404来实l^种技术， 禾Mmf戈码指令404可以存储在存储器402中并且由处理器401执行。
在某些实施例中，希望在惯性传^l信号中州尝伪娜。例如，可以ffl^样 来自惯性传SI432的信号，并且可以由ffl^样的信劲十算,平均以从惯性传 S^信号中除對为M。在一些瞎形中，希望ffl^样劍言号和拒纟棘自一^W
点，的高和/或低的值以^Mf除M点计算m^平均。而且，其它 采样和
操纵技术可以用来调 自惯性传繊的信号以除去^# >伪 的重要性。 该技术的选择可以取决于信号的性质，信号^1 #1行的计算，游^t行的性质， ^S们两个或多个的一些结合。可以由禾gm戈码指令404来实现这种技术，程 ;W邻马指令404可以存储在存储器402中并且由处理器401执行。
处理器401可以响应于数据406和由存储器402存储以及检索的且由处理器 模块401执行的禾聘404的禾Sm戈码指^^l行关于信号繊406的数對言号处 理。程序404的代码部分可以遵照诸如Assembly、 C卄、JAVA^i午多其它语言 的许多不同编程语言的^fif可一个。处理^ii央401构成当执ffit如禾im邻马404 的禾聘时M^寺定目的计^t几的通用计^t几。尽管 鹏禾^)^戈码404描述为在 软件中执行和^1用计穀肚执行，但是本领,术人员育,认识到，可替换地， 可以禾,诸如专用集成电路(ASIC) ^其它i更件电路的l^牛来实现该任务管理 的方法。同样地，应了解到，在软件、硬件g两者的一些结合中可以，或者 部分地执4亍本发明的实施例。
在这些实施例的一个实施例中，禾im邻马404可以包括一组处理器可读指令， 该处理器可读指令实现 匕描述的倒可一个或多个方法和技7 #^样的方法和 技术的两个或多个的一些结合。例如，禾Mm戈码404可以被隨以实IJtetk描述
的图像分析器功能。^可替换地，可以在硬件中实iteit描述的图像分析器功 能。
在图解说明的实施例中，如J^f述的图像分析器功能被g为图像分析器
450。图像分析器450可以/AM象机接收它的输入，例如从图像捕获单元423蹄 从摄像机U2 (图1A)。因而，柳频摄像机112赫图像捕获单元423的输出可以与图像分析器450的输入相f給。可以将图像分析器450的输出掛共给设备400 的系统。这样，将歸是否己经识别命令赫姿势所需的命令本身或者信息樹共 给设备400。可以以许多不同的方式将图像分析器450与设备400的剩余部分相 孝給；同样地，图解说明的连接正是一W列子。作为另"HM列子，图像分析器450 可以与系统总线420相耦合，系统总线420将允许它从图像捕获单元423接收它 的输入 并且向设备400掛共它的输出。
可淑也，可以将图像分析器450包括在设备400 g娱乐系统或者控制台102 内，或者图像分析器450可以與虫位于这些體和系乡紋外。并1JJ^卜，应容易 了解到，在软件、硬件赫两者的一些结合中可以全部棘部分地实现图像分析 器450。在软件中实现图像分析器450的情况中，块450^^在软件中实现的图 像分析器功能。
禾Mm邻马404通常可以包括一个或多个指令，该指4^t个或多个处理器 在运行时间选# 跌校准的《1储区，并且滤出从予跌校准的H腊区之外的源产生 的声音。该予跌校准的B/ft区可以包^^样的B腊区，其相应于图像捕获单元423 的聚焦音量或鹏。
凝Mm戈码可以包括一个或多个指令，当执4豫指令时，弓跑设备400选择 包含音源的予跣校准的f^t扇区。这样的指令可以弓胞设备确定音源是否位于初 始扇区内^位于该最初扇区的特定侧。如果音源没有位于默iAa区内，当执行 指令时，指令可以在默iA^区的特定侧i^新同的扇区。该不同扇区具有舰 于最佳值的输入信号衰减的特性。当执4谅些指令时，这些指令可以计算来自麦 克风阵列422的输入信号的衰繊瞎撮佳值的衰减。当执^H亥指令时，该指令可 以弓胞设备400确定一个或多个扇区的输入信号衰减的值以"选择衰减^fi于最 佳值的扇区。
可;iMk，禾MJ^[戈码404可以包括一个或多个指令，该指^^t个或多个处 理器以从麦飘Mo…MM产生离散时间;^俞入信号^ (t)，确定n赠扇区，并且 使用半盲源分离中的明盲扇区以选择有限沖激响应滤波器系数以从输入信号^ (t)分离出不同的声源。禾聘404还可以包括指令以向除来自参考麦，Mo的输 入信号xo (t)以外的所选择的输入信号^ (t)应用一个或多，分Eifi。可以
选^h^分延迟^^封tt自麦克风阵列的离散时间^r出信号y (t)的^i
比。可以选择该部分延迟使得来自参考麦舰Mo的信号相对于来自阵列的其它麦克自时间上是第一个。程序404还可以包括指令以将部分时间延迟△弓l入麦克 风阵列的输出信号y (t)，使得y(t+A)=^(t+A)*bo+x(t-l+A)*b1+x(t-2+A)*b2+— + x(t-N+A)bN，其中A在零至lJil之间。
可选地，禾Mm戈码404可以包括含有一个或多个指令的M器可执行指令， 当执fiH亥指令时弓l起图像捕获单元423监控图像捕获单元423面前的 予，i湖J 该视野内的一个或多个光源434，检测从光源434发出的光的变化；以及响应于 检测到变化，角贩输入命令到M器401。例如，在RichardL.Maiks共同拥有的 题为"METHODANDAPPARATUS FOR LIGHT INPUT DEVICE (用于光输A^ 置的方法和设备)"的美国专利申i誇10/759,782描述了i顿LED连同图像捕获
^S—^fe角^:在M;控制器中的动作，其，内^jt匕引入以供参考。
可淑也，禾W^码404可以包括含有一个或多个指令的处理器可执行指令， 当执伤刻旨令时， <顿来自惯性传麟的信号和由于卿宗一个或多^6丽由图 像捕获单元产生的信号来作为至IJ激戈系统的输入，例如，如i^f述的。可淑也， 禾M^(邻马404可以包括含有一个或多个指令的处理器可执行指令，当执行指令时， 州尝惯性传麟432中的漂移。
另外，可淑也，禾Mm邻马404可以包括含有一个或多个指令的舰器可执行 指令，当执行指令时，调M^制，纵的传动，和,以得至iM^戈环境。这样 的特征允许用户^I鞭纵杆控制器430操纵的"传动驢"^^^R态。例如，操 纵杆控制器430的45 ^^l转可以与^^M^的45 j^定转相鹏。然而可以更改 这个l:l的传动驢比，以便该控制器的X戯定转(^t慨斜^t偏航體'操纵") 转^iW^的Y旋转(或者慨斜^#偏航#'操纵")。传动装置可以是l:l 的比率，l:2的比率，1:X的比率或者X:Y比率，其中，X和Y可以具有任意值。 另外，也可以〖逭着时间的过去棘立即修改输入信道到 ^控制的鹏。修改可 以包括改变姿势车A^冲難，修改姿势的4體、比例、阈值等。这种鹏可以是编 程的、随机的、成递升排列的、错列的等，以给用户掛共操纵的动态范围。可以 傲照^^S行、#^^态，经由位于操纵杆控帝幡430上的用户修改織钮(键
，)，aai禾gmt码404^t广忍也响应于输入信it^调整鹏寸、传动^g^
比率的修改。iMH入信道可以包括，但不局限于以下要素用户魏，由控审攞
产生的音频，由控制器产生的足跟宗tm控带鹏钮状态，视频摄像机输出，控
制器遥繊测娜，包括加速计娜，慨斜，偏航，摆动，健，力口M和来自會,足服宗)^^用户或者^^用户 的传 的倒可其它 。
些实施例中，随着时间的过去，禾1^{戈码404可以在取决于预定时间的 方式中将鹏寸^t传动^S从一个方案或者比率分别地改变为另一个方案。可以 榭专动體和鹏改变以多种方胡于淑戈环境。在一，仔，当柳频i^魏色 ^W的时候，可以在一个传动體方案之下控制视频淑姚色，并且当角色的
織恶化时，该系统可以调鹏串ij^^令，如itkia使細户力口剧控制藤的运动以
^!艘^^令^i亥角色。变得失去方向感的柳频傲魏色可以迫^^入信道鹏的 改变，例如，因为可以要求用户调纖入以在新鹏寸之下恢复i魏色的控制。修 改输入信道到t^戈命令的转换的,方M飽3^行期间同样可以发生改变。该
转换可以响应于駒i^态或者响应于在i^lr入信道的一个或多个元素下发布的修
改 令以多种方式出现。也可以配置传动驢和鹏隨以影响織入信道一
个或多个元素的隨禾n/^hS。
另外，可以a射汤声器436安装顿纵杆控伟i藤430上。在'声雷达"实施例中， 其中禾imf邻马404定位和表征用麦克风阵列422检测的声音，扬声器436可以提 供由麦克风阵列422检测的和由禾im戈码4(M顿的音劍言号，以卿宗操纵杆控 伟螺430的健。扬声器436还可以用来将来自操纵杆控审滕430的附加"输入信 度1tf共给处理器401。来自扬声器436的音劍言号可以是周斯性脉冲的来掛共用 于声雷达的信标以卿宗健。该音劍言号(脉冲的赫别的方式)可以是听得见 的或者超声波的。该声雷达可以足跟宗操纵杆控审勝430的用户操纵，并且其中这 样的操纟朋跟宗可以包括关于操纵杆控律螺430的隨和方位的信息(例如，慨斜， 摆动或者偏航角)。可以在适当的工作循环时角^E冲，謝 领^1^人员育, 应用的一样。可以基于由系统驗的控制言号^E冲。设备400 (经由禾Mm戈 码404)可以调整f眙到鹏器401的两个或多个操纵杆控帝藤430之中的控制 信号的分派，以保证肖,卿宗多个控制器。
剩列来说，可以在并行处理系^h实现本发明的实施例。典型地，这样的并 行，系统包括配置为^^與虫的 器来并行执行部分禾旨的两个或多个处理 器元件。鄉睐说，并且没有局限性的，图5图解说明了^M本发明的实施例的 单元处理器500类型。单元处理器500可以用作图4的，器401 。在图5描述 的例子中，单元鹏器500包括主存储器502，功率鹏器元件(PPE) 504，以 及许多协同处理器元件(SPE) 506。在图5描述的例子中，单元鹏器500包括1个PPE504和8个SPE506。在这种配置中，7个SPE506可以用于并行处理并 且1个SPE 506可以被保留用作为假如其它7个中的1个古邻章时的备份。可替换 地，单元鹏器可以包括多组PPE (PPE组)和多组SPE (SPE组)。在这种情况 下，可以在组内单^t间共享硬件资源。然而，SPE和PPE必须看刺象是软州乍 为3te的元件。同样地，本发明的实施例不局限于使用图5所示的IfiS。
典型地，主存储器502包^1用和非易失性存储器两者，以湖于诸如系统 隨， 传输同步，鹏寸存储器IZO，和I/O子系统的功能的专用硬件寄存器或 者阵列。在本发明的实施例中，信号处理禾聘503可以驻留姓存储器502中。 信号处理禾將503可以运行在PPE上。可以将禾聘503分割到在SPE禾口/或PPE
上执行的多^M言号M任务中。
執列来说，PPE 504可以是具有相关联的高速缓冲存储器Ll和L2的64位的 PowerPC 1器单元(PPU)。 PPE 504是通用处理单元，其可以访问系统管理资 源(例如，诸如存储謝尉户表格)。可以糊更件资源明确地映射到由PPE察看的 实地址空间。因此，该PPE可以M:利用适当的有效iMHl^直接寻址这些资源 的ftf可一种。PPE504的主要功能是在单元处理器500中的SPE506的任务的管理 和分配。
尽管图5中仅示出了1个PPE，诸如单元宽带引擎架构(CBEA)的一些单 元M器实现方式，单元处理器500可以具有纟賊PPE组的多个PPE，其中可以 大于l。这些PPE组可以共享对主存储器502的访问。而且，单元M器500可 以包括两组或多组SPE。该SPE组同样可以共享对主存储器502的访问。这样的
seg处于本发明的范围之内。
旨SPE506包括助伺，器单元(SPU)和它自己的局部存储器区域LS。
局鹏储器LS可以包括剤ii^a的一个或多个斜虫区域，其中每一个与特定SPU
相关联。旨SPU可以被配置为仅仅执行来自它自己关联的局部存储器域内的指 令(包括 装1^ 存储操作)。在这种配置中，可以fflii;人存储:tl^i控制 器(MFC)发布直接存储 取(DMA)命令以将 传输到(该斜虫的SPE 的)局^#储器:1|^#从(该斜虫的SPE的)局鹏储器域传^ 1行在局 ^1#储器LS和系统500中其它地方之间的 传输。该SPU是比PPE 504 MIH十算的单元，因为它们不执行倒可系统管理功能。该SPU通常具有单指令， 多个数据(SMD)性能，并且典型地，为了执4论们分配的任务，处理 并且魏招可所需的繊传输(易受由PPE设置的存取itM)。该SPU的目的是实现 需要更高计算单元密度和育^I多有效iOT提供的指令集的应用。由PPE 504管理的 系统中相当多的SPE考虑至赃很宽应用范围内有效j^的^i。
針SPE506可以包齢用存储器流量控审徵(MFC),该专用存储器涼遣 控帝鹏括,呆持和处理存储器傲户和存取许可信息的相关联的存储器管理单 元。该MFC掛共用于在该单元处理器的主存储器和SPE的局^^储器之间的数 据传输，保护，和同步的主要方法。MFC命令描淑^m行的传输。用于传 据的命令有时被认为是MFC直接存储M取(DMA)命令(^MFCDMA命 令)。
MFC可以同时支持多个DMA传输，并且可以维持和处理多个MFC命 令。旨MFCDMAf^传输命令请求可以涉及局^^储器地址(LSA)和有效 地址(EA)这两者。i鍋^^储器i:tt可以iXl:接寻址它相关联的SPE的局, 储器区域。i贿效地址可以具有M3I用的应用，例如，它能参考主存储器，包括 所有的SPE局^^储器区域，如果它们混淆到实i舰空间中的话。
为了便于在SPE 506之间禾P/g SPE506和PPE504之间的通信，SPE506 和PPE 504可以包括^f言令事件的信号通知寄存器。可以通过星状拓扑辦給 PPE 504和SPE506，其中PPE504担当路由器以向SPE 506传输消息。可替换地， 齡SPE 506和PPE 504可以具有被认为是邮箱的单向信号通知寄存器。可以由 SPE506来使用该邮箱以主,作系统(OS)同步。
单元M器500可以包括输A/输出(I/O)功能508，经由输A/1J出功能508， 单元处理器500可以与外围驢对接，所淑卜围驢例如是麦克风阵列512和可 选的图像捕获单元513。另外，元件互连总线510可以连接以上歹咄的各种部件。
SPE和PPE可以经由总线接口单元BIU访问总线510。单元处理器500还可 以包括典型i赃处理器中发现的两个控带勝，存储離口控审藤MC，其控带胜 总线510和主存储器502之间的娜的流动，以及总线接口控制器BIC，其控制 在I/O508和总线510之间的数据的流动。尽管用于MIC、 BIC、 BIU和总线510 的需求对于不同的实现方式可以广泛地改变，但是在本领域中的那些技术人员能 熟知用于执fi^们的功能和电路。
单元处理器500同样可以包括内部中断控带Jtl nc。该nc部件管鹏鹏合
PPE的中断的优先级。该IIC允许来自单元M器500的其它部{牛的中断将被处理而没有4顿主系统中断控制滕。该nc可以被认为是二级控制器。i姓系统中 断控伟幡可以鹏单元鹏默卜部弓胞的中断。
在本发明的实施例中，可以4顿PPE504禾口/或一个或多个SPE506来并行执 行例如部分舰的某些计算。可以将^t^分^ifi计算作为一个或多个賴虫的任 务^ii行，当它们变得可用时，不同的SPE506可以执fi^I们。
一些实施例撤共了g服宗體，其用于获得用于控制由处理^l行的^l辨 的信息以实测每由用户运行的^S式^M。 i刻跟宇，可以包括主体和至dl^个 PD元件。当顿幕J^M^^由^(戈设备的执行所掛共的^^戈的进行时，主体可以 魏一步包括朝向屏幕定位的部分。另外，可以与主体一起装隨少一个PD元 件。当该部分至少部分朝向屏幕时，可由图像捕获^fi来记录在图像内的PD元 件的<體。操作中，在不同点的PD元件的^g是可以及时量化的以量化在空间 中主体的运动。
进一步地，主体可以安装到t^爐制腊上。该臓控制器可以包括^^娥制 器主体和与该 ^控制器主体一起装配的至少一^hf俞A^g。斑俞A^g可以由 用户操纵，使得可以登记来自用户的输入。在一些实例中，该设备包括卿宗， 和駒戈控制器这两者。
在一些实施例中，该PD元件可以包括反向颇器。另外或者可替换地，该 PD元件可以具有相对于PD元件相邻的一部分主体的颜色具有高对比度的颜色。 进一步地，至^"个PD元件的每一个可以包括含有至少两个不同纹理的图案。 例如，该纹理可以在離、颜色、粗f凝MJt称鹏它这稱关的纹理方面不同。 在一些实施例中，该PD元ft^括光源，并且在一些实现方式中该光源可以包括 至少一个LED。
迸一步地，一些实施例包括2个、3个、4个鞭多个PD元件。在一个或多 个隨中可以定向这些多个PD元件。例如，在具有2个PD元件的实现方式中， 可以定向PD元件以定义线，并且在一些具有3个PD元件的实现方式中，可以在 三角形中定向该元件。在具有4个PD元件的其它实现方式中，可以排列赫放 置该元件以定义4条线。例如，这4条线可以定义矩形赫其它相关的配置。
该PD元件可以包括光源，并M31与由至少一^:源输出的光有关的特征， 可以将至少一个的光源和其它光源区别开。例如，M31频闪观测器频率、开关工 作循环、开关周期内的接通间隔的定时、光源输出的光i餘量、和/鹏它这样的有关区另诉n/或区别的结合的至少一个，可以将至少一^6源和其它光源区别开。 在一些实施例中，卿,宇^fi的主体可安装到用户的主体上。
依照一些实施例的卿宗驢进一步可以包KM信接口 ， i^I信接口可以弓得 与处理器、^^戈控帝職和/#理器和 ^控制器这两者的至少一个的数字通信。
i^I信接口基本上可以是倒可有关的接口，例如通用异步收发器('TJAKF)，通 用串行总线("USB")控审滕，禾口/或其它这样的有雜口种或接口的结合。典型 地，该接口是可操作的以执行接收用于控罅鹏驢操作的控制言号、用于传输 来自与另一^g通信的^跟宇^g的信号，禾P/^它这样的通信功能的至少一个。
一些实施例进一步包括处理器，iMbS器可操作柳亍繊娜據幕上 显示^^戈的进行，来实现将由用户^S运行的^^戈。Mil例如位于屏幕P(傲的图 像捕获驢可以记录一个或多个PD元件的健，并且该处理器可以隨为l柳 由该图像捕获驢输出的信息来检测图像内的PD元件的j體。另外赫可替换 地，该处理器是可操作的以检测用于根据该图衞甫获驢输出的信息控制^^划呈 序的执行的用户输入信息，以根据该图像捕获^fi输出的信息获得彰示在空间中
不同时间点的主体的力口皿的一系列取样，禾n/或以^ffl戶;M^列取1^角定主体的
繊，例如fflil在时间间隔上结合AA^縣列取样获得的加鹏值。
在一些实例中，该处理器可以M31首先在时间间隔上结合M^1系列取样获 得的加皿值，以及然后结合首先结合的结果来确定主tt空间中的位移。另外 M可替换地，该M器可以M5i确定与先前确定的^S有关的位移来确定主体 在空间中的^g。
在其中5跟宗體包括至少2个PD元件的一些实例中，j顿由该图像捕获装 置输出的信息，在空间的至少2个自由度中，该处理器可以获得，主体加
的一系列取样。当足跟宇、驢包括至少3个PD元件时，j顿由该图像捕获體输 出的信息，在空间的至少3个自由度中，该M器可以获得标主体加驗的一 系列取样。例如，这3个自由度可以包括髓3条正交轴x， y禾口z的运动，禾口/ 或倾斜，偏航和摆动。在一些实施例中，该M器可以量化在6个自由度中的运 动，例如，该6个自由度可以包括3个自由度和慨斜，偏航以及摆动。
进一步地， 一些实施例掛共了控制器。i雜审藤可以包括主体，姓体上布 置的一个或多个按钮，禾口姓体上布置的排歹喊阵列的一个或多个可检测元件。另外，在一些实现方式中，该阵列錢性阵列。
如J^F述，典型地，计^tl娱乐系统包括^l雜律l滕，飽戈控律'藤，棘其 雄伟幡。用户棘繊j顿雜制器向娱乐系^^^令棘其效旨令以控制 正在进行的视步 6^#其创莫拟。电视，立体声系统，其它娱乐系统，和设备 还包括手雜 。
舰描述的方法、设备、方案和系统的各种实施例樹共T1籽J雜制器的三 ^!动映射到显示屏的二维图像平面上。其允许将M51用户的M^控审勝主体本
身的三纟i^动用于控制其中顿示屏的二维像平面上执行操纵的系统的於方面。
例如，图6A， 6B和6C图解说明了依照本发明的实施例操作的系统。在该 实施例中，手J雜伟'腊的三《艇动可以用于类似鼠标的功能，以操IW幕上的指 针。例如，图6A图解说明了在J腐的手604上棘的控伟螺602。控制器602的 向±^动606将显示器的屏幕608上的指针从位置610向上移动到另一个^g 612。在图6B中，控制器602的向下运动620将显示器的屏幕608上的指针从位 置622向下移动到另一个j體624。并且在图6C中，控制器602的侧向运动630 将显示器的屏幕608上的指针从位置632侧向移动到另一个位置634。如以下将 要描述的，在其它实施例中，^g制器的三^ii动可以用于其它功能，例如在 駒戈中用于操纟 幕上的十穷 等。
参考图7，其图解说明了依照本发明的实施例操作的方法700。方法700开 始于步骤702，其中卿宗系统的手離伟螺的三纟艇动。可以以许多不同的方式 执^^顿郎宗。例如，可以以倒可以上&H^f描述的方式離招可其幼式中通 过惯性，柳频，Wt，赫纟I^卜线分析^lfi^种足服宗。
例如，在视频J跟宗的例子中，可以与计嶽几娱乐系统一起4顿樹斜"卜围设 备来检测手，伟螺主体的运动，并且将它们传送为i^戈中的动作。该摄像机可 用于检测许多不同鄉的控帝勝运动，例如，上下运动，扭艇动，左右运动， 急拉运动，棒式动作，突卩驗动等。财卜，然而，可替换地可以Mil惯性，B脆， 赫纟I^卜线分析^l行躪宗。例如，在j顿会l^卜线分析的实施例中，纟I^卜线分析 仪和线性红外线阵歹,^S于察看传繊的输出来确定用户的4體和控制器的方 位。
在步骤704中，然后，将足跟宗的手,維审塍的三^it动鹏到系M示器屏幕的二维图像平面上。艮P， a雜制器主体本身^H维中的运动Slt到屏幕上的二 维图像平面上。因而，纟維伟螺的三纟tM动转变至,幕的二维像平面的X-Y坐标上。
在步骤706中，然后，基于卿宗的手手雜制器的三《艇动的鹏寸，将一个或
多个图像显示在屏幕的二维图像平面上。该图像可以包含许多不同类型的图像。
例如，如图6A， 6B和6C所示，该图像可以包含用于选择顿幕±^示的项目的
指针。御MM列子中，M^控制器602本身Mi类似斷示的體，并且像鼠标一
样4顿以控制和选择屏幕上像菜单、鹏等的项目。
各种不同类型的控制器运动可以配置为引起,幕上显示的图像的各种不同
的运动。例如，用户可以向上举起控制器或割t^可以向上扭糊M^她的手 腕，弓跑图像的某些运动。棘在另一W列子中，用户可以向下鹏伟ij^f體， 并且然后向下指向 以使指针进一步向下运行。或者在另一^H列子中，用户可 以和控制器的4體一起移至lJ左边，但是然后，用户向左边扭转方位，其使得指针 向左运行。或者在另一W列子中，用户可以向右移动控审J^，并且同样向右扭转 方位，使得指针向右运行。这，仅是例子，并且可以MSSl午多其它， 的运动。
参考图8，其图解说明了依照本发明的实施例操作的另一个系统。在该实施例 中， 一个或多个图像可以包含一组十穷徵，例如用于射击^^戈。例如，在图8 中，经由^^划吏Mf斜;U岳摄和移动，用户赫i腐可以步行穿OT幕802JlM示 的三维空间。将用户的枪等的一组十穷隹线804经由三维空间映射到屏幕802的 二维图像平面的X-Y坐标上。
当栏维中用户移动控帝麟主体806时，该运动弓胞移动二维十穷徴804。 如图所示，控伟螺主体806的横向和向战动810弓1^/人一个4體812至U另一个 1體814的二维十穷徵804的横向和向J^动。因而，该^^戈可以包含三维游 戏，但是将屏幕上的十穷徵经由三维空间嗍寸到屏幕二维平面中的X和Y坐标 上。
至师;f描述的例子图解说明了本发明的实施例允i權带徵用作用于选择菜
单、链接、项目等的类似鼠标的驢，不过该控伟螺可以改变功能并朋于其它 功能，例如，控制射击 中的十穷餓。因而，经由用户的 ^控第螺主体的 检测的运动，动作和/纖纵可以用作为附加命令以控制正在运行的M^"其它模拟的不同方面。
在一些实施例中，作为可选特性，可以调整或新周节到二维i!^纵的传动
體，因此，基于选择的调节的水平，用户可以更快蹄更Si也移动指针。其向
用户樹共了响应于控制器的动作和运动选擀多动指针、十穷徵等的鹏的灵活 性。可以j顿控制器上的粗可按钮蹄控制来调整这种传动驢。剩列来说，在
一些实施例中，可以4顿可变的按钮L2和R2 (图1B， 1C， 1D，禾口1E) ^#任
何其雄钮赫控制来调节听力。
如J^f述，可以以许多不同的方5^跟宇、手f雜伟螺的三纟艇动，例如Mil如 上所述的惯性、视频、e^t、 M红外线分析，或者以倒可其^式。参考图9， 其图解说明了^M本发明的实施例操作的系统900。如上所述，可以{顿"混合模 式"信号，由此，来自一种鄉的传繊的信号可以掛共卿剠言息输入的一部分， 并且由另一种^M的传/i^产生的信号可以^f共足毀斜言息输入的另一部分。同样 地，在一个实施例中，反馈回路可以包含混合器902，混合器902可以用来混合 来自许多不同类型传 904的信号，例如惯性、视频、听觉、g纟I^卜线传感 器。然后，将来自混合器902的输出M31W器905等,至,幕的二维图像平 面上。然后，，幕的2D图像平面J:M示图像906。
这样，可以翻诉服跟宗控制器的3D运动、动作和操纵，并且然后M:混合 劉維制器的3D运动、动作和操纵薩回屏幕上的2D平台。剩列来说，如果使 用柳郷郎宗，控帝幡的3D运动贝U娜到摄像机的2D图像平面上，并且然后，将 来自摄像机的2D图像平面的透视图的控伟幡运动和转变 ]"到屏幕的2D平台 上。
在本发明的其它实施例中，可淑也，可以保J辨贞定屏幕的二维图像平面的X ^Y坐标。这样，当iS以不同方向移动控带藤时，CT幕iM示的图像仅向 一个方向移动，因为X和Y坐标的一个可能是被锁定的。例如，图10图解说明 了傲照本发明的另一个实施例操作的系统。在该实施例中，经由^^划^Mf象机拍 摄和移动，用户赫磁可以步行穿,幕1002 JlM示的三维空间。将用户的枪 等的一组十穷，1004经由三维空间i^至幌幕1002的二维图像平面的X-Y坐 标上。
在该例子中，Y坐标是锁定的。同样地，控制器主体1006的横向和向J^动 1010弓胞二维十穷徵1004从一个^f體1012到另一个健1014仅髓X车断黄向移动。因为已经锁定了Y轴，所以十^7隹线1004仅gX轴移动。
在一些实施例中，用户可以保持按下锁定其中一M由的按钮。例如，可以该 按钮锁定Y坐标，因此无论用户4維伟i勝移动至卿里，顿幕上的图像仅仅会沿 着X轴移动。即，Y坐标将保持固定。因而，用户可以在X轴上向右扭转控制藤 和一直向^ti^力，赫髓X轴向左扭转控讳幡和一直向左 P力。在一些实施例 中，当用户再次按下按钮时，这可以配置为解开先前锁定的轴，其再次向用户提 供全度运动。在一些实施例中，用户可以按下另一个按钮以锁定X坐标，其允许 用户iSJ:下地m^十^t^0
该手 維制器可以包含傲照本发明的不同实施例的樹可鄉的控审滕。例如， 尽管图解说明现M^爐纵台控审i勝，该控律螺可以代駒含倒可其它鄉的控 制器，例如用于电视、立体声系统、DVD播放器等的传纟雄制器。剩列来说，图 11A图解说明了可以依照本发明的不同实施例4顿的传统电年鹏制器H02。赫， 该控帝'勝可以代^跑含以舰描述的方^跟宗的招可其它鄉的繊。鄉i涞说， 图11B图解说明了可以依照本发明的不同实施例使用的这样的，1104。
在一些实施例中，控伟螺的健和偏航是可以附啲。这将允i權伟螺运动 继续以相同的方向移动指针體十^T條，以便该运动'添加"到J^动。
如上所述，可以以不同的方式实5，测和卿,宇J^戈控制器主体的用户操纵。 例如，诸如加速计赫回转仪的惯性传麟，诸如数^Mi斜几的图像捕获单元， 可以与计算机娱乐系统一起使用以检测手^S制器主体的动作并且将它们传送为 跪(戈中的动作。例如，ft!S为"SYSTEH METHOD, AND APPARATUS FOR TOREE^DIMENSIONAL INPUT CONTROL (用于三维输入控制的系统、方法、 和设备)"的美国专利申请11/382,033 (f^S人档案号SCEA06INRT1)中描述了 足跟宗具有惯性传麟的控审藤的例子，鄉匕引入作为参考。例如，顿为 "SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY (用于检测和足郞宗^^戈控带勝主体的用户操纵的方 案)"的美国专禾呻请11/382,034 (代理人档案号SCEA05082US00)中描述了使 用图像捕鄉跟宗控伟幡的例子，鄉匕引入作为参考。另外，{顿麦舰阵歹诉口 适当的信号处理同样可以在声学JJ鹏、控讳幡称或用户。在美国专利申请 11/381,721中描述了这样的声足服 的例子，^tltb引入作为参考。
可以制虫的或者以招可结合刺顿声学^i、惯性^i和图像捕获，以检测控律l勝的许多不同鄉的运动，例如上下运动、扭转运动、左右运动、急拉运动、 棒^it动、突降运动等。这些动作可以相应于不同的命令以倒各这些动作传送为 微戈中的动作。检测和躑宗l^戈控制器主体的用户操纵可以用来实现许多不同类 型的微戈，模拟等，例如，其允许用户参加剑棘碧IJ战斗，禾,棒来描绘项目
的微，参加许多不同鄉的体育事件，参力卩屏上战斗蹄其它iliSa等。^^戈 禾將可以隨为足服雜审藤的动作以^^跟宗的动作中i湖煤些予跌记录的姿 势。 一个或多个这些姿势的i湖何以角4^^i^态的改变。
如J^M，在本发明的一些实施例中，可以在姿辦湖啲分析之ltr混合从这
些不同的源处获得的控制器路径信息。可以以^S姿^i照啲可能性的方^^混 合来自不同源(例如，声学、惯性和图像捕获)的卿宗 。
正如以上讨论的，可以分析来自惯性、图像捕获和声源的 以产魁跟宗控 帝腊的^S和/^"位的路径。如图12的方框图所示，依照本发明实施例的系统 1200可以包括惯性分析器1202，图像分析器1204和声学分析器1206。这^^析 器的每一个接收来自感则环境的信号。可以在硬件、软件(或者固件)或^t^些 两个或多个的结合中实现分析器1202， 1206， 1208。針分析器产生与感兴趣的 X^的jifi和/^"位有关的卿劍言息。執列来说，感兴趣的X^可以是以上魁U 的控伟幡110。图像分析器1204可以连同以下的以及关于美国专利申请 11/382,034 (代理人档案号86321 SCEA05082US00)中所描述的方法的区J^作， 并且形^i^述区域。惯性分析器1202可以连同以下的以及关于题为"SYSTEH METHOD, AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL (用于三维输入控制的系统、方法、和设备)"的美国专利申请11/382,033 G锁人 档案号SCEA06INRT1)中所描述的方法的区域^作，并》^^ 述区域。声学 分析器1206可以连同以下的以及关于美国专利申请11/381,724所描述的方法的区 作，并且形^i0M区域。
分析器1202， 1204和1206可以被认为是与皿和/^位信息的输入的不同 M相关联的。混合器1208可以接受多^tlAM，并且这样的M可以包含典 型地来自通道的视角的表征繊杯境的取样数据。可以将由惯性分析器1202、图 像分析器1204和声学分析器1206产生的^§和/#位信辩給至嗨^11208 的输入。可以由^^戈软件1210 Si旬混織1208和分析器1202， 1204， 1206，并 且可以配置为响应于事件而中断^^戈软件。事f牛可以包括^^ii^ij事i牛、传动装置改变、Kff改变、i體噪声7]c平、，取样率、改变i^lt链等，以下i^^些 的例子。混合器1208可以连同以下的以及关于 1:描述的方法的区 作，并且 形^^f述区域。
正如以上讨论的，可以由惯性分析器1202、图像分析器1204以及声学分析 器1206来分别地分析来自例如惯性传 、视频图像和/或声传感器的不同输入 鹏的信号，以ia^发明的方法确定在视频^^M行期间控审J^110的动作和/或
方位。这种方法可以被实现为一系列处理器可执行的程m戈码指令，其被存储在
处理器可读介质中并且在数字处理器上执行。
例如，如图13A所描述的，视频^^戈系统嫌可以包括具有在硬件赫软件 中实现的惯性分析器1202、图像分析器1204和声学分析器1206的控制台102。 辨i涞说，分析器1202， 1204， 1206可实现为运行在适当的处理器单元1302上 的软{衬旨令。剩列来说，M器单元1302可以是例如一种通常用于柳顿^^控制 台的'微处理器的数字M器。可以在存储器1306中存储一部分指令。可替换地， 惯性分析器1202、图像分析器1204和声学分析器1206可以在硬件中实现，例如 被实现为专用集成电路(ASIC)。这种分析器硬件可以位于控制器110上，或者 控制台102上，赫可以远程地位于其它地方。在硬件实现方式中，响应于例如 来自处理器1302蹄例如ffl31USB电缆，^^接，^Wil网络连接的一些 其它远樹M的源的外部信号，分析器1202， 1204， 1206是可编程的。
惯性分析器1202可以包括g实现用于分析由惯性传感器113产生的信号 附旨令，并且禾,关于控制器110的隨和/^"位的信1、。类柳也，图像分析器 1204可以实5鹏于分析由图像捕获单元112捕获的图像附旨令。另外，该声学分 析器可以实现用于分析由麦克风阵列118捕获的图像的指令。如图13B的流程图 1310所示，如块1312所^的，可以由分析器1202， 1204， 1206接收这對言号 禾tV或图像。如块1314所标的，可以由分析器1202， 1204， 1206分tif^對言号 禾n/或图像以确定关于控制器110的{體和/駄位的惯腿跟對言息1203，图亍鄉鹏 信息1205和声足跟斜言息1207。足跟宗信息1203， 1205， 1207可以涉及一个或多个 自由度。mt也，足g^宗6个自由度以表征控伟i腊110 g其它足^X^,纵。 这些自由度可以涉，制器慨斜，偏航，摆动和^S， ^x， y和z轴的M或 者加脱
在一些实施例中，控制器110还可以包括音响信号发生器115 (例如，扬声器)以掛共音源，便于具有麦克风阵列118和适当声信号鹏的控伟幡110的声足跟宗， 例如，如美国专利申请N0.11/381,724所描述的，ffl31参考并入于此。
如块1316所表示的，混合器1208混合惯性信息1203，图像信息1205和声学 信息1207以产生精确的4M和/^位信息1209。 ^f列来说，混合器1208基于游 3M^环境斜牛以及获得的丰XS平均值而应用不同^S给惯性，图j斜I3声卿,對言 息1203， 1205， 1207。另夕卜，混合器1208可以包蛇自己的混^l分析器1304，
其分析结合的^g/方位信息并且产生它自己的结果"混合器"信息，该信息包括由 其它分析器所生成的信息的组合。
在本发明的实施例中，混合器1208可以给来自分析器1202， 1204， 1206的 卿劍言息1203， 1205， 1207指派分配值。如上所述，可以平均某些组的输入控制 。然而，在当前实施例中，在平:^11入控制 之前会織入控制 指派值， 由此，来自一^^析器的输入控制M比来自其它的具有更多分析的重要性。
混合器1208在当前系统的环境中可以具有许多功能，包括观察、纠正、
稳定、推导、结合、路由、混合、报告、缓冲、中断其它鹏和分析。可以与从 一个或多个分析器1202， 1204， 1206接收的足gH宗信息1203， 1205， 1207有M 完^^些。尽管分析器1202， 1204， 1206的每一个可以接收和/或导出某些卿宗 信息时，可以将混合器1208实现为最佳化接收的足跟對言息1203， 1205， 1207的 {顿，并且产生精确的3跟,對言息1209。
tmt也，分析器1202， 1204， 1206和混合器1208配置以掛鄉跟對言息相似 输出格式。来自招可分析器元件1202， 1204， 1206的虽服斜言息参数可以映射为分 析器中的单个参数。可替换地，皿处 自一个或多个分析器1202， 1204， 1206 的一个或多个足跟對言息参数，混合器1208可以形鹏于倒可分析器1202， 1204， 1206的足跟對言息。该混合器可以结合由分析器1202， 1204， 1206获得的相同参 数，的卿,對言息的两个或多个元件，禾口/^1行1^1由分析器产生的足服對言息的 多个参数的功能，以仓健具有从多^fAM3i产生的好处的合成的输出组。
如块1318所标的，系统100可以在柳频^^g行期间禾佣精确的足服缩 息1209。在某些实施例中，可以与游^fe^行期间由用户108产生的姿^^fe使 用该l體和/歡位信息。在一些实施例中，混合器1208可以连同姿Mi明lJ器1305 一繊作，以将駒讽境中的至少一^N力作与来自用户的一个或多个用户动作(例 如，控制驗空间中的操纵)相关联。如图13C的流程图1320所表示的，如块1322所表示的，使用隨和/^"位 信S、可以卿宗控伟i滕110的路径。辨睞说，并且没有局限性，该路径可以包括 一组，关于坐标系的某些系统的控铜M重心的^S的点。可以由一个或多个坐 标v^^H體点，例如，Cartesian坐标系中的X， Y禾卩Z坐标。可以将时间与 路^i:的每个点相关联，以便可以监控路径的^t和控制^^路径的进fi^两 者。另外，在该组中的針点可以与标控审勝方位的繊(例如控伟螺围乡蛇 的重心的旋转的一个或多个角)相关联。而且，路&i:的針点可以与控审腊的 重"的鹏和加鹏的值和控带腊围绕它的重心的角旋^f^和角力口鹏的值相 关联。
如块1324所彰于的，i效跟宗路径可以与一个或多个存储的路^S行比较， 其对应于与祕频^^E行的环境有关的己知和/或予跣记录的姿势1308。 i賜幡 1305可以配置为识别用户或者处理織鉴别的姿辩。例如，可以由i湖ij器1305 经由姿势识别出用户，而m于用户来说姿势可以是特定的。在存储器1306中存 储的f跌记录的姿势1308之中可以记录和包MS种特定的姿势。可选他，记, 程可以存储在姿辦己录期间产生的W^贞。可以将翻i杯境取样到多m^析器中 并且处理。该处理器可以基于声音或者声波图来参考姿势，IM以确定和鉴别柳或 i朋佣户赫鄉，并且育鹏排常高的精确性禾啦能。
如图13A中所标的，可以在存储器1306中剤^^姿势的翻1308。姿 势的例賴括，但是不局限于， |5诸如球的赠，糊诸如,棘高尔夫球 棍的繊，抽动手泵，打开赫关闭门或者窗户，转动方向盘或者其它^^控制 體，诸如te的武术套路，打磨运动，太极，油漆房子，摇动，振动，摆动， 足王tMP，旋MM动，3D鼠牛蔬动，巻轴运动，已知轮廓的运动，《封5M记录的 运动，髓招可向默回的运动，例如在空间中任意的方位给轮胎打气，歸路 径的运动，具有精确的停止和开始时间的运动，基于用户的操作在噪声底板、样 条内可以记录、足跟詩口重复的招可时间等。可以iAli各径娜予跌记^^些姿势的 每一个，并且将^#储为基于时间的模式。路径和存储的姿势的比较可以从稳定
状态的作说开始，如鹏径偏离了稳定状态，该路^iffl滁的过程可以与存储
的姿势相比。如果在块1326没有匹配，在块1322，分析器1304可以继续虽跟宗控 伟幡110的路径。如果在该路径(或能的一部分)禾口存储的姿势之间具有足够 的匹配，如在1328所标的，可以改变 的状态。^^^态的改变可以包括，但不局限于，中断，^g律l腊号，改 *#。
这^3^个可以发生的一*仔。在确定了控帝離110已经离开稳定枕态的路 径后，分析器1202， 1204， 1206，鰣1304足跟宗控审螺110的运动。只雞f^幡 110的路@^照在存储的姿势模式1308中定义的路径，那么那些姿势是可能盼'打 击(hit)"。如果控第i勝110的路径偏离了樹可姿势模式1308 (在噪声容许设置内)， 则从打击列表中除去该姿势模式。^^姿驗考模式包括其中记录姿势的时基。 分析器1202， 1204， 1206， 1304 ，当的(^示上))維制器路径M与存储 的姿势1308相比。稳态状态劍牛的发鍾新设定该时钟。当偏离稳定状态时(即
当在噪声阈1M卜卿茅运动时)，用所有的潜在姿势净I^et真充打击列表。开始时钟
并且控制器的运动与打击列表相比。再次，该比^視随着时间进行的。如果在打 击列表中招可姿^if嵝势的结束，那么它是打击。
在本发明的一些实施例中，混合器1208可以给来自分析器1202， 1204， 1206 的足跟對言息1203， 1205， 1207指派分配值。如J^ 述，可以平均某些组的输入控 制 。然而，在当前实施例中，在平:l^f入控制翻之前纟^^入控制娜指派 值，由此，来自一斷析器的输入控制繊比来自其它的具有更多分析的錢性。
例如，混絲1208可以需要与加繊和稳定状态有关的足跟缩息。然后， 混合器1208 )l維收如ijf述的足跟斜言息1203， 1205， 1207。足毀劍言息可以包括 与加聽和稳定状态有关的参数，例如，如上所述的。在平均恭^^个信息的数 据之前，混合器1208可以给足跟對言息 集1203， 1205， 1207指派分配值。例 如，可以以，/。的働站姊自惯性分析器1202的x-和y-加鞭参数。然而，可以 仅以10%加棘自图像分析器1206的x-和y-加鹏娜。因为声学分析器足服對言 息1207属于加3I^参数，所以可以以0%来加权它，那就是说，该 没有值。
类微也，可以以10y。来加丰姊自惯性分析器1202的z-轴卿對言息参数，但 是可以以90。/。来加权图像分析器z-轴卿^f息。财卜，可以以0%的11*加权声 学分析器足跟^言息1207，但是可以以100%来加权来自声学分析器1206的稳定状 态足跟劍言息，同时以0%来加 除的分析器卿^^息。
在己经指派了适当的分SSt腫之后，可以连同该媳一起平J^^入控制数 据，以超咖权平繊入控制娜集，随后由姿辦賜U器1305分析i劾口权平繊 入控制i^集并且i劾B权平均输入控制i^集与^PF境中的特定动作相关联。 可以由混合器1208或對寺定 名称来予跌定义相关联的值。该值还可以是ii^ij来自不同分析器以及因而获得如下进一步论述的动态调整的 的特定质量的混
合器1208的结果。该调整还可以是粒当特定繊在特定环境中具有特定值称
或响应于给定i^戈名称的特性时的历史知i口席的结果。
混合器1208可以配置为在 ^行期间动态* 作。例如，由于混合器1208 接收不同的输入控制数据，所以可以认识到，某，据一贯地处于 可接受的
范围^ 质量之外，或者反映出在相关的输入设备中可以彭j^ba错误的损
坏娜o
另外，在真实世界环境中的某些情况可以改变。例如棚户的家盼跑讽境 中的自然光可以是渐增的，因为上午 下午弓胞了图像繊捕获的问题。进一 步地，随着时间令隅麟家人可能变得更加嘈杂，从而弓胞了音频鹏捕获的问 题。同样，如果用户己经玩了好几个小时，他们的反映可能变得不再那么的明显， 因而弓胞了惯性薩解释的问题。
在这些实例中，或者在倒可其它的实例中，其中特定形式的输入控制M的
质量正被讨论，混合器1208可以动态i彪合来自特定^g的特定组的数据重新指派 分配丰鍾，以致如上所述，辦寺定输入控制娜或多^1>的重要性。类做也，游 ^Ef境可以随着t^戈的过程而改变，其中特定 的需求改变了，因而需要重新 指派值或者需要特定的输入控制 。
类做也，混合器1208可以识^iJ出，正在错徴也、1Htt也、赫完全没有基 于由姿势iR^器1305产生的处理错误^反馈 来处理正被传避峻势识冽 器1305的某^g。响应于该反馈赫按照这些处理困难(例如，尽管图像分析 M处于可接受的范風当姿辦湖i擺1305做出关联时产生错误结果)，即{贿 的话，混合器1208可以调^/人哪个分析潟找的明H^J入控制翻，以及何时调 整。 1入控制繊传避嗨合器1208之前，混合器1208可以进一步地需要通 皿当分析器对输入控制 的某^^析和 ，其可以重新处理 (例如， 平均 )，以致获得进一层的保证，可以有效地并皿当地处理传避U姿势i賜iJ 器1305的数据。
在一些实施例中，混合器1208可以炉，出某^ 是损坏的、无效的、或 者在特定 之外，并且可以调用与那^ 有关的特定的输入控制 或者变 量，以致它可以替换错误的翻赫适当地分析和计算与必需的M有关的某些i^。参考图14，其图解说明了依照本发明的实施例的方法1400。方法1400掛共 了如{呵以4顿、结合和/或混合来自不同传麟的信息以执4彌如控帝蹯的鄉 的足跟宗的另一^M列子。
在一个示例实现方式中，方法1400可以用来f顿视频摄像mS跟 控讳i藤的位 置，其中由在控伟幡中的传繊，诸如回转仪传Stl或者加速计所衛共的慨謝言 息，可t細^S优化控制藤图像检测。ffl^顿转换的比^^鹏审幡图象检测 最佳化，其中，依照由传^^f共的控律幡的慨斜角鄉鼓专控库離的参考检测轮 廓图像。
更准确地说，可以用于获得来自诸如控伟螺的赠的输入麵的方法1400， 刑好用图像捕获體捕W^的、翻图像的步骤1402。该图像捕获體可以包 含招可，的樹象机，例如 匕描述的招可 的摄像机。例如，在一些实施例 中，图像捕获装置可以包括Z"摄像tM^深度摄像tiM者其它类型的三维樹象机。
如上所述，这种Z"衞斜M^采度摄像机可以劍共赫测fi^H象素的深度，和/
或确定像素到摄像机的距离。
图15图解说明了这个步骤的例子。艮卩，捕^m 1504的、)薛力图像1502。在 一些实施例中，膽1504可以包含控制器。如图解说明的，膽1504位于樹象
在步骤1404 (图14)中，从除该图像捕获装置以外的一个或多个传感器中接 收与膽的慨斜角有关的信窗、。對列来说， 一个或多个传麟可以包含招可一个 或多个的回转仪传自、力口速计、^类似的传自。这样的传自可以位于该 鵷中。
在一些实施例中，如m^的旋转是围绕回辩由的，贝何以i顿回转仪传感 器。加速 数和重力的方向可以用于所有的情形。4顿力口速蹄数具有获得没 有漂移的乡舰角答案的好处。在一些实施例中，如果旋转是围绕回辩由的，可以
4OT这两种传S^在一些实施例中，与^的慨斜角有关的信息可以用来确定
繊古计繊的鹏角。
如以下4艘描述的，测a^m的慨斜角是有益的，因为己細喊桷帮助摄像
t朋艮踪。lOT^厄斜角同样是有益的，因为^Lh文描述类型的具有在6个自由度中 卿宗能力的控制器可以容易清楚地测量慨斜。而且，旋转是不适于《柳摄像t膽 测量。在步骤1406中，与膽的慨斜角有关的信息用来获得膽的至少一个旋转参 考图像。稱列来说，赠的基本参考图像可以包含繊的侦舰亂膽的顶视图， ，转鄉的用户的单手^#双手的视图，赫一些其它的视图。因而，在其中对 象包含控带勝的实施例中，職的基本参考图像可以包含控讳職的侦舰图，控制 器的顶视图，f转控伟蜷的用户的单手藏双手的视图，或者一些其它的视图。
图15图解说明了对象1504的基本参考图像1506的例子，其标注为1504'。 如图解说明的，没有旋转X^1504'。
在一些实施例中，可以ffi^顿与膽的慨斜角或者繊确定的慨斜角有关 的信息在空中(on-the-fly)旋转参考图像来获得)^的旋转参考图像。 ，在 一些实施例中，可以在存储器中存储参考图像的一乡助定转的版本。与)^的慨斜 角或者，确定的慨斜角有关的信息可以用来从存储的组中选掛目应的旋转参考 图像。然后，可以M/人剤，置中检索x^的旋转参考图像来获得iMm的旋 转参考图像。
图15图解说明了膽1504的旋转参考图像1508的例子，^=翁主为1504"。 如图解说明的，以与^图像1502中的^ 1504的旋转相同或者类似的方^ 旋转鵷1504"。
如J^f淑也，在步骤1406中，获得iMm的至少一个旋转参考图像。4OT 术语"至少一个"，是因为在一些实施例中，与鄉的慨斜角有关的信息用来获得 X^的皿一个旋转参考图像。^t旋转参考图像可以处于围^t^的慨斜角的 稍微不同的角上。并且在一些实施例中，与繊的慨斜角有关的信息用来产生一 "组"围劍喊桷的旋转参考图像，而不^X仅一个洽好招喊桷的参考图像。这 样，慨斜角测量可能是有干扰且有缺点的，因为该細^K共在慨斜角Pf姐的具有 斜中角度的旋转参考图像。取决刊寺定的应用、执行和需要的精确性的水平，在 组中的旋转参考图像的M可以改变。
图16图解说明了围绕慨斜角的对象1504"的一乡助定转参考图像1602， 1604， 1606， 1608的例子。在每个图像中的对象1504"的慨斜角是稍微不同的。
在步骤1408中(图14)， X^的、)f^力图像与X^的一个或多个旋转参考图像 进行比较。通常，该图像捕获单琉x和y平面中寻fetm的图像，并且正在寻 找的图像是反映如同由慨謝专麟赫加速计衝共的鄉的角的转换图像。因而， 慨斜观糧的好处是代替匹配参考图像的所有可能的旋转，该图像捕获单元仅需要检查测量的慨斜角Pf爐的旋转。i劾定转可以在确定的错误公差内^Si量的慨斜
角，该错误公差可以基于慨謝专麟的噪声。因为适当旋转的参考图像与銜输
图像相比较，所以在比较过程期间不需對叟索旋转自由度，从而 >比较甘算成
本并且增加比较质量。
用于一些实施例中的可选的方法是首先围绕先前匹配的慨斜角尝试匹配倾
斜角。这样，即使慨斜角传^l偶尔产生'坏的"数据，也不会显著地影响摄像机
足郧宗。
图15图解说明了这种比较的例子。艮P， m 1504的、)薛力图像1502与X^ 1504"的旋转参考图像1508进行比较。在如上所述〗OT^1—个旋转参考图像的 实施例中，繊1504的^^力图像1502与一些^#所有的旋转参考图#^行比较。 因而，在一些实施例中，与膽的慨斜角有关的信息用来获得膽的多个旋转参 考图像，并且然后，繊的^^力图像与膽的多个旋转参考图像的每一^HS行比 较。
最后，在步骤i4io中(图i4)，响应于、，图像匹ieM转参考图像的一个而
产生指示。该指示可以包含倒可鄉的标己^"信号，以将己经出现^^力图像禾口 旋转参考图像的一个之间的匹配指琉合软件和/或硬件。
在一些实施例中，可以通过确定匹配出现的活动图像中的位置 1行对象的 卿宗。例如，在图15中，当膽1504位于樹象机冬鹏的处角时，匹配出现。 该信息可以用来确劍象1504的位置。附加匹配可以用彩服微体1504'的运动。
在一些实施例中，可以经由一个或多个标准化滤波制专递一个或多个参考图 ^SI糊图像。这可以有助于舰平滑麟的变化来获得更加可靠的匹配。對列 来说，这种标准化滤波器可以包含拉普拉斯算子、高斯的拉普拉斯算子、高斯拉 普拉斯算子的正负号函数、赫具有类似舰的招可其它鄉的微器。
因而，低照由传S^f共的m的慨斜角，ilil转换藏旋转膽的参考检 测轮廓图像，可以4M^图像检测最佳化。然后，这种繊图像检测可以用于跟 踪滩的4體。例如，该方法可以用于f顿视频输入的控伟幡卿宗。虽然4顿对 象的慨斜角是有益的，在一些实施例中，可iM^"另外，控制器的位移可以是 有助于比例改变或者水平/垂直动作的樹斜朋跟宗的^。
应容易了解到，iMm可以包含倒可鄉的膽，例如樹可鄉的控铜藤。 例如，iM^可以包含用于电视、立体声系统、DVD播放器^M的離體。在一些实施例中，以上描述的方法和技术可以和两个或多个控伟幡一起同时f顿。 例如，可以与用户^^手中的控帝鹏^e(顿该方法和技术，该方法和技术用 于由多用户操作的控审藤，M用于类似的瞎况。该方法和技术可以用来同9
测和/鄉跟宗所有这样的控制器。
在2007年1月18日提交的、题为"METHODAND SYSTEM FOR ADDING A NEW PLAYER TO A GAME IN RESPONSE TO CONTROLLER ACTIVITY (用于 响应于控制激亍为向飽戈添加新5蔵的方法和系统)"的共同待决的美国专利申请 No.ll/624，637的齡臓，iKi舰纖的参考以此完全并入。
在2006年10月20日提交的、题为"GAME CONTROL USING THREE-DIMENSIONAL MOTIONS OF CONTROLLERCfOT控帝!l^的三维动作 的^^戈控糊"的共同待决的美国专利申请Na 11/551,682的旨披露，通过tt完
整的参考以此完全并入。
在2006年10月19日提交的、题为"CONTROLLER CONFIGURED TO TRACK USER、 S LEVEL OF ANXIETY AND OTHER MENTAL AND PHYSICAL ATTRBUTES (为足跟宗用户的渴望和其它智力以及身体素质的水平而配置的控制 器)"的共同待决的美国专利申请Nall/551，197的^^披露，通过fet匕完整的参 考以此完全并入。
在2006年9月28日提交的、题为"手t雜制器到显示屏二维像平面的鹏运 动'的共同待决的美国专利申请Na 11/536,559 (〗馆人档案号 86335[SCEA06058US00])的M^MM， Mil&tk^M的参考以此完全并入。
在2006年5月10日提交的、题为"ATTACHABLE STRUCTURE FOR USE WITH HAND-HELD CONTROLLER HAVING TRACKING ABILITY (供具有鹏 育幼的￥#^制制顿的可连接的结构)"的共同待决的美国专利申请Na 11/382,699 (概人档案号No.87906[SCEA06028US00])的齡臓，舰掛匕 ，的参考以此完全并入。
在2005年9月15日提交的，题为"AUDIO,VIDEO,SIMULATION,AND USER INTERFACE PARADIGMS (魏、柳频、模拟、以及用户接口范例)"、 的美国临时专利申请No. 60/718,145的 ^臓，S51舰識的参考以此完全并 入。
fflil魏参考，由此将以下申i青完全并入于此题为'TVIAN-MACHINEINTERFACE USING ADEFORMABLE DEVICE(舰可娜驢的人机接口)"、 在2002年7月27日提交的美国专利申请No. 10/207,677;题为"AUDIOINPUT SYSTEM(^i输入系^)"、在2003年8月27日提交的美国专利申请No. 10/650,409;题为"METHOD AND APPARATUS FOR ADJUSTING A VIEW OF A
依照观踪的头部动作调整正在显示的'瞎景的视野的方法和设备)"、在2003年9月 15日提交的美国专利申请No. 10/663,236;题为'TVETHOD AND APPARATUS FOR LIGHT INPUT DEVICE(用于光输A^g的方法和设备)"、在2004年1月16 日提交的美国专利申请No.lO/759,782;题为'TV!ETHOD AND APPARATUS TO DETECT AND REMOVE AUDIO DISTURABNCES (为了检测和除去^g^员干扰的 方法和设备)"、在2004年4月7日提交的美国专利申请10/820,469;以及，题 为'德THOD FOR USING RELATIVE HEAD AND HAND POSITIONS TO ENABLE APOMTING INTERFACE VIA CAMERA TRACKING (用于使用相关的 头和，置以经由樹斜朋跟宗实现指针接口的方法)"、在2005年12月12日提 交的美国专利申请No. 11/301,673，所有的这些Mil参考以此并入。
ffiil識参考，由此将以下申请完全并入于此XiadongMao在2006年5月 4日提交的、题为'￡1^1!^31^4^]^010 03術^11^￥ (极小的麦克风阵列)" 的美国专利申请No. 11/381,729 (代理人档案号SCEA05062US00)， XiadongMao 在2006年5月4日提交的、题为'ECHO AND NOISE CANCELLATION (回波和 噪声消除)"的申请号11/381,728 (代理人档案号SCEA05064US00)， XiadongMao 在2006年5月4日提交的、题为"METHODSANDAPPARATUS FOR TARGETED SOUND DETECTION (用于目标的声音检测的方法和设备)"的美国专利申请No. 11/381,725 "壊人档案号SCEA05072US00)， XiadongMao在2006年5月4日 提交的、题为'窗SE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE (用于在控制台上带有远声场麦克风的电瑰置的 噪声排除)"的美国专利申请No. 11/381,727 G锁人档案号SCEA05073US00)， Xiadong Mao在2006年5月4日提交的、题为'TVIETHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION (用于目标的声 音检测和特性的方法和设备)"的美国专利申请No. 11/381,724 (4懷人档案号 SCEA05079US00)， XiadongMao在2006年5月4日提交的、题为"SELECTIVESOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING (连同计^m^S处理一起收听选择的声源)"的美 国专利申请No. 11/381,721 (代理人档案号SCEA04005JUMBOUS);所有的这些 舰参考以此并入。
舰識参考，由ltbl每以下申请完全并入于此XiadongMao在2006年5月 4日提交的、题为"METHODS AND APPARATUSES FORADJUSHNG A LISTENINGAREAFOR CAPTURING SOUNDS (用于调M获声音的收听区域 的方法和设备)"的共同待决的申请号11/418,988 (^S人档案号 SCEA-00300) ;XiadongMao在2006年5月4日提交的、题为"METHODSAND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL MAGE (用于捕i^于可见图像的^M言号的方法和设备)"的共同待决的申请 号11/418,989 (代理人档案号SCEA"00400); XiadongMao在2006年5月4日提 交的、题为"METHODSANDAPPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON ALOCATION OF THE SIGNAL(用于捕,于信号，的音 劍言号的方法和设备)"的共同待决的申请NO. 11/429,047 (^S人档案号 SCEA-00500); RichardMaiks等人在2006年5月4日申请的、题为"SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING (连同计tm^:处理一起收听选择的声源)"的共 同待决的申请NO. 11/429,133 (代理人档案号SCEA04005US01-SONYP045);以 及Richard Marks等人在2006年5月4日提交的、题为"COMPUTER MAGE AND AUDIO PROCESSING OF INTENSITY AND INPUT DEVICES FOR INTERFACING WITH ACOMPUTER PROGRAM (计^t几图像和W^员的，处理 以及用于与计穀M辨对接的输A^置)"的共同待决的申请NO. 11/429,414 (代 理人档案号SONYP052)，所有的这些的M1^MM31参考并入于此。
Mil識参考，由此将以下申请完全并入于此在2006年5月6日提交的、 题为"MULTI-INPUT GAME CONTROL MXER (多输入的i^戈控制混合器)"的 美国专利申请No. 11/382,031 (代理人档案号SCEA06MXR1);在2006年5月6 日提交的、题为"SYSTEMFORITRACKINGUSER MAMPULATIONS WITHIN ANENYIRONMENT (用于在环境内足跟宗用户操纵的系统)"的美国专禾伸请No. 11/382,032 (代理人档案号SCEA06MXR2);在2006年5月6日提交的、题为"SYSTEH METHOD AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL (用于三维输入控制的系统、方法、和设备)"的美国专利申请No. 11/382,033 (f^i人档案号SCEA06INRTl);在2006年5月6曰提交的、题为 "INERTIALLY TRACKABLE HAND-HELD CONTROLLER(借助惯性可卿宗的手 雑制器)"的美国专禾呻请No. 11/382,035 (^S人档案号SCEA06INRT2);在 2006年5月6日提交的、题为'TVETHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO VISUAL TRACKING (用于应用传动體交娘至诉见微艮 踪的方法和系统)"的美国专利申请No. 11/382,036 (4馆人档案号SONYP058A); 在2006年5月7日提交的、题为"METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO INERTIAL TRACKING (用于应用传动體效应到惯性 足郞宗的方法和系统)"的美国专利申请No. 11/382,041 (代理人档案号 SONYP058B);在2006年5月6日提交的、题为"METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO ACOUSTICAL TRACKING(用于应用传动装 置 她到声学卿宗的方法和系统)"的美国专利申请No. 11/382,038 (代理人档案 号SONYP058C);在2006年5月7日提交的、题为"METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO MULTI-CHANNEL MIXED INPUT (用于应 用传动體 她至哆ffiit混合输入的方法和系统)"的美国专利申请No. 11/382,040 (代理人档案号SONYP058D);在2006年5月6日提交的、题为 ''SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY (用于检测和S服宇J^戈控铜藤主体的用户操纵的方 案)"的美国专利申请No. 11/382,034 (代理人档案号86321 SCEA05082US00); 在2006年5月6日提交的、题为"SCHEME FOR TRANSLATING MOVEMENTS OFAHAND-HELD CONTROLLER INTO INPUTS FORASYSTEM (用于辭持 控制器的运动转换成系统的输入的方案)"的美国专利申请Na 11/382,037 G壊 人档案号86324);在2006年5月7日提交的、题为"DECTECTABLEAND TRACKABLE HAND-HELD CONTROLLER (可检测和可S跟宗的手，維审J^1)" 的美国专利申请No. 11/382,043 "饿人档案号86325);在2006年5月7日提交 的、题为"METHOD FOR MAPPING MOVEMENTS OF AHAND-HELD CONTROLLER TO GAME COMMANDS (用于纟 #^带徵的运动鹏寸至11^戈 命令的方法)"的美国专利申请No. 11/382,039 ({馆人档案号86326);在2006年5月6日提交的、题为"CONTOOLLER WITH INFRARED PORT (具有纟I^卜线 端口的控制器)"的美国设i传利申请No. 29/259,349 (代理人档案号 SCEA06007US00);在2006年5月6日提交的、题为"CONTROLLERWTIH TRACKING SENSORS (带有3贩對专繊的控制器)"的美国设i传利申请No. 29/259,350 (代理人档案号SCEA06008US00);在2006年5月6日提交的、题为 "DYNAMIC TARGET INTERFACE (动态)^j^接口)"的美国专利申请No. 60/798,031 (fW人档案号SCEA06009US00);以及在2006年5月6日提交的、 题为"TRACKED CONTROLLER DEVICE ^跟勃勺控制皿置)"的美国设it^利 申请No. 29/259,348 (代理人档案号SCEA06010US00);所有的这些fflil完整的参 考以此并入于此。
Gaiy Zalewski和Riley R. Russell在2006年5月8日提交的、题为'TROFILE DETECTION (轮廓检测)"的共同待决的美国专利申请NO. 11/430,594 (代理人 档案号SCEA05059US00)的旨披露，通过参考并入于此。
Gary Zalewski和RileyR. Russell在2006年5月8日提交的、题为"USING AUDIO/VISUAL ENVIRONMENT TO SELECT ADS ON GAME PLATFORM (使 用音卿视觉环境以在淑戈平台上选择广告)"的共同待决的美国专利申请NO. 11/430,593 (代理人档案号SCEAJP3.(M)03CIPV)的 ^臓，M31参考并入于 此。
Larsen和Chen在2006年4月10日提交的、题为"SYSTEMAND METHOD FOR OBTAINING USER INFORMATION FROM VOICES (用于从声音获得用户 信息的系统和方法)"的共同待决的美国专利申请No. 11/400,997 (代理人档案号 SCEA05040US00)的齡臓，舰参考并入于此。
GaiyZalewski等人在2006年5月8日提交的、题为"METHODAND APPARATUS FOR USE IN DETERMINING LACK OF USER ACTIVITY IN RELATION TO A SYSTEM (用于确定与系统有关的用户行为的缺少的方法和设 备)"的共同待决的美国专利申请NO. 11/382^259 G锁人档案号86327)的齢 臓，舰参考并入于此。
GaiyZalewski等人在2006年5月8日提交的、题为"METHODAN APPARATUS FOR USE IN DETERMINING AN ACTIVITY LEVEL OF AUSER IN RELATIONTOASYSTEM(用于确定与系统有关的用户行为的行为水平的方法和设备)"的共同待决的美国专禾呻请NO. 11/382,258 (代理人档案号86328)的整 个臓，舰参考并入于此。
Gary Zalewski等人在2006年5月8曰提交的、题为'^HAND-HELD CONTROLLER HA額G DETECTABLE ELEMENTS FOR TRACKING PURPOSES (具有用于卿宗目的的可检测元件的手J維伟iJ^)"的共同待决的美国 专利申请NO. 11/382,251 ({饿人档案号86329)的 ^麟，舰参考并入于此。
在2006年5月8日提交的、题为"TRACKING DEVICE FOR USE IN OBTAINING INFORMATION FOR CONTROLLING GAME PROGRAM EXECUTION (用于获f雜制淑划M^l行的信息的躧f凝)"的共同待决的美 国专利申请NO. 11/382,252 (fta人档案号SCEA06INRT3)的^h臓，Mil参 考并入于此。
在2006年5月8日提交的、题为"TRACKING DEVICE WITH SOUND EMTTER FOR USE IN OBTAINING INFORMATION FOR CONTROLLING GAME PROGRAM EXECUTION (用于获得控律'l^划i^l行的信息的具有声音 鄉器的躑宗凝)"的共同待决的美国专利申请NO. 11/382,256 G壊人档案号 SCEA06ACRA2)的齡臓，舰参考并入于此。
在2006年5月8日提交的、题为"OBTAIMNG INPUT FOR CONTROLLING EXECUTION OF AGAME PROGRAM (获f雜制i^^Mj^l行的输入)"的共同 待决的美国专利申请NO. 11/382,250 (代理人档案号SCEA06COMB)的整个披 露，fflil参考并入于此。
在2006年5月8日提交的、题为"VIDEO GAME CONTROLLER FRONT FACE (正面的视步 ^控制器)"的共同待决的美国设i传利申请NO. 29/246,744 (個人档案号SCEACTR-D3)的齡麟，舰参考并入于此。
在2006年5月8日提交的、题为"VIDEO GAME CONTROLLER(柳M^ 控制器)"的共同待决的美国设i传禾呻请NO. 29/246,743 (代理人档案号 SCEACTRL^D2)的^M爐，il31参考并入于此。
在2006年5月8日提交的、题为"VIDEO GAME CONTROLLER(视步^(戈 控制器)"的共同待决的美国设计专利申请NO. 29/246,767 (代理人档案号 SONYP059A)的^ht臓，fflil参考并入于此。
在2006年5月8日提交的、题为"VIDEO GAME CONTROLLER(视步W^戈控帝腊默'的共同待决的美国设计专利申请NO. 29/246,768 (代理人档案号 SONYP05犯)的^h麟，il31参考并入于此。
在2006年5月8日提交的、题为"ERGONOMC GAME CONTROLLER DEVICE WITH LEDS AND OPTICAL PORTS (具有LED和光端口的人IH^制的 i^戈控制器)"的共同待决的美国设i传利申请NO. 29/246,763 (4壊人档案号 PA3760US)的W"Mffi， M31参考并入于此。
在2006年5月8日提交的、题为"GAME CONTROLLER DEVICE WITH LEDS AND OPTICAL PORTS (具有LED和光端口的^M控制皿置)"的共同待 决的美国设计专利申请NO. 29/246,759 (代理人档案号PA3761US)的整个披露，
舰参考并入于此。
在2006年5月8日提交的、题为'TDESIGN FOR OPTICAL GAME CONTROLLER INTERFACE (用于光^^戈控制器接口的设计)"的共同待决的美 国设i传利申请NO. 29/246,765 (fW人档案号PA3762US)的 ^麟，Mil参 考并入于此。
在2006年5月8日提交的、题为"DUAL GRIP GAME CONTROLLER DEVICE WITH LEDS AND OPTICAL PORTS (具有LED和光端口的OT手柄游 戏控库|皿置)"的共同待决的美国设计专利申请NO. 29/246,766 (代理人档案号 PA3763US)的^W臓，iiai参考并入于此。
在2006年5月8日提交的、题为"GAME INTERFACE DEVICE WITH LEDS AND OPTICAL PORTS (具有LED和光端口的l^戈接口装置)"的共同待决的美 国设计专利申请NO. 29/246,764 (代理人档案号PA3764US)的整个披露，通过参 考并入于此。
在2006年5月8日提交的、题为'^ERGONOMC GAME INTERFACE DEVICE WITH LEDS AND OPTICAL PORTS(具有LED和光端口的人禾鹏制的^7戈接口装 置)"的共同待决的美国设i传利申请NO. 29/246,762 (代理人档案号PA3765US) 的齡臓，舰参考并入于此。
尽管依 发明的特定实施例和应用已经描述了掛頃露的本发明，但是本 领i^^术人员极匕可以进行多种修改和翅，而不偏离权利要求书所阐述的本发 明的范围。
权利要求
1. 一种用于从对象获得输入数据的方法，包括用图像捕获装置捕获该对象的活动图像；从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息；利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像；比较该对象的活动图像与该对象的旋转参考图像；以及，响应于该活动图像匹配该旋转参考图像而产生指示。
2. 依照权利要求1戶腿的方法，其中，除该图像捕获體之外的一个或多个 传^H包括在iM^中的回转仪传li^。
3. 依照权利要求1所述的方法，其中，除该图像捕获體之外的一个或多个 传SI包括在iM^中的加速计。
4. 依照权利要求1所述的方法，其中，ffli^人剤^g中检索i^m的旋转 参考图像来获得i^tm的旋转参考图像。
5. ^m权利要求1戶服的方法，其中，ilil旋转iM^的参考图像来获得该 膽的旋转参考图像。
6. 依照权利要求1臓的方法，进一步包括 il51标准化滤波劉专递iM^的、)^力图像和iM^的旋转参考图像。
7. 傲照权利要求1所述的方法，其中该图像捕获驢包括樹象机。
8.权利要求1戶腐的方法，其中该图像捕获驢包括^摄像机。
9. ^M权利要求1所述的方法，其中Wm包括手赚伟麟。
10. 傲照权利要求1戶做的方法，其中，与iM^的慨斜角有关的信息用来 获得该对象的多个旋转参考图像，并且，i^m的、驗图像与iM^的多个旋转参考图像的每一isa行比较。
11.一种用于^wm中获得输入繊的设备，包搖图像捕获驢，配置为捕^^的、)^力图傲以及基于处理器的系统，配置为从除该图像捕获體之外的一个或多个传S^ 收与该对象的倾斜角有关的信息，禾,与iM^的慨斜角有关的信息获得iMm 的至少一个旋转参考图像，比较iM^的t^力图像与iM^的旋转参考图像，以及，响应于该^^力图像匹配i^定转参考图像而产生指示。
12. 依照权利要求ll所述的设备，其中，除该图像捕获體之外的一个或多 个传^H包括在iM^中的回转仪传自。
13. ^M权利要求11所述的设备，其中，除该图像捕获體之外的一个或多 个传S^包括在iMm中的加速计。
14. 假照权利要求ll所述的设备，其中，Mi^人剤i^g中检索繊的旋转 参考图像来获得iMm的旋转参考图像。
15. 依照权利要求ll所述的设备，其中，1Kl旋转iM^的参考图像来获得 iM^的旋转参考图像。
16. 依照权利要求ll所述的设备，其中，基于处理器的系纟縦~#配置为通过标准化滤波謝专递iMm的^^力图像和i^jm的旋转参考图像。
17. 低照权利要求ll戶腿的设备，其中，该图像捕获體包括摄像机。
18. 依照权利要求ll戶脱的设备，其中，iM^包括科雜伟蹯。
19. 依照权利要求ll戶腿的设备，其中，与iM^的慨斜角有关的信息用来 获得该对象的多个旋转参考图像，并且，iM^的、^^力图像与iM^的多^h旋转 参考图像的每一^Nt行比较。
20. —种存储由基于处理器的系统执行的计算机禾Mj^的存储介质，该计穀几 禾聘弓胞该基于M器的系统执4涉骤，包括从图像捕获，接Wm的所捕获的^^力图像；从除该图像捕获装置之外的一个或多个传lf^收与iM^的慨斜角有关的 禾,与iMm的慨斜角有关的信息获得i^m的至^"个旋转参考图像；比较W^的、;薛力图像与iM^旋转的参考图傲以及，响应于该is^图像匹配该旋转参考图像而产生指示。
21. ^M权利要求20所述的存储介质，其中，除该图像捕获體之外的一个或多个传|§||包括在^^中的回转仪传 。
22. 依照权利要求20所述的存储介质，其中，除该图像捕获體之外的一个 或多个传S^包括在iM^中的加速计。
23. 依照权利要求20戶腿的存储介质，其中，S31^人存^g中麟繊的旋转参考图像来获得wm的旋转参考图像。
24. 依照权利要求20所述的存储介质，其中，MJ定转iMm的参考图像来 获得iM^的旋转参考图像。
25. 依照权利要求20所述的存储介质，其中，计穀MM^进一步配置为弓胞 基于处理器的系统执糊聚，包括M51标准化滤波劉专递iMm的、)f^力图像和iMm的旋转参考图像。
26. 依照权利要求20所述的存储介质，其中该图像捕获驢包括樹斜几。
27. 傲照权利要求20所述的存储介质，其中该图像捕获驢包括Z-衝象机。
28. 依照权利要求20所述的存储介质，其中iM^包括^^串蹯。
29. ^M权利要求20所述的存储介质，其中，与iM^的慨斜角有关的信息 用来获得该对象的多个旋转参考图像，并且，iM^的翻图像与iM^的多个 旋转参考图像的每一佛亍比较。
全文摘要
一种用于从对象获得输入数据的方法，该方法包括用图像捕获装置捕获该对象的活动图像(1402)，从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息(1404)，利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像(1406)，比较该对象的活动图像与该对象的旋转参考图像(1408)，以及，响应于该活动图像匹配该旋转参考图像而产生指示(1410)。同样公开了一种设备和一种存储由基于处理器的系统执行的计算机程序的存储介质。
文档编号H04N7/18GK101548547SQ200880000845
公开日2009年9月30日 申请日期2008年8月14日 优先权日2007年8月16日
发明者G·M·扎列夫斯基, R·马克斯 申请人:索尼电脑娱乐公司