控制虚拟现实的制作方法

专利名称：控制虚拟现实的制作方法
控制虚拟现实相关申请本申请根据35U. S. C. § 119(e)要求在2008年5月沈日提交的美国临时专利申 请61/056，027的权益，其公开通过引用结合于此。发明领域本发明涉及使人类与计算机接口，并任选地使人与计算机成一整体以生成虚拟现实。背景首先，存在鼠标和键盘。并且鼠标和键盘使人类与计算机接口。然而，随着技术地 发展，计算机获得接收和处理数据足以提供丰富的相对复杂、实时的用户应用程序的能力， 这些应用程序使用或要求比由鼠标和键盘所提供的更加无缝和自然地与人类用户接口。作为示例，在使用或要求增强人机接口的熟悉的应用程序当中有使得用户能够 通过与计算机谈话向该计算机输入数据的语音识别服务、蜂窝电话计算机游戏、以及实时 操作的虚拟现实。这些应用程序中的许多要求响应于人作出姿势的图像解释和/或使用人 类姿势的能力或可从该能力获益。结果，相当多的研究精力和资源被投入到开发能够实时 接收视觉数据并处理该数据以识别和解释人类姿势的姿势识别装置和算法中。人类姿势被认为是向他人和/或计算机传达信息的身体语言的任何有意识或无 意识的元素。作为示例，姿势可以是响应于他人和/或计算机而作出的任何有意识或无意 识非面部表情、响应于视频游戏、虚拟现实环境或多媒体演示提供的挑战或刺激而作出的 手或身体姿态或运动。姿势识别技术(GRT)被认为包括配置成对响应于人作出人类姿势的 图像进行识别、解释和/或使用这些姿势的硬件和/或软件技术。概述本发明的一些实施例的一方面涉及提供确定被人用来与计算机交互的对象的空 间位置和/或定向的方法。本发明的一些实施例的一方面涉及形成具有包括第一和第二部分的结构的对象， 该第一和第二部分可用于根据对象的任选的常规2D图像来确定对象的3D空间位置和/或 定向。在本发明的实施例中，在对象的图像中结构的第一部分在结构的第二部分上的投影 提供了对象的定向的指示。任选地，第一和第二部分被用于响应于对象以及对象所处的场 景的3D “深度图”来确定对象的位置和/或定向。根据本发明的一些实施例的方面，对象配备有用于指示该对象位置和/或定向的 基准标记的新颖配置。任选地，使用基准标记来从对象的常规2D图像确定对象的定向。任 选地，基准标记被用于响应于对象和/或对象所处的场景的3D深度图来确定对象的位置和/或定向。本发明的一些实施例的方面涉及确定人的空间位置和身体姿态——也称为“姿 势”，以及使位置和/或姿态与对象的位置和定向成一整体。根据本发明的一些实施例的方面，对象是任选地供下文中称为“战士”的玩家在由合适的计算机生成和控制的星球大战类格斗游戏中使用的光剑的模拟。在本发明的实施例中，任选地使用提供战士的实时视频速率深度图和图像的3D 成像系统来对持握光剑的战士进行成像以提供战士的视频。由计算机处理深度图和/或图 像以根据时间确定光剑的空间位置和定向以及任选的战士的位置和战士的姿势。计算机使 用光剑以及任选的战士的位置和定向来使由计算机控制的合适视频屏幕上呈现的星球大 战格斗游戏中持握光剑的化身活动起来。出于演示方便的目的，为了将战士所持握的光剑与视频屏幕上的化身所持握的光 剑区分开，化身的光剑通常被称为“化身光剑”，而战士光剑通常被称为“战士光剑”。任选地，战士光剑包括手柄、称为“剑锷(tsuba) ”的防护手板、以及光剑“短杆 (stub-shaft) ”。手柄和光剑短杆任选地为基本圆柱形，并且共享在下文中称为“光剑轴” 的公共轴。剑锷位于光剑短杆与手柄之间的光剑轴上，并且从光剑轴向外延伸，以使得从可 观看光剑的各个视点看来，短杆被投影在剑锷的至少一部分上，即形成阴影。任选地，剑锷 被形成为具有与光剑轴基本上垂直的平面区。任选地，平面区被表征为相对于光剑轴轴对 称。任选地，平面区是圆形的。在从对光剑进行成像的3D成像系统的视点获得的光剑的图 像中，短杆在剑锷上的投影提供光剑的定向的指示。一般而言，光剑的定向影响剑锷在光剑 的图像中的形状，并且任选地所成像的形状被用于确定光剑的定向。任选地，短杆和剑锷的表面区域被制成使得相对容易地确定短杆在剑锷上的投 影。任选地，剑锷和短杆的表面区域被配置成具有足够不同的反射率，以便帮助辨别战士光 剑的图像中的投影。在本发明的实施例中，剑锷的表面区域被覆盖或形成为对于用于对光 剑进行成像的光具有相对较高的反射率。在本发明的实施例中，光剑被设置为具有在光剑的图像中相对容易标识的至少一 个反射基准。所标识的至少一个基准被用来响应于图像中的至少一个明亮基准的位置和定 向确定光剑的空间位置和/或定向。任选地，在下文中也称为“明亮基准”的至少一个反射基准包括一反射元件，该反 射元件形成为使得该元件在由来自位于相机附近的光源的光照明时看起来具有基本相同、 相对强烈的亮度。任选地，明亮基准包括球形区域，该球形区域位于光剑短杆的尖端且具有 基本上位于沿光剑轴的中心。任选地，至少一个反射基准包括环形区域，该环形区域具有与 光剑轴基本一致的旋转轴。在本发明的实施例中，响应于至少一个明亮基准的反射率来标 识该至少一个明亮基准。任选地，响应于由3D成像系统提供的战士和光剑的深度图和图像 所提供的数据来确定反射率。在本发明的实施例中，出于使用方便和安全性的目的，战士光剑短杆相对较短，且 任选地小于或等于约30cm。任选地，战士光剑包括由战士操作以向计算机提供指示激活战 士光剑的信号的激活机构。当未被激活时，化身光剑被示为具有“模仿”战士光剑的短杆的 短杆。当被激活时，化身光剑被示为具有从化身光剑剑锷延伸出并替代短杆的相对较长的 “光刃”。任选地，激活机构包括一机械机构，该机械机构能操作用于提供由3D成像系统检 测到以提供激活战士和化身光剑的信号的视觉提示。任选地，激活机构包括操作成通过按 压战士光剑手柄上的按钮开关或通过向手柄施加压力来激活战士和化身光剑的电路。任选 地，激活电路包括当操作激活电路时变成开启以指示光剑被激活的光。任选地，计算机响 应于对战士和战士光剑进行成像的成像系统所提供的图像确定电路工作且光被开启。任选6地，激活电路包括在激活战士光剑时传送能被耦合至计算机的合适接收器接收到的诸如RF 信号等“激活”信号的发射器。在本发明的一些实施例中，战士光剑的光剑短杆被配置成装配有模拟光刃的相对 较长的延伸部分。任选地，该延伸部分是由合适的轻型但坚硬的材料——诸如聚氨酯—— 制成的管。该管被形成为具有内腔，以使得其能够牢固地安装到战士光剑的短杆。任选地， 制作延伸部分的材料基本上是半透明的和/或是用合适的半透明材料填充的，并且光剑包 括光源。当激活光剑时，延伸部分沿着其长度被明显照亮，从而提供光刃效果。因此，根据本发明的实施例提供了一种使人与计算机接口的方法，该方法包括向 所述人提供设备，该设备具有具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且 面向所述杆的第一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；获得设备的 图像；响应于图像确定设备的定向；以及响应于定向由计算机生成动作。任选地，确定定向包括确定杆在剑锷上的投影。作为补充或替代，确定定向任选地包括相对于剑锷的已知形状确定图像中的剑锷 的形状。任选地，剑锷具有圆形周边。任选地，确定图像中的剑锷的形状包括确定图像中的 形状的长轴和短轴。在本发明的某一实施例中，方法包括响应于所确定的形状确定设备的3D空间坐 标。在本发明的某一实施例中，方法确定定向包括确定轴相对于坐标系的极角。任选 地，确定极角包括在确定极角时消除简并度。在本发明的某一实施例中，方法确定定向包括 确定轴的方位角。在本发明的某一实施例中，确定定向包括为图像中的设备的三个区域中的每一 个确定3D空间坐标；确定坐标是否基本上位于同一直线上；以及使用坐标来确定定向。在本发明的某一实施例中，方法包括将杆的表面与剑锷的第一表面设置成具有相 对增强的对比。任选地，提供相对增强的对比包括将剑锷的表面设置成具有相对较高的反 射率。作为补充或替代，提供相对增强的对比任选地包括将杆的表面设置成具有相对较低 的反射率。在本发明的某一实施例中，方法包括将设备设置成具有用于帮助定位设备的特征 的至少一个基准标记。任选地，至少一个基准标记包括在杆的端处的相对明亮的反射基准。 任选地，方法包括将在杆的端处的基准配置成具有基本上相同的亮度，而不管设备的定向。 作为补充或替代，在杆的端处的基准任选地包括高反射率的球形表面。在本发明的某些实 施例中，至少一个基准标记包括沿着剑锷的周边的高反射率区域。在本发明的某些实施例中，获得图像包括获得设备的3D深度像。在本发明的某些实施例中，获得图像包括获得设备的对比图像。在本发明的某些实施例中，由计算机生成动作包括使化身活动起来。任选地，化身 位于虚拟现实中。任选地，使化身活动起来包括使化身活动起来以与虚拟现实的元素进行 交互。在本发明的某些实施例中，方法包括确定人的3D空间坐标。任选地，确定空间坐 标包括获得人的3D深度图像以及使用深度图像来确定坐标。作为补充或替代，方法包括响 应于所确定的坐标确定化身在虚拟现实中的位置。
在本发明的某些实施例中，方法包括确定人的姿势。任选地，确定姿势包括获得人 的3D深度图像以及使用深度图像来确定姿势。作为补充或替代，方法包括响应于所确定的 人的姿势确定化身的姿势。在本发明的某些实施例中，化身是虚拟现实中的第一化身，而元素是在虚拟现实 中操作的第二化身。任选地，响应于人的动作来使第二化身活动起来。任选地，根据本发明 的实施例使第二化身活动起来。在本发明的一些实施例中，虚拟现实是计算机游戏的现实。任选地，第一和第二化 身在计算机游戏中进行相互格斗。任选地，格斗是模拟的星球大战格斗。根据本发明的实施例还提供了一种包括用于根据前述要求中的任一方法配置计 算机来与人交互的指令集的计算机可读介质。根据本发明的实施例还提供了一种用于与人交互的系统，该系统包括人类操作 设备，其具有具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且面向所述杆的第 一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；成像设备，用于获得所述设 备的成像数据；以及计算机，其被配置成接收成像数据以及处理接收到的数据以确定设备 的定向并响应于定向生成动作。任选地，系统包括包含用于配置计算机以处理接收到的数据的指令集的计算机可 读介质。作为补充或替代，系统包括包含用于配置计算机以生成动作的指令集的计算机可 读介质。任选地，由计算机生成动作包括使化身活动起来。任选地，化身位于虚拟现实中。 任选地，使化身活动起来包括使化身活动起来以与虚拟现实的元素进行交互。任选地，化身 是虚拟现实中的第一化身，而元素是在虚拟现实中操作的第二化身。任选地，响应于人的动 作来使第二化身活动起来。根据本发明的实施例还提供了一种使人与计算机接口的方法，该方法包括向人 提供设备，该设备具有人站立于其上的平台；平台安装在其上的一组平衡环，这一组平衡 环使得人能够通过在平台上移动他或她的体重来改变平台的定向；以及至少一个基准标 记；获得至少一个基准标记的图像；响应于图像确定设备的定向；以及响应于定向由计算 机生成动作。任选地，至少一个基准包括沿着平台的边缘的基准。任选地，至少一个基准包 括两个基准标记。任选地，两个基准标记包括由沿着未用基准作标记的边缘的相对较小的 区域分隔的至少两个相对靠近的基准标记。附图简述以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限 制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中 用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择 的，并且不一定按比例显示。图IA示意性地示出了根据本发明的实施例的持握光剑的战士的透视图；图IB示意性地示出了根据本发明的实施例的由图IA中的战士持握的光剑的放大 透视图；图IC示意性地示出了根据本发明的实施例的从与图IB中所示的不同的角度的由 图IA中的战士持握的光剑；8
图2A-2F示意性地示出了根据本发明的实施例的绕着同一 y轴旋转过各个角度的 图IB中所示的光剑以及光剑的短杆在光剑的剑锷的投影和/或光剑的明亮基准(可如何 被用来确定光剑的定向；图3A-3E示意性地示出了根据本发明的实施例的绕着同一 χ轴旋转过各个角度 的图IB中所示的光剑以及光剑的短杆在光剑的剑锷上的投影可如何被用来确定光剑的定 向；图4A-4F示意性地示出了根据本发明的实施例的绕着χ轴和y轴旋转过各个角度 的图IB中所示的光剑以及光剑的短杆在光剑的剑锷上的投影可如何被用来确定光剑的定 向；图5示出了根据本发明的实施例的确定战士光剑的位置和定向的方法的流程图；图6示意性地示出了根据本发明的实施例的由两个战士发动的虚拟现实星球大 战格斗；图7示意性地示出了根据本发明的实施例的安装有光刃的光剑；以及图8A-8C示意性地示出了根据本发明的实施例的滑板以及滑板上可用来确定滑 板的定向的明亮基准。详细描述图IA示意性地示出了根据本发明的实施例的玩家，即持握光剑30并加入星球大 战类光剑战斗的战士 21，光剑30在图IB中被大大放大。战士 21任选地与包括具有光轴 53的3D成像系统52的游戏系统50交互，该成像系统以每秒至少30幅图像和深度图的视 频速率提供战士的深度图以及图像。本领域中所知的各种合适的视频成像系统和3D相机中的任一个可被包括在3D 成像系统52中，用来提供战士 21的视频速率图像和深度图。任选地，3D成像系统52是选 通3D成像系统，该选通3D成像系统包括用于提供任选的常规场景图像的成像相机和用于 提供场景的深度图的选通飞行时间3D相机。选通飞行时间3D相机的各种类型和配置以 及对这些相机进行选通的方法在美国专利6，057，909,6, 091，905,6, 100，517,6, 445，884、 7224384、美国专利公开 2007/0091175、PCT 申请 IL2007/001571、以及欧洲专利 EP1214609 中进行了描述，它们的公开通过援引纳入于此。为了使用所引用的专利和申请中所描述的 选通3D相机对场景进行成像并确定至场景中的对象的距离，使用从与相机的选通同步的 合适光源辐射出的一系列任选的顶光脉冲来对场景进行照明。对于该系列中的每一辐射 光脉冲，在从辐射出该光脉冲的时间准确确定的延迟之后，在一段时间内将相机选通为打 开，这段时间在此后被称为“门”。如果来自从场景中的对象反射的光脉冲的光在该门期间 到达相机，则它在相机的光敏面上成像。由相机光敏面中的像素在门期间记录的光量被用 于确定至在像素上成像的对象的距离。合适计算机M从3D成像系统52接收图像和深度图，并处理由图像和深度图提供 的数据以使表示光剑格斗中的战士 21的化身(未在图IA中示出)活动起来。计算机控制 合适视频屏幕阳以显示战士的化身以及表示战士在光剑战斗中的对手的化身的一化身即 “对手化身”(未在图IA中示出)。任选地，计算机M生成对手化身而无需求助于真实战士 对手。在本发明的一些实施例中，对手化身是响应于另一“真实”玩家即战士对手而生成的，该另一“真实”玩家与同游戏系统50相类似的游戏系统进行交互且由与对战士 21成像 的3D成像系统相类似的3D成像系统来成像。两个游戏系统的计算机M彼此通信，以使得 响应于战士 21而活动起来的化身和对手化身位于在战士和对手战士各自的视频屏幕55上 呈现给他们的公共虚拟星球大战现实中并在其中交互。战士和对手战士的交互在图6中例 示并在以下进行讨论。参看在图IB中示意性地示出的光剑30的放大图，出于演示方便的目的，该光剑包 括手柄31、防护手板即剑锷32、以及沿其具有弧的长度标记的光剑“短杆” 33。手柄31和 光剑短杆33任选地为基本锁骨圆柱形，并且共享在下文中称为“光剑”轴的公共轴36。剑 锷沿着光剑轴36位于光剑短杆33与手柄31之间，并且从光剑轴向外延伸。任选地，剑锷 32被形成为具有与光剑轴基本上垂直的平面区37。任选地，平面区被表征为相对于光剑轴 轴对称。任选地，平面区是圆形的。作为示例，在战士光剑33中，剑锷32是圆盘形状的。任选地，手柄31包括激活按钮39，该激活按钮可控制用于操作具有包括在手柄中 的发射器(未示出)的激活电路。按压激活按钮39以操作发射器来向计算机M传送合适 信号，诸如光或RF信号，用于向计算机指示光剑被激活。一旦激活，计算机在由计算机显示 在视频屏幕阳上的与光剑30相对应的化身光剑中开启相对长的光刃。在本发明的一些实施例中，剑锷32被设置成具有对于确定光剑的定向而言有益 的基准标记配置，这些基准标记高度反射用于对战士光剑30成像的任选顶光，并提供光剑 的深度图。任选地，剑锷32在该剑锷面向短杆33的一侧上的基本全部表面积高度反射用 于对剑成像的光。任选地，剑锷32的边缘上或剑锷面向手柄31的一侧上的表面积的至少 一部分是高度反光的。在本发明的实施例中，短杆33的表面具有比表征剑锷32的高度反射表面区的反 射率小的反射率，但是短杆确实包括位于短杆远离剑锷32的一端的高度反射明亮基准。短 杆明亮基准对于确定光剑30的位置和/或定向而言会是有益的。任选地，明亮标准包括附 连至短杆的一端的主体的高度IR(任选的)反射率的球面34。任选地，手柄31的表面具有比表征剑锷32的高度反射表面区的反射率小的反射 率，但是确实包括位于手柄远离剑锷32的一端处的高度反射明亮基准——这对于确定光剑 30的位置和/或定向而言会是有益的。任选地，手柄明亮基准包括高度任选顶反射率圆柱 形表面38。任选地，手柄明亮基准包括在图IC中示意性示出的环形表面40。根据本发明的实施例，在从3D成像系统52的视点获得的战士光剑30的图像中 短杆33在剑锷32上的投影被用于提供战士光剑的位置和/或定向。一般而言，战士光剑 30的定向影响剑锷在光剑的图像中的形状，并且任选地所成像的形状被用于确定光剑的定 向。对于战士光剑30的给定定向，剑锷32在图像中的大小可被用于确定光剑的位置。任 选地，短杆明亮基准34的位置被用于提供战士光剑30的位置和/或定向。任选地，手柄明 亮基准38和/或40的位置用于提供光剑的位置和/或定位。作为示例，图2A-4F示出了在假定战士光剑基本上沿着3D成像系统52的光轴53 定位以及光轴与相对于地面的法线——即垂线——成大约的角的情况下，由图IA中 的战士 21持握的战士光剑30的示意透视图。在图IA中示意性地指示了光轴与垂直地面 所成的角。附图示意性地示出了根据本发明的实施例旋转过各个角度的战士光剑30，并用 图形指示光剑的短杆33在光剑的剑锷上的投影和/或光剑明亮基准34和/或38的图像可如何被用来确定光剑的定向。附图还用图形指示剑锷和明亮基准的图像可如何被用来确 定战士光剑30距3D成像系统52的距离。图2A-2F示意性地示出了绕着同一 y轴旋转过各个角度的战士光剑30。图2A示意性地示出了光剑轴36基本上垂直于地面的被竖直地持握的战士光剑30 的透视图。假定图2A中的光剑轴36沿着坐标系的ζ轴，该坐标系具有在图2A中所指示的 与剑锷32面向短杆33的表面共面的χ轴和y轴。图2B-2F示意性示出了绕着图2A所示 的y轴分别旋转角度20°、40°、50°、60°和90°的光剑30的透视图。在图2B-2F中，光 剑不绕着χ轴旋转。在每幅附图下面示出的是战士光剑的剑锷32、其短杆明亮基准34和手柄明亮基 准38的图像。在剑锷下方示出了战士光剑旋转的旋转角。对于每幅附图，从对应于由3D 成像系统52对光剑进行成像并且附图中示出的旋转角的剑锷移除战士光剑的短杆33在光 剑的剑锷32上的投影。从剑锷移除的区域是在附图中对战士光剑进行成像的角度下剑锷 上为短杆所遮蔽的部分，因此出于演示方便的目的将其移除以清楚地示出投影对战士光剑 定向的相关性。如以上所示的，根据本发明的实施例，短杆33具有与剑锷32的表面形成对 比的表面，以使得在由3D成像系统52所获得的战士光剑30的图像中相对容易识别剑锷上 为短杆所遮蔽的部分。从图2A-2F中可以看到，根据本发明的实施例，易于从短杆33在剑锷32上的投影 辨别光剑30在附图中旋转的各个旋转角。还可看到，根据本发明的实施例，短杆明亮基准 34和手柄明亮基准33的图像也提供了可用于确定战士光剑30的位置和/或定向的信息。根据本发明的实施例，剑锷32的成像形状被用于确定光剑30的定向。从图2A-2F 中所示的剑锷32的图像可看到，尽管剑锷任选地为圆形，但是假定图像中各种不同的椭圆 形状取决于光剑30的3D空间定位，且图像中椭圆形状的定向也取决于光剑定向。任选地 根据光剑的图像中剑锷32的长轴的大小与剑锷的实际直径之间的比值来确定战士光剑30 距3D成像系统52的距离。图3A-3E类似于图2A-2F，且示出了仅绕着图3A中所示的χ轴的旋转的光剑30的 透视图。在每幅附图中的光剑下方，示出了这样的光剑剑锷32 其缺少剑锷上对应于在3D 成像系统52对光剑进行成像且在附图中示出的角度下光剑的短杆33的投影的部分。再次 看到，根据本发明的实施例，可易于从剑锷32的图像辨别图3Α-3Ε中所示的光剑的各个定 向。图4A-4F示出了绕着χ轴和y轴两者旋转的战士光剑30的透视图。如图2A-2F 中那样，在每幅附图4A-4F中，在光剑的下方示出了移除投影的光剑剑锷32，并且在剑锷下 方，示出了旋转的角度。从这些附图中看到，可易于根据光剑的短杆在该光剑的剑锷上的投 影来辨别战士光剑30的定向。图5示出了根据本发明的实施例的用于确定战士光剑30的位置和定向的算法300 的流程图。在第一框302中，3D成像系统52获得战士光剑30 (

图1A-1C)的任选的顶强度 图像以及光剑的深度图。在框304，计算机M任选地处理图像以定位图像中作为剑锷32、 短杆明亮基准34和手柄明亮基准38和/或40的候选的区域。表征剑锷的表面和明亮基 准的相对高的顶反射率有助于对作为剑锷和明亮基准的候选的图像区域进行定位。一旦定位了三个候选图像区域，则任选地在框306，用剑锷32、短杆明亮基准34和手柄明亮基准 38或39中不同的一个来标识每个候选区域。不仅仅是任选地基本上不同形状的剑锷、短杆明亮基准和手柄明亮基准有助于用 剑锷32、短杆明亮基准34或者手柄明亮基准38或39对候选区域进行标识。根据本发明的 实施例，剑锷32与短杆明亮基准34之间的距离不同于剑锷与手柄明亮基准38和/或40 之间的距离。在战士光剑30的图像中，剑锷32的图像将总是位于短杆明亮基准34的图像 与手柄明亮基准38和/或40的图像之间。并且一般而言，剑锷32与短杆明亮基准34及 手柄明亮基准38或39之间的不同实际距离对应于光剑的图像中它们的相应图像之间的不 同距离。结果，候选图像区域之间的不同距离可以且任选地被用于帮助用光剑30的特征对 候选区域进行标识。在框308，任选地，每个候选区域用于为作为光剑30的候选的特征确定位于战士 光剑30的轴36上的中心点。例如，如果图像区域看起来是剑锷32的候选，则候选区域被 用于确定剑锷的中心点。在框310，测试中心点以确定它们是否满足位于同一直线上的预定准则。如果确定 它们被确定为位于同一直线上，则算法300任选地前进至框312。在框312，至沿着深度图 所提供的直线的各点的距离可被用于确定战士光剑30距3D成像系统52的距离。任选地， 该距离是框308中为剑锷32确定的中心点的距离。任选地，该距离是沿着为中心点确定的 直线的各点距离的平均值。在框314，响应于所确定的距离、3D成像系统52的光学模型以及光剑的图像确定 战士光剑轴36 (图1B)与3D成像系统52的光轴53所成的极角“ θ ”。注意，极角θ被确 定为落在2阶简并度内，S卩，对于给定图像，极角θ存在两个解，一个对应于短杆明亮基准 34(图1Β)较靠近3D成像系统52，而一个对应于明亮基准较远离成像系统。根据本发明 的实施例，剑锷32以及明亮基准34和38和/或40的配置被用于确定采用哪个解。在框 316，响应于光剑的图像中剑锷32以及明亮基准34和38的配置来确定光剑轴36相对于光 轴36的方位角φ。如果在判定框306没有标识三个候选图像区域，或者如果在框310候选图像区域 的中心被确定为不在同一直线上，则算法300任选地前进至判定框318。在判定框318，作 出战士光剑30的图像中是否存在适用于确定极角θ和方位角φ的剑锷32的候选区域的判 断。如果找到这样的候选，则在框320，使用用剑锷标识的候选图像区域的配置以及用明亮 基准标识的图像区域(若其存在)来确定极角θ和方位角φ。如果在框318，作出未找到剑锷318的合适候选的判定，则放弃处理所获得的图像 和深度图来确定战士光剑30的位置和定向，并且算法返回到框302以获得另一图像和深度 图。图6示意性地示出了战士 21加入与也配备有游戏系统50且挥舞光剑130的另一 战士 121的光剑战斗。出于演示方便的目的，插页181示出了游戏系统50中包括的视频屏 幕55的放大图像55*。根据本发明的实施例，放大屏幕55*示出了战士 21和121在其各自 的游戏系统屏幕上所看到的内容。各个战士 21和121的3D成像系统52根据3D成像系统 所提供的3D图像以及如以上所描述的这些战士的光剑30和130的3D空间位置和定向确 定战士的3D空间位置以及任选的他们的身体姿态。12
每个计算机M向其他计算机传送成像、位置和定向数据，以使得计算机能够生成 在视频屏幕阳上所示的化身22和122所栖身的公共、独立、一致的虚拟现实星球大战现 场，这些化身是分别响应于战士 21和121的运动而活动起来的。化身22和122分别挥舞 在视频屏幕阳上示出的化身光剑31和131。当战士 21或121分别在光剑30或130上激 活他或她的激活按钮39 (图1B)时，相应的战士光剑31或131发出激活的光刃32或132。 可使由其相应战士 21或121激活的光剑31或131活动起来，以相应地通过相应战士恰当地 移动或挥舞光剑30或130来击打或杀伤对手战士化身122或22。如果对手化身战士 121 或21足够灵巧以恰当地相应地挥舞他或她的光剑130或30，则由化身22或122传递的击 打也可被对手化身122或22挡开。响应于化身在视频屏幕55上所显示的虚拟现实星球大 战格斗中的位置和运动，战士 21或121使化身22或122以及化身光剑31或131活动起来。 使用本领域中所知各种方法中的任一种，诸如通过使用适当的ζ缓冲区来确定虚拟现实星 球大战现场中化身与对象之间的接触，诸如化身光剑31和131与对手化身122和22之间 的接触。注意，存在用于显示虚拟现实现场以及栖息于该现场中的化身的各种方法和格 式。在图6中，每个战士 21和121仅仅看见其他或她自己的化身的一部分，并且如同就在 战士眼前一般观察化身的光刃。当然可使用呈现虚拟现实和化身的其他方法，并且会是有 益的。例如，每个计算机M可控制其相应视频屏幕来显示所有两个化身。在本发明的一些实施例中，光剑——诸如类似于光剑30的光剑——被配备成接收 轻型模拟光刃，且光剑包括用于在激活光剑时点亮光刃的合适光源。图7示意性地示出了 安装有套在光剑短杆203上的轻型光刃202的光剑200。光刃202是由漫射并反射光的材 料制成，并且光剑200包括光源204，当光源开启时导致这段光刃202发光。例如，光刃202 任选地形成为具有扩散地散播光的内壁的聚氨脂管。任选地，光刃202包括外部地安装到 光刃的环形的明亮基准206。图8A-8C示意性地示出了根据本发明的实施例的具有用于确定滑板的定向的明 亮基准标记401和402的滑板400。每幅附图示出了 3D成像系统52中包括的示意性光敏 面420，滑板是在该光敏面上被成像的。对应于滑板400的不同定向，在光敏面420上示出 明亮基准标记401和412的示意性图像411和412。图8A示意性地示出了光敏面420上的 明亮基准401和402的图像如何随滑板400的偏航角的改变而改变。图8B示意性地示出 了光敏面420上的明亮基准401和402的图像如何随滑板400的倾斜的改变而改变。图8C 示意性地示出了光敏面420上的明亮基准401和402的图像如何随滑板400的滚转角的改 变而改变。注意，以上涉及的滑板当然不必是真实的滑板，而是可以是任何合适的滑板模拟 器。例如，模拟器任选地包括具有类似于滑板形状的形状的板，但是不是安装在轮子上，而 是任选地安装在一组平衡环上，这使得使用该模拟器的人能够模拟滑板上的运动。在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的 每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的成员、组 件、元素、或部分的排他列表。参考作为示例来提供并且不旨在限制本发明的范围的本发明各实施例来描述了 本发明。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。本发明的一些实施例只利用部分特征或特征的可能组合。本领域的技术人员会想到 所描述的本发明的各实施例的以及本发明的各实施例的、包括与在所描述的各实施例中记 录的不同的特征组合的变型。本发明的范围只由所附权利要求书来限定。
权利要求
1.一种用于使人与计算机接口的方法，所述方法包括 向所述人提供设备，所述设备具有具有轴的杆；剑锷，其被连接到所述杆并且具有从所述轴向外延伸且面向所述杆的第一侧；以及手柄，在所述剑锷的第二侧上，所述第二侧与所述第一侧相对；获得所述设备的图像；响应于所述图像确定所述设备的定向；以及响应于所述定向由所述计算机生成动作。
2.如权利要求1所述的方法，其特征在于，确定定向包括确定是杆在所述剑锷上的投影。
3.如权利要求1或权利要求2所述的方法，其特征在于，确定定向包括相对于所述剑锷 的已知形状确定所述图像中的所述剑锷的形状。
4.如权利要求3所述的方法，其特征在于，所述剑锷具有圆形周边。
5.如权利要求4所述的方法，其特征在于，确定所述图像中的所述剑锷的所述形状包 括确定所述图像中的所述形状的长轴和短轴。
6.如权利要求3-5所述的方法，其特征在于，包括响应于所确定的形状确定所述设备 的3D空间坐标。
7.如权利要求1-6中的任一项所述的方法，其特征在于，确定定向包括确定所述轴相 对于坐标系的极角。
8.如权利要求7所述的方法，其特征在于，确定极角包括在确定所述极角时消除简并度。
9.如权利要求1-8中的任一项所述的方法，其特征在于，确定定向包括确定所述轴的 方位角。
10.如权利要求1-9中的任一项所述的方法，其特征在于，确定定向包括 为所述图像中的所述设备的三个区域中的每一个确定3D空间坐标； 确定所述坐标是否基本上位于同一直线上；以及使用所述坐标来确定所述定向。
11.如前述权利要求中的任一项所述的方法，其特征在于，包括将所述杆的所述表面与 所述剑锷的所述第一表面设置成具有相对增强的对比度。
12.如权利要求11所述的方法，其特征在于，设置相对增强的对比度包括将所述剑锷 的所述表面设置成具有相对高的反射率。
13.如权利要求11或权利要求12所述的方法，其特征在于，设置相对增强的对比度包 括将所述杆的所述表面设置成具有相对低的反射率。
14.如前述权利要求中的任一项所述的方法，其特征在于，包括将所述设备设置成具有 用于帮助定位所述设备的特征的至少一个基准标记。
15.如权利要求14所述的方法，其特征在于，所述至少一个基准标记包括在所述杆的 一端处的相对明亮的反射基准。
16.如权利要求15所述的方法，其特征在于，将在所述杆的所述一端处的所述基准配 置成具有基本上相同的亮度，而不管所述设备的定向。
17.如权利要求15或权利要求16所述的方法，其特征在于，所述杆的所述一端处的所 述基准包括高反射性球面。
18.如权利要求14-17中的任一项所述的方法，其特征在于，所述至少一个基准标记包 括沿着所述剑锷的所述周边的高反射性区域。
19.如权利要求1-18中的任一项所述的方法，其特征在于，获得图像包括获得所述设 备的3D深度像。
20.如权利要求1-19中的任一项所述的方法，其特征在于，获得图像包括获得所述设 备的对比图像。
21.如前述权利要求中的任一项所述的方法，其特征在于，由所述计算机生成动作包括 使化身活动起来。
22.如权利要求21所述的方法，其特征在于，所述化身位于虚拟现实中。
23.如权利要求22所述的方法，其特征在于，使所述化身活动起来包括使所述化身活 动起来以与所述虚拟现实的元素交互。
24.如前述权利要求中的任一项所述的方法，其特征在于，包括确定人的3D空间坐标。
25.如权利要求M所述的方法，其特征在于，确定空间坐标包括获得所述人的3D深度 图像以及使用所述深度图像来确定所述坐标。
26.如权利要求M或权利要求25所述的方法，其特征在于，包括响应于所确定的坐标 确定所述化身在所述虚拟现实中的位置。
27.如前述权利要求中的任一项所述的方法，其特征在于，包括确定所述人的姿势。
28.如权利要求27所述的方法，其特征在于，确定姿势包括获得所述人的3D深度图像， 以及使用所述深度图像来确定姿势。
29.如权利要求27或权利要求观所述的方法，其特征在于，包括响应于所确定的所述 人的姿势确定所述化身的姿势。
30.如权利要求23-29中的任一项所述的方法，其特征在于，所述化身是所述虚拟现实 中的第一化身，而所述元素是在所述虚拟现实中操作的第二化身。
31.如权利要求30所述的方法，其特征在于，所述第二化身是响应于人的动作而活动 起来的。
32.如权利要求31所述的方法，其特征在于，所述第二化身根据权利要求21-31中的任 一项而活动起来。
33.如权利要求30-32中的任一项所述的方法，其特征在于，所述虚拟现实是计算机游 戏的现实。
34.如权利要求31所述的方法，其特征在于，所述第一和第二化身在所述计算机游戏 中进行彼此格斗。
35.如权利要求32所述的方法，其特征在于，所述格斗是模拟的星球大战格斗。
36.一种包括用于根据前述权利要求中的任一项的方法配置计算机来与人接口的指令 集的计算机可读介质。
37.一种用于与人接口的系统，包括人类操作设备，其具有具有轴的杆；剑锷，其被连接到所述杆并且具有从所述轴向外延伸且面向所述杆的第一侧；以及 手柄，在所述剑锷的第二侧上，所述第二侧与所述第一侧相对； 成像装置，用于获得所述设备的成像数据；以及计算机，其被配置成接收所述成像数据以及处理所述接收到的数据以确定所述设备的 定向并响应于所述定向生成动作。36.如权利要求35所述的系统，其特征在于，包括计算机可读介质，所述计算机可读介 质包括用于配置所述计算机来处理所述接收到的数据的指令集。37.如权利要求35或权利要求36所述的系统，其特征在于，包括计算机可读介质，所述 计算机可读介质包括用于配置所述计算机来生成所述动作的指令集。
38.如权利要求37所述的系统，其特征在于，由所述计算机生成动作包括使化身活动 起来。
39.如权利要求38所述的系统，其特征在于，所述化身位于虚拟现实中。
40.如权利要求39所述的系统，其特征在于，使所述化身活动起来包括使所述化身活 动起来以与所述虚拟现实的元素交互。
41.如权利要求40所述的系统，其特征在于，所述化身是所述虚拟现实中的第一化身， 而所述元素是在所述虚拟现实中操作的第二化身。
42.如权利要求41所述的系统，其特征在于，所述第二化身是响应于人的动作而活动 起来的。
43.一种用于使人与计算机接口的方法，所述方法包括 向所述人提供设备，所述设备具有所述人站立于其上的平台；所述平台安装在其上的一组平衡环，所述一组平衡环使得所述人能够通过在所述平台 上移动他或她的体重来改变所述平台的所述定向；以及 至少一个基准标记； 获得所述至少一个基准标记的图像； 响应于所述图像确定所述设备的定向；以及 响应于所述定向由所述计算机生成动作。
44.如权利要求43所述的方法，其特征在于，所述至少一个基准包括沿着所述平台的 边缘的基准。
45.如权利要求44所述的方法，其特征在于，所述至少一个基准包括两个基准标记。
46.如权利要求45所述的方法，其特征在于，所述两个基准标记包括由沿着未用基准 作标记的所述边缘的相对较小的区域分隔的至少两个相对靠近的基准标记。
全文摘要
一种用于使人与计算机接口的方法，该方法包括向人提供设备，该设备具有具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且面向杆的第一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；获得设备的图像；响应于图像确定设备的定向；以及响应于定向由计算机生成动作。
文档编号G06F3/033GK102047201SQ200980119492
公开日2011年5月4日 申请日期2009年5月26日 优先权日2008年5月26日
发明者M·马德, S·卡茨 申请人:微软国际控股私有有限公司