利用移动装置的虚拟现实和增强现实控制的制作方法

利用移动装置的虚拟现实和增强现实控制的制作方法
【专利摘要】公开了一种用于将来自用户的物理输入转换为虚拟现实或增强现实环境中的动作的系统和方法。具体实施例包括：从图像捕获子系统中接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；接收该图像捕获子系统的位置和方位数据，所述位置和方位数据表示该参考数据的另一部分；当物理输入被应用至该跟踪子系统时，通过数据处理器的使用，测量相对于该参考数据的空间关系的改变；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
【专利说明】利用移动装置的虚拟现实和増强现实控制
[0001] 优先权专利申请
[0002] 这是要求于2015年2月10日提交的序列号为第62/114,417号的共同未决美国临时 专利申请的优先权的非临时专利申请。本非临时专利申请要求所引用的临时专利申请的优 先权。所引用专利申请的整个公开被当作本申请的公开的一部分并因此通过引用整体结合 在此。
技术领域
[0003] 本公开一般地涉及虚拟现实系统和方法。更具体地，本公开涉及用于将来自用户 的物理输入转换为虚拟现实或增强现实环境中的动作的系统和方法。
【背景技术】
[0004] 随着消费电子产品的激增，可穿戴技术被重新聚焦，其包括例如结合增强现实 (AR)或虚拟现实(VR)技术的可穿戴计算机或装置的创新。AR和VR技术两者都涉及为消费者 提供体验内容的全新方式的计算机生成的环境。在增强现实中，计算机生成的环境叠加在 现实世界上(例如，在谷歌眼镜(Google Glass)?中）。相反，在虚拟现实中，用户沉浸在该计 算机生成的环境中（例如，通过虚拟现实耳机例如Oculus Rift?)。
[0005] 然而，现有的AR和VR装置具有一些缺点。例如，AR装置通常被限制于显示信息，并 且可以不具备检测真实世界物理输入(例如用户的手势或运动）的能力。另一方面，VR装置 通常是笨重的且需要连接至电源的电线。具体地，所述线会约束用户的移动性，并且给用户 的虚拟现实体验带来负面影响。

【发明内容】

[0006] 示例实施例至少解决了在现有增强现实和虚拟现实装置中的上述缺点。在各种示 例实施例中，公开了利用移动装置进行虚拟现实和增强现实控制的系统和方法。具体地， 示例实施例公开了用于将来自用户的物理输入转换为增强现实或虚拟现实环境中的动作 的便携式无绳光输入系统和方法，其中该系统也能进行现实生活化身(avatar)控制。
[0007] 根据示例实施例的示例系统包括跟踪装置、用户装置、图像捕获装置和耦接至该 用户装置和该图像捕获装置的数据转换器。在一个具体实施例中，该图像捕获装置获得跟 踪装置上的第一标记和第二标记的图像。该数据转换器利用所获得的图像确定在时间to处 该第一标记和该第二标记的参考位置，且测量在时间tl处该第一标记和该第二标记两者/ 之间的空间关系的改变，其中该改变由该跟踪装置上的用户输入生成。该时间tl是晚于时 间to的时间点。该数据转换器还确定在时间tl处该第一标记和该第二标记两者/之间的空 间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围 内，则在用户装置上生成虚拟世界中的动作。
[0008] 在一些实施例中，该图像捕获装置可被配置为获得跟踪装置上的多个标记的参考 图像，且基于所获得的图像跟踪所述装置。在这里描述的其他实施例中，我们将参考图像或 多个参考图像定义为可用于确定空间关系的改变的更广参考数据集的一部分或一份。在示 例实施例中，该参考数据可包括:1)来自多个标记的使用的数据，所述标记的一个或多个是 参考图像(例如，参考数据的一部分）；2)来自一个标记的使用的数据，所述标记的图像在多 个时刻被采样，所述图像样本的一个或多个是参考图像(例如，该参考数据的另一部分）；3) 图像捕获装置的位置/方位数据(例如，该参考数据的另一部分），空间关系的改变与该图像 捕获装置的位置/方位数据相关；以及4)跟踪装置的位置/方位数据(例如，该参考数据的另 一部分），空间关系的改变与跟踪装置的位置/方位数据相关。鉴于这里的公开，对本领域技 术人员来说将显而易见的是，该参考数据可包括可用于确定空间关系的改变的其他数据分 量。
[0009] 在一些实施例中，基于该标记的可观察存在，可生成虚拟世界中的动作。在那些实 施例中，在时间to和tl之间的个别标记的消失和/或重现会导致在虚拟世界中生成的特定 动作。
[0010] 根据示例实施例的方法的实施例包括在跟踪装置上获得第一标记和第二标记的 图像，利用所获得的图像确定在时间to处该第一标记和该第二标记的参考位置，测量在时 间tl处该第一标记和该第二标记两者/之间的空间关系的改变，由此该改变由在该跟踪装 置上的用户输入生成，确定在时间tl处该第一标记和该第二标记两者/之间的空间关系的 改变是否落入阈值范围内，并且如果该空间关系的改变落入预定的阈值范围内，则在该用 户装置上生成虚拟世界中的动作。
[0011] 结合通过示例说明示例实施例的原理的附图，从下面的详细描述中，示例实施例 的其他方面和优点将是显而易见的。
【附图说明】
[0012] 为了更好地理解这些示例实施例，应当结合附图参考下面的详细描述，其中：
[0013] 图1图示了与示例实施例一致的示例系统的框图。
[0014] 图2、3、4、5、6、7、8和9图示了根据不同实施例的用户装置。
[0015]图10、11和12描绘了根据实施例的跟踪装置的不同透视图。
[0016]图13图示了其装配前的示例索具(rig)的平面图。
[0017] 图14和15图示了用于图10、11和12的第一标记和第二标记的示例图案。
[0018]图16、17和18图示了用户对示例系统的操作。
[0019]图19和20图示了虚拟世界中生成的示例动作，这些动作对应于来自用户的不同物 理输入。
[0020] 图21、22、23、24和25图示了在示例跟踪装置上可用的物理输入的空间范围。
[0021]图26和27图示了其中使用单个图像捕获装置的示例系统。
[0022]图28图示了图27的图像捕获装置的视场。
[0023]图29图示了当调节透镜附接至图27和28的图像捕获装置时、视场的增加。
[0024]图30、31和32图示了其中多个用户在相同虚拟世界中连接的示例系统。
[0025] 图33、34、35、36、37、38和39图示了根据不同实施例在虚拟世界中生成的示例动 作。
[0026]图40图示了使用一个标记在虚拟世界中跟踪用户的手的示例系统。
[0027]图41描绘了在各种实施例中的标记的多种配置。图42图示了具有利用加速度计或 计步器实现的角色导航的示例实施例。
[0028]图43和44描绘了光学标记附接至游戏控制器的实施例。
[0029]图45描绘了其中方向控制按钮和动作按钮集成至跟踪装置上的实施例。
[0030]图46是图示了用于将来自用户的物理输入转换至虚拟世界中的动作的示例方法 的流程图。
[0031] 图47是图示了如这里描述的方法的示例实施例的处理流程图；以及
[0032] 图48示出了按照移动计算和/或通信系统的示例形式的机器的图解表示，其中指 令集被执行时和/或处理逻辑被激活时可促使该机器执行这里描述和/或要求保护的方法 的任意一个或多个。
【具体实施方式】
[0033]现在将对附图中图示的示例实施例进行详细参考。只要可能，将贯穿附图使用相 同的附图标记来指示相同或相似的部分。
[0034] 这里公开的方法和系统解决了上述需求。例如，这里公开的方法和系统能将来自 用户的物理输入转换为虚拟世界中的动作。该方法和系统能在低功率移动装置和/或3D显 示装置上实现。该方法和系统也能使能现实生活化身控制。该虚拟世界可包括提供给该用 户的视觉环境，且可以基于增强现实或虚拟现实。
[0035] 在一个实施例中，提供了用于移动装置的无绳便携式输入系统。用户可使用该系 统来：（1)输入精确和高分辨率的位置和方位数据；（2)用真实的一对一反馈调用（invoke) 模拟动作(例如，脚踏或抓取）；（3)使用多个交互模式以执行虚拟世界中的多个任务或控制 现实生活化身(例如，机器人）；和/或(4)基于虚拟世界中的动作接收触觉反馈。
[0036] 该系统是轻量级的且低成本的，且因此作为便携式虚拟现实系统是理想的。该系 统也能用作多用户环境例如剧场中的可再循环的用户装置。该系统采用具有多个图像标记 的跟踪装置作为输入机构。这些标记能利用移动装置上的摄像头跟踪，以获得虚拟现实世 界中的指针的位置和方位数据。该系统能用在各种领域包括游戏、医疗、建筑或军事领域。
[0037] 图1图示了与示例实施例一致的示例系统100的框图。如图1所示，系统100可包括 媒体源10、用户装置12、输出装置14、数据转换器16、图像捕获装置18和跟踪装置20。每个组 件10、12、14、16和18可操作地经由网络或允许数据从一个组件到另一组件传输的任何类型 的通信链路彼此连接。该网络可包括局域网（LAN)、广域网（WAN)、蓝牙、和/或近场通信 (NFC)技术，且可以是无线、有线或其组合。媒体源10可以是能够存储成像数据例如视频或 静态图像的任何类型的存储媒体。视频或静态图像可在输出装置14上渲染的虚拟世界中显 示。例如，媒体源10能被提供为⑶、DVD、蓝光盘、硬盘、磁带、闪存卡/驱动器、固态驱动器、易 失性或非易失性存储器、全息数据存储器、和任何其他类型的存储媒体。媒体源10也可以是 能够提供成像数据至用户装置12的计算机。
[0038] 作为另一示例，媒体源10能够是网络服务器、公司服务器或任何其他类型的计算 机服务器。媒体源10能够是这样的计算机，其被编程以从用户装置12接受请求(例如，HTTP、 或能启动数据传输的其他协议)并用所请求的成像数据来服务用户装置12。此外，媒体源10 能够是用于分发成像数据的广播设施，例如免费播送、线缆、卫星和其他广播设施。该媒体 源10也可以是数据网络(例如，云计算网络）中的服务器。
[0039] 用户装置12能够是例如，虚拟现实耳机、头戴式装置(HMD)、蜂窝电话或智能电话、 个人数字助理(PDA)、计算机、膝上型电脑、平板PC、媒体内容播放器、视频游戏站/系统、或 能提供或渲染成像数据的任何电子装置。用户装置12可包括允许用户装置12与网络或本地 存储媒体通信、并从网络或本地存储媒体接收成像数据的软件应用程序。如上提及的，用户 装置12能从媒体源10接收数据，上面提供了其示例。
[0040] 作为另一示例，用户装置12能够是网络服务器、公司服务器或任何其他类型的计 算机服务器。用户装置12能够是这样的计算机，其被编程以接受用于将来自用户的物理输 入转换为虚拟世界中的动作的请求(例如，HTTP、或能启动数据传输的其他协议），并提供由 数据转换器16生成的虚拟世界中的动作。在一些实施例中，用户装置12能够是用于分发成 像数据(包括虚拟世界中3D格式的成像数据）的广播设施，例如免费播送、线缆、卫星、和其 他广播设施。
[0041] 在图1的示例中，数据转换器16能被实现为由处理器和/或硬件执行的软件程序， 其基于来自用户的物理输入将模拟数据转换为虚拟世界中的动作。虚拟世界中的动作能够 被描绘在2D或3D格式的视频帧或静态图像之一中，能够是现实生活和/或动画的，能够是彩 色的、黑/白、或灰度色标，且能够在任何颜色空间中。
[0042]输出装置14可以是显示装置例如显示板、监视器、电视、投影仪或任何其他显示装 置。在一些实施例中，输出装置14可以是例如蜂窝电话或智能电话、个人数字助理(PDA)、计 算机、膝上型电脑、桌面型电脑、平板PC、媒体内容播放器、机顶盒、包括广播调谐器的电视 机、视频游戏站/系统、或能访问数据网络和/或接收成像数据的任何电子装置。
[0043]图像捕获装置18可以是例如，物理成像装置例如相机。在一个实施例中，该图像捕 获装置18可以是移动装置上的相机。图像捕获装置18可以配置为捕获关联于跟踪装置20的 成像数据。该成像数据可对应于例如跟踪装置20上的标记图案的静态图像或视频帧。图像 捕获装置18可提供所捕获的成像数据至数据转换器16用于数据处理/转换，从而在用户装 置12上生成虚拟世界中的动作。
[0044] 在一些实施例中，图像捕获装置18可以延伸超出物理成像装置。例如，图象捕获装 置18可以包括能捕获和/或生成跟踪装置20上的标记图案的图像的任何技术。在一些实施 例中，图像捕获装置18可参考能处理从另一物理装置获得的图像的算法。
[0045] 虽然在图1中示出为可操作连接的单独组件，但是媒体源10、用户装置12、输出装 置14、数据转换器16和图像捕获装置18中的任意一个或全部可以共同位于一个装置中。例 如，媒体源10可以位于用户装置12或输出装置14内、或者形成用户装置12或输出装置14的 部分，输出装置14可以位于用户装置12内、或者形成用户装置12的部分，数据转换器16可以 位于媒体源10、用户装置12、输出装置14或图像捕获装置内、或者形成媒体源10、用户装置 12、输出装置14或图像捕获装置的部分，以及图像捕获装置18可以位于用户装置12或输出 装置14内、或者形成用户装置12或输出装置14的部分。可以理解图1中示出的配置仅仅出于 说明的目的。特定的组件或装置可被移除或组合，且其他组件或装置可被增加。
[0046] 在图1的实施例中，跟踪装置20可以是被图像捕获装置18实时光学跟踪的任何物 理对象或结构。该跟踪装置20可以包括例如可以在图像捕获装置18捕获的图像中容易地检 测到的唯一标记图案。通过使用可容易地检测的标记图案，可以避免复杂且计算开销很大 的图像处理。光学跟踪具有几个优点。例如，光学跟踪考虑到无线"传感器"，不易受噪声影 响，且允许同时跟踪很多对象(例如，各种标记图案）。
[0047]图像捕获装置18和跟踪装置20之间的交互是通过视径(在图1中由虚线指示）。注 意到，跟踪装置20不可操作地连接至图1中的任意其他组件。替代的，跟踪装置20是可由用 户操作的独立物理对象或结构。例如，跟踪装置20可以以允许该跟踪装置20被图像捕获装 置18光学跟踪的方式由用户的手/胳膊抓住或附接到用户的手/胳膊。在一些实施例中，该 跟踪装置20可配置为提供触觉反馈至用户，其中该触觉反馈基于接收自用户的模拟输入。 该模拟输入可对应于例如该跟踪装置20上的光学标记的平移或旋转。任何类型、范围和幅 度的运动被预期。
[0048]接下来，根据实施例的该用户装置20将参考图2、3、4、5和6被描述。参照图2,按照 虚拟现实头戴式装置(HMD)的形式提供该用户装置12。图2图示了用户穿戴该用户装置12且 单手操作该跟踪装置20。图3图示了组装状态下用户装置12的不同透视图。该用户装置12包 括HMD外壳12-1、透镜组件12-2、输出装置14(未示出）、以及该图像捕获装置18。如先前提及 的，该用户装置12、输出装置14和图象捕获装置18可以共同位于一个装置中（例如，图2和3 的虚拟HMD)。图3的用户装置12中的组件将参考图4、5和6更详细地描述。具体地，图4和5图 示了预组装状态下的用户装置12,而图6图示了用户对用户装置12的操作。在图2至6的实施 例中，该图像捕获装置18位于该输出装置14上。
[0049] 参考图4、5和6,该HMD外壳12-1包括用于将该用户装置12安装到用户头部的头带 12-1S、用于附接该透镜组件12-2的位置12-1A、用于暴露该图像捕获装置18的透镜的洞12-1C、用于用户左眼的左眼洞12-1L、用于用户右眼的右眼洞12-1R、以及用于放置用户的鼻子 的洞12-1N。该HMD外壳12-1可以由各种材料制作，例如泡沫橡胶、氯丁橡胶(Neoprene)?、织 物等。该泡沫橡胶可包括例如，由乙稀乙酸乙稀酯(Ethylene Vinyl Acetate，EVA)制成的 泡沫片。
[0050] 该透镜组件12-2配置为保持该输出装置14。在该输出装置14上显示的图像可以划 分为左眼图像14L和右眼图像14R。在该输出装置14上显示的图像可以是虚拟现实或增强现 实世界的图像。该透镜组件12-2包括用于为用户的左眼聚焦该左眼图像14L的左眼透镜12-2L、用于为用户的右眼聚焦该右眼图像14R的右眼透镜12-2R、以及用于容纳（seat)用户的 鼻子的洞12-2N。该左和右眼透镜12-2L和12-2R可包括任何类型的光学聚焦透镜，例如凸 透镜或凹透镜。当用户透过该左和右眼孔洞12-1L和12-1R来看时，该用户的左眼将看到该 左眼图像14L(如由左眼透镜12-2L所聚焦的），而该用户的右眼将看到该右眼图像14R(如由 右眼透镜12-2R所聚焦的）。
[0051] 在一些实施例中，该用户装置12还可包括用于控制在该输出装置14上生成的图像 的触发(toggle)按钮(未示出）。如先前提到的，该媒体源10和数据转换器16可位于该用户 装置12中或远离该用户装置12。
[0052]为了组装该用户装置12,该输出装置14(包括该图像捕获装置18)和该透镜组件 12-2被首先放置在该HMD外壳12-1上的他们的指定位置。随后该HMD外壳12-1以图4的右图 所示的方式折叠。具体地，该HMD外壳12-1被折叠从而该左和右孔洞12-1L和12-1R分别与左 和右眼透镜12-2L和12-2R对齐，洞12-1N与洞12-2N对齐，且该洞12-1C露出该图像捕获装置 18的透镜。一个头带12-1S也可附接至另一头带12-1S(例如使用Velcro?、按钮、捆缚装置 等)从而将该用户装置12安装至该用户的头部。
[0053]在一些实施例中，该透镜组件12-2可被提供作为可折叠的透镜组件，例如如在图5 中所示。在那些实施例中，当该用户装置12不在使用时，用户可从该HMD外壳12-1上拆卸该 透镜组件12-2,且还可从该透镜组件12-2上移除该输出装置14。因此，该用户可举起盖子 12-2F且将该透镜组件12-2折叠成扁平的二维形状以易于存储。同样，该HMD外壳12-1也可 被折叠为扁平的二维形状以易于存储。相应地，该HMD外壳12-1和该透镜组件12-2可连同该 输出装置14和图像捕获装置18(其可在智能电话中提供)一起被相对压缩以适合口袋、钱包 或任何类型的个人提包。如此，该用户装置12是高度便携的，且可容易地到处携带。此外，通 过使该HMD外壳12-1可拆卸，用户可交换且使用具有不同个性化设计图案的各种HMD外壳 12_1(类似于为移动电话交换不同的保护壳）。此外，由于该HMD外壳12-1是可拆卸的，所以 其在使用后易于清洗或回收。
[0054] 在一些实施例中，该用户装置12可包括将该用户装置12耦接至该跟踪装置20的反 馈生成器12-1F。具体地，当该用户操作该用户装置12和跟踪装置20时，该反馈生成器12-1F 可与不同的触觉反馈机制联合使用，以提供触觉反馈给用户。
[0055] 还注意到，该HMD外壳12-1可被装备不同数量的头带12-1S。在一些实施例中，该 HMD外壳12-1可包括两个头带12-1S(例如参见图7)。在另外的实施例中，该HMD外壳12-1可 包括三个头带12-1S(例如参见图8)从而更安全地将该用户装置12安装至该用户头部。可预 期任意数目的头带。在一些替换实施例中，若该虚拟现实HMD已经具有安装机制（例如参见 图9)，则该HMD外壳12-1不需要具有头带。在示例实施例中，为了确保用户能用他们的全身 体验VR，头部挂载索具可以用弹性材料片制作，以将该VR阅读器舒适地挂载在用户头部上。 [0056]图10、11和12描绘了根据实施例的跟踪装置的不同透视图。参考图10,跟踪装置20 包括索具22和光学标记24。该跟踪装置20被设计为保持多个光学标记24,且当用户提供物 理输入至跟踪装置20时(例如通过推、拉、弯曲、旋转等），改变它们的空间关系。该索具22包 括手柄22-1、扳机22-2和标记固定器22-3。该手柄22-1可按照人体工程学设计以适合用户 的手从而该用户可舒服地抓住该索具22。该扳机22-2被放置于一位置从而当抓住该手柄 22-1时用户可滑动手指(例如食指)至该扳机22-2的洞中。该标记固定器22-3作为用于保持 该光学标记24的基座。在一个实施例中，该索具22和该光学标记24可分开形成，且随后通过 附接该光学标记24至该标记固定器22-3而被组装在一起。该光学标记24可使用任何用于附 接的部件例如Velcro?、胶水、粘合带、钉、螺钉、螺栓、弹性扣合(plastic snapf its)、衔接 机制等附接至该标记固定器22-3。
[0057]该光学标记24包括含有光学图案"A"的第一标记24-1和含有光学图案"B"的第二 标记24-2。光学图案"A"和"B"可以是能由图像捕获装置18容易地成像和跟踪的独特图案。 具体地，当用户握住跟踪装置20时，该图像捕获装置18可跟踪至少一个光学标记24以获得 用户的手在真实世界中的位置和方位。此外，光学标记24之间的空间关系提供能被映射成 虚拟世界中不同动作的模拟值。
[0058] 尽管在图10、11和12的示例中图示了两个光学标记24,但是应当注意到示例实施 例不限于仅仅两个光学标记。例如，在另外的实施例中，该跟踪装置20可包括三个或更多光 学标记24。在可选实施例中，该跟踪装置20可仅包括一个光学标记24。
[0059] 参考图12,该跟踪装置20还包括用于操纵该光学标记24的驱动机制22-4。具体地， 该驱动机制22-4可相对于彼此移动光学标记24(例如，通过平移、旋转等），从而改变光学标 记24之间的空间关系，如说明书中详细描述的那样。
[0060] 在图12的示例中，该驱动机制22-4以附接至索具22上的各个点的橡皮带的形式提 供。当用户用他的手指按下扳机22-2时，该驱动机制22-4将该第二标记24-2移动至相对于 该第一标记24-1的新位置。当该用户释放该扳机22-2时，由于该橡皮带的弹性，该第二标记 24-2移回至其原始位置。特别地，可使用提供弹性范围得橡皮带，从而当用户按下和释放该 扳机22-2时，在各种条件下提供足够的张力(从而，触觉反馈至用户）。用于提供触觉反馈的 不同实施例将参考图43、44、45和17稍后在说明书中更详细地描述。
[0061] 尽管上面已经描述了橡皮带驱动机制，但是应当注意到该驱动机制22-4不限于橡 皮带。该驱动机制22-4可包括能够在索具22上相对于彼此移动该光学标记24的任何机制。 在一些实施例中，该驱动机制22-4可以例如是弹性加载机制、空气活塞机制（由气压驱动）、 电池操作马达装置等。
[0062] 图13图示了其装配前的示例索具的二维视图。在图10、11和12的示例中，该索具22 可由卡板制作。首先，索具22的二维布局（图13中所示)形成在一片卡板上，随后沿着其虚线 折叠以形成三维索具22。随后该驱动机制22-4(橡皮带)被附接至指示为"橡皮带"的区域。 为了提高耐久性且承受大量使用，索具22可以由更强的材料例如木材、塑料、金属等制成。 [00 63]图14和15图示了用于光学标记的示例图案。具体地，图14图示了用于第一标记24-1的光学图案"A"，而图15图示了用于第二标记24-2的光学图案"B"。如先前提到的，光学图 案"A"和"B"是易于由图像捕获装置18成像和跟踪的独特的图案。该光学图案"A"和"B"可以 是黑白图案或彩色图案。为了形成光学标记24,该光学图案"A"和"B"可使用例如喷墨或激 光打印机被打印在白纸卡上，且被附接至该标记固定器22-3。在光学图案"A"和"B"是彩色 图案的那些实施例中，该彩色图案可通过在白纸卡上打印反射/发射不同波长光的材料而 形成，且该图像捕获装置18可以配置为检测不同波长的光。图14和15中的光学标记已被发 现一般在明亮环境中能很好地工作。然而，该光学标记24可通过使用其它材料例如在黑暗 中发光的材料(例如草酸二苯酯(diphenyl oxalate)-Cyalume?)、发光二极管(LED)、热敏 材料(可由红外相机检测的）等被修改用于低光和黑暗的环境。因此，该光学标记24可被用 于通过使用特殊的材料和技术(例如热成像)来检测在不可见范围内的光（例如，红外线 和/或紫外线）。
[0064] 应当注意到该光学标记24不仅仅限于二维卡。在一些其它实施例中，该光学标记 24可以是三维对象。一般地，该光学标记24可以包括具有一个或多个可识别结构或图案的 任何对象。同样，预期任何形状或尺寸的光学标记24。
[0065]在图14和15的实施例中，该光学标记24无源地反射光。然而，示例实施例并不限于 此。在一些其它实施例中，该光学标记24也可有源地发射光，例如通过使用用于该光学标记 24的发光二极管(LED)板。
[0066] 在一些实施例中，当该跟踪装置20没有在使用时，用户可从该标记固定器22-3中 拆卸该光学标记24,且将该索具22折叠回扁平的二维形状以易于存储。该折叠的索具22和 光学标记24可被相对压缩以适合口袋、钱包或任何类型的个人提包。如此，该跟踪装置20是 高度便携的，且可容易地与用户装置12-起到处携带。在一些实施例中，跟踪装置20和用户 装置12可被一起折叠以最大化便携性。
[0067]图16、17和18图示了用户对示例系统的操作。参考图16,用户装置12按照虚拟现实 头载装置(HMD)的形式提供，具有在该用户装置12中合并的输出装置14和图像捕获装置18。 该用户装置12可对应于图2和3中描绘的实施例。如先前所提及的，媒体源10和数据转换器 16可位于用户装置12中或远离用户装置12。如图16中所示，该跟踪装置20可被握在用户手 中。在系统操作期间，因为该跟踪装置20不需要通过线路物理地连接至该用户装置12，所以 用户的移动性不受限制。如此，该用户独立于用户装置12到处自由地移动该跟踪装置20。 [00 68] 参考图17,用户的手指从该扳机22-2处释放，且该第一标记24-1和第二标记24-2 被布置在相对于彼此的初始位置。该初始位置对应于该光学标记24的参考位置。该初始位 置也提供世界空间中用户的手的近似位置。当光学标记24位于该图像捕获装置18的视场中 时，光学标记24的第一组图像由图像捕获装置18捕获。光学标记24的参考位置可利用第一 组图像由数据转换器16确定。在一个实施例中，真实世界空间中用户的手的位置可通过跟 踪第一标记24-1而获得。
[0069]参考图18，用户通过在扳机22-2上按下其手指来提供物理输入至跟踪装置20，这 导致该驱动机制22-4将该第二标记24-2移动至相对于第一标记24-1的新位置。在一些实 施例中，该驱动机制22-4可相对于彼此同时移动第一标记24-1和第二标记24-2两者。因此， 在那些实施例中，可获得第一标记24-1和第二标记24-2之间的空间关系的更大改变。预期 运动的任何类型、范围和幅度。
[0070]随后光学标记24的第二组图像由图像捕获装置18捕获。该光学标记24的新位置由 该数据转换器16利用该第二组捕获的图像确定。随后，由于来自用户的物理输入导致的第 一标记24-1和第二标记24-2之间的空间关系的改变由该数据转换器16利用光学标记24的 新和参考位置之间的差别和/或光学标记24的两个新位置之间的差别而被计算。接着该数 据转换器16将光学标记24之间空间关系的改变转换成在用户装置12上渲染的虚拟世界中 的动作。该动作可以包括例如扳机动作、抓取动作、触发动作等。在一些实施例中，虚拟世界 中的动作可基于标记的可观察表现而被生成。在那些实施例中，时间to和tl之间的个别标 记的消失和/或重现会导致在虚拟世界中生成的特定动作，其中时间tl是在时间to后面出 现的时间点。例如，在一个特定实施例中，可有包括第一标记、第二标记、第三标记和第四标 记的四个标记。用户可通过掩盖第一标记生成虚拟世界中的第一动作，通过掩盖第二标记 生成虚拟世界中的第二动作等等。这些标记可使用各种方法从视图中掩盖。例如，可通过利 用由不透明材料制成的卡片阻挡标记，或通过将标记移出该图像捕获装置的视场，来掩盖 这些标记。由于前述实施例是基于标记的可观察存在的（即存在或不存在），因此这些实施 例非常适合二进制输入从而生成例如触发或开关动作。
[0071 ]应当注意到标记的空间关系或标记之间的空间关系的改变包括每个标记的空间 改变、以及两个或更多标记之间的空间差别。预期任何类型的空间关系的改变。例如，在这 里描述的各种实施例中，我们将参考图像或多个参考图像定义为可用于确定空间关系的改 变的参考数据的更广集合的一部分或一份。在示例实施例中，该参考数据可包括:1)来自多 个标记的使用的数据，所述标记的一个或多个是参考图像(例如，参考数据的一部分）；2)来 自一个标记的使用的数据，所述标记的图像在多个时刻被采样，所述图像样本的一个或多 个是参考图像(例如，该参考数据的另一部分）；3)图像捕获装置的位置/方位数据(例如，该 参考数据的另一部分），空间关系的改变与该图像捕获装置的位置/方位数据相关；以及4) 跟踪装置的位置/方位数据(例如，该参考数据的另一部分），空间关系的改变与跟踪装置 的位置/方位数据相关。鉴于本公开，对本领域技术人员来说将显而易见的是，该参考数据 可包括可用于确定空间关系的改变的其他数据分量。
[0072]图19和20图示了对应于光学标记的参考和新位置、在用户装置上的虚拟世界中的 视觉输出。在图19和20中，虚拟世界25被显示在用户装置12的输出装置14上。虚拟对象26 (以虚拟的手的形状)被提供在虚拟世界25中。参考图19,当光学标记24在它们的参考位置 处时（由此该第二标记24-2紧邻该第一标记24-1而在标记之间没有任何间隙），该虚拟对象 26处于"打开"的位置26-1。参考图20,当光学标记24在它们的新位置处时（由此该第二标记 24-2相对于该第一标记24-1旋转角度0)，该第一标记24-1和第二标记24-2之间的空间关系 的改变由数据转换器16转换成虚拟世界25中的动作。为了视觉地指示已发生了该动作，该 虚拟对象26从"打开"位置26-1改变至"关闭"位置26-2。在图20的示例中，"关闭"位置26-2 对应于抓取动作，其中该虚拟的手呈紧握拳头的形状。在一些其他实施例中，该"关闭"位置 26-2可以对应于扳机动作、触发动作或虚拟世界25中的任何其他动作或移动。
[0073]图21、22、23和24图示了在示例跟踪装置上可用的物理输入的空间范围。
[0074] 参考图21，光学标记24在它们的参考位置。这些参考位置可对应于光学标记24的 默认位置（即，当没有从用户处接收物理输入时的光学标记24的位置）。当光学标记24在其 参考位置处时，该扳机22-2和驱动机制22-4没有被激活。如先前参考图19所述的，当光学标 记24在其参考位置处时（即没有动作由对象26执行或在对象26上执行），虚拟世界25中的对 象26可以在"打开"位置26-1。如图21中所示，当光学标记24在其参考位置处时，该第二标记 24-2紧邻该第一标记24-1而在两者中间没有任何间隙。
[0075] 参考图22,用户可应用一种类型的物理输入至该跟踪装置20。具体地，用户可在该 扳机22-2上按下其手指，这导致该驱动机制22-4围绕点0相对于该第一标记24-1旋转该第 二标记24-2(参见，例如图18和20)。该第一标记24-1和第二标记24-2之间的旋转角由0给 出。在一些实施例中，用户可通过应用不同压力至该扳机22-2、在恒定压力下握住该扳机 22-2达到不同时间长度、或上述方式的组合，来改变该角旋转。例如，用户可通过施加更大 压力至该扳机22-2来增加角旋转，或通过减少施加至该扳机22-2的压力来减少角旋转。类 似的，用户可通过以恒定压力握住扳机22-2达到一段更长的时间来增加角旋转，或通过减 少施加至该扳机22-2的压力来减少角旋转。为了改进用户体验，可以例如通过调整驱动机 制22-4/扳机22-2中的物理抗力(例如弹簧拉力），来修改从跟踪装置20至用户的触觉反馈。 [0076]该光学标记24的角度旋转对应于来自用户的一种类型的模拟物理输入。依赖于旋 转角度，可在虚拟世界25中指定不同的动作。例如，参考图22,当用户应用第一物理输入从 而该旋转角度9落入第一预定角度阈值范围91中时，该数据转换器16将该第一物理输入转 换成虚拟世界25中的第一动作R1。类似地，当用户应用第二物理输入从而旋转角度0落入第 二预定角度阈值范围92中时，该数据转换器16将该第二物理输入转换为虚拟世界25中的第 二动作R2。同样地，当用户应用第三物理输入从而旋转角度0落入第三预定角度阈值范围03 中时，该数据转换器16将该第三物理输入转换为虚拟世界25中的第三动作R3。该第一预定 角度阈值范围91由该第一标记24-1的边缘和从点0向外延伸的虚线L1之间的角度定义。该 第二预定角度阈值范围92由该虚线L1和另一从点0向外延伸的虚线L2之间的角度定义。该 第三预定角度阈值范围03由该虚线L2和第二标记24-2的边缘之间的角度定义。预期每个范 围的任意幅度。
[0077]注意到，预定角度阈值范围的数量无需限制为3。在一些实施例中，取决于该图像 捕获装置18的敏感性和分辨率以及其他要求(例如，游戏功能等），预定角度阈值范围的数 量可以多于3(或少于3)。
[0078] 还注意到，至跟踪装置20的物理输入无需限制为光学标记24的角度旋转。在一些 实施例中，至跟踪装置20的物理输入可对应于光学标记24的平移动作。例如，参考图23,用 户可在扳机22-2上按下他的手指，这使得驱动机制22-4平移该第二标记24-2远离该第一标 记24-1-段距离。图23中的驱动机制22-4不同于图22中的。具体地，图22中的驱动机制22-4 旋转该光学标记24,然而图23中的驱动机制22-4平移该光学标记24。参考图23,第一标记 24-1和第二标记24-2的最近边缘之间的平移距离由D给出。在一些实施例中，用户可通过施 加不同压力至扳机22-2、以固定压力握住扳机22-2不同时长或上述方式的组合，来改变该 平移距离。例如，用户可通过应用更大压力至扳机22-2来增加该平移距离，或通过减少应用 至扳机22-2的压力来减少该平移距离。同样地，用户可通过以恒定压力握住该扳机22-2达 到更长时间段来增加平移距离，或通过减少应用至扳机22-2的压力来减少平移距离。如先 前所提及的，例如，通过调整驱动机制22-4/扳机22-2中的物理阻力（例如弹簧张力），从该 跟踪装置20至用户的触觉反馈可以被修改以改进用户体验。
[0079]光学标记24的平移对应于来自用户的另一种类型的模拟物理输入。取决于该平移 距离，可以在虚拟世界25中指定不同的动作。例如，参考图23,当用户应用第四物理输入从 而该平移距离D落入第一预定距离范围D1中时，该数据转换器16将该第四物理输入转换为 虚拟世界25中的第四动作T1。类似地，当用户应用第五物理输入从而该平移距离D落入第二 预定距离范围D2中时，该数据转换器16将该第五物理输入转换为虚拟世界25中的第五动作 T2。同样地，当用户应用第六物理输入从而该平移距离D落入第三预定距离范围D3中时，该 数据转换器16将该第六物理输入转换为虚拟世界25中的第六动作T3。该第一预定距离范围 D1由该第一标记24-1的边缘和平行于第一标记24-1的边缘延伸的虚线L3之间的最短距离 定义。该第二预定距离范围D2由该虚线L3和平行于该虚线L3延伸的另一虚线L4之间的最短 距离定义。该第三预定距离范围D3由该虚线L4和平行于虚线L4的第二标记24-2的边缘之间 的最短距离定义。预期每个距离范围的任何幅度。
[0080] 注意到，预定距离范围的数量无需限制为3。在一些实施例中，取决于该图像捕获 装置18的敏感性和分辨率以及其他要求(例如，游戏功能等），预定距离范围的数量可以多 于3(或少于3)。
[0081] 虚拟世界25中的动作可以包括离散动作，例如扳机、抓取、触发等。然而，由于光学 标记24之间的空间关系的改变(旋转/平移)是连续的，所以该改变可以被映射至虚拟世界 25中的模拟动作，例如，以渐进抓取动作或连续蹬踏动作的形式。示例实施例不限于由虚拟 对象26执行或在虚拟对象26上执行的动作。例如，在其他实施例中，当空间关系的改变超过 预定阈值或落入预定阈值范围内时，可在虚拟世界25中触发事件（其不关联于虚拟对象 26)〇
[0082]尽管图22和23分别以两维图示了光学标记24的旋转和平移，但是注意的是每个光 学标记24的运动可以被外推至具有六个自由度的三维。光学标记24可被配置为在笛卡尔 坐标系中以三个轴X、Y和Z中的任何一个或多个来旋转或平移。例如，如图24中所示，具有图 案"A"的该第一标记24-1可在X轴(Tx)、Y轴(Ty)或Z轴(Tz)上平移。同样地，该第一标记24-1 也可围绕X轴(Rx)、Y轴(Ry)或Z轴(Rz)中的任何一个或多个旋转。图25图示了用于不同数目 光学标记24的跟踪器配置的示例。预期光学标记24的任何数量和配置。例如，在一个实施例 中，该跟踪装置20可包括具有图案"A"的第一光学标记24-1，由此该光学标记24-1在六个自 由度中自由移动。在另一实施例中，该跟踪装置20可包括具有图案"A"的第一光学标记24-1 和具有图案"B"的第二光学标记24-2,由此每个光学标记24-1和24-2在六个自由度中自由 移动。在又一实施例中，该跟踪装置20可包括具有图案"A"的第一光学标记24-1、具有图案 "B"的第二光学标记24-2和具有图案"C"的第三光学标记24-3，由此每个光学标记24-1、24_ 2和24-3在六个自由度中自由移动。
[0083]图26图示了示例系统，其中单个图像捕获装置18被用于检测光学标记24之间的空 间关系的改变。如图26中所示，该数据转换器16被连接在图像捕获装置18和用户装置12之 间。该数据转换器16可被配置以控制该图像捕获装置18,从图像捕获装置18处接收成像数 据，处理该成像数据以确定光学标记24的参考位置，当用户提供物理输入至跟踪装置20时 测量光学标记24之间空间关系的改变，确定空间关系中的该改变是否落入预定阈值范围 内，以及如果空间关系中的该改变落入该预定阈值范围内、则在用户装置12上生成虚拟世 界25中的动作。
[0084]如上所提及，图26中的系统具有单个图像捕获装置18。图26的系统中用于每个自 由度的可检测距离/角度范围在图27中图示，且由图像捕获装置18的视场限制。例如，在一 个实施例中，光学标记24之间可检测的平移距离可升至X方向上的1英尺、Y方向上的1英尺 以及Z方向上的5英尺;且光学标记24的可检测的角旋转可升至围绕X轴的180°、围绕Y轴的 180°以及围绕Z轴的360°。
[0085]在一些实施例中，该系统可包括若该跟踪装置移出了自由度中的可检测距离/角 度范围、则允许该系统利用跟踪装置20的最近已知位置的失效保护机制。例如，若该图像捕 获装置18失去了光学标记24的踪迹，或如果该跟踪数据指示了过量运动（其可以指示跟踪 错误），则该系统代替使用最近已知的跟踪值。
[0086]图28图示了图27的图像捕获装置18的视场。在一些实施例中，调节透镜18-1可附 接至该图像捕获装置18以增加其视场，如图29中所示。例如，比较图28和29中的实施例，在 调节透镜18-1已附接至该图像捕获装置18之后，光学标记24之间的可检测的平移距离可在 X方向上从1英尺增加至3英尺、以及在Y方向上从1英尺增加至3英尺。
[0087]在一些实施例中，为了进一步增加每个自由度的可检测的距离/角度范围，多个图 像捕获装置18可被放置在不同地点和方位，以捕获更广范围自由度的光学标记24。
[0088] 在一些实施例中，多个用户可沉浸在多用户虚拟世界25中，例如，在大型多玩家在 线角色扮演游戏中。图30图示了允许用户在虚拟世界25中彼此交互的多用户系统200。参考 图30,该多用户系统200包括中央服务器202和多个系统100。
[0089] 该中央服务器202可以包括网络服务器、公司服务器或任何其他类型的计算机服 务器，且可以被计算机编程以从每个系统100接收请求(例如，HTTP或其他可启动数据传输 的协议），且以所请求的数据服务每个系统100。此外，该中央服务器202可以是广播设施，例 如免费播送、线缆、卫星和其他用于分发数据的广播设施。
[0090] 图30中的每个系统100可对应于图1中描绘的系统100。每个系统100可具有参与 者。"参与者"可以是人。在一些具体实施例中，"参与者"可以是无生命实体例如机器人等。 参与者们沉浸在相同的虚拟世界25中，且可利用虚拟对象和/或动作在虚拟世界25中彼此 交互。该系统100可以共存于例如房间或剧场里。当系统100是共同定位时，多个图像捕获装 置(例如，N个图像捕获装置，其中N大于或等于2)可被安装在该位置以提高参与者的光学覆 盖且消除盲点。然而，注意到该系统100无需在相同位置。例如，在一些其他实施例中，系统 100可以在远程地理位置(例如，在世界上的不同城市）。
[0091]该多用户系统200可以包括多个节点。具体地，每个系统100对应于"节点"。"节点" 是系统200中逻辑独立的实体。如果"系统100"后面跟着数字或字母，则这意味着"系统100" 对应于共享该相同数字或字母的节点。例如，如图30中所示，系统100-1对应于节点1，其关 联于参与者1，且系统l〇〇-k对应于节点k，其关联于参与者k。每个参与者在其光学标记24 上可具有唯一的图案，从而区分它们的身份。
[0092]参考图30,每个系统100中的中央服务器202和数据转换器16之间的双向箭头指示 该中央服务器202和每个系统100之间的双向数据传递能力。系统100可经由中央服务器202 彼此通信。例如，成像数据、以及处理数据和关于虚拟世界25的指令，可以在系统100之间、 传送至/传送来自该系统100和该中央服务器202。
[0093]该中央服务器202从每个系统100中收集数据，且生成合适的虚拟世界25的定制视 图，以在每个系统100的输出装置14处呈现。注意到，该虚拟世界25的视图可以为每个参与 者独立地定制。
[0094]图31是根据另一实施例的多用户系统202,且图示了数据转换器16不需要驻留在 每个节点处的系统100内。如图31中所示，该数据转换器16可被集成至中央服务器202中，且 因此远离系统100。在图31的实施例中，每个系统100中的图像捕获装置18或用户装置12将 成像数据传送至中央服务器202中的数据转换器16以进行处理。具体地，每当参与者提供物 理输入至其跟踪装置20时，该数据转换器16可检测每个跟踪装置20处的光学标记24之间的 空间关系的改变，且可生成对应于空间关系改变的虚拟世界25中的动作。此动作可以被提 供物理输入的参与者、以及虚拟世界25中的其他参与者观察到。
[0095]图32是根据另一实施例的多用户系统204,且类似于图30和31中描绘的多用户系 统200和202,除了下面的区别。在图32的实施例中，系统100不需要通过中央服务器202彼此 连接。如在图32中所示，系统100可通过网络直接彼此连接。该网络可以是局域网（LAN)且可 以是无线的、有线的或者其组合。
[0096]图33、34和35图示了根据不同实施例在虚拟世界中生成的示例动作。在图33、34和 35的每个中，虚拟世界25被显示在用户装置12的输出装置14上。用户接口（UI)元件可以被 提供在虚拟世界25中以改进用户对该示例系统的体验。UI元件可包括虚拟臂、虚拟手、虚拟 装置(例如虚拟枪或激光指针）、虚拟对象等。用户可以利用UI元件在该虚拟世界25中导航 (navigate through)，且在虚拟世界25中执行不同的动作。
[0097]图33是虚拟世界25中导航交互的示例。具体地，用户可以通过移动真实世界中的 跟踪装置20来在虚拟世界25进行导航。在图33中，在虚拟世界25中提供用手抓住虚拟枪30 的虚拟臂28。虚拟臂28和虚拟枪30创建强列的视觉暗示，帮助用户沉浸在虚拟世界25中。如 图33中所示，虚拟臂28的上部28-1(肘以上)在虚拟世界25中被绑至假想的肩膀位置，且虚 拟臂28的下部28-2(虚拟手)被绑至虚拟枪30。虚拟臂28的肘位置和方位可以利用本领域技 术人员已知的逆动力学来内插。
[0098] 该虚拟世界25的比例可被调节，从而虚拟世界25中的虚拟装置(虚拟臂28和枪30) 的位置看上去对应于真实世界中用户的手的位置。该虚拟装置也可定制为反映用户的操 作。例如，当用户按下索具22上的扳机22-2时，虚拟枪30上的扳机将相应地移动。
[0099]在图33的示例中，该用户可将该跟踪装置20使用作为操纵杆以在虚拟世界25中导 航。如先前所提及的，该图像捕获装置18具有有限的视场，其限制了跟踪装置20上的可检测 的运动范围。在一些实施例中，累积控制方案可被用在系统中，从而用户可使用跟踪装置20 的小运动以控制虚拟世界25中的更大运动。该累积控制方案可如下述提供。
[0100] 首先，该用户按下跟踪装置20上的扳机22-2以记录参考变换。其次，用户移动该跟 踪装置20离开其参考/原始位置一距离D。接下来，该数据转换器16计算当前变换和参考变 换之间的位置和旋转的差异。接下来，位置和旋转的差异被用于计算该虚拟对象围绕虚拟 世界25移动的速度和角速度。注意到，若用户保持与该参考变换相同的相对差异，则该虚拟 对象将不断地移向那个方向。例如，虚拟枪30的速度Vg可利用下面的等式计算：
[0101] Vg = Cx(Tref-Tcurrent)
[0102]其中C是速度常量，Tref是参考转换，而Tcurrent是当前转换。
[0103] 参考图33,当用户在真实世界中以距离D和速度V移动该跟踪装置20时，该虚拟臂 28在虚拟世界25中以距离D'和速度V'从第一位置30'移动该虚拟枪30至第二位置30''。虚 拟世界25中的距离D'和速度V'可以相对于真实世界中的距离D和速度V按比例缩放。因此， 用户可直观感受虚拟枪30移动了多少，以及该虚拟枪30在虚拟世界25中移动得多快。
[0104]在图33的示例中，该虚拟枪30沿着虚拟世界25的X轴从左移动至右。然而，应该理 解，用户可通过平移和/或旋转沿着或围绕虚拟世界25的X、Y和Z轴在任何位置移动该虚拟 臂28和枪30。
[0105] 在一些实施例中，用户可步行或在虚拟交通工具中导航和探索该虚拟世界25。这 包括在虚拟世界25的地面、水或空气中导航。当步行导航时，用户可前/后移动该跟踪装置 20以前/后移动对应虚拟元件，或向左/右移动该跟踪装置20以扫射(斜着移动虚拟元件）。 用户也可转动用户装置12以转动虚拟元件或改变虚拟世界25中的视图。当控制虚拟交通工 具时，用户可使用跟踪装置20向前/后走，或向左或右转动/倾斜。例如，当使该虚拟交通工 具飞行时，用户可向上/向下移动该跟踪装置20，且移动扳机22-2以控制风门（throttle)。 由于用户应当能在虚拟世界25中环顾四周而无需该虚拟交通工具改变方向（如在真实世界 中那样），所以转动该用户装置12应当不会对该虚拟交通工具的方向产生影响。
[0106]如前面所述，如果光学标记24之间空间关系的改变落入预定阈值范围内，则虚拟 世界25中可生成动作。图34和35图示了可在虚拟世界25中生成的不同类型的动作。具体地， 图34和35包括使用遥感(telekinesis)方案以在虚拟世界25中移动对象，由此移动范围大 于跟踪装置20的感应区域。使用遥感方案，用户可抓取、举起或转动虚拟世界25中的远程虚 拟对象。遥感提供了与虚拟世界25中的虚拟对象交互的方式，特别是当物理反馈(例如，对 象硬度、重量等)不可用时。遥感可以与累积控制方案(之前图33中描述的）或微型控制方案 联合使用。
[0107]图34是虚拟世界25中累积遥感交互的示例。具体地，图34图示了用户可利用虚拟 臂28和虚拟枪30移动另一虚拟对象32的动作。在图34中，该虚拟对象32位于离该虚拟枪30 一距离处，且与该虚拟枪30同步，从而该虚拟对象32与该虚拟枪30按比例移动。为了移动该 虚拟对象32,用户可提供物理输入至跟踪装置20导致光学标记24中/之间的空间关系的改 变。空间关系的改变可以是，例如跟踪装置20沿着真实世界的X轴平移距离D。若空间关系中 的该改变(即距离D)落入预定距离范围内，则该数据转换器16生成虚拟世界25中的动作。具 体地，该动作包括通过虚拟世界中X轴中的距离D'和围绕Z轴的角度0'将该虚拟枪30从第一 位置30'移动至第二位置30''。虚拟世界25中的距离D'和角度0'可与真实世界中的距离D和 角度9成比例。因此，用户可直观感受虚拟枪30移动了多少，虚拟枪30移动得多快，以及由虚 拟枪30在虚拟世界25中行进的实际路径。如前所提及，由于该虚拟对象32与该虚拟枪30同 步，且与虚拟枪30-起移动，因此该虚拟对象32也在虚拟世界25中移动了X轴的距离D'和 围绕Z轴的角度0'。因此，用户可使用该虚拟枪30控制虚拟世界25中一距离处的对象。该虚 拟对象32的速度Vo可利用下面的等式计算：
[0108] Vo = Cx(Tref-Tcurrent)
[0109] 其中C是速度常量，Tref是参考变换，而Tcurrent是当前变换。
[0110]图35是在虚拟世界25中微型遥感交互的示例。图35也图示了用户可利用该虚拟臂 28和虚拟枪30移动另一虚拟对象32的动作。然而，与图34的示例不同，图35中的该虚拟对象 32与该虚拟枪30同步，从而该虚拟对象32以相对于该虚拟枪30的更大比例移动。为了移动 图35中的该虚拟对象32,用户可提供物理输入至跟踪装置20导致光学标记24之间的空间关 系的改变。空间关系的改变可以是，例如跟踪装置20沿着真实世界的X轴平移距离D。若空间 关系中的该改变（即距离D)落入预定距离范围内，则该数据转换器16生成虚拟世界25中的 动作。具体地，该动作包括通过虚拟世界25中X轴中的距离D'和围绕Z轴的角度0'将该虚拟 枪30从第一位置30'移动至第二位置30''。虚拟世界25中的距离D'和角度0'可与真实世界 中的距离D和角度9成比例。因此，用户可直观感受虚拟枪30移动了多少，虚拟枪30移动得多 快，以及由虚拟枪30在虚拟世界25中行进的实际路径。如前面提及的，图35中的虚拟对象32 与该虚拟枪30同步，且相对于虚拟枪30以更大比例移动。因此，该动作也包括通过虚拟世界 25中X轴中的距离D''和围绕Z轴的角度0''将该虚拟对象32从第一位置32'移动至第二位置 32''，其中D'' >D'而0'' = 0'。因此，用户可使用该虚拟枪30控制虚拟世界25中一距离处的 虚拟对象，且操纵该虚拟对象以在虚拟世界25中具备更广的运动范围。
[0111] 如图35中所示，虚拟对象32中的微型版本32-1被布置在虚拟枪30上。该微型遥感 控制方案可如下提供。首先，用户按下跟踪装置20上的扳机22-2以记录参考变换。然后，用 户从该参考变换移动跟踪装置20-特定距离至一新的变换。随后，计算该当前变换和该参 考变换之间的变换矩阵。随后，该变换矩阵乘以缩放因子，其反映了对象32和微型版本32-1 之间的比例差。图35中该虚拟对象32的新变换Tnew可用下面的等式计算：
[0112] Tnew = Torig+Sx(Tref-Tcurrent)
[0113] 其中Torig是该虚拟对象32的原始变换，S是对象32和微型版本32-1之间的比例 常量，Tref是参考变换，而Tcurrent是当前变换。
[0114]可增加额外的UI(用户接口）向导以帮助用户理解跟踪或动作的状态。例如，可使 用直线箭头表示该虚拟元件沿着直线移动多远/多快，而使用曲线箭头表示该虚拟元件旋 转得多远/多快。这些箭头可以是直线箭头和曲线箭头的结合，例如，如图33、34和35中所 示。在一些实施例中，状态条或圆形可被用于表示用户输入的模拟值（例如，用户脚蹬多 快)。
[0115]在图34和35的示例中，使用遥感方案控制该虚拟对象32,这在阴影(shadowing)上 提供了如下好处。在阴影中，虚拟角色精确地跟随人的移动。首先，如果该虚拟角色具有与 控制器不同的比例或缩放，则阴影不工作。不同于阴影，该示例系统在不同比例和缩放下很 好地工作。特别地，比例在示例系统中不是重要因素，因为使用相对运动控制该虚拟臂28。
[0116]第二，用户在阴影期间通常需要用绳子穿戴笨重的传感器。相反，该示例系统是轻 量级的且无绳的。
[0117]第三，在阴影中，当控制器的臂被物理障碍阻挡或当负重时，虚拟臂的移动可能被 阻碍。相反，示例系统中的遥感控制方案更直观，因为其不经受物理阻碍且该控制是相对 的。
[0118] 图36、37、38和39图示了根据不同实施例在虚拟世界中生成的更多的示例动作。图 36、37、38和39中的实施例与图33、34和35中描述的那些类似，但是至少具有下面的区别。在 图36、37、38和39的实施例中，虚拟枪30包括生成激光束34的指针，且该虚拟世界25包括其 他类型的用户接口和虚拟元件。该激光束34表示该虚拟枪30指向的方向，且为用户提供了 可视线索（因此作为指针装置）。此外，该激光束34可被用于聚焦在不同虚拟对象上，且对虚 拟世界25中的不同虚拟对象执行各种动作(例如，射击、推、选择等）。
[0119] 参考图36,用户可通过利用图33中描述的方法移动该虚拟枪30,而将激光束34聚 焦在虚拟对象32上。一旦激光束34被聚焦在虚拟对象32上，就可执行不同的动作(例如，射 击、倾倒、移动等）。例如，用户可提供物理输入至该跟踪装置20,导致光学标记24之间的空 间关系的改变。若空间关系的改变落入预定阈值范围内，则该数据转换器16生成虚拟世界 25中的动作，由此该虚拟枪30朝虚拟对象32射击，导致该虚拟对象32倒塌或消失。在一些实 施例中，在该激光束34被聚焦在虚拟对象32上之后，用户可利用图34或35中描述的一个或 多个方法四处移动该虚拟对象32。例如，为了"锁定"至虚拟对象32,用户可按下且保持该跟 踪装置20上的扳机22-2。为了四处拖拽或移动该虚拟对象32，用户可按下该扳机22-2，且利 用该激光束34作为向导工具移动该跟踪装置20。
[0120] 在一些实施例中，用户可使用虚拟枪30以与虚拟世界25中的不同虚拟用户接口 (UI)交互。与虚拟UI交互的模式可以和与传统UI的真实世界交互类似(例如，按钮、拨号盘、 检查框、键盘等）。例如，参考图37,虚拟用户接口可包括一叠（tile)虚拟按钮36,且用户可 通过将激光束34聚焦在该虚拟按钮上来选择特定的按钮36。如图38中所示，另一类虚拟用 户接口可以是虚拟键盘38,且用户可通过将激光束34聚焦在该虚拟键上来选择虚拟键盘38 上的具体按键。例如，为了选择（"点击"）虚拟按钮或按键，用户可在跟踪装置20上按压一次 扳机22-2。
[0121] 在一些实施例中，可在虚拟世界25中提供多个虚拟用户接口 40,如图39中所示。在 那些实施例中，用户可使用指针/激光束34,以与每个不同虚拟用户接口40同时交互。由于 示例系统允许虚拟空间中六个自由度的广范围的运动，因此虚拟用户接口40可被放置在虚 拟世界25中的任何位置。
[0122] 在示例实施例中，虚拟指针可利用唯一标记和上述图像识别技术实现。在最简单 的实施例中，我们使用一个标记来跟踪虚拟世界中用户的手。图40中示出了示例实施例。此 实施例可被实施如下：
[0123] ?我们可使用VR耳机以为我们提供虚拟现实中角色头部的变换。由于我们的物理 头部围绕颈关节旋转，我们可将表示这个运动的值存储在:T_ k中。若装置不提供绝对位置 跟踪且仅具有方位跟踪(例如，仅使用陀螺仪），则我们可使用平均的成人高度作为该位置 (例如（〇，AverageAdultHeight，0));
[0124] ?该相机透镜具有与Tnec；k相反的相对变换;我们可将表示这个变换的值存储在 Tneck-camera 中；
[0125] ?图像识别软件可分析由相机提供的图像且获取与该相机透镜相反的标记A的变 换;我们可将表示此变换的值存储在中；
[0126] ?在真实世界中，标记A具有与用户的手腕或手相反的变换;我们可将表示此变换 的值存储在Tmarker-hand中；
[01 27] ?该虚拟角色的变换可存储在中；以及
[0128] ?用户的手的绝对变换Thand可如下计算：
[01 29] Thand Tcharacter+Tneck+Tneck-camera+Tcamera-marker+Tmarker-hand
[0130] 在示例实施例中，我们可增加另一标记且使用空间差异以执行不同的动作。同样， 我们可包括更多的标记至系统中用于更多的动作。图41中示出各种示例实施例。此外，标记 不限于2D平面标记;我们可以使用3D对象作为我们的标记。
[0131] 在另一示例实施例中，角色导航可用加速计或步数计来实现。我们可使用此过程 从用户装置的加速计中获取加速度数据，且将该加速度数据转换为虚拟世界中的角色速 度。此实施例可实现如下：
[0132] ?我们记录加速度数据；
[0133] ?用噪声减小功能来处理原始加速度值;以及
[0134] ?当所处理的值超过特定的预定限制时，步数加1，且随后将特定速度加至虚拟角 色，从而其在虚拟世界中移动。
[0135] 此实施例可以具体实现如下：
[0138] 使用上述的示例实施例，用户可仅在该地点步行或在适当的位置步行，并且它们 的虚拟角色将在虚拟世界中按照对应的方式步行。图42中示出了这个示例实施例。
[0139] 图43和44描绘了光学标记适于游戏控制器的不同的实施例。参考图43和44,该跟 踪装置20可由挂载了光学标记24(例如，第一标记24-1和第二标记24-2)的游戏控制器42替 代。游戏控制器42可包括把手42-1和标记握持器42-2。光学标记24被配置为附接至标记握 持器42-2。跟踪装置20上的"扳机"机制可由游戏控制器42上的方向控制按钮42-3和动作按 钮42-4替代。具体地，方向控制按钮42-3可被用于控制虚拟世界中导航的方向，且动作按钮 42-4可被用于执行虚拟世界中的特定动作(例如，射击、切换等）。
[0140] 在一些实施例中，方向控制按钮42-3和动作按钮42-4可以被集成至跟踪装置20 上，例如，如图45中所示。
[0141] 在图43、44和45的实施例中，方向控制按钮42-3和动作按钮42-4可被配置以发送 电信号至图1中描述的一个或多个元件，并从图1中描述的一个或多个元件接收电信号。如 此，图44中的游戏控制器42和图45中的跟踪装置20同样可经由网络或允许从一个组件至另 一组件的数据传输的任何类型通信链接，来可操作地连接至图1中描绘的媒体源10、用户装 置12、输出装置14、数据转换器16和图像捕获装置18中的一个或多个。该网络可包括局域网 (LAN)、广域网(WAN)、蓝牙(Bluetooth?)和/或近场通信(NFC)技术，以及可以是无线的、有 线的或其组合。
[0142] 图46是图示了用于将来自用户的物理输入转换至虚拟世界中的动作的示例方法 的流程图。参考图46,方法300包括下面的步骤。首先，获得跟踪装置(例如跟踪装置20)上 一个或多个标记的图像(步骤302)。这些图像可使用图像捕获装置(例如，图像捕获装置18) 捕获。其次，使用所获得的图像确定在时间to处相对于一个或多个标记的参考数据(步骤 304)。参考数据可以使用数据转换器(例如，数据转换器16)确定。其次，测量在时间tl处相 对于一个或多个标记的参考数据和位置的空间关系的改变，由此空间关系的改变由应用至 跟踪装置上的物理输入生成(步骤306)。时间tl是晚于时间t0的时间点。空间关系的改变可 由数据转换器测量。用户输入可对应于至跟踪装置20的物理输入，使得一个或多个标记相 对于彼此移动。用户输入也可对应于真实世界中跟踪装置20的移动。其次，数据转换器确定 时间tl处相对于一个或多个标记的空间关系的改变是否落入预定阈值范围内（步骤308)。 若时间tl处相对于一个或多个标记的空间关系的改变落入预定阈值范围内，则该数据转换 器生成在用户装置(例如用户装置12)上渲染的虚拟世界中的动作(步骤310)。在一些实施 例中，一个或多个标记的任一个可被用于确定虚拟世界中对象的位置。具体地，该数据转换 器可计算时间to和tl之间一个或多个标记的任一个的空间差异，以确定虚拟世界中对象的 位置。在一些实施例中，虚拟世界中的动作可基于标记的可观察的出现而被生成。在那些实 施例中，时间to和tl之间的个别标记的消失和/或重现会导致虚拟世界中生成的特定动作。
[0143] 这里公开的方法可以被实现为计算机程序产品，即在非易失性信息载体例如机器 可读存储装置或有形非易失性计算机可读介质中有形实施的计算机程序，用于由数据处理 设备执行或控制数据处理设备的操作，数据处理设备例如是可编程处理器、计算机或多个 计算机。计算机程序可以以任意形式的程序语言撰写，包括编译的或注释的语言，且其可以 任何形式部署，包括作为单机程序或作为模块、组件、子例程或其他适于在计算环境中使用 的单元。计算机程序可被部署以在一个地点的或者通过多个地点分布且经由通信网络互连 的一个计算机或多个计算机上执行。这里公开的系统的部分或全部也可由专用集成电路 (ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、印刷电路板(PCB)、数字信 号处理器(DSP)、可编程逻辑组件和可编程互连的组合、单个中央处理单元(CPU)芯片、组合 在母板上的CHJ芯片、通用目的计算机、或基于这里公开的方法能够处理光学图像数据和生 成虚拟世界中动作的装置或模块的任何其他组合来实施。可以理解，上述示例实施例仅仅 是说明性的目的，而不限于所要求保护的主题。系统的特定部分可被删除、组合或重排，且 额外的部分可增加至系统。然而，明显的是可作出各种修改和改变，而不脱离如随后权利要 求中阐述的所要求保护的主题的较广精神和范围。说明书和附图因此被认为是说明性的而 不是限制性的。通过考虑说明书以及这里公开的所要求保护的主题的实施，所要求保护的 主题的其他实施例对于本领域技术人员来说可以是显而易见的。
[0144] 现在参考图47,处理流程图图示了如这里描述的方法1100的示例实施例。示例实 施例的方法1100包括:从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图 像的至少一部分，所述至少一个参考图像表示一组参考数据的一部分(处理块1110);接收 该图像捕获子系统的位置和方位数据，该位置和方位数据表示参考数据的另一部分(处理 块1120);当物理输入被应用到跟踪子系统时，通过使用数据处理器来测量相对于参考数据 的空间关系的改变(处理块1130);以及生成虚拟世界中的动作，该动作对应于所测量的空 间关系的改变(处理块1140)。
[0145] 图48示出了电子装置的示例形式的机器的图解表示，电子装置例如移动计算和/ 或通信系统700，其中当一组指令被执行时和/或处理逻辑被激活时，可使得机器执行这里 描述和/或要求保护的方法的任一个或多个。在可选实施例中，机器操作为单机装置操作， 或可被连接(例如联网）至其他机器。在联网实现中，该机器可在服务器-客户端网络环境中 在服务器或客户端机器的地位中操作，或作为对等(分布式）网络环境中的对等机器。该机 器可以是个人电脑(PC)、膝上型电脑、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能 电话、网络器具、机顶盒(STB)、网络路由器、开关或桥接器、或能执行一组指令(顺序或按照 别的方式)或启动指定将由机器执行的动作的处理逻辑的任何机器。此外，尽管仅图示了一 单个机器，但是术语"机器"也可被当作包括个别地或联合地执行一组(或多组)指令或处理 逻辑以执行这里所描述和/或要求保护的方法的任一个或多个的机器的任意集合。
[0146] 该示例移动计算和/或通信系统700包括数据处理器702(例如，片上系统[SoC]、通 用处理内核、图形内核、和可选的其他处理逻辑)和存储器704,其能经由总线或其他数据传 输系统706彼此通信。该移动计算和/或通信系统700还可包括各种输入/输出（I/O)装置和/ 或接口 710，例如触摸屏显示器、音频插孔、和可选的网络接口 712。在示例实施例中，该网络 接口 712可包括配置为与任何一个或多个标准无线和/或移动协议或接入技术(例如，2代 (26)、2.5代、3代(36)、4代(46)、以及未来一代用于蜂窝系统的无线电接入、全球移动通信 系统(GSM)、通用分组无线电服务(GPRS)、增强数据GSM环境(EDGE)、宽带码分多址(WCDMA)、 1^￡工01^2000、11^^、无线路由器(11〇网格等)兼容的一个或多个无线电收发器。网络接口 712也可被配置用于与各种其他有线和/或无线通信协议一起使用，协议包括TCP/IP、UDP、 51卩、5]\^、訂？、歡？、0)獻、10獻、1]￥^、1]冊、町？1、町]\&?、蓝牙、此￡￡ 802.111等。本质上，网络 接口 712可包括或虚拟地支持任何有线和/或无线通信机制，通过其，信息可经由网络714在 移动计算和/或通信系统700和另一计算或通信系统之间传输。
[0147] 存储器704可表示机器可读介质，在其上存储一组或多组指令、软件、固件或其他 处理逻辑(例如逻辑708)，实现这里描述和/或要求保护的任意一个或多个方法或功能。在 由移动计算和/或通信系统700执行期间，逻辑708或其一部分也可完全或至少部分地驻留 在处理器702中。如此，存储器704和处理器702也可构建机器可读介质。逻辑708或其部分也 可被配置为处理逻辑或逻辑，其至少一部分以硬件部分地实现。逻辑708或其一部分还可经 由网络接口 712在网络714上传送或接收。尽管示例实施例的机器可读介质可以是单个介 质，术语"机器可读介质"应当被认为包括存储了一组或多组指令的单个非瞬时介质或多个 非瞬时介质(例如，集中的或分布式的数据库、和/或关联高速缓存和计算系统）。术语"机器 可读介质"也可被认为包括能存储、编码或携带指令集的任何非瞬时介质，所述指令集用于 由机器执行且促使机器执行各种实施例中的任何一个或多个方法，或能够存储、编码或携 带由这样的指令集利用或与这样的指令集关联的数据结构。术语"机器可读介质"可相应地 被认为包括但不限于，固态存储器、光学介质、和磁介质。
[0148] -般性地参考这里使用的符号和术语，这里呈现的描述可根据在计算机或计算机 网络上执行的程序过程公开。这些过程性的描述和展示可由本领域技术人员使用，以将他 们的工作传达给其他本领域技术人员。
[0149] 过程被一般地构思为在能被存储、传递、组合、比较、和按照别的方式操纵的电、 磁、或光信号上执行的前后一致的操作序列。这些信号可以称为位、值、元素、符号、字符、术 语、数字等。然而应该注意，所有这些和类似术语都应关联于合适的物理量，且仅仅是应用 于这些量的便捷的标签。进而，所执行的操纵通常在术语上被称为例如增加或比较，其操 作可以由一个或多个机器执行。用于执行各种实施例的操作的有用机器可包括通用目的数 字计算机或类似的装置。各种实施例也涉及用于执行这些操作的设备或系统。这些设备可 以根据目的具体构建，或其可包括如由存储在计算机中的计算机程序选择性地激活或重新 配置的通用目的计算机。这里展示的过程不是本质上与具体计算机或其他设备相关。各种 通用目的机器可与根据这里的教义撰写的程序一起使用，或其可证实对于构建更多专用设 备以执行这里描述的方法是便利的。
[0150] 提供本公开的摘要以允许读者快速明确本技术公开的本质。应当理解其将不用来 解释或限制权利要求的范围或含义。此外，在前面的【具体实施方式】中，可以看到，为了使本 公开简化的目的，各种特征可以被一起分组在单个实施例中。本公开的方法不应被解释为 反映所要求保护的实施例需要比在每项权利要求中明确说明的特征更多的特征的意图。相 反地，如下面的权利要求所反映的，本发明的主题决不在于单个公开实施例的所有特征。因 此，下面的权利要求被合并至【具体实施方式】中，其中每个权利要求独立地作为单独的实施 例。
【主权项】
1. 一种设备，包括： 处理器； 图像捕获子系统； 跟踪子系统，包括至少一个参考图像；以及 数据转换子系统，与该处理器和该图像捕获子系统进行数据通信，该数据转换子系统 用以： 从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图像的至少一部分， 该至少一个参考图像表示一组参考数据的一部分； 接收该图像捕获子系统的位置和方位数据，该位置和方位数据表示该参考数据的另一 部分； 当物理输入被应用至该跟踪子系统时，测量相对于该参考数据的空间关系的改变；以 及 生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。2. 如权利要求1所述的设备，其中该数据转换子系统被进一步配置以确定空间关系的 改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则生成 虚拟世界中的动作。3. 如权利要求1所述的设备，其中该跟踪子系统包括一个或多个标记，该数据转换子系 统被进一步配置以当物理输入被应用至该跟踪子系统时，测量相对于所述一个或多个标记 的空间关系的改变。4. 如权利要求1所述的设备，其中被应用至该跟踪子系统的物理输入是该跟踪子系统 的一部分的旋转或平移。5. 如权利要求1所述的设备，其中被应用至该跟踪子系统的物理输入是该跟踪子系统 自身的旋转或平移。6. 如权利要求1所述的设备，其中所述空间关系的改变是在二维空间或三维空间中测 量的。7. 如权利要求1所述的设备，其中该图像捕获子系统包括多个图像捕获装置，且该数据 转换子系统被进一步配置以从多个图像捕获装置的每个中接收图像数据，并同步从所述多 个图像捕获装置所接收的图像数据。8. 如权利要求1所述的设备，其中该虚拟世界中的动作是虚拟对象的移动或操纵、或虚 拟用户接口的操纵。9. 如权利要求1所述的设备，其中该虚拟世界中的动作对应于真实世界装置的控制。10. 如权利要求1所述的设备，其中该参考数据包括来自用户装置的加速计数据。11. 一种方法，包括： 从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图像的至少一部分， 该至少一个参考图像表示一组参考数据的一部分； 接收该图像捕获子系统的位置和方位数据，所述位置和方位数据表示该参考数据的另 一部分； 当物理输入被应用至该跟踪子系统时，通过使用数据处理器，来测量相对于该参考数 据的空间关系的改变;以及 生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。12. 如权利要求11所述的方法，包括确定空间关系的改变是否落入预定阈值范围内，并 且如果空间关系的改变落入该预定阈值范围内，则生成虚拟世界中的动作。13. 如权利要求11所述的方法，包括当物理输入被应用至该跟踪子系统时，测量相对于 一个或多个标记的空间关系的改变。14. 如权利要求11所述的方法，其中被应用至该跟踪子系统的物理输入是跟踪子系统 自身或跟踪子系统的一部分的旋转或平移。15. 如权利要求11所述的方法，其中该参考数据包括来自用户装置的加速计数据。16. 如权利要求11所述的方法，其中所述空间关系的改变是在二维空间或三维空间中 测量的。17. 如权利要求11所述的方法，包括从多个图像捕获装置的每个中接收图像数据，且同 步从所述多个图像捕获装置所接收的图像数据。18. 如权利要求11所述的方法，其中虚拟世界中的动作对应于虚拟对象的移动或操纵、 或虚拟用户接口的操纵、或真实世界装置的控制。19. 一种包含指令的非瞬时机器可用存储介质，当所述指令由机器执行时，促使该机 器： 从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图像的至少一部分， 该至少一个参考图像表示一组参考数据的一部分； 接收该图像捕获子系统的位置和方位数据，所述位置和方位数据表示该参考数据的另 一部分； 当物理输入被应用至该跟踪子系统时，测量相对于该参考数据的空间关系的改变；以 及 生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。20. 如权利要求19所述的机器可用存储介质中包含的指令，被进一步配置以确定空间 关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内， 则生成虚拟世界中的动作。
【文档编号】G06F3/01GK106055090SQ201610301722
【公开日】2016年10月26日
【申请日】2016年2月14日
【发明人】李方炜
【申请人】李方炜