利用追踪的头戴式显示器的制造方法
【专利说明】利用追踪的头戴式显示器
[0001] 背景 1.发明领域
[0002] 本发明涉及用于使用头戴式显示器（HMD)和控制器、以及HMD装置单元的游戏玩 法的方法和系统。
[0003] 2.相关技术的描述
[0004] 视频游戏行业这些年已经发生了许多变化。随着计算能力的扩展，视频游戏的开 发者同样已经创建了利用这些增加的计算能力的游戏软件。为此目的，视频游戏开发者一 直在编码并入有复杂操作和数学运算的游戏，以产生非常逼真的游戏体验。然而，使用HMD 设备的游戏仍然需要许多改进。
[0005] 正是在这种情况下，本发明的实施方案应运而生。
[0006] 概述
[0007] 本发明的实施方案提供用于在头戴式显示器（HMD)上渲染游戏的方法和系统。在 一些实施方案中，游戏玩法可与用户所使用的控制器相关或用所述控制器进行。所述方法 限定追踪HMD和控制器以及提供沉浸式交互性的方式。所追踪的HMD和控制器能够在三维 空间内实现相关的交互式玩法。应理解的是，本发明可以多种方式来实行，如程序、装置、系 统、设备或计算机可读介质上的方法。以下描述本发明的若干发明性实施方案。
[0008] 公开了一种头戴式显示器，其包括头部附接部分。还包括观察模块，所述观察模块 联接到头部附接部分。所述观察模块包括内部部分和外部壳体，所述内部内部具有进入配 置用于渲染图像内容的屏幕中的观察窗。还包括多个照明元件，所述多个照明元件与观察 模块的外部壳体整合在一起。多个照明元件被限定用于头戴式显示器的图像追踪，并且照 明逻辑用于将多个照明元件控制为活动的或不活动的。
[0009] 在一些实施方案中，由通信模块交换的数据包括输入数据、图像数据、音频数据、 和惯性数据。
[0010] 在一些实施方案中，多个照明元件被限定为发光二极管（LED)或红外（IR)发射 器。
[0011] 在一些实施方案中，LED被限定来照明一种或多种颜色，所述一种或多种颜色的照 明是由照明逻辑控制。
[0012] 在一些实施方案中，多个照明元件以限定的图案布置在外部壳体上。
[0013] 在一些实施方案中，外部壳体具有部分弯曲形状，并且多个照明元件以围绕所述 部分弯曲形状的图案布置。
[0014] 在一些实施方案中，外部壳体具有多个表面区域，并且多个照明元件以围绕所述 多个表面区域的图案布置。
[0015] 在一些实施方案中，其中多个照明元件包括两个或更多个形状或尺寸。
[0016] 在一些实施方案中，其中多个照明元件中的额外照明元件连接到头部附接部分。
[0017] 在另一个实施方案中，公开了一种头戴式显示器（HMD)。所述HMD包括用于放置在 用户头部上的头部附接部分以及联接到所述头部附接部分并且被配置用于放置在用户的 眼睛前方的观察模块。观察模块包括内侧和包围所述内侧的外部壳体，所述内侧具有进入 配置用于渲染图像内容的屏幕中的观察窗。所述HMD还包括用于与计算机系统交换数据的 通信模块。数据包括输入数据、图像数据、音频数据、和惯性数据（以及可能的其他数据）。 所述HMD还包括用于处理图像数据以便在屏幕上渲染图像内容的图像处理模块以及与观 察模块的外部壳体整合在一起的多个照明元件。多个照明元件被限定用于通过摄像机实现 的头戴式显示器的图像追踪。所述HMD还包括照明逻辑，所述照明逻辑用于在特定时间或 在使用期间将多个照明元件中的特定照明元件控制为活动的和/或不活动的。
[0018] 在一些实施方案中，外部壳体具有面向前部部分、第一侧部分、和第二侧部分。
[0019] 在一些实施方案中，多个照明元件中的第一个安置在面向前部部分的左侧上，并 且多个照明元件中的第二个安置在面向前部部分的右侧上。
[0020] 在一些实施方案中，多个照明元件中的第一个具有部分安置在面向前部部分和第 一侧部分中的两部分形状，并且多个照明元件中的第二个具有部分安置在面向前部部分和 第二侧部分中的两部分形状。
[0021] 在一些实施方案中，多个照明元件被限定为发光二极管（LED)或红外（IR)发射 器。
[0022] 在一些实施方案中，LED被限定来照明一种或多种颜色，所述一种或多种颜色的照 明是由照明逻辑控制。
[0023] 在一些实施方案中，多个照明元件以限定的图案布置在外部壳体上。
[0024] 在一些实施方案中，通信模块是与计算机有线连接或无线连接的通信模块。
[0025] 在一些实施方案中，惯性数据是由头戴式显示器响应于在被用户佩戴时检测到的 移动生成。
[0026] 在一些实施方案中，输入数据是由头戴式显示器响应于在被用户佩戴时的用户输 入生成。
[0027] 在一些实施方案中，音频数据和图像数据与待渲染在头戴式显示器处的交互式媒 体内容相关联。
[0028] 在一些实施方案中，交互式媒体内容包括游戏数据、视频数据、互联网导航数据、 游戏数据和互联网数据的组合、社交媒体数据、或其组合。
[0029] 在一些实施方案中，外部壳体具有部分弯曲形状，并且多个照明元件以围绕所述 部分弯曲形状的图案布置。
[0030] 在一些实施方案中，外部壳体具有多个表面区域，并且多个照明元件以围绕所述 多个表面区域的图案布置。
[0031 ] 在一些实施方案中，多个照明元件包括两个或更多个形状或尺寸。
[0032] 在一些实施方案中，多个照明元件中的额外照明元件连接到头部附接部分。
[0033] 在一些实施方案中，多个照明元件以限定的图案布置在外部壳体上。
[0034] 在另一个实施方案中，公开了一种头戴式显示器。所述头戴式显示器包括主体，所 述主体包括头部附接部分和观察模块。观察模块包括具有进入配置用于渲染图像内容的屏 幕中的观察窗的内部部分，并且主体包括覆盖观察模块的外部壳体。所述头戴式显示器还 包括与观察模块的外部壳体整合在一起的多个照明元件。多个照明元件被限定用于头戴式 显示器的图像追踪。多个照明元件以适当的图案布置。还包括照明逻辑，所述照明逻辑用 于将多个照明元件控制为活动的以便有助于图像追踪。
[0035] 提供了一种用于执行展示在头戴式显示器（HMD)的屏幕上的游戏的方法。执行 在屏幕上渲染游戏的交互式场景。所述方法包括接收由用户佩戴的HMD的数据，以便识别 HMD空间位置。所述方法还包括接收由用户握持的控制器的数据，以便识别控制器空间位 置。在玩游戏期间，所述方法包括在屏幕上渲染进入游戏的交互式场景中的视角，其中所述 视角是在三维中渲染的空间体积。所述方法包括在检测到HMD空间位置改变时调整视角。 控制器可以驱动游戏中的交互性，并且控制器位置的变化与HMD位置的变化是相关的以便 提供沉浸式三维玩游戏体验。
[0036] 在一些实施方案中，控制器提供驱动交互性的输入。
[0037] 在一些实施方案中，控制器空间位置的变化提供额外的输入。
[0038] 在一些实施方案中，额外的输入包括灯或惯性数据中的一个。
[0039] 在一些实施方案中，当由摄像机观察时灯提供位置数据，并且灯的颜色提供额外 的数据。
[0040] 在一些实施方案中，颜色基于室内条件指示玩家编号或模式或设置。
[0041] 在一些实施方案中，控制器在交互式场景中被表示为虚拟对象，所述虚拟对象在 交互式场景中渲染在大致映射到控制器空间位置的虚拟空间位置，并且控制器空间位置的 变化改变如所屏幕上示出的虚拟对象的虚拟空间位置。
[0042] 提供了另一种用于执行展示在头戴式显示器（HMD)的屏幕上的游戏的方法。所述 方法包括执行游戏，其中所述执行在屏幕上渲染游戏的交互式场景。所述方法包括：接收由 用户佩戴的HMD的数据，以便识别HMD空间位置；接收由用户握持的控制器的数据，以便识 别控制器空间位置；在屏幕上渲染进入游戏的交互式场景中的视角；以及在检测到HMD空 间位置改变时调整所述视角，所述方法由处理器执行。
[0043] 在一些实施方案中，控制器在交互式场景中被表示为虚拟对象，所述虚拟对象在 交互式场景中渲染在映射到控制器空间位置的虚拟空间位置，并且控制器空间位置的变化 改变虚拟对象的虚拟空间位置。
[0044] 在一些实施方案中，交互式场景以三维格式渲染，从而使得在交互式场景中的对 象出现在HMD的前方并且延伸一段距离进入交互式场景中。
[0045] 在一些实施方案中，使用图像数据、惯性数据、无线数据、红外数据、或其组合中的 一个或多个来追踪HMD空间位置和控制器空间位置。
[0046] 在一些实施方案中，使用图像数据追踪包括使用提供深度数据的立体摄像机来检 测HMD空间位置和控制器空间位置中的一个或两个。
[0047] 在另一个实施方案中，提供了一种用于执行展示在头戴式显示器（HMD)的屏幕上 的游戏的方法。所述方法包括执行游戏，其中所述执行在屏幕上渲染游戏的交互式场景。所 述方法包括：接收由用户佩戴的HMD的图像，以便相对于指向用户的捕获位置识别HMD空间 位置；接收由用户握持的控制器的图像，以便相对于捕获位置识别控制器空间位置，所述控 制器提供输入以便至少部分地驱动与正执行的游戏的交互作用；在屏幕上渲染进入游戏的 交互式场景中的视角；以及当在HMD的接收到的图像中检测到HMD空间位置改变时调整所 述视角。
[0048] 在一些实施方案中，控制器在交互式场景中被表示为虚拟对象，所述虚拟对象在 交互式场景中渲染在映射到控制器空间位置的虚拟空间位置，并且控制器空间位置的变化 改变虚拟对象的虚拟空间位置。
[0049] 在一些实施方案中，在通信地连接到头戴式显示器的计算机上执行游戏。
[0050] 在一些实施方案中，在游戏云上执行游戏，并且头戴式显示器通信地连接到所述 游戏云。
[0051] 在一些实施方案中，HMD空间位置和控制器空间位置中的每一个另外可通过惯性 数据识别。
[0052] 结合附图来阅读以下详细描述，本发明的其他方面将变得显而易见，以下详细描 述通过举例的方式来说明本发明的原理。
[0053] 附图简述
[0054] 结合附图来参阅以下描述可以最好地理解本发明，在附图中：
[0055] 图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。
[0056] 图2示出根据本发明的实施方案的头戴式显示器（HMD)。
[0057] 图3概念性地示出根据本发明的实施方案的与正执行的视频游戏相结合的HMD的 功能。
[0058] 图4A-4B示出根据本发明的实施方案的可从HMD的3D中观察到的虚拟空间以及 与控制器的交互作用和与控制器的协调的实例。
[0059] 图5A-9B示出根据本发明的实施方案的用户佩戴HMD并且握持控制器以及改变进 入针对视频游戏生成的交互式场景中的视角的额外的实例。
[0060] 图10和图11示出用户在与视频游戏接口连接时佩戴HMD并且握持