虚拟物体的同时优选观看的制作方法
【专利说明】虚拟物体的同时优选观看
[0001] 背景
[0002] 混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴 透视、头戴式显示化MD)设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图 像。用户可例如通过执行手、头、或语音姿势来进一步与虚拟物体进行交互，W移动物体、更 改它们的外观或简单地观看它们。
[0003] 为了让多个用户在两个用户都佩戴透视头戴式显示器时能够交互，用户设备所呈 现的虚拟物体将被共享。观看虚拟物体的设备的每个用户在其自己的视野内具有对于该物 体的视角。运些设备中的一个或多个独立地或者与中枢计算系统结合地可被用来确定每个 用户各自对虚拟物体的视图。
[0004] 概述
[000引提供了用于向透视的头戴式显示设备的配戴者呈现虚拟物体的优选的、共享的观 看的技术。该技术为共享观看的虚拟物体选择优选观看地点和朝向。在确定物体的优选的、 共同查看位置时考虑物体和用户的数目。该技术允许每个用户具有对于共享环境中的物体 的相对位置的共同观看。
[0006] 在一个方面，确定公共环境中多个用户的位置、朝向W及视野。根据运一信息W及 与共同观看的虚拟物体相关联的物体定义，为物体确定共同的优选观看位置和朝向。运一 信息在用户间分享W允许在该位置并且W该朝向来呈现该共同观看的虚拟物体。该技术针 对物体和/或物体的观看者的移动W及用户的数目来进行调整。
[0007] 提供本概述W便W简化形式介绍将在W下详细描述中进一步描述的一些概念。该 概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要 求保护的主题的范围。
[000引附图简述
[0009] 图1A是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组 件的图示。
[0010] 图1B是两个都佩戴着头戴式显示器的用户分享和观看共同的虚拟物体的描绘。
[0011] 图1C是图1B中的用户观看被优选放置的虚拟物体的描绘。
[0012] 图2是头戴式显示单元的一个实施例的立体图。
[0013] 图3是头戴式显示单元的一个实施例的一部分的侧视图。
[0014] 图4是头戴式显示单元的组件的一个实施例的框图。
[0015] 图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0016] 图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
[0017] 图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
[0018] 图8是表示根据本技术的方法的流程图。
[0019] 图9是表示一种用于实现图8中的步骤612的方法的流程图的描绘。
[0020] 图10是表示一种用于实现图8中的步骤616的方法的流程图。
[0021 ]图11A是表示一种用于实现图10中的步骤1024的方法的流程图。
[0022] 图IIB和lie表示根据图llA的虚拟物体相对于用户的优选放置。
[0023] 图12A是表示一种用于在Ξ用户情况下实现图10中的步骤1024的方法的流程图。 [0024 ]图12B和12C示出虚拟物体相对于Ξ个用户的优选放置。
[0025] 图13A是示出图12A的方法的替代实施例的流程图。
[0026] 图13B-13D示出虚拟物体和用户的各种位置，其中Ξ个用户正在观看一个虚拟物 体。
[0027] 图14A示出一种用于解决被共同观看的物体之间的位置冲突的方法。
[002引图14B和14C解说多个虚拟物体的各种位置。
[0029] 图15A示出一种用于针对不同物理环境中的用户的解决被共同观看的物体之间的 位置冲突的方法。
[0030] 图15B和15C示出针对不同物理环境中的用户的虚拟物体的各种位置。
[0031 ] 详细描述
[0032] 提供了一种用于允许公共环境或不同环境中的多个用户能够具有对虚拟物体的 优选或共同的相对观看的技术。当向配备透视歷D设备的两个或更多个用户呈现虚拟物体 时，该物体的呈现可W在一个相对于每个用户的位置，使得每个用户可具有针对该物体的 优选体验。特定类型的虚拟物体不适用于相同物体视图（两个用户都看到物体的"正面"，即 使用户处于物理上不同的位置)或者W用户为中屯、的物体视图（相对的用户看到物体的"正 面"和"背面"）中的任意一个。
[0033] 该技术为呈现给公共环境中的或共享共同的虚拟环境的多个用户的共享观看虚 拟物体选择优选观看位置和视角。在确定优选、共同观看位置时考虑多个物体和多个用户。 该技术允许每个用户具有对于环境中的物体的相对位置的共同观看。
[0034] 虚拟物体可包括物体定义。该定义可包括允许显示设备2在用户的视野中呈现虚 拟物体的数据。定义的一个组件可包括物体类型、物体大小、W及一个或多个优选观看视角 和朝向。每个优选观看视角可包括用户观看该物体的优选视角的定义。当虚拟物体被分享 时，此处所提供的技术使用物体定义W及分享该物体的每个用户的位置和视野来确定要为 每个用户呈现该物体的优选位置。
[0035] 头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透 过该显示元件看到该用户的视野(F0V)内的现实世界物体。该显示元件还提供将虚拟图像 投影到该用户的F0V中W使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统 自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的F0V中的何处。一 旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。
[0036] 在一个替代实施例中，中枢计算系统和一个或多个处理单元可W协作W构建包括 房间或其他环境中的所有用户、现实世界物体和虚拟Ξ维物体的x、y、z笛卡尔位置的环境 的模型。由该环境中的用户佩戴的每个头戴式显示设备的位置可W被校准到该环境的所述 模型并且被彼此校准。运允许该系统确定每个用户的视线W及该环境的F0V。从而，可向每 个用户显示虚拟物体，但是从每个用户的视角的虚拟图像的显示可W是相对的，从而针对 来自或由于该环境中的其他物体的任何视差W及遮挡来调整该虚拟物体。该环境的所述模 型(在本文中被称为场景图）W及对用户的F0VW及该环境中的物体的跟踪可由协力或独立 工作的中枢和移动处理单元来生成。
[0037] 在一个实施例中，当用户在混合现实环境内走来走去时，虚拟物体可相对于每个 用户的位置被重新放置。
[0038] 图1A例示出用于通过将虚拟图像21与用户的F0V内的现实内容相融合来提供混合 现实体验的系统10。图1示出了佩戴头戴式显示设备2的单个用户18,但理解到，一个W上的 用户可W存在于混合现实环境中并从他们自己的角度观看相同的虚拟物体。如在图2和3中 看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可W与头戴 式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
[0039] 在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户 可W透过显示器进行观看，并且从而具有该用户前方的空间的实际直接视图。使用术语"实 际直接视图"来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图 像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房 间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
[0040] 处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实 施例中，处理单元4与一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、或其他无 线通信手段)通信。如此后解释的，中枢计算系统12可W在处理单元4的远程提供，使得中枢 计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实施例中，中枢计 算系统12可被省略W使用头戴式显示设备2和处理单元4来提供移动混合现实体验。
[0041] 中枢计算系统12可W是计算机、游戏系统或控制台等等。根据一示例实施例，中枢 计算系统12可W包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游 戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如标准化 处理器、专用处理器、微处理器等等之类的处理器，运些处理器可W执行存储在处理器可读 存储设备上的指令来执行本文所述的过程。
[0042] 中枢计算系统12进一步包括捕捉设备20,该捕捉设备20用于从其F0V内的场景的 一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，运一环境 在捕捉设备20的F0V内和/或每一头戴式显示设备2的F0V内被捕捉。图1A示出了单个捕捉设 备20,但是在进一步的实施例中可W存在多个捕捉设备，运些捕捉设备彼此协作W从所述 多个捕捉设备20的合成F0V内的场景中集体地捕捉图像数据。捕捉设备20可包括一个或多 个相机，相机在视觉上监视用户18和周围空间，使得可W捕捉、分析并跟踪该用户所执行的 姿势和/或移动W及周围空间的结构，W在应用内执行一个或多个控制或动作和/或使化身 或屏上人物动画化。
[0043] 中枢计算系统12可被连接到诸如电视机、监视器、高清电视机化DTV)等可提供游 戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例 中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
[0044] 中枢计算系统12与头戴式显示设备2和处理单元4 一起可W提供混合现实体验，其 中一个或多个虚拟图像(如图1中的虚拟图像21)可与场景中的现实世界物体混合在一起。 图1例示出作为出现在用户的F0V内的现实世界物体的植物23或用户的手23的示例。
[004引图1B和1C示出用于为多个用户定位虚拟物体的本技术。图1B示出在公共环境100 中的两个用户18A和18B之间的虚拟物体27的W用户为中屯、的视角。
[0046]每个用户可配备有显示设备2和处理单元4。每个用户具有其自身视角的虚拟物体 27。用户l&i具有视角24a，而用户1^3具有视角24b。虚拟物体27具有正面27a和背面27b。图 1B中示出的视图是相对于用户1&1的W用户为中屯、。用户1&1看到虚拟物体27的正面27a，而 用户18b看到虚拟物体的背面27b。
[0047] 在诸如图1B中示出的用户18a和18b正观看图片的情况下，当W用户为中屯、的视图 被使用时，难W让用户分享体验图片。图1B中的视图被称为W用户为中屯、，因为就虚拟物体 27而言，用户18a的视图要比用户18b的视图好。
[0048] 图1C示出虚拟物体27针对用户18a和18b的共同或优选观看定位。虚拟物体27的新 位置相对于用户18a和18b来呈现，使得每个视角24a和24b针对用户相对于用户的位置来优 化。当一个用户指向虚拟物体27时，物体的位置和用户指向的方向将对于用户18b而言看上 去是正确的。
[0049] 本技术提供了确定虚拟物体相对于两个或更多个用户的共同视图。在图1C中，应 当理解，虚拟物体27现在具有共同位置，但每个用户的视图是相关的一一每个用户"看到" 虚拟物体在环境中的公共地点中的位置，但是每个用户18A和18b具有相对于该用户的不同 视角。
[0050] 图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设备2 的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110用于 记录声音W及将音频数据传送给处理单元4,如下所述。在头戴式显示设备2的前方是朝向 房间的视频相机112,该视频相机112可W捕捉视频和静止图像。那些图像被传送至处理单 元4,如下所述。
[0051] 头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜）。 为了示出