用于共享虚拟现实环境的装置和方法与流程

本公开大体上涉及共享虚拟现实环境。更具体地，本公开涉及用于在一个或多个主设备和一个或多个从设备之间共享虚拟现实环境的系统和方法。

背景技术：

虚拟现实头戴式耳机越来越普遍，并且在许多环境中，可能希望能够与其他人共享虚拟现实体验。然而，由虚拟现实头戴式耳机创建的虚拟现实环境是孤立的，并且可能难以与其他人共享沉浸式虚拟现实体验。

技术实现要素：

技术问题

本发明的实施例提供用于在一个或一个以上主设备与一个或一个以上从装置之间共享虚拟现实环境的系统和方法。

问题的解决方案

在一个实施例中，公开了一种头戴式显示器(hmd)。hmd包括收发器、显示器和联接至收发器和显示器的处理器。处理器配置为控制收发器从至少一个其它hmd接收与至少一个其它hmd在虚拟现实(vr)环境中的视场(fov)相关的数据。处理器还配置为使用与至少一个其它hmd的fov相关的数据生成所述hmd在vr环境中的fov。

在另一个实施例中，公开了另一种头戴式显示器(hmd)。hmd包括收发器、显示器和联接至收发器和显示器的处理器。处理器配置为控制收发器向至少一个其它hmd发送与所述hmd在虚拟现实(vr)环境中的视场(fov)相关的数据，其中与所述hmd的fov相关的数据用于产生至少一个其它hmd在vr环境中的fov。

根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员来说是显而易见的。

在以下具体实施方式之前，阐述贯穿本专利文件使用的某些词和短语的定义可能是有利的。术语“联接”及其派生词是指两个或更多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”以及其派生词包括直接和间接通信。术语“包括”和“包含”以及其派生词意指非限制性地包括。术语“或”是包括性的，意味着和/或。短语“与……关联”以及其派生词意味着包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、联接到或与……联接、可与……通信、与……协作、交织、并列、接近、绑定到或与……绑定、具有、具有……的特性、具有与……的关系或和……的关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。当短语“……中的至少一个”与项目列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可以仅需要列表中的一个项目。例如，“a、b和c中的至少一个”包括以下组合中的任一个：a、b、c、a和b、a和c、b和c以及a和b和c。

此外，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成，并包含在计算机可读介质中。术语“应用程序”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、光盘(cd)、数字视频光盘(dvd)或任何其它类型的存储器。“非暂时性”计算机可读介质排除了有线链路、无线链路、光链路或其它通信链路，这些链路传输暂时性电信号或其它信号。非暂时性计算机可读介质包括可以永久存储数据的介质，以及可以存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。

在整个本专利文件中提供了对其它某些单词和短语的定义。本领域普通技术人员应了解，在许多(如果不是大多数)实例中，此类定义适用于此类经定义的词和短语的先前以及未来使用。

附图说明

为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：

图1示出了根据本公开的实施例的示例性计算系统；

图2示出了根据本公开的实施例的示例性计算系统；

图3示出了根据本公开的实施例的示例电子设备；

图4示出了根据本公开的实施例的分别以固定引导模式操作的主设备和从设备的示例性主fov和从fov的集合；

图5分别示出了根据本公开的实施例的以灵活引导模式操作的主设备和从设备的示例性主fov和从fov的集合；

图6示出了根据本公开的实施例的从设备的示例性从fov；

图7示出了根据本公开的实施例的包含ui覆盖的主设备的示例性主fov；

图8示出了根据本公开的实施例的包含游戏ui覆盖的主设备的示例性主fov；以及

图9、图10和图11示出了根据本公开的实施例的用于实现共享vr体验的示例方法的流程图。

具体实施方式

下面讨论的图1至图11以及在本专利文件中用于描述本公开的原理的各种实施例仅仅是示例性的，而不应以任何方式解释为限制本公开的范围。本领域技术人员将了解，本公开的原理可实施于任何适当布置的系统或装置中。

本公开的实施例涉及通过诸如头戴式(或可安装在头部的)设备(hmd)的虚拟现实设备共享所经历的虚拟现实(vr)环境。共享vr环境对于多种应用是有用的，例如，教学体验(例如，虚拟现场旅行)、用于vr应用开发(例如，证明错误)、向其他用户演示vr应用的特征、玩vr视频游戏等。在共享vr体验中，一个或多个操作者可以具有分配给他们的hmd的“主”角色，而其余操作者具有分配给他们的hmd的“从”角色。分配了主角色的hmd(本文称为主hmd)能够控制分配了从角色的hmd(本文称为从hmd)的vr体验的各个方面。

在一些实施例中，在每个hmd上安装有“vr引导”应用程序(或应用)以促进共享vr体验。vr引导应用能够协调每个hmd的vr环境，例如通过向每个hmd提供用于构建vr环境以进行显示的世界数据。世界数据可以包括例如对象的虚拟位置、对象的2d或3d模型、对象的纹理等。另外，vr引导应用程序可以在共享环境中的hmd之间进行协调，以将信息从一个或多个hmd中继到其他hmd。例如，vr引导应用可以彼此共享每个hmd的位置信息，以便在虚拟环境中呈现与每个hmd相关的模型(例如，化身)。作为另一个示例，vr引导应用可以彼此共享一个或多个hmd的动作信息(例如选择、突出显示或其他vr环境中的对象交互的动作)，以便允许其他hmd查看vr环境内的一个或多个hmd的动作。

在一些实施例中，特定hmd的vr引导应用在发起vr会话之前从服务器或从hmd之一下载世界数据。在一些实施例中，主hmd以点对点(p2p)方式提供世界信息，以与vr会话中的其它hmd的vr引导应用共享。在其它实施例中，特定hmd的vr引导应用在vr会话期间实时地流送来自服务器或主hmd的世界数据。实时流送使得hmd能够接收世界数据，以仅呈现vr环境的当前在vr会话中使用的部分，从而节省可能用于呈现vr环境的当前未使用部分的计算资源。

在一些实施例中，使用预先存在的世界数据来实现以下描述的本公开的各种特征。例如，不是为了与本公开的实施例一起使用而创建的3d世界的世界数据可以由vr引导应用修改或扩展，以使用预先存在的世界数据来提供下面描述的特征。

图1示出了根据本公开的各种实施例的示例性计算系统100。图1所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其它实施例。

系统100包括网络102，其便于系统100中的各个组件之间的通信。例如，网络102可以在网络地址之间通信互联网协议(ip)包、帧中继帧或其它信息。网络102可以包括一个或多个局域网(lan)、城域网(man)、广域网(wan)、诸如因特网的全球网络的全部或一部分、或者在一个或多个位置的任何其它通信系统。

网络102便于至少一个服务器104和个人电子设备(例如头戴式显示器(hmd)或头戴式设备106)之间的通信。在一些实施例中，hmd106是被设计用于创建虚拟现实环境的设备。每个服务器104包括能够为一个或多个个人电子设备提供计算服务的任何合适的计算硬件或处理器。每个服务器104例如可以包括一个或多个处理器、存储指令和数据的一个或多个存储器以及有助于通过网络102通信的一个或多个网络接口。

hmd106可以是通过网络102与至少一个服务器或其他计算设备交互并且能够提供虚拟现实体验的任何合适的计算或处理设备。hmd106例如可以是移动设备，诸如在头戴式耳机中使用的移动电话、连接到另一计算设备的附属设备、虚拟现实头戴式耳机等。在计算系统100中可以使用任何其它或附加的电子设备。

在一些实施例中，hmd106彼此直接通信。例如，hmd106可以经由蓝牙、wi-fi直接、近场通信(nfc)等进行通信。在一些实施例中，hmd106通过接入点108彼此间接通信，接入点108可以是覆盖区域112的wlan接入点。在一些实施例中，hmd106间接地与网络102通信。例如，hmd106经由一个或多个接入点108进行通信，接入点108可以是诸如ieee802.11无线接入点的基站，或者经由蜂窝基站或enodeb进行通信。注意，这些示例仅用于说明，并且hmd106可以彼此直接或间接通信，或者经由任何合适的中间设备或网络与网络102间接通信。

服务器104向hmd106提供通信服务。在一些实施例中，服务器104托管(host)用于一个或多个hmd106的虚拟现实会话，并且处理不同hmd106的视场(fov)彼此的同步。例如，如下面将进一步描述的，hmd106中的一个可以是主设备，并且剩余的hmd106中的一个或多个可以是与主设备的相同fov同步的从(或副)设备。在一些实施例中，服务器104处理用于同步fov的信息在hmd106之间的通信。在一些实施例中，服务器104执行与托管虚拟现实环境相关的各种计算。

尽管图1示出了计算系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以在任何适当的布置中包括任何数量的每个部件。通常，计算和通信系统具有多种配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了其中可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用在任何其它合适的系统中。

图2和图3示出了根据本公开的计算系统中的示例性设备。具体地，图2示出了示例性计算机系统200，而图3示出了示例性电子设备300。例如，计算机系统200可以表示图1中的服务器104，并且电子设备300可以表示图1中的hmd106。在一些实施例中，电子设备300可以包括与虚拟现实附件(例如耳机)组合的移动电话。

计算机系统200包括总线系统205。总线系统205支持至少一个处理器210、至少一个存储设备215、至少一个通信接口220、至少一个输入/输出(i/o)单元225和协调单元240之间的通信。

处理器210执行可被加载到存储器230中的指令。处理器210可以包括任何适当数量和类型的处理器或任何适当布置的其它设备。处理器210的示例性类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。

存储器230和永久存储器235是存储设备215的示例，其表示能够存储信息(例如数据、程序代码和/或临时或永久基础上的其它适当信息)和促进信息的检索的任何结构。存储器230表示随机存取存储器或任何其它合适的易失性或非易失性存储设备。永久存储器235可以包含支持数据的长期存储的一个或多个组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。

通信接口220支持与其它系统或设备的通信。例如，通信接口220可以包括网络接口卡或无线通信单元，以便于通过网络102进行通信，网络102可以是例如覆盖图1的区域110的lan。通信接口220可以支持通过任何适当的物理或无线通信链路的通信。

i/o单元225允许数据的输入和输出。例如，i/o单元225通过键盘、鼠标、小键盘、触摸屏或其它合适的输入设备为用户输入提供连接。i/o单元225还向显示器、打印机或其它合适的输出设备发送输出。

协调单元240处理用于诸如hmd106的电子设备的主/从协调服务，这将在下面更详细地描述。协调单元240接收关于fov和hmd106的动作的信息，并且可以将该信息中继到其他hmd106，以允许在其他hmd106的fov内呈现虚拟位置(或多个位置)和一个或多个hmd106的动作。协调单元240还从一个或多个hmd106(例如主hmd106)接收指令以中继到其它hmd106(例如从hmd106)。协调单元240还向每个hmd106提供世界数据，以用于呈现3d世界(或环境)。协调单元240的功能可以与上面公开的vr引导应用的协调功能一致。

注意，虽然图2被描述为表示图1的服务器104，但是在hmd106或系统100中的任何其它电子设备中可以使用相同或类似的结构。例如，图2可以表示图1的接入点108的特征。

在图3所示的示例中，电子设备300包括通信单元310，其可以是例如射频(rf)收发器、蓝牙收发器或wi-fi收发器。电子设备300还包括扬声器330、处理器340、输入/输出(i/o)接口(if)345、输入接口350、显示器355、存储器360和传感器365。存储器360包括操作系统(os)程序361和一个或多个应用程序362，应用程序362可以包括如上所述的vr引导应用程序。在一些实施例中，电子设备300还用作移动电话。

通信单元310接收到来的rf信号，例如蓝牙或wi-fi信号。通信单元310对到来的rf信号进行下变频(down-convert)以产生中频(if)或基带信号，然后通过对基带或if信号进行滤波、解码和/或数字化来产生经处理的基带信号。通信单元310将经处理的基带信号传输到处理器340以用于进一步处理(例如用于网络浏览数据、在线游戏数据、通知数据或其它消息数据)。

通信单元310还从处理器340接收模拟或数字语音数据或其它输出基带数据(例如网络数据、电子邮件或交互式视频游戏数据)。通信单元310对输出基带数据进行编码、多路复用和/或数字化以产生经处理的基带或if信号。当通信单元310是rf收发器时，通信单元310将基带或if信号上变频(up-convert)为通过天线发送的rf信号。

处理器340可以包括一个或多个处理器或其它处理设备，并且执行存储在存储器360中的os361，以便控制电子设备300的整体操作。例如，处理器340可以根据公知的原理控制通信单元310对前向信道信号的接收和对反向信道信号的发送。处理器340还可以从麦克风320接收模拟或数字语音数据，并将模拟或数字音频输出到扬声器330。在一些实施例中，处理器340包括至少一个微处理器或微控制器。

处理器340还能够执行驻留在存储器360中的其它进程和程序。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于os361或响应于从外部设备或操作者接收的信号来执行应用程序362。处理器340还联接到i/o接口345，i/o接口345向电子设备300提供连接到诸如膝上型计算机和手持计算机之类的其它设备的能力。i/o接口345是这些附件和处理器340之间的通信路径。

处理器340还联接到输入接口350和显示器355。电子设备300的操作者可以使用输入接口350将数据输入到电子设备300中。显示器355可以是液晶显示器或能够呈现虚拟现实环境(包括在虚拟现实环境中呈现例如指令和消息的文本和/或图形)的其它显示器。

存储器360联接到处理器340。存储器360的一部分可以包括随机存取存储器(ram)，并且存储器360的另一部分可以包括闪存或其它只读存储器(rom)。

传感器365检测与电子设备300相关的信息，并将其中继到处理器340以进行进一步处理。例如，传感器365可以包括惯性测量单元(imu)，其可以确定设备300的姿态。装置300的姿态可以是例如佩戴作为hmd的装置300的操作者的头部运动的结果。例如，可以使用来自imu的数据来基于设备300的姿态确定呈现什么以便在显示器355上显示。显示在显示器355上的信息是包括在设备300的fov中的信息，这意味着来自imu的数据可以用于确定设备300的fov。还可以使用来自imu的数据，以便将设备300的姿态与共享vr环境中的另一设备300的姿态进行比较，这可以用于确定设备300的fov是否与另一设备300的fov相似。如下文进一步描述的，这对于确定设备300是否应当在vr环境中呈现由其他设备300执行的动作，或者确定设备300是否应当切换与设备300的fov和其他设备300的fov同步相关的操作模式可能是有用的。

尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3进行各种改变。例如，图2和图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加的组件。作为特定实例，处理器210和340可被划分成多个处理器，例如一个或多个中央处理单元(cpu)和一个或多个图形处理单元(gpu)。此外，与计算和通信网络一样，电子设备和计算机系统可以具有多种配置，并且图2和图3不将本公开限制于任何特定的客户端设备或服务器。

图4示出了根据本公开的各种实施例的分别以固定引导模式操作的主设备和从设备的示例性主fov和从fov的集合。可以在主hmd106的显示器上生成主fov402，并且可以在从hmd106的显示器上生成从fov404。图4至图8的fov仅仅是示例性的，并且不必须表示立体图像将如何实际呈现在立体hmd上。

在固定引导模式中，主hmd106将关于其fov402的信息发送到一个或多个从hmd106，从hmd106使用该信息来产生其自身的从fov404，使得其与主fov402匹配(即，从hmd106使其从fov404与主fov402同步)。因此，主fov402和从fov404都包括从相同位置和角度观看的共享虚拟环境的相同部分的呈现。以这种方式，主hmd106可以控制从hmd106观看的内容。

在一些实施例中，主hmd106的操作者(例如教师)在虚拟现实环境中突出显示一个或多个对象。例如，操作者可以利用突出显示框406来突出显示对象。在某些实施例中，使用不同的突出显示方法，例如将突出显示的3d对象的纹理改变为具有明亮的颜色。与突出显示动作相关的信息被发送到从hmd106，其例如通过生成突出显示框408在它们的从fov404内复制突出显示。

以这种方式，主hmd106的操作者经由主hmb106可以将从hmd106的操作者的注意力集中在虚拟环境中的特定对象上。这种以主设备为中心的突出显示对于许多应用可能是有用的，例如在商业会议和教学目的中。在一些实施例中，突出显示还包括与突出显示的对象相关的信息(例如，关于历史建筑的信息、关于植物或动物的信息、关于vr应用程序的特征的信息)的显示。该信息可以由主hmd106的操作者输入，或者可以由主hmd106的操作者从预先存在的信息的数据库中选择。

在一些实施例中，与主hmd106的各种其它动作相关的信息被传输到从hmd106，从hmd106可以在从fov404内复制所述动作。例如，主hmd106可以通过在vr环境中移动或创建对象来与vr环境交互，该交互将在从fov404中被复制。

图5示出了根据本公开的各种实施例的分别以灵活引导模式操作的主设备和从设备的示例性主fov和从fov的集合。可以在主hmd106的显示器上生成主fov502，并且可以在从hmd106的显示器上生成从fov504。

在灵活引导模式中，从hmd106的操作者可以自由地围绕共享的虚拟环境操纵从fov504。因此，从fov504不必须与主fov502匹配。然而，主hmd106仍可将与其fov503有关的信息传输到从hmd106，所述从hmd106允许从hmd106执行如下文所述的各种功能。

在一些实施例中，主hmd106可以如上所述地在共享vr环境中突出显示对象，例如利用突出显示框506。主hmd106可以将与该突出显示动作相关的信息发送到从hmd106。即使从hmd106的fov504与主fov502不精确匹配，如果突出显示的对象在从fov504内，则与突出显示的对象相关的信息可由从hmd106用来在从fov504内生成突出显示框508(或其它适当的突出显示图形)。以这种方式，从hmd106的操作者可以自由地“移动”通过共享虚拟现实环境，同时仍然能够从主hmd106接收信息，例如指令信息。

在一些实施例中，与主hmd106的各种其它动作相关的信息被发送到从hmd106，如果该动作在从fov404内发生，则从hmd106可以在从fov404内复制所述动作。例如，主hmd106可以通过在vr环境中移动或创建对象来与vr环境交互，该交互可以在从fov404中被复制。

在一些实施例中，从hmd106的操作者激活同步功能，该同步功能使从fov504匹配主fov502(或与主fov502同步)。例如，在课堂或教学会话期间，主hmd106和从hmd106可以共享语音呼叫会话(例如voip呼叫)，其中主hmd106的操作者(例如教师)向从hmd106的操作者(例如学生)提供讲座。如果学生决定他们想要在讲座的感兴趣部分期间看到教师的fov中的东西，则学生可以激活一个特征以将从fov504移动到教师的主fov502。在灵活引导模式中，从hmd106的操作者在从fov504与主fov502同步之后继续控制从fov504的移动。

在其它实施例中，主hmd106的操作者激活同步功能，该同步功能使从fov504匹配主fov502(或与主fov502同步)。例如，在课堂或教学会话期间，教师可以允许学生围绕共享的vr环境“漫游”，但是在课堂中的关键点，教师能够召回学生的hmd106的fov504来匹配主fov502。该强制召回功能可以包括向从hmd106发送指令以从灵活引导模式转换到固定引导模式，或者该功能可以仅临时强制从fov504匹配主fov502。在灵活引导模式中，一旦从hmd106与主fov502同步，从hmd106的操作者继续控制从fov504的移动。

fov的上述同步可能对从hmd106的操作者造成干扰。例如，由于虚拟现实显示器的特性及其沉浸的、真实的体验的创建，从fov504的突然改变可能引起定向障碍或晕动病，或者对于从hmd106的操作者具有其它负面结果。为了补救上述效果，当使从fov504与主fov502同步时，可以使用过渡动画。例如，从hmd106的显示可以逐渐变为黑色，并在与主fov502匹配的新“位置”处逐渐恢复。可替换地，从fov504可以被放大到包含从fov504的虚拟位置和主fov502的虚拟位置的远视点，然后被缩小到主fov502的虚拟位置。在一些实施例中，从hmd106使得在从fov504中显示通知，以通知操作者即将到来的转换。应当理解，可以使用任何合适的过渡动画来最小化晕动病、定向障碍以及从fov504过渡到匹配主fov502的其它负面影响。

图6示出了根据本公开的各种实施例的从设备的示例性从fov。可在从hmd106的显示器上产生从fov604。

在一些实施例中，从hmd106在固定引导模式和灵活引导模式之间转换。例如，从hmd106可以在固定引导模式下开始vr会话，但是即使从fov604被锁定到主fov(即，即使从fov604转换为与主fov的移动相匹配，并且不基于从hmd106的姿态的变化而移动),hmd中的传感器(例如imu)仍然可以跟踪从hmd106的姿态。当从hmd106的姿态从其初始姿态(例如，从初始姿态沿任何方向以20度)移动预定阈值量时，从hmd106可以将其解释为操作者希望从主fov“脱离”以探索vr环境，并且从hmd106可以转换为如上所述的灵活引导模式。在一些实施例中，主hmd106可以控制是否允许从hmd106以这种方式在固定引导模式和灵活引导模式之间转换。

当从hmd106处于灵活引导模式时，从hmd106仍然可以从主hmd106接收与主fov相关的信息。在一些实施例中，当如基于所接收的与主fov相关的信息所确定的，从fov604与主fov紧密匹配时，从hmd106可将其解释为试图将从fov604“锁定”到主fov。例如，框602可以表示主fov。当从fov604以框602为中心时，框602可以被解释为从灵活引导模式转换到固定引导模式的指示。在一些实施例中，框602可在从fov604内可视地呈现为从hmd106的操作者可用来将从fov604与主fov匹配以进入固定引导模式的目标的表示。

图7示出了根据本公开的各种实施例的包含ui覆盖的主设备的示例性主fov。可以在主hmd106的显示器上生成主fov702。

在一些实施例中，主hmd106可以在主fov702内显示ui元素704。ui元素704可以与本公开中描述的功能相关。例如，ui元素704可以包括从hmd106被设置为固定引导模式还是灵活引导模式的指示件。该指示符可以兼用作用于指示从hmd106在这些模式之间切换的可操作按钮。该指示件可以应用于所有从hmd106，或者可以分别列出每个从hmd106的状态。ui元素704还可以包括用于使从hmd106将其fov与主fov702同步(或匹配)的可操作按钮、用于启动将“主”角色转移到从hmd106之一的过程的可操作按钮或任何其它有用的ui元素。例如，附加ui元素还可以包括一个或多个从hmd是否已经在vr环境中观看了突出显示的对象达指定的时间量的指示件，其可以与教导会话中任务的完成相关联。

在一些实施例中，一个或多个从hmd106向主hmd106发送与其从fov相关的信息。主hmd106可以生成包含指示件708的虚拟环境的地图706，该指示件708示出从fov相对于主fov702的位置和定向的定向。在图7的示例中，两个从hmd的fov的定向在地图706上标记为f1和f2。地图706可以是三维的(例如，以球体的形式)，从而允许指示件708表示相应从fov的三维定向。主hmd106还能够使用该信息以类似于上述用于在从hmd处复制主fov的方式来复制从hmd的fov。

在一些实施例中，从hmd106显示类似于图7中的ui覆盖的ui覆盖。例如，ui元素704可以出现在从hmd的从fov中以指示模式(固定的或灵活的)，在允许从hmd106选择从hmd106是处于灵活引导模式还是固定引导模式的实施例中，ui元素704可以兼用作可操作按钮。ui元素704还可以包含允许从hmd启动其fov与主fov的同步的可操作按钮。地图706可以具有指示件708以显示主fov的位置和主hmd106的fov相对于从hmd106的定向。在一些实施例中，地图706还显示用于其它从hmd106的该信息。ui元素704或地图706可以另外指示主hmd当前是否正在与vr环境交互。这可以允许从hmd106的操作者例如通过激活使从fov与主fov同步的功能来确定是否将注意力集中在主hmd106上。

如图8所示，另外的ui元素还可以包括各种视频游戏相关特征，例如在vr视频游戏中处于“从”角色的玩家的用户名和状态804。在一些实施例中，主hmd106用作vr视频游戏中的“指挥官”或“游戏管理员”，并且可以访问vr环境中从hmd106不具有访问权的附加功能。主hmd106可以向从hmd106发出命令，该命令可以包括在从hmd106的从fov中呈现的信息，例如作为游戏环境内的突出显示的目标或者作为类似于ui元素704的ui元素中的文本。主hmd106还能够以比从hmd106更不受限制的方式来导航vr环境。例如，从hmd106可以在地面水平被限制为近似行走的移动速度，而主hmd106能够以更快的速度移动，可以不被限制在地面水平，并且可以在其fov中显示的vr环境的部分比从hmd106中的更大。主hmd106还能够看透从hmd106无法看透的墙壁，能够看到从hmd106不能看到的信息，能够访问从hmd106不能访问的项目，或者能够访问从hmd106不能访问的能力(例如影响环境的能力)。主hmd106还可以具有向从hmd106给予游戏中的项目和能力的能力，或者能够从从hmd106中取出游戏中的项目或能力的能力。

在游戏环境中，主角色在hmd106之间的转移可以由游戏本身而不是操作者选择来驱动。例如，在实现游戏中的目标时，可以将主角色给予一个或多个从hmd106。在一些实施例中，角色的转移可以导致主hmd106被移动到从角色。可替换地，从hmd106可以花费游戏中的货币来获得主角色。

在本公开中描述的任何实施例中，hmd106的fov信息可以被记录并提供给服务器，例如服务器104，或提供给主hmd106。所记录的信息例如可以被用于确定从hmd106是否完成诸如在指导会话期间在预定时间量内观看突出显示的对象之类的任务。查看所记录的信息可以允许教育程序中的教师或管理员在教导会话结束之后查看从hmd106的操作者的活动，以便提供评判、评级等。类似地，可以记录与主hmd106的fov相关的信息以供管理员审阅，以评判教师在教导会话中的行为。在游戏环境中，记录的fov可用于检查游戏会话中的表现。

图9示出了根据本公开的实施例的用于实现共享vr体验的示例性方法900的流程图。方法900可例如由hmd106(例如图1的hmd106)执行。在该示例中，方法600由主hmd106执行。

从框902开始，主hmd106开始共享vr会话。这可以包括例如启动vr引导应用程序。vr引导应用程序便于与例如其他hmd106(诸如从hmd106或其他主hmd106)或服务器104进行通信，以协调共享vr会话的信息共享。框902还可以包括用于共享vr会话的注册或建立过程，以便注册将参与会话的其它hmd106。

在框904处,hmd106通知已注册的从hmd106vr会话正在开始。这可以通过vr引导应用来促进，vr引导应用也可以安装在从hmd106上。可替换地，从hmd106可以不运行vr引导应用，而是可以运行另一个应用程序，用于呈现vr引导应用能够与之通信的vr环境，以便于共享vr会话。在一些实施例中，主hmd106与服务器104通信，该服务器104促进对从hmd106的通知。

在框906处，主hmd将世界数据和主fov数据发送到共享vr会话中的从hmd106。世界数据可以包括用于呈现vr环境本身的数据。在一些实施例中，在vr会话的开始时该数据在一个传输中被提供。在其它实施例中，该数据被连续地流送到从hmd106。服务器104可以与主hmd106相协调地将该数据提供给从hmd106。主fov数据可以包括与主hmd106的vr环境位置、主hmd106的状态信息以及指示主hmd106的fov内的内容的信息有关的数据。主fov数据还可以包括与vr环境内的主hmd106的操作者所采取的动作相关的事件数据。

在框908处，从hmd106使用世界数据和主fov数据来生成它们自己的fov。世界数据可用于呈现在从hmd106的fov内显示的vr环境。在一些实施例中，从hmd106向主hmd106或服务器104发送与其fov相关的信息，并且仅在必要时接收世界数据以呈现在从fov内可见的vr环境。事件数据可用于复制由主hmd106的操作者在vr环境中执行的动作。例如，如果操作者在vr环境中突出显示对象，则如上所述，从hmd106可以使用该信息在其自己的fov中突出显示该对象。在一些实施例中，从hmd106使用所述数据将主fov的副本呈现为从fov，并且一同呈现由主hmd106的操作者所采取的动作。

尽管在主hmd106的上下文中描述了图9，但是应当理解，可以对图9进行各种修改。例如，方法900可以由服务器104执行。这可对于例如从主hmd106减轻计算负担是有用的。

图10示出了根据本公开的实施例的用于实现共享vr体验的示例性方法1000的流程图。方法1000可以例如由hmd106执行，例如图1的hmd106。在该示例中，方法1000由从hmd106执行。

从框1002开始，从hmd106测量其姿态。如上所述，可以经由imu执行姿态测量。该姿态可用于确定在从hmd106的fov中呈现什么。

在框1004处，共享vr会话中的从hmd106接收从固定引导模式切换到灵活引导模式的指示。该指示可以从接收自imu的数据确定，接收自imu的数据指示从hmd106的姿态已经从从hmd106的初始姿态偏离了预定量(例如，20度)。可替换地，该指示可以由从hmd106从同一vr会话中的主hmd106接收。在从hmd106切换模式之后，从hmd106可以向主hmd106发送其已经切换模式的指示。

在框1006处，从hmd106从固定引导模式切换到灵活引导模式。在灵活引导模式中，如上所述，hmd106可以根据需要改变其fov，并且不限于匹配主fov。

在框1008处，从hmd106接收将其fov与另一hmd106(例如主hmd106)的fov相匹配的指示。如上所述，可以使用动画(例如，淡出再淡回，或放大再缩小)来减少该转变对从hmd106的操作者的冲击。

在框1010处，从hmd106接收返回到固定引导模式的指示。可以从接收自imu的数据确定该指示，接收自imu的数据指示从hmd106的姿态已经返回到从hmd106的初始姿态的预定阈值内。在其它实施例中，从hmd106从主hmd106接收包括主hmd106的fov的定向和位置的信息。在这种情况下，可以根据从imu接收的数据来确定返回到固定引导模式的指示，从imu接收的数据指示从hmd106的姿态使得从hmd106的fov处于与主hmd106的fov匹配的预定阈值内。在其它实施例中，如上所述，从主hmd106接收返回到固定引导模式的指示。

图11示出了根据本公开的实施例的用于实现共享vr体验的示例性方法1100的流程图。方法1100可以例如由hmd106执行，例如图1的hmd106。在该示例中，方法600由主hmd106执行。

从框1102开始，vr会话中的主hmd106向同一vr会话中的一个或多个从hmd106发送从固定引导模式切换到灵活引导模式的指示。主hmd106可以从从hmd106接收从hmd106已经切换模式的指示。

在框1104处，主hmd106向一个或多个从hmd106发送将它们的fov与主hmd106的fov相匹配的指示。如上所述，可以使用动画(例如，淡出再淡回，或放大再缩小)来减少该转变对从hmd106的操作者的冲击。

在框1106处，主hmd106向从hmd106中的一个或多个发送返回到固定引导模式的指示。主hmd106可将此指示发送到从hmd106的任何期望的子集或发送到从hmd106的整个集合。

尽管已经用示例性实施例描述了本公开，但是本领域技术人员可以进行各种改变和修改。本公开旨在包括落入所附权利要求的范围内的这种改变和修改。

本申请中的任何描述都不应被理解为暗示任何特定元素、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。此外，权利要求中的任何一个都旨在调用35u.s.c。§112(f)，除非确切的词语“用于……的装置”后面跟有分词。