多视图虚拟现实用户界面的制作方法

本公开总体上涉及用户界面，具体地涉及允许具有多视图功能的虚拟现实(vr)或增强现实(ar)用户界面。

背景技术：

本部分是旨在向读者介绍可能与下文所述的和/或所要求保护的本公开各个方面相关的现有技术的各方面。相信这样的讨论有助于向读者提供背景信息以便帮助更好地理解本公开的各方面。因此，应当理解，这些陈述应按这种方式解读，而不是作为对现有技术的承认。

近年来，由虚拟现实(vr)和增强现实(ar)设备创建的沉浸式体验已成为越来越受到关注的主题。这是因为vr/ar可以实际上在每个领域中使用，以执行包括测试、娱乐、培训和教学的各种功能。例如，工程师和建筑师可以在新设计的建模中使用vr/ar。医生可以使用vr/ar技术以提前练习和完善困难的操作，军事专家可以通过模拟战场操作来制定策略。vr/ar还广泛地用于游戏和娱乐行业，以提供交互式体验并增强观众的娱乐性。vr/ar能够创建感觉真实的模拟环境，并可以准确地复制在真实或虚构世界中的体验。

尽管vr/ar提供了独特的体验，但是大多数的使用提供了单人且单独的体验。该缺点赋予这样的体验反社会性，并且可能使该技术蒙受污名。此外，在需要观察者协助vr/ar系统用户的情况下(例如在训练演习期间)，无法共享体验提供了挑战。因此，需要能够包含更多社交vr/ar世界的多玩家和多共享环境。

技术实现要素：

提供了一种系统、用户界面和方法，用于将与由传感器记录的用户穿戴的壳体的移动有关的输入发送给控制器。第一内部显示器和第二外部显示器被提供并被设置为所述第一显示器仅由用户可视。第二显示器由不是用户的至少一个其他观察者可视。在一些实施例中，第二显示器对用户不可视。在一些实施例中，设置用于记录与第一显示器相对应的移动的传感器。至少一个控制器被配置为接收来自传感器的输入，并且至少部分地基于该输入向第一显示器和第二显示器提供图像，其中，所述输入表示用户、第一显示器和第二显示器中的至少一个的移动。

通过类似的技术实现了附加的特征和优点，并且在本文中详细描述了其他实施例和方面，并且将其视为所要求保护的实施例的一部分。为了更好地理解具有优点和特征的实施例，请参考具体实施方式和附图。

附图说明

通过以下参考附图并通过非限制的方式描述的实施例和执行示例，本公开将被更好地理解和说明，在附图中：

图1示意性示出根据本公开的一个或多个实施例的编码和解码系统的功能概述；

图2示意性示出根据一个实施例的系统；

图3示意性示出根据另一实施例的系统；

图4示意性示出根据另一实施例的系统；

图5示意性示出根据另一实施例的系统；

图6示意性示出根据另一实施例的系统；

图7示意性示出根据另一实施例的系统；

图8示意性示出根据另一实施例的系统；

图9示意性示出根据另一实施例的系统；

图10示意性示出根据实施例的沉浸式视频呈现设备；

图11示意性示出根据另一实施例的沉浸式视频呈现设备；

图12示意性示出根据另一实施例的沉浸式视频呈现设备；

图13示意性示出根据一个实施例的具有第一内部显示器和第二外部显示器的用户界面；

图14提供了根据一个实施例的图13的实施例的更详细的视图；

图15提供了图14的实施例的备选实施例；

图16提供了根据另一实施例的具有视频投影仪的备选实施例；

图17提供了根据另一实施例的具有智能移动设备的备选实施例；

图18是根据一个实施例的vr/ar可穿戴设备的图示；

图19是根据一个实施例的用于向用户和观察者提供多个透视图的方法的流程图表示；以及

在可能的情况下，贯穿附图，相同的附图标记将用于表示相同或类似部件。

具体实施方式

将理解的是，本实施例的附图和说明书已经被简化，以示出有助于对本实施例进行更清楚的了解的相关元素，同时为了简明起见，省略了在典型的数字多媒体内容递送方法和系统中能找到的许多其它元素。然而，由于这些元素在本领域是公知的，本文中不提供对这些元素的详细讨论。本文的公开针对本领域技术人员已知的所有这些变化和修改。

图1示意性示出根据一个或多个实施例的编码和解码系统的总体概述。图1的系统被配置为执行一个或多个功能。可以设置预处理模块300以准备用于由编码设备400进行编码的内容。预处理模块300可以执行多图像获取、合并所获取的公共空间中的多个图像(例如，通过使用例如但不限于等距形映射或立方体映射而映射到2d帧中对从3d球体到每个像素的方向进行编码的3d球体)。备选地，预处理模块300可以获取特定格式(例如，等矩形)的全向视频作为输入，并且对该视频进行预处理以将映射改变为更适合于编码的格式。取决于所获取的视频数据表示，预处理模块300可以执行映射空间改变。另一实现可以将多个图像组合成具有点云表示的公共空间。编码设备400以适合于传输和/或存储的形式来打包内容以由兼容解码设备700恢复。通常，尽管不严格要求，但是编码设备400提供一定程度的压缩，从而允许更有效地表示公共空间(即，使用较少存储器进行存储和/或使用传输所需的较少带宽)。在将3d球体映射到2d帧的情况下，2d帧实际上是可以由多个图像(或视频)编解码器中的任何一个进行编码的图像。在具有点云表示的公共空间的情况下，编码设备400可以例如通过八叉树分解来提供众所周知的点云压缩。在被编码之后，可以被编码为例如沉浸式视频数据的数据或3dcgi编码数据被发送到网络接口500，该网络接口500通常可以在任何网络接口中实现，例如存在于网关中。数据然后通过诸如互联网之类的通信网络550进行传输，但是可以预见任何其他网络。然后，经由网络接口600接收数据。可以在网关、电视、机顶盒、头戴式显示器(hmd)设备、沉浸式(投影)墙或任何沉浸式视频呈现设备中实现网络接口600。在接收之后，数据被发送到解码设备700。解码的数据然后由播放器800处理。播放器800针对呈现设备900准备数据，并且可以接收来自传感器的外部数据或用户输入数据。更确切地，播放器800准备将要由呈现设备900显示的视频内容的一部分。解码设备700和播放器800可以被集成在单个设备(例如，智能电话、游戏控制台、stb、平板电脑、计算机等)中。在另一实施例中，播放器800可以集成在呈现设备900中。

各种类型的系统可以用于执行沉浸式显示设备的功能，以呈现沉浸式视频或交互式沉浸式体验(例如，vr游戏)。在图2至图9中示出了用于处理增强现实(ar)或虚拟现实(vr)内容的系统的实施例。这种系统设置有一个或多个处理功能，并且包括沉浸式视频呈现设备，该沉浸式视频呈现设备可以包括例如头戴式显示器(hmd)、平板电脑或智能电话，并且可以可选地包括一个或多个传感器。沉浸式视频呈现设备还可以包括在显示设备与执行处理功能的一个或多个模块之间的接口模块。表示处理功能可以集成到沉浸式视频呈现设备中，或者由一个或多个处理设备执行。这样的处理设备可以包括一个或多个处理器以及与沉浸式视频呈现设备通信的通信接口，例如无线或有线通信接口。

处理设备还可以包括与诸如互联网之类的宽带接入网络通信的通信接口(例如，600)，并且直接地或通过诸如家庭或本地网关之类的网络设备访问位于云上的内容。处理设备还可以通过诸如本地接入网络接口(未示出)之类的接口(例如，以太网网类型接口)来访问本地存储设备(未示出)。在实施例中，处理设备可以设置在具有一个或多个处理单元的计算机系统中。在另一实施例中，可以在智能电话中设置处理设备，该智能电话可以通过有线链路或无线链路连接到视频，以将映射改变为更适合于编码的格式。取决于所获取的视频数据表示，预处理模块300可以执行映射空间改变。在被编码之后，可以被编码为例如沉浸式视频数据的数据或3dcgi编码数据被发送到网络接口500，该网络接口500通常可以在任何网络接口中实现，例如存在于网关中。数据然后通过诸如互联网之类的通信网络进行传输，但可以预见任何其他网络。然后，经由网络接口600接收数据。可以在网关、电视、机顶盒、头戴式显示器设备、沉浸式(投影)墙或任何沉浸式视频呈现设备中实现网络接口600。在接收之后，数据被发送到解码设备700。解码的数据然后由播放器800处理。播放器800针对呈现设备900准备数据，并且可以接收来自传感器的外部数据或用户输入数据。更确切地，播放器800准备将要由呈现设备900显示的视频内容的一部分。解码设备700和播放器800可以被集成在单个设备(例如，智能电话、游戏控制台、stb、平板电脑、计算机等)中。在另一实施例中，播放器800可以被集成在呈现设备900中。

“沉浸式内容”通常是指通常编码为矩形帧的视频或其他流式内容或图像，该矩形帧是二维像素(即，颜色信息的元素)阵列，如“常规”视频或其他形式的图像内容。在许多实现中，可以执行以下过程来呈现该沉浸式内容。为了进行呈现，首先将二维框架映射到凸体积的内面(也称为映射表面(例如，球体、立方体、金字塔))上，其次由虚拟相机捕获该体积的一部分。由沉浸式显示设备的屏幕对虚拟相机捕获的图像进行显示。在一些实施例中，在一个或两个矩形框中提供了立体视频以及解码结果，该矩形框可以被投影到两个映射表面上，一个映射表面用于用户眼睛中的一个，根据显示设备的特性由两个虚拟相机捕获两个映射表面的一部分。

内容中的像素根据来自框的映射功能向虚拟相机显示。映射功能取决于映射表面的几何结构。对于相同的映射表面(例如，立方体)，各种映射功能是可能的。例如，立方体的面可以根据框表面内的不同布局来构造。例如，可以根据等距矩形投影或球心投影来映射球体。由所选择的投影函数产生的像素组织可能修改或破坏线的连续性、正交局部帧、像素密度，并且可能引入时间和空间的周期性。这些是用于编码和解码视频的典型特征。通常，现今在编码和解码方法中缺乏对沉浸式视频的特殊性的考虑。实际上，由于沉浸式视频是360°视频，因此平移例如会引入运动和不连续性，所述运动和不连续性在场景的内容不改变时需要对大量数据进行编码。在对视频帧进行编码和解码时，考虑沉浸式视频的特殊性将为现有方法带来有价值的优势。

在另一实施例中，系统包括辅助设备，该辅助设备与沉浸式视频呈现设备和处理设备进行通信。在这样的实施例中，辅助设备可以执行处理功能中的至少一个。沉浸式视频呈现设备可以包括一个或多个显示器。设备可以在每个显示器的前面采用诸如透镜之类的光学器件。显示器也可以是沉浸式显示设备的一部分，例如在智能电话或平板电脑的情况下。在另一实施例中，显示器和光学器件可以被嵌入头盔、眼镜或可穿戴遮阳板中。沉浸式视频呈现设备还可以包括用于在呈现中使用的一个或多个传感器，如稍后所述。沉浸式视频呈现设备还可以包括接口或连接器。它可以包括一个或多个无线模块，以便与传感器、处理功能、手持设备或与其他身体部位有关的设备或传感器进行通信。

当由沉浸式视频呈现设备执行处理功能时，沉浸式视频呈现设备可以设置有直接或通过网关连接到网络的接口以接收和/或发送内容。

沉浸式视频呈现设备还可以包括由一个或多个处理器执行的处理功能并且被配置为解码内容或处理内容。在此通过处理内容，可以理解用于准备显示内容的功能。这可以包括例如解码内容、在显示内容之前合并内容以及根据显示设备修改内容。

沉浸式内容呈现设备的一个功能是控制虚拟相机，该虚拟相机捕获被构造为虚拟体积的内容的至少一部分。该系统可以包括一个或多个姿势跟踪传感器，其全部或部分地跟踪用户的姿势，例如，用户头部的姿势，以便处理虚拟相机的姿势。可以设置一个或多个定位传感器以跟踪用户的位移。该系统还可以包括例如与环境有关的其他传感器，以测量照明、温度或声音状况。这样的传感器还可以与用户的身体有关，例如，以检测或测量出汗或心率。通过这些传感器获取的信息可以用于处理内容。该系统还可以包括用户输入设备(例如，鼠标、键盘、遥控器、操纵杆)。来自用户输入设备的信息可以用于处理内容、管理用户界面或控制虚拟相机(或实际相机)的姿态。传感器和用户输入设备通过有线或无线通信接口与处理设备和/或沉浸式呈现设备通信。

将参考图10更详细地描述沉浸式视频呈现设备10的实施例。沉浸式视频呈现设备包括显示器101。显示器例如是oled或lcd类型的显示器。沉浸式视频呈现设备10例如是hmd、平板电脑或智能电话。设备10可以包括触敏表面102(例如，触摸板或触觉屏幕)、相机103、与至少一个处理器104连接的存储器105和至少一个通信接口106。至少一个处理器104处理从传感器20(图2)接收的信号。来自传感器的一些测量用于计算设备的姿态并控制虚拟相机。可以用于姿势估计的传感器包括例如陀螺仪、加速计或罗盘。在更复杂的系统中，例如，也可以使用相机装备(rig)。至少一个处理器104执行图像处理以估计设备10的姿态。可以根据环境状况或用户反应来使用一些其他测量以处理内容。用于检测环境和用户状况的传感器包括例如一个或多个麦克风、光传感器或接触传感器。也可以使用更复杂的系统，例如跟踪用户眼睛的视频相机。在这种情况下，至少一个处理器执行图像处理以执行期望的测量。来自传感器20和用户输入设备30的数据也可以被发送到计算机40，计算机40将根据传感器的输入来处理数据。

存储器105包括用于处理器104的参数和代码程序指令。存储器105还可以包括从传感器20和用户输入设备30接收的参数。通信接口106使沉浸式视频呈现设备能够与图2的计算机40通信。处理设备的通信接口106可以包括有线接口(例如，总线接口、广域网接口、局域网接口)或无线接口(例如，ieee802.11接口或接口)。计算机40将数据和可选的控制命令发送给沉浸式视频呈现设备10。计算机40处理数据，例如以准备用于由沉浸式视频呈现设备10进行显示的数据。可以由计算机40排他地执行处理，或者可以由计算机执行部分处理并由沉浸式视频呈现设备10执行部分处理。计算机40直接或通过网关或网络接口50连接到互联网。计算机40从互联网接收表示沉浸式视频的数据，处理这些数据(例如，解码数据并且可以准备将由沉浸式视频呈现设备10显示的视频内容的一部分)，并处理后的数据发送给沉浸式视频呈现设备10进行显示。在另一实施例中，系统还可以包括本地存储设备(未示出)，表示沉浸式视频的数据被存储在该本地存储设备中，例如，所述本地存储设备可以在计算机40上或者在例如通过局域网可访问的本地服务器上(未示出)。

将参考图2至图6描述用于显示增强现实、虚拟现实、增强现实(也为混合现实)或从增强现实到虚拟现实的任何内容的第一类型的系统的实施例。在一个实施例中，这些与大视野内容组合在一起，该大视野内容可以提供真实、虚构或混合环境的多达360度的视野。该大视野内容可以是三维计算机图形图像场景(3dcgi场景)、点云、流内容或沉浸式视频或全景图片或图像等。可以使用许多术语来定义提供这样的内容或视频的技术，例如，先前指出的虚拟现实(vr)、增强现实(ar)360、全景、4π、球面度、全向、沉浸式以及大视野。

图2示意性地示出了被配置为解码、处理和呈现沉浸式视频的系统的实施例。该系统包括沉浸式视频呈现设备10、一个或多个传感器20、一个或多个用户输入设备30、计算机40和网关50(可选)。

图3示意性地表示配置为解码、处理和呈现沉浸式视频的系统的第二实施例。在该实施例中，stb90直接(即，stb90包括网络接口)或通过网关50连接到诸如互联网的网络。stb90通过无线接口或通过有线接口连接到呈现设备，例如电视机100或沉浸式视频呈现设备200。除了stb的经典功能之外，stb90还包括处理功能，以处理用于在电视100或任何沉浸式视频呈现设备200上进行呈现的视频内容。这些处理功能类似于针对计算机40描述的处理功能，在此不再描述。传感器20和用户输入设备30的类型也与先前参考图2描述的传感器和输入设备的类型相同。stb90从互联网获得表示沉浸式视频的数据。在另一实施例中，stb90从存储表示沉浸式视频的数据的本地存储设备(未示出)获得表示沉浸式视频的数据。

图4示意性地示出被配置为解码、处理和呈现沉浸式视频的系统的第三实施例。在第三实施例中，游戏控制台60处理内容数据。游戏控制台60将数据和可选控制命令发送给沉浸式视频呈现设备10。游戏控制台60被配置为处理表示沉浸式视频的数据，并且将处理后的数据发送给沉浸式视频呈现设备10进行显示。处理可以排他地由游戏控制台60完成，或者部分处理可以由沉浸式视频呈现设备10完成。

游戏控制台60直接地或通过网关或网络接口50连接到互联网。游戏控制台60从互联网获得表示沉浸式视频的数据。在另一实施例中，游戏控制台60获得呈现设备10。可以由计算机40排他地执行处理，或者可以由计算机执行部分处理并由沉浸式视频呈现设备10执行部分处理。计算机40直接或通过网关或网络接口50连接到互联网。计算机40从互联网接收表示沉浸式视频的数据，处理这些数据(例如，解码数据并且可以准备将由沉浸式视频呈现设备10显示的视频内容的一部分)，并处理后的数据发送给沉浸式视频呈现设备10进行显示。在另一实施例中，系统还可以包括本地存储设备(未示出)，表示沉浸式视频的数据被存储在该本地存储设备中，例如，所述本地存储设备可以在计算机40上或者在例如通过局域网可访问的本地服务器上(未示出)。

图5示意性示出被配置为对沉浸式视频进行解码、处理和呈现的系统的第四实施例，其中，沉浸式视频呈现设备70由插入壳体705中的智能电话701提供。智能电话701可以连接到互联网，因此可以从互联网获得表示沉浸式视频的数据。在另一实施例中，智能电话701从存储表示沉浸式视频的数据的本地存储设备(未示出)获得表示沉浸式视频的数据，所述本地存储设备可以在智能电话701上或在通过例如局域网可访问的本地服务器上(未表示)。

图6示意性表示了第一类型系统的第五实施例，其中，沉浸式视频呈现设备80包括用于处理和显示数据内容的功能。该系统包括沉浸式视频呈现设备80、传感器20和用户输入设备30。沉浸式视频呈现设备80被配置为可能根据从传感器20和从用户输入设备30接收的数据来处理(例如，解码并准备以用于显示)表示沉浸式视频的数据。沉浸式视频呈现设备80可以连接到互联网，因此可以从互联网获得表示沉浸式视频的数据。在另一实施例中，沉浸式视频呈现设备80从本地存储设备(未示出)获得表示沉浸式视频的数据，其中，表示沉浸式视频的数据被存储在所述本地存储设备中，所述本地存储设备可以设置在呈现设备80上或通过例如局域网设置在可访问的本地服务器上(未示出)。

在图12中示出沉浸式视频呈现设备80的实施例。沉浸式视频呈现设备包括与至少一个处理器804和至少一个通信接口806连接的显示器801(例如，oled或lcd型显示器)、触摸板(可选)802、相机(可选)803、存储器805。存储器805包括用于处理器804的参数和代码程序指令。存储器805还可以包括从传感器20和用户输入设备30接收的参数。存储器805可以具有足够大的容量以存储表示沉浸式视频内容的数据。不同类型的存储器可以提供这种存储功能，并包括一个或多个存储设备(例如sd卡、硬盘、易失性或非易失性存储器……)。通信接口806使沉浸式视频呈现设备能够与互联网通信。处理器804处理表示视频的数据以在显示器801上显示图像。相机803捕获环境的图像以用于图像处理步骤。从该步骤中提取数据以控制沉浸式视频呈现设备。

在图7至图9中示出了用于处理增强现实、虚拟现实或增强虚拟性内容的第二类型的系统的实施例。在这些实施例中，系统包括沉浸式墙或cave(“cave自动虚拟环境”的递归首字母缩写)。

图7示意性地表示第二类型的系统的实施例，该第二类型的系统包括显示器1000-从计算机4000接收数据的沉浸式(投影)墙。计算机4000可以从互联网接收沉浸式视频数据。可以直接或通过网关5000或网络接口将计算机4000连接到互联网。在另一实施例中，沉浸式视频数据由计算机4000从存储表示沉浸式视频的数据的本地存储设备(未表示)获得，所述本地存储设备可以在计算机4000或通过例如局域网可访问的本地服务器中(未示出)。

该系统还可以包括一个或多个传感器2000和一个或多个用户输入设备3000。沉浸式墙1000可以是oled或lcd类型、或者投影显示器，并且可以配备有一个或多个相机(未示出)。沉浸式墙1000可以处理从一个或多个传感器2000接收的数据。从传感器2000接收的数据可以例如与照明状况、温度、用户的环境(例如，物体的位置和用户的位置)有关。在一些情况下，由沉浸式墙1000呈现的图像可以取决于用户的位置，例如以调整呈现中的视差。

沉浸式墙1000还可以处理从一个或多个用户输入设备3000接收的数据。用户输入设备3000可以发送诸如触觉信号的数据，以便给出关于用户情绪的反馈。用户输入设备3000的示例包括例如手持设备(例如智能电话、遥控器)以及具有陀螺仪功能的设备。

数据也可以从传感器2000和用户输入设备3000传输到计算机4000。计算机4000可以根据从这些传感器/用户输入设备接收的数据来处理视频数据(例如，对它们进行解码并且进行准备以用于显示)。可以通过沉浸式墙的通信接口来接收传感器信号。该通信接口可以是蓝牙类型、wifi类型或任何其他类型的连接，优选地是无线的，但是也可以是有线连接。

计算机4000将处理后的数据以及可选的控制命令发送给沉浸式墙1000。计算机4000被配置为处理数据，例如准备数据以用于沉浸式墙1000进行显示。处理可以排他地由计算机4000完成，或者部分处理可以由计算机4000完成并且部分处理由浸入式墙1000完成。

图8示意性表示第二类型系统的另一实施例。该系统包括沉浸式(投影)墙6000，沉浸式墙600被配置为处理(例如，解码并准备用于显示的数据)并显示视频内容，并且还包括一个或多个传感器2000以及一个或多个用户输入设备3000。

沉浸式墙6000通过网关5000从互联网接收沉浸式视频数据或直接从互联网接收沉浸式视频数据。在另一实施例中，沉浸式视频数据由沉浸式墙6000从存储表示沉浸式视频的数据的本地存储设备(未表示)获得，所述本地存储设备可以在沉浸式墙6000或通过例如局域网可访问的本地服务器中(未示出)。

该系统还可以包括一个或多个传感器2000和一个或多个用户输入设备3000。沉浸式墙6000可以是oled或lcd类型并且配备有一个或多个相机。沉浸式墙6000可以处理从传感器2000(或多个传感器2000)接收的数据。从传感器2000接收的数据可以例如与照明状况、温度、用户的环境(例如，物体的位置)有关。

沉浸式墙6000还可以处理从用户输入设备3000接收的数据。用户输入设备3000发送诸如触觉信号的数据，以便给出关于用户情绪的反馈。用户输入设备3000的示例包括例如手持设备(例如智能电话、遥控器)以及具有陀螺仪功能的设备。

沉浸式墙6000可以根据从这些传感器/用户输入设备接收的数据来处理视频数据(例如，对它们进行解码并且进行准备以用于显示)。可以通过沉浸式墙的通信接口来接收传感器信号。该通信接口可以包括蓝牙类型、wifi类型或任何其他类型的无线连接或任何类型的有线连接。沉浸式墙6000可以包括至少一个通信接口，以与传感器和互联网通信。

图9示出了其中沉浸式墙用于游戏的另一实施例。一个或多个游戏控制台7000例如通过无线接口连接到沉浸式墙6000。沉浸式墙6000通过网关5000从互联网接收沉浸式视频数据或直接从互联网接收沉浸式视频数据。在备选实施例中，沉浸式视频数据由沉浸式墙6000从存储表示沉浸式视频的数据的本地存储设备(未表示)获得，所述本地存储设备可以在沉浸式墙6000或通过例如局域网可访问的本地服务器中(未示出)。

游戏控制台7000将指令和用户输入参数发送给沉浸式墙6000。沉浸式墙6000例如根据从传感器2000和用户输入设备3000以及游戏控制台7000接收的输入数据来处理沉浸式视频内容，以便准备内容以进行显示。沉浸式墙6000还可以包括内部存储器以存储要显示的内容。

在vr或ar环境中，在穿戴头戴式显示器的用户周围存在内容。然而，同时，如果用户朝错误的方向看，则用户很容易错过有趣或令人兴奋的事件。当用户在tv或基于屏幕的计算设备上观看360°视频内容时，也会出现该问题。期望向用户提供物理遥控器(remote)以通过改变角度来平移视图空间，以便可以提供与不同角度相对应的内容。由于大多数现有技术不能提供这样的内容，因此在许多应用中出现了问题。另外，即使当可以相应地提供内容时，也期望将用户的注意力吸引到用户可能由于注意力不集中而错过的关键信息。

图13至图19提供了显示vr/ar用户界面以及系统和方法的不同实施例。常规地，在许多vr/ar系统中，显示系统被穿戴在用户的头部上。在某些情况下，由控制器通过实时操纵驱动正呈现预记录的视频(例如，360°视频)的显示器，以渲染与用户移动相对应的视图以及由显示器所包含的视场。在其他情况下，显示器由控制器驱动，以实时呈现计算机生成的视频。在两种情况下，所呈现的视频至少部分地基于用户的移动，最常见的是用户头部的方向变化。在这样的系统中，用户通常是看到所产生的视频图像的唯一人，在这种情况下，观察者看到了用户的移动，但是没有接收到与用户正看到什么有关的任何信息，因此不知道用户正对什么反应。这给例如在训练练习中辅助用户的观察者带来了问题，例如，用户学习使用vr设备或在vr系统仅仅是学习工具的情况下学习技能。这对于使用vr系统观看另一个比赛的朋友或家人也是不利的-如果只有一方正在观看视频，则很难分享经验。

在一个示例中，可以想象当父母和孩子是ar/vr系统的用户时的情形。当使用大多数vr/ar用户界面(包括头戴式显示器(以下称hmd))时，许多父母无法了解孩子正在观看或体验什么。在这样的例子中，孩子的节目可能已经结束并转到了不适合年龄的恐怖节目中。在图13至图18提供的一个实施例中，父母可以了解并且甚至监视孩子正在看什么。在某些配置中，可以将hmd中的视频副本发送给远程显示器，在这种情况下，观察者可以观看远程显示器，但是在这种情况下，他们通常将视线从穿戴vr系统的用户移开，并且正在远程显示器上显示的内容不再具有用户的姿势或移动的上下文。

应当注意，尽管在本描述中以示例的方式使用了hmd，但是本领域技术人员可以理解的是，所有vr/ar用户界面都可以与本实施例一起使用，并且hmd仅用于易于理解。

在许多常规ar/vr系统中，用户穿戴hmd，并且存在供其他用户使用的远程显示器。远程显示器通常是静态的，而用户通常在移动，由于划分的空间关系，难以将用户正在做什么与屏幕上显示什么相关联。因此，在一个实施例中，通过将外部显示器附接到hmd，可以将对用户的视频呈现镜像到hdm的外表面，以直观地观察用户的体验。在一些实施例中，外部的图像可以与内部的图像不同，例如，以更好地将包括在图像中的视场映射到外部显示器的形状和尺寸，或者扩大内部图像的中心区域以更好地在外部显示器上指示用户正在注意什么。在hmd上添加一个外部安装的显示器允许观察者通过与用户正看到的内容相对应的直观呈现而看到在用户正经历的虚拟世界中正在发生什么。面向外部的显示器上的视频还可以用穿戴hmd的用户可能不可用的信息进行注释或扩充，例如，心率的指示或用户的累积压力的估计，或者与未立即关注的兴趣点有关的提示(这可以诱导观察者将这些提示传达给穿戴hmd的用户，从而将交互式体验扩展到观察者并使体验更具社交性)。

内部显示器上显示的图像当在外部显示器上显示时可以进行镜像。这可以是显示为镜像的相同图像，也可以是作为原始的镜像图像的单独图像。明确地说，“镜像图像”是指从左向右翻转的图像。在镜像图像中，原始图像中的任何文本都将在镜像图像中反向读取。在内部显示器上显示的图像中出现的文本将通过这种镜像在外部显示器上进行反转，因此在针对内部和外部显示器单独地创建图像的实施例中，文本的呈现在另外镜像的图像中反转，使得对于观察者来说文本以正确的阅读显示。

图13提供了这样的示例。系统1300提供了一种情况，其中观察者1350正在观看利用vr/ar用户界面1302(即，此处为可穿戴hmd)的用户1301，该观察者没有穿戴hmd也没有类似的用户界面。在该特定示例中，当用户穿戴着hmd时用户界面或hmd具有由用户1301可视的内部显示器1310。hmd还具有由观察者可视的外部显示器。hmd的内部显示器1310以众所周知的方式操作。为了清楚起见，未示出用户1301观看内部显示器1310所需的光学器件(例如，透镜)。外部显示器1315被提供有与内部显示器1310上所示的内容相对应的视频信号。

到外部显示器1315的视频信号可以与提供给内部显示器1310的视频信号相同，其中，视频信号由外部显示器反向显示(从左向右翻转)。在其他实施例中，到外部显示器的视频信号可以是不同的但仍对应的视频信号。在一些实施例中，该不同的视频信号表示由提供给内部显示器1310的视频信号表示的图像的镜像图像。在其他实施例中，不同的视频信号表示作为内部显示器的图像的镜像图像的图像，但是其中文本已经如上所述被反转以在镜像图像中为正确的阅读。

图14示出了图13所示的实施例的框图，其中显示器是hmd的一部分。在该示例中，hmd结构支撑面向内部的显示器1310和面向外部的显示器1315。当穿戴着hmd时，用户可看到面向内部的显示器，而未穿戴hmd的观察者可看到面向外部的显示器，如先前图13所示。在该实施例中，一个或多个移动传感器1401将移动信息1410(通常至少是方向信息)提供给一个或多个控制器1425。一个或多个控制器1425基于移动信息产生由图像信号1420表示的图像。既向内部显示器又向外部显示器提供图像信号，其中外部显示器呈现相对于内部显示器的呈现从左到右反转(reversedleft-to-right)的图像，从而在两种呈现之间存在对应的利手。举例来说，如果由控制器提供的图像包含指向左侧的箭头，则向穿戴hmd的用户呈现该图像可能引起用户转向左侧。如果在未进行水平翻转的情况下在外部显示器上呈现相同的图像，则该箭头将指向用户的右侧，并且用户看起来在与指示的方向相反的方向上转向。如果外部显示器对图像进行了水平翻转(即，呈现镜像图像)，则外部显示器上显示的箭头和内部显示器上显示的箭头指向相似的方向，从而使外部呈现与内部呈现相对应且一致。

在一个实施例中，对面向内部的显示器的适当观看不需要特殊的光学器件并且未在附图中示出，但是如果需要，可以提供这种光学器件。然而，许多hmd提供菲涅耳透镜或其他光学系统，以使用户的眼睛聚焦在面向内部的显示器上。对于采用光场、全息或其他显示技术向穿戴hmd的用户呈现图像的hmd，本描述预期到这些，并将其包括在本文中内部显示器的设计中。同样，虽然在附图中未示出用于将用户界面固定到用户(即，将hmd固定到穿戴的用户的头部)的机构，但是本领域技术人员可以理解，可以进行多种配置以提供固定布置，包括但不限于使用头带、帽子、耳钩(通常用于眼镜)、平衡物等，因为这些相当多样化且不受本实施例的影响。另外，本实施例在“被穿戴”的概念中包括用户可能仅将hmd保持在他们的面部上而无需维持该位置的附加带等(例如，利用谷歌cardboard)。

图15示出了一种备选方案，其中控制器1425提供由图像信号1520和1530表示的两个不同的图像，一个图像用于内部显示器1310(信号1530)，一个图像用于外部显示器1315(信号1520)。在该实施例的最简单的版本中，控制器仅将第一图像提供给面向内部的显示器，并将作为第一图像的镜像图像的第二图像提供给面向外部的显示器。在该实施例的备选版本中，第二图像可以是不同的(例如，表示比第一图像更宽或更窄的视野，和/或可以对第二图像进行不同地注释，等等)。

图16类似于图15，但是在该备选实施例中，面向内部的显示器1610被实现为在形成显示器的可视部分的屏幕上的投影仪1620。再次注意，未示出用户在穿戴hmd时用于聚焦在内部显示器上所必需的任何常规观看光学器件。投影角度1625可以选择性地布置以获得最佳观看效果。

在又一个实施例中，如图17所示，hdm结构1700支持两个单独的呈现设备：一个向内(1705)和一个向外(1706)，其中对每个呈现设备的支撑是直接的或间接的(即，一个呈现设备要安装到结构1700，而第二呈现设备通过安装到第一呈现设备而直接或间接地安装到该结构)。在此，两个呈现设备示出为被实现为智能电话(尽管本领域的技术人员可以理解许多其他布置也是可能的)，每个呈现设备均包含移动传感器和控制器(分别为1701、1702和1725和1726)，以驱动它们各自的显示器1710和1720，如上所述。例如，在所讨论的实施例中，第一智能电话的第一显示器1710面向穿戴hmd1700的用户，并且由用户通过观看光学器件(未示出)看到。第二智能电话的第二显示器1720背对用户，使得观看用户的观察者可观看到它。当观察者观看用户时，第二智能电话揭示用户体验的表示，从而允许观察者更好地理解、共享事件，并在一定程度上共享体验。两个呈现设备可以共享通信链路(未示出)以帮助同步。该链路可以经由无线电频繁链路，例如，近场通信(nfc)、无线局域网(wlan或wifi)或个人局域网(pan或bluetooth^tm)。该链路可以经由音频同步，例如，其中一个智能电话上的应用通过扬声器(未显示)发出嘟嘟声或其他声音(可以是超声波)，而另一个智能电话上的应用通过麦克风(未示出)检测到该嘟嘟声，从而标记精度小于1毫秒的时间共同点(基于声音在从发出嘟嘟声的电话的扬声器到检测电话的麦克风的间距之间的行进所花费的时间，以及每个智能电话音频处理的可变内部延迟(例如，缓冲、分组))。备选地，用户可以同时按下两个智能电话中的每一个上的开始按钮(未示出)。

在一些实施例中，外部显示器和用于头戴外部显示器的结构可以是不同的并且独立于用于头戴第一显示器的结构。例如，可以独立地提供没有外部屏幕能力的用于vr用途的第一hmd，以供用户穿戴。单独地，外部屏幕设置有适当的结构或附件，以将第二屏幕直接或间接地安装到用户的头部(即，第二屏幕形成第二hmd，但在穿戴时不面对用户；或者，具有或不具有附加结构的第二屏幕例如通过夹或钳在第一hmd上或粘附到第一hmd上而附接到第一hmd上)。假定面向外部的显示器表示添加到hmd上的质量，并且可能在长时间使用时降低舒适度，则对于不存在观察者、或存在观察者但不需要看到反映的用户体验的那些情况，面向外部的显示器是可移除的。此外，移除外部显示器或仅禁用外部显示器可以提供降低功耗的优点。

如本文所述，提供给外部显示器的图像通常表示用户在内部显示器上正看到的内容。在备选实施例中，提供给外部显示器的图像可以是不同的或被放大。例如，如果用户在hmd所呈现的虚拟世界中躲避海盗并在岩石后面，则可以在内部显示器上用岩石视图来呈现用户，而在外部显示器上观察者可能能够穿过岩石看到海盗(好像用户具有x射线视力而对用户优势的反映)，或者观察者可能能够看到海盗的后方，所计算的外部视图好像在虚拟世界中距用户一定距离(例如，20英尺)处正在观看的情景，但是向虚拟世界中的用户的后方看，通常是沿用户凝视方向的线向后看。观察者的这种视图可以实现不同类型的交互(例如，他要来到岩石周围了！移动到您左侧的树后面！”)，从而增加了体验的社会性质。

当hmd被穿戴或保持到用户的面部时，hmd被称为“可操作地定位”，使得用户能够通过hmd的适当的观看光学器件看到并聚焦在hmd的内部显示器上。当“可操作地定位”时，hmd共享用户头部的参考系，即，与用户头部接触或以其他方式保持相对于用户头部的位置，如果用户的头部旋转，则hmd同样旋转，使得显示器相对于观看者的头骨保持固定，如果hmd的穿戴或保持稍微松动，则给予或采取少量固定。术语“可操作地定位”有助于描述谷歌cardboardvrviewer等，它们通常不系在用户的头部并被穿戴，而仅像老式的立体图像或经典的viewmaster^tm玩具一样被固定在适当地方。

图18提供了根据一个实施例的的示例。在图18中，示出了穿戴着眼镜1840形式的hdm风格用户界面的用户1860。在该示例中，观察者(未示出)可以看着用户的面部并且在外部显示器1870中看到图像。在该示例中，描绘了观察者的视图，看到用户在河边的城市景观的夜景上远望。

图19是根据一个实施例的流程图描述。在一个实施例中，如步骤1900所示，接收与由用户穿戴的壳体的移动有关的输入。输入表示通过传感器记录的用户移动，并将其发送给控制器。移动可以是壳体本身的移动，而不是使用者本身。在步骤1910中，提供至少一个图像，该至少一个图像至少部分地基于经由控制器接收的输入。如步骤1920所示，第一内部显示器被设置为仅对用户可视，而第二外部显示器对不是用户的至少一个其他观察者可视。图像被提供给壳体的第一内部显示器和第二外部显示器。图像可以被改变、可以相同或包含附加文本。文本也可以被改变，从一个显示器中缺失，在显示器之间反转，或者可以相同。

另外，可以通过控制器提供的、与显示的内容同步的信号，例如通过扬声器或耳机(未示出)来提供音频以伴随显示的内容。在一些实施例中，用户和观察者都可以听到共同的音频节目。在备选实施例中，提供给用户的音频可以通过耳机或不可听的其他近场发射，或者以其他方式不用于观察者，而音频(可以相同或不同)单独地提供给用户，例如，通过对观察者可听见的扬声器，或通过另一种设备，例如与至少一个控制器进行无线通信的蓝牙耳机或头戴式耳机。在一些情况下，呈现给用户的音频可以是3d音频(例如，双声道的、或基于对象的音频，该音频呈现单独的声音，以便与视觉呈现在位置上一致地出现，即使用户转身)。呈现给观察者的音频可以独立地呈现，并且甚至可以是3d音频，但如果这样，则优选根据观察者的面对方向进行呈现，观察者的面对方向可以从用户的主要面对方向和对观察者距用户的距离的预定估计来估计。在另一实施例中，hmd的传感器可以识别观察者相对于用户的位置，并且该信息用于相应地为观察者呈现音频。

在一些实施例中(未示出)，针对观察者提供的外部显示器可以在用户头部的上方或后方，或者位于对于观察者而言可能是更方便的位置的用户上的其他地方(例如，在背包上)，这具体取决于用户的本性。例如，在军事或警察训练中，观察者可以是通过学生正在探索的实际相遇环境而跟随学生(用户)的老师。观察者在环境中倒退是尴尬的，特别是当学生可能突然向前冲或将武器伸入观察者所占据的空间时。在这种情况下，观察者的外部显示器可以安装在用户的头部后方或用户的背部。注意，在该配置中，内部显示器针对用户而显示的图像可以与针对观察者显示的图像相同，因为针对两个显示器利手是一致的，即视频信号中指向左的箭头将在两个屏幕上指向基本相同的方向(指向用户左侧)。

尽管已经描述了一些实施例，但是应当理解，本领域技术人员现在和将来都可以做出各种改进和增强，这些改进和增强落入所附权利要求的范围内。这些权利要求应被解释为对最初描述的实施例保持适当的保护。