扩充的现实虚拟监视器的制作方法

专利名称：扩充的现实虚拟监视器的制作方法
技术领域：
本发明涉及虚拟监视器。
背景技术：
电视机、计算机显示器、电影屏幕和其它视频监视器向用户提供视觉信息。常规的视频监视器受到各种不同的物理约束的限制，诸如监视器的物理尺寸和放置监视器的物理位置。

发明内容
头戴式显示器包括透视(see-through)显示器和虚拟现实引擎。透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。虚拟现实引擎被配置成使得透视显示器在视觉上呈现虚拟监视器，该虚拟监视器对通过透视显示器查看物理空间的用户而言看上去与该物理空间一体化。提供本发明内容以便以简化形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。


图1示出根据本发明的一实施例的示例头戴式显示器。图2A示出在物理空间中佩戴头戴式显示器的用户的顶视图。图2B示出了图2A的用户的未经更改的第一人称观点。图2C示出了图2A的用户的第一人称观点，同时头戴式显示器扩充现实以在视觉上呈现虚拟监视器。图3示出根据本发明的一实施例的扩充现实的示例方法。图4是根据本发明的一实施例的示例计算系统。
具体实施例方式图1示出包括透视显示器102的头戴式显示器100的非限制性示例。透视显示器102至少是部分透明的，因此允许光穿过透视显示器到达用户的眼睛。而且，透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。例如，透视显示器可显示当用户在通过透视显示器观看时用户可看见的虚拟对象。因此，用户能够在用户查看物理空间的同时看到不存在于物理空间内的虚拟对象。这创造了虚拟对象是物理空间的一部分的幻觉。头戴式显示器100还包括虚拟现实引擎104。虚拟现实引擎104被配置成使透视显示器以虚拟监视器的形式在视觉上呈现虚拟对象。虚拟监视器可模拟现实世界的电视机、计算机显示器、电影屏幕和/或其它监视器的外观。对通过透视显示器查看物理空间的用户而言，虚拟监视器看上去与物理空间一体化。以此方式，用户能够查看实际上在物理空间中不存在的监视器。虚拟现实引擎可包括软件、硬件、固件或其任何组合。图2A示意性示出在物理空间202内佩戴头戴式显示器100的用户200的顶视图。线204a和204b指示用户通过头戴式显示器的透视显示器的视野。图2A还示出物理空间202内处于用户200的视野中的真实世界对象206a、206b、206c和206d。图2B示出通过头戴式显示器查看真实世界对象206a、206b、206c和206d的用户200的第一人称观点。在图2B中，头戴式显示器的虚拟现实引擎没有在视觉上呈现虚拟对象。因此，用户只能看见真实世界的对象。用户看见这样的真实世界对象是因为从真实世界对象的反射的光能够穿过透视显示器到达用户的眼睛。图2C示出用户200的同样的第一人称观点，但是虚拟现实引擎正在视觉上呈现虚拟对象。具体地，虚拟现实引擎在视觉上呈现虚拟监视器208a、虚拟监视器208b和虚拟监视器208c。从用户的观点，虚拟监视器看上去与物理空间202 —体化。具体地，图2C示出虚拟监视器208a，该监视器被渲染为如同虚拟监视器被安装到墙210 (这是常规电视机的典型安装选择)那样显现。虚拟监视器208b被渲染为如同虚拟监视器正被搁在桌子表面212上(这是常规平板计算设备的典型用法)那样显现。虚拟监视器208c被渲染为如同它正在自由空间中浮动(这是采用常规监视器不能容易实现的安排)那样显现。虚拟监视器208a、虚拟监视器208b和虚拟监视器208c作为非限制性示例提供。虚拟监视器可被渲染为具有基本上任何的外观，而不背离本发明的范围。作为一个示例，虚拟监视器可正在播放运动或静止图像的视频流。运动图像的视频流可以相对较高的帧速率播放，以便创建实况动作的幻觉。作为非限制性示例，电视节目的视频流可按照每秒三十帧来播放。静止图像的视频流可在相对较长的一段时间内在虚拟监视器上呈现同一图像。作为非限制性示例，照片幻灯片的视频流可仅在每五秒钟改变图像。应当理解，可使用基本上任何的帧速率，而不背离本发明的范围。作为另一示例，虚拟监视器可以是不透明的(例如，虚拟监视器208a和虚拟监视器208b)或部分透明的(例如，虚拟监视器208c)。不透明虚拟监视器可被渲染，以便挡住显现在虚拟监视器之后的真实世界对象。部分透明的虚拟监视器可被渲染，使得真实世界对象或其它虚拟对象可通过虚拟监视器查看。作为另一示例，虚拟监视器可以是无框的(例如，虚拟监视器208c)或有框的(例如，虚拟监视器208a和虚拟监视器208b)。无框的虚拟监视器可用可播放视频流的无边屏幕部分渲染，而任何其它结构都不在屏幕部分周围渲染。作为对比，有框虚拟监视器可被渲染以在屏幕周围包括边框。这样的边框可被渲染，以便类似常规电视机边框、计算机显示器边框、电影屏幕边框等的外观。无框和有框虚拟监视器两者均可被渲染为不具有任何深度。例如，当从一角度被查看时，无深度虚拟监视器将不会显现为在屏幕的表面背后具有任何结构(例如，虚拟监视器208c)。而且，无框和有框虚拟监视器均可被渲染为具有一深度，使得当从一角度被查看时，虚拟监视器将显现为占据屏幕表面背后的空间(虚拟监视器208b )。作为另一示例，虚拟监视器可包括矩形或非矩形屏幕。而且，屏幕可以是平坦的或不平坦的。在一些实施例中，虚拟监视器的屏幕的形状可匹配物理空间中真实世界对象的平坦或不平坦形状(例如，虚拟监视器208a和虚拟监视器208b)或匹配另一虚拟对象的平坦或不平坦形状。即使当平坦屏幕被渲染时，在平坦屏幕上被渲染的视频流可被配置成显示三维虚拟对象(例如，以创建正在观看三维电视机的幻觉)。三维虚拟对象可经由模拟的立体3D内容来实现——例如，观看来自从3D记录的3D内容，使得内容以2D显现在显示器的平面上，但用户的左眼和右眼看到稍微不同的视频视图，从而产生3D效果。在一些实施例中，内容的回放可引起虚拟3D对象实际上离开显示的平面。例如，其中菜单实际上从TV弹出到用户的客厅的电影。此外，无框虚拟监视器可被用于在视觉上呈现来自视频流的三维虚拟对象，因此创造了视频流的内容正在物理空间环境中播放出的幻觉。作为另一示例，虚拟监视器可被渲染在相对于物理空间中的真实世界对象的固定位置中，或虚拟监视器可被渲染以便相对于真实世界对象移动。固定虚拟监视器可显现为例如固定在墙上、桌子上、或其它表面上。固定虚拟监视器还可被显现为与任何真实世界对象分开地漂浮。移动虚拟监视器可被显现为以受限或不受限的方式移动。例如，虚拟监视器可被局限于物理墙壁，但是虚拟监视器可在用户在墙壁附近走过时沿墙壁移动。作为另一示例，虚拟监视器可被受限于一移动对象。作为又一示例，虚拟监视器可不受限于任何物理对象，且可显现为在用户前面直接漂浮而不管用户看着哪里。虚拟监视器或者可以是私人虚拟监视器或者可以是公共虚拟监视器。私人虚拟监视器被仅渲染在一个透视显示器上，使得只有通过透视显示器查看物理空间的用户才能看到虚拟监视器。公共虚拟监视器可被并发渲染在一个或多个其它设备上，包括其它透视显示器上，使得其它人可查看虚拟监视器的克隆。在一些实施例中，虚拟现实引擎可被配置成将虚拟坐标系映射到物理空间，使得虚拟监视器显现为处于特定物理空间位置中。此外，虚拟坐标系可以是可由一个或多个其它头戴式显示器使用的共享坐标系。在这样的情况中，每一单独的头戴式显示器可识别虚拟监视器显现的同一物理空间位置。每一头戴式显示器然后可在该物理空间位置处渲染该虚拟监视器，使得通过不同的透视显示器查看该物理空间位置的两个或更多个用户将在同一位置看到同一虚拟监视器且该同一虚拟监视器处于同一方向。换言之，一个头戴式显示器渲染虚拟对象的特定物理空间位置将是另一头戴式显示器渲染该虚拟监视器的同一物理空间位置。转回图1，头戴式显不器100可任选地包括一个或多个扬声器106-例如,两个
扬声器以允许立体声效果诸如位置音频提示。在其它实施例中，头戴式显示器可被通信地耦合到板外扬声器。在任一情况中，虚拟现实引擎可被配置成使得这样的扬声器播放与虚拟监视器播放的视频流同步的音频流。例如，在图2C的虚拟监视器208a播放电视节目形式的视频流的同时，扬声器可播放构成电视节目的音频组成部分的音频流。音频流的音量可根据各种不同参数来调整。作为一个示例，渲染引擎可被配置成与透视显示器和一物理空间位置之间的距离成反比地调整音频流的音量，该物理空间位置是对通过透视显示器查看物理空间的用户而言虚拟监视器看上去位于其中的位置。换言之，声音可被局部化，使得当用户靠近虚拟监视器时，虚拟监视器的音量将增加。作为另一示例，渲染引擎可被配置成与正在查看一物理空间位置的透视显示器的直接程度成比例地调整音频流的音量，该物理空间位置是对通过透视显示器查看物理空间的用户而言虚拟监视器看上去位于其中的位置。换言之，在用户更直接地观看虚拟监视器时，音量增加。当两个或更多个虚拟监视器被映射到用户附近的位置时，与各虚拟监视器相关联的相应的音频流可被混合在一起或独立播放。当混合在一起时，任何特定音频流的相对贡献可基于各种不同参数来加权，诸如基于邻近程度或查看的直接程度。例如，用户离特定虚拟监视器越近和/或用户越直接地观看虚拟监视器，与该虚拟监视器相关联的音量将被播放得越响。当被独立播放时，与特定虚拟监视器相关联的音频流而非与其它虚拟监视器相关联的音频流可基于各种不同参数(诸如邻近程度和/或查看的直接程度)播放。例如，当用户环顾其中若干虚拟监视器被渲染的物理空间时，仅与在用户的视野中最直接的虚拟监视器相关联的音频流可被播放。如下讨论的，眼睛跟踪可被用于更准确地评估用户焦点所指，且这样的焦点可用作调整音量的参数。简要转向图1，头戴式显示器100包括传感器子系统108。传感器子系统可在不同的实施例中包括各种不同的传感器。作为非限制性示例，传感器子系统可包括话筒110、一个或多个前向(背对用户)的红外和/或可见光相机112、一个或多个后向(朝向用户)的红外和/或可见光相机114。前向相机可包括一个或多个深度相机，和/或后向相机可包括一个或多个眼睛跟踪相机。在一些实施例中，板载传感器子系统可与一个或多个板外传感器通信，板外传感器将观察信息发送给板载传感器子系统。例如，游戏控制台使用的深度相机可将深度图和/或所建模的虚拟骨架发送给头戴式显示器的传感器子系统。虚拟现实引擎可被配置成响应于经由传感器子系统识别的命令来控制虚拟监视器。作为非限制性示例，经由传感器子系统识别的命令可被用于控制虚拟监视器创建、虚拟监视器定位(例如，虚拟监视器显现在哪里并看上去多大)；回放控制(例如，哪个内容被视觉呈现、快进、倒带、暂停等)；与虚拟监视器相关联的音频的音量；隐私设置(例如，谁被允许查看克隆虚拟监视器；这样的人们被允许查看什么)；屏幕捕捉、发送、打印和保存；和/或基本上虚拟监视器的任何其它方面。如上所述，传感器子系统可包括或被配置成与一种或多种不同类型的传感器通信，且每一不同类型的传感器可被用于识别控制虚拟监视器的命令。作为非限制性示例，虚拟现实引擎可被配置成响应于经由话筒识别的听得到的命令、经由相机识别的手部姿势命令和/或经由相机识别的眼睛姿势命令来控制虚拟监视器。命令的类型以及这样的命令控制虚拟监视器的方式可变化，而不背离本发明的范围。例如，为了创建虚拟监视器，前向相机可识别用户用L形左手和L形右手之间的想像出的矩形限定一场景。当这一画者L形手的姿势作出时，新虚拟监视器的位置和尺寸可通过将一矩形从用户的眼睛投影到画者姿势所建立的矩形并投影到画者姿势背后的墙壁上来建立。作为另一示例，新虚拟监视器的位置和尺寸可通过识别用户轻叩表面来建立虚拟监视器的角落来建立。作为又一示例，用户可说出命令“新监视器”，虚拟监视器可被渲染在表面上，朝向眼睛跟踪相机确定用户正在观看的方向。一旦虚拟监视器被渲染并正在播放视频流，用户可说出诸如“暂停”、“快进”、“换频道”等命令来控制视频流。作为另一示例，用户可作出停止信号手势以暂停回放，将手从左向右滑动以快进，或扭动伸出的手以换频道。作为又一示例，用户可说出“拆分”或作出空手道砍劈姿势以将单个虚拟监视器拆分成可被移动到不同物理空间位置的两个虚拟监视器。简要地回到图1，头戴式显示器100可包括允许头戴式显示器被佩戴到用户的头上的一个或多个特征。在所示示例中，头戴式显示器100采用眼镜形式，并包括鼻撑116和耳撑118a和118b。在其它实施例中，头戴式显示器可包括具有面部前方透视防护板的帽子或头盔。而且，尽管在头戴式透视显示器的上下文中描述，此处描述的概念可被应用于不是头戴式的透视显示器(例如，挡风玻璃)以及应用到不是透视的显示器(例如，渲染相机观察到的真实对象以及不在相机视野内的虚拟对象的不透明显示器)。头戴式显示器100还可包括通信子系统120。通信子系统120可被配置成与一个或多个板外计算设备通信。作为示例，通信子系统可被配置成无线地接收视频流、音频流、坐标信息、虚拟对象描述和/或其它信息以渲染虚拟监视器。图3示出扩充现实的示例方法300。在302，方法300包括从传感器子系统接收物理空间的观察信息。观察信息可包括描述物理空间的任何信息。作为非限制性示例，来自一个或多个相机的图像和/或来自一个或多个话筒的音频信息可被接收。信息可从作为头戴式显示器的一部分的传感器和/或不作为头戴式显示器的一部分的板外传感器接收。信息可在头戴式显示器处接收，或在与头戴式显示器通信的板外设备接收。在304，方法300包括基于观察信息将虚拟现实环境映射到物理空间，其中虚拟现实环境包括在视觉上呈现视频流的虚拟监视器。这样的映射可被虚拟现实引擎执行，该虚拟现实引擎是头戴式显示器的一部分或是与头戴式显示器通信的板外设备。在306，方法300包括向透视显示器发送扩充的现实显示信息。扩充的现实显示信息被配置成使得透视显示器显示被映射到物理空间的虚拟现实环境，使得通过透视显示器查看物理空间的用户看到与物理空间一体化的虚拟监视器。扩充的现实显示信息可从作为头戴式显示器的一部分或作为与头戴式显示器通信的板外设备的虚拟现实引擎发送到透视显示器。在一些实施例中，上述扩充的现实技术可连系于集成到头戴式显示器的计算系统和/或被配置成与头戴式显示器通信的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机AP1、计算机库、和/或其他计算机程序产品。图4示意性示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统400。以简化形式示出了计算系统400。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统400可以采取板载头戴式显示器计算机、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。计算系统400包括逻辑子系统402和数据保持子系统404。计算系统400可以任选地包括显示子系统406、音频子系统408、传感器子系统410、通信子系统412和/或在图4中未示出的其他组件。逻辑子系统402可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、月艮务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。数据保持子系统404可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统404的状态(例如，以保持不同的数据)。数据保持子系统404可包括可移动介质和/或内置设备。数据保持子系统404尤其可以包括光学存储器设备(例如，⑶、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统404可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统402和数据保持子系统404集成到一个或更多个常见设备中，如专用集成电路或片上系统。图4还示出以可移动计算机可读存储介质414形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质414尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。可以明白，数据保持子系统404包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个或多个具体功能的计算系统400的一方面。在某些情况下，可以通过执行由数据保持子系统404所保持的指令的逻辑子系统402来实例化这样的模块、程序或引擎。应当理解，可以从同一应用、服务、代码块、对象、库、例程、AP1、函数等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用程序、服务、代码块、对象、例程、AP1、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。当被包括时，显示子系统406可用于呈现由数据保持子系统404所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统406的状态以在视觉上表示底层数据的改变。显示子系统406可以包括使用实际上任何类型的技术的一个或多个显示设备。这样的显示设备可与共享封包(例如具有板载计算的头戴式显示器)中的逻辑子系统402和/或数据保持子系统404组合，或这样的显示设备可以是外围显示设备(例如具有板外计算的头戴式显示器)。
作为一个非限制性示例，显示子系统可包括位于头戴式显示器的透镜内的图像产生元件(例如，透视OLED显示器)。作为另一示例，显示子系统可包括透镜边缘上的光调制器，透镜可用作使光从光调制器传递到用户眼睛的光导。在任一情况中，因为透镜至少部分是透明的，光可穿过透镜到达用户的眼睛，因此允许用户透过透镜查看。音频子系统408可包括或被配置成利用用于播放如上所述的音频流和/或其它声音的一个或多个扬声器。传感器子系统可包括和/或被配置成与各种不同传感器通信。例如，头戴式显示器可包括至少一个内向传感器和/或至少一个外向传感器。内向传感器可以是被配置成获取图像数据以允许查看者的眼睛被跟踪的眼睛跟踪图像传感器。外向传感器可检测基于姿势的用户输入。例如，外向传感器可包括深度相机、可见光相机或另一位置跟踪相机。此外，这样的外向相机可具有立体配置。例如，头戴式显示器可包括两个深度相机，以从用户观点的两个不同角度立体地观察物理空间。在一些实施例中，基于姿势的用户输入还可经由一个或多个板外相机来检测。此外，外向图像传感器可捕捉物理空间的图像，这些图像可作为输入向板载或板外3D建模系统提供。3D建模系统可用于生成物理空间的3D模型。这样的3D建模可用于将头戴式显示器的精确位置定位于物理空间中，使得虚拟监视器可被渲染以便显现在相对于物理空间的精确位置中。此外，3D建模可用于准确地标识虚拟监视器可被局限的真实世界表面。为了便于这样的3D建模，传感器子系统可任选地包括红外投影仪以协助结构光和/或飞行时间深度分析。传感器子系统还可包括一个或多个运动传感器以检测查看者正佩戴头戴式显示器时该查看者头部的移动。运动传感器可输出运动数据，以例如跟踪查看者的头部运动和眼睛方向。因此，运动数据可便于检测用户头部沿横滚、俯仰和/或偏航轴的倾斜。此外，运动传感器可允许头戴式显示器的位置被确定和/或细化。同样地，运动传感器还可被用作用户输入设备，使得用户可经由颈部、头部或身体的姿势与头戴式显示器交互。运动传感器的非限制性示例包括加速度计、陀螺仪、罗盘和方向传感器。此外，HMD设备可被配置有全球定位系统(GPS)能力。传感器子系统还可包括一个或多个话筒来允许使用语音命令作为用户输入。当包括通信子系统412时，通信子系统508可以被配置成将计算系统400与一个或多个其他计算设备可通信地耦合。通信子系统412可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统400经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。
权利要求
1.一种头戴式显示器，包括: 透视显示器，被配置成对通过所述透视显示器查看物理空间的用户在视觉上扩充所述物理空间的外观；以及 虚拟现实引擎，被配置成使得所述透视显示器在视觉上呈现虚拟监视器，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去与所述物理空间一体化。
2.如权利要求1所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成在所述虚拟监视器上播放视频流，还包括扬声器，且其中所述虚拟现实引擎还被配置成使得所述扬声器播放与所述视频流同步的音频流。
3.如权利要求2所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成与所述透视显示器和一物理空间位置之间的距离成反比地调整所述音频流的音量，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去位于所述物理空间位置，或者所述虚拟现实引擎还被配置成与所述透视显示器正在查看所述物理空间位置的直接程度成比例地调整所述音频流的音量，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去位于所述物理空间位置。
4.如权利要求2所述的头戴式显示器，其特征在于，还包括被配置成无线地接收视频流的通信子系统。
5.如权利要求1所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成将虚拟坐标系映射到所述物理空间，使得所述虚拟监视器看上去位于特定物理空间位置，且其中所述虚拟监视器是固定虚拟监视器或移动虚拟监视器。
6.如权利要求5所述的头戴式显示器，其特征在于，所述虚拟坐标系是共享坐标系，且其中所述特定物理空间位置是映射到所述共享坐标系的另一头戴式显示器显示所述虚拟监视器的同一物理空间位置。
7.如权利要求1所述的头戴式显示器，其特征在于，还包括传感器子系统，其中所述虚拟现实引擎被控制成响应于经由所述传感器子系统识别的命令来控制所述虚拟监视器，其中所述传感器子系统包括话筒，且其中所述虚拟现实引擎被配置成响应于经由所述话筒识别的听得到的命令来控制所述虚拟监视器。
8.如权利要求7所述的头戴式显示器，其特征在于，所述传感器子系统包括相机，且其中所述虚拟现实引擎被配置成响应于经由所述相机识别的手部姿势命令或眼睛姿势命令来控制所述虚拟监视器。
9.一种用于扩充现实的方法，所述方法包括: 从传感器子系统接收物理空间的观察信息； 基于所述观察信息将虚拟现实环境映射到所述物理空间，所述虚拟现实环境包括在视觉上呈现视频流的虚拟监视器；以及 将扩充的现实显示信息发送到透视显示器，所述扩充的现实显示信息被配置成使得所述透视显示器显示被映射到所述物理空间的所述虚拟现实环境，使得通过所述透视显示器查看所述物理空间的用户看到与所述物理空间一体化的所述虚拟监视器。
10.如权利要求9所述的方法，其特征在于，还包括将扩充的现实音频信息发送给扬声器，所述扩充的现实音频信息被配置成使得所述扬声器播放与所述视频流同步的音频流。
全文摘要
本发明涉及扩充的现实虚拟监视器。头戴式显示器包括透视显示器和虚拟现实引擎。透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。虚拟现实引擎被配置成使得透视显示器在视觉上呈现虚拟监视器，该虚拟监视器对通过透视显示器查看物理空间的用户而言看上去与该物理空间一体化。
文档编号G02B27/01GK103149689SQ20121051632
公开日2013年6月12日 申请日期2012年12月5日 优先权日2011年12月6日
发明者B·芒特, S·拉塔, A·普洛斯, D·麦卡洛克, D·贝内特, R·哈斯汀斯, J·斯科特 申请人:微软公司