将头戴式显示连接到外部显示和其他通信网络的制作方法

专利名称：将头戴式显示连接到外部显示和其他通信网络的制作方法
技术领域：
本发明涉及通信领域，尤其涉及设备之间的内容转移。
背景技术：
头戴式显示(HMD)设备具有各领域的联网应用，包括军事、航空、医学、游戏或其他娱乐、体育等等。一 HMD设备可向另一 HMD设备提供联网服务，以及参与所建立的通信网络。例如，在军事应用中，HMD设备允许伞兵对着陆区进行可视化，或允许战机飞行员基于热成像数据来对目标进行可视化。在通用航空应用中，HMD设备允许飞行员对地形图、仪表读数或飞行路径进行可视化。在游戏应用中，HMD设备允许用户使用化身来参与虚拟世界。在另一娱乐应用中，HMD设备可播放电影或音乐。在体育应用中，HMD设备可向赛车手显赛况数据。许多其他应用也是可能的。

发明内容
HMD设备通常包括至少一个透视透镜，至少一个图像投影源，以及与该至少一个图像投影源通信的至少一个控制电路。该至少一个控制电路在头戴式显示设备处提供包括音频和视频内容中的至少一个的体验。例如，该内容可包括电影、游戏或娱乐应用、知晓位置的应用或提供一个或多个静态图像的应用。该内容可以仅是音频或仅是视觉、或音频和视觉内容的组合。该内容可以由用户被动消费或可以是交互式的，其中用户诸如通过语音、手势或对诸如游戏控制器之类的输入设备的手动控制来提供控制输入。在某些情况下，HMD体验是消费一切的，并且用户在使用HMD设备时不能执行其他任务。在其他情况下，HMD体验允许用户执行其他任务，诸如在街道上行走。HMD体验还可扩充用户正在执行的另一任务，诸如在用户烹饪时显示菜谱。尽管当前HMD体验是有用且有趣的，但通过在该HMD设备与另一计算设备之间移动该体验来在适当情形中利用其他计算设备会更加有用。如上所述，提供了允许用户在另一计算设备处继续音频/视觉体验、或使用HMD设备在另一计算设备处继续音频/视觉体验的各技术和电路。在一个实施例中，提供了 HMD设备，该HMD设备包括至少一个透视透镜，至少一个图像投影源，以及至少一个控制电路。该至少一个控制电路确定是否满足在目标计算设备处继续HMD设备处的至少部分体验的条件，目标计算设备诸如蜂窝电话、平板设备、PC、电视机、计算机监视器、投影仪、微型投影器(pico projector)、另一 HMD设备等等。该条件可基于例如HMD设备的位置，用户执行的姿势，用户作出的语音命令，用户的凝视方向，邻近度信号，红外信号，HMD设备的碰撞，以及HMD设备与目标计算设备的配对。该至少一个控制电路可确定目标计算设备的一个或多个能力，并且相应地处理该内容以便将经处理的内容提供给目标计算设备。如果该条件被满足，则该至少一个控制电路将数据传递给目标计算设备，以便允许目标计算设备提供该体验的至少一部分的继续。提供本发明内容以便以简化形式介绍将在以下的具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。附图简述在附图中，相同编号的元件彼此对应。

图1是描绘HMD设备与中枢计算系统12通信的一个实施例的示例组件的框图。图2是图1的HMD设备2的一个实施例的一部分的俯视图。图3是图1的HMD设备2的组件的一个实施例的框图。图4是与图1的HMD设备2相关联的处理单元4的组件的一个实施例的框图。图5是图1的中枢计算系统12和捕捉设备20的组件的一个实施例的框图。图6是描绘多用户系统中的计算设备的框图。图7描绘图6的各计算设备中的一个计算设备的一个示例的框图。图8描绘图6的各计算设备中的两个计算设备被配对的示例系统。图9A是描绘用于在目标计算设备上继续一体验的过程的一个实施例的流程图。图9B描绘计算设备可用来确定其位置的各种技术。图1OA描绘图9A的步骤904的示例场景，该步骤904用于确定在目标计算设备或显示表面上继续一体验的条件是否被满足。图1OB描绘图9A的步骤904的另一示例场景，该步骤904用于确定在目标计算设备或显示表面上继续一体验的条件是否被满足。图1OC描绘图9A的步骤904的另一示例场景，该步骤904用于确定在目标计算设备上继续一体验的条件是否被满足。图11是描绘图9A的用于将数据传递给目标计算设备的步骤906或914的其他细节的流程图。图12描绘用于跟踪用户的凝视方向和焦深诸如以供在图9A的步骤904或914中使用的过程。图13描绘涉及一个或多个HMD设备以及一个或多个其他计算设备的各种通信场
旦
o图14A描绘基于HMD设备的位置在目标计算设备(诸如图13的电视机1300)处继续HMD设备处的体验的场景。图14B描绘基于HMD设备的位置在HMD设备本地的电视机处以及在远离HMD设备的电视机处继续HMD设备处的体验的场景。图14C描绘HMD设备处的体验的视觉数据在计算设备(诸如图13的电视机1300)处被继续、而HMD设备处的体验的音频数据在计算设备(诸如家庭高保真或立体声系统)处被继续的场景。图15描绘基于HMD设备的用户的语音命令在诸如蜂窝电话之类的计算设备处继续HMD设备处的体验的场景。图16描绘在交通工具中仅HMD设备处的体验的音频部分在计算设备处被继续的场景。图17A描绘商家处的计算设备处的体验在HMD设备处被继续的场景。图17B描绘图17A的体验包括用户生成的内容的场景。图17C描绘用户为图17A的体验生成内容的场景。
图18基于图9A的步骤909描绘一示例场景，该示例场景描述用于将视觉内容从初始虚拟位置移动到向显示表面配准的虚拟位置的过程。
具体实施例方式透视HMD设备可使用诸如反射镜、棱镜和全息透镜等光学元件将来自一个或两个小型图像投影源的光增加到用户的视觉路径中。该光经由透视透镜向用户的眼睛提供图像。图像可包括静态或移动图像、增强现实图像、文本、视频等等。在HMD设备充当音频播放器时，HMD设备还可提供伴随图像的音频或在没有伴随图像的情况下被播放的音频。诸如蜂窝电话(例如，启用web的智能手机)、平板设备、PC、电视机、计算机监视器、投影仪、或微型投影仪之类的其他计算设备(非HMD设备)可类似地提供音频和/或视觉内容。这些是非HMD设备。由此，HMD本身可为用户提供许多有趣且有教育意义的体验。然而，存在以下情形:诸如出于方便、安全、共享或利用目标计算设备呈现音频和/或视觉内容的优越性能力之类的原因(例如，在较大屏幕上观看电影或在高保真音频系统上收听音频)，期望将该音频和/或视觉内容的体验移至不同设备。存在体验可被移动的各种场景，并且存在用于实现体验(包括音频和/或视觉内容以及相关联的数据或元数据)的移动的各种机制。特征包括:将HMD设备上的内容(音频和/或视觉)移动到另一类型的计算设备，用于移动该内容的机制，图像序列在HMD设备上的状态存储，以及翻译/转换成目的地设备的等效状态信息，用于取决于情况而允许/阻止传送内容的上下文敏感的触发器，与传送(双向传送、传送至或传送回外部显示)相关联的姿势，允许双模式(屏幕两者/许多屏幕)用于共享，即使在外部显示在物理上远离该主用户时，传送某种形式的设备能力使得用户理解其他显示将允许的体验类型，以及被标记的允许向HMD设备用户显示特定丰富信息的外部显不。图1是描绘HMD设备2的一个实施例的示例组件的框图。头戴式镜架3通常可以是眼镜架形状，并且包括镜腿102以及包含鼻梁104的前透镜镜架。HMD可具有各种能力，包括经由透镜向用户显示图像、经由面向前方的相机捕捉用户正在看的图像、经由耳机类型扬声器为用户播放音频、以及经由话筒捕捉用户的音频(诸如讲出的单词)的能力。这些能力可由如下所述的各种组件和传感器来提供。所描述的配置仅作为示例，因为许多其他配置也是可能的。提供这些功能的电路可被内置到HMD设备中。在一个示例配置中，话筒110被内置到鼻梁104中以用于记录声音并将该音频数据传送到处理单元4。或者，话筒可经由话筒吊杆/悬臂被附连到HMD设备。透镜116是透视透镜。HMD设备可被戴在用户的头上，使得该用户可以透过显示器观看并且从而看到包括不是由该HMD设备生成的图像的真实世界场景。HMD设备2可以是自包含的，使得它的所有组件可由镜架3来承载，例如由镜架3物理地支撑。可任选地，一个或多个组件(例如，提供附加处理或数据存储能力)不是由镜架来承载，而是可由无线链路或由诸如电线等物理附连连接到镜架所承载的组件。镜架外的组件可由用户来承载，在一种方法中，诸如在手腕、腿、或胸部区，或被附连到用户的衣物。处理单元4可经由有线链路或经由无线链路连接到镜架上的组件。术语“HMD设备”可涵盖镜架上的组件和镜架外的组件两者。镜架外的组件可以特别地为与镜架上的组件一起使用而设计，或者可以是适用于与镜架上的组件一起使用的独立计算设备(诸如蜂窝电话)。处理单元4包括被用于操作HMD设备2的计算能力中的许多能力，并且可执行存储在处理器可读存储设备上的用于执行本文描述的过程的指令。在一个实施例中，处理单元4与一个或多个中枢计算系统12和/或一个或多个其他计算设备(诸如蜂窝电话、平板设备、PC、电视机、计算机监视器、投影仪或微型投影仪)无线地通信(例如，使用W1-Fi (IEEE 802.11)、蓝牙(IEEE802.15.1)、红外(例如，IrD A ,或红外数据协会标准)、或其他无线通信手段)。处理单元4也可包括到辅助处理器的有线连接。控制电路136提供支持HMD设备2的其他组件的各种电子装置。中枢计算系统12可以是计算机、游戏系统或控制台等，且可包括用于执行游戏应用、非游戏应用等的硬件组件和/或软件组件。中枢计算系统12可包括可执行存储在处理器可读存储设备上的指令以执行本文描述的过程的处理过程。中枢计算系统12还包括一个或多个捕捉设备20，诸如相机，该相机在视觉上监视一个或多个用户以及周围空间，从而可以捕捉、分析并且跟踪一个或多个用户执行的姿势和/或移动、以及周围空间的结构，以便执行一个或多个控制或动作。中枢计算系统12可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。中枢计算设备10可以与捕捉设备20 —起用于识别、分析和/或跟踪人类(以及其他类型的)目标。例如，可使用捕捉设备20来跟踪佩戴HMD设备2的用户，使得可以捕捉用户的姿势和/或移动来使化身或屏幕上人物动画化，和/或可将用户的姿势和/或移动解释为可用于影响中枢计算系统12所执行的应用的控制。图2是图1的HMD设备2的一个实施例的一部分的俯视图，该HMD设备2包括镜架中包括镜腿102和鼻梁104的那部分。仅示出了 HMD设备2的右侧。在HMD设备2的前方是面向前方(即朝向房间)的可捕捉视频和静止图像的摄像机113。如下文所述，那些图像被传送给处理单元4，并且可被用于例如检测诸如手势之类的用户的姿势，该用户手势被解释成命令以用于执行动作，诸如用于在目标计算设备处继续一体验，诸如下文在图14B、
15、17A和17B的示例场景中描绘的。面向前方的摄像机113面朝外，并具有与用户的视点类似的视点。HMD设备2的镜架的一部分围绕显不器(该显不器包括一个或多个透镜)。镜架中围绕显不器的一部分未被描绘。该显不器包括光导光学兀件112、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明滤光器114处于透视透镜116之后并与其对齐，光导光学元件112处于不透明滤光器114之后并与其对齐，并且透视透镜118处于光导光学兀件112之后并与其对齐。See-through lenses 116 and 118 are standardlenses used in eye glasses.在一些实施例中,HMD设备2将仅仅包括一个透视透镜或者不包括透视透镜。不透明度过滤器114滤除自然光(要么以每像素为基础，要么均匀地)以增强图像的对比度。光导光学元件112将人造光引导至眼睛。在镜腿102处或镜腿102内安装有图像投影源，该图像投影源(在一个实施例中)包括用于对图像进行投影的微显示器120、以及用于将图像从微显示器120引导到光导光学元件112中的透镜122。在一个实施例中，透镜122是准直透镜。发射器可包括微显示器120、诸如透镜122和光导112等一个或多个光学组件、以及诸如驱动器等相关电子装置。这样的发射器与HMD设备相关联，并且将光发射到用户的眼镜以便提供图像。控制电路136提供支持HMD设备2的其他组件的各种电子装置。下面参考图3提供控制电路136的更多细节。处于镜腿102内部或安装在镜腿102处的有耳机130和惯性传感器132。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C (参见图3)。惯性传感器用于感测HMD设备2的位置、定向和突然加速(诸如该计算设备与目标计算设备或对象的碰撞)。例如，惯性传感器可以是用于确定用户头部的定向和/或位置的一个或多个传感器。微显示器120通过透镜122来投影图像。可使用不同的图像生成技术。例如，使用透射投影技术，光源被光学活性材料调制并且用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。使用反射技术，外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DGP)、硅上液晶(LC0S)、以及M[RASOL (来自高通公司的显示技术)是高效的反射技术的示例，因为大多数能量从调制结构反射。使用发射技术，光由显示器生成。例如，PicoP 显示引擎(可从MICR0VIS10N有限公司获得)使用微型镜面操控来将激光信号发射到充当透射元件的微小屏幕上或直接照射到眼睛。光导光学元件112将来自微显示器120的光传送到佩戴HMD设备2的用户的眼睛140。光导光学元件112还允许如箭头142所描绘那样将光从HMD设备2的前方通过光导光学元件112透射到用户的眼睛140，从而除接收来自微显示器120的图像之外还允许用户具有HMD设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学兀件112包括第一反射面124 (例如镜面或其他表面)。来自微显不器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面基底内。在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列，包括示例表面126。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。由于不同光线将以不同角度行进并在衬底的内部反射，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当HMD设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。与光导光学元件112对齐的不透明滤光器114要么均匀地，要么逐像素地来选择性地阻挡自然光，以免其穿过光导光学元件112。在一个实施例中，不透明滤光器可以是透视LCD面板、电致变色膜、或类似器件。通过从常规LCD中除去衬底、背光和漫射体的各层，可以获得透视IXD面板。IXD面板可包括一个或多个透光IXD芯片，所述透光IXD芯片允许光穿过液晶。例如，在LCD投影仪中使用了这样的芯片。
不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被单独地控制。可以由下面描述的不透明度滤光器控制电路224为每个像素设置透光率。在一个实施例中，显示器和不透明度滤光器被同时渲染，并且被校准到用户在空间中的精确位置以补偿角度偏移问题。眼睛跟踪(例如，使用眼睛跟踪相机134)可用于计算视野的末端处的正确的图像偏移。图3是图1的HMD设备2的组件的一个实施例的框图。图4是图1的HMD设备2的处理单元4的组件的一个实施例的框图。HMD设备组件包括跟踪各个条件的许多传感器。HMD设备将从处理单元4接收关于图像的指令，并且将传感器信息提供回给处理单元4。处理单元4接收HMD设备2的传感器信息。可任选地，处理单元4还接收来自中枢计算设备12 (参见图1)的传感器信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供图像并相应地将指令发送给图3的组件。注意，图3的组件中的一些(例如面向前方的相机113、眼睛跟踪相机134B、微显示器120、不透明度滤光器114、眼睛跟踪照明134A、以及耳机130)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于HMD设备的左侧，并且一个用于HMD设备的右侦1K关于面向前方的相机113,在一种方法中一个相机用于使用可见光获得图像。在另一方法中，彼此间具有已知间隔的两个或更多相机被用作深度相机，以便还用来获得房间内的物体的深度数据，该深度数据指示从相机/HMD设备到该物体的距离。HMD设备的面向前方的相机可本质上重复计算机中枢12所提供的深度相机的功能(还参见图5的捕捉设备20)。来自面向前方的相机的图像可被用于标识用户视野中的人或其他物体、以及诸如用户手势之类的姿势。图3示出与电源管理电路302通信的控制电路300。控制电路300包括处理器310、与存储器344 (例如DRAM)通信的存储器控制器312、相机接口 316、相机缓冲区318、显示驱动器320、显示格式化器322、定时生成器326、显示输出接口 328、以及显示输入接口 330。在一个实施例中，控制电路300的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路300的每个组件都与处理器310通信。相机接口 316提供到两个面向前方的相机113的接口，并且将从面向前方的相机所接收到的图像存储在相机缓冲区318中。显示驱动器320驱动微显示器120。显示格式化器322向控制不透光滤光器114的不透光度控制电路324提供关于微显示器120上所显示的图像的信息。定时生成器326被用于向该系统提供定时数据。显示输出接口 328是用于将图像从面向前方的相机112提供给处理单元4的缓冲区。显示输入接口 330是用于接收诸如要在微显示器120上显示的图像之类的图像的缓冲区。电路331可被用于基于全球定位系统(GPS) GPS信号和/或全球移动通信系统(GSM)信号来确定位置。当处理单元通过线或通过无线链路附连到HMD设备的镜架并被佩带在诸如手臂、腿、胸部区之类的身体上或衣物中时，显示输出接口 328和显示输入接口 330与作为到处理单元4的接口的带接口 332进行通信。该方法降低了 HMD设备的镜架承载的组件的重量。如上所述，在其他方法中，处理单元可由镜架承载并且不使用带接口。电源管理电路302包括电压调节器334、眼睛跟踪照明驱动器336、音频DAC和放大器338、话筒前置放大器音频ADC 340、以及时钟生成器345。电压调节器334通过带接口 332从处理单元4接收电能，并将该电能提供给HMD设备2的其他组件。眼睛跟踪照明驱动器336如上所述为眼睛跟踪照明134A提供红外(IR)光源。音频DAC和放大器338向耳机130提供音频信息。话筒前置放大器和音频ADC 340提供用于话筒110的接口。电源管理单元302还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。图4是描述处理单元4的各个组件的框图。控制电路404与电源管理电路406进行通信。控制电路404包括:中央处理单元(CPU) 420 ;图形处理单元(GPU) 422 ;高速缓存424 ；RAM 426 ;与存储器430 (例如DRAM)进行通信的存储器控制器428 ;与闪存434 (或其他类型的非易失性存储)进行通信的闪存控制器432 ;经由带接口 402和带接口 332 (在被使用时)与HMD设备2进行通信的显示输出缓冲区436 ;经由带接口 402和带接口 332 (在被使用时)与HMD设备2进行通信的显示输入缓冲区438 ;与用于连接到话筒的外部话筒连接器442进行通信的话筒接口 440 ;用于连接到无线通信设备446的外围部件互连(PCI)express 接口 444 ;以及 USB 端 口 448。在一个实施例中，无线通信组件446可包括启用W1- Fi 的通信设备、蓝牙 通信设备、红外通信设备。无线通信组件446是无线通信接口，在一种实现中该无线通信接口接收与视听设备16所显示的内容同步的数据。进而，可响应于所接收的数据来显示图像。在一种方法中，这样的数据是从中枢计算系统12接收的。无线通信组件446还可被用于向目标计算设备提供数据，以便在目标计算设备处继续HMD设备的体验。无线通信组件446还可被用于从另一计算设备接收数据，以便在HMD设备处继续该计算设备的体验。USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU420和GPU 422是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。下面提供更多的细节。电源管理电路406包括时钟生成器460，模数转换器462、电池充电器464、电压调节器466和HMD电源476。模数转换器462连接到充电插座470以用于接收AC供电并为该系统产生DC供电。电压调节器466与用于向该系统提供电能的电池468进行通信。电池充电器464被用来在从充电插座470接收到电能后对电池468进行充电(经由电压调节器466)。HMD电源476向HMD设备2提供电能。确定在何处、如何以及何时插入图像的计算可由HMD设备2和/或中枢计算设备12来执行。在一个示例实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。另外，中枢计算设备12通过跟踪HMD设备2的位置和定向来跟踪HMD设备2的视野。该模型和跟踪信息被从中枢计算设备12提供给处理单元4。HMD设备2获得的传感器信息被传送给处理单元4。然后，处理单元4使用它从HMD设备2接收的其他传感器信息来细化用户的视野并且向HMD设备2提供关于如何、在何处以及何时插入图像的指令。图5示出图1的中枢计算系统12和捕捉设备20的示例实施例。然而，该描述还可应用于HMD设备，其中捕捉设备使用面向前方的摄像机113来获取图像，并且图像被处理以便检测诸如手势之类的姿势。根据一示例实施例，捕捉设备20可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”(即可与从深度相机沿其视线延伸的Z轴垂直的层)。捕捉设备20可包括相机组件523，相机组件523可以是或可包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。相机组件523可以包括可用于捕捉场景的深度图像的红外(IR)光组件525、红外相机526、以及RGB (视觉图像)相机528。3-D相机由红外发射器24和红外相机26的组合形成。例如，在飞行时间分析中，捕捉设备20的IR光组件525可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未不出的传感器)、例如使用3-D相机526和/或RGB相机528来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。此夕卜，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。捕捉设备20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件525被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机526和/或RGB相机528 (和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中，IR光组件525从相机526和528移位，使得可以使用三角测量来确定与相机526和528相距的距离。在一些实现中，捕捉设备20将包括感测IR光的专用IR传感器或具有IR滤波器的传感器。捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。捕捉设备20还可以包括话筒530，所述话筒530包括可以接收声音并将其转换成电信号的换能器或传感器。话筒530可用于接收也可由中枢计算系统12来提供的音频信号。处理器532与图像相机组件523进行通信。处理器532可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如,帧)以及将数据传送给中枢计算系统12的指令。存储器534存储由处理器532执行的指令、由3_D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器534可包括RAM、ROM、高速缓存、闪存、硬盘或任何其他合适的存储组件。存储器534可以是与图像捕捉组件523和处理器532进行通信的分开组件。根据另一实施例，存储器组件534可被集成到处理器532和/或图像捕捉组件523中。捕捉设备20通过通信链路536与中枢计算系统12通信。通信链路536可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.1lb,802.llg、802.1la或802.1ln连接等无线连接。根据一个实施例，中枢计算系统12可以通过通信链路536向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。另外，捕捉设备20通过通信链路536将由例如3-D相机526和/或RGB相机528捕捉的深度信息和视觉(例如RGB或其他色彩)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。中枢计算系统12包括深度图像处理和骨架跟踪模块550，该模块使用深度图像来跟踪可被捕捉设备20的深度相机功能检测到的一个或多个人。模块550向应用552提供跟踪信息，应用552可以是视频游戏、生产力应用、通信应用、或其他软件应用等。音频数据和视觉图像数据也被提供给应用552和模块550。应用552将跟踪信息、音频数据和视觉图像数据提供给识别器引擎554。在另一实施例中，识别器引擎554从模块550直接接收跟踪信息，并从捕捉设备20直接接收音频数据和视觉图像数据。识别器引擎554与过滤器560、562、564、......、566的集合相关联,每个过滤器包括 关于可由捕捉设备20检测的任何人或对象执行的姿势、动作或状况的信息。例如，过滤器560、562、564、……、566可处理来自捕捉设备20的数据，以标识一个用户或一组用户何时执行了一个或多个姿势或其他动作。这些姿势可与应用552的各种控制、对象或状况相关联。因此，中枢计算系统12可以将识别器引擎554和过滤器一起用于解释和跟踪物体(包括人)的移动。捕捉设备20向中枢计算系统12提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是一组观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可具有深度值，诸如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。先前讨论的图1描绘了与一个中枢计算设备12 (称为中枢)进行通信的一个HMD设备2 (被认为是一种类型的终端或计算设备)。在另一实施例中，多个用户计算设备可以与单个中枢通信。每一计算设备可以是诸如蜂窝电话、平板设备、个人数字助理(PDA)之类的移动计算设备，或是诸如台式/PC计算机或游戏控制台之类的固定计算设备。每一计算设备通常包括存储、处理和呈现音频和/或视觉数据的能力。在一个方法中，各计算设备中的每一个将如上述那样使用无线通信与中枢进行通信。在这样的实施例中，对所有计算设备都有用的信息中的许多都将在中枢处被计算和存储并且传送给计算设备中的每一个。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有计算设备。另外，中枢可以跟踪计算设备以及房间中的移动物体的位置和定向，并且然后将该信息传输给计算设备中的每一个。
系统可包括多个中枢，每一中枢包括一个或多个计算设备。中枢可经由一个或多个局域网(LAN)或诸如因特网之类的广域网(WAN)彼此通信。LAN可以是在诸如家庭、学校、计算机实验室或办公楼之类的有限区域中连接计算设备的计算机网络。WAN可以是覆盖广阔区域(诸如以城市、地区或国家边界来划线)的电信网络。图6是描绘多用户系统的框图，包括经由诸如一个或多个LAN或WAN之类的一个或多个网络612彼此通信的中枢608和616。中枢608诸如经由一个或多个LAN 606与计算设备602和604通信，而中枢616诸如经由一个或多个LAN 618与计算设备620和622通信。在中枢间共享的信息可以包括骨架跟踪、关于模型的信息、各种应用状态、以及其他跟踪。在中枢及其相应的计算设备之间传递的信息包括:移动物体的跟踪信息、世界模型的状态和物理更新、几何和纹理信息、视频和音频、以及用于执行在此所述的操作的其他信息。计算设备610和614诸如经由一个或多个网络612彼此通信，而不通过中枢来通信。计算设备可以是相同或不同的类型。在一个示例中，计算设备包括相应用户所佩戴的经由例如W1- Fi 、BLUETOOTH 或丨rDA 链路通信的HMD设备。在另一示例中，计算设备中的一个是HMD设备，而另一计算设备是诸如蜂窝电话、平板设备、PC、电视机、或智能板(例如菜单板或白板)之类的显示设备(图7)。例如可通过中枢计算系统12、处理单元4、控制电路136、处理器610、CPU 420,GPU422、处理器532、控制台600和/或处理器712 (图7)提供至少一个控制电路。该至少一个控制电路可包括执行存储在一个或多个有形的非瞬态处理器可读存储设备上用于执行本文所述方法的一个或多个处理器。至少一个控制电路还可包括一个或多个有形的非瞬态处理器可读存储设备，或其他非易失性或易失性存储设备。例如可通过存储器344、高速缓存424、RAM 426、闪存434、存储器430、存储器534、存储器612、高速缓存602或604、存储器643、存储器单元646和/或存储器710 (图7)提供存储设备作为计算机可读介质。中枢还可以例如无线地向HMD设备传递数据以基于被传递到中枢的用户头部的当前定向和/或位置，从用户的视角来呈现图像。用于呈现图像的数据可以与在视频显示屏上显示的内容同步。在一种方法中，用于呈现图像的数据包括用于收集显示的像素以便在指定的虚拟位置中提供图像的图像数据。图像可包括从用户的当前视角呈现的2-D或3-D物体，如下面进一步讨论的。用于控制显示的像素的图像数据可以是指定文件格式的，例如，其中个别图像帧被指定。在另一方法中，用于呈现图像的图像数据是从除了中枢之外的另一源获得的，诸如经由与HMD—起被包括或者由用户本人携带(诸如在口袋或带状物中)并有线或无线地连接于该头戴式设备的本地存储设备。图7是图6的计算设备中的一个计算设备的示例的框图。如结合图6提及的，HMD设备可直接与另一终端/计算设备通信。描绘了典型计算设备(可能不是HMD设备)的示例性电子电路。在示例计算设备700中，该电路包括可包含一个或多个微处理器的处理器712和存储由一个或多个处理器720执行来实现此处所述的功能的处理器可读代码的存储或存储器710(例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器)。处理器712还与RF数据发射/接收电路706进行通信，该电路706进而耦合到天线702 ;与红外数据发射器/接收器708通信；并与诸如加速度计之类的移动(例如碰撞)传感器714通信。处理器712还与邻近度传感器704通信。参见图9B。
例如通过微机电系统(MEMS)来提供加速计，该微机电系统是构建在半导体芯片上的。可以感应加速方向、以及定向、振动和震动。处理器712进一步与用户界面(UI)键区/屏幕718、扬声器720、和话筒进行通信。还提供电源701。在一种方法中，处理器712控制无线信号的发射和接收。信号也可通过线来发送。在发射模式期间，处理器712可向发射/接收电路706提供诸如音频和/或视觉内容之类的数据、或用于访问这些内容的信息。发射/接收电路706经由天线702将信号发送给另一计算设备(例如，HMD设备、另一计算设备、蜂窝电话等)。在接收模式期间，发射/接收电路706通过天线702从HMD或其他设备接收这样的数据。图8描绘图6的各计算设备中的两个计算设备被配对的示例系统。如所提及的，HMD设备可使用例如W1- Fi 、BLUETOOTH 或IrDA 链路与诸如蜂窝电话、PC之类的另一计算设备通信。这里，从设备与主设备直接通信。从设备被同步到主设备的时钟，以便允许从设备和主设备在指定时间交换消息(诸如音频和/或视觉数据、或用于访问此类数据的数据)。该从设备可以按面向连接的协议与一主设备建立连接，以使该从设备与该主设备被称为被配对或连接。在蓝牙(BLUETOOTH)协议中使用的示例方案中，主设备进入询问状态以发现该区域中的其他计算设备。例如，这可响应于手动用户命令或响应于检测主设备位于特定位置来完成。在询问状态中，该主设备(本地设备)生成并广播询问跳跃(信道改变)序列。可发现的计算设备(诸如HMD设备2之类的远程设备)将周期性地进入询问扫描状态。如果执行询问扫描的远程设备接收到询问消息，则它进入询问响应状态并用询问响应消息来应答。该询问响应包括该远程设备的地址和时钟，两者都是建立连接所需要的。广播范围内的所有可发现设备将对该设备询问做出响应。在获得并选择远程设备的地址之后，该主设备进入寻呼(paging)状态以与该远程设备建立连接。一旦该寻呼过程完成，则该计算设备移动至连接状态。如果成功，则这两个设备在该连接的持续时间内基于该主设备的地址和时钟按照伪随机模式继续跳频。尽管提供蓝牙协议作为示例，然而可以使用计算设备彼此配对和通信的任何类型的协议。可任选地，多个从设备可被同步到一个主设备。图9A是描绘用于在目标计算设备上继续一体验的过程的一个实施例的流程图。步骤902包括在源计算设备处提供音频/视觉体验。该音频/视觉体验可包括例如音频和/或视频内容的体验。该体验可以是交互式的，诸如在游戏体验中，或是非交互式的，诸如在播放文件中的所记录的视频、图像或音频数据时。源计算设备可以例如是HMD或非HMD计算设备，该HMD或非HMD计算设备是将该体验传送给被称为目标设备的另一计算设备的源。如果源计算设备是HMD设备，则判定步骤904确定是否满足在目标计算设备(例如，一个或多个目标计算设备)上或显示表面上继续该体验的条件。如果判定步骤904为假，则该过程在步骤910结束。如果判定步骤904指示该体验应在目标计算设备上被继续，则步骤906将数据传输到目标计算设备(且参见图11)，并且步骤908在目标计算设备处继续该体验。可任选地，该体验在源HMD设备处被中断。由此，在第一计算设备处继续一体验可涉及在第二计算设备(或多个其他计算设备)处重复/复制该体验，使得该体验在第一计算设备处继续并且在第二计算设备处开始，或将该体验从第一计算设备转移/移动到第二计算设备，使得该体验在第一计算设备处结束而在第二计算设备处开始。如果判定步骤904指示应在显示表面上继续该体验，则步骤909将源HMD设备处的视觉内容显示在与显示表面配准(register)的虚拟位置处。关于进一步细节请参看图18。在步骤902之后的另一分支中，源计算设备是非HMD设备。在该情况中，判定步骤914确定是否满足在目标HMD设备处继续该体验的条件。如果判定步骤914为假，则该过程在步骤910结束。如果判定步骤914为真，则步骤916将数据传递给目标HMD设备(且参见图11)，并且步骤918在目标HMD设备上继续该体验。可任选地，该体验在源计算设备处被中断。判定步骤904和914中提到的条件可涉及一个或多个因素，诸如源和/或目标计算设备中的一个或多个的位置，用户执行的一个或多个姿势，用户对诸如游戏控制器等基于硬件的输入设备的操纵，用户作出的一个或多个语音命令，用户的凝视方向，邻近度信号，红外信息，碰撞，计算设备与预配置的用户和/或默认设置和偏好的配对。游戏控制器可包括键盘、鼠标、游戏手柄、操纵杆、或专用设备，诸如用于驾驶游戏的方向盘以及用户射击游戏的光枪。在判定是否满足该条件时也可考虑源和/或目标计算设备的一个或多个能力。例如，源计算设备的能力可指示不合适向其传送特定内容。“碰撞”场景可涉及用户在源计算设备与目标计算设备之间作出特定接触连接。在一种方式中，用户可脱掉HMD设备并且使其碰撞/触及目标计算设备，以便指示内容应被传送。在另一方式中，HMD设备可使用同伴设备，诸如执行该碰撞的蜂窝电话。该同伴设备可具有帮助HMD设备进行处理的辅助处理器。图9B描绘计算设备可用来确定其位置的各种技术。可从一个或多个源获得位置数据。这些数据包括位置电磁(EM)信号920，诸如来自W1-Fi网络、Bluetooth (蓝牙)网络、IrDA (红外)和/或RF信标。这些数据是可从计算设备访问的诸如办公楼、仓库、零售机构、家等特定位置内发射的信号。W1-Fi是一种类型的无线局域网(WLAN)。W1-Fi网络通常被部署在各种位置中，诸如办公楼，大学，诸如咖啡店、餐厅和购物中心等零售机构，以及酒店，诸如停车场和博物馆、机场等公共空间，以及在家中。W1-Fi网络包括通常是固定的且永久安装在一位置处并且包括天线的接入点。参见图17A的接入点1307。该接入点在从若干米到长得多的距离的范围上广播消息，从而广告其服务集标识符(SSID)，该SSID是特定WLAN名称的标识符。SSID是EM信号签名的示例。该签名是可从信号中获取的该信号的某一特征，该特征可被用于当信号再次被感测时标识该信号。SSID可被用于访问产生对应位置的数据库。马萨诸塞州波士顿的SkyhookWireless公司提供Wi_ Fi 定位系统(WPS)，其中W1-Fi 网络的数据库交叉引用到纬度、经度坐标以及地点名称，以供在蜂窝电话和其他移动设备的位置感知应用中使用。计算设备可通过感测来自W1-Fi网络、蓝牙网络、RF或红外信号、或无线的无线销售点终端的无线信号，确定计算设备处于特定位置。如参考图8讨论的，BLUETOOTH (IEEE 802.15.1)是用于在短距离上交换来自从固定和移动设备的数据从而创建个人区域网(PAN)或微微网(piconet)的开放式无线协议。
IrD A 是通过红外光短进行短程数据交换诸如以供个人区域网使用的通信协议。红外信号例如还可用在游戏控制器与控制台之间以及用于电视遥控器和机顶盒。IrDa、红外信号一般可被使用，并且光信号一般可被使用。RF信标是发射RF信号的已测设备，RF信号包括可由配置信标并分配位置的管理员交叉引用到数据库中一位置的标识符。示例数据库条目是:信标_ID=12345，位置=咖啡店。GPS信号922从绕地球运行的卫星中被发射，并由计算设备用来确定地理位置，诸如纬度、经度坐标，该地理位置标识计算设备在地球上的绝对位置。这一解决方案可使用对数据库的查找而与诸如用户的家等地点名称相关。全球移动通信系统(GSM)信号924 —般是从安装在建筑物或专用塔或其他结构的蜂窝电话天线中发射的。在某些情况下，感测特定GSM信号及其标识符可以以足够的准确性(诸如对于小蜂窝小区而言)与特定位置相关。在其他情况下，诸如对于宏蜂窝，以所需准确性标识位置可包括测量蜂窝电话天线的功率级和天线模式，并且在相邻天线之间内插信号。在GSM标准中，存在具有不同覆盖区域的五个不同的蜂窝大小。在宏蜂窝中，基站天线通常安装在平均屋顶水平以上的天线竿或建筑物上，并且覆盖几百米至数万米的范围。在通常用于城市区域的微蜂窝中，天线高度低于平均屋顶水平。微蜂窝通常小于一英里宽，并且可覆盖例如购物中心、酒店或运输中心。微微蜂窝(Picocell)是覆盖直径为几十米的小蜂窝，并且主要用于室内。毫微微蜂窝(Femtocell)小于微微蜂窝，可以具有几米的覆盖直径，并被设计成供住宅或小型商业环境中使用并且经由宽带因特网连接来连接到服务提供者的网络。框926表示使用邻近度传感器。邻近度传感器可检测对象的存在，诸如在如几英尺等指定范围内的人。例如，邻近度传感器可发射一束电磁辐射，诸如红外信号，该束电磁辐射从目标反射并由邻近度传感器接收。例如，返回信号中的改变指示存在人类。在另一方式中，邻近度传感器使用超声波信号。邻近度传感器提供用于确定用户是否在能够参与传送内容的计算设备的指定距离内的机制。作为另一示例，邻近度传感器可以是基于深度图的或者使用红外测距。例如，中枢12可通过确定用户距该中枢的距离来担当邻近度传感器。存在用于确定邻近度的许多选项。另一示例是光电传感器，该光电传感器包括使用例如可见光或红外光来工作的发射机和接收机。框928表示从可用源中的一个或多个来确定位置。位置标识信息可被存储，诸如绝对位置(例如，纬度、经度)或表示位置的信号标识符。例如，在一个可能的实现中，W1-Fi信号标识符可以是SSID。IrDA信号和RF信标通常还将传递某一类型的标识符，该类型的标识符可被用作位置的代理。例如，当零售商店的POS终端传递IrDA信号时，该信号将包括该零售商店的标识符，诸如“西尔斯，商店#100，芝加哥，伊利诺斯州”。用户在零售商店中位于POS终端处的事实可被用于触发将图像从POS终端传送到HMD设备，诸如销售收据或在由收银员处理/结账时正购买的对象的价格的图像。图1OA描绘图9A的步骤904的示例场景，该步骤904用于确定在目标计算设备或显示表面上继续一体验的条件是否被满足。该场景通过用户输入命令以在目标计算设备或显示表面处继续一体验而发起。例如，用户可位于用户想要发生该继续的位置。作为示例，用户可能在走回家时使用HMD设备观看电影。当用户走进他或她的家时，用户可能想要在家中继续在电视机上观看该电影。用户可发出命令，例如姿势或说出的命令如:“将电影转移到电视”。或者，用户可能正独自或与其他玩家一起参与游戏体验，该用户想要在目标计算设备上继续该游戏体验。用户可发出命令，诸如:“将游戏转移到电视”。判定步骤1002确定目标计算设备是否被识别。例如，HMD设备可经由无线网络确定电视机是否存在，或HMD设备可尝试使用面向前方的相机来识别电视机的视觉特征，或HMD设备可确定用户正凝视目标计算设备(进一步的细节参见图12)。如果判定步骤1002为假，则在步骤1006不满足继续该体验的条件。在步骤1010可告知用户这一事实，例如，经由视觉或听觉消息，诸如“电视没有被识别”。如果判定步骤1002为真，则判定步骤1004确定目标计算设备是否可用(当该目标为计算设备时)。在一种方式中，当该目标为无源显示表面时，可以假定该目标总是可用。例如，当目标计算设备不忙于执行另一任务时，或正在执行比继续该体验的任务优先级更低的另一任务时，该目标计算设备可能可用。例如，电视机在已经在使用中的情况下可能不可用，例如电视机被通电且正由另一人观看，在该情况下可能不希望打断该另一人的观看体验。目标计算设备的可用性还可取决于连接HMD设备和目标计算设备的网络的可用性。例如，目标计算设备在可用网络带宽太低或网络等待时间太长的情况下可被认为是不可用的。如果判定步骤1004为假，则在步骤1006不满足继续该体验的条件。如果判定步骤1004为真，则判定步骤1008确定是否应用会阻止或限制继续该体验的任何限制。例如，电视机处的该继续可能受限，因此该继续在一天中的特定时间不被准许，例如，深夜，或诸如学生等用户不被允许使用电视机的时间段。或者，电视机处的该继续可能受限，因此仅视觉部分被允许在深夜继续，而音频关闭或设置在低等级，或音频被维持在HMD设备处。在该继续位于远程电视机处(诸如另一人的家中)的情况下，该继续可在特定时间和特定日子被禁止，这通常由该另一用户来设置。如果判定步骤1008为真，则之后可以是两条路径之一。在一条路径中，该继续被禁止，并且可任选地在步骤1010告知用户该情况，例如通过消息:“禁止现在将该电影转移到Joe房屋的电视上”。在另一路径中，允许受限的继续，并到达步骤1012，指示满足继续该体验的条件。如果判定步骤1008为假，则同样到达步骤1012。步骤1014在目标计算设备处继续该体验的音频或视觉部分，或者音频和视觉部分两者。例如，某限制可仅允许视觉或音频部分在目标计算设备处被继续。所示过程可类似地被用作图9A的步骤914的示例场景。在该情况下，例如，内容的源是目标计算设备，而该目标是HMD设备。图1OB描绘图9A的步骤904的另一示例场景，该步骤904用于确定在目标计算设备或显示表面上继续一体验的条件是否被满足。在一种情形中，在步骤1020处，HMD设备识别目标计算设备或显示表面。例如，当用户走进他或她的房间时，HMD设备可以例如使用无线网络检测到存在诸如电视机之类的目标计算设备。可以确定用户正在看电视。在另一情形中，在步骤1038处，HMD设备获取的位置数据指示存在目标计算设备或显示表面。例如，位置数据可以是指示用户位于家中的GPS数据。判定步骤1040确定目标计算设备或显示表面是否被HMD设备识别。如果判定步骤1040为真，则达到判定步骤1022。判定步骤1022确定目标计算设备是否可用。如果判定步骤1022或1040为假，则到达步骤1024，并且不满足继续该体验的条件。如果判定步骤1022为真，则判定步骤1026确定限制是否适用于所推荐的继续。如果限制适用使得该继续被禁止，则到达步骤1028，在步骤1028可告知用户该继续被禁止。如果该继续被限制，或者如果不存在限制，则步骤1030可提示用户确定用户是否同意执行该继续。例如，可以使用诸如“你想继续在电视上看该电影吗？”之类的消息。如果用户不同意，则到达步骤1024。如果用户同意，则到达步骤1032，并且满足继续该体验的条件。如果步骤1026为假，则接着可执行步骤1030或1032。即，向用户提示可被省略。步骤1034在目标计算设备处继续该体验的音频或视觉部分，或者音频和视觉部分两者。所示过程可类似地被用作图9A的步骤914的示例场景。在该情况下，例如，内容的源是目标计算设备，而该目标是源HMD设备。图1OC描绘图9A的步骤904的另一示例场景，该步骤904用于确定在目标计算设备上继续一体验的条件是否被满足。该场景例如与图16有关。在步骤1050，交通工具中的目标计算设备被源HMD设备识别。步骤1052将HMD设备的用户标识成驾驶员或乘客。在一种可能的方式中，用户在该交通工具中的位置可由交通工具内的目标计算设备的定向天线来检测。或者，交通工具中的传感器(诸如座位上的重量传感器)可检测用户正坐在驾驶员座位上，因此用户是驾驶员。如果用户是驾驶员，则步骤1054将HMD设备处的体验标识成与驾驶有关的或与驾驶无关的。与驾驶有关的体验可包括例如对地图的显示或听觉引导或其他导航信息，这例如在用户正在驾驶时继续是重要的。与驾驶无关的体验可以是例如电影。如果该体验是与驾驶无关的且包括视觉数据，则在步骤1056出于安全原因不在目标计算设备处继续该视觉数据。如果该体验包括音频数据，则在步骤1058提示用户暂停该音频(在该情况下发生步骤1060)，在目标计算设备处继续该音频(在该情况下发生步骤1062)或在HMD设备处维持该音频(在该情况下发生步骤1064)。如果用户是乘客，则步骤1066提示用户在HMD设备处维护该体验(在该情况下发生步骤1068)，或在目标计算设备处继续该体验(在该情况下发生步骤1070)。步骤1070可任选地提示用户输入在交通工具中的座位位置。一般而言，HMD用户/佩戴者是车辆中的驾驶员还是乘客，在行为上存在根本差异。如果用户是驾驶员，则音频可被传送到车辆中作为目标计算设备的音频系统，而视频可被传送到例如车辆中的平视显示器(heads up display)或显示屏。不同类型的数据可不同地对待。例如，与驾驶有关的信息(诸如导航信息，在用户驾驶时进行显示被认为是合适且安全的)可自动地传送到车辆的计算设备，但出于安全原因电影回放(或其他显著使人分心的内容)应被暂停。默认传送诸如音乐/MP3之类的音频，但向用户提供暂停(保存状态)或传送的选项。如果HMD佩戴者是交通工具中的乘客，则用户可能具有保留其HMD当前正提供的任何类型的内容的选项，或者可能可任选地将音频和/或视频传送到车辆的系统，使坐在前排或后排的乘客注意到潜在的不同体验，这些坐在前排或后排的乘客在车辆中可具有自己的视频屏幕和/或音频点(例如，如在交通工具内的娱乐系统中)。图11是描绘图9A的用于将数据传递给目标计算设备的步骤906或916的进一步细节的流程图。步骤1100涉及将数据传递到目标计算设备。这可涉及不同的方式。在一种方式中，步骤1102将内容的网络地址传输到目标计算设备。例如，考虑从网络位置接收流传送音频和/或视频的HMD设备。通过将该网络地址从HMD设备传递到目标计算设备，目标计算设备可开始使用该网络地址来访问内容。网络地址的示例包括IP地址、URL和存储音频和/或视觉内容的存储设备的目录中的文件位置。在另一方式中，步骤1104将文件位置传递到目标计算设备以保存当前状态。例如，这可以是存储设备的目录中的文件位置。一个示例是将电影从HMD设备传送到目标计算设备，在目标计算设备上进一步观看该电影，并且在该电影结束之前停止观看。在这种情况下，当前状态可以是电影被停止的点。在另一方式中，步骤1106将内容传递到目标计算设备。例如，对于音频数据，这可包括传递使用诸如WAV或MP3等格式的一个或多个音频文件。该步骤可能涉及仅在HMD设备处可用的内容。在其他情况下，将目标计算设备定向到内容的源可能更高效。在另一方式中，步骤1108确定目标计算设备的能力。该能力可涉及目标计算设备使用的通信格式或协议(例如，编码、调制或RF传输能力，诸如最大数据率)，或目标计算设备是否可使用诸W1-Fi 、Bluetooth或IrDA 之类的无线通信协议。对于视觉数据，该能力可指示与例如图像分辨率(可接受的分辨率或可接受的分辨率范围)、屏幕大小和屏幕高宽比(可接受的屏幕高宽比或可接受的屏幕高宽比范围)有关的能力，而对于视频，该能力可指示帧/刷新率(可接受的帧率或可接受的帧率范围)以及其他可能性。对于音频数据，该能力可指示保真度，例如是否为单声道、立体声和/或环绕声(例如，5.1或五声道音频，诸如杜比数字(DOLBY DIGITAL)或数字影院声音(DTS))。保真度可以以音频位深来表达，例如，每一音频样本的数据位数。音频和视频的分辨率合起来可被认为是可被传递的“体验分辨率”能力。HMD设备可按不同的方式来确定目标计算设备的能力。在一种方式中，HMD设备将一个或多个其他计算设备的能力的记录存储在非易失性存储中。当满足在目标计算设备处继续一体验的条件时，HMD从目标计算设备获取标识符，并且在记录中查找对应的能力。在另一方式中，该能力是HMD设备预先不知道的，而是在目标计算设备处继续一体验的条件被满足的时候从目标计算设备接收的，诸如通过目标计算设备在网络上广播其能力并且HMD设备接收到该广播。步骤1110基于该能力来处理内容，以便提供经处理的内容。例如，这可涉及将内容转换成适合或更适合目标计算设备的能力的格式。例如，如果目标计算设备是具有相对小屏幕的蜂窝电话，则HMD设可决定在将视觉数据传送到目标计算设备之前，降采样视觉数据或降低视觉数据的分辨率，例如从高分辨率降低到低分辨率。作为另一示例，HMD设备可决定在将视觉数据传送到目标计算设备之前改变视觉数据的屏幕高宽比。作为另一示例，HMD设备可决定在将音频数据传送到目标计算设备之前改变音频数据的音频位深。步骤1112包括将经处理的内容传输到目标计算设备。例如，HMD设备可经由LAN和/或WAN、或是直接或是经由一个或多个中枢与目标计算设备通信。步骤1113涉及确定一个或多个网络的网络能力。这涉及考虑通信介质。例如，如果网络上的可用带宽相对低，则计算设备系统可确定较低的分辨率(或信号的较高压缩)是最适当的。作为另一示例，如果网络上的等待时间相对高，则计算设备可确定较长的缓冲时间是合适的。由此，源计算设备不仅基于目标计算设备的能力而且还基于网络能力来作出判定。一般而言，源计算设备可表征目标计算设备的参数，并且提供优化体验。此外,在许多情况下,期望时变(time-varying)体验以无缝、不间断的方式在目标计算设备处继续，使得在目标计算设备处该体验基本上在该体验在HDM设备处结束的点处继续。即，目标计算设备处的该体验可与在源HMD设备处的该体验同步，或者反之亦然。时变体验可以是随时间变化的体验。在某些情况下，该体验以预定速率随时间进展，该预定速率名义上不由用户来设置，诸如在音频和/或视频文件被播放时。在其他情况下，该体验以用户设置的速率随时间进展，诸如在用户阅读文档(例如，逐页或按用户的其他增量前进的电子书)时，或在用户使幻灯片放映逐图像前进时。类似地，游戏体验以一速率并且以基于来自HMD用户且可任选地来自其他玩家的输入的方式前进。对于电子书或其他文档，时变状态可指示文档中的位置(见步骤1116)，其中，文档中的该位置是文档的开始和结束之间的中间位置(partway)。对于幻灯片放映，时变状态可指示最后显示的图像或要播放的下一图像，例如，图像的标识符。对于游戏体验，时变状态可指示用户在游戏中的状态，诸如赚取的点，用户的化身在虚拟世界中的位置等等。在某些情况下，时变状态的当前状态可通过音频和视觉内容中的至少一个的持续时间、时间戳以及分组标识符中的至少一个来指示。例如，音频或视频的回放可基于自体验开始或某一其他时间标记以来已流逝的时间来测量。使用该信息，该体验可从已流逝的时间开始在目标计算设备处继续。或者，最后播放的分组的时间戳可被跟踪，使得该体验可从具有相同时间戳的分组开始在目标计算设备处继续。音频和视频数据的播放通常涉及对一个或多个数字数据分组流的数模转换。每一分组具有可被跟踪的编号或标识符，使得当该体验在目标计算设备处继续时，该序列可以在大约相同分组处开始播放。该序列可在接入点处周期性地具有播放可从之开始的所指定分组。作为直接传送情形中的一个示例，该状态可被存储在从HMD设备传输到目标计算设备的指令集中。HMD设备的用户可能正在观看电影“泰坦尼克号”。为传送该内容，初始指令可能是:家庭电视，开始播放电影“泰坦尼克号”，并且状态传送的一条可能是:在自开始以来时间戳I小时24分时开始重放。该状态可被存储在HMD设备上或网络/云位置处。在一种方式中，为避免中断，使得当体验在HMD设备处停止而在目标计算设备处开始时，施加略微延迟是有可能的，这提供了时间以供目标计算设备在停止HMD设备处的体验之前访问并开始播放该内容。当目标计算设备已经成功访问该内容时，目标计算设备可将确认发送给HMD设备，HMD设备可响应于此而停止其体验。注意，HMD或目标计算设备可具有多个并发体验，并且传送可涉及这些体验中的一个或多个。因此，步骤1114确定内容的时变状态在HMD设备处的当前状态。例如，这可涉及访问工作存储器中的数据。在一个选项中，步骤1116确定诸如电子书等文档中的位置(例如，页或段落)。在另一选项中，步骤1118确定视频或音频的持续时间、时间戳和/或分组标识符。上述讨论与两个或更多计算设备有关，其中至少一个可以是HMD设备。图12描绘跟踪用户的凝视方向以及焦深的过程，该过程一般而言诸如供在图9A的步骤904或914中使用，且更具体地供在图1OA的步骤1002或图1OB的步骤1020和1040中使用，以便确定目标计算设备或显示表面是否被识别。步骤1200涉及使用上述技术来跟踪用户的一个或两个眼睛。在步骤1202中，眼睛被照明，例如使用来自图3中眼睛跟踪照明134A的若干LED的红外光。在步骤1204，使用一个或多个红外眼睛跟踪相机134B来检测来自眼睛的反射。在步骤1206，将反射数据提供给处理单元4。在步骤1208，如以上讨论的，处理单元4基于反射数据来确定眼睛的位置。步骤1210确定凝视方向和焦距。在一种方式中，眼球的位置可基于相机和LED的位置来确定。瞳孔中心可使用图像处理来找出，并且延伸穿过瞳孔中心的辐射可被确定为视轴。具体而言，一个可能的眼睛跟踪技术使用闪光的位置，该闪光是当瞳孔被照明时从瞳孔反射离开的少量的光。计算机程序基于该闪光确定凝视的位置。另一可能的眼睛跟踪技术是瞳孔中心/角膜反射技术，该技术可以比闪光技术的位置更准确，因为该技术跟踪闪光和瞳孔中心两者。瞳孔中心一般是视力的精确位置，并且通过在闪光的参数内跟踪该区域，对眼睛正凝视哪里作出准确预测是可能的。在另一方式中，瞳孔形状可用于确定用户正凝视的方向。瞳孔与相对于正前方的视角成比例地变得更椭圆。在另一方式中，眼睛中的多个闪光被检测以找出眼睛的Sd位置，估计眼睛的半径，并且绘制通过眼睛中心通过瞳孔中心的线以获取凝视方向。凝视方向可针对用户的一个或两个眼睛来确定。凝视方向是用户看的方向且基于视轴，该视轴是所绘制的假想线，例如，通过瞳孔中心到小凸(视网膜中心处，黄斑内)中心。在任何给定时间，用户正在看的图像的点是注视点，该注视点处于视轴与图像的交点处，该交点与HMD设备相距为焦距。当两个眼睛都被跟踪时，眼窝肌肉使两个眼睛的视轴与注视点的中心对齐。眼睛跟踪器可相对于HMD设备的坐标系确定视轴。图像也可以相对于HMD设备的坐标系来定义，使得不必将凝视方向从HMD设备的坐标系转换到另一坐标系，诸如世界坐标系。世界坐标系的一个示例是用户位于的房间的固定坐标系。这样的转换通常会要求知道用户头部的定向，并且引入额外的不确定性。如果凝视方向被确定成在某一最小时间段内指向计算设备，则这指示用户正在看该计算设备。在这种情况下，计算设备被认为是被识别的，并且是内容传送的候选者。在一种方式中，通过将外观特征与计算设备的已知外观特征作比较，计算设备的外观可由HMD设备的面向前方的相机来识别，外观特征例如大小、形状、高宽比和/或颜色。图13描绘涉及一个或多个HMD设备以及一个或多个其他计算设备的各种通信场景。这些场景可涉及HMD设备2以及以下各项中的一个或多个:电视机(或计算机监视器)1300，蜂窝电话(或平板或PDA) 1302，带有显示器1309的电子告示牌1308，另一 HMD设备1310以及商业设施1306 (诸如具有带有显示器1305的显示设备1304的餐厅)。在该示例中，该商家是餐厅，该餐厅将其菜单张贴在诸如菜单版等显示设备1304上。FIG.图14描绘其中HMD设备处的体验基于HMD设备的位置在诸如图13的电视机1300之类的目标计算设备处被继续的场景。当佩戴HMD设备2的用户1410进入指定位置1408时，在电视机1300处继续HMD设备处的体验的条件被满足。显示器1400表示HMD设备2上的图像，并且包括背景区域1402 (例如，静止或移动图像，可任选地伴随有音频)作为体验。当HMD设备确定它处于指定位置时，HMD设备可在前景区域1404中生成消息，该消息询问用户他或她是否想要在已被标识成“我的客厅电视机”的计算设备处继续HMD设备的体验。用户可以用诸如手势、点头、或语音命令之类的某一控制输入作出肯定或否定响应。如果用户作出肯定响应，则该体验在电视机1300处继续，如显示1406所指示的。如果用户作出否定响应，则该体验不在电视机1300处继续，而可在HMD设备处继续或完全被停止。在一种方式中，HMD设备基于邻近度信号、红外信号、碰撞、HMD设备与电视机的配对、或使用参考图9B讨论的任一技术来确定HMD设备位于位置1408。作为一个示例，位置1408可表示用户的房屋，使得当用户进入该房屋时，用户具有在诸如电视机等目标计算设备处继续HMD设备处的体验的选项。在一种方式中，HMD设备被预配置为使得HMD设备将电视机300与用户生成的描述(我的客厅电视机)和位置1408相关联。诸如音量级等电视机的设置可由用户预配置或被设置为默认。体验的继续可自动地发生而没有用户干涉，而不是提示用户批准到电视机的转移(例如使用前景区域1404中的消息)。例如，系统可被设置或预配置为使得在检测到一个或多个条件时执行继续。在一个示例中，系统可被设置，使得如果用户正在HMD设备上观看电影并且到达家里，则发生电影自动传送到家里大屏幕电视机。为此，用户可例如经由基于web的应用来在系统设置/配置列表中设置配置条目。如果系统不存在预配置的对文件的传送，则可提示用户查看他们是否希望执行该传送。是否继续该体验的判定可考虑其他因素，诸如电视机1300当前是否被使用、一天中的时间、星期。注意，仅继续包括音频和视频两者的内容的音频或视觉部分是可能的。例如，如果用户深夜到家，则可能期望在电视机1300上继续视觉内容而不继续音频内容，例如以便吵醒家中的其他人。作为另一示例，用户可能期望收听内容的音频部分，诸如经由电视机或家庭音频系统，但不继续视觉内容。在另一选项中，电视机1300位于用户的远程位置，诸如位于朋友或家庭成员的家中，如接下来描述的。图14B描绘基于HMD设备的位置在HMD设备本地的电视机处以及在远离HMD设备的电视机处继续HMD设备处的体验的场景。在该示例中，体验已经在用户本地的电视机1300处继续，并且也在HMD设备处继续。HMD设备提供具有背景图像1402以及作为前景图像1430的消息的显示1426，该消息向用户询问用户是否期望在已被标识成在“Joe的房屋中”的计算设备(例如电视机1422)处继续该体验。消息可能替代地位于用户视野的其他位置，诸如背景图像1402侧部。在另一方式中，可以可听地提供消息。此外，用户使用手势来提供命令。在该情况下，手1438及其姿势(例如，手的轻打)由面向前方的相机113检测，其中视野由虚线1434和1436指示。当给出肯定姿势时，体验作为显示1424在电视机1422处继续。HMD设备可经由诸如用户和朋友家中的LAN以及连接到LAN的因特网(WAN)等一个或多个网络与远程电视机1422通信。用户可替代地通过控制输入向与HMD设备通信的游戏控制器1440提供命令。在该情况下，基于硬件的输入设备由用户操纵。无论到达目标计算设备或显示表面中所涉及的网络拓扑结构是什么，内容可被传送到处于用户的直接空间的目标计算设备或显示表面，或传送到某一其他地方的其他已知(或可发现的)计算设备或显示表面。在一个选项中，HMD设备处的体验自动地在本地电视机1300处继续，但需要用户命令要在远程电视机1422处继续。远程电视机的用户可对其配置，以设定关于什么内容将被接收并播放的许可。可提示远程电视机的用户批准远程电视机处的任何体验。该场景可例如在用户希望与朋友共享体验的情况下发生。图14C描绘HMD设备处的体验的视觉数据在计算设备(诸如图13的电视机1300)处被继续、而HMD设备处的体验的音频数据在计算设备(诸如家庭高保真或立体声系统1460 (例如包括音频放大器和扬声器))处被继续的场景。如上所述，当配对HMD设备2的用户1410进入指定位置1408时，继续该体验的条件被满足。当HMD设备确定它处于指定位置时，HMD设备可在前景区域1452中生成消息，该消息询问用户他或她是否想要在已被标识成“我的客厅电视机”的计算设备处继续该体验的视觉数据，而在已被标识成“我的家庭立体声系统”的计算设备处继续该体验的音频数据。用户可作出肯定响应，在该情况下该体验的视觉数据如显示1406指示的在电视机1300处继续，而该体验的音频数据在立体声系统1460处继续。HMD设备可自动地判定视觉数据应在电视机上继续，而音频数据应在家庭高保真立体声系统上继续。在该情形中，HMD设备的至少一个控制电路确定满足在一个目标计算设备(例如电视机1300)处提供视觉内容的继续，而在另一计算设备(例如家庭立体声系统1460)处提供音频内容的继续。图15描绘基于HMD设备的用户的语音命令在诸如蜂窝电话之类的计算设备处继续HMD设备处的体验的场景。用户左手持有蜂窝电话(或平板、膝上型计算机或PDA)1302，并且作出语言命令以发起该继续。HMD设备的显示器1504包括背景图像1402和作为前景图像1508的消息，该消息询问:在“我的蜂窝电话”处继续？当命令指示肯定响应时，该体验在蜂窝电话1302处使用显示器1502来继续。例如，当用户使蜂窝电话通电并且例如通过感测蜂窝电话广播的询问消息而被HMD设备识别时，和/或在诸如使用BLUETOOTH (蓝牙)的主从配对中HMD设备与蜂窝电话配对时，可能发生该场景。用户也可访问蜂窝电话上的应用以启动该传送。如上所述，作为替代，蜂窝电话处的继续可自动地发生而不提示用户。图16描绘在交通工具中仅HMD设备处的体验的音频部分在计算设备处被继续的场景。并且参考图10C。在道路1600上，用户在交通工具1602中。该交通工具具有计算设备1604，诸如网络连接的音频播放器，例如具有BLUETOOTH连接性的MP3播放器，音频播放器包括扬声器1606。在该场景中，用户进入车辆佩戴HMD设备，包括音频和视觉内容的体验在该HMD设备上正在进行。HMD设备确定它在计算设备1604附近(例如通过感测计算设备1604广播的询问消息)，并基于安全考虑自动地在计算设备1604上仅继续音频内容而不继续视觉内容。体验包括显示器1608，显示器1608具有背景图像1402和作为前景图像1612的消息，该消息声明:“5秒钟后在“我的车”处继续音频”。在该情况下，倒计时向用户通知将发生该继续。可任选地，当用户在车辆中但感测到车辆开始移动(例如，基于加速计或基于改变的GPS/GSM信号的位置)时，HMD设备继续包括视觉内容的体验，并且通过停止视觉内容但在HMD设备或计算设备1604上继续音频内容来作出响应。停止该内容可基于上下文敏感的规则，诸如:当我在移动的车辆中时不要播放电影。图17A描绘在商家处在计算设备处的体验在HMD设备处被继续的场景。诸如餐厅等商业设施1306具有诸如计算机监视器等提供对其正餐菜单的显示1305作为体验的计算设备1304。还可提供诸如音乐或讲解者的推销说辞(sale pitch)等伴随音频。这样的监视器可被称为数字菜单板，并且通常使用IXD显示器并具有网络连接性。此外，一般而言，监视器可以是不必与餐厅相关联的智能板或智能显示器的一部分。当HMD设备例如通过确定用户正凝视计算设备，和/或通过感测来自接入点1307的信号，确定用户的注意力被吸引到计算设备1304时，HMD设备可访问来自计算设备的数据，诸如菜单的静止或移动的图像或其他信息。例如，HMD设备可提供包括作为背景区域1702的菜单和作为前景图像1704的消息，该消息询问:“取一本我们的菜单？ ”用户可使用手势提供肯定命令，例如在该情况下，显示器1706提供作为背景区域1702的菜单而没有消息。手势可提供从计算设备1304中抓取菜单并将其放在HMD设备的视野内的体验。菜单可以按即使在HMD设备和计算设备1304不再彼此通信之后(例如，当HMD设备在接入点范围以外时)仍持续存在的形式而被存储在HMD设备处。除菜单以外，计算设备还可提供其他数据，诸如特别供应、电子优惠券、其他顾客的评论等。这是在HMD设备上继续来自另一非HMD计算设备的体验的示例。在另一示例中，计算设备1304不必与餐厅相关联和/或不必位于餐厅，但具有向HMD设备发送不同类型的信息的能力。在一种方式中，计算设备可基于已知地理信息和/或用户偏好(例如，用户喜欢墨西哥菜)发送位于该区域并且可能是HMD设备用户感兴趣的不同餐厅的菜单。计算设备可基于诸如一天的时间、确定用户最近看过另一菜单板、和/或确定用户最近使用HMD设备或另一计算设备(诸如蜂窝电话)执行过对餐厅的搜索之类的信息来确定用户有可能正在寻找餐厅吃晚餐。计算设备可找到它认为与用户有关的信息，例如，通过搜索本地餐厅并滤除不相关的信息。当用户在周围移动时，诸如走在具有相应计算设备的许多此类商业设施的街上，HMD设备接收的音频和/或视觉内容可基于用户与每一商业设施的位置的邻近度而动态改变。例如，可以基于HMD设备可检测的商业设施的无线信号，并且可能是它们相应的信号强度、和/或交叉引用到已知设施位置的GPS位置数据，来确定用户和HMD设备与特定商业设施的位置接近。图17B描绘图17A的体验包括用户生成的内容的场景。对于商家或其他组织，客户/顾客张贴评论、照片、视频或其他内容并且例如使用社交媒体来使这些内容对朋友或公众可用已经变得常见。一个场景基于社交联网数据突出显示名人或朋友对餐厅的评论。在一个示例中，名为Joe和Jill的餐厅的顾客先前已经创建了内容，并且将其与计算设备1304相关联。HMD设备上的显示器1710包括显示该菜单的背景区域1702以及作为前景图像1714的消息，该消息声明:“J0e和Jill说…”。用户1410例如使用手势输入访问消息的附加内容的命令。附加内容在显示器1716中提供，并且声明:“Joe推荐牛排”而“Jill喜欢馅饼”。用户可输入导致对于背景区域1702本身的显示1720的另一命令。图17C描绘用户为图17A的体验生成内容的场景。用户可以用多种方式来提供与诸如餐厅等商家有关的内容。例如，用户可对着HMD设备的话筒讲话，并且该语音可被存储在音频文件中、或使用语音至文本转换而被转换成文本。用户可输入讲出的命令和/或姿势来提供内容。在一种方式中，用户“标记”该餐厅并使用目标计算设备提供内容，目标计算设备诸如蜂窝电话(或平板、膝上型计算机或个人计算机)1302等包括显示区域1740和在其上键入评论的输入区域/键盘1742。这里，该内容是文本评论:“汉堡包好吃”。该内容被张贴，使得显示1730包括该 内容作为前景图像。其他用户随后也可访问该内容。该内容还可包括音频和视频。评论也可通过从预定义的内容选择(例如，“非常好”、“还不错”或“不好”)列表中选取。评论也可通过在预定义的排名系统中作出选择来定义(例如，对于餐厅，从五颗星中选择三颗星)。在另一方式中，用户可使用基于位置的社交联网站点在商业位置或其他地点处为移动设备签到。用户可通过从基于GPS的应用所定位的附近地点列表中进行选择来签到。与来自同一用户的连续登录有关的度量可被检测(例如，Joe这个月已经来过这里五次)并且显示给其他用户，以及与来自给定用户的朋友的登录有关的度量也类似。诸如评级等对给定用户可用的附加内容可以例如基于用户的身份、用户的社交联网朋友或用户的人口统计信息。图18基于图9A的步骤909描绘一示例场景，该示例场景描述用于将视觉内容从初始虚拟位置移动到与显示表面配准的虚拟位置的过程。在这一方式中，视觉内容由HMD设备继续显示，但与显示设备的位置配准，诸如真实世界中的空白墙壁或屏幕。最初，视觉内容(带有可任选的伴随音频内容)可被显示在用户的HMD设备处的初始虚拟位置。这可以是与真实世界对象配准的虚拟位置。真实世界对象可以是空白墙壁或屏幕。由此，随着用户移动他或她的头部，视觉内容出现在视野中的同一虚拟位置，诸如直接在HMD设备前方，或者出现在不同的虚拟世界位置。然后，满足将虚拟内容传送到与显示表面配准的虚拟位置的条件。这可以基于如上所述的条件中的任一个，包括HMD设备的位置以及检测到的与显示表面(诸如空白墙壁、屏幕或3D对象)的邻近度。例如，显示表面可与诸如用户的家或家中的房间之类的位置相关联。在一种方式中，显示表面本身可能不是计算设备也不具有通信的能力，但可具有HMD设备预先知道的能力，或由目标计算设备实时传递到HMD设备的能力。这些能力可标识例如反射率/增益水平以及可用视角范围。具有高反射率的屏幕将具有较窄的可用视角，因为反射光量随着观看者从屏幕前方移开而迅速减少。一般而言，我们可以将HMD设备外部的显示器分成三类。一类包括诸如经由背光屏幕生成显示的显示设备。这些包括我们可使显示同步的电子属性的电视机和计算机监视器。第二类包括诸如白墙等任意平面空间。第三类包括并非固有地是监视器而是主要出于该目的而使用的显示表面。一个示例是电影院/家庭影院投影屏幕。显示表面具有某些属性，这些属性使其作为显示而比平面白墙更好。对于显示表面，其能力/属性和存在可向HMD设备广播或广告。该通信可以以HMD可用于标识存在显示表面的标签/嵌入消息的形式，并且注意其大小、反射属性、最优视角等，使得HMD设备具有确定将图像传送到显示表面所需的信息。这种类型的传送可包括创建全息图，使其看起来像图像被传送到的地方，或使用微型投影仪/其他投影仪技术来传送图像作为视觉内容，其中投影仪传送视觉内容本身。将视觉内容传送到与真实世界表面(诸如白墙、屏幕或3D对象)配准的虚拟位置。在该情况下，随着用户移动他或她的头部，视觉内容看上去处于同一真实世界位置，而不是相对于HMD设备在固定位置。此外，显示表面的能力可按HMD设备生成视觉内容的方式来考虑，例如根据亮度、分辨率和其他因素。例如，相比于在显示表面是具有较低反射率的空白墙面时，在显示表面是具有较高反射率的屏幕时，HMD设备可在使用其微显示器呈现视觉内容时使用较低亮度。这里，诸如屏幕等显示表面1810看起来具有与其配准的显示(视觉内容)1406，使得当用户的头部和HMD设备位于第一定向1812时，显示1406分别由微显示器1822和1824在左透镜118和右透镜116中提供。当用户的头部和HMD设备位于第二定向1814时，显示1406分别由微显示器1832和1834在左透镜118和右透镜116中提供。显示表面1810本身并非固有地产生显示信号，但可被用于主存/固定图像或图像集。例如，HMD设备的用户可进入他们家里，并且将当前内容复制到家庭系统处，该家庭系统包括其上呈现视觉内容的显示表面、以及可能其上呈现音频内容的音频高保真系统。这是在诸如电视机等计算设备处复制当前内容的选项。甚至随着用户在房屋中或其他位置的周围移动，在不同的显示表面处一个接一个复制该内容也是可能的。前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。
权利要求
1.一种头戴式显示设备，包括: 至少一个透视透镜； 与所述至少一个透视透镜相关联的至少一个图像投影源； 与所述至少一个图像投影源通信的至少一个控制电路，所述至少一个控制电路: 在所述头戴式显示设备处提供包括音频和视觉内容中的至少一个的体验； 确定是否满足条件来在所述目标设备处提供所述体验的至少一部分的继续；以及如果所述条件满足，则将数据传递到所述目标计算设备，以允许所述目标计算设备提供所述体验的至少一部分的继续，所述体验的至少一部分的继续包括所述音频和视频内容中的至少一个。
2.按权利要求1所述的头戴式显示设备，其特征在于: 所述至少一个控制电路确定满足条件来在一个目标计算设备处提供所述视觉内容的继续而在另一计算设备处提供所述音频内容的继续。
3.按权利要求1所述的头戴式显示设备，其特征在于，为确定是否满足所述条件，所述至少一个控制电路确定以下各项之一: 所述头戴式显示设备的用户是否作出姿势； 所述用户是 否操纵基于硬件的输入设备； 所述用户是否作出语音命令；以及 所述用户的凝视是否指示所述用户正在看所述目标计算设备。
4.按权利要求1所述的头戴式显示设备，其特征在于，为确定是否满足所述条件，所述至少一个控制电路检测以下各项之一: 邻近度信号； 红外信号； 碰撞； 所述头戴式显示设备与所述目标计算设备的配对；以及 接入点的电磁信号。
5.按权利要求1所述的头戴式显示设备，其特征在于: 所述数据包括供所述目标计算设备在保存所述音频和视觉内容中的至少一个的时变状态的当前状态时使用的文件位置。
6.按权利要求1所述的头戴式显示设备，其特征在于，所述数据至少包括以下各项之 所述音频和视觉内容中的至少一个； 所述音频和视觉内容中的至少一个的网络地址；以及 所述音频和视觉内容中的至少一个的文件存储位置。
7.按权利要求1所述的头戴式显示设备，其特征在于: 所述数据包括所述音频和视觉内容中的至少一个的时变状态的当前状态，所述时变状态指示所述音频和视觉内容中的至少一个的当前位置，所述当前位置在所述音频和视觉内容中的至少一个的开始与结束之间的中间位置，所述时变状态的当前状态由所述音频和视觉内容中的至少一个的持续时间、时间戳和分组标识符中的至少一个来指示。
8.按权利要求1所述的头戴式显示设备，其特征在于，所述至少一个控制电路:确定其位置；以及 基于所述位置确定是否满足所述条件。
9.按权利要求1所述的头戴式显示设备，其特征在于，所述至少一个控制电路: 确定与所述目标计算设备的图像分辨率和音频保真度中的至少一个有关的一个或多个能力；以及 基于所述一个或多个能力来处理所述内容，以便提供经处理的内容，所述数据包括经处理的内容。
10.一种用于控制头戴式显示设备的处理器实现的方法，包括以下处理器实现的步骤: 在所述头戴式显示设备处提供包括音频和视觉内容中的至少一个的体验； 确定是否满足条件来在目标所述设备处提供所述体验的至少一部分的继续；以及如果所述条件满足，则将数据传输到所述目标计算设备，以允许所述目标计算设备提供所述体验的至少一部分的 继续，所述体验的至少一部分的继续包括所述音频和视频内容中的至少一个。
全文摘要
本发明公开了将头戴式显示连接到外部显示和其他通信网络。透视头戴式显示(HMD)设备(例如，以眼镜形式)的音频和/或视觉体验可被移动到诸如电视机、蜂窝电话、或计算机监视器之类的目标计算设备，以允许用户将该内容无缝地转移到目标计算设备。例如，当用户进入家中带有电视机的房间时，在HMD设备上播放的电影可被传送到电视机并且开始在那里播放，而基本上无需中断该电影的流。HMD设备可通知电视机例如用于访问该电影的网络地址，并且以时间戳或分组标识符的形式提供当前状态。内容也可以以相反方向被传送到HMD设备。传送可基于位置、预配置的设置和用户命令而发生。
文档编号G02B27/01GK103091844SQ20121053209
公开日2013年5月8日 申请日期2012年12月11日 优先权日2011年12月12日
发明者J·克拉维, B·萨格登, S·G·拉塔, B·I·瓦特, M·斯卡维泽, J·T·斯蒂德, R·哈斯汀斯, A·G·普洛斯 申请人:微软公司