体视频呈现的制作方法
【专利摘要】本发明描述了涉及通过头戴式显示器在呈现空间中的视频图像的呈现的各种实施例。例如，一个被公开的实施例包括从位置和朝向传感系统接收观众的位置数据和朝向数据，并从所述观众的位置数据和朝向数据中定位呈现空间中的一个观众，确定该用户面朝的方向并确定头戴式显示系统的朝向。从所确定的位置、方向和朝向中，根据体图像的一部分和朝向确定呈现图像，所述体图像的该部分被映射到在观众视野内的呈现空间的该部分。随后，将所述呈现图像发送给头戴式显示器。
【专利说明】体视频呈现
[0001]背景
[0002]可以以二维或三维格式来呈现视频内容。三维视频呈现通常涉及使用过滤眼镜来允许将略微不同的图像传递到观众的左眼和右眼。在这样的视频呈现中，虽然所显示的图像看起来具有三维，但是，改变用户的视角不会改变正被观看的内容，因为无论观众的视角在观看环境中何处，都是同样的图像到达观众的眼睛。
[0003]虚拟世界和其它交互计算机图形呈现可以允许用户通过改变第一或第三人称人物的视角的用户输入来观看一个场景的不同部分，所述场景的不同部分是通过所述人物观看到的场景。用户可以通过来自用户输入设备(例如键盘、游戏杆等等)的输入来控制在虚拟世界或其它计算机图形环境中所观看到的视角。
【发明内容】
[0004]在此描述了涉及通过头戴式显示器在呈现空间中的视频图像的呈现的各种实施例，这样，用户可以通过改变在呈现空间中的视角来观看体图像数据()的不同视角。例如，一个被公开的实施例包括从位置和朝向传感系统接收观众的位置数据和朝向数据，并从所述观众的位置数据和朝向数据中定位呈现空间中的一个观众，确定该用户面朝的方向并确定头戴式显示系统的朝向。从所确定的位置、方向和朝向中，基于被映射到呈现空间的体图像的一部分和朝向来确定发送给所述头戴式显示系统的一个呈现图像，所述部分在基于观众在呈现空间中的视野的观众视野中。随后，将所述呈现图像发送给头戴式显示器。
[0005]提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
【专利附图】
【附图说明】
[0006]图1示出了根据本公开的一个实施例的在呈现空间中的观众的示意性描述，并且还示出了根据呈现空间中的观众视角呈现给用户的视频图像。
[0007]图2是体视频呈现系统的实施例的框图。
[0008]图3示出了头戴式显示系统的实施例。
[0009]图4示出了描绘呈现体视频图像给观众的方法的实施例的流程图。
[0010]图5示出了描绘呈现交互图形用户界面的方法的实施例的流程图。
[0011]图6示出在接收用户交互之前的交互可视界面的实施例。
[0012]图7示出在接收用户交互之后的图6的用户界面。
[0013]图8示出计算设备的示例实施例。
【具体实施方式】
[0014]如上所述，虚拟世界和其它计算机图形呈现可以允许用户通过改变通过其来观看场景的第一或第三人称人物的视角的用户输入来观看一个场景的不同视角。用户可以通过来自用户输入设备，例如键盘、游戏杆等等，控制在虚拟世界或其它计算机图形环境中所观看到的视角。
[0015]然而，玩家可以享受当前虚拟世界体验的交互性程度可能受限于被用于控制用户在虚拟世界中移动的机制。例如，将诸如键盘、游戏杆、方向垫等之类的手工输入设备用于导航虚拟世界妨碍了用户享受与该世界的更加真实的交互性，例如能够在虚拟世界场景中行走以查看该场景的不同视角。
[0016]而且，如上所述，视频呈现可能没有为观众提供改变视频内容项内的视角的能力。例如，与计算机图形呈现不同，视频观众可能不具有通过选择将视角改变180度来观看在视频观众的视点之后发生的动作的能力。
[0017]因此，在此公开了涉及这样一种方式的视频内容呈现的实施例:用户可以在视频内容呈现空间内移动以从各种视角观看视频内容呈现。例如，观看足球比赛的观众能够在观看环境中行走以获得比赛的争球线的更近视图。类似地，观看戏剧表演的观众能够围绕一个正在发生一个场景的房间行走，以从该房间内的不同视角观看人物。
[0018]所公开的实施例利用了头戴式显示器来向观众显示图像，并使用位置和朝向跟踪系统来跟踪在呈现空间内的用户运动和朝向。这样的位置和朝向跟踪系统可以包括，例如，配置为成像呈现空间的一个或多个相机和/或在所述头戴式显示器上用来跟踪用户的头沿滚动轴、俯仰轴和/或偏航轴的朝向的一个或多个运动传感器。
[0019]位置和朝向跟踪系统还可以包括相机信标系统。例如，呈现空间中的对象可以被配置为发射参考信号，该信号是空间上相关的且结构化的，使得头戴式显示系统上的相机可以看到并跟踪结构化光图案。随后，可以将结构化光图案的图像用于确定用户的位置和朝向。在又一个其它实施例中，可以在呈现空间中提供单个宽广视野相机，并且，头戴式显示系统发射可由相机观看到的结构化空间上的相关的信标以确定用户的位置和朝向。类似的系统可以使用射频信标。将可以理解，是出于示例的目的来描述这些位置和朝向跟踪系统，并且不旨在将其局限于任何形式，并且可以使用任意其它适合的运动跟踪系统，例如磁性系统。
[0020]可以从所述位置和朝向跟踪系统中获得描述观众的眼睛在呈现空间中的位置和朝向的数据，并将其用于计算并呈现要通过头戴式显示器显示的图像。可以以逐帧的基础，或仅当检测到用户在呈现空间中的运动时，才执行这样的位置和朝向分析。在任一情况下，用户能够通过物理地在呈现空间内移动来观看各种各样视角的视频呈现。
[0021]这样的系统可以通过将体视频数据映射到呈现空间来允许视频数据被呈现在诸如房间的呈现空间内。在此使用的术语“体视频数据”描述了从多个视图中捕捉的视频数据，这样，可以从观看空间()的各种视角合适地呈现所述视频数据中对象的外观和空间关系。作为更加具体的示例，可以由相机在多个不同的角度，例如基本围绕摄影棚，来记录戏剧表演。随后，来自相机的图像数据可以被缝合在一起以形成一个包含了由所述多个相机所捕捉的视角范围内的所有图像数据的视频文件。在其中由视频捕捉了戏剧表演的内容生产空间的几何知识可以允许生产空间被映射到所捕捉的视频数据。随后，这种映射可以被应用于在其中呈现了所述视频数据的呈现空间。在这种方式中，呈现空间的体(volume)可以用映射的视频数据来填充，这样，在呈现空间中的观众通过头戴式显示系统从所述呈现空间内的任意适合的视角来观看视频内容。可以理解,可以通过修剪视频内容的边侧、允许用户将视频内容在呈现空间的边缘处滚入视图或从其滚出(例如通过一个或多个图像传感器所检测到的姿势输入)，通过限制用户可以(相对于视图)移动的视频数据体的一部分和/或以任意其它适合的方式来处理在呈现空间和在视频数据中捕捉的内容生产空间体之间的几何误配。
[0022]图1描述了这样的体视频呈现的示例使用场景。描述了在呈现空间102中的观众100，所述呈现空间包括位于房间内各个位置处的多个相机104、106。相机104、106可以用于跟踪在呈现空间102内的观众100的位置。虽然出于说明的目的示出了两个相机，但应该理解可以使用任何适合数目的相机来跟踪在呈现空间102内的观众100的位置。还可以理解，呈现空间可以包括任意其它合适的位置和朝向跟踪系统，包括但不局限于上述这些系统。
[0023]而且，呈现空间102包括由观众100穿戴的头戴式显示系统110以查看体图像呈现。虽然出于示例的目的描述了单个观众100，但应该理解多个观众可以观看呈现空间102内的视频呈现。
[0024]呈现空间102还包括视频呈现计算设备112。视频呈现计算设备112被配置为接收视频呈现的体视频数据，并将所述体视频数据映射到呈现空间。应该理解，可以从任意合适的源，包括但不局限于诸如DVD播放器之类的本地源和/或通过网络的远程源，来接收体视频数据。
[0025]视频呈现计算设备112还被配置为从相机104、106接收观众跟踪图像数据以及从在头戴式显示系统110 (如下所述)上的各种传感器接收运动数据以允许跟踪观众100的眼睛在呈现空间102中的位置和朝向。而且，在一些实施例中，来自头戴式显示系统110上的眼球跟踪相机的输入可以提供关于观众的凝视所指向的方向的输入。从这些输入中，视频呈现计算设备112可以确定要发送给头戴式显示系统100以呈现给观众100的图像。
[0026]通过以逐帧的基础来执行这样的处理，当观众在呈现空间102内走来走去时可以将不同的图像呈现给观众。例如，图1描述了观看棒球比赛的观众100。在时间h的第一视角中，将观众100定位在将观看视角放置在本鱼板(home plate)之后的位置处。接着，在时间A，观众100在呈现空间102内移动到允许从沿第一垒线观看棒球比赛的位置和朝向。随后，在t2,观众100沿第一鱼线进一步移动并改变朝向到观看打向右场(hit towardright field)。在这种方式中，观众100能够通过简单地在呈现空间102内移动来改变从其观看比赛的视角。应该理解，依据呈现空间到体视频数据的映射以及在体数据中的可用视角的范围，观众能够改变在棒球场上的视角，例如在投手或接球手之后，或到任意其它适合的视角。
[0027]图2描述了图1的观看环境的框图。图1的呈现空间102以虚线示出，并且被示为包括视频呈现计算设备112。然而，应该理解，视频呈现计算设备112和/或任意其它合适的组件，可以被物理地与呈现空间分开102定位，只要在视频呈现计算设备112和在呈现空间102中使用的各种输入传感器和输出设备之间存在通信信道。
[0028]头戴式显示系统110可以包括各种传感器和输出设备。例如，头戴式显示系统110可以包括透视显示子系统200，以便可以将图像投射到透镜202上，或通过在透镜202内定位的图像产生元件(例如透视OLED显示器)来生成图像。头戴式显示系统110可以进一步包括一个或多个图像传感器204。例如，图像传感器204可以包括被配置为获取图像数据以允许跟踪观众眼球的图像数据的眼睛跟踪图像传感器。类似地，图像传感器204可以包括例如允许基于姿势的用户输入的一个或多个面向外的图像传感器。在一些实施例中，还可以通过呈现空间相机104、106来检测基于姿势的用户输入，而在其它实施例中，可以不使用基于姿势的输入。头戴式显示系统110可以进一步包括一个或多个麦克风206以允许使用语音命令作为用户输入。或者或另外地，与头戴式显示系统110分开的观看环境麦克风207可以被用于检测观众的语音命令。
[0029]头戴式显示系统110可以进一步包括当观众穿戴着头戴式显示系统110时检测该观众的头部运动的一个或多个运动传感器208。运动传感器208可以输出运动数据以提供给视频呈现计算设备112以跟踪观众头部运动和眼睛朝向。因为这样的运动数据可以利于检测用户的头部沿滚动轴、俯仰轴和/或偏航轴的倾斜，这样的数据也被称为朝向数据。类似地，运动传感器208还可以被用作用户输入设备，这样，用户可以通过颈部和头部或者甚至身体的姿势来与头戴式显示系统110交互。可以理解，图2所描绘的传感器是出于示例的目的而示出的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
[0030]头戴式显示系统110还包括具有逻辑子系统212和数据保持子系统的与头戴式显示系统110的各种输入和输出设备通信的控制器210。数据保持子系统214包括存储在其上的指令，所述指令可由逻辑子系统212执行以例如通过通信子系统216接收并转发(以未处理或已处理的形式)来自传感器的输入到视频呈现计算设备112，从视频呈现计算设备112接收图像数据，并通过透视显示子系统200来将这样的图像呈现给观众。可以通过头戴式显示系统上的一个或多个扬声器218或通过呈现空间内的另一个音频输出220来呈现音频。
[0031]头戴式显示系统110可以具有任意合适的物理形式。例如，在一些实施例中，头戴式显示系统110可以采用一对太阳镜的形式，如图3所示。在其它实施例中，头戴式显示系统110可以具有在其中在观众的一个或两个眼睛前面支撑了透视显示系统的任意其它合适的形式。可以注意到，图3示出了面向外的图像传感器204以及眼睛跟踪图像传感器300这两者。
[0032]回到图2，图1的相机104、106被示为相机I和任意相机n，指示了可以将任意合适数目的相机(包括但不局限于2)用于跟踪呈现空间102内的用户运动，并提供观众位置数据给视频呈现计算设备。而且，可以理解，可以使用任意其它合适位置和朝向检测系统。
[0033]当多个相机被用于观众位置跟踪时，可以以任意合适的方式将相机校准到呈现空间。在一些实施例中，相机可以被配置为自校准的。例如，每个相机可以包括将结构化光图案投射到呈现空间中的结构化光投射系统。随后，由相机检测这样的结构化光图案以自己校准到呈现环境。随后，为了校准所述呈现空间中的一个相机到另一个相机的位置，一个相机可以捕捉图像，同时另一个相机发射结构化光图案。随后，视频呈现计算设备可以使用图像中的结构化光图案的外观和位置以及哪个相机发射了结构化光图案的知识来校准由每个相机所获取的图像之间的重叠。这可以对所有相机对都执行，直到确定了每个相机之间的视野重叠。
[0034]视频呈现计算设备112被描述为与呈现空间102内的头戴式显示系统110、相机104、106、麦克风207以及音频输出220进行通信。而且，视频呈现计算设备112被描述为接收来自多个内容源的输入，所述内容源包括位于呈现空间102内的内容源1222以及位于呈现空间102之外的内容源2224和n226。
[0035]内容源222可以表示任意合适的本地内容源，例如DVD播放器、数字视频录像机(DVR)或其它这样的本地媒体数据源。类似地，内容源224和226可以表示可由视频呈现计算设备112访问的任意远程内容源。例如，内容源2和/或n可以表示可以从其流传送或下载体视频数据的网站。类似地，内容源224、226可以表示任意合适的远程媒体源，例如有线电视供应商、卫星电视供应商、计算机网络可访问流媒体供应商等。这样，网络228可以表示可以在其上从远程源接收内容的任意合适的一个或多个网络。
[0036]图4示出了描绘通过头戴式显示器呈现体视频数据的方法400的实施例的流程图。可以理解，在执行方法400之前，视频呈现计算设备可以将位于呈现空间内的图像传感器校准到呈现空间体。可以以任意合适的方式并以任意合适的频率来执行这样的校准，包括但不局限于在系统安装处。
[0037]方法400首先包括接收体图像数据并在402将该体图像数据映射到呈现空间402。这种映射可以包括，例如，确定表示在体图像中的一个区域的体图像数据的一部分，在该区域中用户可以走来走去，并且随后将图像的该部分中的像素与呈现空间中的位置相关联。
[0038]在一些情况中，整个图像体(image volume)可以是交互的,这样,用户可以从任意期望的视角来查看每个图像帧中的对象。作为更加具体的示例，可以从足够数量的相机角度录制体戏剧表演，以便允许用户在显示的场景的周界中走来走去，并且通过整个场景的体并从该区域内的所有视角来查看演员的图像。在一个这样的呈现的具体示例中，场景中的墙的图像的位置可以对应于在呈现空间中的真实的墙的位置。应该理解，所述图可以具有任意其它合适的边界外观。
[0039]在其它情况中，图像体中仅有一部分可以是交互的，这样，用户可能不能移动来揭示在体视频内容中的对象和/或人的某些视角。
[0040]在将体视频数据映射到呈现空间之后，方法400包括在404检索体视频数据的帧，并且随后执行各种处理来确定要发送给头戴式显示器以呈现给观众的图像。例如，在408，方法400可以包括从呈现空间中的图像传感器接收观众跟踪数据，并在410，通过跟踪图像数据来定位呈现空间中的观众。可以理解，呈现空间中的多个观众可以以这种方式来标识。类似地，还可以将观众跟踪数据用于确定用户在呈现空间中面向的方向，如在412处所示。
[0041]而且，来自头戴式显示系统上的运动传感器的数据可以被用于帮助确定要呈现给观众的图像。例如，如在414处所示，方法400可以包括接收来自头戴式显示系统上的一个或多个运动传感器的运动数据，并随后在416处确定头戴式显示器(而这就是用户的眼睛)的朝向。
[0042]在一些实施例中，可以从头戴式显示系统上的图像传感器接收眼球跟踪数据，如在418处所示。这样的数据随后可以被用于确定观众的视觉相对于头戴式显示系统的光轴所指向的方向，所述光轴对应于观众向前方的直视，如在420处所不。
[0043]接着，基于观众跟踪数据、朝向数据和/或眼球跟踪数据，方法400包括，在422，根据呈现空间到视频数据的映射来确定在呈现空间中的观众的视野内的体视频数据的当前帧的一部分和朝向。随后，在424，视频呈现计算设备确定要被发送给头戴式显示系统的用于呈现的呈现图像，并在426发送该图像。通过对体视频数据的每个帧执行处理404到426，体视频呈现可以被呈现给观众，如在428处所示。
[0044]在一些实施例中，还可以将交互图形用户界面呈现给观众，例如，以允许对视频呈现的控制。图5示出了描述呈现体图形用户界面的方法500的流程图，而图6和7示出了这样的用户界面的一个示例实施例。方法500包括，在502，检测对图形用户界面的用户请求，以及在504，发送用户界面图像给头戴式显示系统。用户可以以任意方式来请求图形用户界面。例如，参照图6，用户通过执行诸如以特定姿势向前延伸手602之类的姿势来请求用户界面。作为响应，图形用户界面604包括显示在用户的显而易见的手臂区域内的多个可按压元素，例如按键606。可以理解，可以呈现任意合适类型的用户界面元素，包括但不局限于可按压的、可拉取的、可转换的、可旋转的等元素。而且，可以理解，手602可以表示当通过头戴式显示系统观看时的用户的实际的手，或者，可以表示要作为用户界面图像的一部分显示给用户的化身，并且所述化身被配置为跟踪用户实际的手的运动。
[0045]方法500接着包括在506处检测与用户界面图像交互的用户姿势。作为响应，方法500包括在508处发送示出用户姿势的影响的经修改的用户界面图像，并在510执行所请求的动作。例如，参照图7，通过延伸手指并按压按键606，用户与用户界面图像交互。作为响应，以激活状态(例如相比较于其它按键是被按下的或以任意其它合适的与其它按键比较而言可视的相对方式)示出所述按键。
[0046]在一些实施例中，除了或取代通过姿势，用户可以通过语音命令与视频呈现计算设备112交互。这样，方法500包括在512接收音频输入并检测音频输入中的语音命令，并且在514执行音频输入中所请求的动作。可以通过位于头戴式显示器或呈现空间中别处的麦克风来接收音频输入。还可以理解，用户可以以任意其它合适的方式与视频呈现计算设备交互。
[0047]可以理解，在用户界面交互期间，可以以各种方式来显示视频呈现。例如，参考图6和7，视频呈现被示为在用户界面动作期间正被暂停。在其它示例中，视频呈现可以继续或可以根本不显示。
[0048]这样，在此描述的视频内容的呈现可以允许比当前视频内容呈现方法更加身临其境的体验，并可允许每个观众选择该观众最感兴趣的视角。
[0049]在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的计算系统，例如视频呈现计算设备112。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机AP1、计算机库、和/或其他计算机程序产品。
[0050]图8示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统800。以简化形式示出了计算系统800。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统800可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
[0051]计算系统800包括逻辑子系统802和数据保持子系统804。计算系统800可以任选地包括显示子系统806、通信子系统808和/或在图8中未示出的其他组件。计算系统800还可以任选地包括诸如下列用户输入设备:例如键盘、鼠标、游戏控制器、相机、话筒和
/或触摸屏等等。[0052]逻辑子系统802可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、月艮务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
[0053]逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
[0054]数据保持子系统804可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统804的状态(例如，以保持不同的数据)。
[0055]数据保持子系统804可包括可移动介质和/或内置设备。数据保持子系统804尤其可以包括光学存储器设备(例如，⑶、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统804可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统802和数据保持子系统804集成到一个或更多个常见设备中，如专用集成电路或片上系统。
[0056]图8还示出以可移动计算机可读存储介质810形式的数据保持子系统的一方面，该可移动计算机可读存储介质可用于存储和/或传输可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质810尤其是可以采取⑶、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
[0057]可以明白，数据保持子系统804包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
[0058]术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个或多个具体功能的计算系统800的一方面。在某些情况下，可以通过执行由数据保持子系统804所保持的指令的逻辑子系统802来实例化这样的模块、程序或引擎。应当理解，可以从同一应用、服务、代码块、对象、库、例程、AP1、函数等来实例化不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、AP1、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
[0059]当被包括时，显示子系统806可用于呈现由数据保持子系统804所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统806的状态以在视觉上表示底层数据的改变。显示子系统806可以包括使用实际上任何类型的技术的一个或多个显示设备。可以将这样的显示设备与共享机壳中的逻辑子系统802和/或数据保持子系统152相结合，或者这样的显示设备也可以是外围显示设备，例如前述的头戴式显示系统。
[0060]当包括通信子系统808时，通信子系统808可以被配置成将计算系统800与一个或多个其他计算设备可通信地耦合。通信子系统808可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统800经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
[0061]应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。
[0062]本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。
【权利要求】
1.一种计算设备，包括: 逻辑子系统；以及 数据保持子系统，所述数据保持子系统包括存储于其上的能够由所述逻辑子系统执行的指令以: 从位置和定位传感系统接收观众的位置数据和观众的朝向数据； 从所述观众的位置数据和观众的朝向数据中，定位呈现空间中的观众，确定所述用户在所述呈现空间中面朝的方向，并确定所述头戴式显示系统在所述呈现空间中的朝向；通过基于所述观众位置数据和观众的朝向数据来确定体图像的一部分和朝向以确定要发送给所述头戴式显示系统的呈现图像，所述体图像的该部分被映射到在观众视野内的呈现空间的一部分；以及 将所述呈现图像发送给所述头戴式显示器。
2.如权利要求1所述的计算设备，其特征在于，所述指令可进一步执行以从所述头戴式显示系统上的眼球跟踪图像传感器接收眼球跟踪数据，并且进一步基于所述眼球跟踪数据来确定所述呈现图像。
3.如权利要求1所述的计算设备，其特征在于，所述指令可被进一步配置以接收体图像的输入并将所述体图像映射到所述呈现空间。
4.如权利要求1所述的计算设备，其特征在于，所述体图像数据包括从多个角度捕捉的场景的视频图像数据。
5.如权利要求1所述的计算设备，其特征在于，所述指令可进一步执行以检测来自所述朝向数据的所述头戴式显示器的滚动、俯仰和偏航。
6.如权利要求1所述的计算设备，其特征在于，所述指令还可执行以下操作: 检测请求用户界面的用户输入； 确定要发送给所述头戴式显示器以供显示的用户界面图像，所述用户界面图像包括用户界面元素； 将所述用户界面图像发送给所述头戴式显示器； 检测与所述用户界面图像交互的用户姿势；以及 作为响应，发送经修改的用户界面图像，所述经修改的用户界面图像示出了所述用户姿势在所述用户界面图像上的影响。
7.如权利要求6所述的计算设备，其特征在于，所述用户界面元素包括可按压和/或可拉取的元素。
8.如权利要求1所述的计算设备，其特征在于，所述指令可执行以检测所述呈现空间中的多个观众，并基于所述呈现空间中的每个观众的位置来确定要发送给所述多个观众的每个观众的不同图像。
9.如权利要求1所述的计算设备，其特征在于，所述指令可进一步执行以接收音频输入，以检测所述音频输入中的语音命令，并响应于所述音频输入执行功能。
10.一种呈现体视频图像数据的方法，所述方法包括: 接收所述体视频图像数据； 将所述体视频图像数据映射到呈现空间； 从多个图像捕捉设备接收观众跟踪图像数据；通过所述观众跟踪图像数据定位呈现空间中的观众，并确定所述用户在所述呈现空间中面朝的方向； 从头戴式显示系统上的运动传感器接收朝向数据； 从所述朝向数据，确定所述头戴式显示系统在所述呈现空间内的朝向； 从所述头戴式显示系统上的图像传感器接收眼球跟踪数据； 从所述眼球跟踪数据，确定所述观众视觉指向的方向； 通过基于所述观众跟踪图像数据、所述朝向数据和所述眼球跟踪数据来确定体图像的一部分和朝向以确定要发送给所述头戴式显示系统的呈现图像，所述体图像的该部分被映射到在观众视野内的 所述呈现空间的一部分；以及将所述呈现图像发送给所述头戴式显示器。
【文档编号】G02B27/22GK103608716SQ201280029699
【公开日】2014年2月26日 申请日期:2012年6月12日 优先权日:2011年6月17日
【发明者】S·巴斯彻 申请人:微软公司