用于虚拟现实和增强现实的电影掌控的制作方法
本申请依据35U.S.C.§119(e)要求于2015年10月9日提交的美国临时申请序列号62/239,782的优先权，其全部内容通过引用并入本文。
技术领域
本公开涉及由计算机制作(production)、配置以及提供用于虚拟现实或增强现实输出的数字数据。
背景技术：
“虚拟现实”是已经用于模拟在三维(3D)世界中的沉浸感的各种类型的内容的术语，所述内容包括例如各种视频游戏内容以及动画电影内容。在各种类型的虚拟现实中，用户可以通过基于计算机模型生成的3D环境的模拟经由控制虚拟摄像机的位置和取向来进行导航，所述虚拟摄像机限定用于在二维显示屏幕上显示的2D场景的视点(viewpoint)。这些技术的变体有时被称为“增强现实”。在增强现实设置中，显示技术示出由一个或多个数字对象或叠加层“增强”的用户周围环境的组合。增强的现实内容可以像关于用户周围可见的对象或人的文本“抬头(heads up)”信息一样简单，或者像将用户周围环境的整个外观转换为与用户的真实周围环境对应的幻想环境一样复杂。
虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体呈现技术，包括例如立体虚拟现实头戴式耳机(headset)。头戴式耳机和其它呈现方法使用户沉浸在3D场景中。头戴式耳机中的透镜使用户专注于安装在头戴式耳机上的距离用户眼睛仅几英尺的轻量级分屏显示屏上。分屏显示器的不同侧示出视频内容的左立体视图和右立体视图，而用户的周边视图被阻挡。在另一种类型的头戴式耳机中，两个单独的显示器被用于分别向用户的左眼和右眼示出不同的图像。在另一种类型的头戴式耳机中，显示器的视场包含包括周边视图的眼睛的全视场。在另一种类型的头戴式耳机中，使用可控制的小型激光器、镜子或透镜将图像投射到用户的视网膜上。无论哪种方式，头戴式耳机使用户能够更多地体验所显示的虚拟现实内容，就好像观看者沉浸在真实场景中一样。在增强现实(AR)内容的情况下，观看者可以体验增强的内容就好像其是增强的真实场景中的一部分或被放置到增强的真实场景中。
可以通过头戴式耳机中的运动传感器提供或增强这些沉浸式效果，该运动传感器检测用户的头部运动并且相应地调整(一个或多个)视频显示器。通过使他的头部转向一侧，用户可以将虚拟现实场景驱赶到该侧；通过使他的头部向上或向下，用户可以在虚拟现实场景中向上看或向下看。头戴式耳机还可以包括跟踪传感器，该跟踪传感器检测用户的头部和/或身体的位置并且相应地调整(一个或多个)视频显示器。通过倾斜或转动，用户可以从不同视点看到虚拟现实场景。这种对头部移动、头部位置和身体位置的响应性大大增强由头戴式耳机可实现的沉浸式效果。可以给用户提供置身于虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文中使用的，“沉浸式”通常包括VR和AR两者。
沉浸式头戴式耳机和其它可穿戴沉浸式输出设备对各种类型的游戏玩法特别有用，其涉及当用户使用头部移动、用户身体、头部、眼睛、手、手指、脚或其它身体部位的位置或取向、和/或其它输入来控制一个或多个虚拟摄像机时由渲染引擎生成的建模环境的用户探索。为了提供沉浸式体验，用户需要感知在某种程度上类似于与现实交互时的人类视觉感觉的移动自由度。针对VR制作的内容可以使用用于实时渲染的技术来提供这种体验，该技术已经被开发用于各种类型的视频游戏。内容可以被设计为用于渲染为视频输出的具有限定的边界和规则的三维计算机模型。内容可以通过立体技术被增强以提供立体输出(有时称为“3D”)，并且与响应于VR头戴式耳机的移动而管理渲染过程的VR应用相关联以产生所得的VR体验。用户体验非常像被放置在渲染的视频游戏中。
在其它类型的VR和AR中，模拟的3D环境可以主要用于讲述故事、更多地像传统影院或电影院。在这种类型的VR或AR中，添加的视觉效果可以增强故事的叙述元素或特殊效果的深度和丰富性，而无需使用户完全控制(或任何控制)叙述本身。然而，用于体验类似于使用VR或AR装备或方法传递的电影内容的事情的技术处于开发的非常早期阶段。实际的技术实施方式是相当受限的，并且迄今为止用户在他们的叙述内容的体验中大部分或完全地未受到VR或AR的影响。
因此，期望开发用于掌握用于VR和AR使用的电影内容的新方法和其它新技术，该新方法和其他新技术克服现有技术的这些和其它限制并且增强针对新的沉浸式技术(例如VR和AR)的叙述内容的吸引力和乐趣。
技术实现要素：
该发明内容和以下详细描述应该被解释对综合公开的补充部分，该部分可以包括冗余主题和/或补充的主题。在任一节中的省略不指示在综合申请中描述的任何元素的优先权或相对重要性。各节之间的差异可以包括替代实施例的补充公开、附加细节、或使用不同术语的相同实施例的替代描述，该差异从相应的公开中应该是明显的。
在本公开的一个方面中，一种计算机实施的方法包括由电影数据分发服务器通过无线网络与多个沉浸式输出设备进行通信，多个沉浸式输出设备中的每一个被配置为基于数据信号提供增强现实(AR)输出或虚拟现实(VR)输出中的一个，其中多个沉浸式输出设备中的每一个呈现在显示屏幕的视界内。例如，多个沉浸式输出设备可以由看电影的人或家庭影院用户穿戴。该方法可以包括基于包括VR数据或AR数据中的至少一种的数字电影主(master)数据来配置数据信号，例如以下面总结的以及在本文中的其他地方所描述的方式。该方法可以包括将数据信号同时发送到多个沉浸式输出设备，使得每个用户接收并处理该数据并且共享同时的沉浸式视频体验。
在另一方面中，该方法可以包括在显示屏幕上输出基于数字电影主数据的视频数据部分的图像，所述输出与发送同时进行。用户可以由此享受除了屏幕上的视频之外的AR体验，或者如果使用使屏幕模糊的完全VR装备，用户可以享受在屏幕上补充并复制呈现的电影呈现。
对于供应AR的沉浸式输出设备，配置数据信号可以包括对AR数据进行编码以用于增强在显示屏幕上输出的视频数据，以及将AR信号与视频信号一起包括在数据信号中。AR数据可以被配置为提供各种效果。在一个方面中，当由多个沉浸式输出设备接收到AR数据时，针对在多个沉浸式输出设备中的一个上观看AR输出的每一个人，AR数据将显示屏幕上的图像延伸超过显示屏幕的外部界限的区域。例如，穿戴AR沉浸式输出设备的人可以看到超过框架(frame)向上、向下或侧向延伸的场景的元素。在另一替代的方面中，当由多个沉浸式输出设备接收到AR数据时，AR数据使未显示在显示屏幕上的图像在观看在多个沉浸式输出设备中的一个上的AR输出的每一个人的非屏幕显示体积中出现。例如，可以使非屏幕对象出现在显示屏幕的前方、上方或下方，或者甚至在观看者的后方。可以通过配置用于VR输出设备的VR数据类似地提供这些效果。
数据信号可以被配置为将“客观”体验、“主观”体验、或客观体验和主观体验的混合提供给每个用户。为了提供主观体验，电影数据分发服务器配置数据信号使得未出现在显示屏幕上的图像(例如仅使用AR或VR输出设备可见的图像)出现在相对于在多个沉浸式输出设备中的一个上观看AR或VR输出的每一个人所限定的坐标系中。为了提供客观体验，电影数据分发服务器配置数据信号使得未出现在显示屏幕上的图像出现在相对于显示屏幕所限定的相同坐标系(或者换言之，相对于电影院或家庭影院并且对于所有沉浸式输出设备均相同的坐标系)中。为了提供混合体验，电影数据分发服务器配置数据信号使得至少一个可见对象相对于每个人的主观坐标系被单独地限定，而至少一个其它对象在公共坐标系中被限定并且其针对所有观看者是相同的。
在另一方面中，用户可以能够与在AR或VR输出中描绘的对象进行交互。因此，该方法可以包括在AR数据或VR数据中提供代码，使在多个沉浸式输出设备中的一个上观看AR输出的每个人能够与图像中的至少一个进行交互，导致AR输出或VR输出改变。在相关方面中，该方法可以包括基于每个人与图像中的至少一个的交互来改变示出在显示屏幕上的视频输出。例如，可以在存储的电影数据中提供场景的不同版本，并且在运行时间选择的版本可以基于来自不同用户的反馈的聚集来选择。在另一相关方面中，该方法可以包括基于每个人与图像中的至少一个的交互将数字内容的许可权的电子记录提供到与每个人相关联的用户帐户数据存储装置中。例如，通过在使用AR或VR设备的电影呈现期间与对象或角色进行交互，观看者可以“获得”另一个应用(诸如例如视频游戏应用或社交媒体应用)中使用对象、角色或某些相关对象或角色的权利。在一些实施例中，数据存储装置可以是或可以包括由每个人穿戴的AR或VR输出设备中的计算机存储器。
在另一方面中，该方法可以包括在AR数据中提供代码，用于至少部分地基于显示屏幕的几何结构以及在多个沉浸式输出设备中的一个上观看AR输出的每一个人来管理由AR输出设备从AR数据产生的AR输出与在显示屏幕上示出的视频输出之间的转换。因此，穿戴AR设备的观看者可以能够观看在显示屏幕上的图像和同时由AR设备输出的图像，而不存在在显示屏幕图像和周围AR图像之间的任何转变中断或破坏。
在另一方面中，该方法可以包括提供用于增强在显示屏幕上输出的视频数据的VR数据，例如通过在不同的、非重叠的时间处播放视频数据和VR数据，使得穿戴VR输出设备的多个个人中的一些在不同时间处观看在显示屏幕上和在VR输出设备上的内容。视频数据和VR数据还可以被配置为同时播放。视频数据可以是或可以包括二维非立体帧数据、立体帧数据或两者。
在另一方面中，该方法可以包括在数字电影主数据中提供触觉控制数据，其中触觉控制数据与增强的AR数据或VR数据中的至少一种协调地激活触觉设备。
在相关方法中，计算机或连接的计算机网络可以用于配置数字电影主数据，所述数字电影主数据包括用于提供包括电影呈现的AR输出或VR输出中的一个的AR数据或VR数据中的至少一个；以及将数字电影主数据记录在非暂时性计算机可读介质中。配置可以包括用于提供上面总结的输出效果的操作。例如配置可以包括：准备用于增强视频数据的AR或VR数据，该视频数据被配置为在布置为由多个个人观看的显示屏幕上进行投射或输出；准备用于将显示屏幕上的图像连续地延伸到超出显示屏幕的外部界限的区域的AR或VR数据；准备AR或VR数据，用于使未在显示屏幕上出现的图像在显示屏幕和穿戴沉浸式输出设备的多个个人中的任何一个人之间(或上方、下方、后方)出现；或准备AR或VR数据，使得图像提供主观体验、客观体验、或混合的主观和客观体验。
该方法可以包括在AR或VR数据中提供可执行指令(“代码”)，用于使用户能够与图像中的至少一个交互，使得响应于用户输入而改变AR输出。该方法可以包括配置代码使得用户与图像中的至少一个的交互导致在显示屏幕上示出的视频输出改变。该方法可以包括配置代码，使得用户与图像中的至少一个的交互使数字内容的许可权的电子记录被提供到与用户相关联的用户账户数据存储装置。
可以在任何合适的可编程计算装置中通过在非暂时性计算机可读介质中提供的程序指令来实施前述方法中的任何一种，该程序指令由计算机处理器执行时，使装置执行所描述的操作。装置可以包括用于视频制作或安装在电影院或家庭影院中的计算机或一组连接的计算机。装置的其他元件可以包括例如参与执行方法的显示屏幕、音频输出设备和用户输入设备。装置可以包括虚拟现实设备，例如对用户的头部或身体的移动作出反应以提供被放置在其中玩游戏的渲染场景内的印象的头戴式耳机或其它显示器。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细阐述了某些说明性方面，并且表明可以采用示例的原理的各种方式中的一些。当结合附图和所公开的示例进行考虑时，其他优点和新颖特征将根据以下详细描述变得显而易见，其包括所有此类方面及其等同物。
附图说明
当结合附图考虑时，本公开的特征、性质和优点将从以下阐述的详细描述中变得更加明显，贯穿整个说明书和附图，附图中相同的附图标记相应地标识相同的元件。
图1是示出用于制作和配置用于耦合到分发系统的虚拟现实或增强现实输出的数字数据的系统和装置的方面的示意框图。
图2是示出用于输出虚拟现实或增强现实内容的装置的更详细的方面的示意框图。
图3是示出从不同观看者的视角观看协调的沉浸式和非沉浸式内容的方面的示意图。
图4是示出用于在电影院或家庭影院设置中向多个用户输出沉浸式内容的系统的元件的概念图。
图5A是示出保持具有带有附加内容的预定叙述的音频视频数据的媒体包的方面的框图，其中附加内容与预定叙述协调并被配置用于提供替代输出。
图5B是示出包括沉浸式和非沉浸式内容的协调的输出的内容显示系统的方面的框图。
图6是示出用于提供沉浸式VR体验的立体显示设备的组件的示意图。
图7是示出用于多用户VR或AR的电影院或家庭影院空间的组件以及关于用于多用户VR或AR的电影院或家庭影院空间的概念的图。
图8A是示出用于向提供电影院体验的AR或者VR输出设备供应VR或AR数据的元件的流程图。
图8B是示出用于协调提供给电影院或家庭影院设置中的多个用户的沉浸式内容的系统的元件的概念图。
图9是示出与用于在屏或类似物上显示的二维(2D)数据非同时地向电影院或家庭影院的用户供应VR或AR数据的元件的流程图。
图10是示出用于向提供电影院体验的AR或者VR输出设备供应VR或AR数据的方法的流程图。
图11-13是示出图10中所图示的方法的进一步可选方面或操作的流程图。
图14是示出用于向提供电影院体验的AR或VR输出设备供应VR或AR数据的装置或系统的组件的概念框图。
图15是示出用于针对电影呈现配置数字电影主数据的方法的流程图。
图16至图17是示出图15中所图示的方法的进一步可选方面或操作的流程图。
图18是示出用于针对电影呈现配置数字电影主数据的装置或系统的组件的概念框图。
具体实施方式
现在参照附图描述各个方面。在以下描述中，为了解释的目的，阐述了许多具体细节以提供对一个或多个方面的透彻理解。然而，可能显而易见的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，为了便于描述这些方面，以框图形式示出了众所周知的结构和设备。
图1示出了用于与非沉浸式内容(例如具有音频的2D视频、具有音频的立体3D视频、非沉浸式视频游戏)协调地制作和分发沉浸式内容(例如AR和VR)的说明性系统100。该系统100可以包括制作资产(asset)的制作活动的集合102，该资产跨越基础创意(creative)内容的相关不同版本(沉浸式和非沉浸式)以不同方式被共享和使用。创意内容包括例如由各种摄像机系统112、114收集的视频数据、由音频子系统(未示出)收集和/或生成的音频数据、以及从各种建模/动画子系统108、110中创建并布置的计算机建模/动画数据。创意内容可以被存储在数据存储装置106中。应当理解，系统可以包括若干不同的数据存储装置(未示出)。制作服务器组件104可以在控制制作过程的各种制作人员的控制下经由多个访问终端118、116来访问数据存储装置106中的数据，该制作服务器组件104可以包括在计算机网络上操作的一系列制作应用。系统100中示出的组件的数目仅是说明性的。应该理解的是，典型的特色电影或其他演播室制作系统将典型地包括比所示的更多数目的组件。创意总监和技术总监监督来自各种数据源的创意内容的组装，其被配置成用于沉浸式输出设备和更多传统的非沉浸式设备。
由系统制作的数字内容可以包括相同故事的各种版本，例如2D影院版本；2D家庭影院版本；移动设备版本；用于影院、家庭或移动设备的一个或多个的立体3D版本、用于影院内体验的VR版本(可选地与支持2D或立体3D内容结合)、用于家庭使用的VR版本(同样可选地与非沉浸式内容一起使用)；用于补充影院中的非沉浸式内容的AR版本、用于补充家庭影院环境或移动设备格式中的非沉浸式内容、以及一个或多个前述输出格式中的视频游戏内容的AR版本。可以将各种版本中的每一个中的完成产品提供给家庭分发服务器120，家庭分发服务器120可以将不同版本存储在与元数据相关联的内容数据存储装置(未示出)中，用于管理使用和分发。至少一组消费者可以在单个数字内容(媒体)包中接收沉浸式和非沉浸式内容的多个版本，不管在服务的网络120的控制下被存储还是被本地存储在诸如光盘或存储器设备的计算机可读介质上。
每个被指定其自己的服务器资源的不同分发信道可以用于向不同组的终端用户提供内容。例如，电影院分发服务器130可以将沉浸式和常规内容分发到电影院以用于公开演示。为了图示说明的清楚起见，图示了潜在许多电影院中的一个电影院140。每个电影院140可以包括其自己的服务器134，服务器134用于将数字内容分发到均托管演示的一个或多个影院。每个影院(或者如果服务器143仅服务一个影院，则该影院)包括电影院屏幕136和一个或多个观看者，每个观看者穿戴沉浸式内容消费设备132、138，例如VR护目镜(visor)或AR头戴式耳机。因此，相同的基础音频视频节目可以以不同版本被分发以供家庭和电影院使用。家庭版本和电影院版本二者都可以包含协调不同的沉浸式设备以沉浸式格式同时播放音频视频节目的技术元件。另外，这两个版本都可以包括协调沉浸式内容与同时或非同时播放的内容的播放的元件。
在一些实施例中，保持协调的沉浸式和非沉浸式内容的媒体包可以是或可以包括在其中封装的数字内容被一起存储的单个计算机可读介质(例如光盘介质或FLASH存储器设备)。非暂时性、有形和便携式存储介质的分发可以减少网络带宽需求并确保消费设备可靠且无缝地访问密集数字内容。在一些实施例中，有形媒体的快速分发可以通过从保持用于写入数字副本的数字内容的电子副本的所选自助服务终端(kiosk)分发来完成。在一个替代方案中，此类自助服务终端可以利用高带宽连接来获得用于分发的电子内容。在包括例如用于电影院分发的其他实施例中，电子内容可以在通信网络和/或计算机网络上被传输并且直接地被存储在连接到客户端设备或与客户端设备集成的存储器设备或介质上，该客户端设备将参与接收的内容的重播。
参照图2，示出了用于消费VR或AR内容的内容消费设备200的各方面。家庭影院或电影院呈现的几个观看者可以配备内容消费设备。装置200可以包括例如处理器202，例如由IntelTM或AMDTM设计的基于80×86架构的中央处理单元、由ARMTM设计的片上系统、或者任何其他合适的微处理器。处理器202可以使用总线或其他耦合通信地耦合到3D环境装置200的辅助设备或模块。可选地，处理器202和其耦合的辅助设备或模块(其示例在204-216处示出)中的一些或全部可以容纳在外壳218内或与外壳218耦合，例如具有个人计算机、游戏控制台、智能手机、笔记本计算机、膝上型计算机、机顶盒、可穿戴眼罩、眼镜或护目镜的形式因素或其他形式因素的外壳。
用户界面设备204可以耦合到处理器202，用于向由在处理器202上执行的VR或AR沉浸式显示引擎操作的沉浸式内容显示过程提供用户控制输入。用户控制输入可以包括例如来自图形用户界面的选择或经由触摸屏、键盘、定位设备(例如游戏控制器)、麦克风、运动传感器、摄像机、或这些或其他输入设备的某些组合生成的其他输入(例如文本或方向性命令)。还可以经由耦合到处理器202的传感器206来提供控制输入。传感器可以包括例如运动传感器(例如加速度计)、位置传感器、温度传感器，方位传感器(例如全球定位系统(GPS)接收器和控制器)、眼睛跟踪传感器、或麦克风。传感器206可以检测用户界面显示器的运动或其他状态，例如虚拟现实头戴式耳机的运动、或用户的身体状态(例如皮肤温度或脉搏)。
设备200可以可选地包括耦合到处理器202的输入/输出端口208，以实现VR/AR引擎和计算机网络(例如电影院内容服务器或家庭影院服务器)之间的通信。例如，可以使用这种通信来实现多人模式VR或AR体验，包括但不限于电影内容的共享沉浸式体验。系统还可以用于非电影多用户应用，例如社交网络、群体娱乐体验、教学环境、视频游戏等等。
显示器220可以例如经由集成在处理器202中或单独的芯片中的图形处理单元(未示出)耦合到处理器202。显示器210可以包括例如由发光二极管(LED)或其他灯照亮的平面屏幕彩色液晶(LCD)显示器、由LCD显示器或数字光处理(DLP)单元驱动的投影仪、激光投影仪、或其他数字显示设备。显示设备210可以被合并到虚拟现实头戴式耳机或其他沉浸式显示系统中。由在处理器202上操作的VR/AR沉浸式显示引擎、或者用于协调用户输入与沉浸式内容显示和/或生成显示的其他应用驱动的视频输出可以被提供到显示设备210并且作为视频显示输出给用户(本文中还被称为“玩家”)。类似地，放大器/扬声器或其他音频输出换能器222可以经由音频处理系统耦合到处理器202。与视频输出相关并由VR/AR显示引擎或其他应用生成的音频输出可以被提供给音频换能器222并且作为可听声音输出给用户。
3D环境装置200可以进一步包括保持程序指令和数据的随机存取存储器(RAM)214，该程序指令和数据用于在控制3D环境期间由处理器进行快速执行或处理。当设备200断电或处于不活动状态时，程序指令和数据可以存储在长期存储器，例如非易失性磁、光学或电子存储器存储设备216中。RAM 214或存储设备216的一个或两个可以包括保持程序指令的非暂时性计算机可读介质，该程序指令在由处理器202执行时使得设备200执行如本文所述的方法或操作。程序指令可以用任何合适的高级语言编写，例如C、C++、C#或JavaTM，并且被编译以产生用于由处理器执行的机器语言代码。程序指令可以被分组为功能模块，以提升编码效率和可理解性。应该理解的是，此类模块即使在源代码中可识别为分区或分组，但是在机器级编码中不一定区分为单独的代码块。针对特定类型功能的代码束(bundle)可以被认为包括模块，而不管束上的机器代码是否可以独立于其他机器代码被执行。换句话说，模块可以仅是高级模块。
沉浸式内容可以在电影院和家庭影院设置中与非沉浸式内容一起播放，以增强显示在2D屏幕上并且根本不使用装备或立体观看眼镜观看的常规内容。图3示出了在由多个用户314、316和318共享的观看空间300中使用AR或VR的增强内容的各方面。穿戴AR头戴式耳机的第一用户314观看部分地在屏幕302上并且部分地在围绕屏幕302的增强观看体积(view volume)304中的内容对象310(“树”)。第二用户316正在用“裸眼”且不用装备来观看屏幕302，并且仅看到屏幕302上描绘的对象310的部分视图。除了围绕屏幕302的区域中的实际物理周围环境(例如电影影院或房间)之外，第二用户316看不到任何东西。
使用VR头戴式耳机的第三用户318根本看不到屏幕302。相反，第三用户看到在屏幕302中显示的对象310的等同内容对象312。对象312可以位于用户的VR空间306中，该VR空间306在相对于用户318的接近等同于对象310相对于用户314、316(即主观地放置)的位置中。因此，所有用户314、316和318可以共享至少在屏幕302上播放的内容的体验，而配备有AR或VR输出设备的用户314和318可以享受加强的内容，同时未配备的用户316仅与屏幕302上的内容匹配。配备AR的用户314和配备VR的用户318都可以观看出现在屏幕的前方、上方、下方或一侧的对象。例如，配备AR的用户314可以看到恐龙320，而配备VR的用户318看到等同的恐龙322。在所示示例中，每个用户在他们自己的参照系中看到仅沉浸式对象320、322，在这里被称为主观显示。
协调2D屏幕上的输出与VR输出可能看起来是不必要的重复(duplicative)，但是确实提供了几个不立即显现的益处。例如，配备VR或配备AR的观众成员和未配备的观众成员可以一起共享观看体验，增加在共享体验之前、期间和之后的用于社交互动的机会。另外，发现VR体验在情绪上过于强烈或者体验不愉快的感觉(例如眩晕)的观众成员可以在不中断其观看故事的情况下暂时移除他们的头戴式耳机。替代地或另外地，VR或AR头戴式耳机可以被装配为在不中断播放的情况下在沉浸式模式和非沉浸式模式之间容易地切换。然而，这种切换不能解决用户为什么可能希望在演示期间移除沉浸式工具的所有原因。观众成员可能由于其他原因期望暂时移除他们的头戴式耳机，诸如与另一个观众成员互动、享用零食、调整配件、减轻他们自己的头部重量、使他们的头部凉爽或走到洗手间或货摊，而同时跟随2D屏幕上的动作。
影院所有者的另一个好处是能够在同一设施内适应不同层次的票价。目前，例如支付较高票价来享受立体3D内容的观众必须被安置在与那些支付较低价格来享受2D内容的观众不同的影院中，需要昂贵的物理设施重复。在协调的2D/AR/VR系统中，影院运营商可以在同一个观看室内实现针对观看内容的阶梯计价。例如，运营商可以收取用于进入影院的基本票价、用于将顾客的AR/VR装备连接到影院的沉浸式数据流的单独费用、以及用于将AR/VR设备租赁给未带来其自己装备的顾客的另一单独费用。
参照图4，以框图形式示出了用于提供沉浸式和非沉浸式内容的系统400。系统400的元件包括耦合到数据分发服务器422的数据源408。在电影院或家庭影院应用中，一个或多个沉浸式输出设备(例如VR输出设备404和AR输出设备406(每个是“沉浸式输出设备”的示例))与服务器422进行通信。每个沉浸式输出设备可以耦合到对应的用户输入设备405、407。用户输入设备405、407可以包括耦合到用户身体的一个或多个位置、取向或运动传感器和/或由用户操作或其他身体输入可操作的控制面板。源自这种传感器的信息可以被提供给服务器422的组件。在将数据流提供到沉浸式输出设备404、406的同时，服务器422还可以将数据流提供到投影仪420或其他2D显示设备，例如一个电子显示屏幕。
各种类型的数据可以由服务器422从数据源408获得。这些类型可以包括例如数字视频文件或流馈送的2D数据412、音频数据(未示出)、用于使用AR输出设备406增强2D数据的AR数据414、用于使用VR输出设备404提供并行或补充娱乐体验的VR数据416、以及用于管理来自服务器422的前述数据的分发的分发应用418。服务器422可以执行应用418，其在被执行时可以提供各种功能模块。这些模块可以包括分发模块424，该分发模块424用于管理与多个沉浸式输出设备的通信和到多个沉浸式输出设备的分发。模块可以包括用于管理内容安全性并且以设备可用形式提供流数据的解密和解码模块426。模块可以包括用于维持在流式传输到不同沉浸式输出设备的娱乐内容之间的协调的内容协调模块428、用于例如在交互式内容的情况下使内容能够被定制用于特定沉浸式输出设备的定制化模块430。模块可以包括用于收集来自沉浸式输出设备404、406的反馈的度量模块432，该度量模块432可以被匿名化并被用于分析使用模式，目的是为沉浸式输出提供更有效且吸引人的内容、用于跟踪用户偏好、或其它目的。
可以针对沉浸式和非沉浸式输出设备制作由例如运动图片脚本表示的叙述内容。参照图5A，示出了将沉浸式和非沉浸式内容封装在媒体包502中的通用方面500。媒体包502可以是特定物品或可以包括特定物品，例如计算机可读光盘或存储器设备。在替代方案中，包502可以是或可以包括维护在服务器上的对特定用户账户授予访问权的一组数据。在任一情况下，如由媒体包502例示的沉浸式和非沉浸式内容的组合被设计为吸引期望在不同设备上(无论是在家中还是在公共影院中)获得对沉浸式内容508和非沉浸式内容510的访问的消费者。例如，消费者可能期望在移动或较大设备的视频显示屏幕上观看非沉浸式内容510，并且使用对VR或AR内容提供访问的头戴式耳机或其他设备观看沉浸式内容508。
可以根据非沉浸式叙述506(例如传统脚本)来记录非沉浸式内容510。可以根据沉浸式叙述规则集504(诸如例如某种分支叙述(branching narrative))或者替代地根据与非沉浸式内容相同的脚本来记录沉浸式内容508。沉浸式叙述规则集504和非沉浸式叙述506二者都可以是叙述性主干的表达。例如，叙述主干可以包括整个叙述规则集504，而非沉浸式叙述506可以是主干512的子集，仅包含以特定叙述序列布置的选定关键叙数事件。
在一方面，沉浸式内容508和非沉浸式内容510可以被协调以通过并行回放来消费。图5B示出使用协调输出设备的并行消费501的各方面。不同的输出设备可以从公共源(例如经由电影院或家庭影院中的局域网或无线局域网从内容服务器)获得内容。用于非沉浸式内容的第一输出设备可以包括2D显示屏幕526。第二输出设备528(沉浸式输出设备)可以被配置为提供AR或VR。不同的输出设备526、528可以由同一用户530使用，或者由占用共享空间的不同用户(未示出)使用。
数据源可以提供来自媒体包的至少三种类型的数据：2D或立体图形(stereographic)3D帧数据516、VR或AR数据520、以及使帧数据516和VR/AR数据520相关联的映射518。映射518的使用可以根据来自屏幕输出控制器522的屏幕几何数据512、以及限定观看空间514的几何数据(例如来自VR/AR输出设备528中的传感器的观看者530相对于显示屏幕526的位置和取向)来改变。屏幕输出控制器522可以以常规方式播放帧数据以用于在显示屏幕526上输出。当观看显示屏幕526上的输出时，用户还可以观看在VR/AR设备528上的输出。在VR模式中，沉浸式输出设备528可以复制屏幕526上的视图并添加附加的周围形象化(imagery)和交互式内容。在AR模式中，沉浸式输出设备528可以利用周围形象化或交互式内容来增强显示器526。使用键入媒体包中的非沉浸式内容的VR或AR内容，适当配备的用户因此可以相对于显示在显示屏幕526上的内容大大扩展可以结合叙述内容体验的观看区域和交互式对象的数量。VR/AR输出控制器524可以通过映射518和几何数据512、514保持VR或AR输出与帧数据516的播放同步。VR/AR输出控制器524还可以产生用于控制触觉输出设备532(例如振荡器或气动激活的压力储存器)的信号。
可以由用于响应于用户输入提供3D环境的应用来执行本文描述的任何特征，该应用产生用于沉浸式VR头戴式耳机等的VR输出。图6是示出可以以各种形式因素提供的一种类型的沉浸式VR立体显示设备600的图，设备600仅提供其中的一个示例。创新的方法、装置和系统不一定限于沉浸式VR显示器的特定形式因素，而是可以用于使得用户能够控制视频内容在设备上播放的位置或视点的视频沉浸式输出设备。类似地，VR或AR输出设备可以管理音频内容在设备上播放的音频位置或视点。沉浸式VR立体显示设备600表示针对消费者使用而设计的相对低成本设备的示例。
沉浸式VR立体显示设备600可以包括由不透明的轻质结构材料(例如刚性聚合物、铝或纸板)制成的平板支撑结构，该平板支撑结构被配置用于支撑和允许包括高分辨率显示屏幕(例如LCD显示器)的便携式平板计算或智能手机设备的可移除放置。这种模块化设计可以避免对用于视频输出的专用电子元件的需要，从而大大降低成本。设备600被设计为穿戴在用户的脸部附近，使用例如在目前的手持式平板计算或智能手机设备中典型可见的小屏幕尺寸来实现宽视场。支撑结构626可以提供对相对于显示屏幕612保持的一对透镜622的固定安装。透镜可以被配置为使用户能够舒适地聚焦在显示屏幕612上，显示屏幕612可以保持距离用户的眼睛大约一至三英寸。
设备600可以进一步包括观察罩(未示出)，该观察罩耦合到支撑结构626并且配置有用于形成适配用户的脸部并阻挡外部光的柔软、柔性或其他合适的不透明材料。罩可以被配置为确保给用户的唯一可见光源是显示屏幕612，增强了使用设备600的沉浸效果。屏幕分配器(divider)可以用于将屏幕612分隔成独立驱动的立体区域，其中的每一个区域仅通过透镜622的对应的一个可见。因此，沉浸式VR立体显示设备600可以用于提供立体显示输出，为用户提供更逼真的3D空间的感知。两个独立的显示器还可以用于分别向用户的左眼和右眼提供独立的图像。应该理解，本技术可以用于但不一定限于立体视频输出。
沉浸式VR立体显示设备600可以进一步包括用于定位在用户的鼻子上方的桥粱(未示出)，以便于将透镜622相对于用户的眼睛精确定位。设备600可以进一步包括弹性带或环624、或用于围绕用户的头部适配并将设备600保持到用户的头部的其他头饰。
沉浸式VR立体显示设备600可以包括关于用户头部630的显示和通信单元602(例如平板电脑或智能手机)的附加电子组件。支撑结构604使用抑制设备624保持显示和通信单元602，该抑制设备624是弹性和/或可调整的以提供舒适且安全的紧贴配合，例如可调节头戴式装置(headgear)。当穿戴支撑件602时，用户通过一对透镜622观看显示器612。可以由中央处理单元(CPU)602和/或图形处理单元(GPU)610通过内部总线616驱动显示器612。显示和通信单元602的组件可以进一步包括例如一个或多个发送/接收组件618，使得能够通过无线耦合在CPU和外部服务器之间进行无线通信。发送/接收组件618可以使用任何合适的高带宽无线技术或协议来操作，所述高带宽无线技术或协议包括例如诸如第三代合作伙伴计划(3GPP)长期演进(LTE)的蜂窝电话技术、全球移动通信系统(GSM)或通用移动电信系统(UMTS)、和/或例如使用诸如电气和电子工程师协会(IEEE)802.11的协议的无线局域网(WLAN)技术。一个或多个发送/接收组件618可以实现视频数据从本地或远程视频服务器到显示和通信单元602的流式传输，以及传感器和其他数据到本地或远程视频服务器的上行链路传输以用于本文描述的控制或观众响应技术。
显示和通信单元602的组件可以进一步包括例如经由通信总线616耦合到CPU 606的一个或多个传感器614。这种传感器可以包括例如提供用于指示显示和通信单元602的取向的取向数据的加速度计/测斜仪阵列。当显示和通信单元602被固定到用户的头部630时，该数据还可以被校准以指示头部630的取向。一个或多个传感器614可以进一步包括例如指示用户的地理位置的全球定位系统(GPS)传感器。一个或多个传感器614可以进一步包括例如被定位以检测一个或多个用户眼睛的取向的摄像机或图像传感器。在一些实施例中，被配置为检测用户的眼睛或眼睛运动的摄像机、图像传感器或其他传感器可以被安装在支撑结构626中并且经由总线616和串行总线端口(未示出)(例如通用串行总线(USB)或其他合适的通信端口)耦合到CPU 606。一个或多个传感器614可以进一步包括例如被定位在支撑结构604中并且被配置为指示用户眼睛的表面轮廓的干涉仪。一个或多个传感器614可以进一步包括例如麦克风阵列或多个麦克风、或用于检测对显示输出的口头用户命令或者言语和非言语可听反应的其他音频输入换能器。一个或多个传感器可以包括例如感测心率的电极、被配置为感测用户的皮肤或体温的温度传感器、或用于收集生物反馈数据的其他医疗传感器。
虽然图6图示了VR设备的示例，但应该认识到沉浸式AR设备可以包括除了显示输出组件之外的类似的电子组件。AR设备的处理器和存储器在被运行的软件中也有所不同；VR软件被配置为驱动VR输出设备，而AR软件被配置为驱动AR输出设备。VR输出设备可以包括显示屏幕，例如定位于VR头戴式耳机中的常规LCD或OLED屏幕，以便使除在显示屏幕上所显示的之外的任何事物的用户视图模糊(obscure)。相反，AR输出设备不使用户周围环境的用户视图模糊。
几种类型的AR输出设备是可商购的或在开发中。在一种类别的设备中，显示屏幕包括被设置为其中像素为透明的第一状态或其中像素为不透明的第二状态的像素的二维阵列。显示屏幕由用户穿戴并且被定位使得设置为不透明状态的像素组显示虚拟图像，而相邻像素传输外部场景。从用户的视点来看，这导致虚拟图像被覆盖(overlain)在场景中。在另一类别的设备中，将计算机生成的图像投射到半透明屏幕或透镜上，该半透明屏幕或透镜以与上述VR头戴式耳机类似的方式被穿戴。屏幕或透镜由单向透射材料制成，该单向透射材料从一侧穿过光并且在一个或多个层中从其它方向反射。从来自放置在头戴式耳机的用户内侧附近的一个或多个发射器的DLP等投射用于形成增强现实图像的光。在第三类别的AR设备中，安装在头戴式耳机上的一个或多个视频摄像机捕获外部场景，几乎就像用户看到不被头戴式耳机中完全不透明的屏幕阻挡的视图，并且将来自摄像机的视频与计算机生成的内容实时地结合以创建增强显示。在第四种类型的设备中，安装到用户头部并指向用户眼睛的激光投影仪或投影仪将图像直接投射在用户的眼睛上，使得视网膜成为显示增强内容的唯一屏幕。用于沉浸式和非沉浸式AR输出的设备的示例包括由MicrosoftTMCorporation开发的HololensTM设备、由谷歌公司开发的Google GlassTM、由佛罗里达的Magic Leap公司开发的Digital LightfieldTM、由加利福尼亚州的波托拉谷(Portola Valley)的Meta公司开发的Space GlassesTM、以及由加利福尼亚州的帕洛阿尔托(Palo Alto)的castAR开发的castARTM眼镜。
对于沉浸式VR/AR或类似的输出形态，电影等的故事内容可以被增强而不会消除参与者或用户(其在视觉上、听觉上和认知上被沉浸)可以或多或少被动地享受的脚本化娱乐的本质。例如，允许用户移动视点以随着场景展开来观看在主视图中被遮挡的项目可以使这种用户吸收戏剧性细节，所述戏剧性细节加强对情节的理解、增加情绪冲击力、预示即将发生的事件、或以其他方式加强脚本化故事情节的享受。前述的示例是通过关于在交互式VR叙述(或无论叙述采取什么形式)中的反馈循环的用户选择的焦点深度、以及至少两个感测形态加上一个认知项目来增强故事讲述。这些形态可以补充而不是替代常规电影观看技术，使得一些顾客可以观看相同特征的常规屏幕上版本，而期望更多沉浸式体验的其它顾客可以在与常规顾客相同的影院穿戴沉浸式头戴式装置并同时享受对补充的沉浸式特征的访问。
来自一个或多个传感器的传感器数据可以由CPU本地处理以控制显示输出、和/或被传输到服务器以用于由服务器进行实时处理或者用于非实时处理。如本文所使用的，“实时”是指响应于控制显示输出的用户输入来进行处理而不存在任何任意延迟；也就是说，只要技术上可行，就会作出反应。“非实时”是指不用于提供用于控制显示的立即控制输入的批量处理或传感器数据的其他使用，但是其可以在一定的任意延迟量之后控制显示。
显示和通信单元602的组件可以进一步包括例如音频输出换能器620，例如显示和通信单元602中的扬声器或压电换能器、或者用于头戴式受话器的音频输出端口、或者安装在头戴式装置624等中的其他音频输出换能器。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象音频”、或伴随立体沉浸式VR视频显示内容的其他音轨输出。显示和通信单元602的组件可以进一步包括例如经由存储器总线耦合到CPU 606的存储器设备608。存储器608可以存储例如程序指令，当程序指令由处理器执行时使得装置600执行如本文所述的操作。存储器608还可以存储例如在库中的音频视频数据或在流式传输操作期间被缓冲的数据。关于VR环境的生成和使用的进一步细节可以如在2014年12月5日提交的美国临时专利申请序列号62/088,496中描述的，其通过引用整体并入本文中。
图7示出了用于协调沉浸式和非沉浸式内容的显示环境700的几何方面，该显示环境700包括真实或虚拟显示屏幕704以及虚拟包封(envelope)或壳体(shell)702，该虚拟包封或壳体702用作虚拟投射表面，用于以与投射表面平滑得融合的方式渲染场景的背景。尽管示出为半球形穹顶，但应该认识到壳体702可以以各种形状被提供。无锐边的封闭曲线可能适合大多数壳体的几何结构。为了说明清楚，图7示出了壳体702的底边，但是应该理解的是壳体表面之间的过渡通常应是弯曲的以避免渲染伪像。壳体702包含场景动作发生在其中的在本文中可被称为“观看空间体积”或类似术语的体积。然而，应该理解的是壳体不需要完全围绕观看者。例如，壳体702可以延伸超过平坦显示屏幕的侧或者延伸到平坦显示屏幕的侧而不存在任何曲率，可以朝向观众弯曲但不全是围绕观众弯曲，或者可以在选定区域中是无纹理并不可见的。
在使用100％渲染输出的实施方式中，使用壳体702是可选的，因为渲染可以基于具有无限范围的模型。然而，对于AR应用，使用纹理化壳体可以提供更快的渲染时间和方便(通过简化计算)渲染围绕2D屏幕704的过渡区域的优点。可以使用简单的“环境”阴影(shading)将背景图像渲染在壳体上，除了从渲染视点计算表面的可见部分之外，这不需要用于确定表面外观的任何光线追踪或光线追踪近似。相反，基于对应于渲染像素的2D纹理像素的聚集，每个像素以指定的颜色和亮度被渲染“烘烤”成2D纹理以提供给几何壳体。烘烤的纹理的亮度水平或白平衡可以在计算高效的批处理或实时处理中进行调整以匹配特定剧院的屏幕特性。效果可以犹如显示屏幕的范围被延伸到壳体702的整个纹理化部分上。壳体702的选定部分可以由于任何期望的原因而保持无纹理并且未渲染，例如用于戏剧性聚焦、管理生产成本、或用于设施安全。应该理解的是，如果需要，影院可以包括一个以上的屏幕704。
壳体702不一定与屏幕704存在的或观看者706、708所位于的影院或房间的内部一致。AR输出设备的特点是允许用户观看其实际环境同时利用被渲染以在实际环境内部出现的对象叠加视图。在AR对象被渲染的情况下，实际环境是模糊的。因此，如果期望创建将真实对象转换为AR视图中的渲染对象的幻觉，则需要利用渲染对象使真实对象完全模糊。例如，如果期望利用场景背景被渲染在其上的几何结构壳体702的一部分替换剧院的墙壁，则壳体需要使整个墙壁模糊。然而，如果壳体位于超出实际墙壁的AR空间中，则除非壳体是完全封闭的，否则渲染背景可能无法覆盖整个墙壁。在视图空间体积中渲染的对象可能部分地抵靠背景出现，并且部分地抵靠影院中的真实结构出现，从而减损了预期的幻觉。如果壳体被完全封闭并且被渲染可见，则用户的整个视场将是渲染视图，并且因此效果是VR的效果而不是AR的效果，在某种意义上在本公开中使用“AR”。因此，对于AR输出，可以生成壳体以适配观看室内部，以避免通过产生意想不到的效果(例如看起来穿过墙壁的对象)来减少沉浸式AR体验的真实感。这样，针对AR观看者壳体702应该作为客观特征而存在，意味着它基于观看屏幕和室的几何结构来放置，使得每个观看者根据在影院中的其各自的位置具有不同的壳体702的透视图。
对于VR输出，壳体可以延伸到任何期望的尺寸并且屏幕704可以是虚拟的，主要用作限定观看者与场景的预期叙述焦点之间的几何关系的一种焦点706或“基地(home)”。对于VR输出，根据用户或总监的偏好，可以客观或主观地放置壳体。当主观地放置时，每个VR观看者可以从相同的明显的开始位置观看壳体702，该开始位置可以可选地针对每个用户响应于用户输入而单独地被改变。壳体702的几何结构(并且无论它是主观地还是客观地被放置)可以基于每个场景的戏剧性目标随着场景而改变。这些因素通常是静态的达特定场景的持续时间。不同形状的壳体之间的转换以及对象的客观或主观的视点之间的转换是允许的并且可能是突然的或者是渐进的。可以使用算法来实现渐进转换，以生成桥接在期望端点之间的一系列中间形状或视点。
每个场景可以具有静态焦点706，该焦点在物理屏幕的情况下将随着场景保持固定。虽然屏幕704示出为高度弯曲，但应该认识到实际的物理屏幕通常将具有小得多的曲率或无曲率。当屏幕是平坦的或较少弯曲时，如果需要，壳体702可以被混合以匹配其边缘周围的物理屏幕的曲率或平坦度。应该预期屏幕704的形状因影院而异。为了能够使相同的内容与不同尺寸的屏幕和影院一起使用，可以针对每个影院选择自限定或半自限定(意味着从标准形状和尺寸的范围中选择)壳体，并且自限定或半自限定壳体不包括在运行时基于壳体的背景纹理文件和每个观看者的视场而被纹理化和渲染的屏幕704区域。例如，对于每个观看者，服务器可以基于当前观看者视场选择并发送背景纹理的一部分，加上超过当前视场的一些额外区域量以适应预期的头部移动(其可能非常轻微，或者根据主要对象在场景中移动的速度而改变)量。因此，如果背景逐帧改变，则每个沉浸式输出设备不需要针对每个帧提供整个背景纹理。如果背景或其一部分在多个帧上是静态的，则向每个沉浸式输出设备提供整个背景纹理或一组帧的静态部分而不是针对单独观看者选择当前观看的部分可能是更少资源密集的。
在AR协调的观看中，屏幕704实质上充当实际上在每个帧中改变的一种动态背景，但是这部分输出不需要被提供给AR输出设备，因为它对于观看者是直接可见的。周围背景部分可以是静态的或动态的，取决于场景。而且，无论是用于戏剧性效果、管理生产成本还是出于其他原因，不需要在每个场景中提供放置在壳体702上的补充背景。对于一些场景，补充背景可以被限于与屏幕704相邻的相对小部分、或者可以被完全省略。通常，如果仅针对演示的某些时间提供补充内容，则可以在每个这样的时间之前提供可视或可听提示，以警告观看者激活其沉浸式输出设备。
用于任何给定场景的客观几何结构和穿戴AR或VR工具的每个观看者之间的几何关系可以由来自固定焦点706(例如显示屏幕中心处的点)和每个观看者的向量710、712来限定，假设观看者正在注视焦点，所以沉浸式设备的视平面垂直于各个向量710、712中的每一个。因此，为了在示出开始时校准沉浸式输出设备，可以指示穿戴沉浸式工具的观众成员注视在屏幕上示出的焦点706、或依次注视几个不同的点，同时每个人的沉浸式头戴式装置记录注视点的位置和方向。另外，可以指示观众成员执行其他运动，同时通过每个人的沉浸式头戴式装置获取并记录位置和方向测量值。可选地，可以通过使用在每个人的沉浸式头戴式装置上的光传感器测量一个或多个屏幕区域的白点和亮度，类似地促进对亮度和白点的个体化调整。然后，所记录的测量数据可以用于计算针对穿戴沉浸式工具的每个观众成员的个体化视点位置、取向和照明参数调整。然后，系统服务器可以记录用于每个观看者的位置和基本取向，或者每个沉浸式输出设备可以记录其相对于影院的客观坐标系的自身的位置和取向，或者两者。
如已提及的，屏幕外渲染对象的位置可以使用客观坐标系(例如具有在焦点706或其他位置处的原点的坐标系)来指定并且由来自该原点的一组坐标轴限定。飞行中的恐龙714提供了客观定位的屏幕外对象的示例，对于所述客观定位的屏幕外对象，每个用户的视角是不同的。例如，如果恐龙714的客观坐标指示观看空间体积的中心附近的位置，则每个用户的沉浸式输出设备将输出位于影院中心的恐龙的渲染。朝向影院右侧定位的用户706将在其左侧看到恐龙714，而朝向影院左侧定位的另一个用户708将在其右侧看到恐龙714。另外，可以基于在校准序列期间由每个用户的装备限定的相应主观坐标系来相对于每个用户指定屏幕外对象。鸟716、鸟718提供了主观定位的屏幕外对象的示例，在相对于每个观看者的坐标中指定该鸟716、718的位置和取向。因此，两个用户将在相对于其自身的相同的位置和取向中看到他们相应的主观屏幕外对象(例如鸟716、鸟718)。应该理解的是，用户706将仅看到鸟716，而看不到相同主观对象的任何其他实例，并且同样地用户708将只看到其相应的对象718。一组对象坐标是主观的还是客观的可以是由一个位标志指示。例如，对于一个或多个坐标集，客观坐标可以由标志位的‘1’值指示并且主观坐标可以由标志位的‘0’值指示，反之亦然。
可以在公共“标准”内容源(例如数字电影主数据)和每个用户的个体化渲染过程之间应用对用于沉浸式数据的渲染参数的各种调整。图8A示出了用于进行这种调整的计算机实现的过程800的元素。过程800的所示元素中的任何一个或全部可以由每个用户的沉浸式输出装备、或者(除了输出渲染的沉浸式内容)由电影院服务器或网络单独地被执行。首先，在802处，数字电影主数据中的沉浸式数据从任何合适的数据源获得并被解密以获得针对每个帧或一组帧的帧渲染参数。这些参数可以包括例如壳体对象和出现在场景中的屏幕外对象、均与被指示为主观或客观的一组位置和取向坐标相关联的要被渲染的所有对象的位置和取向、用于渲染对象的相关对象纹理、照明参数、以及摄像机参数。然后，标准帧渲染参数可以根据需要针对每个帧或针对多个连续帧的组进行调整。
这些调整可以包括在804处将指示对象的客观坐标转换为由用于渲染视点的可适用渲染引擎使用的坐标系。通常，转换804将把对象的客观坐标转换成由用于针对特定沉浸式输出设备渲染沉浸式输出的可适用渲染引擎使用的坐标。可适用渲染引擎可以不同地被定位，例如在沉浸式设备的随机存取存储器中、在用于沉浸式输出设备的本地辅助设备中、在电影院服务器或服务器场中、或在云计算资源中。无论如何，坐标转换将基于由渲染引擎使用的坐标和建立观众的每个成员与剧院的客观坐标之间的几何关系的校准数据。本领域已知的任何合适的转换方法可以用于坐标转换。
该调整可以进一步包括在806处将用于指示对象的主观坐标转换为由用于渲染视点的可适用渲染引擎使用的坐标系。在不重要的情况下，不需要进行转换，因为公共主观值将适用于每个渲染引擎，并且对每个观众成员都是一样的。然而，在某些情况下，可能需要进行某些转换以将主观坐标置于适当的渲染条件下，例如转换为不同类型的坐标系以便于特定的渲染引擎或添加固定的偏移值来解决用户之间的物理差异。
该调整可以进一步包括在808处在交互式对象的情况下基于用户输入来调整渲染对象的位置或取向。选定对象的外观、位置或取向可能取决于用户输入。用户输入的影响可能局限于指定的对象和改变的范围，以防止破坏叙述演示的流程并且维持同时的观众成员同步。
该调整可以进一步包括在810处调整场景照明参数。在一个方面，场景灯的位置和取向可以被指定为客观或主观的，并且根据需要被转换如同关于协调的位置和方向的任何其他屏幕外对象。此外，还可以调整其他照明参数(例如强度或颜色)，使得渲染的场景元素的亮度和颜色与影院的显示屏幕上的输出的亮度和颜色匹配。
该调整可以进一步包括在812处调整对象纹理，例如，基于渲染视点和每个渲染对象之间的距离或等效度量来应用自动细节水平。自动细节水平为更远的对象提供较不详细的纹理图，以提高渲染性能。类似地，自动细节水平调整可以基于距离视点的距离针对屏幕外对象来选择网格密度，又针对渲染效率来选择网格密度。
该调整可以进一步包括在814处基于沉浸式输入调整除了位置和取向之外的摄像机参数，例如焦点、视野场和孔径。因此，沉浸式渲染引擎可以利用适当的摄像机调整允许用户在场景中“放大”或“缩小”。在具有公共显示屏幕的AR模式中，这种摄像机变焦可能导致显示屏幕704与渲染壳体702或屏幕外对象714、716、718之间的失配，并且这种摄像机变焦可能被限于渲染仅不包括显示屏幕的视图。一旦进行了调整，渲染引擎就可以在816处渲染场景，并且可以在框818处使用沉浸式输出设备来显示渲染的数据。
在具有坐着的顾客的影院环境中，每个观看者的位置可以是相对静止的，但是观看者头部的取向将在演出中改变。如上面提到的，电影院分发服务器可以跟踪位置和/或取向数据用于管理带宽消耗，或者如果电影院的信息系统可以支持针对每个帧向每个用户提供完全沉浸式环境信息，则电影院分发服务器可以忽略位置和取向信息。如果信息系统的带宽足够宽，并且各个输出设备的计算能力足够高以渲染每个帧中的所有沉浸式特征，则可以在相应的沉浸式输出设备处执行各个视图的所有计算。假设当前的计算能力和传输带宽的趋势持续，除非用于收集统计观看者度量(metrics)，否则由分发服务器跟踪的位置和取向可能在某些时候变得不必要。在此期间，计算能力可能需要被分配给服务器端，用于诸如管理带宽或实时地提供高速、高质量渲染等的任务。
在图8B示出的另一替代实施例850中，沉浸式和非沉浸式内容可以被下载或以其他方式被提供给多个专用存储器设备858A、858B，每个专用存储器设备858A、858B经由高带宽连接(诸如例如高速通用串行总线(USB)或串行高级技术附件(SATA)连接)被附接到沉浸式输出设备856A、856B中的相应的一个。存储器设备858A、858B中的每一个可以被并入到沉浸式输出设备856A、856B中，或者被安装在影院中并且经由每个椅子处的电缆端口以及渲染控制单元852A、852B中的对应的一个连接到沉浸式输出设备856A、858B。渲染单元852A、852B每一个均可以被实现为根据可用技术优化效率和舒适度，例如在沉浸式设备的随机存取存储器或专用图形硬件子系统中、在用于沉浸式输出设备(例如在电影院座位下面)的本地位置辅助硬件和软件组件中、在电影院服务器或服务器场中、或在云计算资源中。渲染控制单元852A、852B中的每一个可以基于来自沉浸式输出设备856A、856B中的对应的一个的传感器数据从存储器设备858A、858B中的相应的一个获得内容。可以通过来自电影院服务器872的信号(例如由协调模块878生成的无线信号)在不同观众成员和2D显示屏幕870之间控制和协调用于电影院系统850的演示步调。在这些实施例中，内容数据经由相应的高带宽总线连接被提供到每个沉浸式输出设备，而用于针对所有观众协调程序的控制信号可以通过较低带宽的有线或无线接口实时地被提供。内容数据864、866、862可以以受制于安全系统模块880的加密形式被存储，该安全系统模块880仅允许在影院呈现期间或在其他授权时间进行访问。可以针对AR输出设备854A渲染AR数据864，并且可以针对VR输出设备854B渲染VR数据866。来自用户输入设备856A、856B的传感器数据可以主要用于控制通过渲染单元852A、852B的渲染，并且所述传感器数据其次可以被提供给度量组件882以用于跟踪对沉浸式内容的聚集的观众反应。通信软件组件876可以用于管理渲染单元852A、852B和服务器872、沉浸式输出设备854A、854B以及其他系统组件之间的通信。同样，管理软件组件868可以管理服务器872处的整体系统操作。
虽然减轻了提供内容数据的带宽限制，但是通过总线提供内容可能只解决一半的资源问题。用于实时渲染电影质量、高分辨率图像的目前的图形处理器可能具有功耗和空间要求，所述要求使其不适合并入可穿戴移动计算装备。因此，在短期内，具有高带宽连接的电影院端实施方式(例如在电影院座位本地被实施渲染管理单元852A、852B)可以提供对高质量沉浸式内容的集中渲染需求的可行方案。随着图形渲染技术的改进，这些单元可能定期地被升级到具有更低功能要求的能力更强的处理器，并且当移动的、电池供电的处理器足够强大以处置处理负荷时，这些单元最终被淘汰。替代地或另外地，非常高带宽的通信技术和改进的图像压缩技术可能允许将渲染卸载到云实施的渲染单元。
在另一方面中，如图9所示，沉浸式内容可以用于补充非同时演示方法900中的非沉浸式内容。如框902所指示，可以针对投射或其他常规2D屏幕显示器播放2D(或立体图形3D)内容，而无需伴随沉浸式播放。随着沉浸式播放区段接近，在904处可以向拥有沉浸式输出装备的观众成员提供沉浸式区段即将发生的一些信号。例如，文本或图形可能被包含在屏幕显示器中，或者观众沉浸式输出设备自动地打开。在906处，2D播放可以可选地被暂停或设置为“沉浸式幕间休息”模式。在替代方案中，3D播放可以同时继续。在908处，如本文描述的，电影院系统可以以任何适当的方式启用并导致沉浸式输出。在910处，当沉浸式区段完成时，电影院系统可以禁用沉浸式播放并且仅在902处恢复到2D演示。
鉴于前述内容以及通过附加示例，图10至图12示出了用于在电影院或家庭影院中提供同时的沉浸式和非沉浸式播放的一种或多种方法的各方面，其可以由家庭或电影院服务器或本文所述的其他计算装置执行。参考图10，计算机实施的方法1000可以包括在1010处与多个沉浸式输出设备进行通信，多个沉浸式输出设备中的每一个被配置为基于数据信号提供增强现实(AR)输出或虚拟现实(VR)输出中的一个，其中多个沉浸式输出设备中的每一个呈现在位于诸如家庭影院或商业电影院等的房间中的2D显示屏幕的视界(eyesight)内。通信可以由电影数据分发服务器、家庭分发服务器、或专用沉浸式渲染单元的网络中的任何一个或多个来执行。该方法可以包括在1020处基于包括VR数据或AR数据中的至少一种的数字电影主数据来配置数据信号。该方法可以包括在1030处当在显示屏幕的视界中时，将数据信号发送到彼此同时地多个沉浸式输出设备。
方法1000可以以任何可操作顺序包括图11、图12和图13中示出的附加操作1100、1200或1300中的任何一个或多个。这些附加操作中的每一个不一定在该方法的每个实施例中被执行，并且操作1100、1200或1300中的任何一个的呈现不一定要求这些附加操作中的任何其他操作也被执行。
参考图11，方法1000可以进一步包括在1110处在显示屏幕上输出基于数字电影主数据的视频数据部分的图像，所述输出与发送同时地进行。如结合图9指出的，2D显示屏幕上的显示还可以与沉浸式输出非同时地执行。
在另一方面中，方法1000可以进一步包括在1120处在数据信号中包括AR数据，以便增强在显示屏幕上的视频数据输出。增强可以包括在1130处配置数据信号，以使得当由多个沉浸式输出设备接收到该数据信号时，显示屏幕上的图像被连续地延伸到超出显示屏幕的外部界限的区域，用于每个人在多个沉浸式输出设备中的一个上观看沉浸式输出。在另一方面中，增强可以包括在1140处在AR数据中包括代码(例如程序指令或参数)，用于至少部分地基于显示屏幕的几何结构和在多个沉浸式输出设备中的一个上观看AR输出的每个人的相对位置，管理由AR输出设备从AR数据产生的AR输出与示出在显示屏幕上的视频输出之间的转换。
参考图12，方法1000可以进一步包括在1210处配置数据信号，以使得当由多个沉浸式输出设备接收到该数据信号时，使得未出现在显示屏幕上的图像出现，好像位于在多个沉浸式输出设备中的一个上观看沉浸式输出的每个人的观看空间体积中或在所述观看空间体积周围。例如，如结合图7描述的，沉浸式数据可以使得屏幕外对象或背景壳体被渲染和输出。在另一方面中，方法1000可以进一步包括在1220处配置数据信号，使得未出现在显示屏幕上的图像出现在相对于在多个沉浸式输出设备中的一个上观看沉浸式输出的每个人被限定的坐标系中(即在如结合图7描述的主观坐标中)。另外或替代地，方法1000可以进一步包括在1230处配置数据信号，使得未出现在显示屏幕上的图像出现在相对于显示屏幕被限定的坐标系中(即在如结合图7描述的客观坐标中)。
在另一方面中，如结合图8A进一步描述的，方法1000可以进一步包括在1240处在数据信号中包括代码，使得在多个沉浸式输出设备中的一个上观看沉浸式输出的每个人能够与未出现在显示屏幕上的图像中的至少一个进行交互，引起沉浸式输出改变。替代地或另外地，该方法可以包括在1250处基于每个人与至少一个图像的交互来改变在显示屏幕上示出的视频输出。例如，可以针对特定场景准备要在2D屏幕上播放的假定视频序列，并且要在2D影院屏幕上示出的序列由电影院服务器基于一个或多个观众成员与沉浸式、屏幕外对象的交互来选择。因此，观众成员可以享受到不仅影响他们自身沉浸式体验而且影响非沉浸式共享的体验的感觉。
在另一方面中，方法1000可以进一步包括在1260处基于每个人与至少一个图像的交互将数字内容的许可权的电子记录(例如数字证书)提供到与每个人相关联的用户账户数据存储装置。因此，观众成员可以基于与屏幕外沉浸式对象的交互享受获得在其他应用中(例如在视频游戏或社交媒体应用中)使用数字内容的权利的感觉。例如，如果观看指环王的沉浸式电影院呈现，则拥有对指环王视频游戏许可的观众成员可以在观看沉浸式呈现时被提供“拾取”在视频游戏中有用的某些屏幕外沉浸式对象的机会。例如，如果观众成员通过“拾取它”等与屏幕外沉浸式武器进行交互，则交互可以被记录并发送到用于指环王游戏的游戏服务器，然后游戏服务器在成员的游戏帐户中释放武器的游戏中呈现。当用户返回首页并登录游戏服务器时，武器就在那里并且准备用于游戏播放中。在另一方面中，数据存储装置可以是在由观众成员(即“每个人”)穿戴的AR或VR输出设备中的计算机存储器或包括所述计算机存储器。在这些实施例中，不需要传输到远程游戏服务器。可以在VR或AR输出设备上运行的游戏中或者在授权连接到VR或AR输出设备并访问存储在那里的许可权证书的任何计算机中立即使用获得的许可。
参考图13，方法1000可以进一步包括在1310处包括用于增强在显示屏幕上输出的视频数据的VR数据。在相关方面中，方法1000可以包括在1320处在不同的非重叠时间处播放视频数据和VR数据，使得穿戴VR输出设备的多个人中的一些人在不同时间处在显示屏幕上和在VR输出设备上观看内容。另外地或者替代地，视频数据和VR数据被配置为同时播放。
在另一方面中，方法1000可以包括在1340处在数字电影主数据中包括触觉控制数据，其中触觉控制数据与AR数据或VR数据中的至少一个协调地激活触觉设备。进一步的细节可以如结合上面的图5B所描述的。
如本文描述的，图14是示出了用于在电影院或家庭影院中提供同时的沉浸式和非沉浸式播放的装置或系统1400的组件的概念框图。装置或系统1400可以包括用于执行如本文描述的功能或过程操作的附加或更详细的组件。例如，处理器1410和存储器1416可以包含如上文描述的沉浸式内容转换过程的例示。如所描绘的，装置或系统1400可以包括可以代表由处理器、软件、或其组合(例如固件)实施的功能的功能块。
如图14所示，装置或系统1400可以包括用于与多个沉浸式输出设备进行通信的电气组件1402，多个沉浸式输出设备中的每一个被配置为基于数据信号来提供AR输出或VR输出中的一个，其中多个沉浸式输出设备的每一个呈现在显示屏幕的视界内。组件1402可以是包括用于通信的装置或可以包括用于通信的装置。所述装置可以包括耦合到存储器1416、接收器1414和发送器1414的处理器1410，该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括更多详细操作的序列，例如建立与对应的复数多个沉浸式输出设备的多个并发数据会话、认证多个沉浸式输出设备、建立与2D显示设备的并发数据会话、认证2D显示设备、以及确认用于演示的内容包被授权用于由多个沉浸式输出设备和2D显示设备播放。所述装置还可以包括或者替代地包括以上结合图4和图8B描述的系统400、850的组件。
装置1400可以进一步包括电气组件1404，用于基于包括VR数据或AR数据中的至少一种的数字电影主数据来配置数据信号。组件1404可以是或可以包括用于基于包括VR数据或AR数据中的至少一种的数字电影主数据来配置数据信号的装置。所述装置可以包括耦合到存储器1416的处理器1410，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括更多详细操作的序列，例如结合图11至图13描述的涉及配置数据信号的操作中的任何一个或多个。
装置1400可以进一步包括用于将数据信号同时发送到多个沉浸式输出设备的电气组件1406。组件1406可以是或可以包括用于向多个沉浸式输出设备同时发送数据信号的装置。所述装置可以包括耦合到存储器1416、接收器1414和发送器1414的处理器1410，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括更多详细操作的序列，例如选择至少包括无线介质或有线介质的传输介质、选择用于传输介质的通信协议、以及根据通信协议传输数据信号。
在装置1400被配置为数据处理器的情况下，装置1400可以可选地包括具有至少一个处理器的处理器模块1410。在这种情况下，处理器1410可以经由总线1412或类似的通信耦合与模块1402至1406进行操作通信。处理器1410可以实现由电气组件1402至1406执行的过程或功能的启动和调度。
在相关方面中，装置1400可以包括可操作用于通过计算机网络与系统组件进行通信的网络接口模块(未示出)。在进一步的相关方面中，装置1400可以可选地包括用于存储信息的模块，诸如例如存储器设备1416。计算机可读介质或存储器模块1416可以经由总线1412等可操作地耦合到装置1400的其他组件。存储器模块1416可以适用于存储计算机可读指令和数据，该计算机可读指令和数据用于实现模块1402至1406及其子组件、或处理器1410、或方法1000以及本文公开的附加操作1100、1200或1300中的一个或多个的过程和行为。存储器模块1416可以保留用于执行与模块1402至1406相关联的功能的指令。虽然被示出为在存储器1416的外部，但是应该理解模块1402至1406可以存在于存储器1416内。
装置1400可以包括被配置为无线发送器或有线发送器的发送器1412，用于将通信信号发送到VR输出设备、AR输出设备、或另一系统组件(诸如例如图8B所示的渲染单元或图4和图8B所示的电影院服务器)。另外，装置1400可以包括接收器1414，用于接收来自VR输出设备、AR输出设备或另一个系统组件(诸如例如图8B中所示的渲染单元或图4和图8B所示的电影院服务器)的通信信号。接收器1414可以包括无线接收器或有线接收器。
鉴于上述内容并且通过关于准备用于沉浸式和非沉浸式同时演示的数字主数据的附加示例，图15至图17示出了用于配置数字电影主数据的一个或多个方法的方面，其可以由VR或AR内容的制作设备或本文描述的其他计算装置来执行。参考图15，方法1400可以包括在1410处通过至少一个计算机配置数字电影主数据，所述数字电影主数据包括用于提供包括与2D屏幕上显示的输出同时的电影呈现的AR输出或VR输出中的一种的增强现实(AR)数据或虚拟现实(VR)数据中的至少一种。方法1500可以进一步包括在1520处将数字电影主数据记录在非暂时性计算机可读介质中。方法1500的进一步细节可以与以上结合图1和图4至图9的描述一致。
方法1400可以以任何可操作顺序包括在图16和图17中示出的附加操作1600或1700中的任何一个或多个。这些附加操作中的每一个不一定在方法的每个实施例中被执行，并且操作1600或操作1700中的任何一个的存在不一定要求这些附加操作中的任何其他操作也被执行。
参考图16，方法1500可以进一步包括在1610处准备用于增强视频数据的AR数据，该视频数据被配置为在针对多个个人观看所布置的2D显示屏幕上投射或输出。用于在2D屏幕上输出的数据可以被配置用于立体3D输出或2D输出中的一个或多个。方法1500可以进一步包括在1620处准备用于将显示屏幕上的图像连续地延伸到超出显示屏幕的外部界限的区域的AR数据。以上结合图3和图7描述了连续延伸的示例。方法1500可以进一步包括在1630处准备用于使在显示屏幕上未出现的图像好像位于穿戴AR输出设备的多个个人中的任何一个的非屏幕显示体积内或在所述非屏幕显示体积周围一样而出现的AR数据。例如，如结合图3和图7描述的，数据可以被准备以用于屏幕外对象或几何结构壳体的显示。方法1500可以进一步包括在1640处准备AR数据，使得图像在相对于穿戴AR输出设备的多个个人中的每一个所限定的坐标系中(即在主观坐标系中)出现。方法1500可以进一步包括在1650处准备AR数据，使得图像在相对于显示屏幕所限定的坐标系中(即在客观坐标系中)出现。
参考图17，方法1500可以进一步包括在1710处在AR数据中包括代码，用于使得用户能够与至少一个图像进行交互，从而使得AR输出响应于用户输入而改变。方法1500可以进一步包括在1720处配置代码，使得用户与至少一个图像的交互导致在显示屏幕上示出的视频输出改变。方法1500可以进一步包括在1730处配置代码，使得用户与至少一个图像的交互导致将数字内容的许可权的电子记录提供给与用户相关联的用户账户数据存储装置。方法1500可以进一步包括在1730处将触觉控制数据包括在数字电影主数据中，其中触觉控制数据与AR数据或VR数据中的至少一种协调地激活触觉设备。在其他方面中，配置电影主数据可以进一步包括结合电影主数据在针对多个人的观众的同时沉浸式和非沉浸式演示中的使用来执行操作以实施或促进任何更多详细输出效果或本文描述的相关功能。
图18是示出用于准备如本文描述的用于沉浸式和非沉浸式同时演示的数字主数据的装置或系统1800的组件的概念框图。装置或系统1800可以包括如本文描述的附加的或更多详细组件。如所描绘的，装置或系统1800可以包括可以代表由处理器、软件、或其组合(例如固件)实施的功能的功能块。
如图18所示，装置或系统1800可以包括用于配置包括增强现实(AR)数据或虚拟现实(VR)数据中的至少一种的数字电影主数据的电气组件1802，所述增强现实(AR)数据或虚拟现实(VR)数据提供包括与用于在2D屏幕上显示的输出同时的电影呈现的AR输出或VR输出中的一个。组件1802可以是或可以包括用于配置VR输出数据的装置。所述装置可以包括耦合到存储器1816的处理器1810，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括更多详细操作的序列，例如布置沉浸式内容、布置非沉浸式内容、以及限定用于协调通过沉浸式输出设备的沉浸式内容输出与在2D屏幕上显示的非沉浸式内容输出同时的一组规则。
装置1800可以进一步包括用于将数字电影主数据记录在非暂时性计算机可读介质中的电气组件1804。组件1804可以是或可以包括用于将数字电影主数据记录在非暂时性计算机可读介质中的装置。所述装置可以包括耦合到存储器1816的处理器1810，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括更多详细操作的序列，例如选择主数据的输出格式、根据选择的输出格式对主数据进行格式化、对格式化的主数据进行加密、以及根据信息存储协议将加密且格式化的主数据编码在非暂时性计算机可读介质中。
在装置1800被配置为数据处理器的情况下，装置1800可以可选地包括具有至少一个处理器的处理器模块1810。在这种情况下，处理器1810可以经由总线1812或类似的通信耦合与模块1802至1804进行操作通信。处理器1810可以实现由电气组件1802至1804执行的过程或功能的启动和调度。
在相关方面中，装置1800可以包括可操作用于通过计算机网络与系统组件进行通信的网络接口模块1814。例如，组件1814可以促进将数字主数据分发给通信和/或计算机网络的其他设备。在替代实施例中，装置可以包括用于将内容和替代内容记录在非暂时性计算机可读介质中的设备端口。在进一步的相关方面中，装置1800可以可选地包括用于存储信息的模块，诸如例如存储器设备/模块1816。计算机可读介质或存储器模块1816可以经由总线1812等可操作地耦合到装置1800的其他组件。存储器模块1816可以适用于存储计算机可读指令和数据，该计算机可读指令和数据用于实现模块1802至1804及其子组件、或处理器1810、或本文公开的方法1500和附加操作1600或1700中的一个或多个、或用于结合电影主数据在针对多人的观众的同时的沉浸式和非沉浸式演示中的使用来实施或促进本文中以上描述的任何更多详细输出效果或相关功能的操作的过程和行为。存储器模块1816可以保留用于执行与模块1802至1804相关联的功能的指令。尽管示出为在存储器1816的外部，但是应该理解模块1802至1804可以存在于存储器1816内。
在随附权利要求书(appendix)中概述了掌控(mastering)AR和VR的进一步方面。
本领域技术人员将进一步认识到，结合本文公开的方面描述的各种说明性逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、框、模块、电路以及步骤已经通常根据其功能在以上被描述。此类功能被实施为硬件还是软件取决于特定应用和对整个系统施加的设计约束。本领域技术人员可以针对每个特定应用以各种方式实施所描述的功能，但是这种实施方式决策不应该被解释为导致偏离本公开的范围。
如在本申请中使用的，术语“组件”、“模块”、“系统”等旨在指计算机相关的实体(硬件、硬件和软件的组合、软件、或者执行中的软件)。例如，组件或模块可以是但不限于在处理器上运行的过程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例来说，运行在服务器上的应用和服务器二者都可以是组件或模块。一个或多个组件或模块可以驻留在执行的过程和/或线程内，并且组件或模块可以位于一台计算机上和/或分布在两台或更多台计算机之间。
将根据可以包括多个组件、模块等的系统来呈现各个方面。应该理解并认识到各种系统可以包括附加的组件、模块等、和/或可以不包括结合附图讨论的所有组件、模块等。还可以使用这些方法的组合。本文公开的各个方面可以在包括利用触摸屏幕显示技术、抬头用户界面、可穿戴界面、和/或鼠标和键盘类型界面的设备的电子设备上执行。此类设备的示例包括VR输出设备(例如VR头戴式耳机)、AR输出设备(例如AR头戴式耳机)、计算机(台式的和移动的)、智能电话、个人数字助理(PDA)、以及其他有线和无线的电子设备。
另外，结合本文公开的各方面描述的各种说明性逻辑块、模块和电路可以利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、或被设计为执行本文描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但是替代地，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器、或任何其他此类配置。
本文公开的操作方面可以以硬件、由处理器执行的软件模块、或两者的组合来直接体现。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、DVD、蓝光光盘、固态存储设备(SSD)或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可以从存储介质读取信息并且将信息写入到存储介质。可替代地，存储介质可以集成到处理器中。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。可替代地，处理器和存储介质可以作为分立组件驻留在用户终端中。
此外，一个或多个版本可以实施为方法、装置、或使用标准编程和/或工程技术以产生软件、固件、硬件的制造品、或用于控制计算机以实施公开的方面的其任何组合。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条等)、光盘(例如高密度磁盘(CD)、数字通用光盘(DVD)、蓝光TM、…)、智能卡、快闪存储器设备(例如卡、棒)、以及固态存储设备。当然，本领域技术人员将认识到可以对这种配置进行许多修改而不背离所公开的方面的范围。
所公开的方面的先前描述被提供以使得本领域的任何技术人员能够制造或使用本公开。对于本领域技术人员而言，对这些方面的各种修改将是显而易见的，并且在不脱离本公开的精神或范围的情况下，可以将本文限定的通用原理应用到其他实施例。因此，本公开不旨在限于本文所示的实施例，而是应被赋予与本文公开的原理和新颖特征一致的最宽范围。
鉴于在前描述的示例性系统，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化解释的目的，方法被示出并被描述为一系列框，但是应该理解和认识到，要求保护的主题不受框顺序的限制，因为一些框可能以不同顺序发生和/或与来自本文描绘和描述的其他框同时发生。而且，不是所有示出的框都可以要求实施本文描述的方法。此外，应该进一步认识到，本文公开的方法能够存储在制造品上以便于将这些方法运送并转移到计算机。
- 还没有人留言评论。精彩留言会获得点赞！