用于游戏环境的光场显示系统的制作方法

用于游戏环境的光场显示系统
1.相关申请的交叉引用
2.本技术涉及国际申请第pct/us2017/042275号、第pct/us2017/042276号、第pct/us2017/042418号、第pct/us2017/042452号、第pct/us2017/042462号、第pct/us2017/042466号、第pct/us2017/042467号、第pct/us2017/042468号、第pct/us2017/042469号、第pct/us2017/042470号和第pct/us2017/042679号，所有所述国际申请通过引用以其全文并入本文。


背景技术：

3.本公开涉及一种游戏环境，且更确切地说涉及在例如游戏环境内实施的光场显示器。
4.传统上，例如游戏环境具有吸引顾客的固定主题或景点。主题和/或景点旨在吸引顾客，并将他们与其它区分开。因此，主题和/或景点是吸引人们进入的特定和独特的有吸引力事物，并且花费大量时间和金钱来创造与这些主题和景点一致的错觉。然而，这些主题和/或景点并不吸引每个人，并且顾客通常对特定主题或景点有兴趣。出于此原因，传统环境限制于被其特定和独特的有吸引力事物所吸引的所有顾客的子集，而常常疏远对特定的主题或景点不感兴趣的其他潜在顾客。


技术实现要素：

5.公开一种用于在游戏环境内显示全息内容的光场(lf)显示系统。lf显示系统包含多个lf显示器，在一个实施例中，所述多个lf显示器被平铺以在游戏环境内形成lf显示器阵列，并且所述lf显示系统可以使用人工智能(ai)和机器学习(ml)模型定制观看者的体验，所述模型通过各种传感器(例如，相机、麦克风等)跟踪和记录每个观看者在游戏环境中的移动、他们的游戏进度(例如，赢、输、积分等)以及他们的行为(例如，肢体语言、面部表情、语调等)。因此，结果是为每个观看者定制的游戏环境，包含基于观看者在游戏环境内观察到的行为来吸引观看者的ai全息人物。例如，如果观看者在玩游戏时赢了，则全息人物可以通过鼓掌并发表欢呼的评论为他们加油。在其它实例中，如果观看者输了或情绪失控，则全息人物可能会提供同情和鼓励的安慰话语。
6.因此，在一个实施例中，系统可以生成全息人物作为观众或工作人员，当观看者在整个游戏环境中玩各种游戏时，这些全息人物鼓励观众。为了通过全息人物鼓励观看者，lf显示系统的跟踪系统获得对应于观看者与全息人物的交互的图像数据和/或语音数据。这些交互可以是公开交互，例如观看者对全息人物的口头问候，以及观看者如何对问候作出响应，例如观看者是否忽略全息人物。因此，系统标识与交互相关联的情绪或意图，并且使用ai和/或ml模型生成适当的响应。取决于交互和观看者，来自全息人物的响应可以是鼓励的言语、兴奋的言语、哀悼的言语、微笑、拍手动作、一般的闲聊等等。因此，lf显示系统跟踪不同游戏中的观看者，他们对赢、输和ai全息人物交互的情绪反应，并且可以随着时间的推移为个人开发用户配置文件以开发现有的并不断更新的社交信息的数据库，所述社交信息
不断演化ai模型以测试和优化游戏环境中ai人物和其它全息对象的情绪反应，以匹配顾客的情绪反应。
附图说明
7.图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
8.图2a是根据一个或多个实施例的光场显示模块的一部分的横截面。
9.图2b是根据一个或多个实施例的光场显示模块的一部分的横截面。
10.图3a是根据一个或多个实施例的光场显示模块的透视图。
11.图3b是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。
12.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
13.图4b是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
14.图4c是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
15.图4d是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
16.图4e是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。
17.图4f是根据一个或多个实施例的在房间的前壁上具有聚合表面的lf显示系统的侧视图的侧视图。
18.图5a是根据一个或多个实施例的光场显示系统的框图。
19.图5b说明根据一个或多个实施例的实例lf电影网络。
20.图6是根据一个或多个实施例的在向观看者呈现全息内容的游戏环境中的lf显示系统的图示。
21.图7是根据一个或多个实施例的在包含向观看者呈现全息游戏内容的多个游戏机的游戏环境中的lf显示系统的图示。
22.图8是说明用于显示lf游戏网络内的游戏环境的全息内容的方法的流程图。
23.附图仅出于说明的目的描绘了本发明的各个实施例。本领域技术人员将从下面的讨论中容易地认识到，在不脱离本文所描述的本发明原理的情况下，可以采用本文所示的结构和方法的替代实施例。
具体实施方式
24.概述
25.光场(lf)显示系统在例如游戏环境中实施，以向用户呈现全息内容，例如具有全息内容或全息人物的游戏桌和/或游戏机(例如，队友、对手、同一桌的其他玩家，他们要么是人工计算机生成的人物，要么是在不同物理位置玩的真人等)。lf显示系统包括lf显示器组合件，所述lf显示器组合件被配置成呈现包含一个或多个全息对象的全息内容，所述全
息对象在游戏环境的观看体中将对一个或多个观看者可见。全息对象还可以用其它感觉刺激(例如，触觉和/或音频)增强。例如，lf显示系统中的超声发射器可以发射超声压力波，所述超声压力波为全息对象中的一些或全部全息对象提供触觉表面。全息内容可以包含额外视觉内容(即，2d或3d视觉内容)。协调发射器以确保实现综合性体验是多发射器实施方案中的系统的一部分(即，在任何给定时间点提供正确的触觉感觉和感觉刺激的全息对象)。lf显示器组合件可以包含用于生成全息内容的一个或多个lf显示模块。
26.lf显示系统可以被构造成通过生成的全息对象在游戏环境的许多实施例中提供不同体验。例如，lf显示系统可以实施为全息游戏(或通过全息内容增强的游戏)的整个生态系统，所述全息游戏在用户玩游戏、和/或在游戏环境中移动时促进、辅助和增强用户的游戏体验。lf显示系统可以通过利用传感器融合、人工智能(ai)和机器学习(ml)跟踪并记录用户游戏表现、移动、手势(例如，肢体语言、面部表情、发声分析等)和/或利用或通过全息显示表面的其它行为来实现此目的。此外，由lf显示器生成的全息对象可以包含与用户对话以保持他们的参与并鼓励用户在输赢之后进行游戏的交互式人物。
27.lf显示器组合件可以形成单面或多面无缝表面环境。例如，lf显示器组合件可以形成包围游戏环境的外壳的多面无缝表面环境。lf显示系统的观看者可以进入可以被lf显示系统生成的全息内容部分或完全转换的外壳。全息内容可以增强或加强外壳中存在的物理对象(例如，椅子或长凳)。此外，观看者无需护目镜装置和/或头戴式耳机就可以自由地注视外壳周围以观看全息内容。此外，游戏环境外壳可以具有由lf显示器组合件的lf显示模块覆盖的表面。例如，在一些情况下，壁、天花板和地板中的一些或全部都被lf显示模块覆盖。
28.lf显示系统可以通过跟踪系统和/或感觉反馈组合件接收输入。基于输入，lf显示系统可以调整全息内容以及向相关组件提供反馈。此外，lf显示系统可以并入有用于标识每一观看者的观看者概况分析系统，以便向每一观看者提供个性化内容。观看者概况分析系统可以进一步记录关于观看者对游戏环境的访问的其它信息，所述其它信息可以在后续访问中用于个性化全息内容。
29.在一些实施例中，lf显示系统可以包含使系统能够同时发射至少一种类型的能量，并且同时吸收至少一种类型的能量的元件，以用于响应观看者并且创建交互式体验的目的。例如，lf显示系统可以发射用于观看的全息对象以及用于触觉感知的超声波两者，并且同时吸收用于跟踪观看者和其它场景分析的成像信息，同时还吸收超声波以检测观看者的触摸响应。作为实例，此系统可以投射全息人物，所述全息人物在由观看者虚拟地“触摸”时根据触摸刺激更改其“行为”。执行环境能量感测的显示系统组件可以通过同时发射和吸收能量的双向能量元件集成到显示表面中，或者所述显示系统组件可以是与显示表面分离的专用传感器，例如超声波扬声器以及例如相机的成像捕获装置。
30.lf显示系统还可以并入有用于至少在lf显示系统的观看体内跟踪观看者的移动的系统。观看者的所跟踪移动可以用于增强沉浸式游戏体验。例如，lf显示系统可以使用跟踪信息来促进观看者与全息内容的交互(例如，按下全息按钮)。lf显示系统可以使用所跟踪的信息来监测手指相对于全息对象的位置。例如，全息对象可以是观看者可以“按下”的按钮。lf显示系统可以投射超声能量以生成与按钮相对应的触觉表面，并且占据与按钮基本上相同的空间。lf显示系统可以使用跟踪信息来动态地移动触觉表面的位置，并随着按
钮被观看者“按下”而动态地移动所述按钮。lf显示系统可以使用跟踪信息来渲染全息对象，所述全息对象看着观看者和/或与其进行眼神接触，或者以其它方式进行交互。lf显示系统可以使用跟踪信息来渲染“触摸”观看者的全息对象，其中超声波扬声器创建触觉表面，通过所述触觉表面，全息对象可以通过触摸与观看者进行交互。
31.光场显示系统概述
32.图1是根据一个或多个实施例的呈现全息对象120的光场(lf)显示模块110的图100。lf显示模块110是光场(lf)显示系统的一部分。lf显示系统使用一个或多个lf显示模块来呈现包含至少一个全息对象的全息内容。lf显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中，lf显示系统还可以用其它感觉内容(例如，触摸、音频、气味、温度等)来增强全息内容。例如，如下文所论述，聚焦超声波的投射可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。lf显示系统包含一个或多个lf显示模块110，并且下文关于图2-5详细地论述。
33.lf显示模块110是将全息对象(例如，全息对象120)呈现给一个或多个观看者(例如，观看者140)的全息显示器。lf显示模块110包含能量装置层(例如，发射电子显示器或声学投射装置)和能量波导层(例如，光学透镜阵列)。另外，lf显示模块110可以包含能量中继层，以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处，能量装置层生成能量(例如，全息内容)，然后根据一个或多个四维(4d)光场函数使用能量波导层将所述能量引导到空间中的区域。lf显示模块110还可以同时投射和/或感测一种或多种类型的能量。例如，lf显示模块110可能够在观看体中投射全息图像以及超声触觉表面，同时从观看体检测成像数据。lf显示模块110的操作在下文关于图2到3详细地讨论。
34.lf显示模块110使用一个或多个4d光场函数(例如，从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3d)、二维(2d)或其某种组合。此外，全息对象可以是多色的(例如，全色)。全息对象可以投射在屏幕平面前面、屏幕平面后面，或者被屏幕平面分开。可以呈现全息对象120，使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
35.全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即，朝向观看者140)，使得全息对象可以呈现在显示区域150的平面前面。另外，全息对象体160可以在显示区域150的表面后面延伸(即，远离观看者140)，从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说，全息对象体160可以包含源自显示区域150的所有光线(例如，被投射)，并且可以会聚以创建全息对象。本文中，光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地，全息对象体160涵盖观看者可以从中感知全息对象的所有体。
36.观看体130是空间的体，从所述空间可完全看到通过lf显示系统呈现在全息对象体160内的全息对象(例如，全息对象120)。可以将全息对象呈现在全息对象体160内，并在观看体130内对其进行观看，使得所述全息对象与实际对象没有区别。全息对象是通过投射与物理上存在时从对象表面生成的相同光线而形成的。
37.在一些情况下，全息对象体160和对应观看体130可以相对较小，使得其被设计用于单个观看者。在其它实施例中，如下文关于例如图4和6详细地讨论，可以放大和/或平铺
lf显示模块以创建较大的全息对象体以及可以容纳大范围观看者(例如，1到数千)的对应观看体。可以构建本公开中所呈现的lf显示模块，使得lf显示器的整个表面含有全息成像光学装置，没有无效或死角空间，并且不需要边框。在这些实施例中，lf显示模块可以被平铺，使得成像区域在lf显示模块之间的接缝上是连续的，并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是，在一些配置中，尽管在本文中不详细地描述，但是显示表面的一些部分可以不包含全息成像光学装置。
38.观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如，观看者140可以移动到观看体130内的不同定位，并且从对应的视角看到全息对象120的不同视图。为了说明，参考图1，观看者140相对于全息对象120位于第一定位，使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。举例来说，观看者140可以移动，使得他/她看到海豚的左侧、海豚的右侧等，就非常像观看者140正在注视真实的海豚一样且改变他/她与真实的海豚的相对位置以看到海豚的不同方面。在一些实施例中，全息对象120对于观看体130内的所有观看者可见，所有观看者到全息对象120的视线不受阻碍(即，未被对象/人阻挡)。这些观看者可以不受约束，使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此，lf显示系统可以呈现全息对象，使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角，就好像全息对象是物理上存在的一样。
39.相比之下，常规显示器(例如，立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如，3-d眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地，常规的显示器可以要求观看者被约束到特定的观看定位(例如，在相对于显示器具有固定位置的椅子上)。例如，当观看由立体显示器示出的对象时，观看者总是聚焦在显示表面上，而不是聚焦在对象上，并且显示器将始终呈现对象的仅两个视图，所述视图将跟随试图在所述感知的对象周围移动的观看者，从而导致所述对象的感知失真。然而，利用光场显示器，通过lf显示系统呈现的全息对象的观看者不需要穿戴外部装置，也不必被限制在特定位置以看到全息对象。lf显示系统以观看者可见的方式呈现全息对象，与观看者可看见物理对象的方式几乎相同，而无需特殊的护目镜、眼镜或头戴式附件。进一步地，观看者可以从观看体内的任何位置观看全息内容。
40.值得注意的是，全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小，可以增加lf显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个lf显示模块平铺在一起。无缝显示表面的有效显示区域大于各个lf显示模块的显示区域。下文关于图4和6讨论与平铺lf显示模块相关的一些实施例。如图1所示，显示区域150是矩形的，从而使得全息对象体160是角锥形。在其它实施例中，显示区域可以具有某个其它形状(例如，六边形)，这也影响对应的观看体的形状。
41.另外，尽管上文论述聚焦于将全息对象120呈现在全息对象体160的位于lf显示模块110与观看者140之间的一部分内，但是lf显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如，lf显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外，lf显示系统可以生成在全息对象体160周围无缝地移动的内容，包含在显示区域150的平面后面和前面。
42.图2a说明根据一个或多个实施例的lf显示模块210的一部分的横截面200。lf显示模块210可以是lf显示模块110。在其它实施例中，lf显示模块210可以是显示区域形状与显示区域150不同的另一lf显示模块。在所说明的实施例中，lf显示模块210包含能量装置层220、能量中继层230和能量波导层240。lf显示模块210的一些实施例具有与此处所描述的部件不同的部件。例如，在一些实施例中，lf显示模块210不包含能量中继层230。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。
43.此处所描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处，将发射的能量从显示表面上的每个坐标引导朝向特定方向。来自显示表面的定向能量使许多能量射线汇聚，这由此可以创建全息对象。举例来说，对于可见光，lf显示器将投射可以会聚在全息对象体中的任何点处的非常多的光线，因此从定位得比被投射的对象更远的观看者的视角看，所述光线将似乎来自定位在此空间的区域中的现实世界对象的表面。以此方式，lf显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化，并且观看者将看到所述全息对象的不同视图。
44.如本文所描述的，能量装置层220包含一个或多个电子显示器(例如，发射显示器，如oled)和一个或多个其它能量投射和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如，来自lf显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素，每个像素具有独立控制的强度。可以在lf显示器中使用许多类型的商用显示器，如发射led和oled显示器。
45.能量装置层220还可以包含一个或多个声学投射装置和/或一个或多个声学接收装置。声学投射装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波阵列可以用于体积触觉(例如，在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如，沉浸式音频)。例如，假设全息对象250是海豚，则可以使用一个或多个声学投射装置来(1)生成与海豚的表面并置的触觉表面，使得观看者可以触摸全息对象250；并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如，麦克风或麦克风阵列)可以被配置成监测lf显示模块210的局部区域内的超声和/或可听压力波。
46.能量装置层220还可以包含一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感，并且在一些情况下，可能对其它波段中的光(例如，红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(cmos)阵列、电荷耦合装置(ccd)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。lf显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
47.能量中继层230在能量装置层220与能量波导层240之间中继能量(例如，电磁能量、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270，并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦合到一个或多个能量装置(例如，电子显示器或声学投射装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外，在一些实施例中，能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率，则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式，其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘
合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间，以容纳多个能量源的机械包膜，如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上，其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是，在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框，并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
48.相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中，相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
49.在一些实施例中，能量中继元件中的一个或多个能量中继元件表现出能量局部化，其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率，并且其中在能量波在表面265与表面270之间传播时，能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继，而分辨率没有任何显著的损失。
50.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示表面向外进入全息观看体285的特定传播路径中。作为实例，对于电磁能量，能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中，根据4d光场函数将光进行引导以在全息对象体255内形成全息对象250。
51.能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中，小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外，在一些实施例中，波导元件中的一些或全部波导元件可以包含一个或多个另外的光学部件。另外的光学部件可以是例如能量抑制结构，如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中，小透镜和/或另外的光学部件中的至少一个能够动态地调整其光功率。例如，小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学部件的表面轮廓的动态调整可以提供对从波导元件投射的光的另外的方向控制。
52.在所展示的实例中，lf显示器的全息对象体255具有由光线256和光线257形成的边界，但是可以由其它射线形成。全息对象体255是在能量波导层240前面(即，朝向观看者280)和在其后面(即，远离观看者280)两者延伸的连续的体。在所说明的实例中，用户可以感知的射线256和射线257以相对于显示表面277的法线的最大角度从lf显示模块210的相对边缘投射，但是射线可以是其它投射的射线。射线限定了显示器的视场，并因此限定了全息观看体285的边界。在一些情况下，射线限定了全息观看体，在所述全息观看体中可以在没有渐晕的情况下(例如，理想的观看体)观看整个显示器。随着显示器的视场增加，射线256和射线257的会聚点将更靠近显示器。因此，具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外，射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。
53.在一些实例中，可以将全息对象呈现给观看体285的仅一部分。换句话说，全息对
象体可以被划分成任何数量的观看子体(例如，观看子体290)。另外，可以将全息对象投射到全息对象体255的外部。例如，全息对象251呈现在全息对象体255的外部。因为全息对象251呈现在全息对象体255的外部，所以不能从观看体285中的每个位置对其进行观看。例如，全息对象251可以从观看子体290中的位置可见，但是从观看者280的位置不可见。
54.例如，转到图2b以展示从不同观看子体观看全息内容。图2b说明根据一个或多个实施例的lf显示模块的一部分的横截面200。图2b的横截面与图2a的横截面相同。然而，图2b说明从lf显示模块210投射的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而，如所示，从lf显示模块210的顶部投射的射线和从lf显示模块210的底部投射的射线重叠以在观看体285内形成各个观看子体(例如，观看子体290a、290b、290c和290d)。第一观看子体(例如，290a)中的观看者可以能够感知在全息对象体255中呈现的全息内容，其它观看子体(例如，290b、290c和290d)中的观看者则无法进行感知。
55.更简单地，如图2a所说明，全息对象体255是其中全息对象可以通过lf显示系统呈现的体，使得所述全息对象可以被观看体285中的观看者(例如，观看者280)感知。以此方式，观看体285是理想观看体的实例，而全息对象体255是理想对象体的实例。然而，在各种配置中，观看者可以在其它实例全息对象体中感知由lf显示系统200呈现的全息对象，使得在其它实例观看体中的观看者可以感知全息内容。更一般而言，当观看从lf显示模块投射的全息内容时，将应用“视线指南”。视线指南断言，由观看者的眼睛定位和正在被观看的全息对象形成的线必须与lf显示表面相交。
56.因为根据4d光场函数呈现了全息内容，因此当观看通过lf显示模块210呈现的全息内容时，观看者280的每只眼睛看到全息对象250的不同视角。此外，在观看者280在观看体285内移动时，他/她还将看到全息对象250的不同视角，如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到，4d光场函数在本领域中是众所周知的，并且在本文中将不进一步详细说明。
57.如本文中更详细描述，在一些实施例中，lf显示器可以投射多于一种类型的能量。例如，lf显示器可以投射两种类型的能量，例如，机械能量和电磁能量。在此配置中，能量中继层230包含两个单独的能量中继器，所述能量中继器在能量表面275处交织在一起，但是被分离使得能量被中继到两个不同的能量装置层220。此处，一个中继器可以被配置成传输电磁能量，而另一个中继器可以被配置成传输机械能量。在一些实施例中，机械能量可以从能量波导层240上的电磁波导元件之间的位置投射，从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中，能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
58.应注意，在替代实施例(未示出)中，lf显示模块210不包含能量中继层230。在这种情况下，能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中，相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所限定的最小可感知轮廓，使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
59.lf显示模块
60.图3a是根据一个或多个实施例的lf显示模块300a的透视图。lf显示模块300a可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块300a可以是某个其它
lf显示模块。在所说明的实施例中，lf显示模块300a包含能量装置层310和能量中继层320以及能量波导层330。lf显示模块300a被配置成从显示表面365呈现全息内容，如本文所描述的。为方便起见，显示表面365在lf显示模块300a的框架390上以虚线轮廓说明，但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。lf显示模块300a的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，lf显示模块300a不包含能量中继层320。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。
61.能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如，所有电子显示器)或者可以包含一种或多种不同类型(例如，包含电子显示器和至少一个声能装置)。
62.能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如，光)或者可以中继一种或多种不同类型(例如，光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面，能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所说明的实施例中，能量中继装置350中的每个能量中继装置是锥形的，使得第一表面具有比第二表面小的表面积，这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投射能量，因此这也可以使无缝能量表面无边界。这意味着可以通过将lf显示模块300a的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面，使得整个组合的表面是无缝的。在其它实施例中，第一表面和第二表面的表面积相同。
63.能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论，能量波导层330被配置成根据4d全光函数沿着特定的传播路径从无缝能量表面360引导能量，以形成全息对象。应注意，在所说明的实施例中，能量波导层330由框架390界定。在其它实施例中，不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将lf显示模块300a与另外的lf显示模块平铺。
64.应注意，在所说明的实施例中，无缝能量表面360和能量波导层330是平坦的。在未示出的替代实施例中，无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
65.lf显示模块300a可以配置有驻存在无缝能量表面的表面上的另外的能量源，并允许除了光场之外的能量场的投射。在一个实施例中，声能场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未示出)投射出来。此外，lf显示模块300a的静电扬声器定位在光场显示模块300a内，使得双能量表面同时投射声场和全息内容。举例来说，静电扬声器可以形成有透射一些波长的电磁能量且由导电元件驱动的一个或多个隔膜元件。静电扬声器可以安装在无缝能量表面360上，使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置，和/或定位在电磁波导元件(例如，框架390)之间的位置处。在各种配置中，扬声器可以投射可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
66.在一些配置中，能量装置340可以感测能量。例如，能量装置可以是麦克风、光传感器、声换能器等。因此，能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说，当能量装置和能量中继装置340被配置成同时发射和感测能量(例如，发射光场并感测声音)时，lf显示模块的无缝能量表面360形成双向能量表面。
67.更广泛地，lf显示模块340的能量装置340可以是能量源或能量传感器。lf显示模
块300a可以包含充当能量源和/或能量传感器的各种类型的能量装置，以促进向用户投射高质量全息内容。其它源和/或传感器可以包含热传感器或源，红外传感器或源、图像传感器或源、生成声能的机械能量换能器、反馈源等。多个其它传感器或源是可能的。此外，可以平铺lf显示模块，使得lf显示模块可以形成组合件，所述组合件从大聚合无缝能量表面投射和感测多种类型的能量。
68.在lf显示模块300a的各个实施例中，无缝能量表面360可以具有各个表面部分，其中每个表面部分被配置成投射和/或发射特定类型的能量。例如，当无缝能量表面是双能量表面时，无缝能量表面360包含投射电磁能量的一个或多个表面部分以及投射超声能量的一个或多个其它表面部分。投射超声能量的表面部分可以位于波导元件之间的无缝能量表面360上，和/或与设计成抑制波导元件之间的光透射的结构处于同一位置。在无缝能量表面是双向能量表面的实例中，能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中，无缝能量表面360可以被配置成使得表面的在特定波导元件370下方的部分均为能量源、均为能量传感器，或为能量源和能量传感器的混合。
69.图3b是根据一个或多个实施例的包含交织的能量中继装置的lf显示模块300b的横截面视图。lf显示模块300b可以被配置为用于投射多于一种类型的能量的双能量投射装置，或者被配置为用于同时投射一种类型的能量且感测另一种类型的能量的双向能量装置。lf显示模块300b可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块302可以是某一其它lf显示模块。
70.lf显示模块300b包含与图3a中的lf显示模块300a的部件类似地配置的许多部件。举例来说，在所示出的实施例中，lf显示模块300b包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330，其包含至少与关于图3a所描述的功能性相同的功能性。此外，lf显示模块300b呈现和/或接收来自显示表面365的能量。值得注意的是，与图3a中的lf显示模块300a的部件相比，lf显示模块300b的组件可替代地连接和/或定向。lf显示模块300b的一些实施例具有与此处所描述的部件不同的部件。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。图3b示出可以被平铺以产生具有更大面积的双能量投射表面或双向能量表面的单个lf显示模块302的设计。
71.在一个实施例中，lf显示模块300b是双向lf显示系统的lf显示模块。双向lf显示系统可以同时从显示表面365投射能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投射位置和能量感测位置两者。因此，在图3b的实例中，能量中继层320以与图3a的能量中继层不同的方式进行配置。为方便起见，lf显示模块300b的能量中继层在本文中将被称为“交织的能量中继层”。
72.交织的能量中继层320包含两个支脚：第一能量中继装置350a和第二能量中继装置350b。支腿中的每一个示出为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成，并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中，两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所说明的实例中，交织的能量中继装置352被展示为深色阴影区域。
73.当在无缝能量表面360处交织时，能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所说明，能量装置340a连接到能量中继装置350a，并且能量装置340b连接到能量中继装置350b。在各个实施例中，每个能量装置可以是能量
源或能量传感器。
74.能量波导层330包含波导元件370，以将来自无缝能量表面360的能量波沿着投射的路径引导朝向一系列会聚点。在此实例中，在一系列会聚点处形成了全息对象380。值得注意的是，如所说明，在显示表面365的观看者侧发生能量在全息对象380处的会聚。然而，在其它实例中，能量的会聚可以在全息对象体中的任何地方，在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如，能量传感器)，如下文所描述的。
75.在lf显示模块300b的一个实例实施例中，发射显示器用作能量源且成像传感器用作能量传感器。以此方式，lf显示模块300b可以同时投射全息内容并且检测来自显示表面365前面的体的光。
76.在实施例中，lf显示模块300b被配置成同时在显示表面365前面投射光场并且从显示表面365的前方捕获光场。在此实施例中，能量中继装置350a将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340a。在一个实例中，能量装置340a是具有源像素阵列的发射显示器。能量中继装置340b将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340b。在一个实例中，能量装置340b是具有传感器像素阵列的成像传感器。lf显示模块302可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或位置的某种组合。在其它实施例中，双向能量表面可以投射和接收各种其它形式的能量。
77.在lf显示模块300b的另一个实例实施例中，lf显示模块被配置成投射两种不同类型的能量。例如，能量装置340a是配置成发射电磁能的发射显示器，并且能量装置340b是配置成发射机械能的超声换能器。因此，可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中，能量中继装置350a将能量装置340a连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的性质(例如，变化的折射率)。能量中继装置350b将能量装置340b连接到无缝能量表面360并中继机械能量。能量中继装置350b被配置成具有用于超声能量的高效传输的性质(例如，具有不同声学阻抗的材料的分布)。在一些实施例中，机械能量可以从能量波导层330上的波导元件370之间的位置投射。投射机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中，投射超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投射的全息对象(例如，全息对象380)重合。在一些实例中，阵列上的相位延迟和幅度变化可以帮助形成触觉形状。
78.在各个实施例中，双向lf显示模块302可以包含多个能量装置层，其中每一能量装置层包含特定类型的能量装置。在这些实例中，能量中继层被配置成在无缝能量表面360与能量装置层330之间中继适当类型的能量。
79.平铺的lf显示模块
80.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的lf显示系统400的一部分的透视图。lf显示系统400包含被平铺以形成阵列410的多个lf显示模块。更明确地说，阵列410中的小方块中的每个小方块表示平铺的lf显示模块412。阵列410可以覆盖例如房间的表面(例如，壁)的一些或全部。lf阵列可以覆盖其它表面，例如游戏桌面、广告牌、圆形建筑等。
81.阵列410可以投射一个或多个全息对象。举例来说，在所示出的实施例中，阵列410投射全息对象420和全息对象430。lf显示模块412的平铺允许更大的观看体，并且允许对象被投射到距阵列410更远的距离。例如，在所说明的实施例中，观看体是大约阵列410前面和后面的整个区域，而不是lf显示模块412前面(和后面)的局部体。
82.在一些实施例中，lf显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如，向观看者430呈现全息对象420的直接视图，而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动，向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如，在观看者430在全息对象420周围行走时，只要全息对象420保留在阵列410的全息对象体中，观看者430就看到全息对象420的不同侧面。因此，观看者430和观看者434可以同时在真实世界空间中看到全息对象420，就好像所述全息对象真实存在一样。另外，观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置，因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外，此处，全息对象422被展示在阵列后面，因为阵列的观看体在阵列的表面后面延伸。以此方式，可以将全息对象422呈现给观看者430和/或观看者434，就好像它比阵列410的表面更远离观看者一样。
83.在一些实施例中，lf显示系统400可以包含跟踪系统，所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中，所跟踪的定位是观看者的定位。在其它实施例中，所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同，后者跟踪眼睛正在看的地方(例如，使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
84.在各种配置中，lf显示系统400可以包含一个或多个跟踪系统。例如，在图4a的所说明实施例中，lf显示系统包含在阵列410外部的跟踪系统440。此处，跟踪系统可以是耦合到阵列410的相机系统。关于图5a更详细地描述外部跟踪系统。在其它示例实施例中，跟踪系统可以如本文所描述的并入到阵列410中。举例来说，包含在阵列410中的lf显示模块412的能量装置(例如，能量装置340)可以被配置成捕获阵列440前方的观看者的图像。在任何情况下，lf显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如，观看者430和/或观看者434)的跟踪信息。
85.跟踪信息描述了观看者的定位或观看者的一部分(例如，观看者的一只或两只眼睛，或观看者的肢体)的定位在空间(例如，相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含被配置成确定跟踪信息的各种系统。例如，跟踪系统可以包含一个或多个红外源(例如，结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如，红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中，lf显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。例如，lf显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。
86.lf显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多
个全息对象。例如，可以向观看者430呈现全息对象420，而不是全息对象422。类似地，可以向观看者434呈现全息对象422，而不是全息对象420。例如，lf显示系统400跟踪观看者430和观看者434中的每个观看者的定位。lf显示系统400基于观看者相对于全息对象要被呈现的地方的位置来确定对所述观看者应当可见的全息对象的视角。lf显示系统400选择性地投射来自与所确定的视角相对应的特定像素的光。因此，观看者434和观看者430可以同时具有可能完全不同的体验。换句话说，lf显示系统400可以向观看体的观看子体呈现全息内容。例如，如所说明，观看体由在阵列前方和后方的所有空间表示。在此实例中，因为lf显示系统400可以跟踪观看者430的定位，所以lf显示系统400可以将空间内容(例如，全息对象420)呈现给观看者430周围的观看子体，并且将野生动物园内容(例如，全息对象422)呈现给观看者434周围的观看子体。相比之下，常规系统将必须使用单独的耳机来提供类似的体验。
87.在一些实施例中，lf显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如，触觉、音频或气味)。例如，在图4a的所说明实施例中，lf显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中，感觉反馈系统442可以是耦合到阵列410的静电扬声器。关于图5a更详细地描述外部感觉反馈系统。在其它示例实施例中，如本文所描述的，可以将感觉反馈系统并入到阵列410中。例如，包含在阵列410中的lf显示模块412的能量装置(例如，图3b中的能量装置340a)可以被配置成将超声能量投射到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下，感觉反馈系统向观看通过阵列410呈现的全息内容(例如，全息对象420和/或全息对象422)的观看者(例如，观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
88.lf显示系统400可以包含感觉反馈系统，所述感觉反馈系统包含在阵列外部的一个或多个声学投射装置。可替代地或另外地，lf显示系统400可以包含一个或多个集成到阵列410中的声学投射装置，如本文所描述的。对于全息对象的一个或多个表面，如果观看者的一部分在所述一个或多个表面的阈值距离内，则声学投射装置可以投射生成体触觉感觉(例如，在全息对象420的表面处)的超声压力波。体触觉感觉允许用户触摸和感觉全息对象的表面。多个声学投射装置还可以投射可听压力波，所述可听压力波向观看者提供音频内容(例如，沉浸式音频)。因此，超声压力波和/或可听压力波可以起到补充全息对象的作用。
89.在各个实施例中，lf显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。举例来说，图4a中所示出的全息对象422是狮子，且lf显示系统400可以使全息对象422在视觉上(即，全息对象430似乎在咆哮)和听觉上(即，一个或多个声学投射装置投射压力波，观看者430将所述压力波感知为全息对象422发出的狮子的咆哮)均咆哮。
90.应注意，在所说明的配置中，可以以类似于图2中的lf显示系统200的观看体285的方式限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个lf显示模块，如下文相对于图4b到4f所描述。
91.图4b是根据一个或多个实施例的在多面无缝表面环境中的lf显示系统402的一部分的透视图。lf显示系统402与lf显示系统400基本上类似，除了将多个lf显示模块平铺以创建多面无缝表面环境之外。更具体地，将lf显示模块平铺以形成作为六面聚合无缝表面
环境的阵列。图4b中的每一正方形，所述多个lf显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中，多个lf显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中，多个lf显示模块被平铺以形成某个其它聚合无缝表面。例如，壁可以是弯曲的，使得形成圆柱形的聚合能量环境。此外，如下文关于图6所描述，在一些实施例中，可以平铺lf显示模块以在游戏环境(例如，壁等)中形成表面。
92.lf显示系统402可以投射一个或多个全息对象。例如，在所说明的实施例中，lf显示系统402将全息对象420投射到由六面聚合无缝表面环境包围的区域中。因此，lf显示系统的观看体也包含在六面聚合无缝表面环境内。应注意，在所说明的配置中，观看者432可以定位在全息对象420与lf显示模块414之间，所述lf显示模块正投射用于形成全息对象420的能量(例如，光和/或压力波)。因此，观看者434的定位可以防止观看者430感知由来自lf显示模块414的能量形成的全息对象420。然而，在所说明的配置中，存在不受(例如，受观看者434)阻挡并且可以投射能量以形成全息对象420的至少一个其它lf显示模块，例如lf显示模块416。以此方式，在空间中被观看者遮挡可能导致全息投影的一些部分消失，但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”，因为全息对象体在聚合表面后面延伸。因此，观看者430和/或观看者434可以将全息对象422感知为他们可以移动穿过的六面环境的“外部”。
93.如上文参考图4a所描述，在一些实施例中，lf显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的lf显示模块呈现全息内容。因此，多面配置可以提供更稳健的环境(例如，相对于图4a)，以提供全息对象，其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
94.值得注意的是，各种lf显示系统可以具有不同的配置。此外，每种配置可以具有表面的特定定向，所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说，可以将lf显示系统的lf显示模块平铺以形成各种聚合表面。例如，在图4b中，lf显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的lf显示模块。在一些其它实例中，聚合表面可以仅出现在表面的一部分(例如，壁的一半)上，而不是整个表面(例如，整个壁)上。本文描述了一些实例。
95.在一些配置中，lf显示系统的聚合表面可以包含聚合表面，所述聚合表面被配置成朝向局部观看体投射能量。将能量投射到局部观看体允许通过例如以下方式的更高质量的观看体验：增加特定观看体中的投射的能量的密度，增加观看者在所述观看体中的fov，并使观看体更接近显示表面。
96.例如，图4c展示了具有呈“翼状”配置的聚合表面的lf显示系统450a的俯视图。在此实例中，lf显示系统450a定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。lf显示系统450a包含平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即，第一侧表面)投射能量，以及(iii)第三部分466，所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即，第二侧表面)投射能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分
和第三部分沿水平轴朝向房间的中心成角度。
97.在此实例中，lf显示系统450a的观看体468a位于房间的中心，并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
98.为了说明，考虑例如仅具有中心表面的聚合表面。参考图2a，如上文所描述的，从显示表面的任一端投射的射线创建理想的全息体和理想的观看体。现在考虑，例如，中心表面是否包含两个朝向观看者成角度的侧表面。在这种情况下，射线256和射线257将从中心表面的法线以更大的角度投射。因此，观看体的视场将增加。类似地，全息观看体将更靠近显示表面。另外，由于两个第二部分和第三部分倾斜得更靠近观看体，所以从显示表面以固定距离投射的全息对象更靠近所述观看体。
99.为简化起见，仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面，增加了相对于平面视场的视场，相对于平面间隔，减小了显示表面与观看体之间的间隔，并相对于平面接近度，增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场，减小了间隔并增加了接近度。换句话说，侧表面的成角度的放置增加了观看者的沉浸式体验。
100.另外，如下文关于图6所描述，偏转光学件可用于针对lf显示参数(例如，尺寸和fov)优化观看体的大小和定位。
101.返回到图4d，在类似实例中，图4d展示了具有呈“倾斜”配置的聚合表面的lf显示系统450b的侧视图。在此实例中，lf显示系统450b定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。lf显示系统450b包含平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即，第一侧表面)投射能量，以及(iii)第三部分464，所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即，第二侧表面)投射能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。
102.在此实例中，lf显示系统450b的观看体468b位于房间的中心，并且被聚合表面460的三个部分部分地包围。与图4c所示的配置类似，两个侧面部分(例如，第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468b中的任何观看者的视角来看，包围表面增加了观看fov。另外，包围表面允许观看体468b更靠近显示器的表面，使得投射的对象显得更靠近。换句话说，侧表面的成角度放置增加了视场，减小了间隔，并增加了聚合表面的接近度，由此增加了观看者的沉浸式体验。此外，如下文将论述，偏转光学件可以用于优化观看体468b的大小和定位。
103.与如果第三部分466没有倾斜相比，聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468b。例如，与如果使用具有平坦的前壁的lf显示系统相比，从呈倾斜配置的lf显示系统呈现的人物的下肢(例如，腿)可能看起来更靠近并且更真实。
104.另外，lf显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。
105.举例来说，图4e说明具有在房间的前壁452(例如，地板)上的聚合表面460的lf显示系统450c的自上而下视图在此实例中，lf显示系统450d定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。
106.lf显示系统450c从聚合表面460投射各种射线。从聚合表面460的左侧投射的射线具有水平角度范围481，从聚合表面的右侧投射的射线具有水平角度范围482，并且从聚合表面460的中心投射的射线具有水平角度范围483。在这些点之间，所投射光线可以采用角度范围的中间值。以此方式在跨越显示表面的投射射线中具有梯度偏转角创建了观看体468c。此外，此配置避免了在将射线投射到侧壁456和458中时浪费显示器的分辨率。
107.图4f说明具有在房间的前壁452上的聚合表面460的lf显示系统450d的侧视图，所述前壁也可以是地板。在此实例中，lf显示系统450e包含前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474。在此实例中，或房间包含第一地板和第二地板。此处，每一地板包含观看子体(例如，观看子体470a和470b)。地板实现不重叠的观看子体。换句话说，每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说，这种定向产生多个地板、体育场座位或阳台，其中地板之间的竖直偏移允许每一地板“查看”其它地板的观看子体。包含不重叠的观看子体的lf显示系统可以提供比具有确实重叠的观看体的lf显示系统更高的观看体验。例如，在图4f所示的配置中，可以向观看子体470a和470b中的观众投射不同的全息内容。
108.lf显示系统的控制
109.图5a是根据一个或多个实施例的lf显示系统500的框图。lf显示系统500包括lf显示器组合件510和控制器520。lf显示器组合件510包含投射光场的一个或多个lf显示模块512。lf显示模块512可以包含源/传感器系统514，所述源/传感器系统包含投射和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储器522、网络接口524和lf处理引擎530。控制器520还可以包含跟踪模块526和观看者概况分析模块528。在一些实施例中，lf显示系统500还包含感测反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的lf显示系统是lf显示系统500的实施例。在其它实施例中，lf显示系统500包括比本文所描述的模块另外的或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。下文还关于图6详细地论述lf显示系统500在游戏环境内的应用。
110.lf显示器组合件510在全息对象体中提供全息内容，所述全息对象体对于定位在观看体内的观看者可以是可见的。lf显示器组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投射在lf显示器组合件510的聚合表面前面、lf显示器组合件510的聚合表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
111.lf显示器组合件510使用包含在lf显示器组合件510中的一个或多个lf显示模块(例如，lf显示模块110、lf显示系统200和lf显示模块300中的任一个)来提供全息内容。为了方便起见，一个或多个lf显示模块在本文中可以被描述为lf显示模块512。lf显示模块512可以被平铺以形成lf显示器组合件510。lf显示模块512可以被结构化为各种无缝表面
环境(例如，单面、多面、电影院的壁、弯曲的表面等)。换句话说，平铺的lf显示模块形成聚合表面。如先前所描述，lf显示模块512包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)。lf显示模块512还可以包含能量中继层(例如，能量中继层230)，当呈现全息内容时，所述能量中继层在能量装置层与能量波导层之间转移能量。
112.lf显示模块512还可以包含其它集成系统，所述其它集成系统被配置成用于如先前所描述的能量投射和/或能量感测。例如，光场显示模块512可以包含被配置成投射和/或感测能量的任何数量的能量装置(例如，能量装置340)。为了方便起见，本文可以将lf显示模块512的集成能量投射系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在lf显示模块512内，使得源/传感器系统514与lf显示模块512共享相同的无缝能量表面。换句话说，lf显示器组合件510的聚合表面包含lf显示模块512和源/传感器模块514两者的功能。换句话说，包含具有源/传感器系统514的lf显示模块512的lf组件510可以在同时投射光场时投射能量和/或感测能量。例如，lf显示器组合件510可以包含lf显示模块512和源/传感器系统514，所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。
113.在一些实施例中，lf显示系统500使用感觉反馈系统570用其它感觉内容(例如，协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常，感觉反馈系统570包含在lf显示器组合件510外部的任何数量的感觉反馈装置(例如，感觉反馈系统442)。一些实例感觉反馈装置可以包含协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下，感觉反馈系统570可以具有与光场显示器组合件510类似的功能性，且反之亦然。例如，感觉反馈系统570和光场显示器组合件510两者都可以被配置成产生声场。作为另一个实例，感觉反馈系统570可以被配置成在没有光场显示器510组件的情况下生成触觉表面。
114.为了说明，在光场显示系统500的实例实施例中，感觉反馈系统570可以包含声学投射装置。声学投影装置被配置成在执行从控制器520接收的显示指令时生成补充全息内容的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地，感觉反馈系统570可以包含香气投影装置。香气投影装置可以被配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香气装置可以连接到空气循环系统(例如，管道、风扇或通风口)中，以协调目标区域内的空气流动。此外，感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。
115.在一些实施例中，感觉反馈系统570被配置成从lf显示系统500的观看者接收输入。在这种情况下，感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包含例如声学接收装置(例如，麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
116.为了说明，在光场显示器组合件的实例实施例中，感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个观看者产生的音频(例如，他们的对话内容、喘息声、笑
声等)。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。类似地，感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。
117.在一些实施例中，lf显示系统500包含跟踪系统580。跟踪系统580包含配置成确定目标区域中的观看者的定位、移动和/或特性的任何数目的跟踪装置。通常，跟踪装置在lf显示器组合件510的外部。一些示例跟踪装置包含相机组件(“相机”)、深度传感器、结构化灯、lidar系统、扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
118.跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而，在一些情况下，当呈现全息内容时，目标区域被来自lf显示器组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时，能量源投射光。光可以是例如结构化光图案、光脉冲(例如，ir闪光灯)或其某种组合。跟踪系统可以投射以下中的光：可见波段(约380nm到750nm)、红外(ir)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁频谱的某个其它部分或其某种组合。源可以包含例如发光二极管(led)、微型led、激光二极管、tof深度传感器、可调激光器等。
119.当执行从控制器520接收的指令时，跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组件投影的某个其它参数或其某种组合。在一个实施例中，源在飞行时间操作中投影光脉冲。
120.跟踪系统580的相机捕获从目标区域反射的光(例如，结构化光图案)的图像。当执行从控制器520接收的跟踪指令时，相机捕获图像。如先前所描述，光可以由跟踪系统580的源投影。相机可以包含一个或多个相机。也就是说，相机可以是例如光电二极管的阵列(1d或2d)、ccd传感器、cmos传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中，跟踪系统580可以含有在lf显示器组合件510外部的光场相机。在其它实施例中，将相机包含为包含在lf显示器组合件510中的lf显示模块的一部分。例如，如先前所描述，如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层，则lf显示器组合件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中，从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
121.当执行从控制器520接收的跟踪指令时，跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。
122.控制器520控制lf显示器组合件510和lf显示系统500的任何其它部件。控制器520包括数据存储装置522、网络接口524、跟踪模块526、观看者概况分析模块528和光场处理引擎530。在其它实施例中，控制器520包括比本文所描述的模块更多或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如，跟踪模块526可以是lf显示器组合件510或跟踪系统580的一部分。
123.数据存储装置522是存储用于lf显示系统500的信息的存储器。所存储的信息可以
包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于光场显示器组合件510的校准数据、lf显示系统510的配置数据(包含lf模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3d模型的图形创建的内容、场景和环境、材质和纹理以及lf显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器，例如只读存储器(rom)、动态随机存取存储器(dram)、静态随机存取存储器(sram)，或其某一组合。
124.网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中，lf显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一实例中，lf显示系统500使用网络接口524将全息内容传输到远程数据存储装置。
125.跟踪模块526跟踪观看由lf显示系统500呈现的内容的观看者。为此，跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令，并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令，并将跟踪输入提供给跟踪模块526。
126.跟踪模块526可以确定一个或多个观看者在目标区域内的位置(例如，坐在或站在游戏站、走过地板等)。所确定的定位可以相对于例如某个参考点(例如，显示表面)。在其它实施例中，所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如，眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定位置。跟踪系统580的相机可以分布在lf显示系统500周围，并且可以捕获立体图像，从而允许跟踪模块526被动地跟踪观看者。在其它实施例中，跟踪模块526主动跟踪观看者。也就是说，跟踪系统580照亮目标区域的某个部分，对目标区域进行成像，并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定位置。跟踪模块526使用所确定的定位来生成跟踪信息。
127.跟踪模块526还可以从lf显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包含与由lf显示系统500向观看者提供的各种输入选项相对应的身体移动。例如，跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到lf处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储装置522、lf处理引擎530、观看者概况分析模块528、lf显示系统500的任何其它部件或其某种组合。
128.为了提供跟踪模块526的上下文，考虑lf显示系统500的实例实施例，所述lf显示系统在赢得游戏时对用户作出响应。举例来说，响应于观看者在空中挥动他们的拳头以展示他们的兴奋，跟踪系统580可以记录观看者的手的移动并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪观看者的手的运动，并将输入发送到lf处理引擎530。如下文所描述，观看者概况分析模块528确定图像中的信息指示观看者的手的运动与肯定响应相关联，这在此上下文中可以被解释为观看者获胜。因此，lf处理引擎530生成适当的全息内容以庆祝手、数字等。举例来说，lf处理引擎530可以在场景中投射五彩纸屑、生成ai全息人物的欢呼或祝贺响应等。
129.lf显示系统500包含配置成标识观看者并对观看者进行概况分析的观看者概况分析模块528。观看者概况分析模块528生成观看由lf显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者概况分析模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者简档。观看者概况分析模块528可以访问从跟踪系统580获得的信息(例如，所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各
个实例中，观看者概况分析模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。监测的观看者行为可以包含例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、姿势的其它变化，或观看者的移动等。
130.更一般地，观看者简档可以包含所接收和/或所确定的关于观看来自lf显示系统的全息内容的观看者的任何信息。例如，每个观看者简档可以记录所述观看者对由lf显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些实例信息。
131.在一些实施例中，观看者简档可以描述观看者相对于所显示的全息人物、演员、场景、游戏场景等的响应。举例来说，电影院中的观看者穿着显示大学徽标的运动衫。在这种情况下，观看者简档可以指示观看者正穿着运动衫，并且可能更喜欢与运动衫上的大学标志相关联的全息内容。更广泛地，可以在观看者简档中指示的观看者特性可以包含例如年龄、性别、种族、衣物、场地中的观看位置等。
132.在一些实施例中，观看者概况分析模块528可以从观看者接收特性和/或基于监测的行为推断特性。监测的行为可以包含观看者玩某些游戏的次数、观看者玩这些游戏的时间、观看者对胜利、失败、来自全息人物的鼓励或其组合的响应。在一些实施例中，观看者简档可以基于观看者对由lf显示系统500显示的全息内容的动作和/或响应而直接更新。
133.在一些实施例中，观看者简档可以指示观看者关于期望内容特性的偏好。例如，观看者简档可以指示观看者仅喜欢观看适合其家人中的每个人的年龄的全息内容。在另一个实例中，观看者简档可以指示全息对象体以显示全息内容(例如，在壁上)，并且指示全息对象体不显示全息内容(例如，在其头部上方)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉界面，或者更喜欢避开所述触觉界面。
134.在另一实例中，观看者简档指示特定观看者所玩游戏的历史以及它们与全息内容的交互。举例来说，观看者概况分析模块528确定观看者先前已经玩过特定游戏。因此，lf显示系统500可以显示与观看者先前一次玩游戏不同的全息内容。
135.观看者概况分析模块528还可以从一个或多个第三方系统访问与特定观看者(或多个观看者)相关联的简档，以建立观看者简档。例如，观看者可以使用链接到所述观看者的社交媒体账户的第三方供应商进行购买。当观看者进入游戏环境时，观看者概况分析模块528可以访问来自其社交媒体账户的信息以建立(或增强)观看者简档。
136.在一些实施例中，数据存储装置522包含存储由观看者概况分析模块528生成、更新和/或维护的观看者简档的观看者简档存储装置。可以由观看者概况分析模块528随时在数据存储装置中更新观看者简档。例如，在一个实施例中，当特定观看者观看由lf显示系统500提供的全息内容时，观看者简档存储装置在其观看者简档中接收并存储关于特定观看者的信息。在此实例中，观看者概况分析模块528包含面部识别算法，所述面部识别算法可以识别观看者并且在他们观看所呈现的全息内容时肯定地标识。为了说明，在观看者进入lf显示系统500的目标区域时，跟踪系统580获得观看者的图像。观看者概况分析模块528输入所捕获的图像，并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储装置中的观看者简档相关联，并且如此，所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者概况分析模块还可以利用卡标识扫描仪、语音标识符、射频标识(rfid)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。
137.因为观看者概括分析模块528可以肯定地标识观看者，所以观看者概括分析模块
528可以确定每个观看者对lf显示系统500的每次访问。观看者概况分析模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地，观看者概况分析模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或lf显示器组合件510的任何组合的输入。观看者简档系统528可以另外从控制器520的其它模块或部件接收关于观看者的其它信息，所述信息随后可以与观看者简档一起存储。控制器520的其它组件然后也可以访问所存储的观看者简档，以确定提供给所述观看者的后续内容。
138.lf处理引擎530生成呈光栅化格式(“光栅化数据”)的4d坐标，所述4d坐标在由lf显示器组合件510执行时使lf显示器组合件510呈现全息内容。lf处理引擎530可以从数据存储装置522访问光栅化数据。另外，lf处理引擎530可以从向量化数据集构建光栅化数据。下文描述向量化数据。lf处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述，当由lf显示系统500执行时，感觉指令可以生成由lf显示系统500支持的触觉表面、声场和其它形式的感觉能量。lf处理引擎530可以从数据存储装置522访问感觉指令，从向量化数据集构建感觉指令。总的来说，4d坐标和感觉数据表示可由lf显示系统执行以生成全息和感觉内容的显示指令。
139.描述通过lf显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522访问时可以将光栅化数据显示在lf显示系统500上，但是不能有效地传输、接收(例如，经由网络接口524)并随后在lf显示系统500上显示光栅化数据。例如，以表示由lf显示系统500进行的全息投射的短片的光栅化数据为例。在此实例中，lf显示系统500包含含有若干十亿像素的显示器，并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如，每秒数千兆字节的电影显示时间)，并且对于经由网络接口524在商业网络上的有效传递来说是不可管理的。对于包含全息内容的实时流式传输的应用，可以放大有效传递问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时，产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验，可以响应于感觉或跟踪输入实时修改由lf处理引擎530生成的光场内容。换句话说，在一些情况下，无法简单地从数据存储装置522读取lf内容。
140.因此，在一些配置中，可以用向量化数据格式(“向量化数据”)将表示由lf显示系统500显示的全息内容的数据传递到lf处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外，向量化数据提供高图像质量，同时具有实现数据的有效共享的数据集大小。例如，向量化数据可以是源自更密集数据集的稀疏数据集。因此，基于如何从密集光栅化数据采样稀疏向量化数据，向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此，向量化数据实现全息内容经由网络接口524的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
141.总而言之，lf处理引擎530可以生成源自从数据存储装置522访问的光栅化数据、从数据存储装置522访问的向量化数据，或经由网络接口524接收的向量化数据的全息内容。在各种配置中，向量化数据可以在数据传输之前进行编码并且在由lf控制器520接收之后进行解码。在一些实例中，对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。例如，通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编
码向量化数据。在一些实例中，向量化数据可能需要解码器、lf处理引擎530，或者两者来访问在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
142.向量化数据含有lf显示系统500以支持交互式体验的方式支持的每个感觉域的所有信息。例如，用于交互式全息体验的向量化数据包含可以为lf显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。向量化特征可以包含可以进行合成地编程、捕获、计算评估等的任何特征。lf处理引擎530可以被配置成将向量化数据中的向量化特征转换成光栅化数据。lf处理引擎530然后可以从lf显示器组合件510投影从向量化数据转换的全息内容。在各种配置中，向量化特征可以包含：一个或多个红/绿/蓝/α通道(rgba)+深度图像；具有或不具有不同分辨率的深度信息的多个视图图像，所述视图图像可以包含一个高分辨率中心图像以及较低分辨率的其它视图；例如反照率和反射率的材料特征；表面法线；其它光学效应；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标；环境条件；与用于纹理或温度、音频的机械感受器相关的体感能量向量；以及任何其它感觉域特征。许多其它向量化特征也是可能的。
143.lf显示系统500还可以产生交互式观看体验。也就是说，全息内容可以响应于输入刺激，所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息，或源自观看者概况分析模块528和/或跟踪模块526的其它信息。例如，在实施例中，lf处理系统500使用经由网络接口524接收到的实时性能管理的向量化数据产生交互式观看体验。在另一实例中，如果全息对象需要响应于观看者交互而立即在特定方向上移动，则lf处理引擎530可以更新场景的渲染，因此全息对象在所述所需方向上移动。这可能需要lf处理引擎530使用向量化数据集来基于3d图形场景实时渲染光场，所述3d图形场景具有适当目标布置和移动、碰撞检测、遮挡、颜色、阴影、照明等，从而正确地对观看者交互作出响应。lf处理引擎530将向量化数据转换成光栅化数据以由lf显示器组合件510呈现。
144.光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。lf显示器组合件510通过执行显示指令同时投射实时性能的全息和感觉内容。lf显示系统500通过跟踪模块526和观看者概况分析模块528监测与所呈现的实时性能的观看者交互(例如，声音响应、触摸等)。响应于观看者交互，lf处理引擎通过生成额外全息和/或感觉内容以显示给观看者来产生交互式体验。
145.为了说明，考虑包含lf处理引擎530的lf显示系统500的实例实施例，所述lf处理引擎生成表示在一个观看者赢得大奖时从游戏环境的天花板落下的气球的多个全息对象。观看者可以移动以触摸表示气球的全息对象。相应地，跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到lf处理引擎530。lf处理引擎530确定观看者的手在场景中的放置，调整图形的实时渲染以在全息对象中包含任何所需的改变(如定位、颜色或遮挡)。lf处理引擎530指示lf显示器组合件510(和/或感觉反馈系统570)使用体触觉投射系统(例如，使用超声波扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分，并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。lf处理引擎530使用跟踪信息来动态地指示lf显示器组合件510将触觉表面的位置与
经渲染的全息对象的位置一起移动，使得给予观看者触摸气球的视觉和触觉感知两者。更简单地，当观看者观看他的手触摸全息气球时，观看者同时感觉到指示其手触摸了全息气球的触觉反馈，并且气球响应于触摸而改变定位或运动。在一些实例中，交互式气球可以作为经由网络接口524从实时流媒体应用接收的全息内容的一部分来接收。
146.lf处理引擎530还可以创建全息内容以由lf显示系统500显示。重要的是，此处，创建用于显示的全息内容不同于访问或接收用于显示的全息内容。也就是说，当创建内容时，lf处理引擎530生成用于显示的全新内容，而不是访问先前生成和/或接收的内容。lf处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者概况分析模块528、跟踪模块528或其某一组合的信息以创建全息内容以供显示。在一些实例中，lf处理引擎530可以访问来自lf显示系统500的元件的信息(例如，跟踪信息和/或观看者简档)，基于所述信息创建全息内容，并且作为响应，使用lf显示系统500显示创建的全息内容。当由lf显示系统500显示时，创建的全息内容可以用其它感觉内容(例如，触摸、音频或气味)增强。此外，lf显示系统500可以存储创建的全息内容，使得其可以在将来显示。举例来说，可以基于观看者对其它全息内容的反应和/或响应而专门为特定观看者创建来自全息人物的响应。因此，如下文进一步论述，lf处理引擎530可以根据学习的偏好生成对观看者个性化的内容。
147.lf显示系统的动态内容生成
148.在一些实施例中，lf处理引擎530并入有人工智能(ai)模型，以创建全息内容以供lf显示系统500显示。ai模型可以包含监督或无监督的学习算法，包含但不限于回归模型、神经网络、分类器或任何其它ai算法。ai模型可以用于基于由lf显示系统500(例如，由跟踪系统580)记录的观看者信息来确定观看者偏好，所述观看者信息可以包含关于观看者的行为的信息。
149.ai模型可以从数据存储装置522访问信息以创建全息内容。例如，ai模型可以从数据存储装置522中的一个或多个观看者简档访问观看者信息，或者可以从lf显示系统500的各个部件接收观看者信息。ai模型可以基于观看者对先前观看的全息内容的肯定反应或响应来确定偏好。也就是说，ai模型可以根据学习到的观看者偏好来创建对观看者个性化的全息内容。ai模型还可以将学习到的每个观看者的偏好存储在数据存储装置522的观看者简档存储装置中。
150.可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的ai模型的一个实例是具有节点层的卷积神经网络模型，其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如，并且ai模型可以包含五个节点层：层a、b、c、d和e。从层a到层b的变换由函数w1给出，从层b到层c的变换由w2给出，从层c到层d的变换由w3给出，并且从层d到层e的变换由w4给出。在一些实例中，还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如，从层d到层e的变换w4可以基于用于完成从层a到b的变换w1的参数。
151.模型的输入可以是由跟踪系统580获取的编码到卷积层a上的图像，并且模型的输出是从输出层e解码的全息内容。替代地或另外，输出可以是图像中的观看者的所确定特性。在此实例中，ai模型标识表示标识层c中的观看者特性的图像中的潜在信息。ai模型将卷积层a的维度减小到标识层c的维度，以标识图像中的任何特征、动作、响应等。在一些实例中，ai模型然后增加标识层c的维度以生成全息内容。
152.将来自跟踪系统580的图像编码到卷积层a。卷积层a中的图像输入可以与标识层c中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说，ai模型的卷积层a表示编码图像，并且模型的标识层c表示微笑观看者。可以通过将变换w1和w2应用于卷积层a的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。例如，权重和参数可以是包含在表示图像中的微笑观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如，先前跟踪的观看者)。
153.在标识层c中标识图像中的微笑观看者。标识层c表示基于关于图像中的微笑观看者的潜在信息标识的微笑观看者。
154.图像中的所标识的微笑观看者可以用于生成全息内容。为了生成全息内容，ai模型在标识层c处开始且将变换w2和w3应用于标识层c中的给定所标识的微笑观看者的值。变换产生输出层e中的一组节点。用于变换的权重和参数可以指示所识别的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下，全息内容直接从输出层e的节点输出，而在其它情况下，内容生成系统将输出层e的节点解码到全息内容。例如，如果输出是一组标识的特性，则lf处理引擎可以使用特性来生成全息内容。
155.另外，ai模型可以包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等或不生成全息内容的层。例如，在给定实例中，层b是卷积层a与标识层c之间的中间层。层d是标识层c与输出层e之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示，但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。例如，隐藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如，大的权重值)。作为另一实例，隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然，神经网络中存在任何数目的连接。另外，每个中间层是功能的组合，例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层b可以用于将卷积层减少到标识层，并且任何数目的中间层d可以用于将标识层增加到输出层。
156.在一个实施例中，ai模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入并且使用所创建全息内容的改变作为输出来提高性能的质量。
157.强化学习是机器学习系统，其中机器学习“做什么
”‑
如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如，lf处理引擎530)要采取哪些动作(例如，生成规定的全息内容)，而是通过尝试所述动作发现哪些动作产生最高的奖励(例如，通过使更多人欢呼来提高全息内容的质量)。在一些情况下，动作不仅可以影响即时奖励，而且影响下一种情况，并因此影响所有后续奖励。这两个特征
‑‑
尝试错误搜寻和延迟奖励
‑‑
是强化学习的两个显著特征。
158.强化学习不是通过表征学习方法，而是通过表征学习问题来定义。基本上，强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说，在为表演者生成歌曲的实例中，强化学习系统捕获关于场地中观看者的信息(例如，年龄、性格等)。此代理感测环境的状态且采取影响状态的动作以实现一个或多个目标(例如，创作一首会让观看者为之欢呼的流行歌曲)。在其最基本形式中，强化学习的制定包含学习者的三个方面：感觉、动作和目标。继续歌曲实例，lf处理引擎530通过跟踪系统580的传感
器感测环境的状态，向环境中的观看者显示全息内容，并且实现作为观看者对所述歌曲的接收的度量的目标。
159.强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励，强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而，为了发现产生奖励的动作，学习代理会选择之前未选择的动作。代理“利用”它已经知道的信息以获得奖励，但它也“探索”信息以在未来做出更好的行动选择。学习代理尝试各种动作，并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上，每个动作通常都会尝试多次，以获得对其预期奖励的可靠估计。例如，如果lf处理引擎创建lf处理引擎知道在长时间段后会导致观看者大笑的全息内容，则lf处理引擎可以改变全息内容，直到观看者大笑的时间减少。
160.此外，强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标，可以感测其环境的各方面，并可以选择接收高奖励的动作(即，咆哮的人群)。此外，尽管代理面临的环境具有显著不确定性，但它通常会运行。当强化学习涉及计划时，系统将解决计划与实时动作选择之间的相互作用，以及如何获取和改善环境要素的问题。为了使强化学习取得进步，必须分离和研究重要的子问题，子问题在完整的交互式寻求目标的代理中起明确作用。
161.强化学习问题是机器学习问题的框架，在所述框架中，处理交互并执行动作以实现目标。学习者和决策者称为代理(例如，lf处理引擎530)。代理与其交互的事物(包括代理之外的所有事物)称为环境(例如，场地中的观看者等)。这两个持续地进行交互，代理选择动作(例如，创建全息内容)，并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励，即代理试图随时间最大化的特殊数值。在一种背景下，奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范定义一项任务，所述任务是强化学习问题的一个实例。
162.为了提供更多上下文，代理(例如，内容生成系统350)和环境在一系列离散时间步长中的每一个，即t＝0、1、2、3等处交互。在每一时间步长t，代理接收环境状态s
t
的一些表示(例如，来自跟踪系统580的测量)。状态s
t
在s内，其中s是可能状态的集合。基于状态s
t
和时间步长t，代理选择动作at(例如，使执行者进行拆分)。动作at在a(s
t
)内，其中a(s
t
)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果)，代理接收数字奖励r
t+1
。状态r
t+1
在r内，其中r是可能奖励的集合。一旦代理接收到奖励，代理就会选择新状态s
t+1
。
163.在每个时间步长处，代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为π
t
，其中π
t
(s,a)是如果s
t
＝s，则a
t
＝a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。
164.这种强化学习框架非常灵活，并且可以以许多不同的方式(例如，生成全息内容)应用于许多不同的问题。框架提出，无论感觉、记忆和控制设备的细节如何，学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号：一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。
165.当然，ai模型可以包含任何数量的机器学习算法。可以采用的一些其它ai模型是
线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何，lf处理引擎530通常从跟踪模块526和/或观看者概况分析模块528获取输入并且作为响应，机器学习模型创建全息内容。类似地，ai模型可以引导全息内容的渲染。
166.在实例中，lf处理引擎530可以基于先前存在或提供的广告内容来创建全息内容。换句话说，例如，lf处理引擎530可以通过网络接口524从网络系统请求广告，作为响应，网络系统提供全息内容，并且lf处理引擎530创建用于显示包含广告的全息内容。广告的一些实例可以包含产品、文本、视频等。可以基于所述观看体中的观看者将广告呈现给特定的观看体。类似地，全息内容可以用广告(例如，产品放置)来增强电影。最一般地，如先前所描述，lf处理引擎530可以基于场景中的观看者的特性和/或反应中的任何特性和/或反应来创建广告内容。
167.创建内容的前述实例不是限制性的。最广泛地，lf处理引擎530创建全息内容以用于显示给lf显示系统500的观看者。可以基于lf显示系统500中包含的信息中的任何信息来创建全息内容。
168.全息内容发布网络
169.图5b说明根据一个或多个实施例的实例lf游戏网络550。一个或多个lf显示系统可以包含于lf游戏网络550中。lf游戏网络550包含经由网络552彼此耦合的任何数目的lf显示系统(例如500a、500b和500c)、lf游戏生成系统554和联网系统556。在其它实施例中，相比本文所描述的那些实体，lf游戏网络550包括额外或更少的实体。类似地，可以与此处描述的方式不同的方式在不同实体之间分配功能。
170.在所说明的实施例中，lf游戏网络550包含lf显示系统500a、500b和500c，所述lf显示系统可以经由网络552接收全息内容并且将全息内容显示给游戏环境的顾客(即，观看者)。lf显示系统500a、500b和500c统称为lf显示系统500。
171.lf游戏生成系统554是生成用于在包含lf显示系统的游戏环境中显示的全息内容的系统。全息内容可以是游戏内容或可以是增强地板的全息内容。lf游戏生成系统554包含任何数目个传感器和/或处理器以记录信息并生成全息内容。举例来说，传感器可以包含用于记录图像的相机、用于记录音频的麦克风、用于记录与对象的交互的压力传感器等。lf游戏生成系统554组合所记录的信息并且将信息编码为全息和感觉内容。lf游戏生成系统554可以将编码的全息内容传输到lf显示系统500中的一个或多个以显示给观看者。如先前所论述，为实现有效传递速度，可在网络552上将lf显示系统500a、500b、500c等的数据作为向量化数据进行传递。
172.更广泛地，lf游戏生成系统554使用可以由游戏环境中的lf显示系统使用的任何所记录感觉数据生成全息内容以在游戏环境中显示。举例来说，感觉数据可以包含记录的音频、记录的图像、记录的与对象的交互、记录的图像或例如卡片的游戏元素的计算机图形模型、将在入口处的显示器上投射的记录的表演等。可以使用许多其它类型的感觉数据。为了说明，记录的视觉内容可以包含：3d图形场景、3d模型、对象放置、纹理、颜色、着色和照明；可以使用ai模型和类似转换的较大数据集转换成全息形式的2d电影数据；来自具有许多相机的相机装备的多视图相机数据，所述许多相机具有或不具有深度通道；全光相机数据；cg内容；或许多其它类型的内容。
173.在一些配置中，lf游戏生成系统554可以使用专用编码器来执行编码操作，所述编
码操作将针对记录的感觉数据减少为如上文所描述的向量化数据格式。也就是说，将数据编码为向量化数据可包含图像处理、音频处理或可产生更容易在网络552上传输的减小的数据集的任何其它计算。编码器可以支持由行业专业人员使用的格式。
174.每个lf显示系统(例如，500a、500b、500c)可经由网络接口524从网络552接收编码数据。在此实例中，每个lf显示系统包含解码器以对编码lf显示数据进行解码。更明确地说，lf处理引擎530通过将由解码器提供的解码算法应用于所接收的编码数据而生成用于lf显示器组合件510的光栅化数据。在一些实例中，lf处理引擎可另外使用来自如本文所描述的跟踪模块526、观看者概况分析模块528和感测反馈系统570的输入生成用于lf显示器组合件的光栅化数据。针对lf显示器组合件510生成的光栅化数据再现由lf游戏生成系统554记录的全息内容。重要的是，每个lf显示系统500a、500b和500c生成在几何形状、分辨率等方面适于lf显示器组合件的特定配置的光栅化数据。在一些配置中，编码和解码过程是可以提供给显示器消费者或由第三方授权的专用编码/解码系统对的一部分。在一些情况下，编码/解码系统对可实施为可向内容创建者提供共同编程接口的专有api。
175.在一些配置中，lf游戏网络550中的各种系统(例如，lf显示系统500、lf游戏生成系统554等)可以具有不同硬件配置。硬件配置可以包含物理系统的布置、能量源、能量传感器、触觉接口、感觉能力、分辨率、lf显示模块配置或lf游戏网络550中的系统的任何其它硬件描述。每个硬件配置可生成或使用呈不同数据格式的感测数据。因此，解码器系统可被配置成对将呈现在lf显示系统上的用于lf显示系统的编码数据进行解码。例如，具有第一硬件配置的lf显示系统(例如，lf显示系统500a)从具有第二硬件配置的lf电影生成系统(例如，lf游戏生成系统554)接收编码数据。解码系统访问描述lf显示系统500a的第一硬件配置的信息。解码系统使用所访问的硬件配置对编码数据进行解码，使得解码数据可由接收lf显示系统500a的lf处理引擎530处理。尽管记录在第二硬件配置中，但lf处理引擎530生成并且呈现用于第一硬件配置的光栅化内容。以类似方式，无论硬件配置如何，由lf游戏生成系统554记录的全息内容可以由任何lf显示系统(例如，lf显示系统500b、lf显示系统500c)呈现。
176.网络系统556是被配置成管理lf游戏网络550中的系统之间的全息内容的传输的任何系统。例如，网络系统556可以从lf显示系统接收对全息内容的请求，并且促进全息内容从lf游戏生成系统554传输到lf显示系统。网络系统556还可以存储用于传输到lf游戏网络550中的其它lf显示系统500和/或由lf游戏网络550中的其它lf显示系统500存储的全息内容、观看者简档、全息内容等。网络系统556还可包含可创建如先前所描述的全息内容的lf处理引擎530。
177.网络系统556可包含数字权限管理(drm)模块以管理全息内容的数字权限。例如，lf游戏生成系统554可以将全息内容传输到网络系统556，并且drm模块可以使用数字加密格式对全息内容进行加密。在其它实例中，lf游戏生成系统554将所记录的光场数据编码为可以由drm模块管理的全息内容格式。网络系统556可将数字加密的密钥提供到lf显示系统，使得每个lf显示系统500可解密并且随后将全息内容显示给观看者。最一般地，网络系统556和/或lf游戏生成系统554对全息内容进行编码，并且lf显示系统可以对全息内容进行解码。
178.网络系统556可充当先前所记录和/或所创建的全息内容的存储库。每条全息内容
可与交易费用相关联，所述交易费用在接收时使得网络系统556将全息内容传输到提供交易费用的lf显示系统500。举例来说，lf显示系统500可以经由网络552请求访问全息内容。所述请求包含全息内容的交易费用。作为响应，网络系统将全息内容传输到lf显示系统以显示给观看者。在其它实例中，网络系统556还可充当存储在网络系统中的全息内容的订阅服务。在另一实例中，lf记录系统554实时地记录演出的光场数据且生成表示所述演出的全息内容。lf显示系统500将对全息内容的请求传输到lf记录系统554。所述请求包含全息内容的交易费用。作为响应，lf记录系统554传输全息内容以用于在lf显示系统500上同时进行显示。网络系统556可充当交换交易费用和/或管理跨越网络552的全息内容数据流的介体。
179.网络552表示lf游戏网络550中的系统之间的通信路径。在一个实施例中，网络是因特网，但也可以是任何网络，包含但不限于局域网(lan)、城域网(man)、广域网(wan)、移动、有线或无线网络、云端计算网络、专用网络或虚拟专用网络，和其任何组合。另外，可使用常规加密技术加密所有或一些链路，例如安全套接层(ssl)、加密的http和/或虚拟专用网络(vpn)。在另一实施例中，代替或除了上文所描述的技术之外，实体可使用定制和/或专用数据通信技术。
180.用于游戏环境的光场显示系统
181.图6是根据一个或多个实施例的被平铺以在游戏环境600中形成多边无缝表面的lf显示系统500的一部分的透视图。lf显示系统600包含被平铺以形成lf显示模块610的阵列的多个lf显示模块610。举例来说，阵列可以覆盖房间的一些或全部表面(例如，一个或多个壁、地板和/或天花板)。在此实例中，观看者620(例如，顾客等)正在游戏环境600中的游戏站615玩游戏，并且阵列正投射两个全息人物-全息人物a 630和全息人物b 640。在一个实施例中，观看者620正在与全息人物a630玩游戏。全息人物a 630也可以是在观看者620玩游戏时为他们加油的全息ai观众。在另一实施例中，全息人物a 630可以是从远程位置与观看者620玩游戏的另一个人的全息表示。因此，lf显示系统500提供全息游戏和人物的环境或生态系统，以鼓励观看者并增强他们在游戏环境的游戏机构中的游戏体验。尽管图6中仅示出单个观看者620，但是应理解，lf显示系统500可以部署在具有许多观看者620的游戏环境中。此外，也可以基于每个观看者620的明确或推断偏好而使用全息内容为每一个别观看者定制或增强游戏环境的外观(例如，装饰、主题等)。
182.如上文所论述，lf显示系统500可以使用人工智能(ai)和机器学习(ml)模型定制观看者的体验，所述模型通过各种传感器(例如，相机612、麦克风614等)跟踪和记录每个观看者在游戏环境600中的移动、他们的游戏进度(例如，赢、输、积分等)以及他们的行为(例如，肢体语言、面部表情、语调、饮用的饮料数量等)。在另一实施例中，如上文所论述，虽然图像感测元件可以是与显示表面分离的专用传感器(例如，相机612)，但是lf显示模块610可以配备有双向能量中继器，所述双向能量中继器同时投射全息图像且将lf显示表面前方的成像区域感测为源/传感器模块514的一部分。在此实施例中，可以与投射全息内容同时地从lf显示器组合件510的聚合表面前方捕获成像数据。成像数据可以是光场视频数据，所述视频数据可以捕获游戏环境中的用户的3d图像且避免可能仅使用几个相机发生的遮挡。这些特征丰富的光场图像可以提供将由跟踪模块526或观看者概况分析模块528分析的更完整的数据集，从而与仅使用单个2d相机相比，允许更准确地评估用户的响应、心情或情
绪。无论通过一个或多个2d相机，还是通过光场相机收集用户数据，都可以由控制器520分析数据以基于在游戏环境600内观察到的观看者的行为而建立吸引观看者的定制ai人物(例如，全息人物a 630)。举例来说，如果观看者620正在游戏中获胜时，全息人物a 630可以用鼓掌和欢呼的评论为他们加油。相反，如果如经由跟踪模块526和各种传感器观察到，观看者620输了或情绪失控，则全息人物a 630可以提供同情和鼓励的安慰话语。因此，与观看者限于观看通过头戴式设备显示的虚拟场景的虚拟现实(vr)环境中不同，lf显示系统500能够经由具有更真实全息人物的更加身临其境的传感器系统跟踪和响应观看者做出的更微妙提示，例如他们的肢体语言、语调等。
183.在一个实施例中，lf处理引擎530生成全息人物a 630作为观众以鼓励观看者620。跟踪系统580获得对应于观看者620与全息人物a 630的一个或多个交互的图像数据。这些交互可以是公开交互，例如来自观看者620的对全息人物a 630的口头问候。然而，交互不需要是公开的交互，但也可以是观看者620如何响应例如来自全息人物a 630的问候。举例来说，观看者620响应于来自全息人物a 630的问候而忽略全息人物a 630或向全息人物a 630提供好奇的表情可以适合作为交互。另外，跟踪模块526还可以使用观看者的位置、观看者的移动、观看者的手势、观看者的表情、观看者的注视、观看者的年龄、观看者的性别、由观看者穿戴的一件衣服的标识，以及当生成观看者的全息人物a 630或其它全息内容时观看者的听觉反馈。跟踪模块526和观看者简档模块528都工作以标识与来自观看者620的交互相关联的情绪、意图和/或肢体语言，并且将此信息提供到控制器520以生成适当的响应。
184.因此，控制器520使用ai和/或ml模型生成全息人物a 630的响应以响应于交互执行。取决于交互和观看者，来自全息人物a 630的响应可以是鼓励的言语、兴奋的言语、哀悼的言语、微笑、拍手动作、一般的闲聊(例如，“那么，你来自哪里？”)等等。因此，lf显示系统500可以跟踪不同游戏中的观看者，他们对赢、输和ai全息人物交互的情绪反应，并且可以随着时间的推移为个人开发如上文相对于观看者概况分析模块528论述的用户配置文件以开发现有的并不断更新的社交信息的数据库，所述社交信息不断演化ai模型以测试和优化游戏环境内ai人物和其它全息对象的情绪反应。这样做可以增加游戏顾客的乐趣、提供个性化体验，或者使顾客在或其它游戏机构游戏和消费的时间段更长。
185.如上文所述，观看者简档模块528维护并建立随时间不断更新的每个观看者的简档。在一种情况下，控制器520可以基于不同的参与水平或阈值提供奖励(例如，免费餐、饮料、筹码、各种景点的门票等)。举例来说，在玩游戏达阈值小时数之后，控制器520可能会为用户提供餐食而让用户休息一下，并在之后提供多个免费筹码以刺激他们充值并继续玩下去。在另一实例中，观看者简档模块528可以监测观看者已饮用的饮料数量，并且将饮料数量与其在一个或多个游戏中的风险承受能力相关联。因此，响应于在特定数量的饮料之后标识对特定游戏具有更高风险承受能力的用户，控制器520可以向观看者提供多个饮料奖励。
186.此外，跟踪系统580可以兼作安全系统，以除了帮助跟踪作弊者之外还提供观看者的金属状态的分析，包含在作弊发生之前根据其简档中的信息标识个人特征。举例来说，如果lf显示模块512配备有如上文所描述的光场成像传感器514，则针对玩游戏的观看者获得的光场成像数据相对而言可能比仅仅来自少量有限相机角度的图像数据更彻底和有用。除了获得用户的面部表情、音调或语音等的数据之外，此光场成像数据例如可以用于重构用
户和用户的移动的三维模型。然后光场数据可以用于训练分类器模型，所述分类器模型标识或预测玩家作弊(例如，做出指示用户正与另一玩家通信的其它可疑或重复动作等)，或当考虑用户的移动、面部表情、音调、游戏表现等的至少子集时另外以可疑方式行事或表现的概率或可能性。然后，这种可能性可以用于提醒安全部门进一步调查玩家和/或玩家的背景。在其它实施例中，跟踪系统可以含有任意数量的传感器和传感器类型(例如，2d成像相机、深度传感器、麦克风、压力传感器等)，以便在用于给定数量的预期顾客的游戏环境内的区域内实现期望的覆盖范围。
187.在一个实施例中，标记和其它游戏对象可以在游戏站615用桌面全息显示器投射。可以投射全息人物b 640，使得他/她执行包含呈现为移动全息卡、移动标记等的所有功能。
188.在一个实施例中，全息人物a 630是在远离观看者620所处的游戏环境600的位置中与观看者620玩同一游戏的第二观看者的实时全息表示。在此实施例中，控制器520在第二观看者所处的位置处接收由一个或多个相机捕获的第二观看者的图像数据。因此，lf处理引擎530获得此图像数据，并且在观看者620和第二观看者同时从不同物理位置玩游戏时生成游戏环境600内的第二观看者的实时全息表示以呈现给观看者620。在此实例中，可以生成并提供观看者620以及可能游戏环境的实时全息表示，以在第二观看者的位置处同时呈现给第二观看者。因此，虽然观看者620和第二观看者在物理上可能彼此相距数百英里，但他们可以彼此玩相同游戏，就好像他们一起在同一个房间里一样。
189.如上文关于图2b和图4所描述，lf显示系统500可以部分地基于跟踪信息而呈现针对每个观看者定制的一个或多个全息对象。这允许系统选择性地向可以驻留在不同观看子体中的不同观看者提供不同全息内容。因此，lf显示系统500跟踪每个观看者在游戏环境600中的位置。lf显示系统500随后基于观看者相对于全息内容要被呈现的地方的位置来确定对特定观看者应当可见的全息对象或内容的视角。lf显示系统500然后选择性地从对应于此确定的视角的特定像素发射光。在一些实施例中，不同观看者可以驻留在全息观看体的不同观看子体290a-d中，如图2b中所示。通过选择性地向每个用户呈现包含不同装饰、全息人物服饰或服装等的不同内容主题，这允许相同游戏环境600中的第一观看者和第二观看者同时具有可能完全不同的经历。此外，lf处理引擎530可以被配置成基于由观看者概况分析模块528存储的信息而为每个观看者选择主题。在一个实例中，可以向第一观看者呈现与空间相关的全息对象、内容和装饰，而同时向第二观看者呈现与野生动物园或丛林相关的全息对象、内容和装饰。在其它实施例中，全息内容的定制由观看者前方的本地显示器投射，或者全息内容可以解决桌上一组观看者的平均年龄或确定的兴趣。
190.在其它实施例中，游戏环境600可以包含游戏站615(例如，投币机等)，所述游戏站用全息内容增强且因此可动态地配置以改变游戏的外观，以映射到观看者的理想化主题或结构(例如，根据社交媒体信息标识或推断出的观众最喜欢的电视节目成为主题)。在另一实施例中，响应于控制器520确定观看者对与第一游戏站类型相关联的游戏感到沮丧并且需要改变场景，将游戏从第一游戏站类型动态地重新配置为第二游戏站类型。在另一实施例中，游戏是游戏的全息版本。举例来说，游戏可以类似于全息弹球游戏，其中表面是数字和全息的，同时也为动态地可重新配置的。在此实例中，全息游戏能够利用实时引擎和物理学进行处理，以允许任何主题并使游戏体验像真正的弹球一样真实。在另一实施例中，全息内容可以用于模拟游戏的一部分。
191.另外，lf显示系统500可以部署在整个游戏环境600中以包含全息洗手间服务员、礼宾服务，以及酒店客房服务员或个人助理。获得并用于满足观看者的游戏体验的相同信息可以用于增加观看者在酒店的其它区域的停留，包含外出就餐、购物、参加表演、夜生活和观光。
192.图7是根据一个或多个实施例的包含向观看者730呈现全息游戏内容的多个游戏机705、710的游戏环境700的图示。图7示出第一游戏705和第二游戏710。第一游戏机705和第二游戏机710各自包含在正面上的一个或多个lf显示模块720以及在相邻顶表面上的一个或多个lf显示模块720。在其它实施例中，与游戏机705、710的功能一致的游戏机可以在前表面或顶表面上具有单个lf显示模块720或仅lf显示模块720。如上文所述，lf显示模块720包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)，并且游戏机705、710呈现游戏机705、710的游戏体740内的游戏内容。因此，游戏机705、710将一个或多个全息对象735呈现给一个或多个观看者730。游戏机705、710可以是视频游戏、电子游戏等等。
193.在一个实施例中，游戏机705、710包含一个或多个超声波扬声器，所述超声波扬声器被配置成生成与全息游戏内容的至少一部分一致的触觉表面。举例来说，全息游戏内容可以包含杠杆，用户拉动所述杠杆来玩游戏。
194.图8是说明用于显示lf游戏网络内的游戏环境的全息内容的方法的流程图。方法800可以包含额外或更少步骤，并且所述步骤可以不同次序进行。此外，可以在所述方法的执行期间将各种步骤或步骤组合重复任何次数。
195.首先，包含lf显示系统(例如，lf显示系统500)的游戏环境(例如，游戏站)经由网络(例如，网络552)将对全息游戏内容的请求传输810到网络系统(例如，网络系统556)系统。在一些实施例中，请求包含足以为玩全息游戏或显示全息游戏内容付款的费用。
196.lf生成系统(例如，lf生成系统554)生成或检索全息游戏的lf数据并且将对应全息游戏内容传输到网络系统(例如，网络系统556)。网络系统将全息游戏内容传输到lf显示系统(例如，lf显示系统500)。
197.lf显示系统经由网络从网络系统接收820全息表演内容。可以接收游戏内容，所述游戏内容以第一数据格式编码并且通过lf处理引擎解码成第二数据格式以显示在lf显示器组合件上。在一个实施例中，第一格式是向量化数据格式并且第二格式是光栅化数据格式。
198.lf显示系统确定830在游戏环境或游戏机中的lf显示系统和/或呈现空间的配置。例如，lf显示系统可以访问配置文件，所述配置文件包含描述lf显示器的硬件配置的多个参数，包含分辨率、每度投射的射线、视场、显示表面上的偏转角，或lf显示表面的维度。配置文件还可以含有关于lf显示器组合件的几何定向的信息，包含lf显示面板的数量、相对定向、宽度、高度和lf显示面板的布局。此外，配置文件可以含有表演场地的配置参数，包含全息对象体、观看体以及观众相对于显示面板的位置。
199.为了通过实例说明，lf显示系统确定830观看体以显示全息体育赛事内容。举例来说，lf显示系统500可以访问lf显示系统中描述呈现空间(例如，游戏环境600、第一游戏705、第二游戏710等)的布局、几何配置和/或硬件配置。为了说明，布局可以包含呈现空间中的观看位置或观看体的位置、间隔和大小。在各种其它实施例中，lf显示系统可以确定在
场地内的任何位置处的观看体的任何数目和配置。
200.lf显示系统基于游戏环境内的lf显示系统的硬件配置以及游戏环境的特定布局和配置生成840用于在lf显示系统上呈现的全息内容(和其它感觉内容)。确定要显示的全息游戏内容可以包含为呈现空间或观看体适当地渲染全息游戏内容。
201.lf显示系统在呈现空间的全息游戏体中呈现850全息游戏内容，使得在每个观看体中的观看位置处的观看者感知适当的全息游戏内容。
202.lf显示系统可以在观看体中的观看者在任何时间观看全息游戏内容时确定关于所述观看者的信息。例如，跟踪系统可以监测观看体中的观看者的面部响应，并且观看者概况分析系统可以访问关于观看体中的观看者的特性的信息。lf显示系统可以基于所确定的信息来创建(或修改)用于显示的全息游戏内容。举例来说，lf处理引擎可以基于观看者喜欢电子音乐节的信息创建灯光秀以供lf显示系统同时显示。
203.额外的配置信息
204.对本公开的实施例的前述描述出于说明的目的而呈现；这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解，根据以上公开，许多修改和变化是可能的。
205.此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为通过计算机程序或等效电路、微代码等来实施。此外，在不失一般性的情况下，将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。
206.可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中，用计算机程序产品来实施软件模块，所述计算机程序产品包括含有计算机程序代码的计算机可读介质，所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
207.本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，所述介质可以耦合到计算机系统总线。此外，在说明书中提及的任何计算系统可以包含单个处理器，或可以是采用多处理器设计以得到增加的计算能力的架构。
208.本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包括产生于计算过程的信息，其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。
209.最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择其来描绘或限制本发明的主题。因此，意图是本公开的范围不受此具体实施方式的限制，而是受基于其所附的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。