移动装置的光场显示器的制作方法

移动装置的光场显示器
1.相关申请案的交叉引用
2.本技术案涉及国际申请案第pct/us2017/042275号，pct/us2017/042276、pct/us2017/042418、pct/us2017/042452、pct/us2017/042462、pct/us2017/042466、pct/us2017/042467、pct/us2017/042468、pct/us2017/042469、pct/us2017/042414和pct/us2017/042679，其全部内容以全文引用的方式并入本文中。


背景技术：

3.本公开涉及例如智能电话和平板计算机等移动装置，且确切地说，涉及移动装置中的光场显示器。
4.移动装置通常依赖于二维(2d)视觉显示器-用于显示内容以及用于用户界面。除显示包含文本、图像和视频的二维内容之外，移动装置上的2d视觉显示器设计成提供交互式接口以用于显示由移动装置提供给用户的功能范围，且用于允许用户选择和配置所要功能。使用例如2d视觉显示器上的按钮、键盘或触摸界面等物理元件来提供移动装置中的交互性。然而，2d视觉显示器在大小上限于显示器在移动装置表面上占据的覆盖面积。因此，显示内容也限于2d视觉显示器的大小，其限制交互性以及可提供到移动装置用户的观看体验。确切地说，2d视觉显示器向用户提供沉浸式操作体验的机会有限。
5.所描述的实施例涉及含有移动装置中的光场显示系统的技术，其在使用所述装置时向移动装置用户提供沉浸式操作体验。


技术实现要素：

6.移动装置中的光场(lf)显示系统生成全息内容以供移动装置的用户观看。所生成的全息内容可为向移动装置的用户显示的全息用户界面。光场显示系统可从用户接收命令。lf显示系统基于接收到的用户命令确定计算命令，和适当地执行所确定的计算命令。在一些实施例中，全息内容在所生成的全息内容上强化触觉表面。触觉表面可向用户提供触摸的感觉。
7.在一些实施例中，移动装置包括lf显示系统，其包括配置成生成全息内容的控制器、lf显示组合件和命令接口。lf显示组合件包括一个或多个lf显示模块，所述lf显示模块配置成将全息内容以全息对象体呈现给位于一个或多个lf显示模块的观看体中的移动装置的一个或多个用户。
8.在一些实施例中，lf显示系统包含跟踪系统和/或观看者简档模块。跟踪系统和观看者简档模块可监视和存储移动装置的用户的特性、描述用户的用户简档和/或用户对在移动装置的操作期间呈现的全息内容的响应。可基于所监视或所存储的信息中的任一个创建全息内容以供显示。
9.在一些实施例中，移动装置的用户可与全息内容交互，且交互可充当全息内容创建系统的输入。在一些实施例中，移动装置的lf显示系统可生成除全息内容之外的感觉刺激。举例来说，在一些实施例中，lf显示系统中的一些或全部包含一个或多个超声扬声器。
多个超声扬声器可配置成生成与全息内容的至少一部分一致的触觉表面。跟踪系统配置成跟踪用户与全息对象的交互(例如，经由lf显示模块的成像传感器和/或一些其它相机捕获的图像)。且lf显示系统配置成基于交互提供全息内容。
附图说明
10.图1为根据一个或多个实施例的呈现全息对象的光场显示模块的图。
11.图2a为根据一个或多个实施例的光场显示模块的一部分的横截面。
12.图2b为根据一个或多个实施例的光场显示模块的一部分的横截面。
13.图3a为根据一个或多个实施例的光场显示模块的透视图。
14.图3b为根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面图。
15.图4a为根据一个或多个实施例的以二维形式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
16.图4b为根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
17.图4c为根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
18.图4d为根据一个或多个实施例的具有呈倾斜配置的聚合表面的光场显示系统的侧视图。
19.图4e为根据一个或多个实施例的在装置的前面板上具有聚合表面的光场显示系统的俯视图。
20.图5为根据一个或多个实施例的光场显示系统的框图。
21.图6为根据一个或多个实施例的用于移动装置中的光场显示系统的网络环境的框图。
22.图7为将光场显示器用于移动装置的实施例的实例的显示器。
23.图8为示出根据一个或多个实施例的用于使用光场显示系统实现与移动装置的交互的方法的流程图。
具体实施方式
24.概述
25.在移动装置中实施光场(lf)显示系统以向移动装置用户呈现包含至少一个全息对象的全息内容。术语“用户”、“移动装置用户”、“装置用户”和“观看者”在本文中可互换地使用。术语“移动装置”和“装置”在本文中也可互换地使用，它们指代针对便携性和紧凑性而设计的手持电子计算装置。移动装置的实例包含(但不限于)移动电话、智能电话、pda、平板计算机、电子阅读器、便携式音乐层、便携式计算机等。
26.移动装置中的lf显示系统与装置功能整合，以便在使用装置时向用户提供沉浸式操作体验。移动装置功能通过执行计算机程序模块(例如，网页浏览器或软件客户端应用程序)来实现，所述计算机程序模块允许装置用户浏览因特网、消费媒体内容和执行大量的多种软件应用程序。lf显示系统包括lf显示组合件，所述lf显示组合件配置成呈现包含将在
lf显示系统的观看体中对观看者可见的一个或多个全息对象的全息内容。lf显示系统呈现的全息内容与装置功能整合；这增加了装置用户在装置上执行软件应用程序时的沉浸式体验。由lf显示系统呈现的全息内容还可用其它感觉刺激(例如，触觉、声音、温度、压力、力或嗅觉)强化。举例来说，lf显示系统中的超声发射器可投影创建了体触觉投影的超声压力波。体触觉投影提供对应于所投影的全息对象中的一些或全部的触觉表面。全息内容可包含额外视觉内容(即，2d或3d视觉内容)。在具有多个能量源(即，在任何给定时间点提供正确的触觉感觉和感觉刺激的全息对象)的实施方案中，实现内聚性体验的能量源协调是lf系统的部分。举例来说，lf系统可包含协调全息内容和触觉表面的呈现的控制器。
27.在一些实施例中，lf显示系统可包含使得系统能够投影至少一种类型的能量且同时感测至少一种类型的能量以用于响应于用户和产生交互式体验的目的的元件。感测到的能量可用于记录观看者如何响应全息内容。举例来说，lf显示系统可投影用于观看的全息对象以及用于触觉感知的超声波两者，和同时记录用于跟踪用户和其它场景分析的成像信息，同时还感测超声波以检测用户的触摸响应。作为实例，此系统可投影全息对象，所述全息对象在由观看者虚拟地“触摸”时根据触摸刺激来修改其“行为”。执行环境的能量感测的显示系统组件可集成到显示表面中，或其可为与显示表面分离的专用传感器，例如，超声扬声器和例如相机等成像捕获装置。
28.可构造lf显示系统以基于所生成的全息对象提供移动装置的各种体验。举例来说，在一个实施例中，移动装置上的lf显示系统可实施为通过地图观看应用程序向用户呈现地形的全息视图。lf显示组合件可形成单面或多面无缝表面环境。全息内容可强化或增强物理对象，例如移动装置屏幕自身。举例来说，在一个实施例中，装置上的lf显示系统可实施为呈现3d全息进程指示符gif，例如包络球，以指示应用程序正在装置上加载。此外，用户可在不需要护目镜装置(例如，3d眼镜或任何其它头部护具)的情况下自由地观看全息内容。
29.在一些实施例中，lf显示系统可通过跟踪系统和/或感觉反馈系统接收输入。基于输入，lf显示系统可调整全息内容以及将反馈提供到相关组件。
30.lf显示系统还可并入有用于跟踪用户在lf显示系统的观看体内的移动的系统。用户的跟踪移动可用于增强用户使用移动装置的体验。举例来说，lf显示系统可使用跟踪信息来促进用户与全息内容的交互(例如，按下全息按钮)。lf显示系统可使用跟踪信息来监测手指相对于全息对象的位置。举例来说，全息对象可为观看者可“按下”的按钮。lf显示系统可投影超声能量以生成对应于按钮且占据与按钮基本上相同的空间的触觉表面。lf显示系统可使用跟踪信息来动态地移动触觉表面的位置，以及随着按钮被观看者“按下”而动态地移动所述按钮。lf显示系统可使用跟踪信息来渲染全息角色，所述全息角色看着用户和/或与其进行眼神接触，或者以其它方式进行交互。lf显示系统可使用跟踪信息来渲染通过投影到用户附近来“触摸”用户的全息对象，其中超声扬声器创建触觉表面，全息对象通过所述触觉表面为用户生成触摸感觉.
31.另外，lf显示系统可并入有用于识别每个用户以便向每个装置用户提供个性化内容的用户简档系统。用户简档系统可进一步记录关于装置使用情况的信息(例如，观看的内容的类型、行进的地点)，这些信息可在用于个性化全息内容的后续使用中被检索。
32.光场显示系统概述
33.图1为根据一个或多个实施例的呈现全息对象120的光场(lf)显示模块110的图100。lf显示模块110为光场(lf)显示系统的一部分。lf显示系统使用一个或多个lf显示模块来呈现包含至少一个全息对象的全息内容。lf显示系统可向一个或多个观看者呈现全息内容。在一些实施例中，lf显示系统还可用其它感觉内容(例如，触摸、音频、气味/嗅觉、压力、力或温度)来强化全息内容。举例来说，如下文所论述，聚焦超声波的投影可生成可模拟全息对象中的一些或全部的表面的空中触觉。lf显示系统包含一个或多个lf显示模块110，且下文关于图2-8进行详细论述。
34.lf显示模块110为向一个或多个观看者(例如，观看者140)呈现全息对象(例如，全息对象120)的全息显示器。lf显示模块110包含能量装置层(例如，发射电子显示器或声学投影装置)和能量波导层(例如，光学透镜阵列)。另外，lf显示模块110可包含能量中继层，以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处，能量装置层生成能量(例如，全息内容)，随后根据一个或多个四维(4d)光场函数使用能量波导将所述能量引导到空间中的区域。lf显示模块110还可同时投影和/或感测一种或多种类型的能量。举例来说，lf显示模块110可能够在观看体中投影全息图像以及超声触觉表面，同时从观看体检测成像数据。lf显示模块110的操作在下文关于图2-3进行详细地论述。
35.lf显示模块110使用一个或多个4d光场函数(例如，从全光函数导出)来在全息对象体160内生成全息对象。全息对象可为三维(3d)、二维(2d)或其某一组合。此外，全息对象可为多色的(例如，全色)。全息对象可投影在屏幕平面前方、屏幕平面后方，或者由屏幕平面分开。可呈现全息对象120，使得在全息对象体160内的任何地方都可感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
36.全息对象体160表示观看者140可在其中感知全息对象的体。全息对象体160可在显示表面150的前方延伸(即，朝向观看者140)，使得全息对象可呈现在显示区域150的平面前方。另外，全息对象体160可在显示区域150的表面后方延伸(即，远离观看者140)，从而允许将全息对象呈现为好像其在显示区域150的平面后方。换句话说，全息对象体160可包含源自显示区域150的所有光线(例如，被投影)，且可会聚以创建全息对象。本文中，光线可在显示表面前方、显示表面处或显示表面后方的点处会聚。更简单地，全息对象体160涵盖观看者可从其中感知全息对象的所有体。
37.观看体130为空间的体，从所述空间可完全看到通过lf显示系统呈现在全息对象体160内的全息对象(例如，全息对象120)。可将全息对象呈现在全息对象体160内，并在观看体130内对其进行观看，使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上呈现时从对象表面生成的相同光线而形成的。
38.在一些情况下，全息对象体160和对应观看体130可相对较小-使得其被设计用于单个观看者。在其它实施例中，如下文关于例如图4a和4b进行详细地讨论，可放大和/或平铺lf显示模块以创建较大的全息对象体和可容纳大范围观看者(例如，一个到数千个)的对应观看体。可构建本公开中所呈现的lf显示模块，使得模块的整个表面含有全息成像光学件，没有无效或死角空间，且不需要边框。在这些实施例中，lf显示模块可平铺，使得成像区域在lf显示模块之间的平铺块的接缝上是连续的，且使用眼睛的视敏度几乎无法检测到平铺的模块之间的接合线。值得注意的是，在一些配置中，尽管在本文中不进行详细地描述，但是显示表面的某一部分可不包含全息成像光学件。
39.观看体130的柔性尺寸和/或形状允许观看者在观看体130内不受约束。举例来说，观看者140可移动到观看体130内的不同位置，且从对应的视角看到全息对象120的不同视图。为了说明，参考图1，观看者140相对于全息对象120位于第一位置，使得全息对象120看起来是海豚的正面视图。观看者140可相对于全息对象120移动到其它位置以看到海豚的不同视图。举例来说，观看者140可移动使得他/她看到海豚的左侧、海豚的右侧等，就非常像观看者140正在观看实际的海豚一样且改变他/她与实际的海豚的相对位置以看到海豚的不同面。在一些实施例中，全息对象120对于观看体130内的所有观看者可见，所有观看者到全息对象120的视线不受阻碍(即，未被对象/人阻挡)。这些观看者可不受约束，使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此，lf显示系统可呈现全息对象，使得多个不受约束的观看者可在现实世界空间中同时看到全息对象的不同视角，就好像全息对象是物理上存在的一样。
40.相比之下，常规显示器(例如，立体、虚拟现实、强化现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如，3-d眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或替代地，常规的显示器可要求观看者被约束到特定的观看位置(例如，在相对于显示器具有固定位置的椅子上)。举例来说，当观看由立体显示器绘示的对象时，观看者总是聚焦在显示表面上，而不是聚焦在对象上，且显示器将始终呈现对象的仅两个视图，所述视图将跟随试图在所述感知的对象周围移动的观看者，从而导致所述对象的感知失真。然而，利用光场显示器，由lf显示系统呈现的全息对象的观看者不需要穿戴外部装置以便看到全息对象。lf显示系统以观看者可见的方式呈现全息对象，与观看者可看见物理对象的方式几乎相同，而无需特殊的护目镜、眼镜或头戴式附件。此外，观看者可从观看体内的任何位置观看全息内容。
41.值得注意的是，全息对象体160内的全息对象的潜在位置受体的大小限制。为了增加全息对象体160的大小，可增加lf显示模块110的显示区域150的大小和/或可以形成无缝显示表面的方式将多个lf显示模块平铺在一起，所述无缝显示表面具有大于个别lf显示模块的显示器区域的有效显示区域。下文关于图4a和4b论述与平铺lf显示模块相关的一些实施例。如图1中所示出，显示区域150为矩形，从而导致全息对象体160是角锥形。在其它实施例中，显示区域可以具有某个其它形状(例如，六边形)，这也影响对应的观看体的形状。
42.另外，尽管上文论述聚焦于将全息对象120呈现在全息对象体160的位于lf显示模块110与观看者140之间的一部分内，但是lf显示模块110可另外将出现的内容呈现在显示区域150的平面后方。举例来说，lf显示模块110可使所显示的全息对象的一部分看起来使得显示区域150看起来是全息对象120正跳出的海洋表面。所显示的内容可使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外，lf显示系统可生成在全息对象体160周围无缝地移动的内容，包含在显示表面150的平面后方和前方。
43.图2a为根据一个或多个实施例的lf显示模块210的一部分的横截面200。lf显示模块210可为lf显示模块110。在其它实施例中，lf显示模块210可为具有与显示区域150不同的显示区域形状的另一lf显示模块。在所示出的实施例中，lf显示模块210包含能量装置层220、能量中继层230和能量波导层240。lf显示模块210的一些实施例具有与此处描述的组件不同的组件。举例来说，在一些实施例中，lf显示模块210不包含能量中继层230。类似地，可以与此处描述的方式不同的方式在组件之间分配功能。
44.此处描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处，将发射的能量从显示表面上的每个坐标引导朝向特定的方向。换句话说，显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线会聚，这由此可创建全息对象。举例来说，对于可见光，lf显示器将投影会聚在全息对象体的任何点处的非常多的光线，因此从定位得比被投影的对象更远的观看者的视角看，所述光线似乎来自定位在此空间的区域中的现实世界对象的表面。以此方式，lf显示器生成了从观看者的视角将离开此对象表面的反射光线。观看者视角可在任何给定的全息对象上发生变化，且观看者将看到所述全息对象的不同视图。
45.如本文中所描述，能量装置层220包含一个或多个电子显示器(例如，发射显示器，如oled)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器配置成根据显示指令(例如，来自lf显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素，每个像素具有独立控制的强度。可在lf显示器中使用许多类型的商用显示器，例如发射led和oled显示器。
46.能量装置层220还可包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学投影装置生成补充全息对象250的一个或多个压力波。所生成的压力波可为例如可听的、超声的或其某一组合。超声压力波阵列可用于体触觉感觉(例如，在全息对象250的表面处)。可听压力波用于提供可补充全息对象250的音频内容(例如，沉浸式音频)。举例来说，假设全息对象250是海豚，则可使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面，使得观看者可触摸全息对象250；且(2)提供与海豚发出的响声(例如，咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如，麦克风或麦克风阵列)可配置成监测lf显示模块210的局部区域内的超声和/或可听压力波。
47.能量装置层220还可包含一个或多个成像传感器。成像传感器至少对可见光波段中的光敏感，且在一些情况下，可能对其它波段中的光(例如，红外线)敏感。成像传感器可为例如互补金属氧化物半导体(cmos)阵列、电荷耦合装置(ccd)、光检测器阵列、捕获光的某个其它传感器或其某一组合。lf显示系统可使用一个或多个成像传感器所捕获的数据用于观看者的位置定位跟踪。
48.能量中继层230在能量装置层220与能量波导层240之间中继能量(例如，电磁、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270，且其在两个表面之间中继能量。每个能量中继元件的第一表面265可耦合到一个或多个能量装置(例如，电子显示器或声学投影装置)。能量中继元件可由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某一组合构成。另外，在一些实施例中，能量中继元件可调整在第一表面265与第二表面270之间传递的能量的放大率(增加或减少)。如果中继器提供放大率，则中继器可采取被称为锥体的粘合锥形中继器的阵列的形式，其中锥体的一端的面积可基本上大于相对端的面积。锥体的大端可粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间，以容纳多个能量源的机械包膜，例如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上，其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是在由锥体的大端形成的组合的无缝能量表面上没有非成像死角空间。不存在边界或边框，且因此可随后根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没
有接缝的更大的表面。
49.相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中，相邻的能量中继元件的边缘之间的间隔小于由具有大于20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
50.在一些实施例中，相邻的能量中继元件的第二表面与可包含压力、热和化学反应中的一个或多个的处理步骤融合在一起，以这种方式在其之间不存在接缝。且另外其它实施例中，通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列，每个能量中继元件配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。
51.在一些实施例中，能量中继元件中的一个或多个表现出能量局部化，其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率，且其中在能量波在表面265与表面270之间传播时，能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(例如，图像)在这些表面之间高效地中继，而分辨率没有任何显著的损失。
52.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示表面向外进入全息观看体285的特定传播路径。能量传播路径由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2d坐标相关联。这四个坐标一起形成一个四维(4d)能量场。作为实例，对于电磁能量，能量波导层240中的波导元件将沿着不同的传播方向引导来自无缝能量表面275上的位置的光通过观看体285。在各种实例中，根据4d光场函数将光进行引导以在全息对象体255内形成全息对象250。
53.能量波导层240中的每个波导元件可为例如由一个或多个元件构成的小透镜。在一些配置中，小透镜可为正透镜。正透镜可具有球形、非球形或自由形式的表面轮廓。另外，在一些实施例中，波导元件中的一些或全部可包含一个或多个另外的光学组件。另外的光学组件可为例如能量抑制结构，例如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某一组合。在一些实施例中，小透镜和/或另外的光学组件中的至少一个能够动态地调整其光功率。举例来说，小透镜可为液晶透镜或液体透镜。小透镜和/或至少一个另外的光学组件的表面轮廓的动态调整可提供对从波导元件投影的光的另外的方向控制。
54.在所示出的实例中，lf显示器的全息对象体255具有由光线256和光线257形成的边界，但是可由其它射线形成。全息对象体255为在能量波导层240前方(即，朝向观看者280)和在其后方(即，远离观看者280)两者延伸的连续的体。在所示出的实例中，用户可感知的射线256和射线257以相对于显示表面277的法线的最大角度从lf显示模块210的相对边缘投影，但是射线可为其它投影的射线。射线限定了显示器的视场，并因此限定了全息观看体285的边界。在一些情况下，射线限定了全息观看体，在所述全息观看体中可在没有渐晕的情况下(例如，理想的观看体)观看整个显示器。随着显示器的视场增加，射线256和射线257的会聚点将更靠近显示器。因此，具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外，射线256和257可形成理想的全息对象体。可在观看体285
中的任何地方看到以理想全息对象体呈现的全息对象。
55.在一些实例中，可将全息对象呈现给观看体285的仅一部分。换句话说，全息对象体可划分成任何数量的观看子体(例如，观看子体290)。另外，可将全息对象投影到全息对象体255的外部。举例来说，全息对象251呈现在全息对象体255的外部。因为全息对象251呈现在全息对象体255的外部，所以不能从观看体285中的每个位置对其进行观看。举例来说，全息对象251可从观看子体290中的位置可见，但是从观看者280的位置不可见。
56.举例来说，转到图2b以示出从不同观看子体观看全息内容。图2b示出根据一个或多个实施例的lf显示模块的一部分的横截面200。图2b的横截面与图2a的横截面相同。然而，图2b示出从lf显示模块210投影的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而，如所绘示，从lf显示模块210的顶部投影的射线和从lf显示模块210的底部投影的射线重叠以在观看体285内形成各个观看子体(例如，观看子体290a、290b、290c和290d)。第一观看子体(例如，290a)中的观看者可能够感知在全息对象体255中呈现的全息内容，其它观看子体(例如，290b、290c和290d)中的观看者则无法进行感知。
57.更简单地，如图2a所示出，全息对象体255为其中全息对象可通过lf显示系统呈现的体，使得所述全息对象可被观看体285中的观看者(例如，观看者280)感知。以此方式，观看体285是为理想观看体的实例，而全息对象体255为理想对象体的实例。然而，在各种配置中，观看者可在其它实例全息对象体中感知由lf显示系统200呈现的全息对象，使得在其它实例观看体中的观看者可感知全息内容。更一般而言，当观看从lf显示模块投影的全息内容时，将应用“视线指南”。视线指南断言，由观看者的眼睛位置和正在被观看的全息对象形成的线必须与lf显示表面相交。
58.因为根据4d光场函数呈现全息内容，因此当观看由lf显示模块210呈现的全息内容时，观看者280的每只眼睛看到全息对象250的不同视角。此外，在观看者280在观看体285内移动时，他/她还将看到全息对象250的不同视角，如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到，4d光场函数在本领域中为众所周知的，且在本文中将不进一步详细说明。
59.如本文中更详细描述，在一些实施例中，lf显示器可投影多于一种类型的能量。举例来说，lf显示器可投影两种类型的能量，例如，机械能量和电磁能量。在此配置中，能量中继层230包含两个单独的能量中继器，所述能量中继器在能量表面275处交织在一起，但是被分离使得能量被中继到两个不同的能量装置层220。此处，一个中继器可配置成传输电磁能量，而另一个中继器可配置成传输机械能量。在一些实施例中，机械能量可从能量波导层240上的电磁波导元件之间的位置投影，从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中，能量波导层240还可包含根据来自控制器的显示指令沿特定传播路径传输聚焦超声的波导元件。
60.注意，在替代实施例(未绘示)中，lf显示模块210不包含能量中继层230。在这种情况下，能量表面275为使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。且在一些实施例中，相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
61.lf显示模块
62.图3a为根据一个或多个实施例的lf显示模块300a的透视图。lf显示模块300a可为lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块300a可为某一其它lf显示模块。在所示出的实施例中，lf显示模块300a包含能量装置层310和能量中继层320和能量波导层330。lf显示模块300a配置成从显示表面365呈现全息内容，如本文所描述。为方便起见，显示表面365在lf显示模块300a的框架390上以虚线轮廓示出，但更准确地说是直接在由框架390的内边缘界定的波导元件前方的表面。显示表面365包含可从其投影能量的多个投影位置。lf显示模块300a的一些实施例具有与此处描述的组件不同的组件。举例来说，在一些实施例中，lf显示模块300a不包含能量中继层320。类似地，可以与此处描述的方式不同的方式在组件之间分配功能。
63.能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可全部是相同类型(例如，所有电子显示器)或者可包含一种或多种不同类型(例如，包含电子显示器和至少一个声能装置)。
64.能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继元件350(在图中三个是可见的)。能量中继装置350可全部中继相同类型的能量(例如，光)或者可中继一种或多种不同类型(例如，光和声音)。中继元件350中的每一个包含第一表面和第二表面，能量中继元件350的第二表面布置成形成单个无缝能量表面360。在所示出的实施例中，能量中继元件350中的每一个是锥形的，使得第一表面具有比第二表面小的表面积，这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可投影能量，因此这也可使无缝能量表面无边界。这意味着可通过将300的多个实例放置在一起而没有死角空间或边框的方式来平铺此无缝能量表面，使得整个组合的表面为无缝的。在其它实施例中，第一表面和第二表面的表面积相同。
65.能量波导层330为能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所论述，能量波导层330配置成根据4d光场函数沿着特定的传播路径从无缝能量表面360引导能量，以形成全息对象。注意，在所示出的实施例中，能量波导层330由框架390界定。在其它实施例中，不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可有助于将lf显示模块300a与另外的lf显示模块300平铺。
66.注意，在所示出的实施例中，无缝能量表面360和能量波导层330是平坦的。在未绘示的替代实施例中，无缝能量表面360和能量波导层330可在一个或多个维度上弯曲。
67.lf显示模块300a可配置有驻存在无缝能量表面的表面上的另外的能量源，并允许除了光场之外的能量场的投影。在一个实施例中，声能场可从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未示出)投影出来。此外，lf显示模块300a的静电扬声器定位在光场显示模块300a内，使得双能量表面同时投影声场和全息内容。举例来说，静电扬声器可形成有透射一些波长的电磁能量且由导电元件驱动的一个或多个隔膜元件。静电扬声器可安装在无缝能量表面360上，使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可与设计成抑制电磁波导之间的光传输的结构定位在同一位置，和/或定位在电磁波导元件(例如，框架390)之间的位置处。在各种配置中，扬声器可投影可听的声音和/或产生触觉表面的聚焦超声能量的许多源。
68.在一些配置中，能量装置340可感测能量。举例来说，能量装置可为麦克风、光传感器、声换能器等。因此，能量中继装置还可将能量从无缝能量表面360中继到能量装置层
310。也就是说，当能量装置和能量中继装置340配置成同时发射和感测能量(例如，发射光场并感测声音)时，lf显示模块的无缝能量表面360形成双向能量表面。
69.更广泛地，lf显示模块340的能量装置340可为能量源或能量传感器。lf显示模块300a可包含充当能量源和/或能量传感器的各种类型的能量装置，以促进向用户投影高质量全息内容。其它源和/或传感器可包含热传感器或源，红外传感器或源、图像传感器或源、生成声能的机械能量换能器、反馈源等。多个其它传感器或源是可能的。此外，lf显示模块可平铺使得lf显示模块可形成组合件，所述组合件从大聚合无缝能量表面投影和感测多种类型的能量。
70.在lf显示模块300a的各个实施例中，无缝能量表面360可具有各个表面部分，其中每个表面部分配置成投影和/或发射特定类型的能量。举例来说，当无缝能量表面是双能量表面时，无缝能量表面360包含一个或多个投影电磁能量的表面部分和一个或多个投影超声能量的其它表面部分。投影超声能量的表面部分可位于波导元件之间的无缝能量表面360上，和/或与设计成抑制波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中，能量中继层320可包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中，无缝能量表面360可配置成使得表面的在特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。
71.图3b为根据一个或多个实施例的包含交织的能量中继装置的lf显示模块300b的横截面图。能量中继装置350a在连接到能量装置340a的能量中继第一表面345a与无缝能量表面360之间传输能量。能量中继器350b在连接到能量装置340b的能量中继第一表面345b与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中，表面360含有能量装置340a和340b两者的交织的能量位置，所述两者可为能量源或能量传感器。因此，lf显示模块300b可配置为用于投影多于一种类型的能量的双能量投影装置，或者配置为用于同时投影一种类型的能量且感测另一种类型的能量的双向能量装置。lf显示模块300b可为lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块302可为某一其它lf显示模块。
72.lf显示模块300b包含与图3a中的lf显示模块300a的组件类似地配置的许多组件。举例来说，在所示出的实施例中，lf显示模块300b包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330，其包含至少与关于图3a所描述的功能相同的功能。另外，lf显示模块300b可呈现和/或接收来自显示表面365的能量。值得注意的是，与图3a中的lf显示模块300a的组件相比，lf显示模块300b的组件可替代地连接和/或定向。lf显示模块300b的一些实施例具有与此处描述的组件不同的组件。类似地，可以与此处描述的方式不同的方式在组件之间分配功能。图3b示出可被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个lf显示模块302的设计。
73.在一个实施例中，lf显示模块300b为双向lf显示系统的lf显示模块。双向lf显示系统可同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此，在图3b的实例中，能量中继层320以与图3a的能量中继层不同的方式进行配置。为方便起见，lf显示模块300b的能量中继层在本文中将被称为“交织的能量中继层”。
74.交织的能量中继层320包含两个分支：第一能量中继装置350a和第二能量中继装
置350b。分支中的每一个示出为浅色阴影区域。分支中的每一个可以由柔性中继材料制成，并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中，两个分支在接近无缝能量表面360时紧紧地交织在一起。在所示出的实例中，交织的能量中继装置352示出为深色阴影区域。
75.当在无缝能量表面360处交织时，能量中继装置配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所示出，能量装置340a连接到能量中继装置350a，且能量装置340b连接到能量中继装置350b。在各个实施例中，每个能量装置可为能量源或能量传感器。
76.能量波导层330包含波导元件370，以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中，在一系列会聚点处形成全息对象380。值得注意的是，如所示出，在全息对象380处的能量会聚发生在显示表面365的观看者侧。然而，在其它实例中，能量的会聚可在全息对象体中的任何地方，在显示表面365的前方和显示表面365的后方两者延伸。波导元件370可同时将进入的能量引导到能量装置(例如，能量传感器)，如下文所描述。
77.在lf显示模块300b的一个实例实施例中，发射显示器用作能量源，且成像传感器用作能量传感器。以此方式，lf显示模块300b可同时投影全息内容且检测来自显示表面365前方的体的光。以此方式，lf显示模块300b的此实施例充当lf显示器和lf传感器两者。
78.在实施例中，lf显示模块300b配置成同时在显示表面365前方投影光场且从显示表面365前方捕获光场。在此实施例中，能量中继装置350a将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340a。在实例中，能量装置340a为具有源像素阵列的发射显示器。能量中继装置340b将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340b。在实例中，能量装置340b为具有传感器像素阵列的成像传感器。lf显示模块302可配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或位置的某种组合。在其它实施例中，双向能量表面可投影和接收各种其它形式的能量。
79.在lf显示模块300b的另一实例实施例中，lf显示模块配置成投影两种不同类型的能量。举例来说，能量装置340a为配置成发射电磁能量的发射显示器，且能量装置340b为配置成发射机械能量的超声换能器。因此，可从无缝能量表面360处的各个位置投影光和声音两者。在此配置中，能量中继装置350a将能量装置340a连接到无缝能量表面360并中继电磁能量。能量中继装置配置成具有使得所述能量中继装置有效传输电磁能量的特性(例如，变化的折射率)。能量中继装置350b将能量装置340b连接到无缝能量表面360并中继机械能量。能量中继装置350b配置成具有用于超声能量的有效传输的特性(例如，具有不同声学阻抗的材料的分布)。在一些实施例中，机械能量可从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中，投影超声机械能量的在空间上分离的位置阵列可配置成在空中产生三维触觉形状和表面。表面可与投影的全息对象(例如，全息对象380)重合。在一些实例中，阵列上的相位延迟和幅度变化可帮助产生触觉形状。
80.在各个实施例中，双向lf显示模块302可包含多个能量装置层，其中每一能量装置层包含特定类型的能量装置。在这些实例中，能量中继层配置成在无缝能量表面360与能量
装置层330之间中继适当类型的能量。
81.平铺的lf显示模块
82.图4a为根据一个或多个实施例的以二维形式平铺以形成单面无缝表面环境的lf显示系统400的一部分的透视图。lf显示系统400包含被平铺以形成阵列410的多个lf显示模块。更明确地说，阵列410中的小方块中的每一个表示平铺的lf显示模块412。阵列410可覆盖(例如)表面中的一些或全部。
83.阵列410可投影一个或多个全息对象。举例来说，在所示出的实施例中，阵列410投影全息对象420和全息对象430。lf显示模块的平铺允许更大的观看体，以及允许对象被投影到距阵列410更远的距离。举例来说，在所示出的实施例中，观看体为大约阵列410前方和后方的整个区域，而不是lf显示模块412前方(和后方)的局部体。
84.在一些实施例中，lf显示系统400向观看者430和观看者434呈现全息对象420。观看者430和观看者434接收全息对象420的不同视角。举例来说，向观看者430呈现全息对象420的直接视图，而向观看者434呈现全息对象430的更倾斜的视图。随着观看者430和/或观看者434移动，向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。举例来说，在观看者430在全息对象420周围行走时，只要全息对象420保留在阵列410的全息对象体中，观看者430就看到全息对象420的不同侧面。因此，观看者430和观看者434可同时在现实世界空间中看到全息对象420，就好像所述全息对象真实存在一样。另外，全息对象420的观看者440和观看者450不需要为了看到全息对象420而穿戴外部装置，因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外，此处，全息对象422示出在阵列后方，因为阵列的观看体在阵列的表面后方延伸。以此方式，可将全息对象422呈现给观看者430和/或观看者434。
85.在一些实施例中，lf显示系统400可包含跟踪系统，所述跟踪系统跟踪观看者430和观看者434的位置。在一些实施例中，所跟踪位置为观看者的位置。在其它实施例中，所跟踪位置为观看者的眼睛的位置。眼睛的位置跟踪与视线跟踪不同，后者跟踪眼睛正在看的地方(例如，使用定向来确定视线位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
86.在各种配置中，lf显示系统400可包含一个或多个跟踪系统。举例来说，在所示出的图4a的实施例中，lf显示系统包含在阵列410外部的跟踪系统440。此处，跟踪系统可为耦合到阵列410的相机系统。关于图5a更详细地描述外部跟踪系统。在其它实例实施例中，跟踪系统可如本文所描述的并入到阵列410中。举例来说，包含在阵列410中的lf显示模块412的能量装置(例如，能量装置340)可配置成捕获阵列440前方的观看者的图像。在任何情况下，lf显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如，观看者430和/或观看者434)的跟踪信息。
87.跟踪信息描述观看者的位置或观看者的一部分(例如，观看者的一只或两只眼睛，或观看者的肢体)的位置在空间中的位置(例如，相对于跟踪系统)。跟踪系统可使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可包含例如结构化光、飞行时间、立体成像、某个其它深度确定技术或其某一组合。跟踪系统可包含配置成确定跟踪信息的各种系统。举例来说，跟踪系统可包含一个或多个红外源(例如，结构化光源)、可捕获红外图像的一个或多个成像传感器(例如，红-蓝-绿-红外相机)和执行跟踪算法的处理器。跟踪系统可
使用深度估计技术来确定观看者的位置。在一些实施例中，lf显示系统400基于观看者430和/或观看者434的跟踪的位置而生成全息对象。举例来说，lf显示系统400可响应于观看者进入阵列410的阈值距离和/或特定位置内而生成全息对象。
88.lf显示系统400可部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。举例来说，可向观看者430呈现全息对象420，而不是全息对象422。且可向观看者434呈现全息对象422，而不是全息对象420。举例来说，lf显示系统400跟踪观看者430和观看者434中的每一个的位置。lf显示系统400基于观看者相对于全息对象要被呈现的地方的位置来确定对所述观看者应当可见的全息对象的视角。lf显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此，观看者434和观看者430可同时具有可能完全不同的体验。换句话说，lf显示系统400可向观看体的观看子体(即，类似于图2b中所示的观看子体290a、290b、290c和290d)呈现全息内容。举例来说，如所示出，因为lf显示系统400可跟踪观看者430的位置，所以lf显示系统400可向包围观看者430的观看子体呈现空间内容(例如，全息对象420)，且向包围观看者434的观看子体呈现野生动物园内容(例如，全息对象422)。相比之下，常规系统将必须使用单独的耳机来提供类似的体验。
89.在一些实施例中，lf显示系统400可包含一个或多个感觉反馈系统。感觉反馈系统提供强化全息对象420和422的其它感觉刺激(例如，触觉、音频、压力、力或气味/嗅觉)。举例来说，在图4a的所示出实施例中，lf显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中，感觉反馈系统442可为耦合到阵列410的静电扬声器。关于图5a更详细地描述外部感觉反馈系统。在其它实例实施例中，如本文所描述，可将感觉反馈系统并入到阵列410中。举例来说，包含在阵列410中的lf显示模块412的能量装置(例如，图3b中的能量装置340a)可配置成将超声能量投影到阵列前方的观看者和/或从阵列前方的观看者接收成像信息。在任何情况下，感觉反馈系统向观看通过阵列410呈现的全息内容(例如，全息对象420和/或全息对象422)的观看者(例如，观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
90.lf显示系统400可包含感觉反馈系统，所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。替代地或另外地，lf显示系统400可包含集成到阵列410中的一个或多个声学投影装置，如本文所描述。声学投影装置可由配置成投影体触觉表面的超声源阵列组成。在一些实施例中，可将体表面投影为与全息对象重合。在一些实施例中，体触觉表面可投影在全息对象的阈值距离内。在一些实施例中，对于全息对象的一个或多个表面，如果观看者的一部分在一个或多个表面的阈值距离内，则触觉表面可与全息对象重合(例如，在全息对象420的表面处)。体触觉感觉允许用户触摸和感觉全息对象的表面。多个声学投影装置还可投影可听压力波，所述可听压力波向观看者提供音频内容(例如，沉浸式音频)。因此，超声压力波和/或可听压力波可起到补充全息对象的作用。
91.在各个实施例中，lf显示系统400可部分地基于观看者的所跟踪位置而提供其它感觉刺激。举例来说，图4a中所示出的全息对象422是狮子，且lf显示系统400可使全息对象422在视觉上(即，全息对象430似乎在咆哮)和听觉上(即，一个或多个声学投影装置投影压力波)均咆哮，使观看者430将其感知为全息对象422发出的狮子的咆哮。
92.应注意，在所示出的配置中，可以类似于图2中的lf显示系统200的观看体285的方式限制全息观看体。这可限制观看者将用单个装置体验的感知的沉浸感。解决此问题的一
个方式是使用沿着多个侧面平铺的多个lf显示模块，如下文关于图4b所描述。
93.图4b为根据一个或多个实施例的在多面无缝表面环境中的lf显示系统402的一部分的透视图。除了将多个lf显示模块平铺以创建多面无缝表面环境之外，lf显示系统402与lf显示系统400基本上类似。更具体地说，将lf显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在其它实施例中，多个lf显示模块可覆盖表面中的一些但不是全部，或其某一组合。在其它实施例中，多个lf显示模块被平铺以形成某一其它聚合无缝表面。举例来说，表面可为弯曲的，使得形成圆柱形的聚合能量环境。
94.lf显示系统402可投影一个或多个全息对象。举例来说，在所示出的实施例中，lf显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中，lf显示系统的观看体也含在六面聚合无缝表面环境内。应注意，在所示出的配置中，观看者432可定位在全息对象420与lf显示模块414之间，所述lf显示模块414投影用于形成全息对象420的能量(例如，光和/或压力波)。因此，观看者434的定位可防止观看者430感知由来自lf显示模块414的能量形成的全息对象420。然而，在所示出的配置中，存在至少一个其它lf显示模块，例如lf显示模块416，所述lf显示模块416不受阻碍(例如，被观看者434)且可投影能量以形成全息对象420。以此方式，在空间中被观看者遮挡可能导致全息投影的一些部分消失，但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422示出为六面聚合无缝表面环境的壳体的“外部”，因为全息对象体在聚合表面后方延伸。因此，观看者430和/或观看者434可将全息对象422感知为在六面环境的“外部”。
95.如上文参考图4a所描述，在一些实施例中，lf显示系统402主动跟踪观看者的位置且可基于所跟踪位置动态地指示不同的lf显示模块呈现全息内容。因此，多面配置可提供更稳健的环境(例如，相对于图4a)，以提供全息对象，其中不受约束的观看者可自由地在由多面无缝表面环境包围的整个区域中移动。
96.值得注意的是，各种lf显示系统可具有不同的配置。此外，每种配置可具有表面的特定定向，所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说，可将lf显示系统的lf显示模块平铺以形成各种聚合表面。举例来说，在图4b中，lf显示系统402包含平铺以形成六面聚合表面的lf显示模块。在一些其它实例中，聚合表面可仅出现在表面的一部分上，而不是整个表面上。本文描述了一些实例。
97.在一些配置中，lf显示系统的聚合表面可包含聚合表面，所述聚合表面配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验：增加特定观看体中的投影的能量的密度，增加观看者在所述观看体中的fov，并使观看体更接近显示表面。
98.举例来说，图4c示出具有呈“翼状”配置的聚合表面的lf显示系统450a的俯视图。lf显示系统450a包含平铺以形成聚合表面460的lf显示模块。lf显示系统450a具有聚合表面460，其包含三个部分：(i)第一中心部分462，(ii)第二部分464，其连接到第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前方(即，第一侧表面)，和(iii)第三部分466，其连接第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前方(即，第二侧表面)。移动装置可设计为具有类似于图4c所示的配置，使得第一中心部分462为设计成面向观看者的主显示屏幕，且第二部分464和第三部分466朝向观看者成角度以部分地包围观看者。当移动装置被握持使得第一中心部分位于具有水平轴和竖直轴的竖
直平面中时，第二和第三部分沿水平轴朝向中心部分的前方成角度。
99.在此实例中，lf显示系统450a的观看体468a处于由聚合表面460的三个部分部分地包围的装置前方。至少部分包围观看者的聚合表面(“包围表面”)增加观看者的沉浸式体验。
100.为了说明，考虑例如仅具有中心表面的聚合表面。参考图2a，如上文所描述，从显示表面的任一端投影的射线创建理想的全息体和理想的观看体。现在考虑，例如中心表面是否包含两个朝向观看者成角度的侧表面。在此情况下，射线256和射线257将从中心表面的法线以更大的角度投影。因此，观看体的视场将增加。类似地，全息观看体将更靠近显示表面。另外，由于两个第二部分和第三部分倾斜得更靠近观看体，所以从显示表面以固定距离投影的全息对象更靠近所述观看体。
101.为简化起见，仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔和全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面增加了相对于平面视场的视场，相对于平面间隔减小了显示表面与观看体之间的间隔，并相对于平面接近度增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场，减小了间隔并增加了接近度。换句话说，侧表面的成角度放置增加了观看者的沉浸式体验。
102.另外，如下文关于图6所描述，偏转光学件可用于针对lf显示参数(例如，尺寸和fov)优化观看体的大小和位置。
103.返回到图4d，在类似实例中，图4d示出具有呈“倾斜”配置的聚合表面的lf显示系统450b的侧视图。lf显示系统450b包含平铺以形成聚合表面460的lf显示模块。聚合表面460包含三个部分：(i)第一中心部分462(即，中心表面)(ii)第二部分464，其连接到第一部分462，并与中心部分成一定角度放置以将能量投影到中心部分的前方(即，第一侧表面)，和(iii)第三部分464，其连接第一部分462，并与中心部分成一定角度放置以将能量投影到中心部分的前方(即，第二侧表面)。移动装置可设计为具有类似于图4d所示的配置，使得第一中心部分462为设计成面向观看者的主显示屏幕，且第二部分464和第三部分466朝向观看者成角度以部分地包围观看者。当移动装置被握持使得第一中心部分为具有水平轴和竖直轴的竖直平面中时，第二和第三部分沿竖直轴朝向中心部分的前方成角度。
104.在此实例中，lf显示系统450b的观看体468b处于中心部分的前方，且由聚合表面460的三个部分部分地包围。与图4c所示的配置类似，两个侧面部分(例如，第二部分464和第三部分466)成角度以包围观看者并形成包围表面。从全息观看体468b中的任何观看者的视角来看，包围表面增加了观看fov。另外，包围表面允许观看体468b更靠近显示器的表面，使得投影的对象显得更靠近。换句话说，侧表面的成角度放置增加了视场，减小了间隔，并增加了聚合表面的接近度，由此增加了观看者的沉浸式体验。此外，如下文将论述，偏转光学件可用于优化观看体468b的大小和位置。
105.与如果第三部分466没有倾斜相比，聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468b。举例来说，与如果使用具有平坦的前部显示器的lf显示系统相比，从呈倾斜配置的lf显示系统呈现的角色的下肢(例如，腿)可能看起来更靠近并且更真实。
106.另外，lf显示系统的配置及其所处的环境可通知观看体和观看子体的形状和位
置。
107.举例来说，图4e示出具有聚合表面460的lf显示系统450c的俯视图。lf显示系统450c从聚合表面460投影各种射线。从聚合表面460的左侧投影的射线具有水平角度范围481，从聚合表面的右侧投影的射线具有水平角度范围482，且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间，所投影射线可采用角度范围的中间值。以此方式在跨显示表面的投影射线中具有梯度偏转角创建了观看体468c。
108.lf显示系统的控制
109.图5为根据一个或多个实施例的lf显示系统500的框图。lf显示系统500包括lf显示组合件510和控制器520。lf显示组合件510包含投影光场的一个或多个lf显示模块512。lf显示模块512可包含源/传感器系统514，所述源/传感器系统514包含投影和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储装置522、网络接口524、lf处理引擎530、命令库532和安全模块534。控制器520还可包含跟踪模块526和用户简档模块528。在一些实施例中，lf显示系统500还包含感觉反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的lf显示系统为lf显示系统500的实施例。在其它实施例中，lf显示系统500包括比本文所描述的模块更多或更少的模块。类似地，可以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。lf显示系统500的应用也在下文关于图6-7进行详细论述。
110.lf显示组合件510在全息对象体中提供全息内容，所述全息对象体对于定位在观看体内的观看者可以是可见的。lf显示组合件510可通过执行从控制器520接收的显示指令来提供全息内容。全息内容可包含投影在lf显示组合件510的聚合表面前方、lf显示组合件510的聚集表面后方或其某一组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
111.lf显示组合件510使用包含在lf显示组合件510中的一个或多个lf显示模块(例如，lf显示模块110、lf显示系统200和lf显示模块300中的任一个)来提供全息内容。为了方便起见，一个或多个lf显示模块在本文中可被描述为lf显示模块512。lf显示模块512可被平铺以形成lf显示组合件510。lf显示模块512可被结构化为各种无缝表面环境(例如，单面、多面、弯曲表面等)。也就是说，平铺的lf显示模块形成聚合表面。如先前所描述，lf显示模块512包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)。lf显示模块512还可包含能量中继层(例如，能量中继层230)，当呈现全息内容时，所述能量中继层在能量装置层与能量波导层之间传送能量。
112.lf显示模块512还可包含其它集成系统，所述其它集成系统配置成用于如先前所描述的能量投影和/或能量感测。举例来说，光场显示模块512可包含配置成投影和/或感测能量的任何数量的能量装置(例如，能量装置340)。为了方便起见，本文可将lf显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514集成在lf显示模块512内，使得源/传感器系统514与lf显示模块512共享相同的无缝能量表面。换句话说，lf显示组合件510的聚合表面包含lf显示模块512和源/传感器模块514两者的功能。也就是说，包含具有源/传感器系统514的lf显示模块512的lf组合件510可在同时投影光场时投影能量和/或感测能量。举例来说，lf显示组合件510可包含lf显示模块512和源/传感器系统514，所述源/传感器系统514配置为如先前所描述的双能量表面或双
向能量表面。
113.在一些实施例中，lf显示系统500使用感觉反馈系统570用其它感觉内容(例如，协调触摸、音频、压力、力或嗅觉)强化所生成的全息内容。感觉反馈系统570可通过执行从控制器520接收的显示指令来强化全息内容的投影。通常，感觉反馈系统570包含在lf显示组合件510外部的任何数量的感觉反馈装置(例如，感觉反馈系统442)。一些实例感觉反馈装置可包含协调的声学投影和接收装置、香气投影装置、温度调节装置、力致动装置、压力传感器、加速度计、陀螺仪、换能器等。在一些情况下，感觉反馈系统570可以具有与光场显示组合件510类似的功能，且反之亦然。举例来说，感觉反馈系统570和光场显示组合件510两者都可配置成生成声场。作为另一实例，感觉反馈系统570可配置成在没有光场显示510组合件的情况下生成触觉表面。
114.为了说明，在光场显示系统500的实例实施例中，感觉反馈系统570可包含声学投影装置。声学投影装置配置成在执行从控制器520接收的显示指令时生成补充全息内容的一个或多个压力波。所生成的压力波可为例如可听的(用于声音)、超声的(用于触摸)或其某一组合。类似地，感觉反馈系统570可包含香气投影装置。香气投影装置可配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。此外，感觉反馈系统570可包含温度调整装置。温度调整装置配置成当执行从控制器520接收的显示指令时增加或降低目标区域中的一些或全部中的温度。
115.在一些实施例中，感觉反馈系统570可包含力致动装置。力致动装置可用于移动目标区域中的一些物理对象。在一个实例中，lf显示系统500可与多感觉游戏应用程序整合，其中力致动装置可移动与游戏相关联的件。
116.在一些实施例中，感觉反馈系统570配置成从lf显示系统500的观看者接收输入。在这种情况下，感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。感觉反馈装置可包含例如声学接收装置(例如，麦克风)、压力传感器、运动检测器、超声换能器、其它换能器、力传感器、温度传感器、触摸传感器、接近度传感器等装置。传感器反馈系统还可包括按钮、拨号盘、旋钮、键盘、指纹传感器、操纵杆、其它输入硬件或其任何组合。感觉反馈系统570可包含配置成在呈现全息内容时提供感觉反馈的感觉反馈装置。感觉反馈系统可将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。在一些实施例中，感觉反馈系统570将从观看者接收到的输入识别为从观看者到移动装置的所接收命令。
117.为了说明，在光场显示组合件的实例实施例中，感觉反馈系统570包含麦克风。麦克风配置成记录由移动装置用户产生的音频。感觉反馈系统570将所记录的音频作为用户输入提供给控制器520。控制器520可使用用户输入来生成全息内容。类似地，感觉反馈系统570可包含压力传感器。压力传感器配置成测量由用户施加到压力传感器的力。感觉反馈系统570将所测量的力作为用户输入提供给控制器520。
118.在一些实施例中，感觉反馈组合件570还配置成重定向用户移动。在一个实施例中，感觉反馈组合件570包含声学投影装置，所述声学投影装置可产生触觉压力波以阻止移动，例如当跟踪系统580在相机传感器主动地记录图像数据时跟踪阻挡移动装置相机的用户手的存在时。在另一实施例中，感觉反馈组合件570可使用声学发射装置以可听方式向用户发出进一步动作的信号(例如，“相机正在记录-不要挡住相机”)。
119.在一些实施例中，lf显示系统500包含跟踪系统580。跟踪系统580包含配置成获得
关于装置的用户的信息的任何数目个跟踪装置，所述信息包含目标区域中的用户的位置、移动、手势、表情、视线和/或特性(例如，性别和年龄)。通常，跟踪装置在lf显示组合件510的外部。一些实例跟踪装置包含相机组合件(“相机”)、深度传感器、结构化光、lidar系统、卡扫描系统或可跟踪目标区域内的用户的任何其它跟踪装置。
120.跟踪系统580可包含用光照亮目标区域中的一些或全部的一个或多个能量源。然而，在一些情况下，当呈现全息内容时，目标区域被来自lf显示组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时，能量源投影光。光可为例如结构化光图案、光脉冲(例如，ir闪光灯)或其某一组合。跟踪系统可投影以下中的光：可见波段(约380nm到750nm)、红外(ir)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁光谱的某一其它部分或其某一组合。源可包含例如发光二极管(led)、微型led、激光二极管、tof深度传感器、可调激光器等。
121.跟踪系统580可在执行从控制器520接收的指令时调整一个或多个发射参数。发射参数为影响光如何从跟踪系统580的源投影的参数。发射参数可包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投影的某一其它参数或其某一组合。在一个实施例中，源在飞行时间操作中投影光脉冲。
122.跟踪系统580的相机捕获从目标区域反射的光的图像(例如，结构化光图案)。当执行从控制器520接收的跟踪指令时，相机捕获图像。如先前所描述，光可由跟踪系统580的源投影。相机可包含一个或多个相机。也就是说，相机可为例如光二极管的阵列(1d或2d)、ccd传感器、cmos传感器、检测由跟踪系统580投影的光中的一些或全部的某一其它装置或其某一组合。在实施例中，跟踪系统580可含有在lf显示组合件510外部的光场相机。在其它实施例中，将相机包含为包含在lf显示组合件510中的lf显示模块的一部分。举例来说，如先前所描述，如果光场模块512的能量中继元件为在能量装置层220处交织发射显示器和成像传感器两者的双向能量层，则lf显示组合件510可配置成同时投影光场并记录来自显示器前方观看区域的成像信息。在一个实施例中，从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
123.当执行从控制器520接收的跟踪指令时，跟踪系统580的相机可调整一个或多个成像参数。成像参数为影响相机组合件如何捕获图像的参数。成像参数可包含例如帧率、孔径、增益、曝光长度、帧时序、影响相机组合件如何捕获图像的某一其它参数或其某一组合。
124.在一些实施例中，跟踪系统580也配置成从lf显示系统500的观看者接收输入。跟踪系统580可跟踪观看者的身体移动且将关于特定跟踪移动的信息发送到控制器520。在一些实施例中，跟踪系统580与呈现给用户的全息用户界面一起使用。
125.控制器520控制lf显示组合件510和lf显示系统500的任何其它组件。控制器520包括数据存储装置522、网络接口524、跟踪模块526、用户简档模块528、光场处理引擎530和命令库532。在其它实施例中，控制器520包括比本文所描述的模块更多或更少的模块。类似地，可以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。举例来说，跟踪模块526可为lf显示组合件510或跟踪系统580的一部分。
126.数据存储装置522为存储用于lf显示系统500的信息的存储器。所存储的信息可包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个用户简档、用于光场显示组合件510的校准数据、lf显示系统510的配置
数据(包含lf模块512的分辨率和定向)、所要观看体几何形状、用于包含3d模型的图形创建的内容、场景和环境、材质和纹理、包含验证因素(例如，密码)的安全相关信息、智能卡、可由安全模块534使用的生物识别数据、可由lf显示系统500使用的其它信息或其某一组合。数据存储装置522为存储器，例如只读存储器(rom)、动态随机存取存储器(dram)、静态随机存取存储器(sram)，或其某一组合。
127.网络接口524允许光场显示系统经由网络与其它系统或环境进行通信。在一个实例中，lf显示系统500经由网络接口524从远程服务器(例如，线上全息内容存储装置)接收全息内容。在另一实例中，lf显示系统500使用网络接口524将全息内容传输到远程数据存储装置。
128.跟踪模块526跟踪观看由lf显示系统500呈现的内容的观看者。为此，跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令，并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令，并将跟踪输入提供给跟踪模块526。
129.跟踪模块526可确定一个或多个观看者在移动装置的目标区域内的位置。所确定的位置可相对于一些参考点(例如，显示表面)。在其它实施例中，所确定的位置可在目标区域的虚拟模型内。所跟踪位置可为例如观看者的所跟踪位置和/或观看者的一部分的所跟踪位置(例如，眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定位置。跟踪系统580的相机可围绕lf显示系统500分布，且可捕获立体图像，从而允许跟踪模块526被动地跟踪用户。在其它实施例中，跟踪模块526主动跟踪用户。也就是说，跟踪系统580照亮目标区域的某一部分，对目标区域进行成像，且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定位置。跟踪模块526使用所确定的位置来生成跟踪信息。
130.跟踪模块526还可接收跟踪信息作为来自lf显示系统500的观看者的输入，例如在使用移动装置上的全息用户界面时(下文进一步描述)。跟踪信息可包含对应于由lf显示系统500向用户提供的各种输入选项的身体移动。举例来说，跟踪模块526可跟踪用户身体移动且将任何各种移动作为输入分配到lf处理引擎530。跟踪模块526可将跟踪信息提供到数据存储装置522、lf处理引擎530、用户简档模块528、命令存储装置532、lf显示系统500的任何其它组件，或其某一组合。lf处理引擎530可部分地基于所提供的跟踪信息生成全息内容。
131.为提供跟踪模块526的上下文，考虑移动装置内的游戏应用程序中使用的lf显示系统500的实例实施例。当用户通过在空中挥动他们的拳头以展示他们的兴奋来响应获胜时，跟踪系统580可记录用户的手的移动并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪用户的手的运动，并将输入发送到lf处理引擎530，如下文所描述。如下文所描述，用户简档模块528确定图像中的信息指示用户的手的运动与肯定响应相关联。因此，lf处理引擎530生成适当的全息内容以庆祝获胜。举例来说，lf处理引擎530可在与游戏应用相关联的全息对象体积中投影五彩纸屑。
132.lf显示系统500包含配置成标识装置用户并对装置用户形成简档的用户简档模块528。用户简档模块528生成观看由lf显示系统500显示的全息内容的用户(或多个用户)的简档。用户简档模块528部分地基于用户输入和所监测的用户行为、动作和反应来生成用户简档。用户简档模块528可存取从跟踪系统580获得的信息(例如，所记录的图像、视频、声音
等)并处理所述信息以确定各种信息。在各个实例中，用户简档模块528可使用机器视觉或机器学习算法来确定用户行为、动作和反应。监测的用户行为可包含例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、手势的其它变化，或用户的移动等。
133.更通常，用户简档可包含关于观看来自lf显示系统的全息内容的用户所接收和/或确定的任何信息。举例来说，每一用户简档可记录所述用户对由lf显示系统500显示的内容的动作或响应。下文提供了可包含在用户简档中的一些实例信息。
134.用户简档可基于用户相对于由lf显示系统500显示的内容的行为。在一些实施例中，驻存于装置中的软件应用程序可与lf显示系统500在功能上整合，且用户简档是基于在装置中执行这些软件应用程序时监视的用户行为。
135.因此，举例来说，被监控的行为可包含诸如用户在诸如一天或一周的时间段内使用应用程序的次数、用户使用应用程序上的特定设置的频率(例如，与装置中特定拼图游戏应用程序一起使用的“8级”设置的频率)，用户如何响应某些类型的全息内容(例如，在时钟闹钟应用程序中
‑‑
用户的首选设置是什么
‑‑
伴随高频哨声的闪烁按钮的全息图像或仅闪烁按钮的全息图像)，与特定装置的使用相关的某一其它行为，或其某一组合。
136.在另一实例中，用户可展现对于结合全息内容呈现的触觉接口的偏好，例如全息键盘触摸界面中的优选的键点击灵敏度，其可由lf显示系统100产生且作为选项而提供给移动装置用户。
137.作为用户简档信息的部分而存储的其它用户特性可包含例如用户的姓名、用户的年龄、种族、性别、观看位置、工作信息、教育、收入、购买花费的金钱、爱好、位置、观看历史、观看线上项目的类别、购买历史、装置和应用程序设定偏好、驻留的位置、任何其它人口统计信息或其某一组合。
138.用户简档模块528还可从第三方系统或线上系统存取与特定用户(或多个用户)相关联的简档，以建立和/或更新用户简档。用户简档模块528可配置成使用来自用户(或多个用户)的社交媒体账号的信息更新用户简档。举例来说，与链接到用户的社交媒体或其它线上账号的第三方供应商的用户交互可提供可由用户简档模块528存取的另外用户简档信息。因此，用户简档信息可存储信息，例如最喜欢的音乐家、最喜欢的电影角色、不喜欢的音乐流派等，且在存取来自线上全息内容商店的内容时充分利用此信息。
139.在一些实施例中，数据存储装置522包含存储由用户简档模块528生成、更新和/或维护的用户简档的用户简档存储装置。可由用户简档模块528随时在数据存储装置中更新用户简档。举例来说，在实施例中，当特定用户观看由lf显示系统500提供的全息内容时，用户简档存储装置接收和存储关于特定用户在其用户简档中的信息。在此实例中，用户简档模块528包含面部识别算法，所述面部识别算法可识别用户且在其观看所呈现的全息内容时肯定地标识。为了说明，在用户进入lf显示系统500的目标区域时，跟踪系统580获得用户的图像。用户简档模块528输入所捕获的图像，并使用面部识别算法来识别用户的面部。所识别的面部与简档存储装置中的用户简档相关联，且因此，所获得的关于所述用户的所有输入信息可存储在其简档中。用户简档模块还可利用卡识别扫描器、语音识别符、射频识别(rfid)芯片扫描器、条形码扫描器等来肯定地识别用户。
140.因为用户简档模块528可肯定地标识用户，所以用户简档模块528可确定lf显示系统500的每个用户，以及关于每个用户的信息。这在移动装置可由多个用户共享时尤其相
关，例如在教室环境中或家庭内由多个学生共享使用的移动平板装置。用户简档模块528可随后将每次存取的时间和日期存储在每个用户的用户简档中。类似地，用户简档模块528可在每当其发生时存储从感觉反馈系统570、跟踪系统580和/或lf显示组合件510的任何组合接收到的来自用户的输入。用户简档系统528可另外从控制器520的其它模块或组件接收关于用户的其它信息，所述其它模块或组件可随后与用户简档一起存储。控制器520的其它组件也可随后存取所存储的用户简档，以确定提供给所述用户的后续内容。控制器520可配置成至少部分地基于来自所存储的用户简档的所存取的数据接收或生成全息内容。举例来说，为家庭中的少年生成的用户界面可能使用她最喜欢的全息漫画书超级女主角的化身来接收口头命令，而为祖父生成的用户界面可能是放大的闪烁全息界面，其中具有易于看到的具有重合触觉刺激的大按钮渲染图，以便于“按下”。
141.lf处理引擎530生成呈光栅化格式(“光栅化数据”)的4d坐标，所述4d坐标在由lf显示组合件510执行时使得lf显示组合件510呈现全息内容。lf处理引擎530可从数据存储装置522存取光栅化数据。另外，lf处理引擎530可从向量化数据组构建光栅化数据。下文描述向量化数据。lf处理引擎530还可生成提供强化全息对象的感觉内容所需的感觉指令。如上文所描述，当由lf显示系统500执行时，感觉指令可以生成由lf显示系统500支持的触觉表面、声场和其它形式的感觉能量。lf处理引擎530可从数据存储装置522存取感觉指令，或从向量化数据组构建感觉指令。总的来说，4d坐标和感觉数据表示可由lf显示系统执行以生成全息和感觉内容的显示指令。
142.描述通过lf显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522进行存取时有可能将光栅化数据显示在lf显示系统500上，但是不能有效地传输、接收(例如，经由网络接口524)并随后在lf显示系统500上显示光栅化数据。举例来说，以表示由lf显示系统500进行的全息投影的短视频的光栅化数据为例。在此实例中，lf显示系统500包含含有若干十亿像素的显示器，且光栅化数据含有用于显示器上的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如，每秒数千兆字节的视频显示时间)，且对于经由网络接口524在商业网络上的有效传送来说是不可管理的。对于包含全息内容的实时流式传输的应用，可以放大有效传送问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时，产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验，可响应于感觉或跟踪输入实时修改由lf处理引擎530生成的光场内容。换句话说，在一些情况下，无法简单地从数据存储装置522读取lf内容。
143.因此，在一些配置中，可用向量化数据格式(“向量化数据”)将表示由lf显示系统500显示的全息内容的数据传送到lf处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外，向量化数据提供高图像质量，同时具有实现数据的有效共享的数据组大小。举例来说，向量化数据可为源自更密集数据组的稀疏数据组。因此，基于如何从密集光栅化数据采样稀疏向量化数据，向量化数据可在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此，向量化数据能够经由网络接口524实现全息内容的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
144.总而言之，lf处理引擎530可生成源自从数据存储装置522存取的光栅化数据、从数据存储装置522存取的向量化数据，或经由网络接口524接收的向量化数据的全息内容。
在各种配置中，向量化数据可在数据传输之前进行编码且在由lf控制器520接收之后进行解码。在一些实例中，对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。举例来说，通过网络接口接收的向量化数据可为从全息流媒体应用接收的编码向量化数据。在一些实例中，向量化数据可能需要解码器、lf处理引擎530，或者这两者来存取在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
145.向量化数据含有lf显示系统500以支持交互式体验的方式支持的每个感觉域中的所有信息。举例来说，用于交互式全息体验的向量化数据包含可为lf显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特性。向量化特性可包含可进行合成地编程、捕获、计算评估等任何特性。lf处理引擎530可配置成将向量化数据中的向量化特性转换成光栅化数据。lf处理引擎530可随后从lf显示组合件510投影从向量化数据转换的全息内容。在各种配置中，向量化特性可包含：一个或多个红/绿/蓝/α通道(rgba)+深度图像；具有或不具有不同分辨率的深度信息的多个视图图像，所述视图图像可包含一个高分辨率中心图像和较低分辨率的其它视图；例如反照率和反射率的材料特性；表面法线；其它光学效应；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标；环境条件；与用于纹理或温度、音频的机械感受器相关的体感能量向量；和任何其它感觉域特性。许多其它向量化特性也是可能的。
146.lf显示系统500还可生成交互式观看体验。也就是说，全息内容可响应于输入刺激，所述输入刺激含有关于用户位置、手势、交互、与全息内容的交互的信息，或源自用户简档模块528和/或跟踪模块526的其它信息。举例来说，在实施例中，lf处理系统500使用作为实时流媒体应用的一部分经由网络接口524在装置上接收的实时性能的向量化数据产生交互式观看体验。在另一实例中，如果全息对象需要响应于用户交互而立即在某一方向上移动，则lf处理引擎530可更新场景的渲染，因此全息对象在所述所需方向上移动。这可能需要lf处理引擎530使用向量化数据组来基于3d图形场景实时渲染光场，所述3d图形场景具有适当对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等，从而正确地对用户交互作出响应。lf处理引擎530将向量化数据转换成光栅化数据以由lf显示组合件510呈现。
147.光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。lf显示组合件510通过执行显示指令同时投影实时性能的全息和感觉内容。lf显示系统500使用跟踪模块526和用户简档模块528监视用户与所呈现的实时性能的交互(例如，声音响应、触摸等)。响应于用户交互，lf处理引擎通过生成额外全息和/或感觉内容以显示给用户来产生交互式体验。
148.为了说明，考虑包含lf处理引擎530的lf显示系统500的实例实施例，所述lf处理引擎530在移动装置中的应用程序的执行期间生成表示在移动装置的用户的观看体中漂浮的气球的多个全息对象。用户可移动以触摸表示气球的全息对象。相应地，跟踪系统580跟踪用户的手相对于全息对象的移动。用户的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续地确定用户的手的运动并将已确定的运动发送到lf处理引擎530。lf处理引擎530确定用户的手在场景中的放置，调整图形的实时渲染以包含在全息对象中的任何所需的改变(例如，位置、颜色或遮挡)。lf处理引擎530指示lf显示组合件510(和/或感觉反馈系统570)使用体触觉投影系统(例如，使用超声扬声器)生成触觉表面。所生成的触觉表
面对应于全息对象的至少一部分，且占据与全息对象的外部表面中的一些或全部基本上相同的空间。lf处理引擎530使用跟踪信息来动态地指示lf显示组合件510将触觉表面的位置与经渲染的全息对象的位置一起移动，使得给予用户触摸气球的视觉和触觉感知两者。更简单地，当用户观看他的手触摸全息气球时，用户同时感觉到指示其手触摸了全息气球的触觉反馈，且气球响应于触摸而改变位置或运动。在一些实例中，并非呈现与执行具有从数据存储装置522存取的内容的应用程序相关联的交互式气球，而是可将交互式气球作为经由网络接口524从实时流媒体应用接收的全息内容的一部分来接收。
149.lf处理引擎530可向便携式移动装置上的媒体内容的观看者提供用于同时显示的全息内容。举例来说，在用lf显示系统500强化的移动装置上被观看的视频可包含要在视频期间呈现给用户的全息内容(“全息内容轨迹”)。全息内容轨迹可由装置接收且存储于数据存储装置522中。全息内容轨迹包含增强观看装置上的视频的用户的观看体验的全息内容。
150.lf处理引擎530可基于用户简档而创建、修改和/或更新全息内容。用户简档的更新可引起所显示的全息内容的更新。在一些实施例中，lf处理引擎530可基于用户简档结合人工智能模型创建、修改和/或更新全息内容。
151.全息内容轨迹中的全息内容可与任何数目的时间、听觉、视觉等提示相关联以显示全息内容。举例来说，全息内容轨迹可包含待在视频期间在特定时间显示的全息内容。作为说明，全息内容轨迹可包含在视频“bottlenosed”期间在视频开始之后的35分42秒显示的一群全息海豚。在另一实例中，全息内容轨迹包含当感觉反馈系统570记录特定音频提示时将呈现的全息内容。作为说明，全息内容轨迹包含在游戏应用程序期间当感觉反馈系统570记录的音频指示用户/玩家在笑时呈现的全息化身笑。在另一实例中，全息内容轨迹包含在跟踪系统580记录特定视觉提示时将显示的全息内容。作为说明，全息内容轨迹包含全息闪烁标志，且当跟踪系统580记录信息指示用户正在远离装置时，显示器上显示文字“你想停下来吗？”。下文更详细地描述确定听觉和视觉提示。
152.全息内容轨迹还可包含空间渲染信息。也就是说，全息内容轨迹可指示用于在所显示的视频轨迹中呈现全息内容的空间位置。举例来说，全息内容片段可指示将在一些全息观看体中，而不是其它全息观看体中呈现某些全息内容。为了说明，lf处理引擎530可在用户面部正前方的全息观看体积中呈现显示电子邮件应用程序的全息屏幕。类似地，全息内容轨迹可指示全息内容呈现给一些观看体，而不是其它观看体。举例来说，lf处理引擎可将全息屏幕呈现给用户面部正前方的观看体，而不是任何其它观看体中，使得所述屏幕仅对用户私有。
153.lf处理引擎530可结合在装置上执行的应用程序提供全息内容以显示给用户。全息内容可在lf显示系统500装置处通过网络从线上全息内容商店接收，所述线上全息内容存储区使可用全息内容用于下载到移动装置以换取交易费用。举例来说，用户可访问线上全息内容商店，并获得特定的超级英雄角色以换取交易费用，以结合在装置上执行的应用程序用作全息化身。全息内容可在lf显示系统500处通过网络从线上全息应用程序商店接收，所述线上全息应用商店使得可用全息应用程序用于下载到移动装置上和在移动装置上执行以换取交易费用。举例来说，用户可访问全息应用程序商店以购买用于生成和定制全息化身的应用程序，且可执行的应用程序可下载用于生成和定制全息化身的特定全息用户界面。全息内容可作为与装置上执行的特定应用程序相关联的广告内容的一部分提供。举
例来说，当用户点击移动装置上的游戏应用程序时，lf显示系统500可存取产品的全息内容作为广告商提供的广告，并在游戏应用程序的过程中显示这些内容。全息内容可存储在数据存储装置522中，或者通过网络接口524以向量化格式流式传输到lf显示系统500。
154.lf处理引擎500还可修改全息内容以适应位置处的环境特征。举例来说，基于用户是否位于黑暗的房间空间、明亮的照亮房间、阳光充足的室外位置等，lf处理引擎可修改移动装置上的全息内容以显示适合所述位置的照明的亮度。lf处理引擎可使用存储在数据存储装置522中的数据以及来自跟踪模块580中的相机系统的信息来定制全息内容的显示。此外，全息内容的修改还可采用由用户简档模块528确定的用户显示偏好。
155.lf处理引擎530还可响应于从感觉反馈系统570接收到的信息来修改全息内容。举例来说，感觉反馈系统570中的加速度计可测量移动装置的线性加速度。lf处理引擎530可修改显示的全息内容以滤除由加速引起的全息显示中的任何视觉抖动。类似地，感觉反馈系统570中的陀螺仪可检测移动装置的定向的改变，且可基于检测到的改变重新定向所显示的全息内容。在一些实施例中，跟踪模块526可跟踪用户的头部旋转且可响应于此重新定向所显示的全息ui。
156.lf处理引擎530还可创建全息内容以由lf显示系统500显示。重要的是，此处，创建用于显示的全息内容不同于存取或接收用于显示的全息内容。也就是说，当创建内容时，lf处理引擎530生成用于显示的全新内容，而不是存取先前生成和/或接收的内容。lf处理引擎530可从数据存储装置522、跟踪模块526、用户简档模块528、感觉反馈系统570、跟踪系统580或其某一组合获得或接收信息，以创建全息内容以供显示。在一些实例中，lf处理引擎530可存取来自lf显示系统500的元件的信息(例如，跟踪信息和/或用户简档)，基于所述信息创建全息内容，且使用lf显示系统500显示创建的全息内容。当通过lf显示系统500显示时，所创建的全息内容可以其它感觉内容(例如，触摸、音频、压力、力或气味/嗅觉)强化。此外，lf显示系统500可将所创建的全息内容存储在数据存储装置522中以供将来使用。
157.在一些实施例中，lf处理引擎530可响应于改变移动装置的操作状态而使得所生成的全息内容被更新、修改、删除、暂停或其组合。在一些实施例中，lf处理引擎530可响应于从跟踪系统580接收且由跟踪模块526解译的信息而使得所生成的全息显示被更新、修改、删除、暂停或其某一组合。举例来说，跟踪模块580可将从跟踪系统580捕获的用户视线信息提供到lf显示模块以用于重新渲染全息角色，使得全息角色与正与装置交互的用户进行眼神接触。在一些实施例中，由用户作出的操作选择可影响全息内容的显示。举例来说，当lf显示系统确定用户已作出使闹钟应用程序在6：00am时产生提醒的操作选择时，lf显示系统可仅在6：00am或如由用户配置的时间时呈现闪烁红色按钮以及提醒声音的全息描绘。
158.在一些实施例中，lf显示系统500包含命令库532。命令库532可充当识别和解译用户命令的命令接口。所识别命令可使得移动装置的操作状态改变。可基于从感觉反馈系统570(例如，音频)、跟踪模块526(例如，所跟踪的手势或表情)、用户简档模块528(例如，所存储的个别偏好)或其某一组合所接收的跟踪信息来解译用户命令。命令库532可应用试探法来解译用户命令，且引导lf处理引擎530生成适当的全息内容、触觉和任何其它多感觉信息。命令库532将接收到的用户命令的映射存储到可由lf显示系统500执行的计算命令。命令库532还存储与所存储的映射相关联的试探法。命令库532可通过由lf显示系统500显示的全息用户界面接收用户命令。由lf显示系统500经由移动装置接收到的可能用户命令的
实例可包含用户对全息对象的不同触摸接触(例如，特定显示的全息“按钮”的手指触摸)和针对全息对象的表面的不同触摸移动(例如，转动显示的全息“旋钮”)。在一些实施例中，当通过跟踪模块526确定用户处于投影为全息用户界面的一部分的所显示全息对象的阈值距离内时，可确定触摸接触或触摸移动已发生。在一些实施例中，用户命令可包含由用户提供的感觉反馈，例如用户在目标区域内说出的口头命令(例如，使用移动装置上的声学接收器捕获的形式为“告诉我下一个加油站的位置”的口头命令)、由跟踪系统580捕获的手势和身体移动(例如，用户在目标区域举起的手以指示计时器应暂停)，感测作为感觉反馈系统570的一部分连接到显示器的物理开关、旋钮、按钮或拨号盘等或其组合。
159.待由lf处理引擎执行的对应于接收到的用户命令的计算命令可包含显示特定全息对象的命令、更新全息内容的显示、修改特定全息对象的显示、显示全息对象的序列、暂停或播放正由lf显示系统500呈现的内容、删除所显示对象或其组合。其它计算命令可涉及致动其它传感器和控件，例如操纵杆的游戏控件。因此，在一些实施例中，检测到的用户动作(例如，转动所显示的全息“拨号盘”)由跟踪系统580报告到命令库532。作为响应，命令库532可从所存储的试探法应用试探法，且确定需要执行涉及将指令发送到系统以(例如)适当地在所显示的全息时钟中设置计时器应用程序的计算命令。
160.在一些实施例中，命令库540从数据存储装置522和跟踪模块580接收信息以基于可以较少可信度检测到的用户命令来解析不明确的映射。然而，来自跟踪系统580的信息和来自数据存储装置522的用户简档信息可提供足够的试探法信息以解疑映射且确定待执行的特定计算命令。随后将此确定的计算命令提供到lf处理引擎530以供执行。
161.在一些实施例中，lf显示系统500包含安全模块534。安全模块534强制执行对由lf显示系统提供的功能中的至少一些的安全存取。为此，安全模块534可通过lf显示系统500生成用户界面元件以用于从移动装置的用户接收验证凭证信息(例如，密码或生物识别数据)。安全模块可基于存储于数据存储装置522中的数据而验证凭证信息。在验证用户之后，安全模块534可实现用户对lf显示系统500的功能中的一些或全部的安全存取。在一些实施例中，安全模块534可实现从数据存储装置或从线上源存取的特定全息内容的显示，或移动装置上的某些应用程序的执行。举例来说，lf显示系统可仅在验证用户凭证之后将特定全息内容呈现给观看者，且在没有验证用户凭证的情况下不将其呈现给观看者。安全模块534可将关于验证移动装置的用户的信息提供到数据存储装置522、用户简档模块528、lf处理引擎530、命令库532、lf显示系统500的任何其它组件或其某一组合。
162.lf显示系统的动态内容生成
163.在一些实施例中，lf处理引擎530并入有人工智能(ai)模型，以创建全息内容以供lf显示系统500显示。ai模型可包含监督或无监督的学习算法，包含但不限于回归模型、神经网络、分类器或任何其它ai算法。ai模型可用于基于由lf显示系统500记录的用户信息(例如，通过跟踪系统580)确定用户偏好，所述lf显示系统500可包含关于用户的行为的信息。ai模型还可将学习到的每个用户的偏好存储在数据存储装置522的用户简档存储装置中。在一些实例中，当多个用户可操作移动装置时，ai模型可基于学习到的用户的偏好而针对特定个别用户创建全息内容。ai模型可从数据存储装置522存取信息以创建和/或修改全息内容。在一些实施例中，ai模型可使用学习算法的结果来建立用于存储于命令库532中的命令映射的用户特定试探法。
164.可用于识别用户的特性、识别反应和/或基于所识别的信息生成全息内容的ai模型的一个实例是具有节点层的卷积神经网络模型，其中在当前层的节点处的值是在先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。在一些实例中，还可通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。
165.模型的输入可为由跟踪系统580拍摄的编码到第一卷积层上的图像，且模型的输出为从神经网络的输出层解码的全息内容。替代地或另外，输出可为用户在图像中的确定特性。在此实例中，ai模型可识别图像中表示神经网络的一个中间层中的用户特性的潜在信息。可通过在对应中间层之间应用一组变换来检索在所述层中识别的元件之间的相关信息。用于变换的权重和参数可指示包含于起始层中的信息与从最终输出层获得的信息之间的关系。举例来说，权重和参数可为包含在表示图像中的微笑用户的信息中的形状、颜色、大小等的量化。权重和参数可基于历史数据(例如，先前跟踪的用户)。在一些实施例中，来自跟踪系统的信息可与ai模型结合使用以生成与所呈现的全息内容一致或在所呈现的全息内容的阈值距离内的体触觉表面。
166.在一个实施例中，ai模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入且使用所创建全息内容的改变作为输出来提高性能的质量。
167.强化学习为机器学习系统，其中机器学习“做什么
”‑
如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如，lf处理引擎530)要采取哪些动作(例如，生成规定的全息内容)，而是通过尝试所述动作发现哪些动作产生最高的奖励(例如，通过使更多用户微笑来提高全息内容的质量)。在一些情况下，动作不仅可以影响即时奖励，而且影响下一种情况，并因此影响所有后续奖励。这两个特征
‑‑
尝试错误搜寻和延迟奖励
‑‑
是强化学习的两个显著特征。
168.ai模型可包含任何数量的机器学习算法。可采用的一些其它ai模型为线性和/或逻辑回归、分类和回归树、k-均值聚类、向量量化等。一般来说，lf处理引擎530采用来自跟踪模块526和/或用户简档模块528的输入，且机器学习模型作为响应产生全息内容。类似地，ai模型可引导全息内容的渲染。
169.网络环境
170.图6根据一个或多个实施例描绘网络环境600的框图。网络环境600包括一个或多个移动装置610、网络630和一个或多个远程服务器640。
171.在一个实施例中，移动装置610为执行计算机程序模块(例如，网页浏览器或客户端应用程序)的便携式计算装置，所述计算机程序模块允许用户浏览因特网、消费媒体内容且执行多种软件应用程序。移动装置610可为例如个人计算机、平板计算机、智能手机、专用电子读取器或任何其它类型的具有网络功能的装置。移动装置610包括光场显示系统612和用户界面614。在其它实施例中，移动装置610包括比本文所描述的模块更多的或更少的模块。类似地，可以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。
172.移动装置610包括lf显示系统612、用户界面614、移动操作系统(os)616、电力系统618和全球定位系统(gps)模块620，以及其它组件。lf显示系统612为图5中所描绘的lf显示系统500的实施例。用户650可通过用户界面614与移动装置610交互。
173.lf显示系统612可访问移动装置610的硬件组件。举例来说，lf显示系统612可通过访问移动装置内的电力电路以从电源(例如，从电池或从移动装置上的充电单元)导出电力而为自身供电。跟踪系统580可能够存取移动装置610或gps模块620的一个或多个相机或深度传感器。感觉反馈系统570可访问用户界面614的按钮、开关、麦克风或键盘。控制器520可按需要访问移动装置内的实时时钟(rtc)电路以实现基于时间的功能。用户简档模块528可通过对指纹传感器或键盘的直接访问来确定用户识别。用户简档模块可经由连接到网络630的网络接口614下载或上传用户简档信息。取决于用户设置，lf显示组合件可投影全息内容或2d内容。通常，lf显示系统612整合到移动装置610的其它硬件组件中。
174.移动装置610包含向移动装置610的用户650提供移动操作体验的移动os 616。移动os 616管理移动电话能力的提供、lf显示系统的操作功能、适合于包含显示器和i/o装置的移动环境的用户界面能力等。lf显示系统612可为如由lf显示系统500提供的全息显示。移动os 616管理可由用户通过移动os 616的用户界面控制的在移动装置610上执行的应用程序。用户界面可为从lf显示系统612投影的图形用户界面(gui)。移动os 616具有各种抽象层，其中每一层与较低层介接，且包含用于管理例如cpu、存储器和i/o等移动装置资源的内核。内核提供过程的低层级调度、过程间通信、过程创建和删除、中断处理等特征。移动os的其它抽象层通过系统调用或应用程序编程接口(api)层与内核交互。移动装置610的用户650通过用户界面614与移动os 616交互。
175.移动os的功能观点是将移动os 616视为事件驱动系统，其驻留在由移动装置610的硬件递送的事件的等待循环中，且实现对驻留在事件队列内的递送事件的适当响应。此类事件的实例可为例如对2d触摸屏幕的特定位置的触摸、蜂窝网络上的来电、网络接口上的消息等。另外，事件驱动的移动os 616可响应于由lf显示系统612报告的事件，包含手、手指或其它身体部位在投影全息界面上的触摸，由跟踪模块526基于从跟踪系统580接收的跟踪数据报告的手势，位于投影全息按钮上之同一位置的重合触觉表面上的压力相关触摸事件。移动操作系统对移动装置的硬件组件递送的这些事件和其它事件的响应涉及由移动os执行的动作在移动os功能的所有抽象层。
176.移动os 616或移动os 616上运行的应用程序可管理lf显示系统612，从而允许lf显示系统612按需要访问移动装置的硬件组件。在移动os 616上运行的应用程序可在由用户请求后管理全息内容的呈现。类似地，移动os 616可展示全息用户界面且基于跟踪模块526所提供的跟踪信息而接受来自用户的操作选择，其中跟踪模块526可分析来自跟踪系统580的数据。移动os 616可运行访问社交媒体账号且与用户简档模块528介接以便呈现个性化全息内容的应用程序。通常，移动os 616可与lf显示系统612的控制器520介接以管理控制器、显示全息内容，且提供对移动装置610的硬件组件的访问。在一些实施例中，移动os 616可接收可插拔模块以充当用于管理lf显示系统的控制器520的驱动器。移动os可与移动os616上运行的这些模块或应用程序介接且访问对lf显示系统的控制器520的api调用以便显示全息内容、提供或检索用户简档信息、交换跟踪信息等。
177.移动装置610包含用于为移动装置610的各种组件供电的电力系统618。电力系统618可包含电力管理系统、一个或多个电源(例如，电池、交流电(ac)、再充电系统、电力故障检测电路、电力转换器或逆变器、电力状态显示器，和与移动装置中电力的产生、管理和分配相关的其它组件。如先前所提到，lf显示系统612可通过访问移动装置上的电力系统618
而为自身供电。
178.移动装置510包含gps模块620。gps模块620确定移动装置的位置并提供该信息以供在各种应用中使用。该位置信息可被提供给lf显示系统500以用于可利用位置信息的应用程序中，例如基于地图的应用程序等。在一些实施例中，lf显示系统500可响应于来自gps模块620的数据以及基于从gps模块620接收的位置数据显示全息内容。举例来说，一旦gps模块提供由在移动装置上执行的导航应用程序映射为目的地位置的位置坐标，与执行导航应用程序相关联的lf显示系统500就可显示指示到达某一地点的全息内容。
179.网络630可包括使用有线和/或无线通信系统两者的局域网和/或广域网的任何组合。举例来说，局域网可包含wifi和蓝牙网络。在一个实施例中，网络630使用标准通信技术和/或协议。举例来说，网络630包含使用例如以太网、802.11、全球微波接入互操作性(wimax)、3g、4g、码分多址(cdma)、数字订户线(dsl)等技术的通信链路。用于经由网络630通信的联网协议的实例包含多协议标记交换(mpls)、传输控制协议/互联网协议(tcp/ip)、超文本传输协议(http)、简单邮件传送协议(smtp)和文件传输协议(ftp)。在网络630上交换的数据可使用任何合适的格式来表示，例如超文本标记语言(html)或可扩展标记语言(xml)。在一些实施例中，网络630的通信链路的全部或一部分可使用任何合适的一种或多种技术进行加密。
180.一个或多个远程服务器640可经由网络630与移动装置610通信。在一个实施例中，远程服务器640可为提供用于执行的应用程序以及用于在装置610上显示的内容的应用程序提供者。远程服务器可为线上全息应用程序商店，其使得可用全息应用程序用于下载到移动装置上和在移动装置上执行以换取交易费用。远程服务器640可为线上全息内容商店，其使得可用全息内容用于下载到移动装置上以换取交易费用。远程服务器640可为第三方应用程序和/或内容提供商。新应用程序、新内容以及对现有应用程序和内容的更新可用于在装置610处通过网络630的任何推动启用或拉动启用的更新从远程服务器640执行和/或显示。这些应用程序和内容可含有待存储于数据存储装置522中以用于由光场显示系统612投影和显示的全息内容轨迹。对移动显示装置610可用的内容可包含待由光场显示系统612显示的与在移动装置610中执行软件应用程序相关联的广告、产品报价和产品优惠券。举例来说，描绘流行动画角色的全息内容可经由网络630从第三方内容提供商下载且存储在光场显示系统612中以供用户650用作“全息化身”以在一个或多个应用中代表用户650。
181.在一个或多个实施例中，为了确保预防对装置610的未经授权的网络访问，系统可使用安全设置来通过实体验证对装置610的网络访问，以用于建立到装置610的安全连接，和/或将内容下载到装置610。在一些实施例中，装置610可并入有验证因素(例如，密码和智能卡)或使用生物识别方法以在通过网络630或用户界面614访问移动装置610时强制执行访问控制。
182.lf显示系统中的全息用户界面和“触摸”解译
183.下文为用于生成供用户与移动装置交互的全息用户界面(ui)的lf显示系统的一些实施例的描述。此描述指代图5中的lf显示系统500中示出的元件。
184.在一些实施例中，所生成的全息ui为包含呈现给用户的一个或多个全息ui对象的用户界面。在一些实施例中，所呈现的全息ui对象也可以是虚拟图像显示的一部分，所述虚拟图像显示描绘例如漂浮在全息对象似乎驻留在其上的移动装置的表面上方的虚拟屏幕。
在一些实施例中，所呈现的全息对象和/或虚拟图像可强化装置上的物理ui。所生成的全息ui对象可包含但不限于3d全息对象，例如“按钮”、“旋钮”、“拨号盘”、“键盘”等。所生成的全息对象还可包含2d全息对象，例如显示带有许多选项列表的全息菜单的全息“屏幕”。通过指向或触摸全息菜单中的特定选项(例如，用他们的手指)可提示用户(例如，通过音频提示，或通过视觉显示的提示)选择一个或多个选项。
185.在一些实施例中，所呈现的全息ui对象可以触觉刺激强化以产生与所呈现的全息对象的表面处于同一位置的触觉表面。因此，举例来说，感觉反馈系统570可投影超声能量(例如，压力波)以产生与全息“按钮”上的正面显示表面位于同一位置的触觉表面。跟踪系统580可跟踪用户朝向全息“按钮”的移动(例如，用户手指的移动)。移动信息可由跟踪系统580发送到控制器520。控制器520中的跟踪模块526可确定，当被跟踪的手指在所呈现的触觉表面的某个阈值距离内时，手指正在“触摸”或“按下”全息“按钮”。此外，响应于跟踪模块526的此确定，命令库532可指示lf处理引擎530在不同位置呈现全息“按钮”和并置所呈现的触觉表面，对应于全息“按钮”的运动，就好像它是由用户“按下”一样。
186.在一些实施例中，可响应于从感觉反馈系统570接收到的信息修改或更新全息ui。举例来说，感觉反馈系统570中的加速度计可测量移动装置的线性加速度，且可与所测量的加速度同步地递增地更新所显示的全息ui。类似地，感觉反馈系统570中的陀螺仪可检测移动装置的定向的改变，且可基于检测到的改变重新定向ui。在一些实施例中，跟踪模块526可跟踪用户的头部旋转且可作为响应重新定向所显示的全息ui。
187.在另一实施例中，全息ui可涉及呈现向用户打招呼的全息角色。在一些实施例中，全息角色可与全息ui对象的呈现一起呈现。在其它实施例中，可首先向用户呈现全息角色，随后，可呈现具有全息ui对象的全息“菜单”。在一些实施例中，可响应于从用户接收到的命令来修改全息角色。在又其它实施例中，所有交互可涉及来自用户的由感觉反馈系统570中的声学接收器接收的口述命令。在一些实施例中，所呈现的全息角色可用声刺激强化以通过移动装置中的扬声器发出对用户的口头响应。
188.在一些实施例中，可通过ai模型产生且个性化全息角色。全息角色可具有多种特性，这些特性可能会因品味而改变，包含以下中的任一个：外观(例如，名人的外观)、服装(或没有)、个性、声音(例如，名人的口音或声音)、脾气、用语(例如，使用的脏话数量)或其它特点。全息角色可具有cg角色(例如，超级英雄)的外观、诸如演员或运动员的著名人物、许多可用化身中的一个的随机选择或另一种外观。全息角色的外观可伴随着可识别的声学声音(例如，与外观相匹配的名人声音)且可由用户容易地改变。全息角色还可访问用户简档或社交媒体账号，以使其对用户更具吸引力。举例来说，全息角色可基于在用户的社交媒体账户上出现的照片或讨论中观察到的特性提供有趣的反馈，或者基于预定事件当天的日历提醒提供玩笑。对于用户的娱乐，可取决于用户的选择将全息角色置于坏心情或愉快心情中。在移动装置上观看和体验的全息角色特点的选择可经由网络630经由第三方内容提供商处的远程服务器640下载，例如线上商店，在一些情况下以换取交易费用。
189.在一些实施例中，跟踪模块526基于从跟踪系统580接收的信息确定用户在lf显示系统的目标视图内的存在，分析接收到的信息并将分析结果发送到命令库532。命令库532可基于接收到的分析使用存储在命令库532中的试探法，且确定需要向用户显示用户界面。此外，使用由用户简档系统528存储的用户简档信息，命令库532可应用命令库532中的其它
试探法且根据所存储的映射确定需要产生涉及显示向装置的用户打招呼的特定全息角色的自定义用户界面。命令库532可向lf处理引擎530发出计算命令以显示向用户打招呼的显示在全息对象体中的所确定的全息角色。执行此计算命令可涉及lf处理引擎530从数据存储装置522获取与呈现和显示全息角色有关的图像数据。命令库532还可触发感觉反馈系统570中的声学换能器以发送与所显示的全息角色同步的可听问候。lf处理引擎530可使用从跟踪系统580获得的跟踪信息来显现全息角色以查看和/或进行眼神接触，或以其它方式与用户交互。来自用户的口头响应可由定位于感觉反馈系统570内的声学接收装置(例如，麦克风或麦克风阵列)接收，所述感觉反馈系统570将此接收到的响应数据呈现给控制器520以供进一步处理。命令库532可使用从感觉反馈系统570接收的数据，应用试探法并响应于用户的口头话语确定例如需要向用户显示导航辅助应用程序界面。
190.在另一实施例中，用户可将lf显示系统配置为始终以特定定制的3d全息用户界面的呈现开始，所述用户界面还通过特定所要应用程序的显示来强化，例如电子邮件应用程序和/或社交媒体应用程序。在一些实施例中，移动装置用户可配置用于与lf显示系统相关联的各种应用程序的应用程序设置，以在执行特定应用程序时具有呈现供用户使用的所要特定全息用户界面。
191.在其它实施例中，全息用户界面包括比此处描述的功能更多或更少的功能。类似地，可以与此处所描述的方式不同的方式在lf显示系统500中的模块和/或不同实体之间分布所述功能。
192.跟踪系统580可跟踪用户的移动(例如，通过使用相机、一组相机、深度传感器或跟踪系统580内的一些其它传感器)。用户的移动可由跟踪系统580发送到控制器520以用于触摸解译。在一些实施例中，如下执行触摸解译：跟踪系统580首先在用户接近所呈现的全息对象(例如，用一根或多根手指)时跟踪用户移动。跟踪系统580将跟踪的移动信息发送到控制器520。跟踪模块526确定所跟踪的手指在所呈现的全息对象的阈值距离内，且作为响应确定用户正在“触摸”全息对象。在其它实施例中，触摸解译可涉及通过跟踪系统580跟踪关于所呈现的全息对象的其它类别的移动。用户的跟踪移动可包含但不限于确定用户针对一个或多个所呈现的全息对象正在执行以下中的一项或多项：改变位置、移动、按下、按压、拨号、旋转、键入、戳等。
193.在一些实施例中，感觉反馈系统570可感测强化所显示的全息对象的触觉表面的“触摸”。此确定可基于接收来自感觉反馈系统570中的压力传感器的输入，所述压力传感器检测由产生触觉表面的超声能量中的触摸引起的修改。此信息可发送到控制器520以用于进一步分析。
194.图7为根据一个或多个实施例的实施为移动装置的部分的lf显示系统700的实施例的图示。lf显示系统700为图5中所描述的lf显示系统500的实施例。移动装置710含有lf显示系统700的lf显示组合件720。lf显示组合件720可包括一个或多个lf显示模块(例如，图2b中的lf显示模块210或图4a中的lf显示模块412)。在一个或多个实施例中，移动装置710带有可含有物理特征(例如，按钮等)的一个或多个控制面板730和/或2d数字显示器(包含2d触摸屏幕)以由特定用户访问所述装置。另外，移动装置710还包含lf显示组合件720(例如，图5中的lf显示组合件510)以用于为装置的用户(例如，观看者a 772或观看者b 774)生成全息内容。lf显示系统700还可包含图5中所示的lf显示系统500的其它组件的任
何组合，例如感觉反馈系统570、跟踪系统580用户简档系统590和控制器520。
195.lf显示系统可使用包括一个或多个lf显示模块的lf显示组合件720将包含至少一个全息对象的全息内容呈现给用户。全息对象可为三维(3d)、二维(2d)或其某一组合。此外，全息对象可为多色的(例如，全色)。如图7中所显示，全息对象体740在lf显示组合件720的lf显示表面的前方和其后方延伸(例如，类似于图1中所示的全息对象体160)。全息观看体750表示用户可在其中观看由lf显示组合件720呈现的全息对象的观看空间。全息对象762和764可放置在全息对象体740内的任何地方。观看者a 772和观看者b 774可观看所显示的全息对象762和764。全息对象762和764还可具有从lf显示系统700投影的触觉表面，使得触觉表面与全息对象的一个或多个表面重合。lf显示系统700的跟踪系统可跟踪触摸所显示的全息对象762或764的表面的用户，这可使感觉反馈系统触发响应。因此，手指770朝向例如全息对象762的移动以及手指770在全息对象762的触觉表面上的“触摸”可由lf显示系统700中的跟踪系统建立。与全息对象762和764重合的投影触觉表面可响应于手指770的移动由感觉反馈系统适当地调整(例如，在改变触觉按钮的位置的同时改变绘示已按下按钮的全息内容)。
196.移动装置中的定制全息显示
197.在一些实施例中，lf显示系统可结合由图5中的用户简档系统528获得的用户信息使用跟踪系统以产生定制化的交互式体验。作为实例，在具有全息ui的应用程序中，所生成的全息“按钮”的大小可基于用户而不同-例如，它们可能对孩子来说很小，而大小可能较大，颜色更亮以便于老年用户观看。
198.此外，在一些实施例中，可定制lf显示系统以显示特定用户的特定内容。因此，举例来说，lf显示系统可定制为针对一个用户显示全息“按钮”而针对另一用户显示全息“拨号盘”。因此，相对于图7，当跟踪系统580跟踪观看者a 772的存在时，配置的设置可导致对观看者a 772的(仅)全息对象762(即，全息“按钮”)的定制显示。如果观看者b 774不存在，则不呈现全息对象764的显示。类似地，在感测到观看者b 774的存在时，配置的设置可导致对观看者774的全息对象764(即，全息“拨号盘”)的定制显示。
199.在其它实施例中，lf显示模块可显示定制的全息角色以与装置用户交互(例如，看、说话、听、触摸或其某一组合)。全息角色的一个或多个特性可由用户定制。可定制特性可以是全息角色的视觉、音频和个性特征中的任何一个。在一些实施例中，可通过网络从一个或多个线上系统检索与全息角色相关联的一些或所有特性以换取交易费用(例如，将“bart simpson”面孔添加到全息角色)。另外，跟踪系统可跟踪用户的视线。跟踪系统可向lf显示系统500提供视线信息以重新渲染全息角色以与正在与装置交互的用户进行眼神接触。
200.在一些另外实施例中，当多个用户使用移动装置时，用户简档系统可为每个装置用户构建用户简档以存储用户偏好或其他用户特性。用户简档可由用户简档模块528构建以用于用户中的每一者，且将这些使用简档存储在数据存储装置522中。
201.lf显示系统可利用用户简档系统590在装置的每次后续使用期间为用户个性化全息内容。举例来说，lf显示系统500可通过姓名(例如，视觉或通过音频)来称呼用户。这可能涉及使用跟踪信息来确定用户身份或通过用户验证，例如面部或声音识别、输入密码或一些其它方法。在一些实施例中，lf显示系统500生成与用户对先前生成的全息内容的响应相
对应的全息内容。举例来说，在一些实施例中，lf处理引擎530中的ai机器学习模块可通过检查他们的电子邮件然后解决数独谜题来了解用户每天开始。lf显示系统500可生成全息3d“主”屏幕显示，其中电子邮件应用程序打开以及显示数独谜题，所述数独谜题是基于存储在数据存储装置522中的数据获得和呈现的。
202.在一些实施例中，为用户定制光场显示可涉及隐私模式，其中跟踪系统580跟踪用户的位置，并生成定制的全息内容以仅对用户可见。图2b示出可由lf显示系统200形成的多个观看子体290。如其中的部分中所描述，观看子体290a中的用户可感知到在观看子体290b、290c和290d时用户不能够感知的全息对象体255中呈现的全息对象，因此确保观看隐私。因此，在这些情况下，在全息屏幕显示器上阅读电子邮件的用户可确保显示器仅对用户可见，而对附近的人不可见。在其它实施例中，lf显示组合件的观看体中的所有用户可看到定位于全息观看体中的所有全息对象(但是取决于用户位置，所有人都可看到不同的视角)。移动装置可为lf显示系统提供隐私设置以在隐私模式下为一个或多个跟踪用户呈现全息内容。
203.在移动装置中使用lf显示系统的例示性用户应用程序
204.移动装置与各种软件应用程序结合使用。可使用装置中的lf显示系统进一步强化这些应用程序中的一些。下文简要地呈现这些实例中的一些。
205.在一个实施例中，lf显示系统500可与涉及块的拼图应用程序一起使用。lf显示系统500可生成“空结构”的全息显示，其带有表示需要“填充”全息“空结构”的块的标记。同时，系统可向观看播放器显示各种形状的“块”的全息组。当先前通过网络630下载拼图应用程序时，用于生成结构和“块”集合的图像呈现数据可存储在数据存储装置530中。当玩家触摸一个块并将他或她的手指移动到容纳块的结构中的正确3d位置时，跟踪系统580跟踪此运动，且lf处理引擎530生成“结构”的全息渲染，其具有随着玩家手指的位置移动的块，且随后在块“移动”到位时使相应的3d位置“充满”块。
206.其它全息用户应用程序可涉及使用与跟踪系统580协调的感觉反馈系统570来生成当“触摸”时“移动”的全息渲染。实例包含呈现有助于家具组装的全息渲染、教自己动手的应用程序以及教育应用程序，其中例如医学生被教导使用全息人体呈现来解剖人体，这些呈现响应于用户的识别活动而改变。
207.在一个实施例中，涉及生成由lf显示系统500显示的广告，感官反馈系统570中的超声发射器可用于生成向用户提供关于产品的触觉信息的触觉表面样本(例如，地毯制造商可显示广告，其展示用户可能体验到的具有不同质地的地毯样品)。
208.其它应用实例涉及生成“网络宠物”的全息呈现，其响应于例如触摸和口头命令等感官刺激，并为“网络宠物”所有者提供“网络宠物”的沉浸式体验。跟踪系统580和感官反馈系统570一起可为用户提供对全息“网络宠物”的响应体验。
209.图8为示出根据一个或多个实施例的用于使用光场显示系统实现用户与移动装置的交互的过程的流程图。在一个实施例中，图8的过程由光场显示系统500执行(如图5中所示)。其它实体可在其它实施例中执行此过程的步骤中的一些或全部。同样地，实施例可包含不同和/或额外步骤，或以不同次序执行所述步骤。
210.光场显示系统500从用户接收810命令。用户命令可通过物理控制来接收，例如可被按下的物理按钮和能够物理触摸的屏幕，它们都可位于移动装置上且是感觉反馈系统
570的一部分。在另一实例中，用户命令可作为声音命令在例如作为感觉反馈系统570的一部分的声学麦克风的声学接收器处被接收。用户命令也可通过用户的全息对象交互来接收，例如与所显示的全息ui。用户命令也可通过跟踪系统580接收，所述跟踪系统580经由来自跟踪模块526的指令跟踪用户。在实施例中，用户命令可被捕获为由跟踪系统580记录并由跟踪模块526分析的用户的手势、身体运动或表情。在另一实施例中，当跟踪系统580检测到用户已触摸触觉全息表面，例如所显示的全息ui上的全息“按钮”时，可接收用户命令。也可在移动装置处通过通信网络接收用户命令。接收到的用户命令经由控制器中继到命令库532以进行解译和分析。
211.光场显示系统500处理820用户命令以确定计算命令。光场显示系统500中的命令库532解译接收到的用户命令，可能与用户简档系统528存储的用户简档信息相关联，如果需要，还结合跟踪模块来解译用户手势、身体运动、或表情，可应用存储的试探法，并基于接收到的用户命令确定计算命令。确定的计算命令的一个实例为生成更多全息内容以供移动装置的用户显示的命令。另一实例可为修改所生成的全息内容。确定的计算命令可激活lf显示系统中的传感器，例如用于跟踪用户的视线的成像传感器。确定的计算命令还可激活移动装置内的控件。确定的计算命令的一个实例为生成更多全息内容以供移动装置的用户显示。另一实例可为修改所生成的全息内容。所生成的全息内容可响应于在lf显示系统处接收到的参数值而被修改。因此，举例来说，当应用程序通过网络下载到移动装置上时，可投影全息“球体”以指示下载进度。指示下载的内容在下载进行时的时间点的百分比的参数的值可由lf显示系统使用以描绘填充有颜色的全息球，其示出应用程序下载时的进展。确定的计算命令可激活lf显示系统中的传感器，例如用于跟踪用户的视线的触发传感器。确定的计算命令还可激活移动装置内的控件。举例来说，计算命令可增加移动装置中的扬声器音量，或者将特定的音频音调设置为闹钟提醒。
212.光场显示系统基于计算命令生成830用于显示的全息内容。光场显示系统500中的lf处理引擎530从命令库532接收确定的计算命令，并基于计算命令生成830用于显示的全息内容。
213.光场显示系统500显示840所生成的全息内容。控制器520发送显示指令以将全息内容从lf处理引擎530投影到lf显示组合件510。lf显示组合件510向用户显示全息内容。
214.额外的配置信息
215.已出于说明的目的呈现本公开的实施例的前文描述，并且其不意图为穷尽性的或将本公开限于所公开的精确形式。相关领域的技术人员可了解到，根据以上公开内容，许多修改和变化是可能的。
216.此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。当在功能上、计算上或逻辑上描述时，这些操作应理解为通过计算机程序或等效电路、微码等来实施。此外，不失一般性的情况下，还证明了将这些操作布置称为模块有时是方便的。所描述的操作和其相关联模块可以软件、固件、硬件或其任何组合来体现。
217.可单独地用一个或多个硬件或软件模块或与其它装置组合地执行或实施本文所描述的步骤、操作或过程中的任一个。在一个实施例中，用计算机程序产品来实施软件模
块，所述计算机程序产品包括含有计算机程序代码的计算机可读介质，所述计算机可读介质可由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
218.本公开的实施例还可涉及用于执行本文中的操作的设备。此设备可以出于所需目的而专门构造，和/或其可包括通过存储在计算机中的计算机程序选择性激活或重新配置的通用计算装置。此计算机程序可存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，所述介质可耦合到计算机系统总线。此外，在说明书中提及的任何计算系统可包含单个处理器，或可以是采用多处理器设计以得到增加的计算能力的架构。
219.本公开的实施例还可涉及通过本文所描述的计算过程生产的产品。此产品可包括产生于计算过程的信息，其中所述信息存储在非暂时性有形计算机可读存储介质上且可包含本文所描述的计算机程序产品或其它数据组合的任何实施例。
220.说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择其来描绘或限制本发明的主题。因此，意图是本公开的范围不受此具体实施方式的限制，而是受基于其所附的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。