用于消费者装置的光场显示器的制作方法

用于消费者装置的光场显示器
1.相关申请的交叉引用
2.本技术涉及国际申请第pct/us2017/042275号、第pct/us2017/042276、第pct/us2017/042418号、第pct/us2017/042452号、第pct/us2017/042462号、第pct/us2017/042466号、第pct/us2017/042467号、第pct/us2017/042468号、第pct/us2017/042469号、第pct/us2017/042470号和第pct/us2017/042679号，所有这些国际申请通过引用整体并入本文。


背景技术：

3.本公开涉及消费者装置，如烤箱、冰箱、炉灶、洗衣机、烘干机、家庭助手(例如来自亚马逊(amazon)的alexa
tm
)和洗碗机，并且具体地说，涉及消费者装置中的光场显示器。
4.常规的消费者装置(在本文中也被称为电器)通常依赖于用户界面的二维(2d)视觉显示器。电器上的2d显示屏旨在提供交互式显示器，用于显示电器向用户提供的功能范围，并允许用户选择和配置期望的功能。然而，这种2d视觉显示器由于它们在电器表面上占据的足迹而受到限制。因此，显示内容也被限制为2d视觉显示，这限制了可以提供给电器用户的观看体验。具体地说，2d视觉显示器为用户提供沉浸式的操作体验的机会有限。
5.所描述的实施例涉及技术，所述技术涉及消费者装置中的光场显示系统，在使用装置时所述光场显示系统为用户提供沉浸式的操作体验。


技术实现要素：

6.消费者装置中的光场(lf)显示系统生成全息内容以供所述消费者装置的用户观看。所述生成的全息内容可以是向所述消费者装置的所述用户显示的全息用户界面。所述光场显示系统可以接收来自所述用户的命令。所述lf显示系统基于所述接收到的用户命令确定计算命令，并适当地执行所述确定的计算命令。在一些实施例中，在所述生成的全息内容上用触觉表面增强了所述全息内容。所述触觉表面可以向所述用户提供触感。所述消费者装置中的所述光场系统可以显示驻留在所述消费者装置内的对象的全息图像，接收关于所述对象的信息，并且可以基于所述接收到的信息修改所述显示的全息内容。
7.在一些实施例中，所述消费者装置包括lf显示系统，所述lf显示系统包括被配置成生成全息内容的控制器、lf显示器组合件和命令接口。所述lf显示器组合件包括一个或多个lf显示模块，所述一个或多个lf显示模块被配置成向定位在所述一个或多个lf显示模块的观看体积中的消费者装置的一个或多个用户呈现全息对象体积中的所述全息内容。
8.在一些实施例中，所述lf显示系统包含跟踪系统和/或观看者概况分析模块。所述跟踪系统和观看者概况分析模块可以监测和存储所述消费者装置的用户的特性、描述用户的用户简档和/或用户对在所述消费者装置的操作期间呈现的所述全息内容的响应。可以基于所述监视或存储的信息中的任何信息来创建所述全息内容以供显示。
9.在一些实施例中，所述消费者装置的用户可以与所述全息内容进行交互，并且所述交互可以充当所述全息内容创建系统的输入。例如，在一些实施例中，所述lf显示系统中
的一些或全部lf显示系统包含一个或多个超声扬声器。所述多个超声扬声器可以被配置成生成与所述全息内容的至少一部分重合的触觉表面。所述跟踪系统被配置成跟踪用户与所述全息对象的交互(例如，通过由所述lf显示模块和/或一些其它相机的成像传感器捕获的图像)。并且所述lf显示系统被配置成基于所述交互提供全息内容的创建。
附图说明
10.图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
11.图2a是根据一个或多个实施例的光场显示模块的一部分的横截面。
12.图2b是根据一个或多个实施例的光场显示模块的一部分的横截面。
13.图3a是根据一个或多个实施例的光场显示模块的透视图。
14.图3b是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。
15.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
16.图4b是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
17.图4c是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
18.图4d是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
19.图4e是根据一个或多个实施例的在装置的前面板上具有聚合表面的光场显示系统的俯视图。
20.图5是根据一个或多个实施例的光场显示系统的框图。
21.图6是根据一个或多个实施例的用于联网消费者装置系统中的光场显示系统的网络环境的框图。
22.图7是将光场显示器与消费者装置一起使用的实施例的实例的显示。
23.图8是示出根据一个或多个实施例的用于使用光场显示系统实现与消费者装置的交互的方法的流程图。
具体实施方式
24.概述
25.在消费者装置中实施了光场(lf)显示系统，以向电器用户呈现包含至少一个全息对象的全息内容。术语“用户”、“电器用户”和“观看者”在本文中可互换使用。术语“电器”、“消费者电器”、“消费者电器装置”、“消费者装置”和“装置”在本文中也可互换使用，并且这些术语是指完成如清洁、烹饪和食品保鲜等家庭任务的电气/机械机器，以及家庭助手(例如amazon alexa
tm
或google home
tm
)。实例包含消费者装置，如冰箱、炉灶、洗衣机、烘干机和洗碗机、烤肉机、压力锅等。
26.电器中的lf显示系统与电器功能集成，以便在使用电器时为电器用户提供沉浸式的操作体验。使用机械和电子控制系统启用电器功能，其中可以通过执行计算机程序模块
来启用电子控制系统，所述计算机程序模块包含各种软件客户端应用程序，电器用户能够使用这些软件客户端应用程序来操作电器。lf显示系统包括被配置成呈现包含一个或多个全息对象的全息内容的lf显示模块，所述全息内容在电器的观看体积中对于观看者将是可见的。lf显示系统呈现的全息内容与电器功能集成；这增加了电器用户在操作电器时的沉浸式体验。还可以其它感觉刺激(例如，触觉、听觉、温度或嗅觉)来增强全息对象。例如，lf显示系统中的超声发射器可以投影创建体积触觉投影的超声压力波。体积触觉投影提供与所投影的全息对象中的一些或全部全息对象相对应的触觉表面。全息内容可以包含另外的视觉内容(即，2d或3d视觉内容)。在具有多个能量源(即，在任何给定时间点提供正确触觉感受和感觉刺激的全息对象)的实施方案中，实现有凝聚力的体验的能量源协调是lf系统的一部分。例如，lf系统可以包含协调全息内容和一个或多个触觉表面的呈现的控制器。
27.在一些实施例中，lf显示系统可以包含使系统能够投影至少一种类型的能量，并且同时感测至少一种类型的能量以响应于用户并创建交互式体验的元件。感测到的能量可以用于记录用户如何响应全息内容。例如，lf显示系统可以投影用于观看的全息对象以及用于触觉感知的超声波两者，并且同时记录用于跟踪用户的成像信息和其它场景分析，同时还感测超声波以检测用户的触摸响应。作为实例，这种系统可以投影全息对象，当被用户虚拟“触摸”时，所述全息对象根据触摸刺激来修改其“行为”。执行环境能量感测的显示系统组件可以集成到显示器表面中，或者所述显示系统组件可以是与显示器表面分离的专用传感器，如超声扬声器和成像捕获装置，如相机。
28.lf显示系统可以被构造成基于所生成的全息对象来提供消费者装置的各种体验。例如，在一个实施例中，冰箱上的lf显示系统可以被实施为通过观看应用程序向用户呈现冰箱内部搁板内容物的全息视图。lf显示器组合件可以形成单面或多面无缝表面环境。全息内容可以增强或强化物理对象，如电器显示屏本身。例如，在一个实施例中，装置上的lf显示系统可以实施为在烤箱的外表面上呈现全息标志，例如，“蛋糕烘烤：完成时间：12分钟”。此外，用户可以自由地观看全息内容，而不需要如3d眼镜或任何其它头戴设备等眼镜装置。
29.在一些实施例中，lf显示系统可以通过跟踪系统和/或感觉反馈组合件接收输入。基于输入，lf显示系统可以调整全息内容以及向相关组件提供反馈。
30.lf显示系统还可以并入用于至少在lf显示系统的观看体积内跟踪用户的移动的系统。所跟踪的用户的移动可以用于增强用户在使用电器时的体验。例如，lf显示系统可以使用跟踪信息来促进用户与全息内容的交互(例如，按下全息按钮)。lf显示系统可以使用所跟踪的信息来监测手指相对于全息对象的位置。例如，全息对象可以是可由用户“按下”的按钮。lf显示系统可以投影超声能量以生成与按钮相对应的触觉表面，并且占据与按钮基本上相同的空间。lf显示系统可以使用跟踪信息来动态地移动触觉表面的位置以及在用户“按下”按钮时动态地移动按钮。lf显示系统可以使用跟踪信息来渲染全息对象，所述全息对象看着用户和/或与用户进行眼神接触，或者以其它方式与用户进行交互。lf显示系统可以使用跟踪信息来渲染“触摸”用户的全息对象，其中超声扬声器创建触觉表面，通过所述触觉表面，全息对象可以通过触摸与用户进行交互。
31.另外，lf显示系统可以并入用于标识每个用户的用户概况分析系统，以便向每个电器用户提供个性化内容。用户概况分析系统可以进一步记录关于用户对电器的具体使用
的其它信息，所述其它信息可以在后续使用中用于个性化全息内容。
32.光场显示系统概述
33.图1是根据一个或多个实施例的呈现全息对象120的光场(lf)显示模块110的图100。lf显示模块110是光场(lf)显示系统的一部分。lf显示系统使用一个或多个lf显示模块来呈现包含至少一个全息对象的全息内容。lf显示系统可以向一个或多个用户呈现全息内容。在一些实施例中，lf显示系统还可以用其它感觉内容(例如，触摸、音频、气味或温度)来增强全息内容。例如，如下文所讨论的，超声波的投影可以生成可以模拟一些或全部全息对象的表面的半空中触觉感觉。lf显示系统包含一个或多个lf显示模块110，并且在下文中关于图2-8详细地讨论。
34.lf显示模块110是向一个或多个用户(例如，观看者140)呈现全息对象(例如，全息对象120)的全息显示。lf显示模块110包含能量装置层(例如，发射电子显示器或声学投影装置)和能量波导层(例如，光学透镜阵列)。另外，lf显示模块110可以包含能量中继层，以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处，能量装置层生成能量(例如，全息内容)，然后根据一个或多个四维(4d)光场函数使用能量波导将所述能量引导到空间中的区域。lf显示模块110还可以同时投影和/或感测一种或多种类型的能量。例如，lf显示模块110可以能够在观看体积中投影全息图像以及超声触觉表面，同时从观看体积检测成像数据。lf显示模块110的操作在下文中关于图2-3详细地讨论。
35.lf显示模块110使用一个或多个4d光场函数(例如，从全光函数派生)来在全息对象体积160内生成全息对象。全息对象可以是三维(3d)、二维(2d)或其某种组合。此外，全息对象可以是多色的(例如，全色)。全息对象120可以放置在全息对象体积160内的任何地方。全息对象可以投影在屏幕平面前面、屏幕平面后面，或者被屏幕平面分开。可以呈现全息对象120，使得在全息对象体积160内的任何地方都可以感知到所述全息对象。全息对象体积160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
36.全息对象体积160表示观看者140可以在其中感知全息对象的体积。全息对象体积160可以在显示器表面150前面延伸(即，朝向观看者140)，使得全息对象可以呈现在显示区域150的平面前面。另外，全息对象体积160可以在显示区域150的表面后面延伸(即，远离观看者140)，从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说，全息对象体积160可以包含源自显示区域150的所有光线(例如，被投影)，并且可以会聚以创建全息对象。本文中，光线可以会聚在显示器表面前面、显示器表面处或显示器表面后面的点处。更简单地，全息对象体积160涵盖观看者可以从中感知全息对象的所有体积。
37.观看体积130是空间的体积，从所述空间可完全看到通过lf显示系统呈现在全息对象体积160内的全息对象(例如，全息对象120)。可以将全息对象呈现在全息对象体积160内，并在观看体积130内对其进行观看，使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。并且与立体显示器不同，全息对象体积160中的会聚能量传播路径的观看位置不会随着观看者140围绕观看体积130移动而改变(例如，如下文关于图2所讨论的)。相反，定位在全息观看体积130中的两个人将看到对象的适当视图，就好像实际上在那里一样。因此，观看者140可以在观看体积内不受约束。相比之下，常规系统通常要求将观看者(例如，在相对于显示器具有固定位置的椅子上)限制到特定的视野。
38.在一些情况下，全息对象体积160和对应的观看体积130可能相对较小
–
使得其被设计用于单个观看者。在其它实施例中，如下文关于例如图4a和4b详细地讨论的，可以放大和/或平铺lf显示模块以创建更大的全息对象体积和可以容纳大范围观看者(例如，一到数千个)的对应的观看体积。构建本公开中所呈现的lf显示模块，使得模块的整个表面含有全息成像光学装置，没有无效或死空间，不需要边框。在这些实施例中，可以平铺lf显示模块，使得成像区域在lf显示模块之间的平铺接缝处是连续的，并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。
39.观看体积130的柔性尺寸和/或形状允许观看者在观看体积130内不受约束。例如，观看者140可以移动到观看体积130内的不同位置，并且从对应的视角看到全息对象120的不同视图。为了说明，参考图1，观看者140处于相对于全息对象120的第一位置，使得全息对象120看起来是全息人物的正视图，所述全息人物可以是与用户交互的模拟头像(avatar)。观看者140可以移动到相对于全息对象120的其它位置以看到人物的不同视图。例如，观看者140可以移动使得他/她看到人物的左侧、人物的右侧等，就非常像观看者140正在看着真实的人一样，并且改变他/她与真实的人的相对位置以看到人的不同方面。在一些实施例中，全息对象120对于观看体积130内的所有观看者可见，所有观看者到全息对象120的视线不受阻碍(即，未被对象/人阻挡)。这些观看者可以不受约束，使得其可以在观看体积内四处移动以看到全息对象120的不同视角。因此，lf显示系统可以呈现全息对象，使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角，就好像全息对象是物理上存在的一样。
40.相比之下，常规显示器(例如，立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如，3-d眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地，常规的显示器可以要求观看者被约束到特定的观看位置(例如，在相对于显示器具有固定位置的椅子上)。例如，当观看由立体显示器示出的对象时，观看者总是聚焦在显示器表面上，而不是聚焦在对象上，并且显示器将始终呈现对象的仅两个视图，所述视图将跟随试图在所述感知的对象周围移动的观看者，从而导致所述对象的感知失真。然而，利用光场显示器，通过lf显示系统呈现的全息对象的观看者不需要穿戴外部装置，以看到全息对象。lf显示系统以观看者可见的方式呈现全息对象，与观看者可看见物理对象的方式几乎相同，而无需特殊的护目镜、眼镜或头戴式附件。进一步地，观看者可以从观看体积内的任何位置观看全息内容。
41.值得注意的是，全息对象体积160内的全息对象的潜在位置受体积大小的限制。为了增加全息对象体积160的大小，可以增加lf显示模块110的显示区域150的大小和/或可以以形成无缝显示器表面的方式将多个lf显示模块平铺在一起，所述无缝显示器表面具有大于单个lf显示模块的显示区域的有效显示区域。下文关于图4a和4b讨论了与平铺lf显示模块有关的一些实施例。如图1所展示的，显示区域150是矩形的，从而导致全息对象体积160是角锥形。在其它实施例中，显示区域可以具有某个其它形状(例如，六边形)，这也影响对应的观看体积的形状。
42.另外，尽管上文的讨论聚焦于将全息对象120呈现在全息对象体积160的位于lf显示模块110与观看者140之间的一部分内，但是lf显示模块110可以另外将出现的内容呈现在显示区域150的平面后面。例如，lf显示模块110可以使显示区域150看起来是全息对象
120所在的房间。所显示的内容可以使得观看者140能够通过所显示的表面进行观看，以看到房间中的其它对象。此外，lf显示系统可以生成围绕全息对象体积160无缝地移动的内容，包含在显示器表面150的平面的后面和前面。
43.图2a是根据一个或多个实施例的lf显示模块210的一部分的横截面200。lf显示模块210可以是lf显示模块110。在其它实施例中，lf显示模块210可以是显示区域形状与显示区域150不同的另一lf显示模块。在所展示的实施例中，lf显示模块210包含能量装置层220、能量中继层230和能量波导层240。lf显示模块210的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，lf显示模块210不包含能量中继层230。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。
44.此处所描述的显示系统呈现了复制了现实世界中通常包围对象的能量的能量发射。此处，将发射的能量从显示器表面上的每个坐标引导朝向特定的方向。来自显示器表面的定向能量使许多能量射线汇聚，这由此可以创建虚拟对象。例如，对于可见光，lf显示器将投影非常多的光线以会聚在全息对象体积中的任何点处，因此从定位得比被投影的对象更远的观看者的视角看，所述光线似乎来自定位在此空间区域中的真实对象的表面。以此方式，lf显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的虚拟对象上发生变化，并且观看者将看到所述虚拟对象的不同视图。
45.如本文所描述的，能量装置层220包含一个或多个电子显示器(例如，发射显示器，如oled)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如，来自lf显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素，每个像素具有独立控制的强度。可以在lf显示器中使用许多类型的商用显示器，如发射led和oled显示器。
46.能量装置层220还可以包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学发射装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波用于体积触觉感觉(例如，在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如，沉浸式音频)。例如，假设全息对象250是一个人物，则可以使用一个或多个声学投影装置来(1)生成与所呈现的人物的表面并置的触觉表面，使得观看者可以触摸全息对象250；和/或(2)提供可能与来自所述人物的声音问候相对应的音频内容。声学接收装置(例如，麦克风或麦克风阵列)可以被配置成监测lf显示模块210的局部区域内的超声和/或可听压力波。
47.能量装置层220还可以包含一个或多个成像传感器。成像传感器至少对可见光波段中的光敏感，并且在一些情况下，可以对其它波段中的光(例如，红外)敏感。成像传感器可以是例如互补金属氧化物半导体(cmos)阵列、电荷耦接装置(ccd)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。lf显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
48.能量中继层230在能量装置层220与能量波导层240之间中继能量(例如，电磁、机械压力波)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270，并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦接到一个或多个能量装置(例如，电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外，在一些实施例中，
能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率，则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式，其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间，以容纳多个能量的机械包膜，如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上，其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是，在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框，并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
49.相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中，相邻的能量中继元件的边缘之间的间隔小于由具有优于20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面275从观看体积285内的观看者280的视角来看是有效地无缝的。
50.在一些实施例中，能量中继元件中的一个或多个能量中继元件表现出能量局部化，其中在基本上法向于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率，并且其中当能量波在表面265与表面270之间传播时，能量密度在此横向平面中是高度局部化的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继，而分辨率没有任何显著的损失。
51.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示器表面向外进入全息观看体积285的特定传播路径中。作为实例，对于电磁能量，能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体积285。在各个实例中，根据4d光场函数将光进行引导以在全息对象体积255内形成全息对象250。
52.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示器表面向外进入全息观看体积285的特定传播路径中。作为实例，对于电磁能量，能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体积285。在各个实例中，根据4d光场函数将光进行引导以在全息对象体积255内形成全息对象250。
53.能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中，小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外，在一些实施例中，波导元件中的一些或全部波导元件可以包含一个或多个另外的光学组件。另外的光学组件可以是例如能量抑制结构，如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中，小透镜和/或另外的光学组件中的至少一个能够动态地调整其光功率。例如，小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学组件的表面轮廓的动态调整可以提供对从波导元件投影的光的另外的方向控制。
54.在所展示的实例中，lf显示器的全息对象体积255具有由光线256和光线257形成的边界，但是可以由其它射线形成。全息对象体积255是连续的在能量波导层240前面(即，朝向观看者280)和在其后面(即，远离观看者280)两者延伸的体积。在所展示的实例中，用
户可以感知的射线256和射线257以相对于显示器表面277的法线的最大角度从lf显示模块210的相对边缘投影，但是射线可以是其它投影的射线。射线限定了显示器的视场，并因此限定了全息观看体积285的边界。在一些情况下，射线限定了全息观看体积，在所述全息观看体积中可以在没有渐晕的情况下(例如，理想的观看体积)观察整个显示器。随着显示器的视场增加，射线256和射线257的会聚点将更靠近显示器。因此，具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外，射线256和257可以形成理想的全息对象体积。可以在观看体积285中的任何地方看到以理想全息对象体积呈现的全息对象。
55.在一些实例中，可以将全息对象呈现给观看体积285的仅一部分。换句话说，全息对象体积可以被划分成任何数量的观看子体(例如，观看子体290)。另外，可以将全息对象投影到全息对象体积255的外部。例如，全息对象251呈现在全息对象体积255之外。因为全息对象251呈现在全息对象体积255之外，所以不能从观看体积285中的每个位置对其进行观看。例如，全息对象251可以从观看子体积290中的位置可见，但是从观看者280的位置不可见。
56.例如，转到图2b以展示从不同观看子体观看全息内容。图2b展示了根据一个或多个实施例的lf显示模块的一部分的横截面200。图2b的横截面与图2a的横截面相同。然而，图2b展示了从lf显示模块210投影的不同组光线。射线256和射线257仍形成全息对象体积255和观看体积285。然而，如所示的，从lf显示模块210的顶部投影的射线和从lf显示模块210的底部投影的射线重叠以在观看体积285内形成各个观看子体(例如，观看子体290a、290b、290c和290d)。第一观看子体(例如，290a)中的观看者可以能够感知在全息对象体积255中呈现的全息内容，其它观看子体(例如，290b、290c和290d)中的观看者则无法进行感知。
57.更简单地，如图2a所展示的，全息对象体积255是其中全息对象可以通过lf显示系统呈现的体积，使得所述全息对象可以被观看体积285中的观看者(例如，观看者280)感知。以此方式，观看体积285是理想观看体积的实例，而全息对象体积255是理想对象体积的实例。然而，在各种配置中，观看者可以在其它示例全息对象体积中感知通过lf显示系统200呈现的全息对象，使得其它示例观看体积中的观看者可以感知全息内容。更一般而言，当观看从lf显示模块投影的全息内容时，将应用“视线指南”。视线指南断言，由观看者的眼睛位置和正在被观看的全息对象形成的线必须与lf显示器表面相交。
58.因为根据4d光场函数呈现了全息内容，因此当观看通过lf显示模块210呈现的全息内容时，观看者280的每只眼睛看到全息对象250的不同视角。此外，在观看者280在观看体积285内移动时，他/她还将看到全息对象250的不同视角，如同在观看体积285内的其它观看者一样。如本领域普通技术人员将意识到的，4d光场函数在本领域中是众所周知的，并且在本文中将不进一步详细说明。
59.如本文中更详细描述的，在一些实施例中，lf显示器可以投影多于一种类型的能量。例如，lf显示器可以投影两种类型的能量，例如，机械能量和电磁能量。在此配置中，能量中继层230包含两个单独的能量中继器，所述两个单独的能量中继器在能量表面275处交织在一起，但是被分离使得能量被中继到两个不同的能量装置层220。此处，一个中继器可以被配置成传输电磁能量，而另一个中继器可以被配置成传输机械能量。在一些实施例中，机械能量可以从能量波导层240上的电磁波导元件之间的位置投影，从而有助于形成抑制
光从一个电磁波导元件传输到另一个的结构。在一些实施例中，能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
60.注意，在替代性实施例(未示出)中，lf显示模块210不包含能量中继层230。在这种情况下，能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中，相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面从观看体积285内的观看者280的视角来看是有效地无缝的。
61.lf显示模块
62.图3a是根据一个或多个实施例的lf显示模块300a的透视图。lf显示模块300a可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块300a可以是某个其它lf显示模块。在所展示的实施例中，lf显示模块300a包含能量装置层310和能量中继层320以及能量波导层330。lf显示模块300a被配置成从显示器表面365呈现全息内容，如本文所描述的。为方便起见，显示器表面365在lf显示模块300a的框架390上以虚线轮廓展示，但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。lf显示模块300a的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，lf显示模块300a不包含能量中继层320。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。
63.能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如，所有电子显示器)或者可以包含一种或多种不同类型(例如，包含电子显示器和至少一个声学能量装置)。
64.能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继元件350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如，光)或者可以中继一种或多种不同类型(例如，光和声音)。中继元件350中的每个中继装置包含第一表面和第二表面，能量中继元件350的第二表面被布置成形成单个无缝能量表面360。在所展示的实施例中，能量中继元件350中的每个能量中继元件是锥形的，使得第一表面具有比第二表面小的表面积，这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量，因此这也可以使无缝能量表面无边界。这意味着可以通过以下方式来平铺此无缝能量表面：将300的多个实例放置在一起而没有死空间或边框，使得整个组合的表面是无缝的。在其它实施例中，第一表面和第二表面的表面积相同。
65.能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论的，能量波导层330被配置成根据4d全光函数沿着特定的传播路径从无缝能量表面360引导能量，以形成全息对象。注意，在所展示的实施例中，能量波导层330由框架390界定。在其它实施例中，不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将lf显示模块300a与另外的lf显示模块300一起平铺。
66.注意，在所展示的实施例中，无缝能量表面360和能量波导层330是平坦的。在未示出的替代性实施例中，无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
67.lf显示模块300a可以配置有驻留在无缝能量表面的表面上的另外的能量源，并允许除了光场之外的能量场的投影。在一个实施例中，声学能量场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未展示)投影出来。进一步地，lf显示模块300a
的静电扬声器定位在光场显示模块300a内，使得双能量表面同时投影声场和全息内容。例如，静电扬声器可以形成有一个或多个隔膜元件，所述一个或多个隔膜元件可透射一些波长的电磁能量，并由导电元件驱动。静电扬声器可以被安装在无缝能量表面360上，使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构共同定位，和/或定位在电磁波导元件(例如，框架390)之间的位置处。在各种配置中，扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
68.在一些配置中，能量装置340可以感测能量。例如，能量装置可以是麦克风、光传感器、声学换能器等。因此，能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说，当能量装置和能量中继装置340被配置成同时发射和感测能量(例如，发射光场和感测声音)时，lf显示模块的无缝能量表面360形成双向能量表面。
69.更广泛地，lf显示模块340的能量装置340可以是能量源或能量传感器。lf显示模块300a可以包含充当能量源和/或能量传感器的各种类型的能量装置，以促进向用户投影高质量全息内容。其它源和/或传感器可以包含热传感器或源、红外传感器或源、图像传感器或源、生成声学能量的机械能量换能器、反馈源等。许多其它传感器或源也是可能的。进一步地，lf显示模块可以平铺使得lf显示模块可以形成组合件，所述组合件从大聚合无缝能量表面投影和感测多种类型的能量。
70.在lf显示模块300a的各个实施例中，无缝能量表面360可以具有各个表面部分，其中每个表面部分被配置成投影和/或发射特定类型的能量。例如，当无缝能量表面是双能量表面时，无缝能量表面360包含投影电磁能量的一个或多个表面部分以及投影超声能量的一个或多个其它表面部分。投影超声能量的表面部分可以定位在波导元件之间的无缝能量表面360上，和/或与被设计成抑制波导元件之间的光传输的结构共同定位。在无缝能量表面是双向能量表面的实例中，能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中，无缝能量表面360可以被配置成使得表面的在特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。
71.图3b是根据一个或多个实施例的包含交织的能量中继装置的lf显示模块300b的横截面视图。lf显示模块300b可以被配置为用于投影多于一种类型的能量的双能量投影装置，或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。lf显示模块300b可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块302可以是某个其它lf显示模块。
72.lf显示模块300b包含与图3a中的lf显示模块300a的组件类似地配置的许多组件。例如，在所展示的实施例中，lf显示模块300b包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330，包含至少与关于图3a所描述的功能相同的功能。另外，lf显示模块300b可以呈现和/或接收来自显示器表面365的能量。值得注意的是，与图3a中的lf显示模块300a的组件相比，lf显示模块300b的组件可替代地连接和/或定向。lf显示模块300b的一些实施例具有与此处所描述的组件不同的组件。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。图3b展示了可以被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个lf显示模块302的设计。
73.在一个实施例中，lf显示模块300b是双向lf显示系统的lf显示模块。双向lf显示
系统可以同时从显示器表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此，在图3b的实例中，能量中继层320以与图3a的能量中继层不同的方式进行配置。为方便起见，lf显示模块300b的能量中继层在本文中将被称为“交织的能量中继层”。
74.交织的能量中继层320包含两个支脚：第一能量中继装置350a和第二能量中继装置350b。支脚中的每个支脚被展示为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成，并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中，两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所展示的实例中，交织的能量中继装置352被展示为深色阴影区域。
75.当在无缝能量表面360处交织时，能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所展示的，能量装置340a连接到能量中继装置350a，并且能量装置340b连接到能量中继装置350b。在各个实施例中，每个能量装置可以是能量源或能量传感器。
76.能量波导层330包含波导元件370，以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中，在一系列会聚点处形成了全息对象380。值得注意的是，如所展示的，全息对象380处的能量的会聚发生在显示器表面365的观看者侧。然而，在其它实例中，能量的会聚可以在全息对象体积中的任何地方，在显示器表面365前面和显示器表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如，能量传感器)，如下文所描述的。
77.在lf显示模块300b的一个示例实施例中，发射显示器用作能量源，并且成像传感器用作能量传感器。以此方式，lf显示模块300b可以同时投影全息内容并且检测来自显示器表面365前面的体积的光。
78.在一个实施例中，lf显示模块300b被配置成同时在显示器表面365前面投影光场并从显示器表面365前面捕获光场。在此实施例中，能量中继装置350a将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340a。在一个实例中，能量装置340a是具有源像素阵列的发射显示器。能量中继装置340b将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340b。在一个实例中，能量装置340b是具有传感器像素阵列的成像传感器。lf显示模块302可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或位置的某种组合。在其它实施例中，双向能量表面可以投影和接收各种其它形式的能量。
79.在lf显示模块300b的另一个示例实施例中，lf显示模块被配置成投影两种不同类型的能量。例如，能量装置340a是被配置成发射电磁能量的发射显示器，并且能量装置340b是被配置成发射机械能量的超声换能器。因此，可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中，能量中继装置350a将能量装置340a连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的性质(例如，变化的折射率)。能量中继装置350b将能量装置340b连接到无缝能量表面360并中继机械能量。能量中继装置350b被配置成具有用于超声能量的高效传输的性质(例如，具有不同声学阻抗的材料的分布)。在一些实施例中，机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件
传输到另一个电磁波导元件的结构。在一个实例中，投影超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投影的全息对象(例如，全息对象380)重合。在一些实例中，阵列上的相位延迟和幅度变化可以帮助形成触觉形状。
80.在各个实施例中，双向lf显示模块302可以包含多个能量装置层，其中每个能量装置层包含特定类型的能量装置。在这些实例中，能量中继层被配置成在无缝能量表面360与能量装置层330之间中继适当类型的能量。
81.平铺的lf显示模块
82.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的lf显示系统400的一部分的透视图。lf显示系统400包含被平铺以形成阵列410的多个lf显示模块。更明确地说，阵列410中的小方块中的每个小方块表示平铺的lf显示模块412。阵列410可以覆盖例如一些或全部表面。
83.阵列410可以投影一个或多个全息对象。例如，在所展示的实施例中，阵列410投影全息对象420和全息对象430。lf显示模块的平铺允许更大的观看体积，并且允许对象被投影到距阵列410更远的距离。例如，在所展示的实施例中，观看体积是大约阵列410前面和后面的整个区域，而不是lf显示模块412前面(和后面)的局部化体积。
84.在一些实施例中，lf显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如，向观看者430呈现全息对象420的直接视图，而向观看者434呈现全息对象430的更倾斜的视图。随着观看者430和/或观看者434的移动，向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如，在观看者430在全息对象420周围行走时，只要全息对象420保留在阵列410的全息对象体积中，观看者430就看到全息对象420的不同侧面。因此，观看者430和观看者434可以同时在真实世界空间中看到全息对象420，就好像所述全息对象真实存在一样。另外，全息对象420的观看者440和观看者450不需要为了观看全息对象420而穿戴外部装置，因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外，此处，全息对象422被展示在阵列后面，因为阵列的观看体积在阵列的表面后面延伸。以此方式，可以将全息对象422呈现给观看者430和/或观看者434，就好像它比阵列410的表面距离观看者更远一样。
85.在一些实施例中，lf显示系统400可以包含跟踪系统，所述跟踪系统跟踪观看者430和观看者435的位置。在一些实施例中，所跟踪的位置通常是观看者的位置。在其它实施例中，所跟踪的位置是观看者的眼睛的位置。眼睛的位置跟踪与注视跟踪不同，后者跟踪眼睛正在看的地方(例如，使用定向来确定注视位置)。观看者440的眼睛和观看者450的眼睛位于不同的位置。
86.在各种配置中，lf显示系统400可以包含一个或多个跟踪系统。例如，在所展示的图4a的实施例中，lf显示系统包含在阵列410外部的跟踪系统440。此处，跟踪系统可以是耦接到阵列410的相机系统。结合图5a更详细地描述了外部跟踪系统。在其它示例实施例中，跟踪系统可以如本文所描述的并入到阵列410中。例如，包含在阵列410中的lf显示模块412的能量装置(例如，能量装置340)可以被配置成捕获阵列440前面的观看者的图像。在任何情况下，lf显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容
的观看者(例如，观看者430和/或观看者434)的跟踪信息。
87.跟踪信息描述了观看者的位置或观看者的一部分(例如，观看者的一只或两只眼睛，或观看者的肢体)的位置在空间(例如，相对于跟踪系统)中的位置。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含一个或多个红外源(例如，结构化光源)、可以捕获红外中的图像的一个或多个成像传感器(例如，红-蓝-绿-红外相机)以及跟踪模块。跟踪系统可以使用深度估计技术来确定观看者的位置。在一些实施例中，lf显示系统400基于观看者440和/或观看者450的所跟踪的位置来生成全息对象。例如，lf显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定位置内而生成全息对象。
88.lf显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如，可以向观看者430呈现全息对象420，而不是全息对象422。并且，可以向观看者434呈现全息对象422，而不是全息对象420。lf显示系统400跟踪观看者440和观看者450中的每个观看者的位置。lf显示系统400基于观看者相对于全息对象将被呈现的地方的位置来确定对所述观看者应当可见的全息对象的视角。lf显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此，观看者434和观看者430可以同时具有可能完全不同的体验。换句话说，lf显示系统400可以将全息内容呈现给观看体积的观看子体。例如，如图所示，观看体积由在阵列前方和后方的所有空间表示。在此实例中，因为lf显示系统400可以跟踪观看者430和观看者434的位置，所以lf显示系统400可以向两个观看者呈现两个不同的全息界面以操作电器。因此，lf显示系统400可以将“可转动拨盘”(例如，全息对象420)投影到围绕观看者430的观看子体积，并且将“一组可按下的按钮”内容(例如，全息对象422)投影到围绕观看者434的观看子体积。相比之下，常规系统将必须使用单独的耳机来提供此类定制化的体验。
89.在一些实施例中，lf显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如，触觉、听觉、温度和/或嗅觉)。例如，在所展示的图4a的实施例中，lf显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中，感觉反馈系统442可以是耦接到阵列410的静电扬声器。结合图5a更详细地描述了外部感觉反馈系统。在其它示例实施例中，如本文所描述的，可以将感觉反馈系统并入到阵列410中。例如，包含在阵列410中的lf显示模块412的能量装置(例如，图3b中的能量装置340a)可以被配置成将超声能量投影到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下，感觉反馈系统向观看通过阵列410呈现的全息内容(例如，全息对象420和/或全息对象422)的观看者(例如，观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
90.lf显示系统400可以包含感觉反馈系统，所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。可替代地或另外地，lf显示系统400可以包含一个或多个集成到阵列410中的声学投影装置，如本文所描述的。如果观看者的一部分进入一个或多个表面的阈值距离内，则声学投影装置可以投影超声压力波，所述超声压力波针对全息对象的一个或多个表面生成体积触觉感觉(例如，在全息对象420的表面处)。体积触觉感觉允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波，所述可听压力波向观
看者提供音频内容(例如，沉浸式音频)。因此，超声压力波和/或可听压力波可以通过使体积触觉表面定位在距全息对象表面的阈值距离内或与所呈现的全息对象的表面重合而起到补充所呈现的全息对象的作用。在一些实施例中，所生成的体积触觉表面对用户触摸的抵抗力可以基于在lf显示系统400中确定的参数的值。在一些实施例中，可以至少部分地基于从lf显示系统400的跟踪系统440获得的信息来生成、修改、更新或删除体积触觉表面。在一些实施例中，lf显示系统结合人工智能模型使用从跟踪系统440获得的信息来生成体积触觉表面。
91.在各个实施例中，lf显示系统400可以部分地基于所跟踪的观看者的位置来提供其它感觉刺激。例如，图4a中所展示的全息对象422是可转拨盘，并且lf显示系统400可以使全息对象422在视觉上旋转(即，全息对象422看起来在旋转)以及在听觉上旋转(即，一个或多个声学投影装置发出声音，观看者440将其感知为从全息对象430发出的咔哒旋转声)。
92.注意，在所展示的配置中，可以以类似于配置200的观看体积285的方式来限制全息观看体积。这可以限制观看者将用单个显示单元体验的所感知的沉浸感。解决此问题的一种方法是使用沿着电器的多个侧面被平铺的多个lf显示模块，如下文关于图4b所描述的。
93.图4b是根据一个或多个实施例的在多面无缝表面环境中的lf显示系统402的一部分的透视图。lf显示系统402与lf显示系统400基本上类似，除了将多个lf显示模块平铺以创建多面无缝表面环境之外。更具体地，将lf显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在其它实施例中，多个lf显示模块可以覆盖表面中的一些但不是全部，或其某种组合。在其它实施例中，多个lf显示模块被平铺以形成某个其它聚合无缝表面。例如，表面可以是弯曲的，使得形成圆柱形的聚合能量环境。
94.lf显示系统402可以投影一个或多个全息对象。例如，在所展示的实施例中，lf显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。因此，lf显示系统的观看体积也含在六面聚合无缝表面环境内。注意，在所展示的配置中，观看者432可以定位在全息对象420与lf显示模块414之间，所述lf显示模块投影用于形成全息对象420的能量(例如，光和/或压力波)。因此，观看者434的定位可以防止观看者430感知由来自lf显示模块414的能量形成的全息对象420。然而，在所展示的配置中，存在至少一个其它lf显示模块，例如，lf显示模块416，所述lf显示模块不受阻碍(例如，被观看者434阻碍)并且可以投影能量以形成全息对象420。以此方式，在空间中被观看者遮挡可能导致全息投影的一些部分消失，但是这种影响比如果体积的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壳体的“外部”，因为全息对象体积在聚合表面后面延伸。因此，观看者430和/或观看者434可以将全息对象422感知为其可以移动穿过的六面环境的“外部”。
95.如上文参考图4a所描述的，在一些实施例中，lf显示系统402主动跟踪观看者的位置并且可以基于所跟踪的位置动态地指示不同的lf显示模块呈现全息内容。因此，多面配置可以提供更稳健的环境(例如，相对于图4a)，以提供全息对象，其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
96.值得注意的是，各种lf显示系统可以具有不同的配置。进一步地，每种配置可以具有表面的特定定向，所述表面聚合形成无缝显示器表面(“聚合表面”)。也就是说，可以将lf
显示系统的lf显示模块平铺以形成各种聚合表面。例如，在图4b中，lf显示系统402包含平铺以形成六面聚合表面的lf显示模块。在一些其它实例中，聚合表面可以仅出现在表面的一部分上，而不是整个表面上。本文描述了一些实例。
97.在一些配置中，lf显示系统的聚合表面可以包含聚合表面，所述聚合表面被配置成朝向局部化观看体积投影能量。将能量投影到局部化观看体积允许通过例如以下方式的更高质量的观看体验：增加特定观看体积中的投影的能量的密度，增加观看者在所述观看体积中的fov，并使观看体积更接近显示器表面。
98.例如，图4c展示了具有呈“翼状”配置的聚合表面的lf显示系统450a的俯视图。lf显示系统450a包含平铺以形成聚合表面460的lf显示模块。lf显示系统450a具有聚合表面460，其包含三个部分：(i)第一中心部分462；(ii)第二部分464，其连接到第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前部(即，第一侧表面)；以及(iii)第三部分466，其连接第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前部(即，第二侧表面)。当移动装置被保持成使得第一中心部分处于具有水平轴和竖直轴的竖直平面中时，第二部分和第三部分沿水平轴朝向中心部分的前部成角度。
99.在此实例中，lf显示系统450a的观看体积468a位于装置的前面，被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
100.为了说明，考虑例如仅具有中心表面的聚合表面。参考图2a，如上文所描述的，从显示器表面的任一端投影的射线创建理想的全息体积和理想的观看体积。现在考虑，例如，中心表面是否包含两个朝向观看者成角度的侧表面。在这种情况下，射线256和射线257将从中心表面的法线以更大的角度投影。因此，观看体积的视场将增加。类似地，全息观看体积将更靠近显示器表面。另外，由于两个第二部分和第三部分倾斜得更靠近观看体积，所以从显示器表面以固定距离投影的全息对象更靠近所述观看体积。
101.为简化起见，仅具有中心表面的显示器表面具有平面视场、(中心)显示器表面与观看体积之间的平面阈值间隔以及全息对象与观看体积之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面，增加了相对于平面视场的视场，相对于平面间隔，减小了显示器表面与观看体积之间的间隔，并相对于平面接近度，增加了显示器表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场，减小了间隔并增加了接近度。换句话说，侧表面的成角度的放置增加了观看者的沉浸式体验。
102.另外，如下文关于图6所描述的，偏转光学装置可以用于针对lf显示参数(例如，尺寸和fov)优化观看体积的大小和位置。
103.返回图4d，在类似实例中，图4d展示了具有呈“倾斜”配置的聚合表面的lf显示系统450b的侧视图。lf显示系统450b包含平铺以形成聚合表面460的lf显示模块。聚合表面460包含三个部分：(i)第一部分462(即，中心表面)；(ii)第二部分464，其连接到第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前部(即，第一侧表面)；以及(iii)第三部分464，其连接到第一部分462并与中心部分成一定角度放置以将能量投影到中心部分的前部(即，第二侧表面)。当移动装置被保持成使得第一部分是具有水平轴和竖直轴的竖直平面时，第二部分和第三部分沿竖直轴朝向中心部分的前部成角度。
104.在此实例中，lf显示系统450b的观看体积468b位于中心部分的前面，并且被聚合
表面460的三个部分部分地包围。与图4c所示的配置类似，两个侧面部分(例如，第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体积468b中的任何观看者的视角来看，包围表面增加了观看fov。另外，包围表面允许观看体积468b更靠近显示器的表面，使得投影的对象显得更靠近。换句话说，侧表面的成角度放置增加了视场，减小了间隔，并增加了聚合表面的接近度，由此增加了观看者的沉浸式体验。进一步地，如下文将要讨论的，偏转光学装置可以用于优化观看体积468b的大小和位置。
105.与如果第三部分466没有倾斜相比，聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体积468b。例如，与如果使用具有平坦的前显示器的lf显示系统的情况相比，从处于呈倾斜配置的lf显示系统呈现的人物的下肢(例如，腿)可能看起来更靠近并且更真实。另外，lf显示系统的配置及其所处的环境可以通知观看体积和观看子体的形状和位置。
106.图4e例如展示了具有聚合表面460的lf显示系统450c的俯视图。lf显示系统450c从聚合表面460投影各种射线。从聚合表面460的左侧投影的射线具有水平角度范围481，从聚合表面的右侧投影的射线具有水平角度范围482，并且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间，投影射线可以具有角度范围的中间值。以此方式在跨越显示器表面的投影射线中具有梯度偏转角创建了观看体积468c。
107.lf显示系统的控制
108.图5是根据一个或多个实施例的lf显示系统500的框图。lf显示系统500包括lf显示器组合件510和控制器520。lf显示器组合件510包含投影光场的一个或多个lf显示模块512。lf显示模块512可以包含源/传感器系统514，所述源/传感器系统包含投影和/或感测其它类型的能量的集成能量源和/或能量传感器。控制器520包含数据存储装置522、网络接口524、lf处理引擎530、命令库532和安全模块534。控制器520还可以包含跟踪模块526和用户概况分析模块528。在一些实施例中，lf显示系统500还包含感觉反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的lf显示系统是lf显示系统500的实施例。在其它实施例中，lf显示系统500包括比本文所描述的模块另外的或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。lf显示系统500的应用也将在下文关于图6-8详细地讨论。
109.lf显示器组合件510在全息对象体积中提供全息内容，所述全息对象体积对于定位在观看体积内的观看者可以是可见的。lf显示器组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投影在lf显示器组合件510的聚合表面前面、lf显示器组合件510的聚集表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
110.lf显示器组合件510使用包含在lf显示器组合件510中的一个或多个lf显示模块(例如，lf显示模块110、lf显示系统200和lf显示模块300中的任一个)来提供全息内容。为了方便起见，一个或多个lf显示模块在本文中可以被描述为lf显示模块512。lf显示模块512可以被平铺以形成lf显示器组合件510。lf显示模块512可以被构造为各种无缝表面环境(例如，单面、多面、弯曲的表面等)。也就是说，平铺的lf显示模块形成聚合表面。如先前所描述的，lf显示模块512可以包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)。lf显示模块512还可以包含能量中继层(例如，能量中
继层230)，当呈现全息内容时，所述能量中继层在能量装置层与能量波导层之间转移能量。
111.lf显示模块512还可以包含其它集成系统，所述其它集成系统被配置成用于如先前所描述的能量投影和/或能量感测。例如，光场显示模块512可以包含被配置成投影和/或感测能量的任何数量的能量装置(例如，能量装置340)。为了方便起见，本文可以将lf显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在lf显示模块512内，使得源/传感器系统514与lf显示模块512共享相同的无缝能量表面。换句话说，lf显示器组合件510的聚合表面包含lf显示模块512和源/传感器模块514两者的功能。也就是说，包含具有源/传感器系统514的lf显示模块512的lf组合件510可以在当投影光场的同时投影能量和/或感测能量。例如，lf显示器组合件510可以包含lf显示模块512和源/传感器系统514，所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。
112.在一些实施例中，lf显示系统500使用感觉反馈组合件570利用其它感觉内容(例如，协调的触摸、音频或嗅觉等)来增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常，感觉反馈系统570包含在lf显示器组合件510外部的任何数量的感觉反馈装置(例如，感觉反馈系统442)。一些示例感觉反馈装置可以包含协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下，感觉反馈系统570可以具有与光场显示器组合件510类似的功能，并且反之亦然。例如，感觉反馈系统570和光场显示器组合件510两者都可以被配置成产生声场。作为另一个实例，感觉反馈系统570可以被配置成在没有光场显示器510组合件的情况下生成触觉表面。
113.为了说明，在光场显示系统500的示例实施例中，感觉反馈系统570可以包含声学投影装置。声学投影装置被配置成在执行从控制器520接收的显示指令时生成补充全息内容的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地，感觉反馈系统570可以包含香气投影装置。香气投影装置可以被配置成在执行从控制器接收到的显示指令时向目标区域中的一些或全部目标区域提供香味。进一步地，感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成在执行从控制器520接收的显示指令时增加或降低目标区域中的一些或全部目标区域的温度。在一些实施例中，感觉反馈系统570可以包含力致动装置。力致动装置可用于移动目标区域中的一些物理对象。
114.在一些实施例中，感觉反馈组合件570被配置成接收来自lf显示系统500的用户的输入。在这种情况下，感觉反馈系统570包含用于接收来自用户的输入的各种感觉反馈装置。传感器反馈装置可以包含如声学接收装置(例如麦克风)、压力传感器、运动检测器等装置。感觉反馈组合件570可以包含被配置成在呈现全息内容时提供感觉反馈的感觉反馈装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
115.为了说明，在光场显示器组合件的示例实施例中，感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个电器用户产生的音频。感觉反馈系统570将所记录的音频作为用户输入提供给控制器520。控制器520可以使用用户输入来生成全息内容。类似地，感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由用户施加到压力传感
器的力。感觉反馈系统570可以将所测量的力作为用户输入提供给控制器520。
116.在一些实施例中，感觉反馈组合件570还被配置成重定向用户移动。在一个实施例中，感觉反馈组合件570包含声学投影装置，所述声学投影装置可以产生触觉压力波以阻止移动，如例如在计时器响起之前打开烤箱门。在另一个实施例中，感觉反馈组合件570可以使用声学发射装置以听觉方式向用户发出阻止进一步动作的信号(例如，“不要打开烤箱门”)。
117.在一些实施例中，lf显示系统500包含跟踪系统580。跟踪系统580包含任意数量的跟踪装置，所述跟踪装置被配置成获得关于装置的用户的信息，所述信息包含目标区域中的人的位置、移动、手势、表情、注视和/或其它特性，如年龄和性别。通常，跟踪装置在lf显示器组合件510的外部。一些示例跟踪装置包含相机组合件(“相机”)、深度传感器、结构化灯、lidar系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
118.跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而，在一些情况下，当呈现全息内容时，目标区域被来自lf显示器组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时，能量源投影光。光可以是例如结构化光图案、光脉冲(例如，ir闪光灯)或其某种组合。跟踪系统可以投影以下中的光：可见波段(约380nm到750nm)、红外(ir)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁光谱的某个其它部分或其某种组合。源可以包含例如发光二极管(led)、微型led、激光二极管、tof深度传感器、可调激光器等。
119.当执行从控制器520接收的指令时，跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投影的某个其它参数或其某种组合。在一个实施例中，源在飞行时间操作中投影光脉冲。
120.跟踪系统580的相机捕获从目标区域反射的光(例如，结构化光图案)的图像。当执行从控制器520接收的跟踪指令时，相机捕获图像。如先前所描述的，光可以由跟踪系统580的源投影。相机可以包含一个或多个相机。也就是说，相机可以是例如光电二极管的阵列(1d或2d)、ccd传感器、cmos传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中，跟踪系统580可以含有在lf显示器组合件510外部的光场相机。在其它实施例中，将相机包含为包含在lf显示器组合件510中的lf显示模块的一部分。例如，如先前所描述的，如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层，则lf显示器组合件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中，从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。在一些实施例中，相机组合件可以照亮电器的特定部分以生成视觉信息以显示给观看者。例如，如相机等内部传感器可以驻留在冰箱内以对冰箱的内容物进行成像并且将信息提供给控制器520以获得关于生成冰箱内容物的全息显示的信息。
121.当执行从控制器520接收的跟踪指令时，跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机组合件如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、影响相机组合件如何捕获图像的某个其它参数或其某种组合。
122.在一些实施例中，跟踪系统580还被配置成接收来自lf显示系统500的观看者的输入。跟踪系统580可以跟踪观看者的身体移动并将关于特定的所跟踪移动的信息发送到控制器520。在一些实施例中，跟踪系统580与呈现给用户的全息用户界面一起使用。
123.控制器520控制lf显示器组合件510和lf显示系统500的任何其它组件。控制器520包括数据存储装置522、网络接口524、跟踪模块526、用户概况分析模块528、光场处理引擎530和命令库532。在其它实施例中，控制器520包括比本文所描述的模块更多或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如，跟踪模块526可以是lf显示器组合件510或跟踪系统580的一部分。
124.数据存储装置522是存储用于lf显示系统500的信息的存储器。所存储的信息可以包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个用户简档、用于光场显示器组合件510的校准数据、lf显示系统510的配置数据(包含lf模块512的分辨率和定向)、所期望的观看体积几何形状、用于包含3d模型的图形创建的内容、场景和环境、材质和纹理、安全相关信息(包含认证因素，如密码、智能卡、安全模块534可以使用的生物特征数据)、lf显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器，如只读存储器(rom)、动态随机存取存储器(dram)、静态随机存取存储器(sram)或其某种组合。
125.网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中，lf显示系统500通过网络接口524从如第三方提供商等远程服务器接收全息内容。在另一实例中，lf显示系统500使用网络接口524将全息内容传输到远程数据存储装置。
126.跟踪模块526跟踪观看由lf显示系统500呈现的内容的观看者。为此，跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令，并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令，并通过控制器520将跟踪输入提供给跟踪模块526。
127.跟踪模块526可以确定一个或多个观看者在移动装置的目标区域内的位置。所确定的位置可以相对于某个参考点(例如，显示器表面)。在其它实施例中，所确定的位置可以在目标区域的虚拟模型内。所跟踪位置可以是例如观看者的所跟踪位置和/或观看者的一部分的所跟踪位置(例如，眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定位置。跟踪系统580的相机可以分布在lf显示系统500周围，并且可以捕获立体图像，从而允许跟踪模块526被动地跟踪观看者。在其它实施例中，跟踪模块526主动跟踪观看者。也就是说，跟踪系统580照亮目标区域的某个部分，对目标区域进行成像，并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定位置。跟踪模块526使用所确定的位置来生成跟踪信息。
128.跟踪模块526还可以接收跟踪信息作为来自lf显示系统500的观看者的输入，如例如在使用全息用户界面(下文进一步描述)来操作电器时。跟踪信息可以包含与由lf显示系统500向观看者提供的各种输入选项相对应的身体移动。例如，跟踪模块526可以跟踪观看者的身体移动，并将任何各种移动作为输入分配到lf处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储装置522、lf处理引擎530、用户概况分析模块528、命令存储装置532、lf显示系统500的任何其它组件或其某种组合。
129.为了为跟踪模块526提供背景，考虑在微波炉中使用的lf显示系统500的示例实施
例。当用户通过奔跑和朝着电器大喊来响应微波炉中爆炸的煮鸡蛋时，跟踪系统580可以记录用户的移动并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪用户手的运动，并将输入发送到lf处理引擎530，如下所述。如下所述，用户概况分析模块528确定图像中的信息指示用户的运动与否定响应相关联。因此，lf处理引擎530生成适当的全息内容以慰问用户。例如，lf处理引擎530可以在全息对象体积中投影悲伤表情的全息头像，声明“下次好运！”。
130.lf显示系统500包含被配置成标识用户和对用户进行概况分析的用户概况分析模块528。用户概况分析模块528生成观看由lf显示系统500显示的全息内容的一个用户(或多个用户)的简档。用户概况分析模块528部分地基于用户输入和所监测的用户行为、动作和反应来生成用户简档。用户概况分析模块528可以访问从跟踪系统580获得的信息(例如，所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中，用户概况分析模块528可以使用机器视觉和/或机器学习算法来确定用户行为、动作和反应。所监测的用户行为可以包含例如观看者的微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后坐力、其它手势变化或用户的移动等。
131.更一般而言，用户简档可以包含所接收和/或所确定的关于观看来自lf显示系统的全息内容的用户的任何信息。例如，每个用户简档可以记录所述用户对lf显示系统500显示的内容的动作或响应。下文提供了可以包含在用户简档中的一些示例信息。
132.用户简档可以基于用户关于lf显示系统500显示的内容的行为。在一些实施例中，驻留在装置中的软件应用程序可以在功能上与lf显示系统500集成，并且用户简档基于在装置中执行这些软件应用程序时被监测的用户行为。
133.因此，例如，被监测的行为可以包含以下特征：如用户在如一天或一周等时间段内使用电器的次数、用户使用电器上的特定设置的频率(例如，在重型床上用品洗衣机设置上使用洗衣机电器的频率)，用户对某些类型的全息内容的响应方式(例如，在烤箱中
–
什么会引起用户最快的响应
–
一张烤火鸡的全息图像，上面有一个标志，声明设置的烤制时间已超出20分钟，或者一张烧焦的火鸡的闪烁全息图像)、与特定电器的使用相关的一些其它行为或其某种组合。在一些实施例中，电器还可以具有用户层级(例如，如在自助洗衣店的洗衣机中的每日用户、每周用户、偶尔用户)。在这些实施例中，跟踪系统可以肯定地标识用户。一旦跟踪系统访问了用户概况分析模块，lf显示系统500就可以确定用户的状态(例如，每日用户、每周用户、偶尔用户)并且可以提供特定于所述用户的状态的全息内容。用户概况分析模块可以另外从控制器520的其它模块或组件接收用户的另外的信息，然后可以将所述另外的信息与用户简档一起存储。控制器520的其它组件然后也可以访问所存储的用户简档，以用于确定随后要提供给所述用户的内容。
134.在另一个实例中，用户可以表现出对与全息内容一起呈现的触觉界面的偏好，例如，全息键盘触摸界面中的优选键点击灵敏度，其可以由lf显示系统100生成并作为选项提供给电器用户。
135.作为用户简档信息的一部分存储的其它用户特性可以包含例如用户的姓名、用户的年龄、种族、观看位置、装置和应用程序设置偏好、居住地、任何其它人口统计信息或其某种组合。
136.用户概况分析模块528还可以从一个或多个第三方系统访问与一个特定用户(或
多个特定用户)相关联的简档，以建立和/或更新用户简档。观看者概况分析模块528可以被配置成使用来自一个用户(或多个用户)的社交媒体账户的信息来更新用户简档。例如，与链接到该用户的社交媒体或其它在线账户的第三方供应商的用户交互可以提供可以由用户概况分析模块528访问的另外的用户简档信息。因此，用户简档信息可以存储信息，如在与洗衣机相关联的lf显示系统中喜欢的洗衣洗涤剂产品，或者用于在家庭音频系统上播放的喜欢的音乐流派。
137.在一些实施例中，数据存储装置522包含用户简档存储装置，其存储由用户概况分析模块528生成、更新和/或维护的用户简档。可以由用户概况分析模块528随时在数据存储装置中更新用户简档。例如，在一个实施例中，当特定用户观看由lf显示系统500提供的全息内容时，用户简档存储装置在其用户简档中接收并存储关于特定用户的信息。在此实例中，用户概况分析模块528包含面部识别算法，所述面部识别算法可以识别用户并在其观看呈现的全息内容时肯定地标识所述用户。为了说明，在用户进入lf显示系统500的目标区域时，跟踪系统580获得用户的图像。用户概况分析模块528输入所捕获的图像，并使用面部识别算法来标识用户的面部。所标识的面部与简档存储装置中的用户简档相关联，并且因此，所获得的关于所述用户的所有输入信息可以存储在其简档中。用户概况分析模块还可以利用卡标识扫描仪、语音标识符、射频标识(rfid)芯片扫描仪、条形码扫描仪等来肯定地标识用户。
138.因为用户概况分析模块528可以肯定地标识用户，所以用户概况分析模块528可以确定每个用户对lf显示系统500的每次访问。用户概况分析模块528然后可以将每次访问的时间和日期存储在每个用户的用户简档中。类似地，用户概况分析模块528可以在每次其出现时存储从用户接收的来自感觉反馈系统570、跟踪系统580和/或lf显示器组合件510的任何组合的输入。用户简档系统528可以另外从控制器520的其它模块或组件接收关于用户的另外的信息，然后可以将所述另外的信息与用户简档一起存储。控制器520的其它组件然后也可以访问所存储的用户简档，以用于确定随后要提供给所述用户的内容。控制器520可以被配置成至少部分地基于来自所存储的用户简档的访问数据来生成全息内容。
139.lf处理引擎530生成呈光栅化格式(“光栅化数据”)的4d坐标，所述4d坐标在由lf显示器组合件510执行时使lf显示器组合件510呈现全息内容。lf处理引擎530可以从数据存储装置522访问光栅化数据。另外，lf处理引擎530可以从矢量化数据集构建光栅化数据。下文描述了矢量化数据。lf处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述的，当由lf显示系统500执行时，感觉指令可以生成由lf显示系统500支持的触觉表面、声场和其它形式的感觉能量。lf处理引擎530可以从数据存储装置522访问感觉指令，或从矢量化数据集构建感觉指令。总的来说，4d坐标和感觉数据表示可由lf显示系统执行以生成全息和感觉内容的显示指令。
140.描述通过lf显示系统500中的各种能量源的能量流的光栅化数据量非常大。虽然当从数据存储装置522访问时在lf显示系统500上显示光栅化数据是可能的，但有效地传输、接收(例如，通过网络接口524)并随后在lf显示系统500上显示光栅化数据是不可行的。以表示用于由lf显示系统500进行全息投影的短视频的光栅化数据为例(例如，向新用户演示电器使用的教程)。在此实例中，lf显示系统500包含含有数千兆像素的显示器，并且光栅化数据含有显示器上每个像素位置的信息。光栅化数据的对应大小是巨大的(例如，视频显
示时间每秒数千兆字节)，并且对于通过网络接口524在商业网络上进行高效传送来说是难管理的。当需要使用来自感觉反馈系统570或跟踪模块526的输入进行交互式体验时，会出现仅在数据存储装置522上存储光栅化数据的另外的问题。为了实现交互式体验，由lf处理引擎530生成的光场内容可以响应于感觉或跟踪输入而实时修改。换句话说，在一些情况下，不能简单地从数据存储装置522读取lf内容。
141.因此，在一些配置中，表示由lf显示系统500显示的全息内容的数据可以以矢量化数据格式(“矢量化数据”)传送到lf处理引擎530。矢量化数据可以比光栅化数据小几个数量级。进一步地，矢量化数据提供高图像质量，同时具有实现数据的高效共享的数据集大小。例如，矢量化数据可以是从更密集的数据集导出的稀疏数据集。因此，基于如何从密集光栅化数据中采样稀疏矢量化数据，矢量化数据可以在图像质量与数据传输大小之间具有可调整的平衡。用于生成矢量化数据的可调采样能够优化给定网络速度的图像质量。因此，矢量化数据能够通过网络接口524高效传输全息内容。矢量化数据还使全息内容能够通过商业网络进行实时流式传输。
142.总之，lf处理引擎530可以生成从以下导出的全息内容：从数据存储装置522访问的光栅化数据、从数据存储装置522访问的矢量化数据或通过网络接口524接收的矢量化数据。在一些配置中，lf处理引擎530可以使用从数据存储装置访问的光栅化数据、从数据存储装置522访问的矢量化数据和通过网络接口接收的矢量化数据的组合来生成全息内容。在各种配置中，可以在数据传输之前对矢量化数据进行编码并且在由lf控制器520接收之后对其进行解码。在一些实例中，对矢量化数据进行编码以用于增加与数据压缩相关的数据安全性和性能改进。例如，通过网络接口接收的矢量化数据可以是从全息流媒体应用程序接收的经编码的矢量化数据。在一些实例中，矢量化数据可以需要解码器、lf处理引擎530或这两者来访问在矢量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
143.矢量化数据含有lf显示系统500以支持交互式体验的方式支持的每个感觉域的所有信息。例如，用于交互式全息体验的向量化数据包含可以为lf显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。矢量化性质可以包含可以进行合成地编程、捕获、计算评估等的任何性质。lf处理引擎530可以被配置成将矢量化数据中的矢量化性质转换为光栅化数据。lf处理引擎530然后可以从lf显示器组合件510投影从矢量化数据转换的全息内容。在各种配置中，矢量化性质可以包含：一个或多个红/绿/蓝/α通道(rgba)+深度图像；具有或不具有不同分辨率的深度信息的多视图图像，所述多视图图像可以包含一个高分辨率中心图像和其它分辨率较低的视图；材料性质，如反照率和反射率；表面法线；其它光学效应；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标；环境条件；与用于纹理或温度的机械感受器相关的体感能量向量；音频；以及任何其它感觉域性质。许多其它矢量化性质也是可能的。
144.lf显示系统500还可以生成交互式观看体验。也就是说，全息内容可以响应于输入刺激，所述输入刺激含有关于用户位置、手势、交互、与全息内容进行的交互的信息或从用户概况分析模块528和/或跟踪模块526导出的其它信息。例如，如果所显示的全息对象需要响应于用户交互而立即沿某个方向移动，则lf处理引擎530可以更新场景的渲染，使得全息
对象沿所述所需方向移动。这可能需要lf处理引擎530使用矢量化数据集来基于具有适当的对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等的3d图形场景实时地渲染光场，从而正确地响应于用户交互。lf处理引擎530将矢量化数据转换成光栅化数据以供lf显示器组合件510呈现。
145.光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。lf显示器组合件510通过执行显示指令同时投影实时性能的全息和感觉内容。lf显示系统500使用跟踪模块526和用户概况分析模块528来监测用户与所呈现的实时性能进行的交互(例如，声音响应、触摸等)。响应于用户交互，lf处理引擎通过生成另外的全息和/或感觉内容以显示给用户来创建交互式体验。
146.为了说明，考虑包含lf处理引擎530的lf显示系统500的示例实施例，所述lf处理引擎在装置中的应用程序执行期间在用户的观看体积中生成表示一条烤面包的全息对象。用户可以移动以触摸表示面包的全息对象。相应地，跟踪系统580跟踪用户的手相对于全息对象的移动。用户的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定用户的手的运动并将已确定的运动发送到lf处理引擎530。lf处理引擎530确定用户的手在场景中的放置，调整图形的实时渲染以在全息对象中包含任何所需的改变(如位置、颜色或遮挡)。lf处理引擎530指示lf显示器组合件510(和/或感觉反馈系统570)使用体积触觉投影系统(例如，使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分，并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。lf处理引擎530使用跟踪信息来动态地指示lf显示器组合件510将触觉表面的位置与经渲染的全息对象的位置一起移动，使得用户被给予触摸面包条的视觉感知和触觉感知两者。更简单地说，当用户观看他的手触摸全息面包条时，用户同时感觉到指示其手触摸了全息面包条的触觉反馈，并且面包响应于触摸而改变位置或运动。
147.lf处理引擎530可以向使用该电器的媒体内容的用户提供用于同时显示的全息内容。例如，在用lf显示系统500增强的烤箱上观看的烹饪视频可以包含将在视频期间呈现给用户的全息内容(“全息内容轨迹”)。全息内容轨迹可以由电器接收并存储在数据存储装置522中。全息内容轨迹包含增强用户观看电器上的视频的观看体验的全息内容。
148.全息内容轨迹中的全息内容可以与任何数量的时间、听觉、视觉等线索相关联以显示全息内容。例如，全息内容轨迹可以包含将在视频期间的特定时间显示的全息内容。作为说明，全息内容轨迹可以包含在视频开始后12分42秒的视频“如何从头开始烤苹果派”期间显示的熟苹果派。在另一个实例中，全息内容轨迹包含当感觉反馈系统570记录特定音频提示时将呈现的全息内容。作为说明，当感觉反馈组合件570记录的音频表明用户/玩家请求更多帮助时，全息内容轨迹包含将在面包烘焙视频期间呈现的演示面团揉捏指令的全息头像。在另一个实例中，全息内容轨迹包含当跟踪系统580记录特定视觉提示时将显示的全息内容。作为说明，当跟踪系统580记录的信息表明在显示视频教程的同时用户正在远离电器移动时，全息内容轨迹包含显示器上的全息闪烁标志，上面写着“你想停下来吗？”。下文更详细地描述了确定听觉和视觉提示。
149.全息内容轨迹还可以包含空间渲染信息。也就是说，全息内容轨迹可以指示用于在显示的视频轨迹中呈现全息内容的空间位置。例如，全息内容片段可以指示将在一些全息观看体积中，而不是其它全息观看体积中呈现某些全息内容。为了说明，lf处理引擎530
可以在用户面部正前方的全息观看体积中呈现显示冰箱搁架的内容物的全息屏幕。类似地，全息内容轨迹可以指示全息内容呈现给一些观看体积，而不是其它观看体积。例如，lf处理引擎可以将全息屏幕呈现给用户面部正前方的观看体积，而不是在任何其它观看体积中，使得所显示的内容仅对用户私有。
150.lf处理引擎530可以结合在电器上执行的特定应用程序提供全息内容以显示给用户。全息内容可以通过网络在电器处接收，作为与在装置上执行的特定应用程序相关联的广告内容的一部分提供(例如，当在洗涤中开始精细洗涤循环时，专门用于丝绸和羊毛的洗衣洗涤剂)，由lf处理引擎530生成等。全息内容可以存储在数据存储装置522中，或者通过网络接口524以矢量化格式流式传输到lf显示系统500。例如，当洗衣机的用户特别在“精细”循环上开始洗衣循环时，lf显示系统500可以访问专门为丝绸和羊毛设计的洗衣洗涤剂的广告的全息内容，并在洗涤循环的过程期间显示该内容。
151.lf处理引擎500还可以修改全息内容以适应位置处的环境特性。例如，基于消费者装置是否位于黑暗的房间空间、明亮的房间、阳光充足的位置等，lf处理引擎可以修改将以适合该位置照明的亮度显示的全息内容。lf处理引擎可以使用存储在数据存储装置522中的数据以及来自跟踪模块580中的相机系统的信息来定制全息内容的显示。此外，全息内容的修改还可以采用由用户概况分析模块528确定的用户显示偏好。
152.lf处理引擎530还可以创建全息内容以由lf显示系统500显示。重要的是，此处，创建用于显示的全息内容不同于访问或接收用于显示的全息内容。也就是说，当创建内容时，lf处理引擎530生成用于显示的全新内容，而不是访问先前生成和/或接收的内容。lf处理引擎530可以从数据存储装置522、跟踪模块526、用户概况分析模块528、感觉反馈系统570、跟踪系统580或其某种组合获得或接收信息，以创建用于显示的全息内容。在一些实例中，lf处理引擎530可以访问来自lf显示系统500的元件的信息(例如，跟踪信息和/或用户简档)，基于所述信息创建内容，并且作为响应，使用lf显示系统500显示创建的内容。创建的内容可以是全息内容。当由lf显示系统500显示时，创建的全息内容可以用其它感觉内容(例如，触摸、音频或气味)增强。进一步地，lf显示系统500可以将创建的全息内容存储在数据存储装置522中以供将来使用。
153.在一些实施例中，lf处理引擎530可以响应于改变消费者装置的操作状态而使生成的全息显示被更新、修改、删除、暂停或其组合。在一些实施例中，lf处理引擎530可以响应于从跟踪系统580接收并由跟踪模块526解释的信息，使生成的全息显示被更新、修改、删除、暂停或其某种组合。例如，跟踪模块580可以将从跟踪系统580捕获的注视信息提供给lf显示模块，用于重新渲染全息内容以与正在与装置交互的用户进行眼神接触。
154.在一些实施例中，lf显示系统500包含命令库532。命令库532可以充当识别和解释用户命令的命令接口。可以基于从感觉反馈系统570(例如，音频)、跟踪模块526(例如，跟踪的手势或表情)、用户概况分析模块528(例如，存储的个人偏好)或其某种组合接收到的跟踪信息来解释用户命令。命令库532可以应用启发法来解释用户命令，并引导lf处理引擎530生成适当的显示、触觉和任何其它多感觉信息。命令库532存储接收到的用户命令到可以由lf显示系统500执行的计算命令的映射。命令库532还存储与所存储的映射相关联的启发法。命令库532可以通过由lf显示系统500显示的全息用户界面接收用户命令。通过显示的全息用户界面接收的可能的用户命令的实例可以包含用户对全息对象的不同的特定触
摸接触(例如，特定显示的全息“按钮”的手指触摸)和针对全息对象的表面的不同触摸移动(例如，转动显示的全息“旋钮”)。在一些实施例中，当跟踪模块526确定用户在所显示的全息用户界面中所显示的全息对象的阈值距离内时，可以确定触摸接触或触摸移动已经发生。在一些实施例中，用户命令可以包含：由用户提供的感觉反馈，如用户在目标区域内时说出的口头命令(例如，使用声学接收器捕获的“给我看奶奶的苹果派视频”形式的口头命令)；由跟踪系统580捕获的手势和身体移动(例如，用户在目标区域举起的手，以指示定时器应该暂停)；感测作为感觉反馈系统570的一部分连接到显示器的物理开关、旋钮、按钮或拨盘等；或其组合。
155.与接收到的用户命令对应的将由lf处理引擎执行的计算命令可以包含以下命令：显示特定全息对象、更新全息内容的显示、修改特定全息对象的显示、显示全息对象的序列、暂停或者播放lf显示系统500正在呈现的内容、删除显示的对象或其组合。其它计算命令可以涉及致动其它传感器和控件，如例如烘烤温度设置按钮等消费者装置控件，以及改变消费者装置的操作状态。因此，在一些实施例中，跟踪系统580将检测到的用户动作(例如，转动显示的全息“拨盘”)报告给命令库532。作为响应，命令库532可以应用来自所存储的启发法的启发法并且确定需要执行计算命令，所述计算命令涉及向系统发送指令以例如适当地设置电器中的定时器应用程序。
156.在一些实施例中，命令库532从数据存储装置522和跟踪模块580接收信息以基于可能以较低置信度检测到的用户命令来解决模糊映射。然而，来自跟踪系统580的信息和来自数据存储装置522的用户简档信息可以提供足够的启发法信息以消除映射的歧义并确定将执行的特定计算命令。然后将该确定的计算命令提供给lf处理引擎530以供执行。
157.在一些实施例中，lf显示系统500包含安全模块534。安全模块534强制安全访问由lf显示系统提供的至少一些功能。为此，安全模块534可以通过lf显示系统500生成用户界面元件，用于从消费者装置的用户接收认证凭证信息，如密码或生物特征数据。安全模块基于存储在数据存储装置522中的数据对凭证信息进行认证。在认证用户之后，安全模块534可以使用户能够安全地访问lf显示系统500的一些或全部功能。在一些实施例中，安全模块534可以激活消费者装置内的内部传感器，如被定位成记录如内部机械元件和内部电路系统等元件的图像的内部相机。在一些实施例中，安全模块534可以将来自内部相机的图像直接提供给经过认证的用户以供观看。在一些实施例中，安全模块534可以从内部传感器接收信息，并将该信息提供给lf处理引擎530，用于基于接收到的信息生成全息内容。在一些实施例中，lf处理引擎530可以处理来自内部传感器的信息，并使用处理后的数据用于映射到数据存储装置522中存储的数据，并生成/检索全息内容并将它们显示给用户。在一些实施例中，lf处理引擎530可以采用ai模型来将来自内部传感器的信息映射到存储在数据存储装置522中的信息，并且随后生成/检索全息内容。例如，有执照的烤箱维修技术人员可以提供认证证书，以获得对与烤箱的烤焙用具元件相关联的内部电路系统的安全访问。在认证后，安全模块534可以激活内部相机以接收与内部电路系统相关的图像，并将图像提供给lf处理引擎530。lf处理引擎530可以处理接收到的图像数据并将处理后的图像数据映射到存储在数据存储装置522中的与损坏的加热元件的描绘相关联的数据。lf处理引擎随后可以基于映射的数据生成或检索描绘损坏的加热元件的全息内容，并将其显示给有执照的烤箱维修技术人员。安全模块534可以将与认证消费者装置的用户有关的信息提供给数据存储
装置522、用户概况分析模块528、lf处理引擎530、命令库532、lf显示系统500的任何其它组件或其某种组合。
158.lf显示系统的动态内容生成
159.在一些实施例中，lf处理引擎530并入人工智能(ai)模型以创建全息内容以供lf显示系统500显示。ai模型可以包含监督或无监督的学习算法，包含但不限于回归模型、神经网络、分类器或任何其它ai算法。ai模型可以用于基于由lf显示系统500(例如，通过跟踪系统580)记录的用户信息来确定用户偏好，所述用户信息可以包含关于用户的行为的信息。ai模型还可以将学习到的每个用户的偏好存储在数据存储装置522的用户简档存储装置中。在一些实例中，当多个用户可以操作电器时，ai模型可以基于学习到的该用户的偏好为所述特定个人用户创建全息内容。ai模型可以从数据存储装置522访问信息以创建全息内容。在一些实施例中，ai模型可以使用学习算法的结果来为存储在命令库532中的命令映射建立用户特定性启发法。
160.可以用于标识用户的特性、标识反应和/或基于所标识的信息生成全息内容的ai模型的一个实例是具有节点层的卷积神经网络模型，其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。在一些实例中，还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。
161.到模型的输入可以是由跟踪系统580拍摄的被编码到第一卷积层上的图像，并且模型的输出是从神经网络的输出层解码的全息内容。可替代地或另外地，输出可以是图像中用户的确定特性。在此实例中，ai模型可以标识图像中的潜在信息，所述潜在信息表示神经网络中间层之一中的用户特性。可以通过在对应的中间层之间应用一组变换来检索层中标识的元件之间的相关性信息。变换的权重和参数可以指示包含在起始层中的信息与从最终输出层获得的信息之间的关系。例如，权重和参数可以是包含在表示图像中的微笑用户的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如，先前跟踪的用户)。
162.在一个实施例中，ai模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。使用来自跟踪系统580的测量结果作为输入，并且将对所创建的全息内容的改变作为输出来训练模型以提高性能的质量。
163.强化学习是机器学习系统，其中机器学习“做什么
”–
如何将情况映射到行动
–
从而最大化数字奖励信号。不告知学习者(例如，lf处理引擎530)要采取什么动作(例如，生成规定的全息内容)，而是通过尝试所述动作发现哪些动作产生最高的奖励(例如，通过使用户微笑更多来提高全息内容的质量)。在一些情况下，动作不仅可以影响即时奖励，而且影响下一种情况，并因此影响所有后续奖励。试错搜索和延迟奖励这两个特性是强化学习的两个显著特征。
164.ai模型可以包含任意数量的机器学习算法。可以采用的一些其它ai模型是线性和/或逻辑回归、分类和回归树、k均值聚类、矢量量化等。通常，lf处理引擎530从跟踪模块526和/或用户概况分析模块528获取输入，并且作为响应，机器学习模型创建全息内容。类似地，ai模型可以引导全息内容的渲染。
165.网络环境
166.图6描绘了根据一个或多个实施例的系统环境600的框图。系统环境600包括一个或多个联网消费者装置610、网络620和一个或多个第三方内容提供商630。
167.在一个实施例中，消费者装置610是提供一个或多个面向消费者的功能的便携式装置，这些功能由电子控制系统或机械控制系统或其组合启用。联网消费者装置还可以执行计算机程序模块，例如网络浏览器或客户端应用程序，它们允许用户在使用电器的过程中浏览互联网、消费媒体内容，以及执行各种软件应用程序。消费者装置610可以是例如洗衣机、烤箱、冰箱或任何其它具有网络能力的消费者装置。除了特定于电器的消费者相关功能，消费者装置610还包括光场显示系统612和用户界面614。在其它实施例中，消费者装置610包括比本文所描述的模块更多或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。
168.图6中所展示的lf显示系统616是图5中描绘的lf显示系统500的实施例。用户640可以通过用户界面614与消费者装置610交互。
169.网络620可以包括使用有线和/或无线通信系统两者的局域网和/或广域网的任何组合。例如，局域网可以包含wifi和蓝牙网络。在一个实施例中，网络620使用标准通信技术和/或协议。例如，网络620包含使用如以太网(ethernet)、802.11、全球微波接入互操作性(wimax)、3g、4g、码分多址(cdma)、数字用户线(dsl)等技术的通信链路。用于通过网络620进行通信的网络协议的实例包含多协议标签交换(mpls)、传输控制协议/互联网协议(tcp/ip)、超文本传输协议(http)、简单邮件传输协议(smtp)和文件传输协议(ftp)。通过网络620交换的数据可以使用任何合适的格式来表示，如超文本标记语言(html)或可扩展标记语言(xml)。在一些实施例中，网络620的所有或一些通信链路可以使用任何合适的一种技术或多种技术来进行加密。
170.一个或多个第三方内容提供商630可以通过网络620与消费者装置610进行通信。在一个实施例中，第三方内容提供商630可以是应用程序提供商，其提供用于执行的应用程序以及用于在消费者装置610中显示的内容。新应用程序、新内容以及对现有应用程序和内容的更新可用于从第三方内容提供商630通过经由网络620的推启用或拉启用更新中的任何一个在消费者装置610处执行和/或显示。这些应用程序和内容可以含有存储在数据存储装置522中的全息内容轨迹，用于由光场显示系统612投影和显示。对消费者装置610可用的内容可以包含将由光场显示系统612与使用消费者装置610中的功能相关联地显示的广告、产品报价和产品优惠券。例如，描绘流行动画人物的全息内容可以从第三方内容提供商下载并存储在光场显示系统612中以供用户640用作“全息头像”以在一个或多个应用程序中表示用户。
171.在一个或多个实施例中，为了确保阻止对消费者装置610的未经授权的网络访问，系统可以使用安全设置来认证实体对消费者装置610的网络访问，从而建立到消费者装置610的安全连接，和/或将内容下载到消费者装置610。在一些实施例中，消费者装置610可以并入如密码和智能卡等认证因素，或者在通过网络620或用户界面614访问消费者装置610时使用生物测定方法来实施访问控制。可以针对用户界面614的任何可能配置实现对用户界面614的安全访问，包含以下任何一种：全息用户界面、可以作为感觉反馈系统570的一部分的传统物理用户界面或音频界面、依赖于由跟踪系统580捕获并由跟踪模块526处理的手势的接口，或通过网络接口524接收的命令。
172.lf显示系统中的全息用户界面和“触摸”解释
173.以下是对用于生成全息用户界面(ui)以供用户与消费者装置交互的lf显示系统的一些实施例的描述。该描述涉及图5中的lf显示系统500中所展示的元件。
174.在一些实施例中，生成的全息ui是包含呈现给用户的一个或多个全息ui对象的用户界面。在一些实施例中，所呈现的全息ui对象也可以是虚拟图像显示的一部分，所述虚拟图像显示描绘了例如全息对象似乎驻留在其上的虚拟显示屏图像。在一些实施例中，呈现的全息对象和/或虚拟图像可以增强装置上的物理ui。生成的全息ui对象可以包含但不限于3d全息对象，如“按钮”、“旋钮”、“拨盘”、“键盘”等。生成的全息对象还可以包含2d全息对象，如显示带有众多选项列表的全息菜单的全息“屏幕”。可以通过指向或触摸全息菜单中的特定选项(例如，用户的手指)来提示(例如，口头地或通过视觉显示的提示)用户选择一个或多个选项。
175.在一些实施例中，所呈现的全息ui对象可以用触觉刺激来增强，以生成与所呈现的全息对象的表面共同定位的触觉表面。因此，例如，感觉反馈系统570可以投影超声能量，例如压力波，以生成与全息“按钮”上的正面显示器表面并置的触觉表面。跟踪系统580可以跟踪用户朝向全息按钮的移动(例如，用户手指的移动)。移动信息可以由跟踪系统580发送到跟踪模块520。控制器520中的跟踪模块526可以确定，当被跟踪的手指在所呈现的触觉表面的某个阈值距离内时，手指正在“触摸”或“按下”全息“按钮”。此外，响应于该确定，lf显示器组合件510可以进一步在不同位置渲染全息“按钮”以及所呈现的触觉表面，例如，使触觉表面的位置移动到用户“按下”时移动全息“按钮”所导致的新位置。
176.在另一个实施例中，全息ui可以涉及呈现向用户打招呼的全息人物。在一些实施例中，所呈现的全息人物的各种特性，如视觉、音频和个性特性，可以至少部分地由用户配置。在一些实施例中，所呈现的全息人物的各种特性可以基于通过网络从在线系统接收的信息，可能换取交易费用。在一些实施例中，全息人物可以与全息ui对象的呈现一起呈现。在其它实施例中，可以首先向用户呈现全息人物，随后，可以呈现具有全息ui对象的全息“菜单”显示。在又一些实施例中，所有交互可以涉及来自用户的口头命令，这些命令由lf显示系统中的声学接收器接收。在一些实施例中，所呈现的全息人物可以用声音刺激来增强，以向用户发出口头响应。在一些实施例中，可以使用人工智能模型来生成或修改全息人物。在一些实施例中，可以基于访问的用户简档数据来生成全息人物。此外，随着用户简档信息的更新，生成的全息人物也可以基于对用户简档信息的修改而被修改。在一些实施例中，可以基于识别的来自用户的命令来修改生成的全息人物。
177.在一些实施例中，跟踪模块526可以基于从跟踪系统580接收的信息跟踪全息对象体积和/或lf显示系统前面的观看体积内的信息，并将跟踪的信息发送到命令库532。命令库532可以分析接收到的信息，基于所述分析使用存储的启发法，并确定需要向用户显示用户界面。此外，使用由用户概况分析模块528存储的用户简档信息，命令库532可以应用其它存储的启发法并从所存储的映射中确定需要生成定制的用户界面，所述定制的用户界面涉及显示向电器用户打招呼的特定全息人物。命令库532可以向lf处理引擎530发出计算命令以显示所确定的向用户打招呼的全息人物，以显示在全息对象体积中。执行该计算命令可涉及lf处理引擎530从数据存储装置522获取与渲染和显示全息人物有关的图像数据。命令库532还可以触发感觉反馈组合件570中的声学换能器，以传输与所显示的全息人物同步的
可听问候。lf处理引擎530可以使用从跟踪系统580获得的跟踪信息来渲染全息人物以观看和/或进行眼神接触，或以其它方式与用户进行交互。来自用户的口头响应可以由定位在感觉反馈组合件570内的声学接收装置(例如，麦克风或麦克风阵列)接收，所述声学接收装置将接收到的响应数据呈现给控制器520以供进一步处理。命令库532可以使用从感觉反馈组合件570接收到的数据，应用如语音识别软件等启发法和识别软件，并且确定例如需要响应于用户的口头表达而向用户显示定时器设置界面。
178.在另一个实施例中，用户可以将lf显示系统配置成始终以特定定制的3d全息用户界面的呈现为开始，所述全息用户界面还用特定所需电器功能的显示进行增强，如带用微波炉的水加热设置选项。在一些实施例中，装置用户可以配置用于与lf显示系统相关联的各种电器功能的设置，以具有呈现给用户使用的具有各种功能的期望的特定全息用户界面。例如，用户可以将烘干机lf显示系统配置成在选择使用具有“重”负载的烘干机时呈现特定的全息ui，与选择使用具有“正常”设置的烘干机相比，这提供了更多可选选项。
179.在其它实施例中，全息用户界面包括比本文所描述的功能更多或更少的功能。类似地，可以以与此处描述的方式不同的方式在lf显示系统500中的模块和/或不同实体之间分配功能。
180.跟踪系统580可以使用跟踪系统580内的相机跟踪用户的移动。用户的移动可以由跟踪系统580发送到控制器520，以进行触摸解释。在一些实施例中，如下执行触摸解释：跟踪系统580首先在用户接近(例如，用一根或多根手指)所呈现的全息对象时跟踪用户移动。跟踪系统580将所跟踪的移动信息发送到控制器520。跟踪模块526确定所跟踪的手指在距所呈现的全息对象的阈值距离内，并且作为响应，确定用户正在“触摸”全息对象。在其它实施例中，触摸解释可以涉及通过跟踪系统580跟踪关于所呈现的全息对象的其它种类的移动。用户跟踪的移动可以包含但不限于确定用户正在针对一个或多个所呈现的全息对象执行以下一项或多项：改变位置、移动、推动、按压、拨号、旋转、打字、戳、移动开关等。
181.在一些实施例中，感觉反馈系统570可以感测增强所显示的全息对象的体积触觉表面的“触摸”。该确定可以基于接收来自感觉反馈系统570中的压力传感器的输入，所述压力传感器检测由生成体积触觉表面所需的超声波能量中的手指或其它身体部分的存在引起的阈值修改。该信息可以被发送到控制器520用于进一步分析。对接近度的感测也可以通过以下方式来实现：监测投影体积触觉表面所需的施加到超声换能器的驱动功率，并通过检测此驱动功率的阈值变化来推断物理对象的存在。
182.消费者装置中的定制化全息显示
183.在一些实施例中，lf显示系统可以结合如由图5中的用户概况分析系统528获得的用户简档信息使用这种跟踪系统生成定制的交互体验。因此，在全息ui生成应用程序中，基于用户，生成的全息“按钮”的大小可能会有所不同
–
例如，对于儿童来说很小，而对于老年用户来说，它的尺寸较大且颜色较亮，可以很容易地被看到。此外，在一些实施例中，lf显示系统可以被定制成针对特定用户显示特定内容。因此，例如，lf显示系统可以被定制成针对一个用户显示全息“按钮”而针对另一个用户显示全息“拨盘”。在其它实施例中，lf显示模块可以显示定制的全息人物，以与装置用户进行交互(例如，看、说、听、触摸或其某种组合)。另外，跟踪系统可以跟踪用户的注视。跟踪系统可以将注视信息提供给lf显示模块，用于重新渲染全息内容以与正在与装置交互的用户进行眼神接触。
184.在一些另外的实施例中，用户概况分析系统可以针对电器用户中的每一个用户建立用户简档，以存储用户偏好或其它用户特性。用户简档可以利用跟踪系统或lf显示系统的另一个组件(如控制器(即，控制器520))构建，并存储在数据存储装置(即，数据存储装置530)中。可以利用由用户概况分析系统收集的所有数据针对每个用户建立用户简档。另外，如跟踪系统或感觉反馈组合件等其它组件可以将数据提供给用户简档以存储在数据存储装置中。
185.lf显示系统可以利用用户概况分析系统在电器的每次后续使用期间为用户个性化全息内容。例如，lf显示系统可以通过名称(例如，通过视觉或音频方式)来称呼用户。在其它实例中，lf显示系统生成与用户对先前生成的全息内容的响应相对应的全息内容。例如，如果星期二晚上是定期烤鸡之夜，并且数据存储装置已经存储了此信息，则在星期二的晚上，烤箱中的lf显示系统可以生成一个全息人物来提出“我应该将烤箱开到350度吗？”的问询。
186.图7是根据一个或多个实施例的作为消费者装置710的一部分实施的lf显示系统700的实施例的图示。lf显示系统700是如图5中描述的lf显示系统500的实施例。lf显示系统700由具有lf显示模块720的消费者装置710(例如，电器)构成。在一个或多个实施例中，装置710带有一个或多个控制面板730，其可以含有物理特征(如按钮等)和/或2d数字显示器(包含2d触摸屏)以供用户访问电器。另外，装置710还包含用于向装置的用户生成全息内容的lf显示器组合件(例如，图5中的lf显示器组合件510)。lf显示系统700还可以包含图5中所示的lf显示系统500的其它组件的任何组合，如控制器520、用户概况分析模块528、感觉反馈组合件570和跟踪系统580。
187.lf显示系统可以使用一个或多个lf显示模块向用户呈现包含至少一个全息对象的全息内容。全息对象可以是三维(3d)、二维(2d)或其某种组合。此外，全息对象可以是多色的(例如，全色)。在图7中，全息对象体积740在显示模块720的前面和后面都延伸(例如，类似于图1中所示的)。然而，为了便于说明，在图7中省略了全息对象体积740的在消费者装置710后面的部分。观看体积750表示用户可以在其中观看由lf显示模块720呈现的全息对象的观看空间。全息对象762和764可以放置在全息对象体积740内的任何位置，所述全息对象体积涵盖源自lf显示模块720并会聚以创建全息对象的所有光线，该组会聚点定位在装置的显示区域的前面。观看者a 772和观看者b 774可以观看所显示的全息对象762和764。所显示的全息对象762和764可以响应于用户移动。例如，全息拨盘或按钮可以响应于可以通过跟踪系统感测到的用户手部运动而移动、随着通过跟踪系统感测到的用户手势而旋转、根据由感觉反馈系统(例如，570)接收的语音命令或随着一些其它用户输入而旋转。
188.全息对象762和764还可以具有被投影为靠近其表面或与其表面重合的触觉表面。这些触觉表面可以响应用户的移动
–
例如，跟踪系统可以感应到表面上的触摸，这可能导致感觉反馈系统触发适当的触觉响应(或例如，对应于用户手指或手位置的适当的相应触觉响应)。因此，手指770朝向例如全息对象762的移动以及手指770在全息对象762的触觉表面上的“触摸”可以由lf显示系统中的跟踪系统建立。
189.如上文关于消费者装置中的定制化全息显示所描述的，当跟踪系统580跟踪观看者a 772的存在时，所配置的设置可以导致针对观看者772的(仅)全息对象762的定制化显示(即，全息“按钮”)。因此，如果观看者b 774不存在，则可能不会呈现全息对象764的显示。
类似地，在感测到观看者774的存在时，所配置的设置可以导致针对观看者774的(仅)全息对象764的定制化显示(即，全息“拨盘”)。
190.下文描述了lf显示系统的其它示例性实施例。出于说明的目的添加了实施例的描述。该描述并非旨在对所有可能的电器中的lf显示系统进行详尽的描述。
191.示例性实施例：家庭助手中的lf显示系统
192.以下是对作为家庭助手装置(如来自亚马逊的alexa和来自谷歌(google)的home)的一部分的lf显示系统的一些实施例的描述。该描述涉及图5中的lf显示系统500中所展示的元件。这种家庭助手系统也可以兼作家庭自动化系统，其可以控制家庭照明、家庭气候、家庭娱乐系统、电器、相机、门锁或其它装置。
193.在一些实施例中，感觉反馈系统570可以接收在装置附近检测到的感觉数据(例如，由感觉反馈系统570中的声学麦克风捕获的音频数据，如来自用户的口头命令)或着跟踪系统580可以接收关于由相机捕获的用户移动的视觉信息。所述接收到的信息被发送到家庭助手中的光场显示系统500内的控制器520。控制器520可以将该信息转发到命令库532以进行进一步处理和解释。命令库532可以连同跟踪模块一起(如果需要的话)解释接收到的信息以及由用户概况分析系统528存储的用户简档信息，以便对用户手势进行解释，应用存储的启发法，并向lf处理引擎发送计算命令以向用户呈现如上所述的全息用户界面。
194.所显示的全息用户界面可以根据用户的需要进行配置，以便于与家庭助手进行交互。呈现给用户的全息用户界面与家庭助手集成，以实现家庭助手提供的所有功能的显示和执行。由与家庭助手集成的lf显示系统500提供的功能的实例包含但不限于全息用户界面，包含响应于来自用户的触摸命令而显示给用户的菜单选项的全息和触觉屏幕，以及家庭安全、照明或家用电器设置的全息显示，所述设置有助于用户通过所显示的全息界面重新配置这些设置。
195.消费者装置(例如家庭助手)的全息用户界面可以以全息人物为特征，如前所述。全息人物可以具有多种特性，这些特性可能会因品味而改变，所述品味包含以下任何一种：外表(例如名人的外表)、服装(或没有)、个性、声音(例如名人的口音或声音)、脾气、语言(例如使用的脏话数量)或其它特征。全息人物可能具有cg人物(例如超级英雄)的外表、如演员或运动员等著名人物的外表、许多可用头像之一的随机选择或另一种外表。全息人物的外表可能伴随着可识别的家庭助手声音(例如，与外表相匹配的名人声音)并且可以由用户容易地改变。全息人物可以由ai模型生成和个性化。全息人物还可以访问用户简档或社交媒体账户，以使其对用户更具吸引力。例如，全息人物可以根据在用户社交媒体账户上出现的照片或讨论中观察到的特性提供有趣的反馈，或者根据预定事件当天的日历提醒提供玩笑。对于用户的娱乐，全息人物可以根据用户的选择而被置于坏心情或愉快心情中。对在如家庭助手或家庭自动化装置等消费者装置上观看和体验的全息人物的特征的许多选择可以通过第三方内容提供商630(例如在线商店)经由网络620下载，在某些情况下，换取交易费用。
196.在其它实施例中，家庭助手全息人物可以被提供为虚拟宠物，其可以对被识别的用户有感情，或者充当看门动物(看门狗或喧闹的鹦鹉)，当在家中的某些部分观察到无法识别的人时，会以保护的方式行事。
197.示例性实施例：烤箱中的lf显示系统
198.以下是对作为如家用烤箱等消费者电器的一部分的lf显示系统的一些实施例的描述。该描述涉及图5中的lf显示系统500中所展示的元件。
199.在一些实施例中，在电器中的光场显示系统500内，跟踪模块526可以从跟踪系统580接收在lf显示系统前面(例如，在全息对象体积内和/或在观看体积内等)捕获的图像。跟踪模块526可以确定用户的存在。控制器520中的命令库532可以使用从跟踪模块526接收到的跟踪信息以及由用户概况分析系统528存储的用户简档信息，以应用启发法方法将计算命令发送到lf显示器组合件510，从而向用户呈现如上所述的全息用户界面。
200.如前所述，在一些实施例中，lf显示系统500还可以用其它感觉内容(例如，触摸、温度)来增强所呈现的全息内容。因此，例如，与烤箱相关联的lf显示系统500可以呈现在烤箱中烘烤的一条面包的全息图像。全息“面包”可以用触觉刺激来增强，以生成与所呈现的全息“面包”的顶表面共同定位的触觉表面。因此，感觉反馈系统570可以投影声学能量，例如压力波，以生成共同定位的触觉“面包”表面。此外，可以定期修改共同定位的触觉“面包”表面的质量，使得呈现给用户的触感反映了烤箱内实际烤面包的“完成度”状态。
201.因此，在一些实施例中，lf显示系统可以从电器控制系统获得如时间、温度等参数值，并使用所述参数值以及数据存储装置522中关于一条面包的烘烤时间的数据来调整所呈现的触觉表面的强度，使得所呈现的表面强度可以描绘电器中面包的“完成度”。例如，lf显示系统可以使用获得的信息来控制感觉反馈组合件570中的超声发射器，以生成适当变化的压力波，使得在给定时间点渲染的触觉表面的强度响应用户的“触摸”，以反映在给定时间烤箱中实际面包的“完成度”。
202.在一些实施例中，跟踪系统580可以跟踪用户朝向所呈现的全息面包的移动(例如，用户手指的移动)。移动信息可以由跟踪系统580发送到控制器520。控制器520可以确定，当被跟踪的手指在所呈现的触觉面包表面的某个阈值距离内时，手指正在“触摸”或“按下”全息“面包”。此外，响应于该确定，lf显示器组合件510可以进一步在不同位置渲染全息“面包”以及所呈现的触觉表面，例如，使触觉表面的位置移动到用户“按下”时移动全息“面包”所导致的新位置。同样，“表面”到新位置的移动量可能反映了面包的“完成度”。
203.一些实施例可以采用来自感觉反馈组合件570的输入来确定如何显示全息对象。响应于在lf显示系统500处接收到参数值，可以修改全息对象的显示。参数的实例可以包含时间、温度、压力、力、音频分贝水平等，或其某种组合。例如，烤火鸡可以被描绘成一个全息对象，它根据定时器或温度传感器的输入，随着烤箱内烘烤时间的进行而慢慢改变颜色。在另一个实施例中，在lf显示系统500配备有加热单元作为感觉反馈组合件570的一部分的情况下，烤火鸡的全息表示周围的温度可以随着时间或温度升高而升高。数据可以从定位在烤箱内的附加传感器(如温度传感器)获得，也可以从存储在数据存储装置内的数据(如配方信息)获得，以便生成全息对象。
204.在一些实施例中，用户做出的操作选择可以影响全息内容的显示。例如，当lf显示系统确定用户已做出以10小时低温循环使用烤箱的操作选择时，lf显示系统可能仅在10小时循环结束时呈现烤箱内容物的全息描绘。
205.示例性实施例：冰箱中的lf显示系统
206.lf显示系统的一些实施例存在于如家用冰箱等电器中。在一些实施例中，跟踪模块526可以(如图5所示)基于从跟踪系统580接收的信息跟踪全息对象体积和/或lf显示系
统前面的观看体积内的信息，并将此跟踪的信息发送到命令库532。命令库532使用从跟踪模块526接收到的跟踪信息以及由用户概况分析系统528存储的用户简档信息，在命令库532中应用启发法并将计算命令发送到lf处理引擎530。lf处理引擎530执行计算命令并使lf显示器组合件投影冰箱内容物的全息显示。在一些实施例中，显示冰箱的内容物涉及定位在冰箱内的内部相机传感器，以便将冰箱内容物的图像数据提供给lf显示系统500。在其它实施例中，lf显示系统500接收用户命令，所述用户命令由用户在物理控制面板上手动输入，或者基于跟踪系统580对用户手势的识别，以生成全息显示。例如，跟踪模块526检测由命令库532基于启发法映射的用户手势，以向lf显示系统发送计算命令从而生成仅描绘冰箱内容物的一部分的全息显示(如例如，当前可通过冰箱中的内置制冰机获得的冰量，或者作为另一个实例，冰箱搁架上的物品)。按照此实例，生成期望的特定全息显示可以涉及使用感觉反馈系统570内的相机传感器来获取期望的图像数据，并且基于获取的图像渲染从显示器表面投影的全息对象。
207.之前已经注意到，在一些实施例中，lf显示系统可以包含使系统能够同时发射至少一种类型的能量，并且同时使用图像跟踪信息以及电器内的图像信息来响应用户并为用户创建交互式体验的元件。因此，例如，在一个实施例中，lf显示系统500可以显示冰箱的内容物。在感测到用户“移动”特定描绘的全息对象(如例如，一加仑牛奶)时，系统可以修改呈现以描绘不同的全息对象，例如在冰箱内位于一加仑牛奶后面的一袋沙拉蔬菜。
208.电器服务和维护支持
209.使用lf显示系统的另外的实施例涉及促进消费者装置(例如，电器)内的服务和维护功能。lf显示系统可以具有适当的访问控制策略以允许在消费者装置的正常操作下仅在消费者装置用户上显示某些类型的全息对象。然而，有执照的消费者装置服务技术人员可以获得消费者装置系统内的安全访问，以在消费者装置(例如，如洗碗机等电器)的服务维护和/或维修期间激活描绘消费者装置内的内部机械元件的全息对象的显示。可以使用从定位在消费者装置内的传感器获得的各种传感器数据来生成该显示。因此，例如，有执照的冰箱技术人员可能能够安全地启用冰箱制冰机的全息显示，包含冰箱用户不容易看到的内部机械部件，如例如冷凝器风扇和电机组合件、水管、切冰格栅组合件等，以及与冰箱的制冰机相关的电路系统，同时执行针对冰箱制冰能力的服务或维护任务。
210.图8是示出根据一个或多个实施例的用于使用光场显示系统实现用户与消费者装置的交互的过程的流程图。在一个实施例中，图8的过程由光场显示系统500(如图5所示)执行。在其它实施例中，其它实体可以执行该过程的一些或全部步骤。同样，实施例可以包含不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
211.光场显示系统500接收来自用户的命令810。可以通过物理控件接收用户命令，例如，可以按下的物理按钮、可以旋转的物理拨盘和物理触摸启用的屏幕，这些都可以定位在消费者装置上并作为感觉反馈系统570的一部分。在另一个实例中，用户命令可以作为语音命令在作为感觉反馈系统570的一部分的声学接收器(如声学麦克风)处被接收。接收到的用户命令通过控制器中继到命令库532，以用于进一步解释和分析。也可以通过用户的全息对象交互(如与所显示的全息ui交互)来接收用户命令。还可以通过跟踪系统580接收用户命令，所述跟踪系统通过来自跟踪模块526的指令跟踪用户。当跟踪系统580检测到用户已经触摸了触觉全息表面(如所显示的全息ui上的全息“按钮”)时，可以接收用户命令。接收
到的用户命令通过控制器中继到命令库532，以用于进一步解释和分析。类似地，用户命令可以是用户做出的手势或移动的形式。用户移动或手势可以由跟踪系统580标识并且可以被中继到命令库532用于分析和解释。还可以在消费者装置处通过通信网络接收用户命令并将其发送到命令库532以进行分析和解释。
212.光场显示系统500处理用户命令以确定计算命令820。光场显示系统500中的命令库532连同跟踪模块一起(如果需要的话)解释接收到的用户命令，其可能与由用户概况分析系统528存储的用户简档信息相关联，以便对用户手势进行解释，所述命令库可以应用存储的启发法，并基因接收到的用户命令确定计算命令。所确定的计算命令的一个实例是生成更多全息内容以供消费者装置的用户显示的命令。另一个实例可以是修改所生成的全息内容。所确定的计算命令可以激活lf显示系统中的传感器，如例如，用于跟踪用户注视的成像传感器。所确定的计算命令还可以激活消费者装置内的控件。例如，计算命令可以降低冰箱中的温度设置。
213.光场显示系统基于计算命令生成用于显示的全息内容830。光场显示系统500中的lf处理引擎530从命令库532接收确定的计算命令，并基于计算命令生成用于显示的全息内容830。因此，例如，计算命令可以指示lf处理引擎530生成在烤箱中烘烤的一条面包的全息显示。作为响应，在生成所需的全息内容之前，lf处理引擎530可以首先确定全息显示的特性，如所描绘的面包的颜色和触觉特征，以描绘烤面包的“完成度”，从数据存储装置522获得存储的用户简档特性等。
214.光场显示系统500显示所生成的全息内容840。控制器520发送显示指令以将来自lf处理引擎530的全息内容投影到lf显示模块512。lf显示模块512向用户显示全息内容。
215.额外的配置信息
216.对本公开的实施例的前述描述出于说明的目的而呈现；这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解，根据以上公开，许多修改和变化是可能的。
217.此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为通过计算机程序或等效电路、微代码等来实施。此外，在不失一般性的情况下，将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。
218.可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中，用计算机程序产品来实施软件模块，所述计算机程序产品包括含有计算机程序代码的计算机可读介质，所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
219.本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非-暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，所述介质可以耦接到计算机系统总线。此外，在说
明书中提及的任何计算系统可以包含单个处理器，或可以是采用多处理器设计以得到增加的计算能力的架构。
220.本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。这种产品可以包括由计算过程产生的信息，其中信息被存储在非-暂时性有形计算机可读存储介质上，并且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择其来描绘或限制本发明的主题。因此，意图是本公开的范围不受此具体实施方式的限制，而是受基于其所附的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。