用于体育项目的光场显示系统的制作方法

文档序号:29463560发布日期:2022-04-02 02:29阅读:147来源:国知局
用于体育项目的光场显示系统的制作方法
用于体育项目的光场显示系统
1.发明人:
2.乔纳森
·
肖恩
·
卡拉芬
3.布伦丹
·
埃尔伍德
·
贝文西
4.相关申请的交叉引用
5.本技术涉及国际申请第pct/us2017/042275号、第pct/us2017/042276、第pct/us2017/042418号、第pct/us2017/042452号、第pct/us2017/042462号、第pct/us2017/042466号、第pct/us2017/042467号、第pct/us2017/042468号、第pct/us2017/042469号、第pct/us2017/042470号和第pct/us2017/042679号,所有所述国际申请通过引用以其全文并入本文。


背景技术:

6.本公开涉及在竞技场中呈现体育项目,并且具体地涉及用于在竞技场中呈现体育项目的光场显示系统。
7.传统上,竞技场(例如,棒球场、篮球场等)被配置成允许在所述区域观看者(例如,球迷、人群、顾客等)实时观看体育项目(例如,棒球比赛、网球比赛等)。不幸的是,在一些情况下,在竞技场举办体育项目限制想要观看体育项目的观看者这样做的能力。举例来说,体育项目可能已售罄,可能在不方便的时间,或者可能距离观看者很远。有时体育项目被记录下来,随后在如电影屏幕或电视的二维表面上进行再现,但这些再现很难再现现场体育项目的竞技场中的气氛和激情。因此,被配置成呈现体育项目的呈现空间使得观看者可感知体育项目,就好像他们在竞技场中的现场体育项目中一样将为有益的。


技术实现要素:

8.一种光场(lf)显示系统,用于在呈现空间(例如,区域、家庭影院、如酒吧的公共场地等)中显示体育项目的全息内容。所述lf显示系统包括形成呈现空间中的表面(例如,球场、地板、桌面等)的lf显示模块,所述lf显示模块各自具有显示区域并且平铺在一起以形成具有大于显示区域的有效显示区域的无缝显示表面。lf显示模块显示来自体育体的体育项目的全息内容,使得呈现空间中的观看者可感知体育项目。
9.在一些实施例中,体育项目的全息内容可为在另一个呈现空间同时发生、由内容创建系统创建以在呈现空间中显示和/或从数据存储装置存取以在呈现空间中显示的体育项目的再现。所述全息内容可由负责管理全息内容的数字权限的网络系统管理。举例来说,呈现空间中的观看者可支付交易费用来访问全息内容以在呈现空间中显示。
10.在一些实施例中,lf显示系统包括跟踪系统和/或观看者概况分析系统。跟踪系统和概况分析系统可监测并且存储呈现空间中的观看者的特性、描述观看者的观看者概况和/或观看者对呈现空间中的全息内容的响应。创建为在呈现空间中显示的全息内容可为基于所监测或所存储的信息中的任一个。
11.在一些实施例中,用户可与全息内容交互,并且交互可充当全息内容创建系统的
输入。例如,在一些实施例中,lf显示系统中的一些或全部lf显示系统包括多个超声扬声器。多个超声扬声器被配置成生成与全息内容的至少一部分一致的触觉表面。跟踪系统被配置成跟踪用户与全息对象的交互(例如,通过由lf显示模块和/或一些其它相机的成像传感器捕获的图像)。并且lf显示系统被配置成基于交互提供全息内容的创建。
附图说明
12.图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
13.图2a是根据一个或多个实施例的光场显示模块的一部分的横截面。
14.图2b是根据一个或多个实施例的光场显示模块的一部分的横截面。
15.图3a是根据一个或多个实施例的光场显示模块的透视图。
16.图3b是根据一个或多个实施例的包括交织的能量中继装置的光场显示模块的横截面视图。
17.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
18.图4b是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
19.图4c是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
20.图4d是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
21.图4e是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。
22.图4f是根据一个或多个实施例的在房间的前壁上具有聚合表面的lf显示系统的侧视图的侧视图。
23.图5a是根据一个或多个实施例的光场显示系统的框图。
24.图5b示出了根据一个或多个实施例的实例lf电影网络550。
25.图6说明根据一个或多个实施例的场地600的侧视图,所述场地是已经用lf显示系统增强的传统影院。
26.图7说明根据一个或多个实施例的包括lf显示系统的第一场地的横截面,所述lf显示系统用于在观看体中的观看位置处向观看者显示体育项目。
27.图8说明根据一个或多个实施例的在观看者的客厅中也充当家庭影院的场地。
28.图9为说明用于在lf体育项目分配网络内显示体育项目的全息内容的方法的流程图。
29.附图仅出于说明的目的描绘了本发明的各个实施例。本领域技术人员将从下面的讨论中容易地认识到,在不脱离本文所描述的本发明原理的情况下,可以采用本文所示的结构和方法的替代实施例。
具体实施方式
30.概述
31.光场(lf)显示系统在充当体育项目设置的呈现空间中实施。举例来说,体育项目可以是棒球比赛、篮球比赛、曲棍球比赛、体操比赛、板球比赛、陆上曲棍球比赛、乒乓球比赛、橄榄球比赛、高尔夫比赛、田径比赛、足球比赛、英式足球比赛、赛车比赛、网球比赛、拳击比赛、武术比赛、奥运会项目和世界锦标赛项目。lf显示系统包含lf显示组件,所述lf显示组件被配置成呈现包括一个或多个全息对象的全息内容,所述全息对象在lf显示系统的观看体中将对一个或多个观看者可见。全息对象可为体育内容并且可包括教练、运动员、官员、医疗专业人员、球迷或参与者。lf显示组件可在呈现空间中的一个或多个表面(例如,球场)中的一些或全部表面上形成多面无缝表面。lf显示系统可将全息内容呈现给呈现空间中的观看者。观看者通常在呈现空间参加体育项目,但可为处于可观看呈现空间中的全息内容的位置的任何人。
32.全息内容的全息对象还可用其它感觉刺激(例如,触觉和/或音频)增强。例如,lf显示系统中的超声发射器可以发射超声压力波,所述超声压力波为全息对象中的一些或全部全息对象提供触觉表面。全息内容可以包括额外视觉内容(即,2d或3d视觉内容)。协调发射器以确保实现内聚性体验是多发射器实施方案中的系统的一部分(即,在任何给定时间点提供正确的触觉感觉和感觉刺激的全息对象)。
33.在一些实施例中,lf显示系统包括多个lf显示模块,其在呈现空间中形成体育显示区域(例如,球场、野外、桌面等)。形成体育显示区域的lf显示模块可被配置成将体育项目的全息内容投影到呈现空间内的lf显示器的观看体中的观看者。在本公开中,假设“呈现空间中的观看者”是指呈现空间内的lf显示系统的观看体中的一个中的观看者。下文更详细地描述观看体。以这种方式,呈现空间中的观看者可感知体育显示区域上的全息体育项目。举例来说,lf显示系统可显示武术比赛中的两个格斗者、打篮球比赛的两个球队、网球比赛中的两个球员,或与体育项目相关的任何其它内容。在一些实施例中,lf显示系统可创建全息内容以显示给呈现空间中的观看者。举例来说,lf显示系统可在呈现空间中创建为参与所呈现的体育项目的球队中的一个欢呼的欢呼部分。在一个实施例中,呈现空间再现体育竞技场的一部分。举例来说,呈现空间内的lf显示器可生成表示体育场或竞技场的一部分(例如曲棍球溜冰场和一部分观众)、野外、球场、体育馆或露天竞技场的一部分的体育内容。在一个实施例中,呈现空间可位于竞技场本身,或可位于酒吧、家庭娱乐系统、桌面呈现系统或公共呈现系统中。
34.在一些实施例中,lf显示系统可包括使得系统能够同时发射至少一个类型的能量,并且同时吸收至少一个类型的能量(用于创建全息内容)的元件。举例来说,lf显示系统可发射用于观看的全息对象,以及用于触觉感知的超声波。同时,lf显示系统可吸收用于跟踪观看者和其它场景分析的成像信息和用于检测用户的触摸响应的超声波。作为实例,这类系统可投影全息球,所述球被扔到呈现空间中的观众中。当观看者虚拟“触摸”全息球时,lf显示系统给观看者带来球在他们手中的错觉。执行环境能量感测的显示系统组件可经由发射和吸收能量的双向能量元件集成到显示表面中,或所述显示系统部件可为与显示表面分离的专用传感器。举例来说,lf显示系统可包括专用超声扬声器和图像捕获装置。
35.lf显示系统可为lf体育项目网络的一部分。lf体育项目网络允许将lf数据记录在一个位置(例如,第一竞技场)、编码、传输到不同位置(例如,第二竞技场)、解码并作为全息内容显示给不同位置处的呈现空间中的观看者。这允许多个位置的观看者感知发生在不同
位置的现场体育项目。在一些实施例中,lf显示系统包括管理全息内容的数字权限的网络系统。
36.光场显示系统
37.图1是根据一个或多个实施例的呈现全息对象120的光场(lf)显示模块110的图100。lf显示模块110是光场(lf)显示系统的一部分。lf显示系统使用一个或多个lf显示模块来呈现包括至少一个全息对象的全息内容。lf显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中,lf显示系统还可以用其它感觉内容(例如,触摸、音频、气味、温度等)来增强全息内容。例如,如下文所论述,聚焦超声波的投影可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。lf显示系统包括一个或多个lf显示模块110,并且下文关于图2-4详细讨论。
38.lf显示模块110是将全息对象(例如,全息对象120)呈现给一个或多个观看者(例如,观看者140)的全息显示器。lf显示模块110包括能量装置层(例如,发射电子显示器或声学投影装置)和能量波导层(例如,光学透镜阵列)。另外,lf显示模块110可包括能量中继层,用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处,能量装置层生成能量(例如,全息内容),然后根据一个或多个四维(4d)光场函数使用能量波导层将所述能量引导到空间中的区域。lf显示模块110还可以同时投影和/或感测一种或多种类型的能量。例如,lf显示模块110可能够在观看体中投影全息图像以及超声触觉表面,同时从观看体检测成像数据。lf显示模块110的操作在下文关于图2-3详细地讨论。
39.lf显示模块110使用一个或多个4d光场函数(例如,从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3d)、二维(2d)或其某种组合。此外,全息对象可以是多色的(例如,全色)。全息对象可以投影在屏幕平面前面、屏幕平面后面,或者被屏幕平面分开。可以呈现全息对象120,使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
40.全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即,朝向观看者140),使得全息对象可以呈现在显示区域150的平面前面。另外,全息对象体160可以在显示区域150的表面后面延伸(即,远离观看者140),从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说,全息对象体160可包括源自显示区域150的所有光线(例如,被投影),并且可以会聚以创建全息对象。本文中,光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地,全息对象体160涵盖观看者可以从中感知全息对象的所有体。
41.观看体130是空间的体,从所述空间可完全看到通过lf显示系统呈现在全息对象体160内的全息对象(例如,全息对象120)。可以将全息对象呈现在全息对象体160内,并在观看体130内对其进行观看,使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。
42.在一些情况下,全息对象体160和对应观看体130可相对较小,使得其被设计用于单个观看者,如在下文关于图10和11详细描述。在其它实施例中,可放大和/或平铺lf显示模块以创建较大的全息对象体以及可容纳大范围观看者(例如,1到数千)的对应观看体,如在下文关于例如图4a-4f、6a-6b、7a-7b、8和9a-9b详细描述。可以构建本公开中所呈现的lf
显示模块,使得lf显示器的整个表面含有全息成像光学装置,没有无效或死角空间,并且不需要边框。在这些实施例中,lf显示模块可以被平铺,使得成像区域在lf显示模块之间的接缝上是连续的,并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的连接点。值得注意的是,在一些配置中,尽管在本文中不详细地描述,但是显示表面的一些部分可以不包括全息成像光学装置。
43.观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如,观看者140可以移动到观看体130内的不同定位,并且从对应的视角看到全息对象120的不同视图。为了说明,参考图1,观看者140相对于全息对象120位于第一定位,使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。例如,观看者140可以移动使得他/她看到海豚的左侧、海豚的右侧等,就非常像观看者140正在观看实际的海豚一样并且改变他/她与实际的海豚的相对定位以看到海豚的不同视图。在一些实施例中,全息对象120对于观看体130内的所有观看者可见,所有观看者到全息对象120的视线不受阻碍(即,未被对象/人阻挡)。这些观看者可以不受约束,使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此,lf显示系统可以呈现全息对象,使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角,就好像全息对象是物理上存在的一样。
44.相比之下,常规显示器(例如,立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如,3-d眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地,常规的显示器可以要求观看者被约束到特定的观看定位(例如,在相对于显示器具有固定位置的椅子上)。例如,当观看由立体显示器示出的对象时,观看者总是聚焦在显示表面上,而不是聚焦在对象上,并且显示器将始终呈现对象的仅两个视图,所述视图将跟随试图在所述感知的对象周围移动的观看者,从而导致所述对象的感知失真。然而,利用光场显示器,通过lf显示系统呈现的全息对象的观看者不需要穿戴外部装置,也不必被限制在特定定位以看到全息对象。lf显示系统以观看者可见的方式呈现全息对象,与观看者可看见物理对象的方式几乎相同,而无需特殊的护目镜、眼镜或头戴式附件。进一步地,观看者可以从观看体内的任何位置观看全息内容。
45.值得注意的是,全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小,可以增加lf显示模块110的显示区域150的大小和/或可以形成无缝显示表面的方式将多个lf显示模块平铺在一起。无缝显示表面的有效显示区域大于各个lf显示模块的显示区域。下文关于图4a-4f、6a-6b、7a-7b、8和9a-9b讨论与平铺lf显示模块有关的一些实施例。如图1所说明,显示区域150例如为矩形,导致全息对象体160为角锥形。在其它实施例中,显示区域可以具有某个其它形状(例如,六边形),这也影响对应的观看体的形状。
46.另外,尽管上文论述聚焦于将全息对象120呈现在全息对象体160的位于lf显示模块110与观看者140之间的一部分内,但是lf显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如,lf显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外,lf显示系统可以生成在全息对象体160周围无缝地移动的内容,包括在显示区域150的平面后面和前面。
47.图2a说明根据一个或多个实施例的lf显示模块210的一部分的横截面200。lf显示模块210可以是lf显示模块110。在其它实施例中,lf显示模块210可以是显示区域形状与显示区域150不同的另一lf显示模块。在所说明的实施例中,lf显示模块210包括能量装置层220、能量中继层230和能量波导层240。lf显示模块210的一些实施例具有与此处所描述的部件不同的部件。例如,在一些实施例中,lf显示模块210不包括能量中继层230。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。
48.此处所描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处,将发射的能量从显示表面上的每个坐标引导朝向特定的方向。换句话说,显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线会聚,这由此可以创建全息对象。例如,对于可见光,lf显示器将从投影位置投影出可以会聚在全息对象体的任何点处的非常多的光线,因此从定位得比被投影的对象更远的观看者的视角看,所述光线似乎来自定位在此空间的区域中的真实对象的表面。以此方式,lf显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化,并且观看者将看到所述全息对象的不同视图。
49.如本文所描述的,能量装置层220包括一个或多个电子显示器(例如,发射显示器,如oled)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如,来自lf显示系统的控制器)显示内容。一个或多个电子显示器包括多个像素,每个像素具有独立控制的强度。可以在lf显示器中使用许多类型的商用显示器,如发射led和oled显示器。
50.能量装置层220还可以包括一个或多个声学投影装置和/或一个或多个声学接收装置。声学投影装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波阵列可以用于体积触觉(例如,在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如,沉浸式音频)。例如,假设全息对象250是海豚,则可以使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面,使得观看者可以触摸全息对象250;并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如,麦克风或麦克风阵列)可以被配置成监测lf显示模块210的局部区域内的超声和/或可听压力波。
51.能量装置层220还可以包括一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感,并且在一些情况下,可能对其它波段中的光(例如,红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(cmos)阵列、电荷耦合装置(ccd)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。lf显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
52.在一些配置中,能量中继层230在能量装置层220与能量波导层240之间中继能量(例如,电磁能量、机械压力波等)。能量中继层230包括一个或多个能量中继元件260。每个能量中继元件包括第一表面265和第二表面270,并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦合到一个或多个能量装置(例如,电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外,在一些实施例中,能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率,则中继器可以采取被称为锥体的粘
合锥形中继器的阵列的形式,其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间,以容纳多个能量源的机械包膜,如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上,其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是,在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框,并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
53.相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中,相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
54.在一些实施例中,相邻的能量中继元件的第二表面与可以包括压力、热和化学反应中的一个或多个的处理步骤融合在一起,以这种方式在其之间不存在接缝。并且仍在其它实施例中,通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列,每个能量中继元件被配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。
55.在一些实施例中,能量中继元件中的一个或多个能量中继元件表现出能量局部化,其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率,并且其中在能量波在表面265与表面270之间传播时,能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分配(如图像)在这些表面之间高效地中继,而分辨率没有任何显著的损失。
56.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如,坐标)引导到从显示表面向外进入全息观看体285的特定能量传播路径。能量传播路径由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2d坐标相关联。这四个坐标一起形成一个四维(4d)能量场。作为实例,对于电磁能量,能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中,根据4d光场函数将光进行引导以在全息对象体255内形成全息对象250。
57.能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中,小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外,在一些实施例中,波导元件中的一些或全部波导元件可以包括一个或多个另外的光学部件。另外的光学部件可以是例如能量抑制结构,如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中,小透镜和/或另外的光学部件中的至少一个能够动态地调整其光功率。例如,小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学部件的表面轮廓的动态调整可以提供对从波导元件投影的光的另外的方向控制。
58.在所展示的实例中,lf显示器的全息对象体255具有由光线256和光线257形成的边界,但是可以由其它射线形成。全息对象体255是在能量波导层240前面(即,朝向观看者280)和在其后面(即,远离观看者280)两者延伸的连续的体。在所说明的实例中,用户可以
感知的射线256和射线257以相对于显示表面277的法线的最大角度从lf显示模块210的相对边缘投影,但是射线可以是其它投影的射线。射线限定了显示器的视场,并因此限定了全息观看体285的边界。在一些情况下,射线限定了全息观看体,在所述全息观看体中可以在没有渐晕的情况下(例如,理想的观看体)观看整个显示器。随着显示器的视场增加,射线256和射线257的会聚点将更靠近显示器。因此,具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外,射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。
59.在一些实例中,可以将全息对象呈现给观看体285的仅一部分。换句话说,全息对象体可以被划分成任何数量的观看子体(例如,观看子体290)。另外,可以将全息对象投影到全息对象体255的外部。例如,全息对象251呈现在全息对象体255的外部。因为全息对象251呈现在全息对象体255的外部,所以不能从观看体285中的每个位置对其进行观看。例如,全息对象251可以从观看子体290中的位置可见,但是从观看者280的位置不可见。
60.例如,转到图2b以展示从不同观看子体观看全息内容。图2b说明根据一个或多个实施例的lf显示模块的一部分的横截面200。图2b的横截面与图2a的横截面相同。然而,图2b说明从lf显示模块210投影的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而,如所示,从lf显示模块210的顶部投影的射线和从lf显示模块210的底部投影的射线重叠以在观看体285内形成各个观看子体(例如,观看子体290a、290b、290c和290d)。第一观看子体(例如,290a)中的观看者可以能够感知在全息对象体255中呈现的全息内容,其它观看子体(例如,290b、290c和290d)中的观看者则无法进行感知。
61.更简单地,如图2a所说明,全息对象体255是其中全息对象可以通过lf显示系统呈现的体,使得所述全息对象可以被观看体285中的观看者(例如,观看者280)感知。以此方式,观看体285是理想观看体的实例,而全息对象体255是理想对象体的实例。然而,在各种配置中,观看者可以在其它示例全息对象体中感知通过lf显示系统200呈现的全息对象。更一般而言,当观看从lf显示模块投影的全息内容时,将应用“视线指南”。视线指南断言,由观看者的眼睛定位和正在被观看的全息对象形成的线必须与lf显示表面相交。
62.因为根据4d光场函数呈现了全息内容,因此当观看通过lf显示模块210呈现的全息内容时,观看者280的每只眼睛看到全息对象250的不同视角。此外,在观看者280在观看体285内移动时,他/她还将看到全息对象250的不同视角,如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到,4d光场函数在本领域中是众所周知的,并且在本文中将不进一步详细说明。
63.如本文中更详细描述,在一些实施例中,lf显示器可以投影多于一种类型的能量。例如,lf显示器可以投影两种类型的能量,例如,机械能量和电磁能量。在此配置中,能量中继层230可以包括两个单独的能量中继器,所述能量中继器在能量表面275处交织在一起,但是被分离使得能量被中继到两个不同的能量装置层220。此处,一个中继器可以被配置成传输电磁能量,而另一个中继器可以被配置成传输机械能量。在一些实施例中,机械能量可以从能量波导层240上的电磁波导元件之间的位置投影,从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中,能量波导层240还可以包括根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
64.应注意,在替代实施例(未示出)中,lf显示模块210不包括能量中继层230。在这种
情况下,能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中,在没有能量中继层的情况下,相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
65.lf显示模块
66.图3a是根据一个或多个实施例的lf显示模块300a的透视图。lf显示模块300a可以是lf显示模块110和/或lf显示模块210。在其它实施例中,lf显示模块300a可以是某个其它lf显示模块。在所说明的实施例中,lf显示模块300a包括能量装置层310和能量中继层320以及能量波导层330。lf显示模块300a被配置成从显示表面365呈现全息内容,如本文所描述的。为方便起见,显示表面365在lf显示模块300a的框架390上以虚线轮廓展示,但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。显示表面365包括可以从中投影能量的多个投影位置。lf显示模块300a的一些实施例具有与此处所描述的部件不同的部件。例如,在一些实施例中,lf显示模块300a不包括能量中继层320。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。
67.能量装置层310是能量装置层220的实施例。能量装置层310包括四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如,所有电子显示器)或者可以包括一种或多种不同类型(例如,包括电子显示器和至少一个声能装置)。
68.能量中继层320是能量中继层230的实施例。能量中继层320包括四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如,光)或者可以中继一种或多种不同类型(例如,光和声音)。中继装置350中的每个中继装置包括第一表面和第二表面,能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所说明的实施例中,能量中继装置350中的每个能量中继装置是锥形的,使得第一表面具有比第二表面小的表面积,这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量,因此这也可以使无缝能量表面无边界。这意味着可以通过将lf显示模块300a的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面,使得整个组合的表面是无缝的。在其它实施例中,第一表面和第二表面的表面积相同。
69.能量波导层330是能量波导层240的实施例。能量波导层330包括多个波导元件370。如上文关于图2所论述,能量波导层330被配置成根据4d光场函数沿着特定的传播路径从无缝能量表面360引导能量,以形成全息对象。应注意,在所说明的实施例中,能量波导层330由框架390界定。在其它实施例中,不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将lf显示模块300a与另外的lf显示模块平铺。
70.应注意,在所说明的实施例中,无缝能量表面360和能量波导层330是平坦的。在未示出的替代实施例中,无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
71.lf显示模块300a可以配置有驻存在无缝能量表面的表面上的另外的能量源,并允许除了光场之外的能量场的投影。在一个实施例中,声能场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未示出)投影出来。此外,lf显示模块300a的静电扬声器定位在光场显示模块300a内,使得双能量表面同时投影声场和全息内容。例如,静电扬声器可以形成有一个或多个传输一些波长的电磁能量的隔膜元件,并由一个或多个导电元件(例如,将一个或多个隔膜元件夹在中间的平面)驱动。静电扬声器可以安装在无缝能量
表面360上,使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置,和/或定位在电磁波导元件(例如,框架390)之间的位置处。在各种配置中,扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
72.在一些配置中,能量装置340可以感测能量。例如,能量装置可以是麦克风、光传感器、声换能器等。因此,能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说,当能量装置和能量中继装置340被配置成同时发射和感测能量(例如,发射光场并感测声音)时,lf显示模块的无缝能量表面360形成双向能量表面。
73.更广泛地,lf显示模块340的能量装置340可以是能量源或能量传感器。lf显示模块300a可以包括充当能量源和/或能量传感器的各种类型的能量装置,以促进向用户投影高质量全息内容。其它源和/或传感器可以包括热传感器或源,红外传感器或源、图像传感器或源、生成声能的机械能量换能器、反馈源等。多个其它传感器或源是可能的。此外,lf显示模块可以平铺使得lf显示模块可以形成组件,所述组件从大聚合无缝能量表面投影和感测多种类型的能量。
74.在lf显示模块300a的各个实施例中,无缝能量表面360可以具有各个表面部分,其中每个表面部分被配置成投影和/或发射特定类型的能量。例如,当无缝能量表面是双能量表面时,无缝能量表面360包括投影电磁能量的一个或多个表面部分以及投影超声能量的一个或多个其它表面部分。投影超声能量的表面部分可以定位于电磁波导元件之间的无缝能量表面360上,和/或与被设计成抑制电磁波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中,能量中继层320可以包括在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中,无缝能量表面360可以被配置成使得表面的在任何特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。
75.图3b是根据一个或多个实施例的包括交织的能量中继装置的lf显示模块300b的横截面视图。能量中继装置350a在连接到能量装置340a的能量中继第一表面345a与无缝能量表面360之间传输能量。能量中继器350b在连接到能量装置340b的能量中继第一表面345b与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中,表面360含有能量装置340a和340b两者的交织的能量位置,所述两者可以是能量源或能量传感器。因此,lf显示模块300b可以被配置为用于投影多于一种类型的能量的双能量投影装置,或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。lf显示模块300b可以是lf显示模块110和/或lf显示模块210。在其它实施例中,lf显示模块300b可以是某个其它lf显示模块。
76.lf显示模块300b包括与图3a中的lf显示模块300a的部件类似地配置的许多部件。例如,在所展示的实施例中,lf显示模块300b包括能量装置层310、能量中继层320、无缝能量表面360和能量波导层330,包括至少与关于图3a所描述的功能相同的功能。另外,lf显示模块300b可以呈现和/或接收来自显示表面365的能量。值得注意的是,与图3a中的lf显示模块300a的部件相比,lf显示模块300b的组件可替代地连接和/或定向。lf显示模块300b的一些实施例具有与此处所描述的部件不同的部件。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。图3b说明可以被平铺以产生具有更大面积的双能量投影表
面或双向能量表面的单个lf显示模块300b的设计。
77.在一个实施例中,lf显示模块300b是双向lf显示系统的lf显示模块。双向lf显示系统可以同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此,在图3b的实例中,能量中继层320以与图3a的能量中继层不同的方式进行配置。为方便起见,lf显示模块300b的能量中继层在本文中将被称为“交织的能量中继层”。
78.交织的能量中继层320包括两个支脚:第一能量中继装置350a和第二能量中继装置350b。在图3b中,支脚中的每个支脚被展示为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成,并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中,两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所说明的实例中,交织的能量中继装置352被展示为深色阴影区域。
79.当在无缝能量表面360处交织时,能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所说明,能量装置340a连接到能量中继装置350a,并且能量装置340b连接到能量中继装置350b。在各个实施例中,每个能量装置可以是能量源或能量传感器。
80.能量波导层330包括波导元件370,以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中,在一系列会聚点处形成了全息对象380。值得注意的是,如所展示的,全息对象380处的能量的会聚发生在显示表面365的观看者侧(即,前侧)。然而,在其它实例中,能量的会聚可以在全息对象体中的任何地方,在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如,能量传感器),如下文所描述的。
81.在lf显示模块300b的一个实例实施例中,发射显示器用作能量源(例如,能量装置340a),并且成像传感器用作能量传感器(例如,能量装置340b)。以此方式,lf显示模块300b可以同时投影全息内容并且检测来自显示表面365前面的体的光。以此方式,lf显示模块300b的此实施例同时用作lf显示器和lf传感器。
82.在一个实施例中,lf显示模块300b被配置成同时将光场从显示表面上的投影位置投影到显示表面前面,并在投影位置处捕获来自显示表面前面的光场。在此实施例中,能量中继装置350a将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340a。在一个实例中,能量装置340a是具有源像素阵列的发射显示器。能量中继装置340b将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340b。在一个实例中,能量装置340b是具有传感器像素阵列的成像传感器。lf显示模块300b可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或这些位置的某种组合。在其它实施例中,双向能量表面可以投影和接收各种其它形式的能量。
83.在lf显示模块300b的另一个示例实施例中,lf显示模块被配置成投影两种不同类型的能量。例如,在一个实施例中,能量装置340a是被配置成发射电磁能量的发射显示器,并且能量装置340b是被配置成发射机械能量的超声换能器。因此,可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中,能量中继装置350a将能量装置340a连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高
效传输电磁能量的性质(例如,变化的折射率)。能量中继装置350b将能量装置340b连接到无缝能量表面360并中继机械能量。能量中继装置350b被配置成具有用于超声能量的高效传输的性质(例如,具有不同声学阻抗的材料的分配)。在一些实施例中,机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中,投影超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投影的全息对象(例如,全息对象380)重合。在一些实例中,阵列上的相位延迟和幅度变化可以帮助形成触觉形状。
84.在各个实施例中,具有交织的能量中继装置的lf显示模块300b可以包括多个能量装置层,其中每个能量装置层包括特定类型的能量装置。在这些实例中,能量中继层被配置成在无缝能量表面360与能量装置层310之间中继适当类型的能量。
85.平铺的lf显示模块
86.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的lf显示系统400的一部分的透视图。lf显示系统400包括被平铺以形成阵列410的多个lf显示模块。更明确地说,阵列410中的小方块中的每个小方块表示平铺的lf显示模块412。lf显示模块412可以与lf显示模块300a或300b相同。阵列410可以覆盖例如房间的表面(例如,壁)的一些或全部。lf阵列可以覆盖其它表面,例如桌面、广告牌、圆形建筑等。
87.阵列410可以投影一个或多个全息对象。例如,在所说明的实施例中,阵列410投影全息对象420和全息对象422。lf显示模块412的平铺允许更大的观看体,并且允许对象被投影到距阵列410更远的距离。例如,在所说明的实施例中,观看体是大约阵列410前面和后面的整个区域,而不是lf显示模块412前面(和后面)的局部体。
88.在一些实施例中,lf显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如,向观看者430呈现全息对象420的直接视图,而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动,向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如,在观看者430在全息对象420周围行走时,只要全息对象420保留在阵列410的全息对象体中,观看者430就看到全息对象420的不同侧面。因此,观看者430和观看者434可以同时在真实世界空间中看到全息对象420,就好像所述全息对象真实存在一样。另外,观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置,因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外,此处,全息对象422被展示在阵列后面,因为阵列的观看体在阵列的表面后面延伸。以此方式,可以将全息对象422呈现给观看者430和/或观看者434。
89.在一些实施例中,lf显示系统400可以包括跟踪系统,所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中,所跟踪的定位是观看者的定位。在其它实施例中,所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同,后者跟踪眼睛正在看的地方(例如,使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
90.在各种配置中,lf显示系统400可以包括一个或多个跟踪系统。例如,在图4a的所说明实施例中,lf显示系统包括在阵列410外部的跟踪系统440。此处,跟踪系统可以是耦合
到阵列410的相机系统。关于图5a更详细地描述了外部跟踪系统。在其它示例实施例中,跟踪系统可以如本文所描述的并入到阵列410中。例如,包括在阵列410中的含有双向能量表面的一个或多个lf显示模块412的能量装置(例如,能量装置340)可以被配置成捕获阵列410前面的观看者的图像。在任何情况下,lf显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如,观看者430和/或观看者434)的跟踪信息。
91.跟踪信息描述了观看者的定位或观看者的一部分(例如,观看者的一只或两只眼睛,或观看者的肢体)的定位在空间(例如,相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包括例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包括被配置成确定跟踪信息的各种系统。例如,跟踪系统可以包括一个或多个红外源(例如,结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如,红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中,lf显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。例如,lf显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。
92.lf显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如,可以向观看者430呈现全息对象420,而不是全息对象422。类似地,可以向观看者434呈现全息对象422,而不是全息对象420。例如,lf显示系统400跟踪观看者430和观看者434中的每个观看者的定位。lf显示系统400基于观看者相对于全息对象要被呈现的地方的定位来确定对所述观看者应当可见的全息对象的视角。lf显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此,观看者434和观看者430可以同时具有可能完全不同的体验。换句话说,lf显示系统400可以将全息内容呈现给观看体的观看子体(即,类似于图2b中所示的观看子体290a、290b、290c和290d)。例如,如所展示的,因为lf显示系统400可以跟踪观看者430的定位,所以lf显示系统400可以向包围观看者430的观看子体呈现空间内容(例如,全息对象420),并且向包围观看者434的观看子体呈现野生动物园内容(例如,全息对象422)。相比之下,常规系统将必须使用单独的耳机来提供类似的体验。
93.在一些实施例中,lf显示系统400可包括一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如,触觉、音频或气味)。例如,在图4a的所说明实施例中,lf显示系统400包括在阵列410外部的感觉反馈系统442。在一个实例中,感觉反馈系统442可以是耦合到阵列410的静电扬声器。关于图5a更详细地描述了外部感觉反馈系统。在其它示例实施例中,如本文所描述的,可以将感觉反馈系统并入到阵列410中。例如,包括在阵列410中的lf显示模块412的能量装置(例如,图3b中的能量装置340a)可以被配置成将超声能量投影到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下,感觉反馈系统向观看通过阵列410呈现的全息内容(例如,全息对象420和/或全息对象422)的观看者(例如,观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
94.lf显示系统400可以包括感觉反馈系统442,所述感觉反馈系统包括在阵列外部的
一个或多个声学投影装置。可替代地或另外地,lf显示系统400可以包括一个或多个集成到阵列410中的声学投影装置,如本文所描述的。声学投影装置可以由被配置成投影立体触觉表面的超声源阵列组成。在一些实施例中,对于全息对象的一个或多个表面,如果观看者的一部分在一个或多个表面的阈值距离内,则触觉表面可以与全息对象重合(例如,在全息对象420的表面处)。体触觉感觉可以允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波,所述可听压力波向观看者提供音频内容(例如,沉浸式音频)。因此,超声压力波和/或可听压力波可以起到补充全息对象的作用。
95.在各个实施例中,lf显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。例如,图4a中所说明的全息对象422是狮子,并且lf显示系统400可以使全息对象422在视觉上(即,全息对象422似乎在咆哮)和听觉上(即,一个或多个声学投影装置投影压力波)均咆哮,使观看者430将其感知为全息对象422发出的狮子的咆哮。
96.应注意,在所说明的配置中,可以以类似于图2中的lf显示系统200的观看体285的方式限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个lf显示模块,如下文相对于图4b到4f所描述。
97.图4b是根据一个或多个实施例的在多面无缝表面环境中的lf显示系统402的一部分的透视图。lf显示系统402与lf显示系统400基本上类似,除了将多个lf显示模块平铺以创建多面无缝表面环境之外。更具体地,将lf显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在图4b中,多个lf显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中,多个lf显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中,多个lf显示模块被平铺以形成某个其它聚合无缝表面。例如,壁可以是弯曲的,使得形成圆柱形的聚合能量环境。此外,如下文关于图6-9所描述,在一些实施例中,lf显示模块可平铺成在呈现空间(例如,壁等)中形成表面。
98.lf显示系统402可以投影一个或多个全息对象。例如,在所说明的实施例中,lf显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中,lf显示系统的观看体也含在六面聚合无缝表面环境内。应注意,在所说明的配置中,观看者434可以定位在全息对象420与lf显示模块414之间,所述lf显示模块投影用于形成全息对象420的能量(例如,光和/或压力波)。因此,观看者434的定位可以防止观看者430感知由来自lf显示模块414的能量形成的全息对象420。然而,在所展示的配置中,存在至少一个其它lf显示模块,例如,lf显示模块416,所述lf显示模块不受阻碍(例如,被观看者434)并且可以投影能量以形成全息对象420并且被观看者430观察到。以此方式,在空间中被观看者遮挡可能导致全息投影的一些部分消失,但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”,因为全息对象体在聚合表面后面延伸。因此,观看者430和/或观看者434可以将全息对象422感知为其可以在整个中移动的经包围的六面环境的“外部”。
99.如上文参考图4a所描述的,在一些实施例中,lf显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的lf显示模块呈现全息内容。因此,多面配置可以提供更稳健的环境(例如,相对于图4a),以提供全息对象,其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
100.值得注意的是,各种lf显示系统可以具有不同的配置。此外,每种配置可以具有表面的特定定向,所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说,可以将lf显示系统的lf显示模块平铺以形成各种聚合表面。例如,在图4b中,lf显示系统402包括平铺以形成近似于房间的壁的六面聚合表面的lf显示模块。在一些其它实例中,聚合表面可以仅出现在表面的一部分(例如,壁的一半)上,而不是整个表面(例如,整个壁)上。本文描述了一些实例。
101.在一些配置中,lf显示系统的聚合表面可以包括聚合表面,所述聚合表面被配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验:增加特定观看体中的投影的能量的密度,增加观看者在所述观看体中的fov,并使观看体更接近显示表面。
102.例如,图4c展示了具有呈“翼状”配置的聚合表面的lf显示系统450a的俯视图。在此实例中,lf显示系统450a定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。lf显示系统450a包括平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包括三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分466,所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。
103.在此实例中,lf显示系统450a的观看体468a位于房间的中心,并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
104.为了说明,考虑例如仅具有中心表面的聚合表面。参考图2a,如上文所描述的,从显示表面的任一端投影的射线创建理想的全息体和理想的观看体。现在考虑,例如,中心表面是否包括两个朝向观看者成角度的侧表面。在这种情况下,射线256和射线257将从中心表面的法线以更大的角度投影。因此,观看体的视场将增加。类似地,全息观看体将更靠近显示表面。另外,由于两个第二部分和第三部分倾斜得更靠近观看体,所以从显示表面以固定距离投影的全息对象更靠近所述观看体。
105.为简化起见,仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面,增加了相对于平面视场的视场,相对于平面间隔,减小了显示表面与观看体之间的间隔,并相对于平面接近度,增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场,减小了间隔并增加了接近度。换句话说,侧表面的成角度的放置增加了观看者的沉浸式体验。
106.另外,如下文关于图6所描述,偏转光学件可用于针对lf显示参数(例如,尺寸和fov)优化观看体的大小和定位。
107.返回到图4d,在类似实例中,图4d展示了具有呈“倾斜”配置的聚合表面的lf显示系统450b的侧视图。在此实例中,lf显示系统450b定位在具有前壁452、后壁454、第一侧壁
(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。lf显示系统450b包括平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包括三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分464,所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。
108.在此实例中,lf显示系统450b的观看体468b位于房间的中心,并且被聚合表面460的三个部分部分地包围。与图4c所示的配置类似,两个侧面部分(例如,第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468b中的任何观看者的视角来看,包围表面增加了观看fov。另外,包围表面允许观看体468b更靠近显示器的表面,使得投影的对象显得更靠近。换句话说,侧表面的成角度放置增加了视场,减小了间隔,并增加了聚合表面的接近度,由此增加了观看者的沉浸式体验。此外,如下文将论述,偏转光学件可以用于优化观看体468b的大小和定位。
109.与如果第三部分466没有倾斜相比,聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468b。例如,与如果使用具有平坦的前壁的lf显示系统相比,从呈倾斜配置的lf显示系统呈现的角色的下肢(例如,腿)可能看起来更靠近并且更真实。
110.另外,lf显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。
111.图4e例如展示了具有在房间的前壁452上的聚合表面460的lf显示系统450c的俯视图。在此实例中,lf显示系统450d定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。
112.lf显示系统450c从聚合表面460投影各种射线。光线从显示表面上的每个定位投影到以观看体为中心的角度范围中。从聚合表面460的左侧投影的射线具有水平角度范围481,从聚合表面的右侧投影的射线具有水平角度范围482,并且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间,所投影射线可采取如下文关于图6所描述的角度范围的中间值。以此方式在跨越显示表面的投影射线中具有梯度偏转角创建了观看体468c。此外,此配置避免了在将射线投影到侧壁456和458中时浪费显示器的分辨率。
113.图4f展示了具有在房间的前壁452上的聚合表面460的lf显示系统450d的侧视图。在此实例中,lf显示系统450e定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中,地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处,地板的每一层包括观看子体(例如,观看子体470a和470b)。分层地板允许不重叠的观看子体。换句话说,每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说,这种定向产生了“体育场就座”效果,其中各层之间的竖直偏移使视线畅通无阻,从而使每一层都可以“查看”其它层的观看子体。包括不重叠的观看子体的lf显示系统可以提供比具有确实重叠的观看体的lf显示系统更高的观看体验。例如,在图4f所示的配置中,可以向观看子体470a和470b中的观众投影不同的全息内
容。
114.lf显示系统的控制
115.图5a是根据一个或多个实施例的lf显示系统500的框图。lf显示系统500包含lf显示组件510和控制器520。lf显示组件510包括投影光场的一个或多个lf显示模块512。lf显示模块512可以包括源/传感器系统514,所述源/传感器系统包括投影和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包括数据存储器522、网络接口524和lf处理引擎530。控制器520还可以包括跟踪模块526和观看者概况分析模块528。在一些实施例中,lf显示系统500还包括感觉反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的lf显示系统是lf显示系统500的实施例。在其它实施例中,lf显示系统500包含比本文所描述的模块另外的或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。lf显示系统500的应用也将在下文关于图6-9详细地讨论。
116.lf显示组件510在全息对象体中提供全息内容,所述全息对象体对于定位在观看体内的观看者可以是可见的。lf显示组件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包括投影在lf显示组件510的聚合表面前面、lf显示组件510的聚合表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
117.lf显示组件510使用包括在lf显示组件510中的一个或多个lf显示模块(例如,lf显示模块110、lf显示系统200和lf显示模块300中的任一个)来提供全息内容。为了方便起见,一个或多个lf显示模块在本文中可以被描述为lf显示模块512。lf显示模块512可以被平铺以形成lf显示组件510。lf显示模块512可以被结构化为各种无缝表面环境(例如,单面、多面、呈现空间的壁、弯曲的表面等)。也就是说,平铺的lf显示模块形成聚合表面。如先前所描述,lf显示模块512包括呈现全息内容的能量装置层(例如,能量装置层220)和能量波导层(例如,能量波导层240)。lf显示模块512还可以包括能量中继层(例如,能量中继层230),当呈现全息内容时,所述能量中继层在能量装置层与能量波导层之间转移能量。
118.lf显示模块512还可以包括其它集成系统,所述其它集成系统被配置成用于如先前所描述的能量投影和/或能量感测。例如,光场显示模块512可以包括被配置成投影和/或感测能量的任何数量的能量装置(例如,能量装置340)。为了方便起见,本文可以将lf显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在lf显示模块512内,使得源/传感器系统514与lf显示模块512共享相同的无缝能量表面。换句话说,lf显示组件510的聚合表面包括lf显示模块512和源/传感器模块514两者的功能。换句话说,包括具有源/传感器系统514的lf显示模块512的lf组件510可以在同时投影光场时投影能量和/或感测能量。例如,lf显示组件510可以包括lf显示模块512和源/传感器系统514,所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。
119.在一些实施例中,lf显示系统500使用感觉反馈系统570用其它感觉内容(例如,协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常,感觉反馈系统570包括在lf显示组件510外部的任何数量的感觉反馈装置(例如,感觉反馈系统442)。一些实例感觉反馈装置可以包
括协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下,感觉反馈系统570可以具有与光场显示组件510类似的功能性,且反之亦然。例如,感觉反馈系统570和光场显示组件510两者都可以被配置成产生声场。作为另一个实例,感觉反馈系统570可以被配置成在没有光场显示器510组件的情况下生成触觉表面。
120.为了说明,在光场显示系统500的示例实施例中,感觉反馈系统570可以包括一个或多个声学投影装置。一个或多个声学投影装置被配置成在执行从控制器520接收的显示指令时生成与全息内容互补的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地,感觉反馈系统570可以包括香气投影装置。香气投影装置可以被配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香气装置可以连接到空气循环系统(例如,管道、风扇或通风口)中,以协调目标区域内的空气流动。此外,感觉反馈系统570可以包括温度调整装置。温度调整装置被配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。
121.在一些实施例中,感觉反馈系统570被配置成从lf显示系统500的观看者接收输入。在这种情况下,感觉反馈系统570包括用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包括例如声学接收装置(例如,麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
122.为了说明,在光场显示组件的实例实施例中,感觉反馈系统570包括麦克风。麦克风被配置成记录由一个或多个观看者产生的音频(例如,喘气、尖叫、笑声等)。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。类似地,感觉反馈系统570可以包括压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。
123.在一些实施例中,lf显示系统500包括跟踪系统580。跟踪系统580包括配置成确定目标区域中的观看者的定位、移动和/或特性的任何数目的跟踪装置。通常,跟踪装置在lf显示组件510的外部。一些示例跟踪装置包括相机组件(“相机”)、深度传感器、结构化灯、lidar系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
124.跟踪系统580可以包括用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而,在一些情况下,当呈现全息内容时,目标区域被来自lf显示组件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时,能量源投影光。光可以是例如结构化光图案、光脉冲(例如,ir闪光灯)或其某种组合。跟踪系统可以投影以下中的光:可见波段(约380nm到750nm)、红外(ir)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁频谱的某个其它部分或其某种组合。源可以包括例如发光二极管(led)、微型led、激光二极管、tof深度传感器、可调激光器等。
125.当执行从控制器520接收的指令时,跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包括例如亮度、脉冲率(包括连续照明)、波长、脉冲长度、影响光如何从源组件投影的某个其它参数或其某种组
合。在一个实施例中,源在飞行时间操作中投影光脉冲。
126.跟踪系统580的相机捕获从目标区域反射的光(例如,结构化光图案)的图像。当执行从控制器520接收的跟踪指令时,相机捕获图像。如先前所描述,光可以由跟踪系统580的源投影。相机可以包括一个或多个相机。也就是说,相机可以是例如光电二极管的阵列(1d或2d)、ccd传感器、cmos传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中,跟踪系统580可以含有在lf显示组件510外部的光场相机。在其它实施例中,相机被包括作为包括在lf显示组件510中的lf显示源/传感器模块514的一部分。例如,如先前所描述的,如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层,则lf显示组件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中,从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
127.当执行从控制器520接收的跟踪指令时,跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包括例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。
128.控制器520控制lf显示组件510和lf显示系统500的任何其它部件。控制器520包含数据存储装置522、网络接口524、跟踪模块526、观看者概况分析模块528和光场处理引擎530。在其它实施例中,控制器520包含比本文所描述的模块更多或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如,跟踪模块526可以是lf显示组件510或跟踪系统580的一部分。
129.数据存储装置522是存储用于lf显示系统500的信息的存储器。所存储的信息可以包括显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者概况、用于光场显示组件510的校准数据、lf显示系统510的配置数据(包括lf模块512的分辨率和定向)、所期望的观看体几何形状、用于包括3d模型的图形创建的内容、场景和环境、材质和纹理以及lf显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器,例如只读存储器(rom)、动态随机存取存储器(dram)、静态随机存取存储器(sram),或其某一组合。
130.网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中,lf显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一实例中,lf显示系统500使用网络接口524将全息内容传输到远程数据存储装置。
131.跟踪模块526跟踪观看由lf显示系统500呈现的内容的观看者。为此,跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令,并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令,并将跟踪输入提供给跟踪模块526。
132.跟踪模块526可确定目标区域内的一个或多个观看者的定位(例如,坐在呈现空间的座椅中)。所确定的定位可以相对于例如某个参考点(例如,显示表面)。在其它实施例中,所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如,眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定定位。跟踪系统580的相机可以分配在lf显示系统500周围,并且可以捕获立体图像,从而允许跟踪模块526被动地跟踪观看者。在其
它实施例中,跟踪模块526主动跟踪观看者。也就是说,跟踪系统580照亮目标区域的某个部分,对目标区域进行成像,并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定定位。跟踪模块526使用所确定的定位来生成跟踪信息。
133.跟踪模块526还可以从lf显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包括与由lf显示系统500向观看者提供的各种输入选项相对应的身体移动。例如,跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到lf处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储装置522、lf处理引擎530、观看者概况分析模块528、lf显示系统500的任何其它部件或其一些组合。
134.为了向跟踪模块526提供背景,考虑显示戏剧的lf显示系统500的实例实施例,在所述戏剧中的表演者成功击败敌方人物。响应于场景,观看者在空中挥舞拳头以显示其兴奋。跟踪系统580可以记录观看者的手的移动,并将记录传输到跟踪模块526。如先前所描述的,这可以通过跟踪系统580来实现,所述跟踪系统包含在光场显示组件510外部的相机、深度传感器或其它装置,或者同时投影光场图像并记录图像的显示表面,其中从显示表面记录的图像可以是光场图像或这些装置的任何组合。跟踪模块526在记录中跟踪观看者的手的运动,并将输入发送到lf处理引擎530。如下文所描述,观看者概况分析模块528确定图像中的信息指示观看者的手的运动与肯定响应相关联。因此,如果识别出足够的观看者具有肯定响应,则lf处理引擎530生成适当的全息内容以庆祝英雄人物击败敌方人物。例如,lf处理引擎530可以在场景中投影纸屑。
135.lf显示系统500包括配置成标识观看者并对观看者进行概况分析的观看者概况分析模块528。观看者概况分析模块528生成观看由lf显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者概况分析模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者概况。观看者概况分析模块528可以访问从跟踪系统580获得的信息(例如,所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中,观看者概况分析模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。监测的观看者行为可以包括例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、姿势的其它变化,或观看者的移动等。
136.更一般地,观看者概况可以包括所接收和/或所确定的关于观看来自lf显示系统的全息内容的观看者的任何信息。例如,每个观看者概况可以记录所述观看者对由lf显示系统500显示的内容的动作或响应。下文提供了可以包括在观看者概况中的一些实例信息。
137.在一些实施例中,观看者概况可描述呈现空间内的观看者对于全息内容中显示的人(例如,运动选手、运动员等)的响应。举例来说,观看者概况可指示观看者通常对具有牛仔吉祥物的特定球队的运动员有肯定响应。
138.在一些实施例中,观看者概况可指示观看体育项目的观看者的特性。举例来说,呈现空间中的观看者穿着显示大学标志的运动衫。在这种情况下,观看者概况可以指示观看者正穿着运动衫,并且可能更喜欢与运动衫上的大学标志相关联的全息内容。更广泛地,可以在观看者概况中指示的观看者特性可包括例如年龄、性别、种族、服装、呈现空间中的观看位置等。
139.在一些实施例中,观看者概况可指示观看者关于期望体育项目和/或呈现空间特性的偏好。例如,观看者概况可以指示观看者仅喜欢观看适合其家人中的每个人的年龄的
全息内容。在另一个实例中,观看者概况可以指示全息对象体以显示全息内容(例如,在壁上),并且指示全息对象体不显示全息内容(例如,在其头部上方)。观看者概况还可以指示观看者更喜欢在其附近呈现触觉界面,或者更喜欢避开所述触觉界面。
140.在另一个实例中,观看者概况指示特定观看者观看的体育项目的历史记录。举例来说,观看者概况分析模块528确定观看者或观看者群组先前已观看过体育项目。因此,lf显示系统500可显示与观看者先前一次观看体育项目不同的全息内容。作为一个实例,包括全息内容的体育项目可在比赛中场休息期间具有三个不同的全息广告,并且lf显示系统500可基于出席的观看者来显示不同的广告。在另一个实例中,三个广告中的每一个可呈现给相同呈现空间中的不同观看体。
141.在一些实施例中,观看者概况也可以描述一组观看者而不是特定观看者的特性和偏好。举例来说,观看者概况分析模块528可生成呈现空间中观看体育项目的观众的观看者概况。在一个实例中,观看者概况分析模块528为观看如沙滩排球的体育项目的观看者创建观看者概况。概况指示54.3%的观看者为介于20至35岁之间的女性,并且对所述体育项目具有肯定响应。概况还指示剩余46.7%的观看者为介于20与35岁之间的男性,并且对所述体育项目具有消极响应。先前所描述的信息和特性中的任一项都可以应用于一组观看者。
142.观看者概况分析模块528还可以从一个或多个第三方系统访问与特定观看者(或多个观看者)相关联的简档,以建立观看者概况。举例来说,观看者使用链接到所述观看者的社交媒体账户的第三方供应商购买了体育项目的票券。因此,观看者的票券链接到他的社交媒体账户。当观看者使用其票券进入体育项目的呈现空间时,观看者概况分析模块528可访问来自其社交媒体账户的信息以建立(或增强)观看者概况。
143.在一些实施例中,数据存储装置522包括存储由观看者概况分析模块528生成、更新和/或维护的观看者概况的观看者概况存储装置。可以由观看者概况分析模块528随时在数据存储装置中更新观看者概况。例如,在一个实施例中,当特定观看者观看由lf显示系统500提供的全息内容时,观看者概况存储在其观看者概况中接收并存储关于特定观看者的信息。在此实例中,观看者概况分析模块528包括面部识别算法,所述面部识别算法可以识别观看者并在其观看呈现的全息内容时肯定地标识所述观看者。为了说明,在观看者进入lf显示系统500的目标区域时,跟踪系统580获得观看者的图像。观看者概况分析模块528输入所捕获的图像,并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储装置中的观看者概况相关联,并且如此,所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者概况分析模块还可以利用卡标识扫描仪、语音标识符、射频标识(rfid)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。
144.在观看者概况分析模块528可以肯定地标识观看者的实施例中,观看者概况分析模块528可以确定每个观看者对lf显示系统500的每次访问。观看者概况分析模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者概况中。类似地,观看者概况分析模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或lf显示组件510的任何组合的输入。观看者概况系统528可以另外从控制器520的其它模块或部件接收关于观看者的其它信息,所述信息随后可以与观看者概况一起存储。控制器520的其它部件然后也可以访问所存储的观看者概况,以确定提供给所述观看者的后续内容。
145.lf处理引擎530生成包含光场数据以及由lf显示系统500支持的所有感觉域的数据的全息内容。例如,lf处理引擎530可以以光栅化格式(“光栅化数据”)生成4d坐标,所述4d坐标当由lf显示组件510执行时使lf显示组件510呈现全息内容。lf处理引擎530可以从数据存储装置522访问光栅化数据。另外,lf处理引擎530可以从向量化数据集构建光栅化数据。下文描述向量化数据。lf处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述,当由lf显示系统500执行时,感觉指令可以生成由lf显示系统500支持的触觉表面、声场和其它形式的感觉能量。lf处理引擎530可以从数据存储装置522访问感觉指令,从向量化数据集构建感觉指令。4d坐标和感觉数据聚合地将全息内容表示为可由lf显示系统执行以生成全息和感觉内容的显示指令。更一般地,全息内容可以采取具有以下的cg内容的形式:理想的光场坐标、实景动作内容、光栅化数据、向量化数据、由一组中继器传输的电磁能量、发送给一组能量装置的指令、一个或多个能量表面上的能量位置、从显示表面投影的一组能量传播路径、对观看者或观众可见的全息对象以及许多其它类似形式。
146.描述通过lf显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522访问时可以将光栅化数据显示在lf显示系统500上,但是不能有效地传输、接收(例如,经由网络接口524)并随后在lf显示系统500上显示光栅化数据。以表示由lf显示系统500进行的全息投影的短体育项目的光栅化数据为例。在此实例中,lf显示系统500包括含有若干十亿像素的显示器,并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如,每秒数千兆字节的体育项目显示时间),并且对于经由网络接口524在商用网络上的有效传递来说是不可管理的。对于包括全息内容的实时流式传输的应用,可放大有效传递问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时,产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验,可以响应于感觉或跟踪输入实时修改由lf处理引擎530生成的光场内容。换句话说,在一些情况下,无法简单地从数据存储装置522读取lf内容。
147.因此,在一些配置中,可以用向量化数据格式(“向量化数据”)将表示由lf显示系统500显示的全息内容的数据传递到lf处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外,向量化数据提供高图像质量,同时具有实现数据的有效共享的数据集大小。例如,向量化数据可以是源自更密集数据集的稀疏数据集。因此,基于如何从密集光栅化数据采样稀疏向量化数据,向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此,向量化数据实现全息内容经由网络接口524的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
148.总而言之,lf处理引擎530可以生成源自从数据存储装置522访问的光栅化数据、从数据存储装置522访问的向量化数据,或经由网络接口524接收的向量化数据的全息内容。在各种配置中,向量化数据可在数据传输之前由编码器进行编码,并且在接收之后由lf控制器520内的解码器进行解码。编码器和解码器对可以是同一专有系统编解码器的一部分。在一些实例中,对向量化数据进行编码以用于与数据压缩相关的附加数据安全和体育项目改进。例如,通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编码向量化数据。在一些实例中,向量化数据可能需要解码器、lf处理引擎530,或者两者来访问在
向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。可以采用其它实例编码和/或解码方案来传输和/或呈现全息内容。
149.向量化数据含有lf显示系统500以可支持交互式体验的方式支持的每个感觉域的所有信息。例如,用于交互式全息体验的向量化数据可包括可以为lf显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。向量化特征可以包括可以进行合成地编程、捕获、计算评估等的任何特征。lf处理引擎530可以被配置成将向量化数据中的向量化特征转换成光栅化数据。lf处理引擎530然后可以使用lf显示组件510投影从向量化数据转换的全息内容。在各种配置中,向量化特征可以包括:一个或多个红/绿/蓝/α通道(rgba)+深度图像;具有或不具有不同分辨率的深度信息的多个视图图像,所述视图图像可以包括一个高分辨率中心图像以及较低分辨率的其它视图;例如反照率和反射率的材料特征;表面法线;其它光学效应;表面标识;几何对象坐标;虚拟相机坐标;显示平面位置;照明坐标;表面的触觉刚度;触觉延展性;触觉强度;声场的振幅和坐标;环境条件;与用于纹理或温度、音频的机械感受器相关的体感能量向量;以及任何其它感觉域特征。许多其它向量化特征也是可能的。
150.lf显示系统500还可以生成交互式观看体验。也就是说,全息内容可以响应于输入刺激,所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息,或源自观看者概况分析模块528和/或跟踪模块526的其它信息。举例来说,在实施例中,lf处理系统500使用经由网络接口524接收到的实时体育项目的向量化数据创建交互式观看体验。在另一实例中,如果全息对象需要响应于观看者交互而立即在特定方向上移动,则lf处理引擎530可以更新场景的渲染,因此全息对象在所述所需方向上移动。这可能需要lf处理引擎530使用向量化数据集来基于3d图形场景实时渲染光场,所述3d图形场景具有适当对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等,从而正确地对观看者交互作出响应。lf处理引擎530将向量化数据转换成光栅化数据以由lf显示组件510呈现。lf显示系统500可采用允许lf显示系统近似实时地呈现全息内容的各种其它编码/解码技术。
151.光栅化数据包括表示实时体育项目的全息内容指令和感觉指令(显示指令)。lf显示组件510通过执行显示指令同时投影实时体育项目的全息和感觉内容。lf显示系统500用跟踪模块526和观看者概况分析模块528监测与所呈现的实时体育项目的观看者交互(例如,声音响应、触摸等)。响应于观看者交互,lf处理引擎可以通过生成另外的全息和/或感觉内容以显示给观看者来创建交互式体验。
152.为了说明,考虑包括lf处理引擎530的lf显示系统500的实例实施例,所述lf处理引擎530生成表示在体育项目期间从呈现空间的天花板落下的气球的多个全息对象。观看者可以移动以触摸表示气球的全息对象。相应地,跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到lf处理引擎530。lf处理引擎530确定观看者的手在场景中的放置,调整图形的实时渲染以在全息对象中包括任何所需的改变(如定位、颜色或遮挡)。lf处理引擎530指示lf显示组件510(和/或感觉反馈系统570)使用体触觉投影系统(例如,使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分,并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。lf处理引擎530使用跟踪信息来动态地指示lf显示组件510将触觉表面的位置与经渲染的全息
对象的位置一起移动,使得给予观看者触摸气球的视觉和触觉感知两者。更简单地,当观看者观看他的手触摸全息气球时,观看者同时感觉到指示其手触摸了全息气球的触觉反馈,并且气球响应于触摸而改变定位或运动。在一些实例中,并非在从数据存储装置522访问的体育项目中呈现和交互式气球,交互式气球可被接收为经由网络接口524从实时流式传输的应用接收的全息内容的一部分。换句话说,lf显示系统500显示的全息内容可以是全息内容直播。
153.lf处理引擎530可在体育项目之前、期间和/或之后提供显示给呈现空间中的观看者的全息内容以增强呈现空间体验。全息内容可由体育项目的发布者提供、由呈现空间提供、由广告商提供、由lf处理引擎530生成等。全息内容可为与体育项目、体育项目的流派、呈现空间的位置、广告等相关联的内容。在任何情况下,全息内容可存储在数据存储装置522中,或通过网络接口524以向量化格式流式传输到lf显示系统500。举例来说,体育项目可在用lf显示模块增强的呈现空间中显示在壁上。体育项目的发布者可在体育项目开始之前提供在壁显示器上呈现的全息内容。lf处理引擎530访问全息内容并且在体育项目开始之前将来自显示器的所访问内容呈现到呈现空间的壁上。在另一个实例中,具有lf显示系统500的呈现空间位于旧金山(san francisco)。如果没有提供体育项目特定内容,呈现空间lf显示系统存储金门大桥(golden gate bridge)的全息表示以在体育项目之前呈现。此处,因为未提供体育项目特定全息内容,所以lf处理引擎530访问并且在呈现空间中呈现金门大桥。在另一个实例中,广告商已将其产品的全息内容作为广告提供给呈现空间以在体育项目之后显示。在体育项目结束之后,lf处理引擎530在观看者离开呈现空间时向其呈现广告。在其它实例中,如下文所描述,lf处理引擎可动态地生成在影院的壁上显示的全息内容。
154.lf处理引擎500还可以修改全息内容以适于正呈现全息内容的呈现空间。举例来说,并非每个呈现空间都具有相同的大小、相同的座椅数量或相同的技术配置。因此,lf处理引擎530可修改全息内容,使得其将被适当地显示在呈现空间中。在一个实施例中,lf处理引擎530可访问呈现空间的配置文件,包括呈现空间的布局、分辨率、视场、其它技术规范等。lf处理引擎530可以基于配置文件中包括的信息来渲染和呈现全息内容。
155.lf处理引擎530还可以创建全息内容以由lf显示系统500显示。重要的是,此处,创建用于显示的全息内容不同于访问或接收用于显示的全息内容。换句话说,当创建内容时,lf处理引擎530生成用于显示的全新内容,而不是访问先前生成和/或接收的内容。lf处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者概况分析模块528、跟踪模块526或其某种组合的信息来创建用于显示的全息内容。在一些实例中,lf处理引擎530可以访问来自lf显示系统500的元件的信息(例如,跟踪信息和/或观看者概况),基于所述信息创建全息内容,并且作为响应,使用lf显示系统500显示创建的全息内容。当由lf显示系统500显示时,创建的全息内容可以用其它感觉内容(例如,触摸、音频或气味)增强。此外,lf显示系统500可以存储创建的全息内容,使得其可以在将来显示。
156.lf显示系统的动态内容生成
157.在一些实施例中,lf处理引擎530并入有人工智能(ai)模型,以创建全息内容以供lf显示系统500显示。ai模型可以包括监督或无监督的学习算法,包括但不限于回归模型、神经网络、分类器或任何其它ai算法。ai模型可以用于基于由lf显示系统500(例如,由跟踪
系统580)记录的观看者信息来确定观看者偏好,所述观看者信息可以包括关于观看者的行为的信息。
158.ai模型可以从数据存储装置522访问信息以创建全息内容。例如,ai模型可以从数据存储装置522中的一个或多个观看者概况访问观看者信息,或者可以从lf显示系统500的各个部件接收观看者信息。为了说明,ai模型可以确定观看者喜欢观看表演者佩戴领结的全息内容。ai模型可以基于一组观看者对包括佩戴蝴蝶结的演员的先前观看的全息内容的肯定反应或响应来确定偏好。换句话说,ai模型可以根据学习到的那些观看者的偏好来创建个性化针对一组观看者的全息内容。因此,例如,ai模型可以使用lf显示系统500将蝴蝶结并入由一组观看者观看的全息内容中所显示的演员。ai模型还可以将学习到的每个观看者的偏好存储在数据存储装置522的观看者概况存储中。在一些实例中,ai模型可以为单个观看者而不是一组观看者创建全息内容。
159.可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的ai模型的一个实例是具有节点层的卷积神经网络模型,其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如,并且ai模型可以包括五个节点层:层a、b、c、d和e。从层a到层b的变换由函数w1给出,从层b到层c的变换由w2给出,从层c到层d的变换由w3给出,并且从层d到层e的变换由w4给出。在一些实例中,还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如,从层d到层e的变换w4可以基于用于完成从层a到b的变换w1的参数。
160.模型的输入可以是由跟踪系统580获取的编码到卷积层a上的图像,并且模型的输出是从输出层e解码的全息内容。替代地或另外,输出可以是图像中的观看者的所确定特性。在此实例中,ai模型标识表示标识层c中的观看者特性的图像中的潜在信息。ai模型将卷积层a的维度减小到标识层c的维度,以标识图像中的任何特征、动作、响应等。在一些实例中,ai模型然后增加标识层c的维度以生成全息内容。
161.将来自跟踪系统580的图像编码到卷积层a。卷积层a中的图像输入可以与标识层c中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说,ai模型的卷积层a表示编码图像,并且模型的标识层c表示微笑观看者。可以通过将变换w1和w2应用于卷积层a的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。例如,权重和参数可以是包括在表示图像中的微笑观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如,先前跟踪的观看者)。
162.在标识层c中标识图像中的微笑观看者。标识层c表示基于关于图像中的微笑观看者的潜在信息标识的微笑观看者
163.图像中的所标识的微笑观看者可以用于生成全息内容。为了生成全息内容,ai模型在标识层c处开始且将变换w2和w3应用于标识层c中的给定所标识的微笑观看者的值。变换产生输出层e中的一组节点。用于变换的权重和参数可以指示所识别的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下,全息内容直接从输出层e的节点输出,而在其它情况下,内容生成系统将输出层e的节点解码到全息内容。例如,如果输出是一组标识的特性,则lf处理引擎可以使用特性来生成全息内容。
164.另外,ai模型可以包括被称为中间层的层。中间层是不对应于图像、不标识特性/
反应等或不生成全息内容的层。例如,在给定实例中,层b是卷积层a与标识层c之间的中间层。层d是标识层c与输出层e之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示,但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。例如,隐藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如,大的权重值)。作为另一实例,隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然,神经网络中存在任何数目的连接。另外,每个中间层是功能的组合,例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层b可以用于将卷积层减少到标识层,并且任何数目的中间层d可以用于将标识层增加到输出层。
165.在一个实施例中,ai模型包括已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入并且使用所创建全息内容的改变作为输出来提高体育项目的质量。
166.强化学习是机器学习系统,其中机器学习“做什么
”‑
如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如,lf处理引擎530)要采取哪些动作(例如,生成规定的全息内容),而是通过尝试所述动作发现哪些动作产生最高的奖励(例如,通过使更多人欢呼来提高全息内容的质量)。在一些情况下,动作不仅可以影响即时奖励,而且影响下一种情况,并因此影响所有后续奖励。这两个特征
‑‑
尝试错误搜寻和延迟奖励
‑‑
是强化学习的两个显著特征。
167.强化学习不是通过表征学习方法,而是通过表征学习问题来定义。基本上,强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说,在为表演者生成歌曲的实例中,强化学习系统捕获关于呈现空间中观看者的信息(例如,年龄、性格等)。此代理感测环境的状态且采取影响状态的动作以实现一个或多个目标(例如,创作一首会让观看者为之欢呼的流行歌曲)。在其最基本形式中,强化学习的制定包括学习者的三个方面:感觉、动作和目标。继续歌曲实例,lf处理引擎530通过跟踪系统580的传感器感测环境的状态,向环境中的观看者显示全息内容,并且实现作为观看者对所述歌曲的接收的度量的目标。
168.强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励,强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而,为了发现产生奖励的动作,学习代理会选择之前未选择的动作。代理“利用”它已经知道的信息以获得奖励,但它也“探索”信息以在未来做出更好的行动选择。学习代理尝试各种动作,并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上,每个动作通常都会尝试多次,以获得对其预期奖励的可靠估计。例如,如果lf处理引擎创建了lf处理引擎知道的将导致观看者在长时间段后笑的全息内容,则lf处理引擎可以改变全息内容,使得直到观看者笑的时间减少。
169.此外,强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标,可以感测其环境的各方面,并可以选择接收高奖励的动作(即,咆哮的人群)。此外,尽管代理面临的环境存在显著的不确定性,但其通常仍在进行操作。当强化学习涉及计划时,系统将解决计划与实时动作选择之间的相互作用,以及如何获取和改善环境要素的问题。为了使强化学习取得进步,必须分离和研究重要的子问题,子问题在完整的交互式寻求目标的代理中起明确作用。
170.强化学习问题是机器学习问题的框架,在所述框架中,处理交互并执行动作以实现目标。学习者和决策者称为代理(例如,lf处理引擎530)。代理与其交互的事物(包含代理之外的所有事物)称为环境(例如,呈现空间中的观看者等)。这两个持续地进行交互,代理选择动作(例如,创建全息内容),并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励,即代理试图随时间最大化的特殊数值。在一种背景下,奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范定义一项任务,所述任务是强化学习问题的一个实例。
171.为了提供更多的背景,代理(例如,lf处理引擎530)与环境在一系列离散时间步长(即,t=0、1、2、3等)中的每个离散时间步长中进行交互。在每个时间步长t处,代理接收一些环境状态s
t
的表示(例如,来自跟踪系统580的测量)。状态s
t
在s内,其中s是可能状态的集合。基于状态s
t
和时间步长t,代理选择动作at(例如,使执行者进行拆分)。动作at在a(s
t
)内,其中a(s
t
)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果),代理接收数字奖励r
t+1
。状态r
t+1
在r内,其中r是可能奖励的集合。一旦代理接收到奖励,代理就会选择新状态s
t+1

172.在每个时间步长处,代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为π
t
,其中π
t
(s,a)是如果s
t
=s,则a
t
=a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。
173.这种强化学习框架非常灵活,并且可以以许多不同的方式(例如,生成全息内容)应用于许多不同的问题。框架提出,无论感觉、记忆和控制设备的细节如何,学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号:一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。
174.当然,ai模型可以包括任何数量的机器学习算法。可以采用的一些其它ai模型是线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何,lf处理引擎530通常从跟踪模块526和/或观看者概况分析模块528获取输入并且作为响应,机器学习模型创建全息内容。类似地,ai模型可以引导全息内容的渲染。
175.在实例中,lf处理引擎530创建虚拟运动选手。lf处理引擎530可使用存储在数据存储装置522中的观看者概况中包括的信息来创建虚拟运动选手。举例来说,存储的观看者概况中包括的信息指示大量观看者喜欢来自三十岁出头、头发经过人工染色的女运动选手的高品质英式足球。如此,lf处理引擎530创建由lf显示系统500显示为女性英式足球运动员的运动选手。更明确地说,lf处理引擎530访问呈现空间中的观看者的观看者概况。lf处理引擎530使每个观看者概况中的信息参数化(例如,量化)。例如,lf处理引擎530可以对例如观看者的年龄、位置、性别等特性进行量化。另外,lf处理引擎530可以使包括在观看者概况中的其它信息参数化。举例来说,如果观看者概况指示观看者观看了女性运动选手的四场体育项目,那么内容创建模块可量化此趋势(例如,生成指示观看者对女运动选手的兴趣的分数)。lf处理引擎530将参数化的用户概况输入到ai模型(例如,神经网络)中,所述ai模型被配置成基于输入参数生成虚拟运动选手的特性生成,并且作为响应接收运动选手的特性。lf处理引擎530然后将虚拟运动选手的特性输入到ai模型(例如,程序生成算法)中,所
述ai模型被配置成生成给定一组特征的运动选手,并且作为响应生成为虚拟女性运动选手。另外,lf处理引擎530可以创建将符合虚拟运动选手的人物角色的全息内容(例如,能力、体育项目、球队、队服等)。举例来说,内容生成模块530可为虚拟运动选手创建符合她的比赛风格的训练方案。更明确地说,lf处理引擎530可访问虚拟运动选手的特性和关于观看者的信息,并且将所述信息输入到ai模型(例如,递归神经网络“rnn”)中。同样,可以(例如,使用分类和回归树)使特性和信息参数化,并且输入到rnn中。此处,可使用具有类似输入参数的训练方案来训练rnn。因此,rnn为呈现空间中的观看者生成虚拟运动选手的训练方案,所述训练方案与其它女英式足球运动选手的训练方案具有相似的特性。
176.lf处理引擎530可基于呈现空间中所示的体育项目而创建全息内容。举例来说,呈现空间中所示的体育项目可与描述体育项目的特性的一组元数据相关联。元数据可包括例如背景、流派、运动员、统计数据、体育项目类型、主题、标题、运行时间等。lf处理引擎530可访问描述体育项目的元数据中的任一项,并且作为响应生成存在于呈现空间中的全息内容。举例来说,题为“卓越杯(excellent bowl)”的体育项目为即将在用lf显示系统500增强的呈现空间中进行的比赛。lf处理引擎530访问体育项目的元数据以在体育项目开始之前创建用于呈现空间的壁的全息内容。在这里,元数据包括适合卓越杯的充满活力的体育场设置。lf处理引擎530将元数据输入ai模型中,并且作为响应接收显示在呈现空间的壁上的全息内容。在此实例中,lf处理引擎530在体育项目开始比赛之前创建显示在呈现空间的壁上的海边日落。
177.在实例中,lf处理引擎530基于存在于包括lf显示系统500的呈现空间的观看者来创建全息内容。举例来说,一组观看者进入呈现空间以观看由lf显示系统500显示的全息内容增强的体育项目。观看者概况分析模块528为呈现空间中的观看者生成观看者概况,和表示呈现空间中所有观看者的聚合观看者概况。lf处理引擎530访问聚合观看者概况并创建全息内容以显示给呈现空间中的观看者。举例来说,呈现空间中的观看者是一群球迷,他们正在观看一支为冠军而努力的球队,因此聚合观看者概况包括指示他们可能喜欢与运动队的超级球迷相称的全息内容的信息(例如,通过参数化并输入到ai模型中)。因此,lf处理引擎530生成全息内容,使得呈现空间为更喧闹的气氛(例如,泡沫手指、圣歌、噪音制造机等)。
178.在一些实例中,lf处理引擎530可以基于先前存在的内容来创建全息内容。这里,先前存在可为先前存在的球队、运动选手等。举例来说,查看者最喜欢的运动选手是“baby ruthie”,并且他们希望观看由他们的偶像主演的棒球比赛。如此,lf处理引擎530为babie ruthie在本垒打之后击破本垒打的体育项目创建增强内容。在此实例中,lf处理引擎530可访问babieruthie的现有个人得分、图像和统计数据(例如,存储在数据存储522中)并使用所述内容来创建体育项目内容以供lf显示系统500显示。更明确地说,内容创建系统可从数据存储装置522访问歌先前内容。lf处理引擎530将最喜欢的运动选手、最喜欢的球队和最喜欢的比赛以及任何其它观看者数据输入到ai模型(例如,程序生成算法)中,所述模型被配置成创建例如多个最喜欢的运动员进行比赛的拼贴画,以及作为响应,ai模型会输出此全息内容以在体育项目期间显示。在一些情况下,因为lf处理引擎530基于受版权保护的内容来创建全息内容,所以观看者和/或lf处理引擎530可以向版权持有者支付费用。
179.在实例中,lf处理引擎530基于观看体育项目的观看者的响应来创建全息内容。举
例来说,呈现空间中的观看者正在观看由lf显示系统500增强的呈现空间中的体育项目。跟踪模块526和观看者概况分析模块528监测观看体育项目的观看者的反应。举例来说,跟踪模块526可在观看者观看体育项目时获得所述观看者的图像。跟踪模块526标识观看者,并且观看者概况分析模块528可以使用机器视觉算法以基于图像中包括的信息来确定观看者的反应。举例来说,ai模型可用于标识观看体育项目的观看者是否在微笑,并且因此,观看者概况分析模块528可基于微笑在观看者概况中指示观看者是否对体育项目有肯定或否定响应。还可以确定其它反应。跟踪模块可以确定关于观看者的信息,所述信息包括观看者的定位、观看者的移动、观看者的手势、观看者的表情、观看者的年龄、观看者的性别、观看者的种族或观看者穿戴的衣物。此信息可以与观看者概况分析模块528共享以生成观看者概况。
180.lf处理引擎530可基于先前存在或提供的广告内容来创建全息内容。换句话说,例如,lf处理引擎530可以通过网络接口524从网络系统请求广告,作为响应,网络系统提供全息内容,并且lf处理引擎530创建用于显示包括广告的全息内容。广告的一些实例可以包括产品、文本、视频等。可以基于所述观看体中的观看者将广告呈现给特定的观看体。类似地,全息内容可用广告(例如,植入式广告)来增强体育项目。最一般地,如先前所描述,lf处理引擎530可基于呈现空间中的观看者的特性和/或反应中的任一项来创建广告内容。
181.创建内容的前述实例不是限制性的。最广泛地,lf处理引擎530创建全息内容以用于显示给lf显示系统500的观看者。可以基于lf显示系统500中包括的信息中的任何信息来创建全息内容。
182.全息内容分配网络
183.图5b说明根据一个或多个实施例的实例lf体育项目网络550。一个或多个lf显示系统可包括在lf体育项目网络550中。lf体育项目网络550包括经由网络552彼此连接的任何数目的lf显示系统(例如500a、500b和500c)、lf生成系统554和联网系统556。网络可为卫星网络、基于ip的网络或电缆系统网络。在其它实施例中,相比本文所描述的那些实体,lf体育项目网络550包含额外或更少的实体。类似地,可以与此处描述的方式不同的方式在不同实体之间分配功能。
184.在所说明的实施例中,lf体育项目网络550包括lf显示系统500a、500b和500c,其可经由网络552接收全息内容且将全息内容显示给观看者。lf显示系统500a、500b和500c统称为lf显示系统500。
185.lf生成系统554为生成用于在包括lf显示系统的体育项目呈现空间中显示的全息内容的系统。换句话说,lf生成系统被配置成生成本文所描述的lf内容中的任一项。全息内容可为体育项目或可为增强传统体育项目的全息内容。
186.在一个实例中,增强内容为可与全息内容同时显示的音频内容。举例来说,音频内容可包括播音员、音乐曲目、叮当声、音效或翻译。
187.在另一示例中,增强内容为体育竞技场中的体育区域的叠加、信息叠加或全息内容直播中包括的全息内容的增强中的任一项。
188.在另一个实例中,增强内容为包含任何全息、视频、音频或触觉内容的广告。在此情况下,广告可基于呈现广告的lf显示系统的位置、记录和/或正在呈现内容的体育竞技场、体育项目的赞助商或lf显示系统的配置中的任一项。在一些情况下,对于为观看全息内
容支付更高费用的观看者,可将观看者广告插入到全息直播中。
189.lf生成系统554可以包括包含任意数量的传感器和/或处理器以记录事件的能量数据的光场记录组件,以及被配置成将这个所记录的能量数据转换为全息内容的处理引擎。举例来说,光场记录组件的传感器可包括用于记录图像的相机、用于记录音频的麦克风、用于记录与对象的交互的压力传感器等。在一些实例中,lf生成系统554的光场记录组件包括定位在区域(例如,体育项目呈现空间)周围以从多个视点记录事件的一个或多个记录模块(例如,被配置成记录来自事件的能量数据的lf显示模块,或用于捕获事件图像的简单的2d相机)。在这种情况下,lf生成系统554的处理引擎被配置成将来自多个视点的能量转换成全息内容。在一些实例中,光场记录组件包括两个或更多个二维记录系统,所述二维记录系统由处理引擎使用以将事件的多个视点转换成三维全息内容。光场记录组件还可包括其它传感器,例如,深度传感器和/或全光相机。
190.更广泛地,lf生成系统554通过使用可由lf显示系统在示出体育项目时投影的事件的任何所记录的感觉数据或合成数据来生成用于在呈现空间中显示的全息内容。例如,感觉数据可包括所记录音频、所记录图像、与对象的所记录交互等。可使用许多其它类型的感觉数据。为了说明,所记录视觉内容可包括:3d图形场景、3d模型、对象放置、纹理、颜色、着色和照明;可使用ai模型和较大数据集的类似体育项目转换转换成全息形式的2d体育项目数据;来自具有或不具有深度通道的许多相机的相机装备的多视图相机数据;全光相机数据;cg内容;或如本文所描述的事件的其它类型的所记录感觉数据。
191.在各种实例中,用一个或多个传感器在一个或多个能量域上记录的体育项目可为任何类型的体育项目。体育项目呈现空间可包括野外、竞技场的一部分等中的一种或多种。
192.在一些配置中,lf生成系统554可使用专有编码器来执行将针对体育项目所记录的感觉数据减少为如上文所描述的向量化数据格式的编码操作。也就是说,将数据编码为向量化数据可包括图像处理、音频处理或可产生更容易在网络552上传输的减小的数据集的任何其它计算。编码器可支持由体育项目制造行业专业人员使用的格式。在其它配置中,lf生成系统可以将体育项目内容传输到网络系统556和/或lf显示系统而不对内容进行编码。
193.每个lf显示系统(例如,500a、500b、500c)可经由网络接口524从网络552接收编码数据。在此实例中,每个lf显示系统包括解码器以对编码lf显示数据进行解码。更明确地说,lf处理引擎530通过将由解码器提供的解码算法应用于所接收的编码数据而生成用于lf显示组件510的光栅化数据。在一些实例中,lf处理引擎可另外使用来自如本文所描述的跟踪模块526、观看者概况分析模块528和感觉反馈系统570的输入生成用于lf显示组件的光栅化数据。针对lf显示组件510生成的光栅化数据再现由lf生成系统554记录的全息内容。重要的是,每个lf显示系统500a、500b和500c生成适于lf显示组件在几何形状、分辨率等方面的特定配置的光栅化数据。在一些配置中,编码和解码过程是可提供给显示器消费者或由第三方授权的专有编码/解码系统对(或

编解码器’)的部分。在一些情况下,编码/解码系统对可实施为可向内容创建者提供共同编程接口的专有api。
194.在一些配置中,lf体育项目网络550中的各种系统(例如,lf显示系统500、lf生成系统554等)可具有不同的硬件配置。硬件配置可包括物理系统、能量源、能量传感器、触觉接口、感觉能力、分辨率、视场、lf显示模块配置或lf体育项目网络550中的系统的任何其它
硬件描述的布置。每个硬件配置可生成或使用呈不同数据格式的感觉数据。因此,解码器系统可被配置成对将呈现在lf显示系统上的用于lf显示系统的编码数据进行解码。例如,具有第一硬件配置的lf显示系统(例如,lf显示系统500a)从具有第二硬件配置的lf生成系统(例如,lf生成系统554)接收编码数据。解码系统访问描述lf显示系统500a的第一硬件配置的信息。解码系统使用所访问的硬件配置对编码数据进行解码,使得解码数据可由接收lf显示系统500a的lf处理引擎530处理。尽管记录在第二硬件配置中,但lf处理引擎530生成并且呈现用于第一硬件配置的光栅化内容。以类似方式,无论硬件配置如何,由lf生成系统554记录的全息内容可由任何lf显示系统(例如,lf显示系统500b、lf显示系统500c)呈现。可包括在硬件配置中的各种其它方面可包括:分辨率、每度投影的光线数、视场、显示表面上的偏转角度以及显示表面的维度等。另外,硬件配置还可包括:lf显示组件的多个显示面板、显示面板的相对定向、显示面板的高度、显示面板的宽度以及显示面板的布局。
195.类似地,lf体育项目网络550中的各种系统可具有不同的几何定向。几何定向反映了lf显示系统中包括的各种模块和系统的物理尺寸、布局和布置。因此,解码器系统可被配置成对将呈现在lf显示系统上的用于几何配置中的lf显示系统的编码数据进行解码。例如,具有第一几何配置的lf显示系统(例如,lf显示系统500a)从具有第二几何配置的lf生成系统(例如,lf生成系统554)接收编码数据。解码系统访问描述lf显示系统500a的第一几何配置的信息。解码系统使用所访问的几何配置对编码数据进行解码,使得解码数据可由接收lf显示系统500a的lf处理引擎530处理。尽管记录在第二几何配置中,但lf处理引擎530生成并且呈现用于第一几何配置的光栅化内容。以类似方式,无论几何配置如何,由lf生成系统554记录的全息内容可由任何lf显示系统(例如,lf显示系统500b、lf显示系统500c)呈现。可包括在几何配置中的各种其它方面可包括:lf显示组件的多个显示面板(或表面)、显示面板的相对定向。
196.类似地,lf体育项目网络550中的各种呈现空间可具有不同的配置。呈现空间配置反映了全息对象体的数量和/或定位、观看体的数量和/或定位,以及相对于lf显示系统的观看位置的数量和/或定位中的任一项。因此,解码器系统可被配置成对将呈现在lf显示系统中的用于呈现空间中的lf显示系统的编码数据进行解码。举例来说,在第一呈现空间中具有的lf显示系统(例如,lf显示系统500a)从记录在不同呈现空间(或一些其它空间)中的lf生成系统(例如,lf生成系统554)接收编码数据。解码系统访问描述呈现空间的信息。解码系统使用所访问的呈现空间配置对编码数据进行解码,使得解码数据可由安装在呈现空间中的lf处理引擎530处理。尽管记录在不同的位置,但lf处理引擎530仍为呈现空间生成并且呈现内容。
197.网络系统556为被配置成管理lf体育项目网络550中的系统之间的全息内容传输的任何系统。例如,网络系统556可从lf显示系统500a接收对全息内容的请求,并且促进全息内容从lf生成系统554传输到lf显示系统500a。网络系统556还可存储用于传输到和/或由lf体育项目网络550中的其它lf显示系统500存储的全息内容、观看者概况、全息内容等。网络系统556还可包括可创建如先前所描述的全息内容的lf处理引擎530。
198.网络系统556可包括数字权限管理(drm)模块以管理全息内容的数字权限。例如,lf生成系统554可将全息内容传输到网络系统556,并且drm模块可使用数字加密格式对全息内容进行加密。在其它实例中,lf生成系统554将所记录光场数据编码为可由drm模块管
理的全息内容格式。网络系统556可将数字加密的密钥提供到lf显示系统,使得每个lf显示系统500可对全息内容进行解密并且随后将全息内容显示给观看者。最一般地,网络系统556和/或lf生成系统554对全息内容进行编码,并且lf显示系统可对全息内容进行解码。
199.网络系统556可充当先前所记录和/或所创建的全息内容的存储库。每条全息内容可与交易费用相关联,所述交易费用在接收时使得网络系统556将全息内容传输到提供交易费用的lf显示系统500。例如,lf显示系统500a可经由网络552请求访问全息内容。所述请求包括全息内容的交易费用。作为响应,网络系统556将全息内容传输到lf显示系统以显示给观看者。在其它实例中,网络系统556还可充当存储在网络系统中的全息内容的订阅服务。在另一个实例中,lf生成系统554实时地记录体育项目的光场数据并且生成表示所述体育项目的全息内容。lf显示系统500将对全息内容的请求传输到lf生成系统554。所述请求包括全息内容的交易费用。作为响应,lf生成系统554传输全息内容以用于在lf显示系统500上同时进行显示。网络系统556可充当交换交易费用和/或管理跨越网络552的全息内容数据流的介体。另外,在一些情况下,网络系统能够修改全息内容,使得其可由接收全息内容的lf显示系统呈现。
200.在一些实例中,网络系统556可为本地分配中心。那是负责将全息内容分配到本地市场中的lf显示系统的网络系统556。举例来说,本地分配中心可为负责将全息内容分配到达拉斯地区的lf显示系统500的达拉斯站。在此情况下,网络系统556可用额外全息内容、音频内容、视频内容和/或触觉内容来增强全息内容。
201.网络552表示lf体育项目网络550中的系统之间的通信路径。在一个实施例中,网络是因特网,但也可以是任何网络,包括但不限于局域网(lan)、城域网(man)、广域网(wan)、移动、有线或无线网络、云端计算网络、专用网络或虚拟专用网络,和其任何组合。另外,可使用常规加密技术加密所有或一些链路,例如安全套接层(ssl)、加密的http和/或虚拟专用网络(vpn)。在另一实施例中,代替或除了上文所描述的技术之外,实体可使用定制和/或专用数据通信技术。
202.iii.实例竞技场
203.图6a-9b说明可使用lf显示系统(例如,lf显示系统500)显示全息内容的若干实例呈现空间。全息内容可为记录的体育项目、在另一场馆中同时发生的体育项目和/或增强所呈现的体育项目的全息内容。在本公开中,此内容被称为全息体育项目内容,或简称为全息体育内容。在呈现空间内,任何数目个观看者位于任何数目个观看体内的观看位置处。lf显示系统被配置成在全息对象体(“全息体育项目体”)中显示全息体育内容,使得观看体中的观看者感知到此全息体育内容。在本公开中,我们经常交替使用术语“全息体育项目体”和“全息对象体”来指代投影全息体育内容的空间区域(例如,图2b中所示的全息对象体255)。通常,场地中的lf显示系统包括在全息体育项目体周围的光场模块210的阵列,所述光场模块210的阵列生成无缝的多边lf显示。因此,全息体育项目体可为lf显示模块210的阵列的聚合全息对象体。
204.图6说明根据一个或多个实施例的呈现空间的侧视图,所述呈现空间是已经用lf显示系统增强的传统竞技场600。在竞技场600中,后壁和地板衬有lf显示模块的阵列640,使得地板上方的区域为lf显示系统的全息体育项目体610。在一些示例中,竞技场600可包括全息体育项目体中的元件,其允许更容易地呈现全息体育内容。举例来说,全息体育项目
体可包括网球场,使得lf显示系统在呈现网球比赛时不需要渲染球场。为了清楚起见,全息体育项目体610(例如,全息对象体255)被示为有界的正方形,但所说明的全息体育项目体610仅是实际全息体育项目体的一部分。举例来说,全息体育项目体可延伸到后壁或地板602中。在图6中,lf显示系统是lf显示系统500的实施例。此外,阵列640中的lf显示模块是lf显示组件510的实施例。
205.在这里,竞技场600是三层的,但可包括任何数目的层。每层包括供观看者观看全息体育项目体610中的全息体育项目内容630的多个观看位置(例如,观看位置622a、622b)。每层中的观看位置622包括在lf显示系统的观看体(例如,620a、620b和620c)中。lf显示系统可在每个观看子体620(类似于图2b中的观看子体290)中向观看者显示相同或不同的体育项目内容630。举例来说,如下文所描述,位于底层的观看体620a中的观看位置622a中的观看者可看到与位于中间层的观看体620b中的观看位置622b中的观看者看到的内容不同的体育项目内容630。
206.在其它实施例中,竞技场600可以不同方式配置。举例来说,壁和地板可采用适合要呈现的体育内容的一些其它形状。竞技场600中的任何表面都可包括在lf显示模块的阵列640中。此外,竞技场600可具有额外的层和观看体,并且这些层和观看体可以任何数目的配置进行布置。
207.作为背景实例,说明的竞技场600为旧金山的呈现空间,其收费为同时示出网球比赛“bumbledon”的决赛。然而,值得注意的是,网球比赛在英国伦敦举行。伦敦的竞技场包括lf生成系统(例如,lf生成系统554),用于记录网球比赛并将其作为全息体育项目内容630经由网络(例如,经由网络552)传输到其它场地。旧金山的竞技场600包括lf显示系统,所述lf显示系统被配置成在观看子体620中的观看位置622处向观看者显示接收到的全息体育项目内容630。支付交易费用(例如,支付到网络系统556或lf生成系统554)以接收体育项目内容。在各种实例中,竞技场600的所有者、竞技场600的在场者、体育项目管理者或任何其它代理可支付费用。全息体育项目内容630允许旧金山的观看者感知网球比赛,就好像他们正在他们面前的全息体育项目体610中现场观看比赛一样。这使旧金山的观看者能够以与伦敦观看者几乎相同的方式观看现场体育项目,而无需前往伦敦。
208.在一些实施例中,场地600收取入场费以观看由lf显示系统500显示的网球比赛直播。每个观看位置622可具有不同的入场费,并且通常底部观看体620a的入场费比顶部观看体620c的入场费更贵。lf显示系统可以基于观看体620的入场费向每个观看体620显示不同的全息体育项目内容630。举例来说,完全渲染在旧金山的比赛可能比部分渲染的比赛成本(例如,处理能力、能量等)更高。因此,lf处理引擎(例如lf处理引擎530)可以仅将体育内容的一部分显示到影院顶层的观看体620c,同时将所有的体育内容630播放到影院底层的观看体620a。举例来说,当仅显示全息体育项目内容630的一部分时,lf处理引擎可以仅在全息体育项目体610的一部分而不是整个全息体育项目体610中显示体育项目内容630,lf处理引擎可以去除全息体育项目内容630的方面(例如,啦啦队长、球迷或观众的部分等),lf处理引擎530可以比底部观看体620a更低的分辨率为顶部观看体620c渲染全息体育项目内容630,等等。
209.替代地或另外地,lf处理引擎530可以基于观看体620的入场费来创建全息内容以增强全息体育项目内容630。举例来说,lf处理引擎可以创建(或从网络系统556访问)广告
以与体育内容630同时显示。广告可基于由观看者概况分析系统(例如,观看者概况分析系统590)或跟踪系统(例如,跟踪系统580)获得的信息。举例来说,lf处理引擎可访问包括观看者特性和对全息内容的响应的观看者概况。lf处理引擎从与观看者的特性和响应相关联的数据存储装置(例如数据存储装置522)访问广告并且显示所述广告。当显示全息体育内容630时,场地可以从广告商收取用于显示广告的费用。在另一个实例中,lf处理引擎可用赞助的全息内容(例如,植入式广告)而不是公开显示的广告来增强全息体育项目内容630。举例来说,lf处理引擎可将针对伦敦观看者的场边广告替换为针对旧金山观看者的广告。
210.图7说明根据一个或多个实施例的包括lf显示系统的另一个竞技场700的横截面,所述lf显示系统用于在观看体中的观看位置处向观看者显示体育内容。竞技场700被设计和建造成显示体育内容730,而不是增加已经存在的竞技场。如所说明,图7为竞技场700的横截面。在图7中,lf显示系统740是lf显示系统500的实施例。
211.在所说明的实例中,竞技场700似于柔道呈现空间,其中观看位置722围绕着格斗环702格斗环702的地板覆盖有lf显示模块阵列,使得平台上方的区域形成全息体育项目体(例如,体育项目体710)。lf显示器740在全息体育项目体710中呈现体育内容730,使得竞技场700中的观看者可感知全息体育项目内容730。在竞技场700中,观看位置722以倾斜度定位,使得每个观看位置的视线允许从观看体(例如,观看体720a)无阻碍地观看体育内容730。在这里,竞技场包括一个围绕格斗环702的观看体,包括观看体720a和720b,使得所有观看者都被呈现相同的体育项目。在其它配置中,可能存在多于一个的观看体。
212.更一般地,lf显示系统可以具有基本上水平或近似水平的显示表面。在若干实例中,lf显示系统可包括显示表面,所述显示表面为(i)竞技场地板的至少一些部分,(ii)格斗环(例如格斗环702)、体操地板、网球场、野外或竞技场中的其它体育项目表面的至少一些部分和/或(iii)竞技场中升高的观看平台的至少一些部分。其它类型的水平表面也是可能的。对于这些配置,观看者可以相对于显示表面升高并且向下看以观看从显示表面投影的全息体育内容,并且观看者可部分或完全围绕显示表面。光场显示表面还有许多其它配置,包括竖直安装的显示表面,其观看位置大致布置在lf显示表面的前面并且在本公开的其它地方进行了描述(图4c中所示的450a,图4d中所示的450b,以及图4e中所示的450c),以及弯曲的lf显示表面。
213.为清楚起见,全息体育项目体710被说明为有界正方形,但全息体育项目体710可以只是其中可投影全息体育项目对象的实际体育项目体的一部分。举例来说,全息体育项目体710可以进一步朝向竞技场700的顶部延伸。此外,体育项目体710和观看体720(例如720a和720b)的一部分在空间上重叠。虽然被说明为部分重叠,但全息体育项目体和观看体可以在空间上完全重叠。如先前所描述,空间重叠是观看者可以与全息体育内容730交互的区域。
214.呈现空间也可以是一个小得多的位置。举例来说,图8说明根据一个或多个实施例的在观看者的客厅802中也充当家庭影院800的呈现空间。此处,家庭影院包括包含面墙上的lf显示模块的阵列的lf显示系统840。在图8中,lf显示系统840是lf显示系统500的实施例。
215.lf显示系统840可被配置成使得体育项目体(例如,全息对象体255)和观看体在客厅802内完全重叠。也就是说,在客厅802内的任何观看位置(例如,观看位置822),观看者可
以观看体育内容830并与其交互。虽然观看位置822被说明为椅子,但是观看者可以穿过客厅并观看体育内容830。也就是说,观看位置822可以是观看者在客厅802中的位置。
216.在一些实施例中,lf显示系统840基于观看者与全息体育内容830的交互来创建(或修改)体育内容830。举例来说,观看者可在全息体育内容830中用拳头撞击表演者。在这种情况下,观看者可与啦啦队长交互并移动他的手,就好像在全息体育内容830中向啦啦队长举手击掌。跟踪系统(例如跟踪系统580)对观看者进行监测并标识(例如,经由机器听觉、机器视觉、神经网络等)观看者希望在全息体育内容830中用拳头撞击表演者。内容生成系统(例如内容生成530)(例如,使用机器学习、神经网络或其一些组合)创建全息体育内容,所述全息体育内容表示啦啦队长基于使用所监测的观看者信息来回举手击掌。跟踪系统580监测观看者的手的定位,并且当观看者的手和啦啦队长的手在空间上重叠时,感觉反馈组件(例如传感器反馈组件570)为观看者创建在全息体育内容830中与表演者举手击掌的感觉。这可用聚焦超声投影系统来实现,所述聚焦超声投影系统产生体积触觉表面,所述表面产生举手击掌的感觉返回给观看者。在实施例中,超声投影系统作为双能显示表面集成到lf显示系统中,如先前描述。
217.在一些情况下,观看者可与网络系统(例如网络系统556)交互以获取用于其客厅802的体育内容830。继续关于图6描述的实例,并且参考图5b所示的lf体育项目分配网络,观看者可向网络系统556发送交易费用,并且lf生成系统554向呈现空间800发送正在伦敦进行的网球比赛的全息体育内容830。
218.图9说明根据一个或多个实施例的在观看者的客厅902中的家庭影院900。。这里,家庭影院包括内置在桌子904中的lf显示系统940,在桌子904的顶面上具有lf显示模块阵列(“lf阵列”)。虽然说明的家庭影院内置在桌子上,但它可以内置在客厅的任何其它具有表面的元件中。lf阵列920被配置成将全息体育内容930呈现给处于可观看桌子904的顶表面的观看位置的观看者。在所说明的实例中,实例观看位置922是被定位成使得坐在椅子上的观看者可感知由lf阵列920呈现的全息内容的椅子。如先前描述,其它观看位置的观看者也可感知由lf阵列920呈现的全息体育内容930。在图10中,lf阵列920为lf显示组件510的实施例。另外,lf显示系统940是lf显示系统500的实施例。
219.lf阵列920呈现体育项目的全息体育内容930,使得它出现在桌子904的顶表面上。观看位置922处的观看者可能够感知所呈现的全息内容930并与其交互。在此实例中,lf显示系统从网络系统556输入全息内容,转换全息内容以显示在桌子904的顶部,并将全息内容930呈现给lf显示系统940的一个或多个观看体中的观看者。
220.在一些实施例中,观看者可与lf显示系统交互以改变所呈现的全息体育内容930。举例来说,lf显示系统可被配置成接收听觉提示、视觉提示等并作为响应改变全息内容930。作为说明,客厅902中的观看者可以声明“暂停比赛”,lf显示系统记录音频,识别音频,并作为响应暂停全息体育内容930的回放。类似地,客厅902中的观看者可与全息内容930交互以旋转由桌子显示的视图。作为说明,观看者可用一只手触摸所呈现的全息内容930中的运动员并用另一只手做出旋转手势。在这种情况下,lf显示系统捕获做出手势的观看者的图像,识别手势,并作为响应旋转全息内容。
221.iv.向竞技场中的观看者显示体育项目内容
222.图10为用于在lf体育网络(例如,lf体育网络550)的情况下的体育项目呈现空间
(例如,竞技场600)中的观看者显示全息内容的方法1000的流程图。方法1000可包括额外或更少步骤,且所述步骤可以不同次序进行。此外,可在所述方法的执行期间将各种步骤或步骤组合重复任何次数。
223.首先,包括lf显示系统(例如,lf显示系统500)的竞技场经由网络(例如,网络552)将对全息体育项目内容(例如,全息体育项目内容630)的直播(或先前记录的)的请求传输1010到网络系统(例如,网络系统556)系统。请求可包括足以支付显示全息体育项目内容的交易费用。
224.lf生成系统(例如,lf生成系统554)记录现场体育项目的lf数据并且将对应全息体育项目内容传输到网络系统。网络系统将全息体育项目内容传输到lf显示系统,使得所述全息体育项目内容可在lf生成系统正在记录的大致同一时间进行显示。在其它实施例中,网络系统(例如网络系统556)可传输预先记录的全息体育项目内容。
225.lf显示系统经由网络从网络系统接收1020全息体育项目内容。
226.lf显示系统确定1030竞技场中的lf显示系统和/或呈现空间的配置。例如,lf显示系统可以访问配置文件,所述配置文件包括描述lf显示器的hw配置的多个参数,包括分辨率、每度投影的光线、视场、显示表面上的偏转角,或lf显示表面的维度。配置文件还可以含有关于lf显示组件的几何定向的信息,包括lf显示面板的数量、相对定向、宽度、高度和lf显示面板的布局。此外,配置文件可以含有表演场地的配置参数,包括全息对象体、观看体以及观众相对于显示面板的位置。
227.为了通过实例来说明,lf显示系统确定1030用于显示全息体育项目内容的观看体(例如,观看体620a、620b和620c)。举例来说,lf显示系统500可访问lf显示系统中描述呈现空间(例如竞技场600)的布局、几何配置和/或硬件配置的信息。为了说明,布局可包括呈现空间中的观看位置(例如,观看位置622)的位置、间隔和大小。因此,lf显示系统可以确定呈现空间第一层中的观看位置在第一观看体中,场地第二层中的观看位置在第二观看体中,并且场地第三层中的观看位置在第三观看体中。在各种其它实施例中,lf显示系统可确定在场地内的任何位置处的观看体的任何数目和配置。
228.lf显示系统基于表演场地内的lf显示系统的硬件配置以及呈现空间的特定布局和配置生成1040用于在lf显示系统上呈现的全息内容(和其它感觉内容)。确定用于显示的全息体育项目内容可包括为呈现空间或观看体积适当地渲染全息体育项目内容。举例来说,lf显示系统可:(i)用广告增加用于显示到第三层中的观看体的全息体育项目内容,并且从全息体育项目内容去除现场表演的方面,(ii)减小用于显示到呈现空间第二层中的观看体的全息体育项目内容的保真度,并且(iii)完全渲染用于显示到呈现空间的第三层中的观看体的全息体育项目内容。
229.lf显示系统在呈现空间的全息体育项目体中呈现1050全息体育项目内容,使得在每个观看体中的观看位置处的观看者感知适当的全息体育项目内容。也就是说,顶部观看体的观看者感知带有广告的全息体育项目内容,中间观看体的观看者以较低分辨率感知全息体育项目内容,而底部观看体的观看者感知完全渲染的全息体育项目内容。
230.lf显示系统可在观看体中的观看者观看全息体育项目内容时在任何时间确定关于观看者的信息。例如,跟踪系统可监测观看体中的观看者的面部响应,并且观看者概况分析系统可访问关于观看体中的观看者的特性的信息。
231.lf显示系统可基于所确定的信息来创建(或修改)用于同时显示的全息体育项目内容。举例来说,lf处理引擎基于所确定的观看者喜欢烟花或电子音乐节的信息创建灯光秀以供lf显示系统同时显示。
232.v.额外配置信息
233.对本公开的实施例的前述描述出于说明的目的而呈现;这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解,根据以上公开,许多修改和变化是可能的。
234.此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为通过计算机程序或等效电路、微代码等来实施。此外,在不失一般性的情况下,将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。
235.可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中,用计算机程序产品来实施软件模块,所述计算机程序产品包含含有计算机程序代码的计算机可读介质,所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
236.本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的,和/或其可以包含由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中,所述介质可以耦合到计算机系统总线。此外,在说明书中提及的任何计算系统可以包括单个处理器,或可以是采用多处理器设计以得到增加的计算能力的架构。
237.本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包含产生于计算过程的信息,其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包括本文所描述的计算机程序产品或其它数据组合的任何实施例。
238.最后,说明书中使用的语言主要是出于可读性和指导目的而选择的,并且可能未选择其来描绘或限制本发明的主题。因此,意图是本公开的范围不受此具体实施方式的限制,而是受基于其所附的申请的任何权利要求的限制。因此,实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1