为扩展3d渲染图形管道实时生成视频全息图的方法

专利名称：为扩展3d渲染图形管道实时生成视频全息图的方法
为扩展3D渲染图形管道实时生成视频全息图的方法
技术领域：
本发明涉及一种为扩展3D渲染图形管道由具有深度信息的三维图像 数据实时生成视频全息图的方法。
对于渲染过程，本发明涉及3D渲染管道或图形管道，其包含从场景的 矢量、数学描述到监视器屏幕上像素化图像的算法。三维图像数据包含深 度信息，通常还包含关于材料和表面性质的附加信息。例如，在3D渲染图 形管道中完成屏幕坐标向装置坐标的转换、材质贴图、裁切和图形保真。 表示三维场景的二维投射、并且存储在图形适配器的帧缓冲器中的像素化 图像包含用于监视器屏幕、例如LC显示器的可控像素的像素值。
就全息数据的生成而言，本发明涉及在全息显示装置的光调制器装置 上为由物点组成的三维场景的显示生成全息值的方法和装置。
对于视频全息图，本发明还涉及全息管道。复全息值以用于全息显示 装置的光调制器的像素值的形式在该管道中生成。
这样的全息显示装置实质上基于这样的原理借助于至少一个光调制 器装置，亚全息图由将要重建的场景的每个物点确定，并且整个全息图由 亚全息图的叠加而形成，其中，在该光调制器装置上，被分为物点的场景 编码成整个全息图，并且场景可以作为重建从位于视频全息图重建的一个 周期性区间内的可见区看到。通常，该原理主要用于重建将由物体发出的 进入一个或多个可见区的波阵面。
具体地，这样的装置基于这样的原理重建单个物点仅需要作为在光
调制器装置上编码的整个全息图的子集的亚全息图。全息显示装置包含至 少一个屏幕装置(screen means)。屏幕装置是编码场景的全息图的光调
制器本身，或者是在光调制器上编码的场景的全息图或波阵面在其上成像 的光学元件，如透镜或反射镜。
6在可见区中进行场景重建的屏幕装置和相应原理的定义在由申请人
提交的其它专利文件中进行了描述。在WO 2004/044659和WO 2006/027228号专利文件中，光调制器本身形成屏幕装置。在WO 2006A19760号，名称为"用于场景的全息重建的投射装置和方法 (Projection device and method for holographic reconstruction of scenes)"的
专利文件中，屏幕装置是在光调制器上编码的全息图在其上成像的光学元 件。
在DE 10 2006 004 300.6号"用于场景的全息重建的投射装置 (Projection device for the holographic reconstruction of scenes)"的专禾!j文 件中，屏幕装置是在光调制器上编码的场景的波阵面在其上成像的光学元件。
由申请人提交的WO 2006/066919号专利文件描述了用于计算视频全 息图的方法。
"可见区"是观察者通过其可以以足够可见度观看到整个场景的重建 的有限区域。在可见区内，波场干涉使得已重建的场景对于观察者可见。 可见区位于或靠近观察者的眼睛。可见区可以在X、 Y和Z方向移动，借助 公知的位置探测和追踪系统将可见区追踪到实际的观察者位置。可以使用 两个可见区，每只眼睛一个。 一般说来也可以有更多复杂排列的可见区。 还可以将视频全息图编码成使得对观察者而言，单个物体或整个场景看起 来位于光调制器的后方。
在本申请文件中，术语"光调制器装置"或者"SLM"指通过转换 (switching)、选通(gating)或调制由一个或多个独立光源发出的光束 的方式来控制光的强度、色彩和/或相位的装置。全息显示装置典型地包含 通过调节穿过显示面板的光的振幅和/或相位重建物点的可控像素矩阵。光 调制器装置包含这样的矩阵。光调制器装置可以例如是声光调制器 (acousto-optic modulator) AOM或连续型调制器。通过振幅调制的方式进 行全息图重建的一个实施例可以利用液晶显示器(LCD)。本发明还涉及 用于将充分相干光调制成光波阵面或调制成光波轮廓的另外的可控装置。
7术语"像素"指光调制器的可控全息像素，其表示全息点的离散值并 且被离散地寻址和控制。每个像素表示全息图的全息点。就LC显示器来说，
像素是可离散控制的显示器像素。就DMD (数字微镜装置(Digital Micro-mirror Device))来说，例如DLP (数字光处理器(Digital Light Processor))，像素是可离散控制的微镜或这种微镜的小组群。就连续的 空间光调制器装置来说，像素是表示全息点的虚构区。就彩色显示来说， 典型地将像素再分为多个表示基色(primary colours)的子像素。
术语"变换"应理解为包括任何与变换相同或近似的数学或者计算技 术。数学意义上的变换仅仅是物理过程的逼近，其可以通过麦克斯韦 (Maxwellian)波动方程更加精确地描述。像菲涅耳(Fresnel)变换或者 以傅立叶(Fourier)变换著称的变换的特殊群的变换描述二阶逼近。变换 通常用代数或者非微分方程表示，因此可以应用公知的计算工具进行有效 且高性能地处理。此外，可以利用光学系统对它们进行精密地模仿。
由申请人提交的WO 2006/066919号专利文件描述了一种用于计算视 频全息图的方法。总体上包括以下步骤将场景切分为平行于光调制器平 面的剖面，将观察者平面内的所有剖面变换到可见区，并将其相加。而后， 将相加的结果逆变换到光调制器所在的全息平面，从而确定视频全息图的 复全息值。
DE 10 2006 025 096号专利文件描述了一种用于从具有深度信息的图 像数据实时渲染并生成视频全息图的方法，其中，3D渲染图形管道在第一 模式中为监视器的可控像素生成像素值。其特征在于，以可变换的方式扩 展管道，使得在第二模式中，复全息值作为用于至少一个全息管道中的空 间光调制器SLM的像素值生成，从而同时或交替扩展到普通的图形显示， 为了调制入射波场使得通过空间中的干涉重建三维场景，用全息值控制空 间光调制器。
DE 10 2006 042 324号专利文件描述了一种实时生成视频全息图的方 法。该方法利用这样的原理单一物点的重建仅需要亚全息图作为在SLM 上编码的整个全息图的子集。其特征在于，对于每个物点，亚全息图的贡献可以从查找表中寻回，并且为了重建整个场景，累积所述的亚全息图以 形成整个全息图。
所描述的方法允许在第一步生成全息值。然而，必须包括对3D渲染图
形管道的进一步考虑。在两个存储器部分中，即在帧缓冲器(frame buffer) 和Z缓冲器中提供描述三维场景转换成三维场景的二维投射形式的像素化 图像数据的3D渲染图形管道的结果帧缓冲器包含色彩值或色彩信息，即 观察者所看到的场景的色彩图(colourmap) 。 Z缓冲器包含从观察者位置 看到的正常化显示的场景的深度图或深度信息。这些数据作为全息管道的 输入数据，依次排列，并且生成光调制器的像素值形式的复全息值。仅当 3D渲染图形管道的结果完全有效时，即当将所有像素化图像数据写入帧缓 冲器和Z缓冲器中时，才能执行全息变换。整个三维场景必须由3D渲染图 形管道渲染并且像素化图像数据必须在全息变换成为可能之前完全生成。 所述管道相继地、即一个接一个地执行，导致不利的长计算时间。长计算 时间的结果是，视频序列例如不会具有所需要的刷新频率。
然而，在传统的视频技术中，当显示视频全息图时，高刷新率是所需 要的并且是必不可少的。此外，由于大量所需的计算步骤，视频全息图的 生成导致非常大的计算负荷，并且需要高性能和高价格的计算单元。
本发明的目的是克服公知技术领域的缺点并且提供一种避免3D渲染 图形管道和全息管道一个接一个执行的方法。所需要的计算时间将大幅减 少。因此，用于计算的成本和技术努力也将减少。此外，为了实现该方法 并且因此使实时生成视频全息图成为可能，如今市面上销售的图形卡或3D
管道的构架将通过附加的硬件和软件模块扩展。
该方法用来为扩展3D渲染图形管道实时生成视频全息图，描述了三维 场景向三维场景的二维投射的形式的像素化图像数据的转换。
此后，全息管道用于生成以具有至少一个光调制器装置的全息显示装 置的光调制器的像素值为形式的复全息值，在该光调制器装置上，被分成 物点的场景编码成整个全息图并且场景可以作为重建从位于视频全息图 的重建的一个周期性区间内的可见区看到，其中可见区连同将要重建的场景的每个物点一起确定亚全息图，并且整个全息图通过亚全息图的叠加而 形成，3D渲染图形管道将由具有深度信息的图像数据表示的场景配构成物 点(OP)，然后为物点确定并且至少提供色彩和深度信息。这样的具有光 调制器装置的全息显示装置基于这样的原理用场景的物点信息调制的波 阵面在至少一个可见区中叠加。可见区的定义已经由上述内容给出。
这样的全息显示装置以及本发明基于这样的原理场景的单个物点的 重建仅需要作为在光调制器装置上编码的整个全息图的子集的亚全息图。
每个单一物点由一个亚全息图创造，其位置依赖于物点的位置，其大 小依赖于观察者位置。下面将光调制器装置上的亚全息图区称为调制区。
调制区是重建物点所需要的光调制器装置的子区域(sub-region)。同时， 为了重建物点，调制区确定光调制器上的哪些像素必须寻址。如果物点是 固定在空间中的物点，则调制区将保持在固定位置。这意味着将要重建的 物点依赖于观察者位置而改变位置。依赖于观察者位置的调制区的改变允 许物点在固定位置编码，即，其在空间中的位置不依赖于观察者位置而改 变。就本发明而言，可以类似地利用这些原理。根据最简单的实施例，调 制区的中心位于贯穿将要重建的物点和可见区的中心的直线上。在最简单 的实施例中，基于交线定理确定调制区的大小，其中，可见区通过将要重 建到光调制器装置的物点追溯。
同样，如果较好地利用了亚全息图，则表示光调制器的最小可控单元 的像素不仅包含单一亚全息图的信息，而且，由于叠加的结果，还包含多 个亚全息图的信息。
在两个存储器部分中，即在帧缓冲器(frame buffer)和Z缓冲器中提 供描述三维场景转换成三维场景的二维投射形式的像素化图像数据的3D 渲染图形管道的结果。
本发明基于这样的思想对于从观察者位置可见以及3D渲染图形管道 的像素化处理为其完成从而至少提供各自的色彩和深度信息的每个物点 来说，立即确定用于该物点的亚全息图并将其增加到整个全息图。因此全 息值立即在全息管道中用亚全息图或者整个全息图为3D渲染图形管道己经完全渲染的每个物点生成。按照本发明的思想，必须注意，场景将处在 未被3D渲染图形管道完全处理的点上。物点随后的改变，尤其关于可见度、 色彩和亮度的改变因此依然是可能的。物点可见度可以例如作为整个场景 的渲染处理的后果而改变，从而到目前为止已经可见的物点现在被更靠近 观察者的物点覆盖。
本发明进一步基于这样的原理还用在渲染过程中性质己经改变的物 点的贡献矫正整个全息图。
在体现本发明的总思想的一个实施例中，本方法包含在全息管道中对 从观察者位置可见以及对深度和色彩信息最初已经提供或更新的每个物 点、
- (A)将对应于当前或可见物点的亚全息图以及对应的差分亚全息图 (SD) (SD = SHN-SHX)立即作为对应的当前物点亚全息图以及现在是
废弃的或者不再可见的物点的亚全息图的差值进行计算，
- (B)将差分亚全息图加到整个全息图(HSSLM)中，
- (C)使当前物点到对应的亚全息图的信息链可以在至少一个亚全息 图存储器中读取。可以将亚全息图物理地写入亚全息图存储器。还可以通 过参考、索引和存储器部分等使该信息链可以读取。
根据需要补偿整个全息图。与之前的处理步骤类似，使当前物点到其 亚全息图的信息链可以在亚全息图存储器中读取。
借助等式(SD = SHN-SHX)可以找到当前物点和废弃物点的差分亚 全息图作为对应的当前亚全息图和废弃的亚全息图的差值。根据更新的深 度信息由以下确定物点的差分亚全息图
a) (SD = SHN-SHX)通过更靠近观察者的物点的亚全息图与现在被 其它物点覆盖因此不再可见的物点的亚全息图的差值，或者，反之亦然
b) (SD = SHN-SHX)通过更远离观察者的物点的亚全息图与到目前 为止己经可见的物点的亚全息图的差值。
为了计算当前物点和废弃物点的差分亚全息图，废弃物点的亚全息图最好从亚全息图存储器中读取并且用来计算。当计算差分亚全息图时，假设亚全息图存储器中所有亚全息图在计算步骤之前用值"0"初始化。这
确保具有SD = SHN-SHX的差分亚全息图还适用于第一次提供深度信息的物点。在这种情况下，废弃物点的亚全息图SHX为"0"并且因此对差值计算无影响。
因此可以看出对于所有物点来说，无论是否是第一次确定或者更新它们的深度信息，运算法则都是相同的。对于物点相对于观察者等的位置的情况的区分是没有必要的。最好能在专用的计算单元中实施这些运算法则，从而确保高性能计算。
最后，处理步骤基于这样的原理快速生成用于亚全息图的全息值。
就此而言特别优选的方法将在实施例中指出。
现在将对亚全息图存储器进行详细说明。作为在3D渲染图形管道中处理的结果，三维场景以像素化的方式写入帧缓冲器和Z缓冲器中，其中m排和n列的像素化(pixelation)总体上对应于显示面板的分辨率。该像素化最好为亚全息图存储器所采用，从而使对应于帧缓冲器和Z缓冲器中的各个入口的格子中的元件入口还对应于亚全息图。通常可以利用任何其它的存储器构架；然而，关于物点的信息之后可能不得不写入亚全息图存储器。物点到其亚全息图的这样的信息链例如包含对数据、对各个存储器部分等的引用。此外，可以利用辅助的、描述性数据例如大小、位置、不同的引用帧中的索引表(index lists)或者索引部分(index sections)，其允许或有利于快速数据存取以及较佳的运算法则技术。
根据DE 10 2006 042 324号专利文件描述的原理，最好从查找表中寻回或读取物点的亚全息图，或者根据WO 2006 066919号专利文件描述的已引用的方法，分析地生成物点的亚全息图。最好还根据后者的方法的原理生成用于亚全息图的查找表，或者提前创建。通过在允许的观察者移动范围内提前对每个可能的物点生成亚全息图的各个入口创建查找表，从而使得这些入口可以用于读取。实施例中将说明另一种特别优选的方法。为了实施本方法，由实施上述处理步骤的全息管道扩展3D渲染图形管道。这里
12所描述的方法的过程总的来说并不表示全息计算所需要的计算单元(硬件)必须是物理上独立的并且在用于3D计算的计算单元之后成直线设置。也可以想象为，全息计算利用新一代可编程图形卡片在用于3D计算的计算单元(硬件)中执行。该解决方案最好在同样的图形系统或图形芯片上实
现，在该图形系统或图形芯片上也运行3D渲染图形管道操作。然而，在附
加芯片上实施形成可能的选择。处理单元都可以访问图形卡的同样的物理
内存，从而——除了Z缓冲器、3D渲染图形管道的色彩图和其它数据以外——还有全息管道所需的其它数据也可以存储在那里。
由于应用了用于亚全息图的查找表，尤其满足了对实时生成全息值的要求。如果通过3D渲染图形管道计算物点所需的时间大于或等于全息变换和编码物点所需的计算时间，将证实全息值的生成。正如在传统的视频处理技术中，可以为计算机生成视频全息图的显示提供高刷新率，还可以借助便宜且简单的计算单元实时生成。
本发明允许3D渲染图形管道以可选择的、非按次序的顺序处理物点。类似地，对最终必须为各个物点提供的管道的结果的顺序没有限制。因此大量物点可以在平行处理中同时被渲染并且提供到全息管道。关注于对于物点——以及最终对于整个场景"^是如何并且以哪种顺序被渲染的方法基于公知的方法和优化。
现借助优选实施例并结合附图详细说明本发明的物理形态，其中
图la表示全息显示装置所基于的原理，
图lb表示用于呈现的点的差分亚全息图，
图lc表示用于消失的点的差分亚全息图，以及
图2表示根据本发明的方法的流程图，并且包括根据本发明的装置的
原理图。
现借助附图详细说明从亚全息图中生成复全息值的特别优选的方法，
其中
图B1表示全息显示装置所基于的原理，以及表示物点的调制区，图B2a是具有包含透镜和棱镜的成像元件的显示装置的侧视图，
图B2b表示调制区和垂直有效的棱镜，
图B2c表示调制区和水平有效的棱镜，
图B3表示根据本发明的方法的流程图，以及
图B4表示在全息平面后面重建物点的可选择的方法。
图la表示用于一个观察者的全息显示装置(HAE)所基于的一般原理。该原理因而适用于多个观察者。观察者的位置由其眼睛或其瞳孔(VP)的位置来表征。该装置包含光调制器装置(SLM)，为了简化起见，本实施例中该光调制器装置与屏幕装置(B)相同；并且该装置叠加在至少一个可见区(VR)内用场景(3D-S)的物点信息调制的波阵面。将可见区追踪到眼睛。场景(3D-S)的单一物点(OP)的重建仅需要一个作为在光调制器装置(SLM)上编码的整个全息图(m^M)的子集的亚全息图(SH)。调制区(MR)是光调制器(SLM)上的亚全息图区。从该图中可以看出，调制区(MR)仅包含光调制器装置(SLM)的小部分。在最简单的实施例中，基于交线定理确定调制区(MR)的大小，通过要被重建到光调制器装置(SLM)的物点(OP)追溯可见区(VR)。此外，重建该物点所需的光调制器装置(SLM)上的这些像素的索引因此可以确定。
图lb和图lc表示作为本方法以下说明的总基本原理的亚全息图的原理。基于根据本发明的方法，对于从观察者位置(VP)可见以及3D渲染图形管道的像素化处理为其完成从而至少提供各自的色彩和深度信息的每个物点来说，立即为该物点确定亚全息图，即，没有进一步的延迟，并将其增加到整个全息图(HSSLM)。然而，对应的亚全息图(SH)的即时处理意味着例如物点(OP)的可见度可以在场景的渲染处理过程中改变。物点例如可以被更靠近观察者的物点覆盖，或者由于许多图像影响中的一个影响再次变得不可见，例如阴影、反射(reflections)、模糊等。
参考图lb，为物点(OPX)创建3D渲染图形管道，新物点(OPN)更靠近观察者。 一般而言，因此出现在当前己渲染场景中的新物点(OPN)与由3D渲染图形管道提供的之前的中间结果相比，然而，如图所示，所述新物点(OPN)根据观察者的可见度覆盖在中间结果中已经可见的物点(OPX)，结果最初可见的物点现在变得不可见。正如以下章节将要作的
深入说明，有必要从形成物点亚全息图的叠加的整个全息图(HZSLM)中减去不可见物点(OPX)的废弃亚全息图(SHX)，并增加最新可见物点(OPN)的新亚全息图(SHN)。在这种情况下，将差分亚全息图(SD =SHN-SHX)确定为废弃物点(OPX)的亚全息图(SHX)与新物点(OPN)的亚全息图(SHN)之差，并且因此可以对其进行计算。
参考图lc，与之前由3D渲染图形管道提供的中间结果相比，物点(OPX)在当前已渲染的场景中消失，结果，如图所示，到目前为止隐藏的物点(OPN)现在根据观察者的可见度变得可见。在这种情况下，将差分亚全息图(SD = SHN-SHX)确定为消失物点(OPX)的亚全息图(SHX)与最新可见的物点(OPN)的亚全息图(SHN)之差，并且因此可以对其进行计算。与图lb所描述的内容类似，相应地增加整个全息图(HSsuj 。下面在不参考某一附图的情况下对不同色彩和/或强度的固定物点的第三种情况进行说明。这里的差分亚全息图描述对应的色彩或强度信息。然而，借助描述性数据，而不是亚全息图，通常足以具体说明这些改变。
图2表示生成整个全息图(HSslm)的方法，并且表示为了由具有深度信息的图像数据为全息显示装置(HAE)的光调制器(SLM)生成复全息值，如何通过全息管道(HGP)扩展3D渲染图形管道(RGP)。因此同时概述实现该方法的装置。例如，在3D渲染图形管道(RGP)中完成屏幕坐标到装置坐标的转换、材质贴图、裁切和图形保真。在两种存储器部分中提供描述三维场景(3D-S)转换成场景的二维投射形式的像素化图像数据的3D渲染图形管道(RGP)的结果
-帧缓冲器(FB)包含色彩值，即，由观察者看到的场景的色彩图。
-Z缓冲器(ZB)包含从观察者位置看到的正常化显示的场景的深度图。
为了便于理解，单独地示出图形管道的这些存储器部分并且在图2中示例性表示。这些存储器部分的数据作为全息管道(HGP)的输入信息，依次排列，并且为整个三维场景生成复全息值。
根据本发明，不用等到使整个场景的全部Z图和色彩图可用，但至少 使由3D管道处理的物点的深度和色彩信息可用时就立即执行物点的全息 计算。
基于根据本发明的方法，对于从观察者位置(VP)可见以及3D渲染 图形管道的像素化(pixelatkm)处理为其完成从而至少提供各自的色彩和 深度信息的每个物点来说，立即确定该物点(OPN)的亚全息图(SHN)， 即，没有进一步的延迟，并将其加到整个全息图(HSsLM) 。 3D渲染图形 管道(RGP)的"像素化(pixelation)"进程组和用于全息管道(HGP) 的全息值的生成的进程组同时执行。
在本实施例中，如

图1所示，用于使光波传播进入可见区(VR)的亚 全息图(SH)从查找表(LUT)中寻回。下面将详细说明生成亚全息图的 另一个特别优选的方法。对于已经由3D渲染图形管道完全渲染并且为其第 一次提供或者当前更新深度信息和色彩信息的每个物点(OP)来说，立即 计算该当前物点(OPN)的亚全息图(SHN)和对应的差分亚全息图(SD)。 正如结合图lb和图lc已经说明的那样，具有(SD=SHN-SHX)的差分亚全 息图(SD)确定为当前物点(OPN)对应的亚全息图(SHN)与已经废弃 的物点(OPX)的亚全息图(SHX)的差值。计算差值所需要的废弃物点 (OPX)的亚全息图(SHX)从亚全息图存储器(SH-MEM)中读取。物 点的各个亚全息图是可叠加的并且可以复合加和以形成整个全息图。
整个全息图=亚全息图的复合总和，并且
HSSLM = 2 SHi
同样地，差分亚全息图是可叠加的。
最后，将当前物点(OPN)的经计算的亚全息图(SHN)写入亚全息 图存储器(SH-MEM)中并且使其可以用于读取。如果由于由3D渲染图形 管道输出的已更新数据该物点(OPN)又变成废弃的，或者如果需要整个 全息图(Hi:化M)被矫正的其它性质改变，将再次提供亚全息图存储器 (SH-MEM)中对应的亚全息图(SH)。
16已经以物点的可见度为例子描述了整个全息图(HSsLM)的矫正。本 方法还类似地涉及物点的其它性质，即，色彩、亮度、发光强度。此外， 为了改善全息显示的总体质量，可以对整个全息图(HS^m)进行矫正。
在另一实施例中，还可以在已经为所有或者几乎所有物点计算对应的 亚全息图并且己经存储对应的信息链之后，增加整个全息图(HSSLM)。 然而，由于随后整个全息图的生成，超出了理论所需要的计算时间。
由于对亚全息图利用了査找表，所以尤其满足实时生成全息值的要
求。如果由3D渲染图形管道渲染物点所需的时间大于或等于根据本发明的
全息变换和编码物点所需要的计算时间，将证实全息值的生成。
参考图2，为了确保对基本原理的较好理解，3D渲染图形管道(RGP) 和全息管道(HGP)分开表示；然而，这并不一定意味着计算装置是空间 分隔的。本方法最好在也运行3D渲染图形管道操作的同一处理器或图形芯 片上实施。就硬件和软件而言，最好扩展3D渲染图形管道。然而，附加的 芯片上的全息管道的实施方式形成较佳的可能选择。处理单元，即3D渲染 图形管道和全息管道，可以访问图形卡的相同物理内存，从而——除了Z 缓冲器、3D管道的色彩图和其它数据以外——还有其它数据也可以存储在 那里或者在那里交换。例如，最好将用于亚全息图的查找表存储在这些存 储器部分中。
在本发明的较佳实施例中，全息显示装置将它的配置数据 (configuration data)提供到实施本方法的装置。这些数据例如具体说明 光调制器的大小、它的分辨率、像素以及，如有必要的话，还有有关编码 方法的描述性数据，例如，布克哈特(Burckhardt)编码、两相编码或其 它适合的编码方法。因此可以设置全息值的生成并且使之适应于给定的或 检测到的全息显示装置。因此实施本方法的装置不仅限于特定的全息显示 装置，而且可以普遍地用于较好应用亚全息图的基本原理的装置。
以下借助图B1到B4说明生成亚全息图的特定较佳方法。该方法基于 具有色彩和深度信息的三维场景(3D-S)，其由多个物点组成。同样，如 果较好地利用亚全息图，表示光调制器的最小可控单元的像素不仅包含单一亚全息图的信息，而且，由于叠加的结果，还包含多个亚全息图的信息。
较佳的方法基于这样的思想亚全息图的复全息值在光调制器装置的 调制区中从将要重建的物点的波阵面中计算，其中对成像元件的透射函数 或调制函数进行计算和分析，其在调制区中模型化并且将要重建的物点位 于其焦点上。全息平面由屏幕装置的位置确定，为了简化，以下描述中屏 幕装置将是光调制器本身。
根据本方法的较佳实施例，成像元件包括处在全息平面内具有焦距f 并且倾斜放置的透镜。倾斜透镜由相对于全息平面来说没有倾斜的透镜以 及在水平方向和垂直方向都有效的棱镜组成。严格来说，棱镜不确定亚全 息图，因为由于无焦点棱镜功能，没有物点被重建。然而，为了保持本发 明思想的清晰，将这样描述，因为棱镜还将其部分贡献给调制区内的复全 息值。以下以透镜和棱镜的例子详细说明本方法。当然，本方法还可以独 立地应用于透镜或棱镜；在这种情况下，处理步骤或对应的术语不再实施 或者可以忽略。为了计算亚全息图的复值，对于场景的每个可见物点来说， 本方法的详细设计包含以下步骤
A:如上所述确定调制区的大小和位置，但是，然后对该调制区给定 局部坐标系，其中原点处在其中心位置，X轴表示横坐标，y轴表示纵坐标。 "a"是调制区的半宽，"b"是调制区的半高，这些区间边界包括在以下 术语中。
B:确定全息平面内透镜的亚全息图 Bl:确定透镜的焦距f:
透镜的焦距f最好是将要重建的物点距全息平面的垂线距离
(normal distance)。
B2:透镜对应的亚全息图的复值 利用等式
<formula>formula see original document page 18</formula>
确定对应的亚全息图的复值，其中X是参比波长，f是焦距，(x，y)是对应的坐标对。这里的负号是由于凹透镜的特征。凸透镜由正 号标识。
B3:由于x轴和y轴的对称性，足以在一个象限内确定复值并且通
过利用符号规则将该复值应用到其它象限。
C:确定全息平面内棱镜(P)的亚全息图 所选择的棱镜贯穿横坐标或纵坐标，如附图所示。
Cl:确定具有水平有效方向的棱镜(PH)的线性因子Cx，线性
因子Cx在区间x G [-a,a]内由以下等式描述 CX=M * (2兀众) 其中M是棱镜的倾角。
C2:确定具有垂直有效方向的棱镜(PV)的线性因子Cy，线性 因子Cy在区间y e [-b,b]内由以下等式描述
Cy = N* (2兀/X)
其中N是棱镜的倾角。
C3:确定组合棱镜的对应的亚全息图的复值
对应的亚全息图的复值由叠加两个棱镜项确定
ZP = eXp{i*[Cx*(X-a) + Cy*(y-b)]}
叠加的棱镜贯穿局部坐标系的原点。
C4:如果全息显示装置显示出将光源进入可见区成像的特征，棱 镜项可以去掉。
D:调制透镜和棱镜的亚全息图
为了确定组合的全息图，将透镜和棱镜的复值复合相乘
Zsh = ZL * Zp
或者，象征性地，
SH = SHL * SHpE:随机相位的应用
为了确保可见区内均匀的亮度分布，向从步骤D得到的每个经调制的 亚全息图分配随机相位。通过复乘将随机相位增加到亚全息图
Zsh := ZSH exp (iOJ 或者，象征性地， SH := SH exp (iO0)
将随机相位单独地分配到每个亚全息图。概括地，所有亚全息图的随 机相位最好是均匀分布的。
F:强度调制
向复值给出附加倍增因子，其表示强度或亮度 Zsh = C * ZSH 或者，象征性地， SH := C * SH;
G:如果计算整个全息图，将对亚全息图进行叠加以形成整个全息图。 在简单的实施例中，考虑到亚全息图的位置，将亚全息图复合地增加到整 个全息图中。
整个全息图=所有的亚全息图的复合总和，并且
HDslm = S SHi
或者，象征性地，
zSLM=2:zSHi (就整个坐标系而言)。
本方法最好仅用于可见物点。物点的可见度作为3D渲染图形管道对场 景渲染处理的结果确定，并且其依赖于观察者的位置，即眼睛瞳孔的位置， 因此，来自追踪到瞳孔位置的可见区的位置。
详细的说明涉及最可能的解决方案的计算。如果降低的重建品质可以 接受或者甚至是所需要的，当然可以用更加简单的函数项代替上述函数 项。然而，可以看出为了改善重建品质，应用了更新的处理步骤。例如可以选择透镜或者棱镜以矫正光调制器装置等的像差、公差。同样还可以 应用于示例性提到的用于确定调制区的方法。
从基于图1的图B1可以看出，对调制区(MR)给出一坐标系统，坐标
系统的原点在其中心，x轴表示横坐标，y轴表示纵坐标。调制区(MR) 具有半宽"a"和半高"b"。
图B2a是全息显示装置(HAE)的侧视图，表示本方法的一般原理。 与图B1类似，调制区(MR)来源于可见区(VR)。该区处在全息平面(HE) 内，全息平面内设置有光调制器(SLM)。向调制区给出上述的坐标系。 在这里由聚焦透镜(L)和棱镜(P)组成的成像元件(OS)位于调制区 (MR)内。该图仅表示垂直有效的棱镜楔(prism wedge)，并且所示的 成像元件(OS)在全息平面(HE)的前方以使物体更加清楚。
图B2b表示在调制区(MR)前方的垂直有效的棱镜楔(PH)，连同 所用的坐标和尺寸。因此这里的棱镜楔贯穿纵坐标。
图B2c类似地表示垂直有效的棱镜楔(PV)，其贯穿横轴。两个棱镜 楔如下所述叠加。
图B3表示较佳方法的流程图。该方法的起点是由多个物点(OP)组 成的三维场景(3D-S)。色彩和深度信息对物点(OP)来说是可以利用 的。基于物点的深度信息、根据观察者的位置，即观察者眼睛瞳孔的位置 确定物点的可见度。
步骤(A)中，为每个可见物点确定全息平面(HE)内或者光调制器 装置上各个调制区(MR)的大小和位置。根据本发明的思想，将要重建 的物点(OP)理解为位于全息平面内的成像元件的焦点。这里的成像元件 理解为聚焦透镜(L)以及如图2b和2c所示的垂直或水平有效的棱镜(PH， PV)的组合。步骤(Bl)中，为每个可见物点确定的透镜(L)的焦距因 此作为物点(OP)作为距全息平面(HE)的垂线距离。步骤(B2)中， 利用以下等式确定对应的亚全息图(SHL)的复值
ZL = eXp{-i*[(7tM)*(x2 + y2)]}
其中X是参比波长，f是焦距，(x， y)是对应的局部坐标对。对坐标系的定义如前所述。
歩骤(C)中，确定全息平面内棱镜(P)的亚全息图(SHp)。利用
等式Cx:Mf (2兀众)确定具有水平有效方向的棱镜(PH)的线性因子Cx， 其中M是棱镜的倾角。以类似的等式求得垂直有效棱镜的线性因子Cy，但
是倾角为N。通过叠加两个棱镜项确定对应的亚全息图(SHp)的复值
SHP:= ZP = exp { i* [ Cx*(x-a) + Cy*(y-b)]}
如果全息显示装置显示出将光源进入可见区(VR)成像的特征，一 个棱镜项可以去掉。
既然透镜(L)的亚全息图(SHL)和棱镜(P)的亚全息图(SHP) 是可以得到的，它们在步骤(D)中叠加，以通过透镜的复值和棱镜的复 值的复合相乘而形成组合的亚全息图(SH):
Zsh = ZL * ZP
或者，象征性地，SH = SHl*SHp。
步骤(E)中，对亚全息图(SH)给出均匀分布的随机相位。步骤(F) 中，执行强度调制，亚全息图(SH)与强度因子相乘
Zsh = C * ZSH
或者，象征性地，TH:=C*TH。
正如所需，物点(OP)的已组合的亚全息图(SH)现在完全可以得 到。附加的处理步骤(G)中，可以增加物点的亚全息图以形成整个全息 图(HSslm)。物点的单个亚全息图(SH》是可叠加的并且复合地增加， 以形成整个全息图(KESLM)。
整个全息图=物点的所有亚全息图的复合总和
或者Zs^^i:ZsHi (就整个坐标系而言)。
整个全息图(HSSUV1)表示所有物点的全息图。因此其表示并且重建 了整个场景(3D-S)。借助于本方法，可以利用目前商业化的标准硬件组件对在重建体积中 任意位置的物点生成用于交互式实时全息重建的亚全息图。较佳的方法最 好用于确定亚全息图并且用这些亚全息图填充查找表。与根据本发明的方 法和装置类似，较佳的方法适用于还较好利用亚全息图的原理的优点的全
息显示装置。其具体地包括，正如前述那样，在WO 2004/044659、 WO 2006/027228、 WO 2006119760和DE 10 2006 004 300中说明的装置。附图标记说明
HAE
RGP
FB
ZB
HGP
3D-S
SLM
B
VR OP
OPn, OPn+1
OPN
OPX
SHN
SHX
SH
SHi
MR
SHn， SHn+l
SD
SH-IND LUT
全息显示装置
3D渲染图形管道
3D渲染图形管道的帧缓冲器
3D渲染图形管道的Z缓冲器
全息管道
场景，由物点(OP)构建 HAE的光调制器装置 HAE的屏幕装置 可见区
物点， 一般的
物点，尤其具有标记索引的 新近可见的物点 废弃的物点 新物点的亚全息图 废弃物点的亚全息图 亚全息图， 一般的 亚全息图， 一般的，有索引的 调制区
亚全息图，具有标记索引 差分亚全息图
亚全息图(SH)的附加信息
整个全息图
査找表SH-MEM 亚全息图存储器
OS 成像元件
L 透镜
P 棱镜
PH 具有水平有效方向的棱镜
PV 具有垂直有效方向的棱镜
权利要求
1.为具有至少一个光调制器装置(SLM)的全息显示装置(HAE)实时生成视频全息图的方法，场景(3D-S)在所述光调制器装置(SLM)上编码成总全息图(H∑SLM)，其中场景被分为物点(OP)并且可以作为重建从位于视频全息图的重建的一个周期性区间内的可见区(VR)看到，可见区(VR)连同将要重建的场景(3D-S)的每个物点(OP)一起确定亚全息图(SH)，并且整个全息图(H∑SLM)通过亚全息图(SH)的叠加而形成，3D渲染图形管道(RGP)将由具有深度信息的图像数据表示的场景(3D-S)配构成物点(OP)，然后为物点(OP)确定并且至少提供色彩和深度信息，全息管道(HGP)为每个物点(OPN)计算复全息值，该物点(OPN)从实际的观察者位置(VP)可见并且为其第一次提供或者当前更新深度信息和色彩信息，其中-(A)立即计算亚全息图(SHN)和对应于可见物点(OPN)的对应的差分亚全息图(SD)，将具有(SD＝SHN-SHX)的差分亚全息图(SD)定义为可见物点(OPN)的对应的亚全息图(SHN)和现在是废弃的，即，不再可见的物点(OPX)的亚全息图(SHX)的差值，-(B)将差分亚全息图(SD)加到整个全息图(H∑SLM)，以及-(C)物点(OPN)以及对应的亚全息图(SHN)的信息链在至少一个亚全息图存储器(SH-MEM)中可以寻回。
2. 根据权利要求1所述的方法，其特征在于，根据以下己更新的深度 信息确定物点(OPN， OPX)的差分亚全息图(SD)a) 通过更靠近观察者位置的物点(OPN)的亚全息图(SHN)与现 在被前者覆盖因此不再可见的物点(OPX)的亚全息图(SHX)的差值(SD = SHN-SHX)，或者，反之亦然，b) 通过更远离观察者位置的物点(OPN)的亚全息图(SHN)与到 目前为止已经可见的物点(OPX)的亚全息图(SHX)的差值(SD = SHN-SHX)。
3. 根据权利要求2所述的方法，其特征在于，为了计算可见物点(OPN)和废弃物点(OPX)的差分亚全息图(SD) (SD = SHN-SHX)， 废弃物点(OPX)的亚全息图从亚全息图存储器(SH-MEM)中寻回并且 用来计算。
4. 根据权利要求1所述的方法，其特征在于，物点(OP)和它的亚 全息图(SH)的信息链通过相应参考亚全息图的至少一个查找表(LUT) 中的入口或者通过参考亚全息图存储器(SH-MEM)是可寻回的。
5. 根据权利要求l所述的方法，其特征在于，对于每个物点(OP)， 对应的亚全息图(SH)的贡献从查找表(LUT)中寻回。
6. 根据权利要求1所述的方法，其特征在于，确定物点的亚全息图的 全息值，或者为己确定的体积中的每个可能的物点提前生成一个或多个査 找表中的亚全息图的对应入口，其中在计算机的辅助下执行以下步骤-从每个断层场景剖面的每个目标数据集中，为观察者平面计算分离 的二维波场分布形式的衍射图像，该观察者平面位于距剖面有限距离并平 行于剖面，其中为至少一个共用可见区计算所有剖面的波场，-将所有剖面层的计算的分布相加，以确定相对于观察者平面参考的 数据集中的可见区的总波场，以及-将为了为场景的共用计算机生成的全息图生成全息数据集的参考数 据集变换到位于距参考平面有限距离并平行于参考平面的全息平面内，其 中光调制器装置位于全息平面内。
7. 根据权利要求l所述的方法，其特征在于，确定物点的亚全息图的 全息值，或者为已确定的空间中的每个可能的物点提前生成一个或多个查 找表中的亚全息图的对应入口，其中亚全息图(SH)的复全息值在光调制 器装置的调制区(MR)中从将要重建的物点(OP)的波阵面中确定，其 中对成像元件(OS)的透射函数或调制函数进行计算和分析，该成像元件(OS)在调制区(MR)中模型化并且将要重建的物点(OP)位于其焦点 上。
8. 根据权利要求7所述的方法，其特征在于，成像元件(OS)包含至少一个透镜(L)。
9. 根据权利要求8所述的方法，其特征在于，成像元件(OS)还包 含至少一个棱镜(P)。
10. 根据权利要求7所述的方法，其特征在于，确定调制区(MR)的 位置，其中调制区(MR)的中心位于通过将要重建的物点(OP)和可见 区(VR)的中心的直线上。
11. 根据权利要求7所述的方法，其特征在于，调制区(MR)的大小 由追溯通过物点(OP)到全息平面(HE)的可见区(VR)确定。
12. 根据权利要求7所述的方法，其特征在于，给予物点的每个己调 制亚全息图(SH) —个随机相位，并且所有亚全息图的随机相位是平均分 布的。
13. 根据权利要求7所述的方法，其特征在于，考虑到亚全息图(SH) 的位置，它们成为整个全息图(HSSLM)的叠加计算为具有Hi:sLM^i:SHi 的亚全息图(SH)的复合总和。
14. 根据权利要求1到13中的一项或多项权利要求所述的方法，其特 征在于，将复全息值转换为光调制器装置(SLM)的像素值。
15. 根据权利要求14所述的方法，其特征在于，将复全息值转换成伯 克哈特分量或两相分量或其它任意编码。
16. 实施根据权利要求1到13中的一项或多项权利要求所述方法生成 视频全息图的计算装置，为了扩展3D渲染图形管道(RGP)，该3D渲染 图形管道将由具有深度信息的图像数据表示的场景(3D-S)配构成物点(OP)，然后为这些物点(OP)计算并且至少提供色彩和深度信息，为在 全息显示装置(HAE)的光调制器装置(SLM)上显示场景(3D-S)生成 复全息值的全息管道(HGP)，至少包含-读取物点(OP)的已确定的色彩值和己确定的深度值的装置，-提供关于物点(OP)的色彩信息和深度信息的亚全息图(SH)的 装置，-计算并存储整个全息图(HSsLM)的装置，-计算物点(OP)的差分亚全息图(SD)的装置， -用作亚全息图存储器(SH-MEM)的存储装置，其中物点(OP)和 对应的亚全息图(SH)的信息链可存储并且可寻回。
17. 根据权利要求16所述的计算装置，其特征在于，至少包含从帧缓 冲器(FB)中读取物点(OP)的己确定色彩值并且从3D渲染图形管道(RGP)的Z缓冲器(ZB)中读取已确定的深度值的装置。
18. 根据权利要求16所述的计算装置，其特征在于，至少包含存储装 置，其中根据权利要求5对应的亚全息图(SH)的贡献可以从至少一个査 找表(LUT)中为每个物点(OP)寻回。
19. 根据权利要求16所述的计算装置，其特征在于，至少包含根据权 利要求7到11中的一项权利要求为每个物点(OP)分析地确定复全息值 的专用计算装 置。
20. 根据权利要求12到16中一个或多个权利要求所述的计算装置， 其特征在于，包含用于检测全息显示装置(HAE)的配置数据的装置。
21. 根据权利要求20所述的计算装置，其特征在于，包含检测全息显 示装置(HAE)的配置数据的装置，至少包含光调制器装置(SLM)的大 小和分辨率以及编码类型的装置。
22. 根据权利要求18到21中的一项或多项权利要求所述的计算装置， 其特征在于，将复全息值转换为光调制器装置(SLM)的像素值。
23. 根据权利要求22所述的计算装置，其特征在于，将复全息值转换 为布克哈特分量或两相分量或任何其它任意合适的编码。
24. 具有屏幕装置(B)的全息显示装置，所述装置实现根据权利要 求1到10中一个或多个权利要求所述的方法，其特征在于，屏幕装置(B) 是在其上编码场景(3D-S)的全息图的光调制器(SLM)本身，或者是在 光调制器上编码的场景的全息图或波阵面到其上成像的光学元件。
25. 根据权利要求24所述的全息显示装置，其特征在于，光学元件是 透镜或者反射镜。
全文摘要
本发明涉及一种生成视频全息图的方法，该方法主要用于对全息显示装置(HAE)起作用，该全息显示装置具有至少一个光调制器装置(SLM)，在光调制器装置中，将解构为物点(OP)的场景(3D-S)编码成完整的全息图(H∑_SLM)并且场景可以作为重建从可见区(VR)看到。3D渲染图形管道(RGP)为场景(3D-S)的物点确定色彩和深度信息，全息管道(HGP)通过以下描述从中为深度信息和色彩信息已经存在或者当前更新的每个可见物点(OPN)确定复全息值，A)立即确定与该可见物点(OPN)关联的亚全息图(SHN)和关联的差分亚全息图(SD)，其中差分亚全息图确定为(SD＝SHN-SHX)，是可见物点(OPN)的对应的亚全息图(SHN)和现在废弃的，即，不再可见的物点(OPX)的亚全息图(SHX)的差值，B)将差分亚全息图(SD)加到整个全息图(H∑_SLM)，以及，C)使物点(OPN)和该物点(OPN)的亚全息图(SHN)的信息链在至少一个亚全息图存储器(SH-MEM)中可以得到。
文档编号G03H1/08GK101689037SQ200880023521
公开日2010年3月31日 申请日期2008年5月16日 优先权日2007年5月16日
发明者亚历山大·史威特纳 申请人:视瑞尔技术公司