专利名称：用于三维空间显示的方法
技术领域：
本发明涉及一种用于基于场景的多个不同视图An在由图像元素形成的光栅上对该场景进行三维空间显示的方法，其中n=0，…，N-I以及N=2或者N>2，N是视图的总数。
背景技术：
在现有技术中存在很多不同的用于显示三维空间图像的方法，而这些主要方法的一种，即允许在没有辅助手段的情况下观察三维空间图像的方法基于相应于为该三维空间显示预定的组合规则而将视图An组合为一幅组合图像，该组合图像将显示在由图像元素形成的光栅上，其中相应于所述组合规则每一个视图An中仅有分配给相应视图An的图像像素 bn(xk, Y1)的一部分显示在由图像元素形成的光栅上。在此，为这些视图An预定传播方向， 使得观察者的左眼与该观察者的右眼察觉到对视图An的不同选择，由此产生了三维空间的视觉印象。
这样的组合规则例如在DE 100 03 326 Al中描述。在该文献中，这些组合规则总是依据必须适合于三维空间显示的显示屏的特征来预定。例如，该显示屏可以配备有专用的滤波阵列，该滤波阵列由透明的和不透明的滤波元件组成，从而在与组合规则合作的情况下预定用于所述视图的传播方向。
在此，这样的方法的一个重要方面是产生对应于不同观察位置的不同视图。这样的视图在经典的影片中例如可以采用立体摄像机或定位在相应观察位置上的相机以数字方式拍摄和组合，并且在此过程中不一定取决于用于此的时间，因为观察者看见的是最终的、不再能改变的以及因此静态的最终产物，从而在计算机动画对象(例如在导航设备或计算机游戏中所使用的)的情况下不同视图的产生被证明是随着显示屏的分辨率升高以及视图数量的增加而越来越多地成为降低速度的时间因素，尽管图形卡的效率增大，该时间因素还是会干扰一般必须通过与观察者的交互才更新的图像序列的流动并且可能例如导致迟滞。
在此，在现有技术中公知基于源视图Q产生所述视图的不同方法。这些方法的共同之处在于，首先提供投影在具有横坐标X和竖坐标y的投影平面P (x, y)中的源视图Q，原始观察位置Btl被分配给该源视图Q。在此，源视图Q由源像素M(Uj)组成，其中j是行， j=l,…，J，而i是列，i=l,…，I。在此，在每个源像素M(Uj)中存储至少一个颜色信息。 此外，还提供涉及所述投影平面的深度图(Tiefenkarte) T，原始观察位置Btl同样被分配给该深度图。深度图由深度像素t(xp，y》组成，其中r是行，r=l，···，! ，而ρ是列，p=l，···，P。 在每个深度像素t(Xp，yr)中存储至少一个深度信息，其中该深度信息相应于离投影平面 P(x, y)的垂直距离。涉及显示的其它信息也可以存储在源像素或深度像素中。原始观察位置Btl在此也分配给第一视图A°。该第一视图在此通常被选择为，使得该第一视图中心地以及共轴地与所述投影平面相对，并且从观察位置Btl至所述投影平面的、与该第一视图包围垂直直线的射线因此大致穿过源视图Q的中心像素。从该原始观察位置Btl出发，通过水平移动该位置而产生N-I个另外的、成对地彼此不同的而且与其余视图Am(m=l，…，N-1)对应的观察位置Bm。必须为所有视图々"确定针对图像像素bn(xk，yi)的颜色信息，其中1是行， 1=1，…，L，而 k 是列，k=l, -,K0
在经典的方法中，例如在未预先公开的德国申请10 2006 005 004中，将在此与源视图Q相同的原始视图A°重复(N-I)次。由此相应于新的观察位置和该视图所基于的基元(Primitive)的深度信息，可以计算这些视图，其中在程序上分别重新确定所有的图像元素 bm (xk, Y1)。
在DE 696 21 778 T2中描述了另一种方法。从原始视图A°出发，将该视图的每个像素与其深度信息成比例地水平向左或向右移动以产生其余的视图，这是所谓的视差像素移动。因此产生一个透视的移动的视图，所形成的空洞通过插值来填充。所述像素移动必须对每个视图单独执行。
在所有方法中，代价随着视图数量增加而剧烈上升。另一方面，大量视图的使用实际上是值得期望的，因为这也会导致高质量的三维空间视觉印象。
从计算机图形的另一领域公知所谓立体地图(relief mapping)的方法。通过应用该方法可以消除应当用于显示三维对象的二维计算机图形的典型伪影，也就是说计算机图形对象所具有的三维空间显现的纹理一也就是图案一在更精确观察的情况下不是显现为三维空间的，而是显现为二维的。如果例如在应当显示墙壁的计算机图形对象上施加砖块形状的纹理，则从一定距离外该结构实际上显得就像是真正的砖墙，但是如果将观察位置设置得非常紧密并且尽可能地设置在相对于墙壁倾斜的角度上，则该纹理看起来就像是它原来的样子，也就是近似地像是没有任何三维空间轮廓的二维复制图像(Abziehbild)。 利用立体地图方法(下面称为立体地图的产生)，可以消除所述伪影并且例如向上述砖墙施加实际上三维空间显现的结构，即使从不利的观察位置来看该结构也会保持该效果。该方法在文献中详细描述，例如在M. Oliveira, G. Bishop和D. McAllister的文章"Relief Texture Mapping” 中，该文章出现在 Proceedings of SIGGRAPH 2000，359-368 页中，以及在F. Policarpo,M. Oliveira禾口 J. Comba的文章"Real-Time Relief Mapping on Arbitrary Polygonal Surfaces，，中，i亥文章出现在 Proceedings of ACM Symposium on Interactive 3D Graphics and Games 2005, ACM Press，155-162页中。由此清楚地参照所述文献的公开内容。立体地图方法与所谓的光线跟踪(Ray Tracing)方法类似地工作，并且正如所提到的用于让二维显示的对象的三维空间印象显得更为真实。但是，与光线跟踪方法的主要区别在于，首先确定射线与3D场景的几何对象的交点，以计算3D场景的图像，而立体地图仅确定具有已经完整计算的图像的深度值的交点，以事后改变图像元素的位置。甚至可以考虑将立体地图应用于事先借助光线跟踪计算的图像，因为在此也向每个像素分配一个深度值。该方法涉及实际三维空间显示的应用还未公开。发明内容
基于该现有技术，本发明要解决的任务是改进开头所述类型的方法，使得即使对于很多不同的视图也能快速计算组合图像以及因此能够实时地进行无迟滞的显示。
该任务在开头所述类型的方法中通过以下方式解决，即借助深度图产生视图的立体地图Z(x，y)，其中Z(x，y)是在χ和y方面连续的函数，并且立体地图Z(x，y)与源视图 Q关联。这是借助上述立体地图产生的方法来进行的。如果产生了立体地图Z(x，y)，则可以通过以下方式为视图々"的图像像素bn(xk，yi)确定颜色信息，即(i)沿着观察方向从相应的观察位置Bn至所涉及的图像像素bnUk，Yl)产生射线，并且该射线穿出该图像像素地延长到深度中，(ii)确定该射线与立体地图Z(x，y)的最靠近观察位置Bn的交点，(iii)确定最靠近该交点的源像素M(Xs^yj)，以及(iv)向所涉及的图像像素bn(xk，yi)分配图像像素M(Xs^yj)的颜色信息。在此重要的是，该颜色信息不是针对视图的所有图像像素而确定的。而是视图An的颜色信息仅仅是针对将相应于组合规则而显示的图像像素bn(xk，yi)而确定的。
参照组合图像的图像像素所基于的光栅^ Y1是指对每一对(k，1)相应于所述组合规则首先确定将在组合图像的该位置上显示的信息来自哪一个视图。然后借助与所涉及的视图对应的观察方向如上所述地确定待显示的颜色信息，而且仅针对所涉及的视图。不确定视图的在光栅位置^ Y1上不显示的信息，这与其中按照程序无法避免这些不需要的操作的现有技术相反。因此对于每个视图An来说，总是只确定图像像素bn(xk，yi)的相应于组合规则实际上也要显示的部分。因此，立体地图产生的方法不是完全应用于每个视图，而是只选择性地应用于分别在每个视图中可见的图像像素，也就是取决于组合规则。在此，完全可能的还有在组合图像中的位置(xk，yi)上不仅显示视图之一的颜色信息，而且还显示两个或更多视图的颜色信息。这取决于组合规则。
在源视图Q和/或深度图T具有比视图An更小或更大的分辨率的情况下，也就是 R Φ L和/或P Φ K，或J Φ L和/或I Φ K，用相应的伸缩因子来对深度图T或源视图Q进行伸缩。这些伸缩因子针对深度图T的宽度是Stx = Κ/Ρ和针对高度是STy = L/R。 为了伸缩源视图Q，这些伸缩因子相应地针对宽度是Sqx = K/I和针对高度是SQy = L/J0在分辨率相同的情况下，该步骤不一定要被跳过，而是也可以进行与因子1的乘法。所述伸缩因子被应用于深度像素t(Xp，ρ》和/或源像素『(Χ ，ι_)，使得深度像素t(Xp，p》和/或源像素M(^yj)相对于图像像素『(&，71)扩展或压缩。如果例如源视图和深度图的分辨率既在χ方向上又在y方向上都只是显示屏分辨率的一半那么大，在该显示屏上应当显示视图An并且应当相应于该显示屏的分辨率产生这些视图，则源视图Q和深度图T扩展，使得每个源像素和每个深度像素都覆盖4个图像像素，这影响了从不同观察位置上图像像素向源像素的分配。
在此可行的是，如果源视图Q和深度图T例如相互分离地产生，则源视图Q和深度图T以不同的分辨率出现。但是这两者一般具有相同的分辨率，从而每个源像素恰好对应于一个深度像素，反之亦然。由此，深度图T还可以作为具有各自的索引的其它场保存在矩阵中，在该矩阵中还存储了源视图的颜色信息，但是深度图T还可以作为自主的、独立的场来处理，其中该深度图例如保存在通过推动器操纵的深度缓冲器中。
如果深度图、源视图和视图An的分辨率相同，则不进行伸缩或者用因子1进行伸缩。在源视图扩展而深度图与该源视图匹配的情况下，可以消除颜色伪影，该颜色伪影通过专用于三维空间显示的滤波结构与其中例如像素由并排的红色、绿色和蓝色的子像素组成的显示屏的合作而产生。该合作在三维空间显示中可能导致在颜色边缘上出现杂乱的乳白色的颜色边，颜色边缘即颜色在其上变换的边缘。
另一方面，反过来当源图像和深度图的分辨率高于用于显示的显示屏的分辨率时还可以压缩源图像和深度图。这尤其是在显示屏具有全色像素的情况下或者在单色显示屏的情况下是有利的，因为通过这种方式可以实现深度精确性的提高。
因此，借助本发明的方法实现了，用于计算组合图像的待推动的代价主要还仅取决于显示屏的分辨率以及仅一小部分还取决于视图的数量，而在现有技术中该代价主要取决于与产生视图有关的计算，即与对每个视图都要执行的所谓的渲染(Rendering)有关的计算。由此原则上可以组合任意多的视图，这尤其是在大尺寸、高分辨率的显示屏的情况下会导致三维空间印象的质量明显提高。
图像像素1^(&，71)可以是全像素或者是子像素。在全像素的情况下，向每个全像素分配针对红色、绿色和蓝色的颜色信息，在子像素的情况下向每个子像素分配针对这些颜色中恰好一种颜色的颜色信息。
在本方法的有利构成中，对深度图T的深度信息进行伸缩，使得待显示的深度例如可以与特定的设备类型匹配也与标准3D体积匹配，从而对于观察者而言总是产生最大的三维空间印象。该伸缩根据以下步骤进行在第一步骤中确定具有最大深度的平面以及具有最小深度的平面。这是参照观察位置Btl来进行的，也就是一般垂直于投影平面P (x, y) 进行，其中原则上也可以考虑其它透视。如果将整个深度空间或深度图中的深度信息可以采用的值范围伸缩到0和1之间的间隔，则具有最大深度的平面具有值1作为深度信息，而具有最小深度的平面具有值0作为深度信息。通常，具有最小深度的平面覆盖所有源像素， 只要这些源像素没有位于该平面中。另一方面，只要没有源像素位于具有最大深度的平面上，则具有最大深度的平面就不覆盖源像素。但是一般情况下源像素既没有位于具有最小深度的平面上也没有位于具有最大深度的平面上，从而深度印象还未被最佳利用或者还可以被优化。该平面的深度信息或深度值对该平面中的每个点都是相同的。
然后在下一步骤中将两个平面相互靠近地移动，并且确定两个平面之间的最小距离，在该最小距离时深度图的深度信息还全部位于这些平面上或这些平面之间。如果在确定这些平面时已经在这些平面的一个平面上找到深度信息，则该平面不再进一步移动。所述移动优选迭代地进行，其中该平面的位置被跳跃地前后移动，而且作为下一个迭代步骤的起点在具有最大深度的平面的情况下从前面的两个迭代步骤中选择覆盖最少像素的位置，在具有最小深度的平面的情况下为下一个迭代步骤选择覆盖最多像素的位置。在此，这些平面的特征在于其一致的深度值或一致的深度信息。当然也可以应用其它公知的迭代方法。
如果两个平面被移动到进一步的迭代步骤不再带来进一步的改进那么远，也就是找到了最小可能距离，则依据该最小距离将深度信息伸缩到预定的标准距离。例如，该标准距离可以确定为1，而且如果深度图的所有深度信息都位于从0.2至0.7的范围内，则可以伸缩到介于0和1之间的标准距离，从而所提供的3D体积被最大利用。在此，所述伸缩可以取决于深度图中的深度信息并且不需要线性进行。
在此，在第一步骤中对具有最大深度的平面和/或具有最小深度的平面的确定可以自动进行，也就是例如在深度值0和1的情况下，但是该确定也可以手动进行。这尤其是在对相应平面的确定应当基于借助图像内容的评估来进行时是有利的，这当然还可以基于相应的图像分析算法自动进行。如果这些平面通过这种方式刚开始被确定为具有与0或1 不同的深度值，则分别向其深度信息相应于位于具有最小深度的平面之前或位于具有最大深度的平面之后的值的所有深度像素t分配一致的深度值。然后这样的对象看起来分别位于一个在其中三维空间显示其它对象的实际体积之前或之后的平面中，并且仅具有二维的图像结构。
这些方法步骤的流程优选通过推动器来控制，该推动器也可以被手动干预。优选地，该控制通过在图形卡上实施的推动器来进行，该推动器还可以相应地响应该图形卡。这些方法步骤优选地还在具有为这样的过程步骤而优化的连接的图形卡上执行。
所述推动器例如可以依据前面执行的处理步骤来决定哪些深度图用于产生和显示三维空间图像，或决定是否必须首先产生这样的深度图，或者决定现有的深度图是否必须被补充。该深度图在此尤其是还可以从应用中获得，例如从计算机游戏或用于显示医疗事实的程序中获得，该医疗事实的显示屏输出应当从二维转换为三维并且其中计算出用于正常二维显示的深度图以区分背景中的对象和前景中的对象。
应当理解，上面讲述和下面还要解释的特征不仅能以所说明的组合而且还能以其它组合使用或单独使用，而不脱离本发明的范围。
下面还例如借助也公开了本发明的主要特征的附图详细解释本发明。
图1示出投影平面、原始视图、立体地图以及不同的观察位置的关系的概貌， 图2示出由5个视图组成的组合图像，图3a示出用于预定所定义的传播方向的滤波结构，图3b，3c示出所述组合图像以及位于该组合图像上面的滤波结构，就像该滤波结构在特定位置被左眼或右眼所察觉的那样，图4示出用于确定针对其余视图的颜色信息的过程， 图5以全像素显示屏为例示出颜色信息的确定，以及图6以具有子像素的显示屏为例示出针对待显示图像像素的颜色信息的确定， 图7 7b示出视图具有比深度图和源视图更高的分辨率的情况，以及图8示出与图7 7b相反的情况。
具体实施方式
在图1中首先示出与一种用于基于场景的多个不同视图An在由图像元素形成的光栅上对该场景进行三维空间显示的方法有关的基本概念，其中n=0，. .，N-1，以及N>2或 N=2, N是视图的总数。首先提供投影到具有横坐标χ和竖坐标y的投影平面P(x，y)中的源视图Q。投影平面P(x，y)在图Ia中示出，在此，所述场景仅包含一个直角平行六面体并且其它地方都是空的。如图Ib所示，源视图Q被分配了原始观察位置在此，源视图Q 此外由源像素『Oq，Yj)组成，其中j是行，j=l,…，J，而i是列，i=l,…，I。在每个源像素 bq(xi)yj)中存储至少一个颜色信息。此外还可以存储其它信息。源像素M(Uj)的显示被放弃了，以保证清楚性。但是人们可以将该显示想象为在图Ia中的视图Q下方的、细网眼的光栅。原始观察位置Btl也被分配给第一视图A°。通过原始观察位置Btl的水平移动生成N-I 个其它的成对的相互不同的观察位置Bm，这些观察位置对应于其余视图Am，m=l，-,N-I0在所示情况下N=5。但是也可以使用其它数量的视图，一般来说N是大于或等于2的自然数。
此外在图Ib中还示出立体地图Z (x，y)，该立体地图借助针对源视图Q的深度信息产生。这些深度信息存储在涉及投影平面的深度图T中。该深度图T同样被分配了原始观察位置该深度图T由深度像素t(xp，y』组成，其中r是行，r=l，···，! ，而ρ是列， =1，一，？。在每个深度像素1(\，yr)中存储至少一个深度信息，其中每个深度信息相应于与投影平面P(x，y)之间的垂直距离。深度图T和源视图Q —般具有涉及行数和列数的相同尺寸，但是如果不是这样的话则可以进行彼此紧靠的伸缩。
即使在深度图T和/或源视图Q具有比视图An更小或更大的分辨率的情况下，也可以用相应的伸缩因子对深度图T或源视图Q进行伸缩。在R兴L和/或P兴K的情况下，利用伸缩因子Stx = K/P或STy = L/R对深度图T进行伸缩。在源视图Q具有比视图An 更小或更大的分辨率的情况下，也就是J Φ L和/或I Φ K，利用伸缩因子Sqx = Κ/Ι或 S0y = L/J对源视图Q进行伸缩。在深度图T和源视图Q的分辨率小于视图An的分辨率的情况下，可以在3D显示中减小颜色过渡时的颜色边，为此还可以通过相应的图像算法人工地减小源视图Q和深度图T的分辨率。正是在显示屏老化的情况下该措施是很有意义的， 在该情况下像素比在新显示屏的情况下相互离得更远，因为在此像素之间的距离越大，所出现的颜色边就越具有干扰性。在分辨率高于针对视图An的分辨率的情况下，可以改善深度印象，尤其是在单色显示屏或者显示屏基于全像素的情况下。
只要源视图Q、深度图T和视图An的分辨率相同，则作为视图Α°还可以使用源视图Q，然后向该源视图分配深度信息。
然后，相应于立体地图产生的方法大致以所示出的方式将立体地图Z(x，y)与源视图Q关联。在此，Z(x，y)是在χ和y方面连续的函数。在此，该函数例如可以是阶梯函数，但是像素之间的值还可以被插值为，使得函数Z(x，y)可以连续一次或二次微分，例如可以被线性或双三次地插值。立体地图Z(x，y)在图Ib中针对视图Q的具有恒定y的截面示出；该截面在图Ia中通过虚线表示。此外该立体地图被标准化，小的值相应于低的深度并且因此只经历很小的移动，高的值相应于背景中的点，这些点与位于前景的点相比经历相对较小的移动。
然后下面确定针对视图An的图像像素bnUk，Yl)的颜色信息，其中1是行，1=1，… ，L，而k是列，1 =1，···，Κ。接着相应于为了三维空间显示而预定的组合规则将所有视图An 组合为一幅组合图像，该组合图像将显示在图像元素的光栅上，其中每个视图An中相应于该组合规则在由图像元素形成的光栅上仅显示分配给相应视图An的图像像素bnUk，Yl)的一部分，以及为这些视图An预定传播方向，使得观察者的左眼与观察者的右眼察觉到对视图An的不同选择，由此产生三维空间的视觉印象。
这样的、相应于组合规则而组成的组合图像例如在图2中示出。该组合图像是为了在具有子像素的显示屏上显示而设置的组合图像。相应于所述规则，为相邻的子像素分配不同的视图。在用R，G和B标示的方格下方的方格中的数字表示在本示例中使用的5个视图乂的索引。
然后通过相应的光学滤波结构，例如通过视差阻挡滤波器或双凸透镜滤波器来预定所述传播方向。以阻挡结构的形式给出的这样的光学滤波器在图3a中示出。如果观察者位于显示屏之前的一个选择的位置上，则例如可以左眼只察觉到如图北所示的第二视图， 而右眼只察觉到如图3c所示的第四视图。因此，该光学滤波结构在视线方向上设置在光栅化的组合图像之前或者也设置在该组合图像之后，由此预定了可以产生三维空间视觉印象的传播方向。
在图4中示出在确定针对视图An的图像像素bn(xk，Yl)的颜色信息时的原则性措施。为此首先产生沿着观察方向从相应的观察位置Bn (在所示出的示例中是B1)至所涉及的图像像素bnUk，Yl)的射线。在该示例中这是针对在针对第一观察位置B1的第一行(1=1) 中的4个图像像素k=l，…，4示出的。源视图Q —般被计算为，使得该源视图Q已经被确定并且投影到中心投影或正交投影中。因此为了从该观察位置和其余观察位置产生视图An， 不需要重新投影，与投影体积的剪切相应的平行移动就足以。因此每个视图An或观察位置 Bn恰好分别对应于一个观察方向。
然后这些观察方向超出所涉及的图像像素地延长到深度中，并且确定所述射线与立体地图Z(x，y)的最靠近观察位置Bn的交点。这是通过计算来进行的，其中使用源视图 Q与立体地图Z(x，y)的关联。该措施相应于在现有技术中关于所谓的立体地图而描述的用于找到该交点的措施。这些交点同样在图4中示出，所述射线的箭头在这些交点处结束。 在查找这些交点时要注意实际上分别只找到最靠近的交点，而不是被前景中的对象覆盖的交点。这也可以借助相应的算法来实现。然后在下一个步骤中确定最靠近该交点的源像素W(Xs^yj)。该源像素也在图4中示出。最后在最后一个步骤中，向所涉及的图像像素 bn(xk, Y1)分配源视图Q的该图像像素M(Xs^yj)的颜色信息。由此这相当于相应于对象的深度来移动该对象，这通过用dXl，dx2，dx3和Ck4标示的距离来表示。在此，立体地图Z (x, y) 要这样来理解，即小的值相应于小的深度，接近1的值相应于大的深度；背景中的对象在观察位置变换的情况下比位于前景中的对象移动的强度更小。
在此重要的是，只为相应于所述组合规则而显示的图像像素bnUk，Yl)来确定针对视图An的颜色信息。对于其余的所有图像像素不确定颜色信息，因此这些其余的图像像素在计算时不予考虑，因为不需要它们的信息。因此对于每个视图An来说总是只确定相应于所述组合规则实际上也要显示的那部分图像像素bnUk，Yl)。
在图5中示出用于针对基于全像素的显示屏来确定组合图像中的颜色信息的措施，在该显示屏上仅显示两个视图，一个是针对左眼的，一个是针对右眼的。每个全像素包含红色(R)、绿色(G)和蓝色(B)的颜色信息。针对左眼的视图和针对右眼的视图在图5中用L和R标示，视图的总数因此是N=2。
在图6中示出针对基于子像素的显示屏的措施。在此，在相邻的子像素上显示不同的视图。第一红色子像素R1被分配了视图1的颜色信息，用G1标示的第一绿色子像素被分配了视图2的颜色信息，依此类推。每个颜色值都来自另一个视图。
在图7a和7b以及图8中示出与图6所示的状况类似的状况。在图6中以及在图 4和图5中所示出的立体地图Z(x，y)作为二次可连续微分函数被插值出，也就是一次导数形成可连续微分的函数，而在图7a中示出的立体地图Z (x, y)相应于阶梯函数，其中每一个阶梯相应于深度值而在整个源像素上延伸；在图7b和图8中示出的立体地图Z(x，y)相应于在源像素的深度信息之间线性插值出的函数。
在图7a，7b和在图8中示例性地示出在一方源视图和深度图和另一方视图An的尺寸不同的情况下可能的伸缩。在图7a和图7b中所示的状况中，源视图Q在横向上只有视图An的一半尺寸那么大，因此源视图Q只有一半多的列。相应地伸缩因子Sqx = 2。因此每个源像素分别被分配了两个图像像素。这导致颜色边的明显减少，该颜色边在使用专用于3D显示的滤波器的情况下会出现，例如在图3a中所示的那样。深度图T一深度信息作为点绘制在相应源像素区域的中心处一可以与源视图Q关联，使得深度图和源视图总是具有相同的尺寸，也就是说如果源视图Q被伸缩，则深度图T的伸缩自动进行。深度图T例如可以是在源像素的通常多维的矩阵中的另一个索引，从而向每一个源像素不仅分配颜色信息，例如由3个颜色值组成的颜色信息，而且同样还分配深度信息或者还有其它信息。但是，深度图T还可以与源视图Q无关地使用，并且例如存储在深度缓冲器中，从而可以独立地操纵该深度图并且稍后将该深度图与源视图Q关联。
在图8中与图7相对示出相反的状况，其中也就是源视图Q具有比视图An更高的分辨率，也就是恰好加倍那么高。这有利于提高深度扫描时的精度。如果例如源视图Q的分辨率是视图An的分辨率的三倍那么高，则可以向每一个子像素分配自己的深度值，因此提高深度确定时的精度。
深度印象还可以通过对深度图T的单独处理来改善，其中也就是深度信息被如下伸缩首先参照观察位置Btl确定具有最大深度的平面和具有最小深度的平面。然后将这两个平面相互靠近地移动，并且确定这些平面之间的最小距离，在该距离时深度图T的在前面的步骤中确定这些平面时位于这些平面上或者这些平面之间的深度信息还全部位于这些平面上或位于这些平面之间。只要在最大深度时深度信息已经位于这些平面的一个平面上，则该平面一般不移动。所述移动总的来说是迭代进行的，从而所述最小距离在多个迭代步骤内被找到。如果找到该最小距离，则依据该最小距离将深度信息一也就是深度值一伸缩到预定的新距离，使得一般可以最佳地利用所提供的3D深度空间。
在该方法的一种特殊变型中，具有最大深度的平面和/或具有最小深度的平面在第一步骤中借助对图像内容的评估来确定。例如，可以在位于前景信息一在计算机游戏中例如是赛车的驾驶员座舱、机车的操纵台或飞机的驾驶员座舱一之间的区域中确定具有最小深度的平面，从而驾驶员座舱等位于该平面之前。由此所有位于该平面之前的点都具有共同的深度值，这与两个平面的相互靠近的移动无关。然后深度信息的伸缩仅针对位于看起来二维的驾驶员座舱等之外的深度信息进行，从而对于观察者或游戏玩家实际感兴趣的区域来说，可以通过对所提供的深度空间的最大利用来优化三维空间视觉印象。
整个方法可以通过推动器控制，该推动器也能在图形卡上实施。所述方法步骤可以很容易地在图形卡上执行。
在上面描述的方法中，用于产生组合图像的主要代价不再取决于所使用的视图的数量，而是仅还取决于所使用的显示屏的分辨率。这使得可以使用很多的视图，由此改善了三维空间视觉印象的质量。
权利要求
1.一种用于基于场景的多个不同视图々“在由图像元素形成的光栅上对该场景进行三维空间显示的方法，其中n=0，…，N-I以及N彡2，N是视图的总数，在该方法中-提供投影在具有横坐标χ和竖坐标y的投影平面P (χ，y)中的源视图Q，原始观察位置Btl被分配给该源视图Q，其中源视图Q由源像素bq(Xi，yj)组成，其中j是行，j=l，-,J, 而i是列，i=l,…，I，以及在每个源像素bq(Xi，Yj)中存储至少一个颜色信息，-提供涉及所述投影平面的深度图T，原始观察位置Btl同样被分配给该深度图，其中该深度图由深度像素t (xp, yr)组成，其中r是行，r=l，…，R，而ρ是列，ρ=1，…，P，以及在每个深度像素t(Xp，yr)中存储了至少一个深度信息，其中该深度信息相应于离投影平面P (x，y) 的垂直距离，-将原始观察位置Btl分配给第一视图A°，并且通过水平移动该原始观察位置Btl而产生 N-I个另外的、成对地彼此不同的而且与其余视图々" 对应的观察位置Bm，其中πι=1，···，Ν-1，-确定针对视图An的图像像素bn(xk，Yl)的颜色信息，其中1是行，1=1，···Λ，而k是列，k=l，-,K,-相应于为了所述三维空间显示而预定的组合规则将视图An组合为一幅组合图像，该组合图像将显示在由图像元素形成的光栅上，其中每个视图An中相应于该组合规则仅显示分配给相应视图An的图像像素bnUk，Y1)的一部分，以及为这些视图An预定传播方向， 使得观察者的左眼与观察者的右眼察觉到对视图An的不同选择，由此产生三维空间的视觉印象，其特征在于，-在R Φ L和/或P Φ K以及由此深度图T具有比视图An更小或更大的分辨率的情况下，利用伸缩因子Stx = Κ/Ρ或STy = L/R对深度图T进行伸缩，-在J Φ L和/或I Φ K以及由此源视图具有比视图An更小或更大的分辨率的情况下，利用伸缩因子Sqx = Κ/Ι或SQy = L/J对源视图进行伸缩，-借助所述深度图T产生源视图Q的立体地图Z (X，y)，其中Z(x，y)是在χ和y方面连续的函数，并且立体地图Z (x，y)与源视图Q关联，-通过以下方式为视图An的图像像素bn(xk，Yl)确定颜色信息，即⑴沿着观察方向从相应的观察位置Bn至所涉及的图像像素bn(xk，Yl)产生射线并且该射线穿出该图像像素地延长到深度中，(ii)确定该射线与立体地图Z(x，y)的最靠近观察位置Bn的交点，(iii) 确定最靠近该交点的源像素『(χΛ y」)，以及(iv)向所涉及的图像像素bn(xk，yi)分配源像素『(χΛ Yj)的颜色信息，-其中视图An的颜色信息仅仅是针对将相应于组合规则而显示的图像像素bn(xk，Yl) 而确定的。
2.根据权利要求1所述的方法，其特征在于，所述图像像素bn(xk，yi)是全像素，其中向每个全像素分配针对红色、绿色和蓝色的颜色信息。
3.根据权利要求1所述的方法，其特征在于，所述图像像素bn(xk，yi)是子像素，其中向每个子像素分配红色、绿色或蓝色中恰好一种颜色的颜色信息。
4.根据权利要求1至3之一所述的方法，其特征在于，根据以下步骤对深度图T的深度信息进行伸缩a)参照观察位置Btl来确定具有最大深度的平面以及具有最小深度的平面，b)将两个平面相互靠近地移动并且确定两个平面之间的最小距离，在该最小距离时深度图的在步骤a)中确定这些平面时位于这些平面上或这些平面之间的深度信息还全部位于这些平面上或这些平面之间，c)依据该最小距离将深度信息伸缩到预定的标准距离。
5.根据权利要求4所述的方法，其特征在于，在步骤a)中借助图像内容的评估来确定具有最大深度的平面和/或具有最小深度的平面。
6.根据权利要求1至5之一所述的方法，其特征在于，方法步骤的流程通过推动器来控制，优选通过在图形卡上实施的推动器来控制。
7.根据权利要求1至6之一所述的方法，其特征在于，方法步骤在图形卡上执行。
全文摘要
本发明涉及一种基于多个视图在由图像元素形成的光栅上对场景进行三维空间显示的方法，所述多个视图相应于组合规则而被组合成一幅组合图像。该组合图像仅包含从每个视图中选择出的部分或像素。为此预定传播方向，该传播方向使得观察者可以在组合图像中用左眼察觉到与用右眼不同的视图选择，这导致三维空间的视觉印象。基于其中每个像素都包含颜色信息和深度信息的原始视图，产生其余的视图，其中只确定属于视图的在组合图像中显示的图像元素的颜色信息。颜色信息的确定借助立体地图Z(x,y)进行。
文档编号H04N13/00GK102484728SQ201080019861
公开日2012年5月30日 申请日期2010年5月6日 优先权日2009年5月6日
发明者施密特 A. 申请人:3D国际欧洲有限责任公司