专利名称：图像特性的遮挡数据的生成的制作方法
技术领域：
本发明涉及图像特性的遮挡数据的生成，并且具体地但非排它地涉及用于三维图像数据的分层呈现的遮挡图像的生成。
背景技术：
三维显示器正受到越来越多的关注，并且从事了相当多的如何向观众提供三维感知的研究。三维(3D)显示器通过向观众的两只眼睛提供正被观看的场景的不同视图以将第三维添加至观看体验。这可通过使用户佩戴眼镜以将所显示的两个视图分离来实现。然而，由于这可能被认为是对于用户不方便的，因此在许多情景下优选使用自动立体显示器， 该自动立体显示器使用显示器处的装置(如，双凸透镜或隔板)以分离视图，并且在它们可单独抵达用户眼睛的不同方向上发送它们。对于立体显示器，需要两个视图，而自动立体显示器通常需要更多个视图(如，九个视图)。为了高效地支持3D展示，使用所生成的3D内容的适当数据呈现是重要的。例如， 对于不同的立体显示器，两个视图不一定相同，并且最佳的观看体验通常要求针对屏幕尺寸和观众距离的特定组合来调适该内容数据。同样的考虑趋于适用于自动立体显示器。一种用于呈现三维图像的流行的办法是使用一个或多个分层的二维图像加上深度呈现。例如，前景和背景图像(每一个图像均具有相关联的深度信息)可用于呈现三维场景。这种办法提供了许多优点，所述优点包含允许以相对低的复杂度生成三维视图， 并且提供了高效的数据呈现，从而例如降低了三维图像(和视频)信号的存储和通信资源需求。此办法还允许以与包含在三维呈现中的二维图像不同的视点和观看角度生成二维图像。此外，该呈现可容易地适于并支持例如具有不同数量视图(如，5、9或15)的不同显示配置。当从与由分层图像呈现的观看角度不同的观看角度表现视图时，前景像素依据其深度而被平移。这导致针对原始观看角度被遮挡的区域变得可见(即，相机/观看位置被转变/平移至该侧)。然后使用背景层，或者在适当背景层数据不可用时通过重复前景图像的像素，填充这些区域。然而，这种像素复制可能产生可见的假象。通常仅在前景图像对象的边缘周围需要背景信息，并且因此背景信息对于大多内容来说是高度可压缩的。为了实现高质量的3D感知，3D图像内容的生成是关键的。已知用于创建3D内容的各种方法，例如包含可基于描述三维场景的数据来生成图像的计算机生成的内容工具。 例如，计算机生成的用于例如计算机游戏的前景和背景图像可以基于表征环境(其包含前景图像对象等)的数据而生成。例如，已知若干用于生成3D模型的程序，并且可以通过软件插件来增强许多的这些程序，所述软件插件能够生成具有相关联的深度图(以及可能的透明度图)的一个或多个分层图像形式的3D图像呈现。由此，在3D建模程序中设计3D模型之后，算法可以基于该3D模型生成背景以及一个或多个前景层，其表示来自所定义的观看角度的视图。此外，可以针对此视图生成一个或多个深度图以及透明度图。然后，图像层以及深度和透明度图可提供适于例如立体或自动立体显示器使用的3D呈现。然而，尽管这些办法在许多实施例中可能是有用的，但是它们趋于具有某些相关联的缺点。例如，多个层的生成趋于非常复杂并且需要相当多的人工干预。例如，为了生成背景层，必须指定哪些图像对象或区域应被视为前景并由此在生成背景图像时除去。然而， 为了提供精确的3D呈现和高质量的背景，通常这必须通过操作者人工地进行，导致3D图像数据的生成非常复杂和耗时。由此，在当前的办法中，通常通过人工地除去一些前景对象并再次表现内容以创建背景层。然而，这不仅需要大量的努力，而且例如在对象遮挡自身或者在背景上投射阴影时导致问题。另一技术是指定切割面，该切割面除去比给定阈值更加靠近的所有图像区域和对象。然而，这种办法趋于导致非最佳的背景层，这是由于最佳的背景层在不同区域中要求不同切割阈值(即，适于除去前景图像对象的适当深度级别取决于特定3D模型并且在图像上不是恒定的)。实际上，单个切割面很少是最优的，而选择多个切割面趋于甚至进一步使得
处理复杂。由此，为前景提供遮挡数据信息的信息的生成趋于是次优的，并且尤其趋于是复杂的、需要资源的和/或导致次优的质量。实际上，所描述的问题不限于遮挡图像数据的生成，而是也涉及表示诸如透明度或深度信息的其它图像特性的数据的生成。因而，改进的用于生成遮挡数据的办法将是有利的，并且尤其是，允许灵活性增大、复杂性降低、操作简化、资源需求降低、质量改善和/或性能改善的办法将是有利的。
发明内容
据此，本发明试图优选地单独地或以任何组合的方式减轻、缓解或消除上面提到的缺点中的一个或多个。根据本发明的一方面，提供了一种生成三维场景的遮挡观看位置的遮挡图像特性图的方法，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值；所述方法包含提供算法，该算法被安排用以为表示三维场景的图像生成作为观看位置的函数的图像特性图；通过对第一观看位置执行所述算法以生成第一图像特性图；通过对第二观看位置执行所述算法以确定第二图像特性图，第二观看位置相对于第一观看位置具有第一偏移；并且响应于第一图像特性图和第二图像特性图生成遮挡图像特性图。在许多实施例中，本发明可提供对于遮挡图像特性图的改进和/或简化的生成。 遮挡图像特性图特别地可包含由针对遮挡观看位置生成的(多个)前景图像特性图层所遮挡的图像区域的图像特性数据。例如，遮挡图像特性图可以是提供由前景(或更前方的中景)图像层所遮挡的图像数据的背景(或中景)图像层。具体地，本发明可允许在不需要人工干预和/或不定义用于遮挡信息的任何切割面的情况下生成遮挡信息。而是，可使用算法的简单重复执行以提供遮挡图像特性图。具体地，本发明可允许根据基于相同3D模型但是在不同观看位置生成的不同图像特性图来生成场景的分层3D图像特性呈现。由此，可重复地使用基于3D模型的单个表现算法来生成多个图像特性图，然后对该多个图像特性图进行后处理以生成分层3D呈现。本发明可减少资源使用和/或复杂性。具体地，通常可以在低复杂性和/或低资源使用的情况下实施 (非分层、变化的观看角度)图像特性图的后处理。
不同观看位置特别地可对应于这样的观看位置，所述观看位置在与第一观看位置的观看方向垂直的平面内被平移一并且特别地在该平面内侧向平移。每个观看位置的观看角度/方向可以基本相同，即，第一和第二观看位置的观看方向(以及由此第一和第二图像特性图)可以基本相同。该办法可允许改进的与许多现有算法的向下兼容性。例如，第一算法可以是现有的3D建模应用，其通过生成分层3D图像特性图呈现的软件工具/插件得到进一步增强。由此，后处理例如可以作为用于内容创建工具的插件被提供。遮挡图像特性图可以表示与该遮挡数据被提供用于的图像特性图相同的观看角度。特别地，遮挡图像特性图可以是具有表示遮挡观看位置的另一图像特性图的分层图像特性图。所述遮挡图像特性图特别地可以是第一图像特性图的遮挡图像特性图，并且可以表示第一观看位置。特别地，遮挡观看位置可以基本上与第一观看位置相同。第一算法特别地可以是(基于)3D模型算法。由此针对场景可以使用相同3D模型来生成第一和第二图像特性图。(多个)观看位置特别地可以是观看角度。在一些实施例中并且出于某些考虑，未考虑距离。术语观看位置在许多情景下可视为等同于术语观看角度。 第一和第二观看位置对应于不同的观看角度。图像特性图特别地可包含第一图像的每个像素的图像特性值。遮挡图像特性图可进一步响应于其它(类型的)图像特性图而生成。例如，可以由下述图像特性图来补充第一和第二图像特性图所述图像特性图是在对应于遮挡观看位置的图像特性图的表现之前例如通过人工除去前景对象而生成的。根据本发明的可选特征，确定遮挡图像特性图包含通过将至少第一图像特性图和第二图像特性图平移至遮挡观看位置，生成与遮挡观看位置对应的图像特性图的修改组；以及通过从图像特性图的修改组的对应像素选择遮挡图像特性图的像素的图像特性， 确定遮挡图像特性图。在许多实施例中，这可提供遮挡图像特性图的改进和/或简化的生成。图像特性图组可包含通过将不同观看位置的图像特性图平移/转变至遮挡观看位置所获得的多个修改的图像特性图。该平移/转变特别地可以是到相同观看角度。对于利用基本用于该遮挡观看位置的算法所生成的图像特性图，所修改的图像特性图可以与所生成的图像特性图相同。特别地，对于已表示遮挡观看位置的图像特性图，到遮挡观看位置的平移/转变可以是空操作。在一些实施例中，为遮挡图像特性图的像素选择图像特性可包含如果第二对应像素是去遮挡的像素并且第一像素不是去遮挡的像素，则优先于第二对应像素而为第一对应像素选择图像特性。例如，当生成修改的图像特性图时，在原始图像中被遮挡的但是从遮挡观看位置不被遮挡的值被去遮挡。由此，在修改的图像特性图中，一些像素通常是去遮挡的像素(例如，通过像素重复而生成)，而其它像素未被去遮挡。特别地，可以优先于重复的像素而选择非重复的像素。根据本发明的可选特征，图像特性图的修改组的对应像素之间的选择响应于对应像素的深度值。在许多实施例中，这可提供遮挡图像特性图的改进和/或简化的生成。根据本发明的可选特征，对应像素之间的选择包含选择遮挡图像特性图的第一像素的图像特性，作为不具有与第一像素的对应像素的最前方深度相对应的深度值的对应像素的图像特性。在许多实施例中，这可提供遮挡图像特性图的改进和/或简化的生成。具体地，为每个像素的第二深度值(从前面起)选择图像特性趋于为前景图像后面的第一对象提供遮挡数据。这些通常将最适合于以不同的观看角度表现并且因此趋于提供最有用的遮挡信肩、ο根据本发明的可选特征，对应像素之间的选择包含选择遮挡图像特性图的第一像素的图像特性，作为具有与第一像素的对应像素的第二最前方深度相对应的深度值的对应像素的图像特性。在许多实施例中，这可提供遮挡图像特性图的改进和/或简化的生成。具体地，为每个像素的第二深度值(从前面起)选择图像特性趋于为前景图像后面的第一对象提供遮挡数据。这些通常将最适合于以不同的观看角度表现并且因此趋于提供最有用的遮挡信肩、ο将理解，可替代地，对应像素之间的选择包含选择遮挡图像特性图的第一像素的图像特性，作为具有与第一像素的对应像素的第三、第四、第五等最前方深度相对应的深度值的对应像素的图像特性。这可以例如允许图像特性图的多个层的高效生成。根据本发明的可选特征，生成图像特性图的修改组中的至少一个包含在平移之后，为与重叠图像区域相对应的像素生成多个图像特性值。在许多实施例中，这可提供遮挡图像特性图的改进和/或简化的生成。具体地，其可以允许在生成遮挡图像特性图时考虑不同观看位置的图像特性图所提供的所有信息。所述多个像素特别地可以是被移动至遮挡观看位置处的相同像素位置的像素。根据本发明的可选特征，由遮挡图像特性图、第一图像特性图和第二图像特性图表示的图像特性包含选自由下述组成的群组的至少一个图像特性图像亮度、图像色彩、图像对象标识、透明度和深度。本发明可允许对于3D图像呈现是有用的许多不同特性的遮挡信息的改进和/或简化的生成。根据本发明的可选特征，所述方法进一步包含通过针对第三观看位置执行所述算法以确定第三图像特性图，第三观看位置相对于第一观看位置具有第二偏移；并且其中， 确定遮挡图像特性图进一步响应于第三图像。在许多实施例中，这可允许生成改进的遮挡图像特性图。具体地，其可允许通过遮挡图像特性图确定和表示附加遮挡数据。第二和第三图像特性图例如可以允许生成遮挡信息以用于平移至中心视图的两侧。确定遮挡图像特性图可进一步包含通过将第三图像特性图从第三观看位置平移 /转变至遮挡观看位置以生成修改的第三图像特性图；并且修改的第三图像特性图可包含在图像特性图的修改组中，可以从图像特性图的修改组中选择遮挡图像特性图的像素的图像特性。该办法也可延伸至根据不同观看位置生成的第四、第五等图像特性图。根据本发明的可选特征，所述第一偏移与所述第二偏移基本相反。特别地，第一观看位置和第三观看位置之间的观看角度偏移可以与第一观看位置和第二观看位置之间的观看角度偏移基本相同，但是是在相反的方向上。
在许多实施例中，这可允许生成改进的遮挡图像特性图。具体地，可以生成适于不同方向上的观看角度变化的遮挡数据。第一偏移和/或第二偏移特别地可以基本上处于水平面。根据本发明的可选特征，所述方法进一步包含生成图像信号，该图像信号包含遮挡图像特性图，并且仅包含该遮挡观看位置的图像特性图。本发明可生成3D图像的高效呈现。可以提供一种分层呈现，该分层呈现包含对于给定观看角度(其对应于遮挡观看位置)的(另外)前景图像特性图(如，前景图像)以及表示相同观看角度的遮挡图像特性图。然而，不可包含表示不同观看角度的图像或图像特性图。 特别地，图像信号可包含许多通道(对应于诸如图像数据、深度数据和透明度数据的不同图像特性)，至少一个所述通道包含包括由所述方法生成的遮挡图像特性图的分层图像特性呈现。根据本发明的可选特征，所述第一偏移对应于屏幕深度处的对象周围从2°到 10°的区间中的观看角度偏移。这可以为大多数立体显示器和/或自动立体显示器提供尤其适用于表现图像的遮挡图像特性图。具体地，其可以提供在可使用所生成的遮挡图像特性图表现的观看角度范围和遮挡图像特性图的数据中的间隙或孔的风险之间的改进的折衷。根据本发明的可选特征，所述第一图像特性图、所述第二图像特性图和所述遮挡图像特性图是图像。由此，可提供一种生成遮挡图像的方法，所述遮挡图像包含受遮挡图像对象的至少一些图像值；所述方法包含提供表现算法，该表现算法被安排用以依据观看位置生成表示场景的图像；通过对第一观看位置执行所述算法以生成第一图像；通过对第二观看位置执行第一算法以确定第二图像，第二观看位置相对于第一观看位置具有第一偏移；并且响应于第一图像和第二图像生成遮挡图像。本发明在许多实施例中可提供对于遮挡数据的改进和/或简化的生成。该遮挡图像特别地可以包含由(另外的)前景图像层遮挡的各图像区域的图像数据。根据本发明的另一方面，提供了一种计算机程序产品，其用于执行如上所述的(多个)方法。根据本发明的另一方面，提供了一种软件工具，其用于与三维建模计算机程序一起使用，从而生成三维场景的遮挡观看位置的遮挡图像特性图，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值，并且所述三维建模计算机程序包含算法， 该算法被安排用以为表示三维场景的图像生成作为观看位置的函数的图像特性图；所述软件工具被安排用以执行以下步骤通过对第一观看位置执行所述算法以生成第一图像特性图；通过对第二观看位置执行所述算法以确定第二图像特性图，第二观看位置相对于第一观看位置具有第一偏移；以及响应于第一图像特性图和第二图像特性图生成遮挡图像特性图。根据本发明的另一方面，提供了一种用于生成三维场景的遮挡观看位置的遮挡图像特性图的设备，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值；所述设备包含用于提供算法的装置，该算法被安排用以为表示三维场景的图像生成作为观看位置的函数的图像特性图；用于通过对第一观看位置执行所述算法以生成第一图像特性图的装置；用于通过对第二观看位置执行所述算法以确定第二图像特性图的装置， 第二观看位置相对于第一观看位置具有第一偏移；以及用于响应于第一图像特性图和第二图像特性图生成遮挡图像特性图的装置。本发明的这些和其它方面、特征和优点将根据下文描述的(多个)实施例而显而易见，并且将参照所述实施例加以说明。
将仅通过示例的方式参照附图描述本发明的实施例，附图中
图1图示根据本发明一些实施例的用于生成遮挡图像特性图的装置的示例； 图2图示基于三维模型的图像的表现的示例； 图3图示基于三维模型的图像的表现的示例；
图4图示根据本发明一些实施例的用于从对应于不同观看位置的图像特性图生成遮挡图像特性图的方法的示例；
图5图示将图像特性图从一个观看位置平移/转变至另一个观看位置的示例； 图6图示根据本发明一些实施例的用于从对应于不同观看位置的图像特性图生成遮挡图像特性图的方法的示例；以及
图7图示根据本发明一些实施例的生成遮挡图像特性图的方法的示例。
具体实施例方式下列描述关注可应用于生成前景图像的遮挡数据的本发明实施例。然而，要理解， 本发明不限于这种应用，而是可应用于生成其它图像特性图，例如包含反映图像对象标识、 透明度和深度特性的图像特性图。为了清楚和简洁，下列描述将关注诸如静态图像之类的单个图像的处理。然而将理解，所描述的原理同样适用于例如动画和运动图像。例如，所描述的处理可基于分层深度模型单独应用于三维视频信号的每个图像和深度图，以便生成多视像序列中每个时间戳的所有视图。图1图示用于生成遮挡图像特性图的装置的示例。该装置包含图生成器101，其被安排用于为表示场景的图像生成图像特性图。将图像特性图生成为观看位置的函数，且特别地生成为观看角度的函数。具体地，图生成器可以基于3D模型生成给定的指定观看角度的图像图。3D模型可以特别地定义由背景图像和背景图像前面的许多3D对象所定义的人工场景。在此示例中，图生成器101被安排用以生成与相机将在所定义的观看位置(以及特别地，所定义的观看角度)处捕获的图像相对应的图像。由此，生成了这样的图像该图像具有对于每个像素(其反映从该特定观看角度可见的3D模型的对象)的亮度和/或色彩值。由此，基于由3D模型表示的所定义的人工场景，图生成器101可以仅仅基于观看角度输入参数来生成图像。将理解，已知许多不同的算法和工具可基于3D模型和观看位置的定义来生成对于人工场景的图像和相关联的图像特性数据。例如，离线计算机3D建模工具是已知的，并且其广泛地例如用于计算机辅助设计、游戏设计和计算机动画等。此外，例如从游戏和实时计算机辅助设计应用获悉人工3D场景的图像的实时表现。将理解，图生成器101可利用任何适当的方法来生成图像特性图。还将理解，图生成器101可生成对应于其它图像特性的图像或图。由此，图像特性可以是提供关于图像可如何表现的信息的任何特性，并且特别地可以是提供对于在不同观看角度处生成图像是有用的信息的3D图像特性。例如，图生成器101可继而生成对于给定观看角度的图像以及该观看角度的深度图这二者。深度图特别地可包含图像的每个像素的深度指示(如，深度级别或视差值)，其中深度指示反映由像素表示的图像对象的图像中的深度。此外，图生成器101可以生成所生成图像的每个像素的透明度值。透明度值特别地可表示图像像素的透明度。作为另一示例，图生成器101可生成图像对象标识图，针对所生成图像的每个像素，该图像对象标识图标识对应于该像素的图像对象。在特定示例中，图生成器101针对观看角度生成许多对应的图像特性图。每个图像特性(类型)可称为通道，并且在该特定示例中，图生成器101生成包含图像的图像通道、 所生成图像的包含深度图的深度通道、并且在某些情景下生成所生成图像的透明度图和/ 或所生成图像的图像对象标识图。在此示例中，每个通道仅包含单个图像特性图，并且由此每个图像特性用单个非分层的图像特性图来表示。将理解，在其它实施例中，图生成器101可以仅生成单个通道(即，单个图像特性) 的图像特性图。例如，可以在不生成图像的情况下生成深度图。该设备进而包含耦接至图生成器101的第一图像特性图生成器103。第一图像特性图生成器103被安排用以通过针对第一观看位置执行图生成器101的算法来生成第一图像特性图。特别地，第一图像特性图生成器103可定义场景的观看角度或位置，并且将其馈送至图生成器101。作为响应，图生成器101继而估计3D模型以生成对应于该观看位置的图像特性图。在特定示例中，图生成器101继而生成多个单层通道，每个通道对应于不同类型的图像特性。由此，图生成器101根据指定的观看位置/角度和匹配的深度图以及某些情景下的匹配的透明度图和/或匹配的对象标识图，生成表示场景/3D模型的视图的图像。然后将包含不同图像特性图的通道反馈到第一图像特性图生成器103。图2图示一示例，其中为包含背景对象203和前景图像对象205的三维场景/模型定义观看位置201。图生成器101然后继而生成反映在不同方向上看到的特定图像对象的图像。另外，生成反映在图像中可见的图像对象的深度的对应深度图。图生成器101针对每个像素计算色彩值、亮度值和深度。色彩/亮度由沿着像素的线与相机/观看位置最接近的对象来确定。由此，对于对应于前景图像对象205的像素，包含了前景对象205的图像和深度值，而对于对应于背景图像对象203的像素，包含了背景对象203的图像和深度值。此外，可以生成对象标识图，该对象标识图针对每个像素指示由该像素表示的图像对象 (例如，其是对象203还是205)。类似地，可以利用对于每个像素的透明度指示来生成透明度图。将理解，图生成器101可以使用用于根据3D场景或模型生成图像特性图(如，图像或深度图)的任何适当的算法。图1的设备进一步包含耦接至图生成器101的第二图像特性图生成器105。第二图像特性图生成器105被安排用于通过对第二观看位置执行图生成器101的算法来生成第二图像特性图，该第二观看位置相对于第一观看位置偏移。第二观看位置对应于与第一观看位置不同的观看角度。由此，除非所生成图像特性图中的一切都碰巧处于正好相同深度级别，否则第一和第二图像特性图可以在某些区域中表示不同图像对象。由此，第一和第二图像特性图可包含被另一图像特性图中(更加向前)的前景图像对象所遮挡的图像对象区域的图像特性数据。图3图示图2的示例，其中第二观看位置301与第一观看位置具有相对偏移303。 由于观看角度偏移，针对第二观看位置301生成的图像特性图包含背景对象203的、未包含在对于第一图像观看位置201的图像特性图中的区域305，这是由于对于该观看角度其被前景对象205遮挡。类似地，背景对象203的区域307仅在针对第一观看位置生成的第一图像特性图中是可见的。由此，从平移/转变/转移的观看位置再次表现由3D模型表示的场景。该第二观看位置提供相对于第一观看位置的“环视”对象。在来自第二观看位置的视图中，对象看上去向右边平移，其中由于透视变换的原因平移与深度成反比例。在该特定示例中，图发生器101继而生成第二观看位置的多个单层通道，其中每个通道对应于不同类型的图像特性。特别地，第二图像特性图生成器105接收图像、相关联的深度图以及可能的第二观看位置的透明度与图像对象标识图。图1的设备进一步包含耦接至图生成器101的第三图像特性图生成器107。第三图像特性图生成器107被安排用以通过针对第三观看位置执行图生成器101的算法来生成第三图像特性图，该第三观看位置相对于第一观看位置和第二观看位置偏移。第三观看位置对应于与第一观看位置和第二观看位置不同的观看角度。第三观看位置特别地可以在第二观看位置的基本相反方向上从第一观看位置偏移。此外，偏移可以是围绕第一观看位置对称的，使得第一和第二观看位置之间的观看角度与第一和第三观看位置之间的观看角度相同。例如，在图3中，第二观看位置301偏移至第一观看位置201的左边，并且第三观看位置309可以以相同量偏移至第一观看位置201的右边。第三观看位置的使用可允许所得到的遮挡数据对于针对不同方向上的观看角度偏移的图像去遮挡是有用的。例如，如果第一观看位置的图像用作前景图像，则可根据第二和第三(左和右)观看位置生成的遮挡数据可允许修改中心图像以将观看角度反映到中心视图的左边和右边两者。在特定示例中，选择第一和第二观看位置之间的偏移(以及第一和第三观看位置之间的偏移)，从而对应于屏幕深度处对象周围的落在2°至10° (包含这两个值)区间内的观看角度偏移。这可提供尤其适用于许多实用3D显示应用的遮挡数据，因为其提供了尤其适合于这些应用中所使用的典型观看角度变化的遮挡数据。再者，通过限制观看角度偏移，可以降低在所生成的遮挡数据中具有间隙(例如，源自前景对象中的小孔)的风险。在图3的示例中，针对三个对称的观看位置生成图像特性图。然而将理解，在其它示例中，可以使用两个、四个或更多个观看位置，并且/或者可以采用非对称的观看位置。第一图像特性图生成器103、第二图像特性图生成器105和第三图像特性图生成器107耦接至从第一图像特性图生成器103、第二图像特性图生成器105和第三图像特性图生成器107接收图像特性图的遮挡处理器109。然后，遮挡处理器109继而根据分别的第一、第二和第三观看位置的三个图像特性图生成遮挡图像特性图。在该特定示例中，遮挡处理器109例如可针对三个观看位置中的每一个接收图像和深度图。然后，其可继而通过从所述三个图像和深度图中的每一个选择值来生成遮挡图像和深度图。如果反映不位于前景的图像对象的对应值是可用的，则选择用于遮挡图像特性图的像素以不表示该前景图像对象。例如，在图3的示例中，可以从第二观看位置的图像特性图选择像素用于区域305以及从第一观看位置的图像特性图选择像素用于区域307。特别地，遮挡处理器109可以被馈送(或者已经意识到)侧面观看位置的偏移以及针对所述观看位置的虚拟相机的视野。这可用于将来自侧视图的像素转移至中心视图。该处理可视为对应于经由逆射影变换从侧视图逆向投射像素并且然后将其投射到中心视图中。这些方案分解为在使用并行相机时与视差成比例的平移。由此，可以生成遮挡图像特性图，与对于任何单个视点可用的信息相比，该遮挡图像特性图提供了更多的非前景图像特性的信息。尤其是可以生成遮挡数据，与从任何单个观看位置可用的数据相比，该遮挡数据包含更多的反映非前景图像对象的数据。特别地，生成遮挡图像特性图以表示这样的视图其来自给定观看位置或角度(称为遮挡观看位置或角度)，并且包含至少一些从该观看位置/角度被(多个)前景图像对象遮挡的图像特性数据。该遮挡图像特性图可以与表示遮挡观看位置的另一图像特性图组合，以便提供图像的分层3D呈现。例如，遮挡图像和第一图像(对于第一、中心观看位置)可以组合以提供(混合的) 前景和背景层呈现，其中对于至少一些像素，该遮挡图像表示不是从第一观看位置可见的前景图像对象的一部分的图像对象的图像值。由此在此示例中，遮挡观看位置可以与第一观看位置相同。遮挡处理器109耦接至信号生成器111，该信号生成器111生成包含3D信息的图像信号。特别地，信号生成器111生成图像信号，该图像信号包含遮挡观看位置/角度的图像、遮挡图像、该图像的深度图以及可选地包含该遮挡图像特性图的遮挡深度图。在某些实施例或情景中，可以另外地或可替代地包含透明度图和遮挡透明度图和/或对象标识图和遮挡对象标识图。还将理解，对于每个图像特性通道，图像信号可包含多于两个层。例如，多个不同级别的遮挡图像可被生成并包含在图像通道中。然而，尽管根据不同观看角度的视图生成遮挡图像特性图，但是所生成的图像信号可包含仅对于遮挡观看角度的图像特性图。特别地，生成图像信号，使得由图生成器101生成的图像特性图中的至少一个包含在该图像信号中，而其它由图生成器生成的图像特性图不包含在该图像信号中。实际上， 在这些示例中，没有或仅有一个来自图生成器的所生成的图像特性图可包含在图像信号中。特别地，图像信号的图像可对应于针对第一观看位置、利用为该观看位置提供附加遮挡数据的遮挡图像所生成的图像。对于其它的通道，可包含对应的图像特性图。由此，图像信号可包含对于仅仅一个观看角度(即，对应于遮挡图像特性图的遮挡观看角度)的图像特性图。特别地，该观看角度可以与图生成器101生成图像特性图所使用的观看角度之一相同， 但是不需要如此。
该办法可允许低复杂度、低资源使用和完全自动生成包含遮挡数据的分层图像呈现。实际上，该办法无需人工干预或者对于切割面的任何定义等。由此，可以实现3D图像数据高效呈现的低复杂度和高质量生成。该办法进而允许使用现有的3D内容创建工具，从而提供了改进的向下兼容性和灵活性。图4图示遮挡处理器109在该特定示例中使用的方法。该方法基于将所有所生成的图像特性图(在当前情况下，对于三个不同观看位置的图像特性图)平移(或转变或转移) 至相同的观看角度，然后通过依据深度级别在对于该观看角度的不同图像特性图之间进行选择以生成遮挡图像特性图。图4的方法开始于步骤401，在步骤401中，图像特性图被平移/转移/转变至为其生成遮挡图像特性图的观看位置，即至遮挡观看位置/角度。在该特定示例中，生成图像信号以包含对应于第一观看位置的数据，且由此所平移的图像特性图的观看位置与针对第一观看位置生成的图像特性图的观看位置相同。特别地，来自侧视图的每个像素可被平移 /转移至在其未被遮挡的情况下其将会被看到的中心视图中的位置。步骤S401之后是步骤S403，在步骤403中，确定所有观看位置的图像特性图是否已被平移/转移/转变到公共遮挡观看位置。如果没有，则该方法前进至步骤405，在步骤 405中，选择下一个观看位置。然后该方法返回到步骤401，在步骤401中，将该下一个观看位置的图像特性图转移至遮挡观看角度。由此，遮挡处理器109处理所有观看位置，并且对于每个观看位置生成反映如下信息的修改的图像特性图该信息包含在图像特性图中，但是该信息已被转移或扭曲以对应于遮挡观看位置。由此，在该示例中，遮挡处理器109根据针对第一、第二和第三观看位置/角度生成的图像、深度图和可选的透明度和图像对象图，确定与遮挡观看角度对应的三个修改的图像、深度图和可选的透明度和图像对象图。将理解，在该特定示例中，遮挡观看位置等同于中心观看位置，即等同于第一观看位置，并且因此从第一图像特性图生成器 103提供的图像特性图的转变可仅仅在于保留所述图像特性图而不进行任何处理或修改。特别地，图像特性图至遮挡观看角度的转变可通过基于不同像素的深度确定这些像素的位移来实现。然后，这之后是填充任何所得到的去遮挡的图像区域。将理解，用于执行这些观看角度平移的不同算法对于本领域技术人员将是已知的，并且可以使用任何适当的办法。作为一特定示例，图5图示根据针对第二观看位置生成的图像来生成修改的第二图像的示例。遮挡处理器109首先为每个像素或图像区域生成依赖于像素深度的偏移矢量 501、503。特别地，像素与其视差成比例地被平移(实践中，可以移动和光栅化相邻像素之间的线)，且由此相比于对于更远的(更加背景的)图像对象507，平移对于更靠近的(更加前景的)图像对象是更大的。结果，将以不同方式平移不同图像区域中的不同像素(对应于不同深度的图像对象)，导致像素的潜在重叠509以及在遮挡观看角度处像素之间的间隙511。该间隙对应于观看角度修改之后的去遮挡图像区域，并且通过使用适当的单层去遮挡算法来填充。特别地，可以使用把近端像素拷贝到去遮挡像素区域的像素复制。然而，对于重叠区域509，两个像素值以及两个深度值均被保持。由此，对于与被转移的图像特性图的多个像素对应的像素，针对公共观看角度的生成的修改的图像特性图可包含多个图像特性值。特别是，可以为落入重叠区域(其中，原始图像特性图的分开的图像对象移动至相同像素)的所有像素保持多个图像特性值。要理解，所描述的办法可应用于任何或所有图像特性通道。特别是，可以使用所描述的办法生成遮挡观看角度的图像、深度图、透明度图和/或图像对象图。当对于所有观看角度的图像特性图已转移至遮挡观看角度时，该方法前进至步骤 407，在步骤407中，针对遮挡观看角度生成遮挡图。在此阶段，为每个图像特性通道提供一组(在此情况下)三个图像特性图，其中所有图像特性图反映相同观看角度，即该遮挡观看角度。据此，它们可能直接相互重叠，从而产生多个值，其中从所述多个值选择用于每个像素的值。然后，遮挡处理器109继而基于相关联的深度值选择要使用哪个值。例如，通过在步骤401中生成的该组图像中针对每个像素位置从该像素位置处的所有像素值中选择像素值，生成遮挡图像。所选择的像素值取决于在步骤S401中生成的该组深度图的深度图中存储的像素位置的深度值。特别地，对于每个像素位置，遮挡处理器109可继而选择与第二最前方的深度值相对应的图像特性值。由此，对于所有深度值表示相同级别的像素位置，任何像素可以被选择。这种情形对应于所有原始观看位置提供相同信息(例如，所有观看位置将具有可见的相同前景或背景对象)的情形。然而，如果不同观看角度具有不同的可见的观看对象，则这种办法将产生取不是最前景图像对象而是其后面的图像对象的值的遮挡图像特性图。由此，遮挡图像特性图将包含可用于将前景图像去遮挡的遮挡数据。例如，在遮挡观看角度与中心/第一观看角度相同的示例中，图6图示可以如何从三个平移/转移/转变的图像603、605中选择图像像素601，使得所生成的遮挡图像609的对应图像像素607表示背景而不是前景(其从第一观看位置可见)。由此，将生成遮挡图像 609以包含对于第一图像605的附加背景信息和去遮挡数据。再者，由于第一图像605和遮挡图像609对应于同一观看角度，因此它们表示场景的分层3D呈现。将理解，如果深度级别之间的差异低于给定值，所述深度级别可视为是相同的深度级别以用于选择的目的，或者可替代或另外地，针对选择步骤深度级别可以使用相对粗略的量化。还将理解，在一些实施例或情景中，可通过选择第二、第三、第四等最前景的深度级别来生成遮挡层。实际上，可以通过利用在每一重复中选择的不同级别重复该方法并通过每个遮挡层来生成多个遮挡层。将理解，在一些示例中，深度级别选择标准可产生根据所转移图像的组可用的多个适当图像特性值。在这种情况下，选择可考虑其它的因素或参数。例如，可以优先于已经在转变处理中生成的图像特性值，选择转变之前存在于原始图像特性图中的图像特性值。 例如，可以优先于已通过像素复制生成的图像像素值，选择原始图像像素值。图7图示生成对于第一图像的遮挡图像特性图的方法的示例，其中遮挡图像特性图包含在第一图像中被遮挡的至少一些图像特性值。该方法使用表现算法，该表现算法能够依据观看位置为表示场景的图像生成图像特性图。该方法开始于步骤701，在步骤701中，通过对第一观看位置执行第一算法生成第一图像特性图。该方法在步骤703中继续，在步骤703中，通过对第二观看位置执行该第一算法生成第二图像特性图。将理解，可以针对对应于另外观看位置的另外图像特性图来重复步骤 701 和 / 或 703。步骤703之后是步骤705，在步骤705中，响应于第一图像和第二图像生成遮挡图像特性图。具体地，步骤705可以执行图4的方法。然后，遮挡图像特性图可以与第一图像或其它图像特性图组合，以提供3D图像数据的高效呈现。将理解，特别地可以在处理器或者计算平台上执行该方法，如参照图1所描述的。 此外，将理解，该办法可允许与三维建模计算机程序一起使用软件工具，以生成三维场景的遮挡观看位置的遮挡图像特性图。遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值，并且三维建模计算机程序包含算法，该算法被安排用以为表示三维场景的图像生成作为观看位置的函数的图像特性图。特别地，软件工具可以是用于3D建模软件程序或应用程序的软件插件，并且特别地可以被安排用以实施以下步骤通过对第一观看位置执行算法以生成第一图像特性图；通过对第二观看位置执行算法以确定第二图像特性图， 第二观看位置相对于第一观看位置具有第一偏移；并且响应于第一图像和第二图像生成遮挡图像特性图。将理解，为了清楚，以上描述已经参考不同功能单元和处理器描述了本发明的实施例。然而显而易见的是，可以在不背离本发明的情况下使用不同功能单元或处理器之间的任何合适的功能分配。例如，可以由相同处理器或控制器执行所图示的由分离的处理器或控制器执行的功能。因而，对于特定功能单元的引用仅视为对于用于提供所描述功能的适当装置的引用，而不表示严格的逻辑或物理的结构或组织。本发明可以实施成任何适当的形式，包含硬件、软件、固件或这些的任何组合。本发明可以可选地至少部分地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的元件和组件可以以任何适当的方式在物理、功能和逻辑上实施。实际上，可以在单个单元中、多个单元中或者作为其它功能单元的一部分来实施所述功能。这样，本发明可以实施在单个单元中，或者可以物理地和功能地分布在不同单元和处理器之间。尽管已经结合某些实施例描述了本发明，但是本发明并非旨在限制于这里所阐述的特定形式。本发明的范围而是仅受限于所附的权利要求书。另外，尽管可能看上去是结合特定实施例描述了一特征，但是本领域技术人员将认识到，可以根据本发明将所描述的实施例的各种特征加以组合。在权利要求中，术语包含不排除其它元件或步骤的存在。进而，尽管单独地列出，但是多个装置、元件或方法步骤例如可以由单个单元或处理器实施。另外，尽管单独的特征可以包含在不同的权利要求中，但是这些特征可能可以有利地加以组合，并且包含在不同权利要求中不意味着特征的组合不是可行的和/或有利的。此外，特征包含在一种类别的权利要求中不意味着限于这种类别，而是表示该特征在适当情况下可同样地应用于其它权利要求类别。进而，权利要求中特征的顺序不意味着特征必须按其工作的特定顺序，并且尤其是方法权利要求中的各个步骤的顺序不意味着必须以此顺序执行步骤。而是，可以以任何适当的顺序执行步骤。另外，单数的引用不排除多个。由此，对于“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的参考符号仅被提供作为说明的示例，而不应当被解释为以任何方式限制权利要求的范围。
权利要求
1.一种生成三维场景的遮挡观看位置的遮挡图像特性图的方法，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值；所述方法包含提供算法，该算法被安排用于为表示三维场景的图像生成作为观看位置的函数的图像特性图；通过对第一观看位置执行所述算法以生成(701)第一图像特性图； 通过对第二观看位置执行所述算法以确定(703)第二图像特性图，第二观看位置相对于第一观看位置具有第一偏移；并且响应于第一图像特性图和第二图像特性图生成(705 )遮挡图像特性图。
2.如权利要求1所述的方法，其中确定所述遮挡图像特性图包含通过将至少第一图像特性图和第二图像特性图平移至遮挡观看位置，生成(401、403、 405)与遮挡观看位置对应的图像特性图的修改组；以及通过从图像特性图的修改组的对应像素选择遮挡图像特性图的像素的图像特性，确定 (407)遮挡图像特性图。
3.如权利要求2所述的方法，其中图像特性图的修改组的对应像素之间的选择响应于对应像素的深度值。
4.如权利要求2所述的方法，其中对应像素之间的选择包含选择遮挡图像特性图的第一像素的图像特性，作为不具有与第一像素的对应像素的最前方深度相对应的深度值的对应像素的图像特性。
5.如权利要求2所述的方法，其中对应像素之间的选择包含选择遮挡图像特性图的第一像素的图像特性，作为具有与第一像素的对应像素的第二最前方深度相对应的深度值的对应像素的图像特性。
6.如权利要求2所述的方法，其中生成(401、403、405)图像特性图的修改组中的至少一个包含在平移之后，为与重叠图像区域相对应的像素生成多个图像特性值。
7.如权利要求1所述的方法，其中由遮挡图像特性图、第一图像特性图和第二图像特性图表示的图像特性包含选自由下述组成的群组的至少一个图像特性图像亮度； 图像色彩； 图像对象标识； 透明度；以及深度。
8.如权利要求1所述的方法，进一步包含通过对第三观看位置执行所述算法以确定第三图像特性图，第三观看位置相对于第一观看位置具有第二偏移；并且其中确定遮挡图像特性图进一步响应于第三图像。
9.如权利要求8所述的方法，其中所述第一偏移与所述第二偏移基本相反。
10.如权利要求1所述的方法，进一步包含生成图像信号，该图像信号包含遮挡图像特性图，并且仅包含该遮挡观看位置的图像特性图。
11.如权利要求1所述的方法，其中所述第一偏移对应于相对于屏幕深度处的对象从 2°到10°的区间中的观看角度偏移。
12.如权利要求1所述的方法，其中所述遮挡图像特性图、第一图像特性图和第二图像特性图是图像。
13.一种计算机程序产品，其用于执行如权利要求1-12中的任何一项所述的方法。
14.一种软件工具，其用于与三维建模计算机程序一起使用，从而生成三维场景的遮挡观看位置的遮挡图像特性图，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值，并且所述三维建模计算机程序包含算法，该算法被安排用于为表示三维场景的图像生成作为观看位置的函数的图像特性图；所述软件工具被安排用以执行以下步骤通过对第一观看位置执行所述算法以生成(701)第一图像特性图； 通过对第二观看位置执行所述算法以确定(703)第二图像特性图，第二观看位置相对于第一观看位置具有第一偏移；以及响应于第一图像特性图和第二图像特性图生成(705)遮挡图像特性图。
15.一种用于生成三维场景的遮挡观看位置的遮挡图像特性图的设备，所述遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值；所述设备包含用于提供算法的装置(101)，该算法被安排用于为表示三维场景的图像生成作为观看位置的函数的图像特性图；用于通过对第一观看位置执行所述算法以生成第一图像特性图的装置(103 )； 用于通过对第二观看位置执行所述算法以确定第二图像特性图的装置(105)，第二观看位置相对于第一观看位置具有第一偏移；以及用于响应于第一图像特性图和第二图像特性图生成遮挡图像特性图的装置(109)。
全文摘要
提供了一种生成三维场景的遮挡观看位置的遮挡图像特性图的方法。该遮挡图像特性图包含从遮挡观看位置被遮挡的至少一些图像特性值。该方法利用算法，该算法可为表示场景的图像生成作为观看位置的函数的图像特性图。该方法通过对这些位置执行所述算法以生成(701、703)不同观看位置的图像特性图。根据不同观看位置的图像特性图生成(705)遮挡图像特性图。特别地，图像特性图在一些示例中可以平移至遮挡观看位置，并且然后选择遮挡图像特性图的数据，作为来自平移的图像特性图的、不对应于最前方像素的像素(除非所有像素都具有相等深度)。
文档编号H04N13/00GK102204262SQ200980143021
公开日2011年9月28日 申请日期2009年10月21日 优先权日2008年10月28日
发明者F.格雷姆泽, V.菲洛明, 刘芳 申请人:皇家飞利浦电子股份有限公司