中间视合成和多视点数据信号的提取的制作方法

专利名称：中间视合成和多视点数据信号的提取的制作方法
技术领域：
本发明涉及中间视合成以及多视点数据信号的提取/构造。
背景技术：
3D视频(3DV)可向观看者提供所观看场景的纵深感知。这也被称为立体电影，但这又是常被局限于使用2D视频的传统技术的术语。最近，3DV越来越受关注，其范围包括从移动电话到3D电影[25]的系统和应用。日臻成熟的技术覆盖从摄像系统到3D显示的整个处理链。希望体验扩展视觉效果的消费者一方的认识和兴趣在逐渐增长，企业一方包括内容供应商、设备生产商、和经销商的认识和兴趣也在增长。产生3D深度印象(cbpth impression)需要观看3D显示的观众每只眼睛看到不同的景色。这些景色应该对应于从具有人眼距离的不同视点所拍的图像。换句话说，给用户提供所观看场景逼真的深度印象需要特定的3D显示技术，其确保每只眼睛同时只看到所呈现的一对立体图像中的一个图像[17]。过去，用户必须戴专用眼镜(视差图像、偏振现象、快门)。加上有限的视觉质量，这被看作是3DV系统在家庭用户环境广泛成功的主要障碍，而其他类型的应用，例如3D电影，由于其高的视觉质量，预期在未来数年内将迅速发展。更确切地说，3D显示器同时发出两个以上图像，这确保观众总是看到特定视点的一对立体图像[17]。基于视差图像、偏振现象、或快门技术的专用眼镜在过去实现这一目标是必要的，但是今天仍然适合广泛的应用。例如，成功地建立了基于眼镜的3D电影应用(例如 IMAX theatres (立体电影院))。在电影院，用户坐在椅子上不太可能移动，并且通常全神贯注地观看当前播放的电影。在这种情况下佩戴眼镜被广泛接受，并且运动视差不再是个大问题。因此，利用基于眼镜的显示技术的3D电影预期在未来数年仍然是标准。预期该市场将进一步增长，并且制造越来越多的经典2D电影，和3D影院能够播放的3D形式的电影。人们预期这将扩大用户的认识和增长用户接受程度，以及创造家用3DV应用的需求。然而，在居室环境中，用户期望是迥然不同的。戴眼镜的必要性被认为是3D视频在家庭用户环境中成功的主要障碍。现在利用多视点自动立体显示器[17]克服了该缺陷。 数个图像同时发出，但是该技术确保了用户只看到特定视点的一对立体图像。目前市场上的3D显示器能够同时显示九张或更多不同的图像，其中从特定的视点只有一对立体图像是可见的。具有这个无眼镜的多用户立体感例如在居室中是可以实现的。一群人在熟悉的沙发-电视环境中无需佩戴眼镜就可享受3D电影，而且同时可以从事我们所习惯的所有社会交流互动。当走来走去时，如果适当地安排连续的图像作为立体对，则可以支持逼真的运动视差印象。但是，从略有不同的视点传输9个以上相同3D场景的视图给家庭用户是极其低效的。该传输成本将无法证明附加价值的正确性。幸运的是，供选择的3D视频格式允许显著地降低原始数据速率。当使用该多视点视频加深度(MVD)格式时，只传输N个显示视图中的一个子集M。对那些M视频流而言，传输另外的每个像素深度数据作为补充信息。在接收端，基于深度的图像绘制(DIBR)被用于由所传输的MVD数据内插所有的N个显示视图[15]。因此，多视点视频加深度(MVD)格式允许大幅度地降低3DV系统的原始数据速率。 只传输N个显示视图中的一个子集M。此外，传输子集M的深度数据。如果有传输数据[17]， 那么通过中间视图内插在接收端可产生非传输的图像。3D系统通过同时显示多个视图而能够支持头部运动观看视差。特别地，例如具有倾斜透镜镜头技术的高分辨率LCD屏幕，9个同步视点是从飞利浦公司(Wiilips)商用地获得的[28]。在图10中具体说明用3D显示头部运动视差支持的原理。用户在位置1用右眼和左眼分别只看到视点视图1和视图2。另一个用户在位置3看到视点视图6和视点视图 7，因此支持多用户3D观看。假定用户从位置1移动到位置2。现在分别用右眼和左眼可看到图像2和图像3。 如果Vl和V2是具有适当的目距基线的一对立体图像，那么V2和V3等等也是，用户在这样的3D显示系统前移动，它将察觉到景物中物体的遮挡和非遮挡3D印象，结果取决于物体的深度。该运动视差印象不是无缝的，以及不同位置数目限制为N-I个。更确切地说，多视点自动立体显示过程N同步了从略有不同的视点显示相同3D场景的视频信号。与正常的2D视频相比较，这极大地增加了原始数据速率。已经显示出，专用多视点视频编码(MVC)包括从邻近视点采集的视频信号的视点间(inter-view)预测， 与所有视频信号的独立编码(同时播放(simulcast))相比较，其可将总比特率降低20% [20]。这意味着降低单个视频比特率的20%乘以N。对于9-视点显示MVC仍然需要7. 2 倍于相应的单个视频比特率。如此增加很显然阻止了成功应用3DV。进一步，在[20]中也已经显示出MVC的总比特率随N呈线性增长。因此，未来显示更多视图将要求更高的总比特率。最后，如果与MVC —样确定传输格式中的视图数，这并不能提供充足的灵活性支持当前和未来任意类型的3D显示。对于2-视点显示器(或小数目的视点显示器)而言，展示了不同的方法，同时提供了高压缩效率以及扩展功能。代替传输一个立体视频对，使用一个视频和相关的每个像素深度图。该深度图将景深值分配给视频信号的每个像素，以及用此提供3D场景描述。该深度图可视为单色视频信号，以及使用可用的视频编解码器来编码。这种情形的视频加深度(V+D)被限定为3DV数据格式[7]。近来已经通过MPEG[11]，[12]发布了被称为MPEG-C part 3的相应标准。从解码的V+D，接收器通过DIBR可产生第二视频作为立体对。实验已经显示出，在大多数情形下可有效地压缩深度数据。相应的彩色视频必需的比特率只有大约 10-20%需要进行质量让人满意的深度压缩。这意味着使用解码的深度绘制的最后的立体对是相同的视觉质量，就好像传输了 2个视频信号。众所周知DIBR引入假象(artifacts)。 产生虚拟视图需要将图像内容外推到一定程度。从虚拟视点来看，3D场景中落后于可用的原始视频中前景物体的遮挡部分可变得可见。如果虚拟视点接近于原始摄影位置(如，对应于图20中的Vl和V2)，那么遮蔽无覆盖物的图像区域与有限的假象一起很好地运作。因此，对具有小数目视点的3D显示来说，V+D是极好的概念。但是，随着虚拟视点的距离增加， 外推假象也增加。因此，概念V+D不适合于具有大量视点和在很宽的范围内支持运动视差的3DV系统。因此，MVC和V+D都不适合于具有大量视点的先进3D显示系统。解决方法是如图 20. 9中示出的MVD的扩充和组合，其显示出视点视图V1-V9。MVC的直接编码是极其低效的。只传输一个具有深度图的视频例如V5+D5将导致外部图像不能接受的质量。使用MVD 格式，具有深度图的M = 3图像的子集传输给接收器。通过DIBR产生中间视点视图V2-V4 和V6-V8。它们足够接近于可用的原始视点视图，从而最小化外推误差。进一步，可以从2 个方向(左边和右边的邻近视点视图)内插获得中间视点视图，因此，可以广泛地最小化无覆盖问题。例如，为虚拟视点视图产生的区域在左边视点视图是遮挡的，其在右边视图中极有可能是可见的。但是，仍然有可能需要外推在原始视图和最终视图中均遮挡的部分。该先进的3DV系统概念包括许多复杂的处理步骤，其部分尚未解决，仍然需要研究。仍然需要开发采集系统并优化，其包括多级摄影系统、可能的深度采集器件、以及其他可能只支持传感器和信息源的类型，例如，光[8]，[22]。发送器一方信号处理包括很多先进的算法，例如摄像机标定、色彩校正、调整、分割以及深度估计或产生。后者对DIBR来说很重要，因为深度估计的任何误差都导致绘制的输出图像质量下降。深度估计或产生的主题在计算机视觉领域是广泛研究的，其可包括同样半自动地处理[16]，[18]，[26]，[29]。一般3DV格式的最优参数化设置仍然需要调查研究，这包括传输具有深度和设置/间距的图像数。大多数MVD数据的有效压缩仍然有待发现，特别是最优深度处理。通常应当为不同的信道考虑传输问题。最终在解码之后，从解码的MVD数据中绘制出N个输出图像。这里具有很少的高质量假象对整个概念的成功来说是至关重要的。最终，具有最少的明显假象的高质量图像内插对3DV系统的成功来说是至关重要的。特别地沿着深度不连续性物体边缘产生内插假象。因此，内插概念允许避免沿着这样的边缘产生假象，这将是有利的。进一步，如果存储3DV数据的压缩率能够降低，而不会明显降低或完全保持可获得的3DV结果，那么这将是有利的。

发明内容
首先，本发明的目的是提供用于中间视合成和多视点数据信号提取的概念，其允许减少假象和/或提高压缩率，从而提供多视点数据。通过分别根据权利要求1和22中的一个设备、根据权利要求35的多视点数据信号、和根据权利要求36或37的方法实现了该目的。构成本发明基础的基本思想是当投影和融合不同视点的图像时，处理相对于非边界部分次级的前景/背景边界区域，有助于避免或减少假象，以及反过来，也可使用该认识以保证质量的方式移除多视点数据信号中的不相关信息。因此，根据本发明的第一个方面，中间视合成用于将对应于第一视点的第一图像和对应于不同于第一视点的第二视点的第二图像合成为中间视点图像，它的执行是通过基于其深度信息检测第二图像中的前景/背景边界，确定前景/背景边界区域为沿其扩展的区域，以及使用该区域仅仅是为了填补初始的中间视点图像中的空洞，该初始的中间视点图像是通过投影和融合第二图像的剩余部分连同至少第一图像的部分而获得的。通过该方法，各自的前景/背景边界区域仅仅以相对于第二个图像的剩余部分以次级 (subordinate)的方式来使用，因此不会负面影响到投影-和_融合结果，另一方面，仍有助于填补空洞，否则会产生空洞。根据本发明的第二个方面，多视点数据信号提取用于从多视点表示中提取出多视点数据信号，此多视点表示包括对应于第一视点的第一图像和对应于不同于第一视点的第二视点的第二图像，通过检测第二图像中的前景/背景边界，确定第二图像的去除左边边界部分为沿前景/背景边界的扩展，以及将无去除左边边界部分的第二图像投影到所述第一视点，确定第二图像的去除左边边界部分，从而获得具有非遮挡区域的第二图像的投影变体。然后，第二图像连同第一个图像的部分被插入到多视点数据信号中，插入的第一图像的部分取决于非遮挡区域在第二图像的投影变体内的位置。例如，要被插入到多视点数据信号的第一图像的部分是由非遮挡区域在第二图像的投影变体内的位置来确定的。根据本发明的实施例，前景/背景边界区域是通过检测前景/背景边界，在周围限定η-样本宽的区域，以及将该区域分别一方面分割为前景边界部分和另一方面分割为背景边界部分而获得的，此背景边界部分表示前面提及的去除左边边界部分，以及此前面提及的背景边界部分仅仅是用来填补初始的中间视点图像的空洞。在以下将参考附图更详细地说明本发明的优选实施例。具体地，


图Ia示出了根据本发明实施例的中间视合成设备的方框图；图Ib示出了根据本发明的另一实施例的中间视合成设备的方框图；图Ic示出了根据本发明的实施例的多视点数据信号提取设备；图2示出了根据本发明的实施例的对示例性图像的层分配，示例性的图像被分成前景边界部分(黑色)、背景边界部分(白色)、和非边界区域(灰度值)；图3示出了根据实施例由保护和融合两个不同图像的两个非边界区域产生的中间视点视图；图4示出了根据实施例在使用由过滤和/或空洞填补移除其之后的背景边界部分及其外观投影-和-填补步骤之后产生的不同的假象(从左到右)；图5示出了根据实施例移除假象之后的中间视点图像；图6示出了根据实施例的9-视点自动立体显示器的立体对距离的五个视点视图， 也就是在原始摄像机位置(极左和极右)的两个视点视图，以及芭蕾舞这(上)和霹雳舞这顺序(下)的中间视点视图；图7示出了根据实施例的中间视合成方法的一系列方法步骤的示意图；图和图8b示出了根据实施例的中间视点视图，其是由一方面投影和融合两个不同视点视图和另一方面前景/背景边界区域的次级视点视图产生的；图9示出了中间视点视图的详细部分，其是通过一方面简单融合的中间视合成和另一方面根据本发明实施例的中间视合成而产生的；图10示出了根据本发明的实施例说明的基于LDV的3DTV概念的示意图；图11示出了根据实施例将图像进一步划分为一方面去除左边边界部分(白色) 和另一方面剩余部分(灰色)的结果；图12示出了由中间视点视图投影到两个边视点产生的图像，其省略了去除左边边界部分；图13示出了根据实施例从图12中图像获得的两个图像，其是通过过滤移除不希望有的ι-像素-宽的深度值从而获得非遮挡区域；图14示出了根据实施例的边视点视图和图13投影的中间视点视图之间的排除差异(exclusion difference)的结果；图15示出了根据实施例的不同的剩余数据变体；图16示出了根据实施例由从两个边视点视图投影产生的另一个中间视点视图；图17示出了根据实施例的过滤后最终的视合成图像，即左边的中间视点视图加左剩余数据以及右边的中间视点视图加右剩余数据；图18示出了中间视点视图的详细部分，此中间视点视图是一方面通过简单融合的中间视合成和另一方面根据本发明的实施例的中间视合成产生的； 图19示出了 LDV和MVD的中间视合成图像之间的对比；以及图20示出了说明基于MVD的先进3DVT概念的示意图。
具体实施例方式图Ia示出了中间视合成设备10，其用于将对应于第一视点Vl的第一图像14和对应于第二视点V2的第二图像16合成为中间视点图像12，此第二视点V2不同于第一视点 VI，第一和第二图像包括深度信息Dl和D2。第一图像14和第二图像16可具有与深度信息 Dl和D2相关联的单色或彩色信息Vl和V2。特别地，虽然有可能深度和彩色信息的空间分辨率可以是不同的，但是两者可包含每像素的样本值。第二图像16被划分为非边界部分16a和前景/背景边界区域，在图Ia中分别用白色部分表示前者和用阴影线部分表示后者，其中中间视合成设备构造为将第一图像14和第二图像16投影和融合到中间视点，从而获得中间视点图像12，以及处理相对于非边界部分16a次级的前景/背景边界区域16b。根据以下进一步描述的实施例，中间视合成设备10被构造为使用至少一部分前景/背景边界区域16b，仅仅来填补本将会在中间视点图像12中产生的空洞，通过使用第二图像16的与部分前景/背景边界区域16b分离的分离部分，投影和融合成中间视点图像 12。根据图lb，更详细地描述了中间视合成10的进一步实施例。根据该实施例，第二图像16的前景/背景边界区域16b划分成前景边界部分和背景边界部分，此背景边界部分形成前面提及的用来填补空洞的部分。因此，上面提及的部分可对应于背景边界区域。图Ib中的中间视合成设备10包括前景/背景边界检测器18，其作为检测第二图像16中的前景/背景边界区域16b的装置；以及细分器20，其作为将第二图像的前景/背景区域16b划分为前景边界部分16bl和背景边界部分16b2，以便于第二图像16划分为非边界部分16a、前景边界部分16bl、和背景边界部分16 的装置。进一步，中间视合成设备10包含投影-和-融合级22，用于将第二个图像16的非边界部分16a和前景边界部分 16bl连同至少第一图像14的一部分一起投影和融合到中间视点，从而获得如箭头M所示的初始的中间视点图像。提供投影-和-填补级沈用来将第二图像16的背景边界部分16 投影到中间视点，以及通过投影的第二图像16的背景边界部分来填补初始的中间视点图像M的空洞， 从而获得中间视点图像12。比较图Ia和图Ib的实施例，以下变得清晰，在图Ib的情形中边界区域检测和划分在设备中执行，而在图Ia的实施例中，假定为已经完成此步骤，以及附近的信息诸如以边信息的形式与第二图像16b相关联。因此，根据进一步实施例，中间视合成设备10可包括用于获得层信息的装置，此层信息将第二图像的非边界部分16a、前景边界部分16bl、和背景边界部分16 与多视点数据信号区别开，后者表示取代图Ib中的模块18和20。如图Ib中通过虚线进一步说明的，中间视合成设备10还可包括前景/背景边界检测器18’和前景/背景细分器20’，前者作为检测第一图像14中的前景/背景边界区域的装置，后者作为将第一图像的前景/背景边界区域划分为前景边界部分和背景边界部分的装置。换句话说，在中间视合成设备10中，用于检测的装置18可构造为也检测第一图像 14的前景/背景边界区域，装置20可构造为也将第一图像14的前景/背景区域划分为前景边界部分和背景边界部分，以便于第一图像14也被划分成非边界部分、前景边界部分和背景边界部分。在这种情形下，投影-和-融合级22可构造为将第一图像14和第二图像 16的非边界部分和前景边界部分投影和融合为中间视点视图，从而获得初始的中间视点图像24，以及投影-和-填补级沈也可构造为投影第一图像14和第二图像16的背景边界部分，以及通过投影的第一图像14和第二图像16的背景边界部分来填补初始的中间视点图像M中的空洞。根据供选择的实施例，在中间视合成设备10中，用于根据多视点数据信号获得层信息的装置可获得层信息，其至少将第一图像的非边界部分和背景边界部分与多视点数据信号区别开。检测器18’和细分器20’将是不必要的。中间视合成设备10可包括刚刚提及的获得器作为替代。但是，用于投影和融合的装置22将被构造为将第二图像16的非边界部分16a和前景边界部分16bl以及第一图像14的非边界部分投影和融合到中间视点， 从而获得初始的中间视点图像对，用于投影和填补的装置26将被构造为投影第一图像14 和第二图像16的背景边界部分，以及通过投影的第一图像14和第二图像16的背景边界部分来填补初始的中间视点图像M中的空洞。或者，多视点数据信号可包含，例如，作为边信息的层信息，其区别第一图像14的非边界部分、前景边界部分、和背景边界部分。因此根据该实施例的中间视合成设备10可包含获得该层信息的装置，该层信息用来区别第一图像14的非边界部分、前景边界部分和背景边界部分，其中用来投影和融合的装置22可被构造成将第一图像14和第二图像16的非边界部分和前景边界部分投影和融合到中间视点，从而获得初始的中间视点图像M，用于投影和填补的装置26被构造为投影第一图像14和第二图像16的背景边界部分，以及通过投影的第一图像14和第二图像16的背景边界部分来填补初始的中间视点图像M中的空洞。例如，检测器18可包含边缘检测器，其用于在深度信息D2中检测边缘，边缘周围的η-样本-宽的区域表示前景/背景边界区域161^2。相应地，细分器20可被构造为将 η-样本-宽的区域划分为前景边界区域和背景边界区域。例如，细分器20可被构造为通过比较前景/背景边界区域16b的样本/像素内深度信息D2的深度与阈值，从而确定样本 /像素属于前景边界部分16bl还是背景边界部分16 来进行划分。就这一点而言，细分器可被构造为通过计算诸如深度信息D2的深度值的平均数或中间值的集中趋势来获得阈值。特别地，细分器可被构造为通过由与前景/背景边界区域16b中各样本/像素邻近的样本/像素的深度信息D2的深度值计算各样本/像素的集中趋势，局部地获得阈值，例如基于属于前景/背景边界区域16b和邻近各样本/像素的邻近样本/像素。
在上述第一图像14和第二图像16同时被划为非边界区域和边界区域的实施例中，投影-和-融合级22可被构造为将第一图像14和第二个像16的非边界部分投影和融合到中间视点，从而获得非边界中间视点图像，其中非边界部分的融合包含在第一图像14 和第二图像16之间取平均值，以及将第一图像14和第二图像16的前景边界部分投影和融合为非边界中间视点图像对，其中前景边界部分的融合包含在非边界中间视点图像M的样本以及投影第一图像14和第二图像16的前景边界部分产生的位于一处的样本之间选择，而不是取其平均值。至于考虑到投影机构，投影-和-融合级22以及投影-和-填补级沈可被构造为通过分别使用相关联的深度信息Dl和D2将2D样本投影为3D样本从而获得3D世界点 (world points)以及将3D世界点投影到中间视点，来执行到中间视点的各投影。特别地， 投影-和-融合级22以及投影-和-填补级沈可被构造为通过在第一视点和第二视点的投影矩阵之间内插来计算投影矩阵，以及通过使用投影矩阵执行3D世界点的投影。事实上，投影-和-融合级22与投影-和-填补级沈可被构造为通过按取决于偏离中间视点的量二维地(或在像素平面内)移动样本位置来执行到中间视点的各投影。当然，平面内的移动可限制为沿着一个维度移动，例如，沿着行(row)/列(line)方向，因为，例如，使用相同的放大率、分辨率等已经采集了所有图像，同时使像素行记录到彼此的垂直方向。下文中，将使用一般术语在-像素-平面或二维移动，它们应该含有刚刚概述的可能性从而将移动限制在一个维度内。可使用进一步的二维内插将投影点/像素映射到规则的目标像素网格中，如中间视点。仅通过同时使用投影的第一视点的像素和投影的第二视点的像素就可执行融合，从而获得目标视点图像。其次，可使用内插将投影的像素融合成一个规则的目标图像的像素网格。进一步，应当注意的是，可选择地，可以提供增强器观，其通过过滤和/或外推到中间视点图像M的剩余空洞来增强中间视点图像对。这样的增强器观可通过检测中间视点图像M的前景/背景边界区域，以及在中间视点图像M的前景/背景边界区域内进行低通滤波来增强中间视点图像。以下，将描述前述实施例的详细例子，其中第一图像和第二图像是MVD或LDV视频的部分，以及某些例子，其中中间视合成设备是3DTV显示系统的部分。但是，在那之前，描述的另一个实施例适合于高效地编码多视点视图。图Ic示出了多视数据信号提取设备30，如箭头32所示，其用于从多视点表示 (representation)中提取多视点数据信号其中多视点表示包含对应于第一视点的第一图像34和对应于第二视点的第二图像36，第二视点与第一视点不同，第一图像34和第二图像36分别包含深度信息Dl和D2。多视点数据信号提取设备30包括前景/背景边界检测器38和去除左边边界部分检测器42，前者用于检测第二图像36中的前景/背景边界40， 后者用于确定第二图像36沿着前景/背景边界40的去除左边边界部分44。投影器46被设置为将无去除左边部分44的第二图像36投影到第一视点，从而获得由于投影而具有非遮挡区域50的第二图像的投影变体(version) 48。插入器52响应于非遮挡区域50在第二图像的投影变体48内的位置，将第二图像连同第一图像34的部分插入到多视点数据信号 32，所述第一个图像的部分取决于非遮挡区域在第二图像的投影变体内的位置。具体地，多视点数据信号提取设备30可包含确定器M，其用于根据非遮挡区域50在第二图像的投影变体48内的位置确定第一图像34的部分从第二图像的投影变体48内的非遮挡区域50的位置插入到多视点数据信号32的第一图像34的部分。就是说，确定器 54可将插入到多视点数据信号32的第一个图像34的部分确定为第一个图像34的区域，分别地，第二图像的投影变体内的非遮挡区域50遍布此区域，或此区域被区域50占据。投影器46可被构造为将无去除左边边界部分44的第二图像36也投影到图Ic未示出的第三视点，但有选择地，以便于第二个视点位于第一视点和第三视点之间。通过这种方法，可获得具有非遮挡区域的第二图像的进一步投影变体，插入器52可被构造为将第二图像、第一图像34的部分、和第三图像的部分插入到多视点数据信号32中，第一图像34的部分和第三图像的部分也取决于非遮挡区域在第二图像的进一步投影变体内的位置。插入器也可被构造为将诸如边信息形式的层信息插入到多视点数据信号32，该层信息至少区别第二图像36的非边界部分56和去除左边边界部分44。进一步，可选择地，阶段58可有效地连接在投影器46和插入器52之间，阶段58 用于填补由投影第二图像的投影48产生的小空洞和/或过滤第二图像的投影变体48。插入器52可被构造为丢弃第一图像34的剩余部分，此部分与由例如确定器M选择的取决于非遮挡区域50在第二图像的投影变体48内的位置的部分分离，以及在多视点数据信号32中用信号表明该丢弃，例如通过将各自的像素值设定为默认值。检测器38可被构造为通过使用在深度信息中检测边缘的边缘检测器来检测前景 /背景边界40，其与上述提及的作为前景/背景边界检测器18的部件类似。相应地，检测器38可被构造为将边缘周围的η-样本-宽的区域分割为前景边界部分、和背景边界部分， 利用背景边界部分定义了上述提及的去除左边部分44。这里并不关心前景部分，因此在图 Ic中没有示出前景部分。因此，检测器38产生的效果类似于图Ib中的细分器，因此，可通过比较η-样本-宽的区域的样本的深度信息的深度与阈值来实现分割，从而确定样本属于前景边界部分还是背景边界部分，以及相应地，阈值可通过计算上面描述的η-样本-宽的区域的样本等的邻近样本的深度信息的深度值的集中趋势而获得。进一步与图Ib相对应， 投影器48可被构造为通过使用相关联的深度信息将2D样本投影为3D样本从而获得3D世界点，以及将3D世界点投影到中间视点，来执行到第一视点的各投影。具体地，投影器46 可被构造为通过在第一视点的投影矩阵和第二视点的投影矩阵之间内插来计算投影矩阵， 以及使用投影矩阵执行3D世界点的投影。一般地，投影器46可被构造为通过根据偏离中间视的量二维地(或在像素平面内)移动样本位置来执行到中间视的各投影。由设备30获得的多视点数据信号32，一般地，包含关于对应于第一视点的第一图像34和对应于第二视点的第二图像36的数据，第二视点不同于第一视点，该第一图像34 和第二图像36包含深度信息Dl和D2。但是，只有第一图像34的部分包括在多视点数据信号32内，而其分离部分在多视点数据信号32中被丢弃。包括的部分取决于非遮挡区域50 在第二图像36的投影变体48内的位置，投影变体48是由将无去除左边边界部分44的第二像36沿着第二图像36的前景/背景边界40扩展而投影到第一视点产生的。仅刚刚提及的第一图像34的部分插入到该多视点数据信号32中，该信号32可以是前文关于图 Ia和Ib提及的第一个图像14的部分，第二图像的投影变体与其一起融合。下文提出的用于先进的3DV系统的解决方法是如本说明书的引言部分描述的MVD 的扩展和组合。在图20的例子中，示出了基于MVD的先进3DTV概念(Pos 观察点，R 右眼，L 左眼，V 视点视图/图像，D 深度)，只有M = 3的视图的子集被传输给接收器。对这些作为说明的视点而言，精确取样的深度图应该在发送器一方产生，并与视频信号一起运送。 在该情形中，每个深度值被分配给每个原始视频样本。通常把深度图当作如图2示的灰度图。在接收器显示的所有其他图像都由DIBR产生。这样的基于MVD格式的3DV系统的设计包括一些有待于研究的困难和部分未解决的难题。这包括多视点采集、深度估计/产生、系统的参数化设置(如输入视点的数目)、深度数据的有效压缩、传输和绘制。在以下实施例中，根据实施例说明目标接收器边绘制。在引言部分呈现的3DV概念依赖于在接收器高质量中间视点视图内插算法的有效性。内插假象可导致不可接受的性质。在图20的例子中，例如从位置2只能看到虚拟视点视图。立体设置中的典型摄影距离是5cm。这表示原始视点视图Vl与V5之间的跨度是 20cm，这段距离用DIBR是很难处理的。特别地沿着具有巨大的深度不连续性的物理边缘会产生一些已知的假象。另一方面具有平滑深度变体的区域可非常可靠地投影到虚拟中间视点。这意味着分开处理深度不连续性和平滑深度区域。使用边缘检测算法在深度图像内可以很容易地发现深度不连续性。因此，下文提出的内插过程由三个部分构成层提取(边缘检测以及划分为可靠和边界区域)、层投影(划分区域的DIBR和融合)、和空洞填补&过滤(校正、清理、和过滤)。为了应用自由视点导航(navigate)在[30]中已经调查研究了对分层方法起作用的思想，其中沿着明显的深度不连续性提取了某些宽度的边界层。在以下的方法中，进一步改进了该思想。而且，在[30]中的方法使用用于绘制的几何基元(三角)操作，下面的实施例仅仅用基于图像的3D图像变换操作。因此，不需要3D图形支持和几何建模。不利的一面是，引入了某些投影假象，可以如下面描述的移除此假象。换句话说，下文提出了多视点3D显示的视频系统，其中数据表示 (representation)由多视点视频和景深构成。至多传输3个多视点视频信号，连同深度数据一起在接收器产生中间视点视图。提出了这样的中间视点视图内插方法，其沿着深度不连续性分离可靠的图像区域与不可靠的图像区域。用不同的算法处理和融合这些图像区域，从而获得最终的内插视点视图。与先前分层的方法相比较，使用了两个边界层和一个可靠层。而且，提出的技术并不依赖于3D图像支持，而使用基于图像的3D图像变换作为替代。 为了产生质量增强的中间视点视图，描述了空洞填补和过滤方法。因此，提出了适用于现存的9-视点自动立体显示器的高质量中间视点视图，其证明了适用于先进3D视频(3DV)系统的方法的适合性。在绘制方法的第一部分——层提取中，区分了原始视图中的可靠和不可靠的深度区域。一般而言，层提取对应于图Ib中的模块18和20的功能。沿着物体边界的区域认为是不可靠的，因为边界样本通常具有混合的前景/背景颜色，并在投影到新的视点之后会产生假象。进一步，深度估计的误差主要使物体边界失真。因此，类似于[30]，检测明显的深度不连续性从而创建主层和边界层。为此，可使用Carmy边缘检测器[2]，其对深度图像进行操作，将沿着检测边缘的7-样本-宽的区域标记为不可靠的。与[30]相比较，该区域被分割为前景边界层和背景边界层(分别如图2所示的黑色区域和白色区域)，从而允许不同的处理，如下一小节所示。换句话说，图2示出了沿着明显的深度不连续性的层分配前景边界层(黑色)、背景边界层(白色)、和主层(灰度值)。
该第二部分——层投影是视点视图内插算法的主体，对应于图Ib中的阶段22和 M的功能。输入为如图2所示的左边原始图像和右边原始图像、相关联的深度图、相关联的摄像机标定信息、和相关联的标示信息。输入图像的不同标示区域分开地投影到虚拟视点位置，并遵循可靠性准则融合结果。中间视点投影是经典的基于图像的3D图像变换首先，使用相关联的深度值和摄像机标定信息将原始的2D视点的样本投影到3D空间。其次，作为结果的3D世界点正向投影到要产生的中间视点视图。使用位置相关参数λ e W... 1]，根据相关的两个原始视点的矩阵内插第二步骤中限定虚拟视点位置的投影矩阵，，其中例如λ =0.5定义了中间位置。这是使用球面线性内插[24]完成的，适用于原始摄像机之间的直线路径上的任意位置。遵循该方法，利用相应的浮点深度数据Cl1和d2，两主层(如，根据关于图la-c使用的措辞“非边界部分”)都投影到分离的颜色缓冲区I1和12，源于以上数据创建了公共主层1。，如下其中λ表示上面提及的位置相关参数，ε表示标准差(signigicance value)，本实验中其设定为1. 0。该方法保证使用每个视点的最前方样本，或是如果两个样本具有相似的深度值，那么对这两个样本都进行λ-内插。当从一个原始摄像机视点导航到另一个视点时，内插进一步降低了原始视点视图之间可能的亮度差异，提供了平滑的过度。图3示出了投影之后作为结果的公共主层。根据(1)的内插过程还创建了公共浮点深度缓冲区。在下一个步骤中，前景边界层(也就是图la-c的措辞中的“前景边界部分”)被投影以及创建颜色和浮点深度的公共层，这类似于上面所述的主层方法。然后，融合公共主层和前景边界层。这里使用简单的深度测试采用任一个层的最前方样本，其通常是前景边界样本。到现在为止，此功能对应于阶段22的功能。在投影过程的最后一个步骤中，背景边界层，也就是图la-c中的背景部分被投影。使用该信息仅仅是为了填补中间视点视图的剩余空洞。这对应于图10中阶段M的功能。由于公共主层已经覆盖了前景物体周围的大多数样本，如图3所示，仅仅使用很少的背景边界样本，因此原始视图的物体边界的颜色失真样本被省略。已知使用简单的3D图像变换算法在背景区域内创建象日冕(corona-like)的假象，利用2种不同的边界层的该分层方法避免了这一点。该算法的最后一部分，空洞填补&过滤是校正、清理和过滤过程。其对应于图Ib中的增强器观的功能。在该阶段的绘制图像中仍可产生两种类型的空洞微裂纹和更大的空白区域。第一种类型的空洞是在整个图像区域内产生的微裂纹，其可由基于图像的3D图像变换的正向映射性质引入。原始图像的每个点都分别地投影到中间视点，以及一般落在浮点坐标上。该位置量化为整数样本光栅的最近邻位置。让人遗憾的是，量化可使某些未填补的样本可见，如图3中细细的黑线所示。在某些情形中，前景区域中这样的裂纹由其他原始图像的背景信息填补。这导致如图4中左边所示的假象，其中背景样本表现出来(shine through)前景物体。在图4中，顶线示出了不同的假象，而底线示出了移除假象(具体地，移除裂纹样本(左边)、填补区域(中间)和平滑边缘(右边))之后的相同部分。这样的假象是通过查找深度值来检测的，该深度值与其在水平、垂直、或对角方向的邻近值是明显不同的。然后，假定已经校正了所分配的深度值，用中值过滤填补假象，即通过计算邻近彩色值的中间值。也在图4的左边示出这样的假象的校正。第二种类型的空洞包括更大的空白区域。这些空洞要么是由于错误的深度值而产生的，要么是在两个原始视图中被遮挡而在中间视点视图中变得可见的区域。这样的更大空洞用可用的背景信息填补，如图4的中间所示。这里，分析沿着空洞边界的对应深度值， 以便于找到背景颜色样本从而外推到空洞区域。当该方法使得很好地填补了由于深度误差引起的空白区域时，有时错误地根据前景信息填补非遮挡区域，因此显示错误的颜色。最后，沿着边缘低通滤波前景物体从而提供逼真的外观，如图4中的右边所示。在原始视图中，由于在图像捕获期间最初的取样和过滤，物体边界样本是前景-背景的颜色混合。在本发明的分层方法所绘制的中间视点视图中，通常不包括这些混合颜色样本，为的是避免背景中出现日冕状假象。因此，某些前景-背景边界看起来锐化的不自然，就好像前景物体是人为地插入到场景中的。因此，上面提及的Carmy边缘检测滤波器应用于最终的深度信息以便于识别边缘，平均低通滤波器应用于相应的颜色样本以便于提供更逼真的外观。此外，过滤有助于减少沿着深度不连续性的剩余假象。所有处理步骤之后作为结果的中间视点视图在图5中示出，因此图5示出了过滤之后的最终中间视点内插，是图Ib中的中间视点图像12的例子。这里，两个原始的摄像机之间的中间视点视图被合成，即λ =0.5，在该情形中其对应于两个原始摄像机之间IOcm 的物理距离。虚拟视点视图品质优良且无可见的假象。视点视图内插器的目的是用M个视点加深度的MVD表示为3DV系统创建N个输入视点视图。一个例子是Wiilips自动立体显示器，其中需要具有目距(大约5cm)的9个视点作为输入。对如图20所示的设置而言，在图6中示出了作为芭蕾舞者和霹雳舞者数据集中9个视点视图结果的五个。这些数据集的摄像机间距是20cm。在两个原始的摄像机之间已经创建了 λ = {1/4,1/2,3/4}的三个中间视点。图6中最左边和最右边的图像是原始视点视图。中间的三个图像是未显示任何假象的虚拟视点视图。成对的立体视点有效地支持运动视差和3D深度印象。换句话说，图6示出了 9-视点自动立体显示器的立体对距离的五个视点视图在原始摄像机位置(极左和极右)的两个视点视图以及芭蕾舞(顶部) 和霹雳舞顺序(底部)的中间视点视图。概述以上实施例，描述了用于先进3D视频(3DV)系统的概念，此3DV系统基于多视点和深度(MVD)表示。与基于MVC或MPEG-C Part3的可选择的概念相比，从数据速率、 质量、和功能方面来说，该3DV系统具有明显的优势。特别地，高质量的中间视点视图内插算法对使该概念可行而言是决定性的。上面提出了适当的方法，其最小化所绘制视点视图中的假象。该算法仅仅以基于图像的3D图像变换为基础，并不需要3D图形支持。刚描述的实施例引入不可靠图像区域沿着深度不连续性分离的前景边界层和背景边界层。分别处理边界层和可靠层，以及遵循可靠性准则融合输出。而且，已经执行空洞填补算法产生中间视点视图中空白颜色信息。颜色样本沿着明显的深度不连续性的最终低通滤波可提供更为逼真的外观，并减少沿着边缘的剩余假象。视点视图内插可由位置相关参数来控制，此参数降低了原始视图之间亮度差异的影响。随即，已经说明了高质量的中间视点视图绘制对基于MVD的3DV概念的必要性。以下部分描述了本发明的第二个实施例，与第一个实施例相比较更详细。此外，该实施例把重点放在日益增长的3D视频应用和系统，3D视频应用和系统迅速增长且技术日益成熟。预期多视点自动立体显示器在家庭用户环境中将扮演重要角色，因为它支持多用户3D感觉和运动视差印象。极大的数据速率不可能通过表示和诸如MVC或MPEG-C Part 3的编码格式获得有效地处理。多视点视频加深度是有效地支持这样的先进3DV系统的新格式，但是这需要高质量的中间视合成。为此，下面提出的方法沿着深度不连续性分离可靠图像区域与不可靠图像区域，这两区域被分别处理并融合为最终的内插视点视图。与先前的分层方法相比较，下面的算法使用两个边界层和一个可靠层，只执行基于图像的3D图像变换，而不依赖于3D图形支持。而且，加入了不同的空洞填补和过滤方法，从而提供了高质量的中间视点视图。因此，提出了适用于现存的9-视点自动立体显示器的高质量的中间视点视图，其证明了适用于先进3DV系统方法的适合性。该概念依赖于高质量的中间视合成算法。下面给出这样的DIBR或3D图像变换的一般表达。已知DIBR产生可察觉的假象，特别地沿着具有深度不连续性的物体边界产生所述假象。因此，下面的实施例引入了新颖的 DIBR算法，其中在分层方法中处理深度不连续性，图像区域被标记为可靠和不可靠区域。然后呈现标准3D图像变换的结果和改进。最后，总结了第二个实施例。首先，系统地阐述了基于深度的中间视合成。在3DV框架内我们假定为每个原始视点k给定以颜色数据lk、深度数据dk、和摄像机参数形式的输入数据。可通过Ik的捕获过程和相关联的dk深度摄像机或深度估计过程来提供该数据。作为例子，适用于先进3DTV 概念的原始视点显示在图20底部，其中k e {1,5,9}。每个原始视点k的摄像机参数以内部矩阵Kk的内部参数(焦距、传感器缩放、主光点)，以及具有旋转矩阵&和平移向量tk的外部矩阵[&|tk]中的外部参数(旋转、平移)的形式给定。可通过标准的摄像机标定算法 [27]、[6], [9]获得摄像机参数。通常，外部矩阵和内部矩阵相乘从而获得投影矩阵Pk = Kk[Rk|tk]，其将3D世界点投影到原始视点k的平面图像。因此，原始视点由下面给出Lk (Uk，vk)Dk (Uk，vk)(1)Pk在每个像素位置(uk，vk)给定的框架提供了许多稀疏的原始摄像机，以(1)的形式。视合成的任务是在任意对邻近的原始摄像机之间提供稠密的中间视点。对该内推过程的数学推导而言，根据 (1)给定两个原始视点k和η。对两个摄像机之间的任意虚拟视点位置而言，引入内插参数 λ e W... 1]，其中λ =0是指第一个原始观察位置，λ = 1是指第二个观察位置和λ = 0.5例如定义了中间位置。对中间视点1λ( !λ，νλ)而言，首先计算出相关联的内部矩阵和外部矩阵Κλ = (I-X)Kk+λ KntA = (l_X)tk+Xtn(2)Ra = slerp(I k，Ι η，λ)这里，除了旋转矩阵中的参数之外，所有参数都是线性内插的，其中球面线性内插 [24]用来保持矩阵的正交性。为此，分别内插矩阵Rk和Ι η的列向量，从而获得Ra的列向量。示出矩阵I的第一列向量Rji，l)的示例性计算 η /. ι ν f / w% / ·%\ 9% / ν λ ν sin (Cl *** λ ^iZ ι )JS!t fifc
权利要求
1.一种中间视合成设备(10)，用于将对应于第一视点的第一图像(14)和对应于第二视点的第二图像(16)合成为中间视点图像(12)，所述第二视点不同于所述第一视点，所述第一图像和第二图像包含深度信息，其中所述第二图像(16)被划分为非边界部分(16a)和前景/背景边界区域(16b)，其中，所述中间视合成设备被构造为将所述第一图像(14)和所述第二图像(16)投影和融合到中间视点，从而获得所述中间视点图像(12)，以及处理相对于所述非边界部分(16a)次级的所述前景/背景边界区域(16b)。
2.根据权利要求1所述的中间视合成设备，其中，所述中间视合成设备被构造为至少使用所述前景/背景边界区域(16b)的部分(16b2)来仅填补空洞，否则空洞会在所述中间视点图像(1 中产生，以及使用所述第二图像的与所述前景/背景边界区域(16b)的部分 (16b2)分离的分离部分(16bl)来投影和融合到所述中间视点。
3.根据权利要求1或2所述的中间视合成设备，其中，所述第二图像(16)的所述前景 /背景边界区域(16b)包括前景边界部分(16bl)和背景边界部分(161^2)，所述中间视合成设备包括用于将所述第二图像的所述非边界部分(16a)和所述前景边界部分(16bl)连同所述第一图像(14)的至少一部分投影和融合到所述中间视点，从而获得初始的中间视点图像 (24)的装置(22)；以及将所述第二图像(16)的所述背景边界部分(16 )投影到所述中间视点，以及用所投影的所述第二图像(16)的所述背景边界部分来填补所述初始的中间视点图像04)中的空洞的装置(26)。
4.根据权利要求3所述的中间视合成设备，进一步包含用于检测所述第二图像(16)中的所述前景/背景边界区域(16b)的装置(18)；用于将所述第二图像(16)的所述前景/背景边界区域(16b)划分为所述前景边界部分(16bl)和所述背景边界部分(16 )的装置(20)，这样所述第二图像(16)被划分为所述非边界部分(16a)、所述前景边界部分(16bl)、和所述背景边界部分(16b2)。
5.根据权利要求3所述的中间视合成设备，其中，所述中间视合成设备被构造为获得将所述第二图像(16)的所述非边界部分(16)、所述前景边界部分(16bl)、和所述背景边界部分(16b2)与多视点数据信号(32)区别开的层信息。
6.根据权利要求4所述的中间视合成设备，其中，用于检测的所述装置(18)被构造为还检测所述第一图像(14)的前景/背景边界区域，用于划分的所述装置00)被构造为也将所述第一图像(14)的前景/背景边界区域划分为前景边界部分和背景边界部分，这样所述第一图像(14)也被划分为非边界部分、前景边界部分、和背景边界部分，以及用于投影和融合的装置0 被构造为将第一和第二图像(14、16)的非边界部分和前景边界部分投影和融合到所述中间视点，从而获得所述初始的中间视点图像04)，以及用于投影和填补的装置06)被构造为将所述第一和第二图像(14、16)的背景边界部分投影到所述中间视点，以及通过所投影的所述第一和第二图像(14、16)的背景边界部分来填补所述初始的中间视点图像04)中的空洞。
7.根据权利要求3和4中任一项所述的中间视合成设备，其中，所述中间视合成设备被构造为获得至少将所述第一图像(14)的非边界部分和背景边界部分与所述多视点数据信号区别开的层信息，其中用于投影和融合的装置02)被构造为将所述第二图像(16)的非边界部分(16a)和前景边界部分(16bl)与所述第一图像(14)的非边界部分投影和融合到所述中间视点，从而获得所述初始的中间视点图像(M)，以及用于投影和填补的装置06) 被构造为将所述第一和第二图像(14、16)的背景边界部分投影到所述中间视点，以及通过所投影的所述第一和第二图像(14、16)的背景边界部分来填补所述初始的中间视点图像 (24)中的空洞。
8.根据权利要求3至5中任一项所述的中间视合成设备，其中，所述中间视合成设备被构造为获得将所述第一图像(14)的非边界部分、前景边界部分、和背景边界部分区别开的层信息，其中，用于投影和融合的装置02)被构造为将所述第一和第二图像(14、16)的非边界部分和前景边界部分投影和融合到中间视点，从而获得所述初始的中间视点图像 (M)，以及用于投影和填补的装置06)被构造为将所述第一和第二图像(14、16)的背景边界部分投影到所述中间视点，以及通过所投影的所述第一和第二图像(14、16)的背景边界部分来填补所述初始的中间视点图像04)中的空洞。
9.根据权利要求4或6所述的中间视合成设备，其中，用于检测前景/背景边界区域的所述装置(18)包括用于在深度信息中检测边缘的边缘检测器。
10.根据权利要求4、6或9所述的中间视合成设备，其中，所述用于划分的装置OO)被构造为将作为所述前景/背景边界区域(16b)的沿边缘周围的η-样本-宽的区域分割为前景边界部分(16bl)和背景边界部分(16b2)。
11.根据权利要求4、6、9或10所述的中间视合成设备，其中，所述用于划分的装置 (20)被构造为通过将前景/背景边界区域(16b)的一样本的深度信息的深度与一阈值比较来执行分割，从而确定所述样本属于前景边界部分(16bl)还是属于背景边界部分(161^2)。
12.根据权利要求11所述的中间视合成设备，其中，所述用于划分的装置OO)被构造为通过计算邻近所述样本的前景/背景边界区域(16b)的样本的深度信息的深度值的集中趋势来获得所述阈值。
13.根据权利要求6所述的中间视合成设备，其中，所述用于投影和融合的装置02)被构造为将所述第一和第二图像(14、16)的非边界部分投影和融合到中间视点，从而获得非边界中间视点图像，其中所述非边界部分的融合包括所述第一和第二图像(14、16)之间的平均值，以及将所述第一和第二图像(14、16)的前景边界部分投影和融合到非边界中间视点图像中，其中所述前景边界部分的融合包括在所述非边界中间视点图像的样本和由所述第一和第二图像(14、16)的前景边界部分投影产生的位于一处的样本之间选择，而不是取其平均值。
14.根据权利要求3至13中任一项所述的中间视合成设备，其中，所述用于投影和融合的装置02)与所述用于投影和填补的装置06)被构造为通过使用相关联的深度信息将样本从2D投影到3D，从而获得3D世界点，以及将所述3D世界点投影到中间视点来执行到所述中间视点的各投影。
15.根据权利要求14所述的中间视合成设备，其中，所述用于投影和融合的装置02) 与所述用于投影和填补的装置06)被构造为通过在所述第一视点和所述第二视点的投影矩阵之间内插来计算投影矩阵，以及通过使用所述投影矩阵执行所述3D世界点的投影。
16.根据权利要求3至15中任一项所述的中间视合成设备，其中，所述用于投影和融合的装置02)与所述用于投影和填补的装置06)被构造为通过在像素平面内按照取决于偏离所述中间视点的量移动样本位置来执行到所述中间视点的各投影。
17.根据前述权利要求中任一项所述的中间视合成设备，进一步包括通过过滤和/或外推到所述中间视点图像的剩余空洞来增强所述中间视点图像的装置08)。
18.根据前述权利要求中任一项所述的中间视合成设备，进一步包括通过检测所述中间视点图像的前景/背景边界，以及在所述中间视点图像的前景/背景边界区域内低通滤波来增强所述中间视点图像的装置08)。
19.根据前述权利要求中任一项所述的中间视合成设备，其中，第一和第二图像(14、 16)是MVD或LDV视频的部分。
20.根据前述权利要求中任一项所述的中间视合成设备，其中，第一和第二图像(14、 16)具有与所述深度信息相关联的颜色信息。
21.根据前述权利要求中任一项所述的中间视合成设备，所述中间视合成设备是3DTV 显示系统的一部分。
22.—种多视点数据信号提取设备，用于从多视点表示中提取多视点数据信号(32)， 所述多视点表示包括对应于第一视点的第一图像(34)和对应于第二视点的第二图像 (36)，所述第二视点不同于第一视点，第一和第二图像包含深度信息，所述多视点数据信号提取设备包括用于检测所述第二图像的前景/背景边界GO)的装置(38)；用于确定所述第二图像沿所述前景/背景边界GO)的去除左边边界部分G4)的装置 (42)；用于将无所述去除左边边界部分G4)的所述第二图像(36)投影到所述第一视点，从而获得具有非遮挡区域(50)的所述第二图像(36)的投影变体08)的装置06)；以及用于将所述第二个图像(36)连同所述第一图像(34)的一部分插入到所述多视点数据信号(3 中的装置(52)，所述第一图像的部分取决于所述非遮挡区域(50)在所述第二图像(36)的投影变体08)内的位置。
23.根据权利要求22所述的多视点数据信号提取设备，进一步包括用于将被插入到多视点数据信号(3 中的所述第一图像(34)的一部分确定为所述第二图像的投影变体内的所述非遮挡区域(50)所延伸覆及的所述第一图像(34)的区域的装置(54)。
24.根据权利要求22或23所述的多视点数据信号提取设备，其中，用于投影的装置 (46)被构造为将无所述去除左边边界部分的所述第二图像也投影到第三视点，从而获得具有非遮挡区域的所述第二图像的进一步投影变体，以及其中，用于插入的装置被构造为将所述第二图像、所述第一图像的所述部分、和所述第三图像的部分插入到多视点数据信号中，第二和第三图像的部分取决于所述非遮挡区域在所述第二图像的所述进一步投影变体内的位置，其中所述第二视点位于所述第一视点和所述第三视点之间。
25.根据权利要求M所述的多视点数据信号提取设备，其中，用于插入的装置(52)被构造为将层信息插入到多视点数据信号(32)中，所述层信息至少将所述第二个图像的所述非边界部分(56)和所述去除左边边界部分G4)区别开。
26.根据权利要求22或25中任一项所述的多视点数据信号提取设备，进一步包括用于填补由于投影所述第二图像和/或过滤所述第二图像的所述投影变体而产生的微小空洞的装置(58)。
27.根据权利要求22至26中任一项所述的多视点数据信号提取设备，其中，用于插入的装置(5 被构造为丢弃所述第一图像的剩余部分，所述剩余部分与取决于所述非遮挡区域(50)在所述第二图像的投影变体内的位置的部分分离，以及在所述多视点数据信号 (32)中以信号表明所述丢弃。
28.根据权利要求22至27中任一项所述的多视点数据信号提取设备，其中，用于检测前景/背景边界GO)的装置(38)包括用于在所述深度信息中检测边缘的边缘检测器。
29.根据权利要求观所述的多视点数据信号提取设备，其中，用于确定的装置G2)被构造为将所述边缘的周围η-样本-宽的区域分割为前景边界部分和背景边界部分，所述背景边界部分限定所述去除左边部分G4)。
30.根据权利要求四所述的多视点数据信号提取设备，其中，用于确定的装置G2)被构造为通过将所述η-样本-宽的区域的一样本的深度信息的深度与一阈值比较来进行分割，从而确定该样本属于所述前景边界部分还是属于所述背景边界部分。
31.根据权利要求30所述的多视点数据信号提取设备，其中，用于确定的装置02)被构造为通过计算邻近所述样本的η-样本-宽区域的样本的深度信息的深度值的集中趋势来获得所述阈值。
32.根据权利要求22至31中任一项所述的多视点数据信号提取设备，其中，用于投影的装置G6)被构造为通过使用相关联的深度信息将样本从2D投影到3D，从而获得3D世界点，并将所述3D世界点投影到所述中间视点，来执行到所述中间视点的各投影。
33.根据权利要求32所述的多视点数据信号提取设备，其中，所述用于投影的装置 (46)被构造为通过在所述第一视点和所述第二视点的投影矩阵之间内插来计算投影矩阵， 以及通过使用所述投影矩阵执行所述3D世界点的投影。
34.根据前述任一项权利要求所述的多视点数据信号提取设备，其中，所述用于投影的装置G2)被构造为通过在像素平面内按照取决于偏离所述中间视点的量移动样本位置来执行到所述中间视点的各投影。
35.一种多视点数据信号，包括关于对应于第一视点的第一图像(34)和对应于第二视点的第二图像(36)的数据，所述第二视点不同于所述第一视点，所述第一图像和所述第二图像包含深度信息，其中所述第一图像(34)的仅仅一部分包括在所述多视点数据信号 (32)中，而其分离部分在所述多视点数据信号(32)中被丢弃，所述部分取决于非遮挡区域 (50)在所述第二图像(36)的投影变体内的位置，所述第二图像的投影变体通过将无去除左边边界部分G4)的第二图像(36)投影到所述第一视点而获得，所述去除左边边界部分沿着所述第二图像(36)的前景/背景边界00)扩展。
36.一种中间视合成方法，用于由对应于第一视点的第一图像和对应于第二视点的第二图像合成为中间视点图像，所述第二视点不同于所述第一视点，第一和第二图像包含深度信息，其中所述第二图像被划分为非边界部分和前景/背景边界区域，其中所述中间视点合成方法包括将所述第一图像和所述第二图像投影和融合到所述中间视点，从而获得所述中间视点图像，以及处理相对于所述非边界部分次级的所述前景/背景边界区域。
37.一种多视点数据信号提取方法，用于从多视点表示中提取所述多视点数据信号，所述多视点表示包含对应于第一视点的第一图像和对应于第二视点的第二图像，所述第二视点不同于所述第一视点，第一和第二图像包含深度信息，所述多视点数据信号提取方法包括检测所述第二图像的前景/背景边界；确定沿着所述前景/背景边界的去除左边边界部分；将无所述去除左边边界部分的所述第二图像投影到所述第一视点，从而获得具有非遮挡区域的所述第二图像的投影变体；以及将所述第二图像连同所述第一图像的部分插入到所述多视点数据信号中，所述第一图像的部分取决于所述非遮挡区域在所述第二图像的投影变体内的位置。
38.当运行在计算机上时，计算机程序执行根据权利要求36或37的方法的指令。
全文摘要
本发明描述了一种中间视合成设备，其用于将对应于第一个视点的第一图像(14)和对应于第二视点的第二图像(16)合成为中间视点图像，所述第二视点不同于第一视点，所述第一图像和第二图像包含深度信息，其中第二图像被划分为非边界部分(16a)、和前景/背景边界区域(16b)，其中所述中间视合成设备被构造为将第一图像和第二图像投影到中间视，从而获得中间视点图像(12)，以及处理相对于非边界部分(16a)次级的前景/背景边界区域(16b)。本发明还描述了一种多视点数据信号提取设备，其用于从多视点表示中提取多视点数据信号，该多视点表示包含对应于第一视点的第一图像和对应于第二视点的第二图像，所述第二视点不同于第一视点，所述第一图像和第二图像包含深度信息。该多视点数据信号提取设备包含用于检测第二图像的前景/背景边界的装置；用于确定沿着前景/背景边界的去除左边边界部分的装置；用于将无去除左边边界部分的第二图像投影到第一视点，从而获得具有非遮挡区域的第二图像的投影变体的装置；和用于将第二图像沿着第一图像的部分插入到多视点数据信号中的装置，该第一图像的部分取决于非遮挡区域在第二图像的投影变体内的位置。
文档编号G06T15/20GK102239506SQ200980148452
公开日2011年11月9日 申请日期2009年9月28日 优先权日2008年10月2日
发明者克里斯蒂娜·迪克斯, 卡斯滕·米勒, 阿尔约萨·斯莫利克 申请人:弗兰霍菲尔运输应用研究公司