专利名称：用于提供场景的分层深度模型的方法和装置的制作方法
技术领域：
本发明涉及用于提供三维场景的分层深度模型的方法和装置，以及包括场景的分层深度模型的信号。
背景技术：
适合于显示三维图像的显示装置正在引起人们日益增长的研究兴趣。另外还进行了实质性的研究来确定如何向终端用户提供令人满意的、高质量的观看体验。通过向观看者的双眼提供正看的场景的不同视图，三维(3D)显示器为观看体验增加了第三维。这可通过让用户配戴眼镜以将被显示的两个视图分开来实现。然而，由于眼镜可能被认为对用户不方便，在许多情况下优选使用自由立体显示器，自由立体显示器使用显示器处的装置(如双凸透镜或屏障)来分开视图，并且沿不同方向发送它们，使得它们可以单独到达用户的眼睛。对于立体显示器，需要两个视图，而自由立体显示器一般需要更多视图(如，例如九个视图)。为了高效地支持3D呈现，重要的是使用所生成的3D内容的适当数据表示。例如， 对于不同的立体显示器，两个视图不必是相同的，而最佳的观看体验一般需要针对屏幕尺寸和观看者距离的特定组合来适配内容数据。同样的考虑往往适用于自由立体显示器。表示三维图像的普遍方法是使用一个或多个分层二维图像加上深度表示。例如， 分别具有关联的深度信息的前景和背景图像可用于表示三维场景。在本申请的上下文中， 术语深度信息用于表示指示相应图像单元到视点的距离的信息，或者在两个相应视点之间相应图像单元的视差的信息。由于视差(即图像单元在左眼与右眼视图之间的视位移)与深度成反比，两种表示中的任何一种可以作为输入用于再现分层深度模型的视图。使用图像和深度表示所具有的几个优点在于，允许以相对低的复杂度再现二维视图，以及与存储多个视图相比，提供了高效的数据表示，从而降低了例如对三维图像(和视频)信号的存储和通信资源要求。该方法还允许以与三维表示中所包括的二维图像不同的视点和视角来生成二维图像。此外，可以容易地将所述表示适配于不同的显示配置，并且支持不同的显示配置。当从与分层图像所表示的视角不同的视角来呈现视图时，根据前景像素的深度来偏移前景像素。这导致对于原始视角被遮蔽的区域变得可见。然后利用背景层，或者当没有适当的背景层数据时通过例如重复前景图像的像素，来填充这些区域。然而这种像素的复制可导致可见的假象。背景信息一般仅在前景图像对象的边缘周围需要，因此对于大部分内容来说是高度可压缩的。公知的是场景的分层深度模型可以从多层简化为两层，即顶层和遮蔽层。在该模型中，遮蔽层用于避免与像素重复或背景插值相关的视觉假象。在现有技术的系统中，针对所设数目的视角，提供这样的层来用于所有可能的遮蔽区域中的一些遮蔽区域
发明内容
问题在于，当按比例缩小这种分层深度模型时，这可导致再现期间的视觉假象。同样，对分层深度模型进行编码可导致类似的假象。在如下情形中尤其如此例如由于在按比例缩小的分层深度模型中存在深度转变，由内容材料本身，而不是借助于(利用教科书按比例缩放技术不能适当地按比例缩小的)显式编码元数据来以隐含方式触发使用遮蔽信息。本发明的一个目的是缓解由按比例缩小导致的这类假象。该目的是通过一种提供场景的分层深度模型的方法来实现的，深度模型的层包括主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，其中主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的，遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域，其中安全区域包括主视图信息的对应的片段，其中安全区域位于相应的深度转变的一侧，其沿深度方向相对于主观看方向是最远的。例如为了存储或传输的原因，对包括遮蔽数据的分层深度模型进行大小重设或压缩之后，将影响到分层深度模型、特别是遮蔽数据的表示。因此，再现装置可能不能适当地检测到深度变化。特别是当对这样的深度转变的检测被用于触发使用遮蔽信息时，这可导致明显可见的假象。这些假象本身可以比使用诸如像素重复等常规技术更麻烦，因为由于其“闪烁”， 它们通常并不是时间稳定的，因而是明显的。可替换地，大小重设可导致再现装置检测到深度变化，在按比例缩放之前没有这样的转变。然而由后一种误差导致的假象通常较不明显。本发明有效地确定了 在安全区域，即在遮蔽信息可为之所用的深度外或邻近的区域，使该遮蔽信息与主视图信息的相同。因此，改善了在按比例缩小的信号中对深度转变的检测，这通常涉及主视图信息与遮蔽信息两者中所包括的深度值。因此，改善了触发使用有关视频内容本身的遮蔽数据的可靠性。一般主视图信息和遮蔽信息两者均包括
一图像信息，其提供用于再现解遮蔽区域的颜色/纹理数据，以及一深度信息，其提供用于再现解遮蔽区域的深度信息。通过利用遮蔽信息，可以基于视角和深度信息，利用相应遮蔽纹理的适当位移来再现从另一个视角变得可见的相应纹理。在一个实施例中，将包括两个以上的层的分层深度模型折叠成两层模型。该模型本身同样是分层深度模型。在后一种分层深度模型中，顶层包括主视图信息，遮蔽层包括遮蔽信息。一个明显的优点在于，顶层事实上可以无需进一步处理而用于传统的二维显示装置上。在原始的分层深度模型还包括透明度的情况下，顶层可以是包括多个其它层的数据
的复合层。在一个实施例中，每当不存在相对于其深度最接近于顶层的模型层的另外的层片段时，遮蔽层包括顶层的片段。因此，遮蔽层表示另外的用于再现的全图像，并且不需要通过信号传达遮蔽层中遮蔽数据的存在，或者全遮蔽层的运行时间成分。在一个实施例中，遮蔽层信息中的遮蔽信息的相应片段的大小是基于与主视图视角的最大偏差和场景中的深度信息。在另一个实施例中，相应片段的大小是基于顶层和复合层两者中的同时深度转变内侧的预定宽度。在又一个实施例中，相应片段的大小是基于遮蔽数据为之可用的深度转变内侧的预定宽度以及另外的外侧的预定宽度。这些实施例中
6的每个实施例所提供的优点在于，第一实施例使得能够对遮蔽层进行编码，从而允许在视角和深度限制内适当地再现。第二实施例使得能够以对存储更友好的方式实现。第三实施例使得能够在对遮蔽信息进行编码时防止诸如蚊噪声等压缩假象。在又一个实施例中，安全区域的大小是基于预定最大按比例缩小因子。该特征允许内容提供商可以确定分辨率范围，其中遮蔽信息的按比例缩小应导致最小按比例缩放假象。例如，考虑以1920 χ 1080像素的分辨率分配的内容，进一步考虑需要达640 χ 480分辨率的按比例缩小弹性。在此情况下，为了以较低的分辨率保留2像素宽的安全区域，引入了 7像素宽的安全区域。同样，安全区域的大小可基于用来对遮蔽信息进行编码的编码器的粒度。由于使用本发明的按比例缩小保护可以不同地应用于χ和y方向两者，可以基于期望的鲁棒性针对每个相应的方向不同地选择安全区域。在一个优选实施例中，分层深度模型进一步包括至少用于主视图信息的透明度信息。根据该实施例，与深度转变相邻的安全区域中的透明度值基本上是透明的，而安全区域的另一端的安全区域中的透明度值基本上是不透明。严格来讲，对于该实施例，在安全区域中不需要透明度区域，因为对于该实施例，主视图信息和遮蔽信息是相同的。然而，为了使分层深度模型对按比例缩放更鲁棒，优选地应用平滑的转变，不管有或没有附加的安全区。 在另一个更为优选的实施例中，可能除了从基本上透明(与连续透明像素相邻)到从深度转变移开的安全区域端的基本上不透明的梯度之外，安全区域还包括预定数目的与深度转变相邻的连续透明像素。通过这种对透明度值的特定选择，可以在按比例缩小中基本上保留顶层的任何不透明度/透明度/阿尔法值。类似地，在梯度之后可以在安全区域端使用预定数目的连续透明度值，以确保当按比例缩小时刚好在安全区域之外的值不被“拉小”。可替换地，取代使用连续透明/不透明像素之间的梯度，也可以使用突然转变，假设将其置于编解码块边界。连续透明和/或连续不透明像素可用于将该转变适当地置于边界上。可以更有效地对所得到的对准的转变进行编码。这又可以有助于防止引入编码假象， 从而导致鲁棒性的改善。在另一个有利的实施例中，在主视图信息中，对于包括深度孔的区域提供深度孔保护区域；即向下深度转变之后是向上深度转变，最多是第一阈值数目的分开的像素。对于这样的深度孔，优选地将主视图深度信息设置为深度孔的高边缘深度值之一、高边缘深度值两者的平均值、高边缘深度值之间的梯度或者基于深度孔的高边缘深度值两者的插值的片段。另外，优选地将相邻深度跳跃之间的透明度值设置为基本上透明。因此，较好地保护了深度孔以免按比例缩小。在又一个有利的实施例中，在主视图信息中，对于包括深度尖的区域提供深度尖保护区域；即向上深度转变之后是向下深度转变，最多是第二阈值数目的分开的像素。对于这样的深度尖，优选地将主视图深度信息设置为深度尖保护区域内的深度尖的顶部的深度值，而深度尖之外的深度尖保护区域内的透明度值设置为基本上透明。因此，较好地保护了深度尖以免按比例缩小。通过接收场景的三维模型，根据本发明提供场景的分层深度模型，以及处理场景的三维模型，根据本发明的方法可以有利地应用于处理场景的三维模型的方法。本发明进一步涉及一种包括场景的分层深度模型的信号，深度模型的层包括编码的主视图信息，用于从主观看方向看的场景的主视图，主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的；以及与主视图信息相关联的编码的遮蔽信息，用于再现场景的其它视图，其中遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域，其中安全区域包括主视图信息的对应的片段，其中安全区域位于相应的深度转变的一侧，其沿深度方向相对于主观看方向是最远的。本发明进一步涉及一种用于提供场景的分层深度模型的装置，深度模型的层包括主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，该装置设置成提供主视图信息，使得它包括模型的层片段，其相对于其深度最接近于主视图的视点；以及遮蔽信息，使得它包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域，其中安全区域包括主视图信息的对应的片段，其中安全区域位于相应的深度转变的一侧，其沿深度方向相对于主观看方向是最远的。从以下描述的实施例来看，本发明的这些和其它方面、特征和优点将变得明显，并且将参照这些实施例来描述。
下面将仅通过举例、参照附图来描述本发明的实施例，在附图中，同样的数字指代具有同样功能的要素，并且
图IA示出了三维场景的分层深度模型的水平横截面； 图IB示出了图IA的分层深度模型的顶层； 图IC示出了图IA的分层深度模型的现有技术遮蔽层；
图ID示例了根据本发明一个实施例的用于图IA的分层深度模型的遮蔽安全区域的概
念；
图2A示例了将透明度添加到图IA的分层深度模型； 图2B示例了根据本发明一个实施例的针对安全区域的透明度添加； 图3示例了根据本发明一个优选实施例的针对与深度转变相邻的安全区域的透明度添加；
图4A示例了用于主视图信息的深度孔保护过程； 图4B示例了用于主视图信息的深度尖保护过程； 图5示例了根据本发明的方法； 图6A示例了根据本发明的处理装置和信号； 图6B示例了根据本发明的装置和信号； 图6C示例了根据本发明的另外的装置和信号；
图7A示例了根据现有技术的两层深度模型的纹理、深度、遮蔽纹理和遮蔽深度信息的相应的摘录；
图7B示例了根据本发明一个实施例的两层深度模型的纹理、深度、遮蔽纹理和遮蔽深度信息的相应的摘录；
图7C示例了基于图7A的输入数据的再现的视图；以及图7D示例了基于图7B的输入数据的再现的视图。
具体实施例方式随着时间的过去，将分层深度表示用于基于分层深度表示来再现新视图已经吸引了许多研究者。在Siade等人在ACM SIGGRAPH 1998会议录发表的“Layered Depth Images”中，描述了基于多层深度图像的三维模型的存储以及基于此的内容再现。在Zitnick等人在ACMSIGGRAPH 2004会议录发表的"High-quality video view interpolation using a layered representation" φ, MMTW^fe 成，其中分层深度模型包括边界颜色、边界深度和边界阿尔法(不透明度)形式的遮蔽信息。 另外，提出了根据分层深度模型来再现视图的方法。本发明的发明人认识到，在实践中，当使用分层深度模式来分配内容时，可能需要对分层深度模型进行按比例缩小和/或压缩。然而当软件按比例缩放器或硬件按比例缩放器用于这样做(对于本发明所解决的问题不明确)时，这通常导致可见的假象。这种假象的一个例子在图7C中示出，其中区域745中的假象在区域740中被放大示出。对于来自分层深度模型的深度信息用于触发使用遮蔽信息的情形，上述问题尤其成立。在此情形下，对分层深度模型的按比例缩小可影响到主视图信息和遮蔽信息，使得深度转变不再得到适当的识别，或者可替换地，在它们在按比例缩小之前不存在的情况下被识别。以下提供了对于对遮蔽信息进行编码的可能的试探法。注意这仅仅是示例性的， 还可以采用其它触发机制。然而从本说明书将清楚，对主视图和/或遮蔽信息两者中的深度信息的按比例缩小可能影响到对使用遮蔽信息的适当触发。当如下情形时，应当为深度转变提供遮蔽信息
主视图信息和遮蔽信息的低像素类似；例如可使用固定阈值； 转变的主视图信息中的高像素必须明显大于遮蔽信息的像素；例如可使用另外的固定阈值；以及
主视图信息的高像素必须明显大于主视图信息的低像素。(这避免了当主视图信息均勻而遮蔽信息突然“下降”时检测到转变。)本发明解决了该按比例缩小问题的原因在于，它提供了这样的解决方案，其允许以得到较少假象的方式在按比例缩小之后再现模型，如在图7D中所描绘的，其中区域755 (比较745)示出了假象，而区域750提供了区域755的放大。图IA示出了三维场景的分层深度模型的水平横截面。该特定模型包括五层，即层 Li、包括片段L2，1和L2，2的层L2、层L3和L4以及背景层L5。尽管在该例子中，所有层都由水平线表示，即一直具有单深度值，但这并不是强制的，而仅仅是为了清楚而进行的简化。注意层内的深度一般会变化。在实践中，当使用基于对象的编码时，这样的层内深度变化通常与对象深度相关。当针对从主观看方向PVD观察而再现图IA中所呈现的分层深度图像时，所得到的视图将包括相对于其深度最接近于主视图的视点的模型层的层片段。这些片段组合形成顶层TL。为确定顶层，用于生成遮蔽层的相机模型是置于PVD所示的主观看方向的无限远处的相机。因此，分层深度图像中的顶层是这样的层，其在特定位置(x，y)处沿深度方向最接近于相机，在此情况下是最高层。图IC示例了形成根据现有技术的遮蔽层的分层深度模型的片段。遮蔽层包括相对于其深度最接近于顶层的模型层的另外的层片段，如在图IC中由遮蔽层OL所示。因此， 当沿深度方向在顶层之后存在另外的层时，该层提供遮蔽信息。注意在之后的图中，作为观看方向PVD对应于下面的结果。因为在该例子中，遮蔽层在顶层下面，遮蔽层一般改变层以及顶层中的不连续或跳跃，如使用跳跃Jl、J2、J3和J4所示。对于遮蔽层0L，注意尽管在图IC中Ll下面的中心片段包括在遮蔽层中，但这不是强制的。事实上，由于所再现的视图需要再现遮蔽层的该片段仅仅具有很低的概率，可以将其从模型中完全删除，从而节省存储空间。由于不包括该信息，在再现期间，可能有必要后退到插值或像素重复，以便填充遮蔽层中的这样的孔。以上清楚地示出了试探法在确定遮蔽层中包括什么以及不包括什么时起重要作用。图ID示例了根据本发明的遮蔽信息，在此为遮蔽层0L2的形式。如图ID所示，与顶层TL和遮蔽层两者中的同时深度转变Jl、J2、J3或J4相邻的安全区域SR1、SR2、SR3或 SR4中的遮蔽层的片段替换为对应的顶层TL1、TL2、TL3或TL4的片段。安全区域设置在深度转变的外侧，对应于顶层中深度值相对于主观看方向PVD最低的深度转变的那一侧。图1A-1D中所呈现的遮蔽层和深度层包括纹理信息(在此为黑/灰)以及深度信息 (ζ-分量)。技术人员将清楚，可以以各种方式对包括主视图信息和如图ID所示的遮蔽层信息0L2的分层深度模型进行编码。第一种方法是例如对如图IA所示的分层深度模型进行编码，另外对与安全区域TL1、TL2、TL3和TL4有关的信息(作为遮蔽信息)进行编码。另一种方法是对如图IB所示的顶层以及如图ID所示的遮蔽层0L2进行编码，并且结合使用两者作为简化的分层深度模型。然而，不管如何对分层深度模型进行编码，在安全区域中，遮蔽信息0L2对应于顶层信息TL，将根据本发明的分层深度模型分开就在于此。图IC所示的遮蔽层OL对应于这样的遮蔽层，其中为每个像素分配亮度和深度值。 因此，不需要遮蔽层的运行时间成分。图2A示出了分层深度图像，包括顶层TL，其对应于图IA的顶层TL。另外，图2A 示例了将透明度用于顶层TL的片段，以便在再现中获得平滑的对象边缘。这里透明度用于防止出现锯齿状边缘。注意，向着层的相应片段的端部，对应于不透明度的阿尔法值是减小的，从而导致分层深度模型的顶层中的透明边缘。图2B示出了分层深度图像，包括如参照图ID所述的根据本发明一个实施例的遮蔽层。图2B中包括顶层TL的透明度信息，根据本发明一个实施例，其已经提供有针对安全区域的修正的透明度/不透明度值。尽管严格来讲，如上所示在安全区域中并不需要透明度区域，添加这样的信息可改善对分层深度模型的按比例缩小或压缩。图3示出了根据本发明一个优选实施例的安全区域内的透明度值的进一步的改进。在该图中，预定数目的连续全透明像素设置成与深度转变相邻。同样，在所述转变的左侧，使用预定数目的连续全不透明像素。由于在安全区域中存在这些附加的透明/不透明像素，安全区域的透明度梯度对经缩放的顶层的透明度的影响保持最小。由于这些像素，主视图透明度信息将保持基本上不受安全区域中的透明度梯度的影响；即假设全透明像素的
10数目选择得大到足以补偿按比例缩小因子。尽管已经描述了本发明用于提供沿水平方向，即沿χ-轴方向的安全区域，本发明也可以有利地沿竖直方向应用。例如，当按比例缩小以最大分辨率1920 χ 1080提供的内容(其必须能够按比例缩小到640 χ 480，即按比例缩小因子在水平方向上为3)时，优选地在水平方向上引入7像素宽的安全区域。优选地具有2像素安全区域以防止编码影响层边界。因此，理论上使用 6像素安全区域是足够的。在实践中，由于例如非对称滤波核，7像素宽安全区域是优选的。 由于对于许多目前的应用，竖直方向上的假象相关性较小，将3像素安全区域应用于竖直方向。将安全区域用于保护遮蔽数据的比率在图7A-7D中示出。图7A提供了表示分层深度图像的顶层和遮蔽层的输入图像的摘录集。图像710提供颜色图像的摘录，其中椭圆形对象部分地遮蔽了矩形条状对象。图像712提供的摘录示出对应的深度图，其中较亮的色调较接近于“相机”，图像710和712 —起形成顶层。同样，图像714、716提供遮蔽层，其分别包括遮蔽颜色图像和遮蔽深度图。图7B提供了对应于相应图像710、712、714和716的输入图像720、722、7M和726
的摘录集，例外是遮蔽层是根据本发明的一个实施例生成的。具体而言，注意属于条状矩形对象的顶层的颜色信息和深度信息覆盖图7B中的遮蔽层的面积比图7A中大(即在条状矩形之后有较少的星形遮蔽信息)。这是在遮蔽层中“拷贝”顶层信息的结果。图7C示出了基于在图7A中示出摘录的输入图像的再现的视图，即基于根据现有技术的遮蔽层(在编码/解码之后)再现的视图。图7C示出了如区域745中所示、并且再一次在区域740中放大的明显再现假象。图7D示出了基于在图7A中示出摘录的输入图像的再现的视图，即基于根据本发明的遮蔽层(在编码/解码之后)再现的视图。图7D示出了如区域755中所示、并且再一次在区域750中放大的明显较少的假象。如上所述的遮蔽层可以有利地用于存储或分配内容。因此，被提供有如此处理的遮蔽层的内容可以利用在优选权日一般可用的按比例缩小工具来按比例缩小。这样的内容对于编码/解码也较有弹性。而且，不需要调节这些按比例缩放算法来迎合所使用的实际遮蔽格式的特质，相反，遮蔽信息一般可以以类似于常规二维图像的方式来按比例缩小。可替换地，本文所述的方法可以刚好在按比例缩小之前应用(不必在内容创建侧)。或者，它可以在内容创建侧应用，同时具有大到足以保护不受编码的影响的安全余量，但不必足以保护不受大的按比例缩小因子的影响，然后再次具有针对即将到来的按比例缩小操作而定制的较大安全余量。图4A示例了根据本发明另一个实施例的用于主视图信息的深度孔保护区域DHP 的概念。图4A示出的深度轮廓包括两个孔。假设这些孔足够窄，即深度孔保护区域DHP的宽度低于第一阈值，例如当按比例缩小到三分之一时为3个像素，按比例缩放之后的深度孔可完全消失。图4A示例的深度孔保护方案是遮蔽信息安全区域的补充。在图4A中，通过将区段Dl和D2的深度值设置为表示深度孔的高边缘的线性插值的值，将主视图信息中的两个孔“补上”。另外，区段Dl和D2的不透明度设置为0 ；S卩，使它们为透明。由于该方法，有效地将主视图信息中的两个深度孔替换为两个较不可能导致假象的透明“窗口”。图4B示例了根据本发明一个实施例的用于主视图信息的深度尖保护区域DSP的概念。图4B示出的深度轮廓包括深度尖。假设该尖足够窄，即尖的宽度低于特定数目的像素，例如当按比例缩小到三分之一时为3个像素，按比例缩放之后的深度尖可完全消失。图 4B示例的深度尖保护方案是遮蔽信息安全区域的补充。在图4B中，通过将区段D3和D4的深度值设置为表示尖的高边缘的连续的值来扩展主视图信息中的尖。另外，区段D3和D4的不透明度设置为0;S卩，使它们为透明。由于该方法，使所述尖宽到足以挽救按比例缩放过程，但借助于透明度值使“侧瓣”透明。图5示出了场景的分层深度模型的处理方法500的流程图。该方法包括如下步骤获得505场景的三维模型，其可以是分层深度模型或线框模型，或者其它适合的三维场景模型。该方法进一步包括提供510场景的分层深度模式，其中分层深度模型包括主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图。主视图信息又包括模型的层片段，其沿深度方向相对于主观看方向是最近的。遮蔽信息包括模型的另外的层片段。遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域。安全区域又包括主视图信息的对应的片段，且安全区域位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。可选地，图5中所述的方法可进一步包括如下步骤诸如通过按比例缩小、编码、 存储、传输和/或可替换地再现来处理515分层深度模型。图6A示出了用于处理场景的三维模型的装置600。该装置包括接收部件670，其设置成接收场景的三维模型。接收部件可以是用于从无线网络接收信息的接收器，或者是可替换的输入单元，用于从例如数据载体获取场景的三维模型。装置600进一步包括用于提供场景的分层深度模型605的装置610。所提供的深度模型605的层包括主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图。装置610设置成提供主视图信息，使得它包括模型的层片段，所述层片段相对于其深度最接近于主视图的视点；以及遮蔽信息，使得它包括模型的另外的层片段。遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域，其中安全区域包括主视图信息的对应的片段，其中安全区域位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。可选地，所述装置进一步包括处理部件680，其可以是例如通用处理器、ASIC或其它处理平台，用于处理分层深度模型605。所述处理可包括例如按比例缩小、编码、存储、传输和/或可替换地再现。如图6A所示的装置610也可以设置成将信号615单独输出到消费装置620，或者可替换地，如图6B所示，信号615可通过网络630分配，网络630可以是例如家庭内网络、 另一种内部网或因特网。尽管已经针对处理场景的三维模型描述了装置610，场景的三维模型也可以是分层深度模型，其在特别有利的情况下可以是包括也可称为复合层的顶层625以及遮蔽层 635的两层模式，如图6C所示。应理解，为了清楚起见，以上说明书参照不同功能单元和处理器描述了本发明的实施例。然而，显然在不减损本发明的情况下，可以使用不同功能单元或处理器之间的功能性的任何适合的分布。例如，示例为由分开的单元、处理器或控制器执行的功能性可以由同一个处理器或控制器执行。因此，提及特定的功能单元仅仅是要被看作提及用于提供所述功能性的适当装置，而不是要指示严格的逻辑或物理结构或组织。可以以任何适当的形式实施本发明，包括硬件、软件、固件或其任何组合。可选地， 本发明可以至少部分实施为在一个或更多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的要素和成分可以以任何适合的方式以物理方式、以功能方式以及以逻辑方式实施。事实上，功能性可以在单个单元、多个单元或作为其它功能单元的一部分实现。因此，本发明可以在单个单元中实现，或者可以在不同单元和处理器之间以物理方式和以功能方式分布。尽管已经结合一些实施例描述了本发明，但并不是想要局限于本文所阐述的特定形式。相反，本发明的范围仅由所附权利要求来限制。另外，尽管可能看起来结合特定的实施例描述了特征，本领域的技术人员将认识到，可以根据本发明来组合所述实施例的各种特征。在权利要求中，字眼包括并不排除其它要素或步骤的存在。此外，尽管已分别列出，多个部件、要素或方法步骤也可以由例如单个单元或处理器实现。另外，尽管各个特征可以包括在不同的权利要求中，也可以有利地组合这些特征， 而包括在不同的权利要求中并不意味着特征的组合不可行和/或不有利。而且，一类权利要求中包括一个特征并不意味着限制于该类，而是指示该特征可等同地适用于其它适合的权利要求类别。此外，特征在权利要求中的顺序并不意味着所述特征必须遵循的任何特定顺序，并且特别是各个步骤在方法权利要求中的顺序并不意味着必须按照该顺序执行这些步骤。相反，所述步骤可以按照任何适合的顺序执行。另外，提及单数并不排除多个。因此提及“一”、“一个”、“第一”、“第二”等并不排除多个，权利要求中的参考标号仅仅提供为澄清性例子，而不应以任何方式被理解为是对权利要求范围的限制。
1权利要求
1.一种提供(510)场景的分层深度模型(605)的方法，深度模型(605)的层包括主视图信息，用于从主观看方向(PVD)看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，其中一主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的，以及一遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变(Jl、J2、J3、J4)相邻的安全区域(SR)，其中安全区域包括主视图信息的对应的片段， 其中安全区域(SR)位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。
2.如权利要求1所述的方法，其中主视图信息和遮蔽信息各包括图像信息和深度信息两者。
3.如权利要求1所述的方法，其中 分层深度模型(605)是两层模型，包括 一对主视图信息进行编码的顶层(TL)；以及一对遮蔽信息进行编码的遮蔽层(0L2)。
4.如权利要求3所述的方法，其中每当没有其它信息可用时，遮蔽层(0L2)包括顶层(TL)的对应的片段。
5.如权利要求1-4中的任一项所述的方法，其中 遮蔽信息的大小是基于如下中的一种一基于与主视图视角的最大偏差和深度信息的宽度；一深度转变一侧的预定宽度；以及一深度转变一侧的预定宽度和另一侧的另一预定宽度。
6.如权利要求1-4中的任一项所述的方法，其中 安全区域(SR)的大小是基于如下中的一种 一预定最大按比例缩小因子；以及一遮蔽信息编解码的粒度。
7.如上述权利要求中的任一项所述的方法，其中 分层深度模型(605)进一步包括一用于主视图信息的透明度信息，其中与深度转变相邻的安全区域(SR)中的透明度值基本上是透明，而在安全区域的另一端的安全区域中的透明度值基本上是不透明的。
8.如权利要求7所述的方法，其中安全区域(SR)中的透明度值包括如下中的一种一从与深度转变相邻的基本上透明到安全区域另一端的基本上不透明的梯度； 一预定数目的与深度转变相邻的连续的基本上透明的像素；一预定数目的与深度转变相邻的连续的基本上透明的像素，以及另外的预定数目的在安全区域的另一端的连续的基本上不透明的像素；一预定数目的与深度转变相邻的连续的基本上透明的像素，以及从与连续全透明像素相邻的基本上透明到基本上不透明的梯度；一预定数目的与深度转变相邻的连续的基本上透明的像素，以及从与连续全透明像素相邻的基本上透明到基本上不透明的梯度，之后是另外的预定数目的连续的基本上不透明的像素；以及一预定数目的与深度转变相邻的连续的基本上透明的像素，以及从与连续全透明像素相邻的基本上透明到基本上不透明的突然转变，该转变与视频编解码的块边界对准，该转变之后是另外的预定数目的连续的基本上不透明的像素。
9.如权利要求7或8所述的方法，其中在主视图信息中，针对包括深度孔的区域提供深度孔保护区域(DHP)，该深度孔具有低于第一阈值宽度的宽度，并且在深度孔保护区域中一主视图深度信息(D1、D2)基于深度孔的两个高边缘深度值；并且一相邻深度跳跃之间的透明度值设置为基本上透明。
10.如权利要求7-9中任一项所述的方法，其中在主视图信息中，针对包括深度尖的区域提供深度尖保护区域(DSP)，该深度尖具有低于第二阈值宽度的宽度，并且在深度尖保护区域中一主视图深度信息设置为深度尖保护区域内深度尖的顶部的深度值；并且一深度尖之外的深度尖保护区域内的透明度值设置为基本上透明。
11.一种处理(500)场景的三维模型的方法，该方法包括 一获得(505)场景的三维模型；一根据权利要求1-10中的任一项提供(510)场景的分层深度模型；以及一处理(515)场景的三维模型。
12.一种包括场景的分层深度模型(605)的信号(615)，深度模型(605)的层包括 一编码的主视图信息，用于从主观看方向(PVD)看的场景的主视图，主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的；以及一与主视图信息相关联的编码的遮蔽信息，用于再现场景的其它视图，其中遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变(J1、J2、 J3、J4)相邻的安全区域(SR)，其中安全区域包括主视图信息的对应的片段，其中安全区域 (SR)位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。
13.如权利要求12所述的信号，其中 分层深度模型是两层模型，包括一对主视图信息进行编码的顶层(TL)；以及一对遮蔽信息进行编码的遮蔽层(0L2)。
14.一种用于提供场景的分层深度模型(605 )的装置(610 )，该深度模型(605 )的层包括主视图信息，用于从主观看方向(PVD)看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，所述装置(610)设置成提供一主视图信息，使得它包括模型的层片段，该层片段相对于其深度最接近于主视图的视点，以及一遮蔽信息，使得它包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变(Jl、J2、J3、J4)相邻的安全区域 (SR)，其中安全区域(SR)包括主视图信息的对应的片段，其中安全区域(SR)位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。
15.一种用于处理场景的三维模型的装置(600)，该装置包括一接收部件(670)，设置成接收场景的三维模型；一按照权利要求14所述的用于提供场景的分层深度模型(605)的装置(610)，设置成基于场景的三维模型来提供分层深度模型；以及一处理(680)部件，设置成处理分层深度模型。
16. 一种计算机程序产品，包括用于执行权利要求1-11中的任一项所述的方法的程序指令。
全文摘要
本发明涉及提供场景的分层深度模型的装置和方法，深度模型的层包括主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，其中主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的，以及遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变(J1、J2、J3、J4)相邻的安全区域(SR1、SR2、SR3、SR4)，其中安全区域包括主视图信息的对应的片段，其中安全区域(SR1、SR2、SR3、SR4)位于相应的深度转变的那一侧，其沿深度方向相对于主观看方向是最远的。本发明还涉及包括如上所述的场景的分层深度模型的信号，以及执行根据本发明的方法的计算机程序产品。
文档编号H04N13/00GK102197415SQ200980141867
公开日2011年9月21日 申请日期2009年10月15日 优先权日2008年10月21日
发明者B·G·B·巴伦布鲁格, C·贝尼恩, F·格雷姆泽, H·H·尤尔林斯, M·赫尔宾, S·梅尔 申请人:皇家飞利浦电子股份有限公司