3d视频中深度过渡的有效编码的制作方法

专利名称：3d视频中深度过渡的有效编码的制作方法
技术领域：
本发明涉及ー种编码视频数据信号的方法，该方法包括提供图像中的像素的颜色信息，提供具有像素的深度信息的深度图(depth map)，提供融合像素的过渡信息，在所述融合像素中前景对象和背景对象的颜色被融合，并生成包括表示颜色信息、深度信息和过渡信息的编码数据的视频数据信号。本发明进一步涉及解码视频数据信号的方法、用于编码或解码的编码器、解码器和计算机程序产品、视频数据信号和数字数据载体。
背景技术：
在新兴的三维(3D)视频技术中，存在用于将第三维编码进视频数据信号的多种方法。呈现3D视频的流行方法是使用一个或多个ニ维(2D)图像加上提供第三維信息的深度表示。该方法也允许以不同于2D图像的视点和视角来生成包括在3D图像数据中的2D图像。这种方法提供了许多优点，包括允许以相对低的复杂度来生成3D视图并提供了有效的数据表示，因此降低了例如3D视频信号的存储和通信资源需求。当以不同的视点生成图像吋，不同对象的不同深度导致对象边界的变化 (shifting)而不是所应当完成的，生成新的边界。对象边界的变化可能导致不希望的降低图像质量的效果。例如，当来自离焦的前景对象的光反射与焦点对准的背景对象混合吋， 可能出现看起来不真实的边界。通常使用在视频数据信号的单独层中传输的α图(alpha map)来解决该问题。该α图包括为每个像素指示其是否是前景像素、背景像素或混合像素的α值，其中在混合像素中，颜色部分地由前景对象决定且部分地由背景对象決定。该α值反映了混合率。因此这些混合像素也被称为“不确定”像素。该颜色的混合也称为融合(blending)。 为了编码的目的，可以从手动分配或估计的现有数据中检索α值。典型地，α估计算法使用来自前景和背景的空间邻近的样本来为“不确定”区域中所有像素估计α的值。为便利该估计过程，首先产生所谓的三元图(trimap)，为每个像素指示其是否是前景、背景或不确定的。多个空间邻近的样本取自邻近的前景和背景，以便估计前景值、背景值和不确定区域中的像素的α值。当生成新视图时，变化了的前景像素值与新背景相融合。典型地，α图包括相对大的区域，对于前景像素使用值“1”或对背景像素使用值 “0”。在这些区域之间，α值进行从“0”到“ 1”的快速过渡，或反之亦然。例如对于前景对象离焦的对象过渡和对于诸如头发的非常细小的对象，就是这种情況，其中使用透明用作用于处理这些对象的机制是方便的。诸如窗等较大区域上的真正的透明在自然的视频中不是非常经常发生的。α图中的空间地快速的改变使它们压缩时相当低效并增加了视频数据信号的传输成本。发明目的
本发明的目的是提供如在开头段落中描述的编码视频数据信号的方法，该方法降低了传输成本，同时在新呈现的视图中保留了平滑的对象过渡。

发明内容
根据本方面的第一方面，该目的通过提供编码视频数据信号的方法来达到，该方法包括提供图像中的像素的颜色信息，提供具有像素的深度信息的深度图，提供表示图像中过渡区域的宽度的过渡信息，过渡区域包括深度过渡和其中前景对象和背景对象的颜色被融合的融合像素，生成包括表示颜色信息、深度图和过渡信息的编码数据的视频数据信号。不必提供过渡区域中所有像素的α值，根据本发明的方法仅要求关于深度过渡周围的过渡区域的宽度的某些信息。如以下将被阐述的，可以以许多不同的形式来提供关于过渡区域的宽度的信息。提供关于过渡区域的宽度的信息的主要优点在于其使得不必提供每个“不确定”像素的准确的α值。当已知过渡区域的宽度吋，通过创建深度过渡的位置周围的像素带来确定不确定像素。给定不确定像素的位置，可以用不同的方法来产生α 值。首先，可以使用“不确定”像素与深度过渡的距离以及该像素自身的深度(局部前景或局部背景)以产生各个像素的α值。例如，在不确定像素上线性地从局部背景中的0 变化为局部前景上的1的地方可以使用α线性函数。另外，非线性轮廓(profile)当然是可能的。単独具有α值，能够通过将融合的颜色与像素扭曲于其上的背景相混合来满足新视图的粗糙的(近似的)呈现。尽管不准确，视觉上这是ー种处理模糊区域的可接受方式。其次，可以使用已知的α估计技术来生成α，其中或者按像素估计两个未知数， 即前景值和α (假设在数据流中已经有背景图);或者，估计三个未知数，即前景值、背景值和a。因此当确定α值时，优选地考虑形成深度过渡的前景和/或背景对象的深度值。 该深度值是已经可以从深度图中获得的。根据本发明的方法使得能够从非常少量的数据得出通常的α值。因此降低了传输成本而对于图像质量不具有有害的效果。在该创新性方法的实施例中，过渡信息包括宽度图。该宽度图定义了被包括在特定深度过渡中的像素的数目。这种图仅需要ー个整数值以定义过渡区域的宽度。与其中对于每个像素包括α值的现有技术中使用的α图相比，该方法使用了少得多的数据用于提供相似的信息。实际的情况例如是在标准的YUV 4 :2:0视频的U通道和或V通道中提供与宽度相关的数据，其中诸如深度的其他信息或“传统的” α通道被编码在Y通道中。通过将宽度分配给数据块，宽度图中所使用的数据量可以进一歩降低，因此有效地缩减了宽度图的规模。只要深度过渡之间的距离远大于块的大小，通过将最近块的宽度值分配给给定的深度过渡，高分辨率原物的重建是可能的。在实际的情况中，这将意味着U 和/或V通道的DC值将用于存储宽度数据，因为DC值典型地不易于压縮。在可替换的实施例中，对于每个像素，ニ元图指示其是否是在过渡区域内。之后可以通过对过渡区域中的像素的数目进行计数而容易地确定过渡区域的宽度，且对于过渡区域中的每个像素可以使用过渡区域的宽度和像素的位置来确定α值。该ニ元图与已知的 α图类似，但对于每个像素其仅使用“ 1”或“0”来代替8位的α值。尽管具有ニ元图的该实施例与具有宽度图的先前实施例相比对于更多像素使用非零值，数据总量仍然是低的并甚至可以比先前实施例中还要低。
通过缩减ニ元图的规模，用于ニ元图的数据量甚至可以进一歩降低。那么较低分辨率的ニ元图可以用作过渡区域的略粗糙估计。对于过渡区域中的像素，进行α值的估计。然而，缩减了规模的ニ元图优选地用于在确定α值之前重建原始的较高分辨率ニ元图。另ー个实施例并不使用宽度图，而使用查找表。查找表可以包括对于不同的过渡深度的宽度參数。过渡区域的宽度強烈地依赖于深度过渡和图像中焦平面之间的距离。靠近焦平面，过渡是鋭利的且过渡区域的宽度是小的。进ー步远离焦平面，过渡区域更宽。过渡深度可以例如定义为导致过渡深度的前景或背景对象的深度。过渡深度也可以定义在前景和背景对象的深度值之间的某处。当为前景和背景对象的深度值的特定对提供宽度參数吋，可以获取最佳的結果。然后将过渡深度定义为导致深度过渡的两个对象的深度值的组
I=I O在另ー个实施例中，不仅是宽度，α图重建(固定曲线、局部估计)的方法也可以规定在查找表中。如之前所述，存在生成α数据的多个方法。优选的方法依赖于这样的内容 (例如，头发周围相对于其他对象周围)，该内容可以通过使具有三个值的图来编码重建的方法以及不确定区域的位置来信号表示，而不是ニ元图或将这些数据与宽度数据合井。典型地，可以用少于8位来表示宽度数据，留出几位来指示α重建方法。这样，可以使用例如整除(DIV运算)来提取宽度，然而可以使用取模运算符(MOD)来获取α重建方法。应当注意，过渡信息可以包含深度过渡的深度和用于捕获视频数据的摄影机设置的某些參数。发明人已经认识到，过渡区域的宽度可以根据例如过渡深度和摄影机镜头的焦距和数值孔径确定。根据本发明的又一方面，提供了ー种解码视频数据信号的方法，该视频数据信号包括表示图像中像素的颜色信息的编码数据、具有像素的深度信息的深度图以及代表包括深度过渡和其中前景对象和背景对象的颜色相融合的融合像素的过渡区域的宽度的过渡信息。解码的方法包括接收视频数据信号，确定过渡区域的宽度，确定融合像素的α值以及基于α值和颜色信息确定融合像素的颜色。基于过渡信息来确定过渡区域的宽度。基于过渡区域的宽度来确定α值，融合像素的α值依赖于到深度过渡的距离。在该解码方法中，根据与视频数据信号一起编码的过渡信息来生成α值。在优选的解码方法中，α值还依赖于导致深度过渡的前景对象和/或背景对象的深度。考虑用于捕获视频数据的摄影机设置的參数可以提高所计算的α值和获得的像素颜色的准确度。本发明的这些和其他方面根据以下描述的实施例将是清楚明白的，并且将參照所述实施例进行阐述。


在附图中
图1示出了根据本发明的用于编码视频数据的系统的框图， 图2和3示例了过渡区域中的颜色的混合， 图4示出了根据本发明的编码方法的流程图， 图5示出了可以存储在表中的过渡信息的图示， 图6示出了根据本发明的宽度图的实例，图7a和7b示出了依照当前的发明生成的具有过渡信息的ニ元图的实例， 图8示出了根据本发明的用于解码视频数据的系统的框图，以及图9示出了根据本发明的解码方法的流程图。
具体实施例方式图1示出了根据本发明的用于编码视频数据的系统的框图。该系统包括两个数字视频摄影机11、12和编码器10。第一摄影机11和第二摄影机12记录相同的场景100，但是从稍有不同的位置并因此也是从稍有不同的角度进行记录。来自两个视频摄影机11、12 的记录器数字视频信号被发送至编码器10。该编码器可以例如是专用编码盒、计算机中的视频卡或要由通用微处理器执行的软件实现的函数的一部分。可替换地，视频摄影机11、12 是模拟视频摄影机，并且在将模拟视频信号提供为编码器10的输入之前，将模拟视频信号转换为数字视频信号。如果视频摄影机耦合至编码器10，可以在记录场景100期间进行编码。先记录场景100并然后将所记录的视频数据提供给编码器10也是可能的。应当注意， 根据本发明的方法涉及编码视频数据信号的特別方式且不限于获得视频数据的特定方式。 例如，将深度信息添加至仅由ー个视频摄影机获得的视频数据也是可能的。编码器10或者直接或者间接地从视频摄影机11，12接收数字视频数据，并将两个数字视频信号合成为ー个3D视频信号15。应当注意，可以将两个视频摄影机11、12合成为 ー个3D视频摄影机。也可能使用两个以上视频摄影机从甚至更多的视点来捕获场景100。以下，将使用单个图像来解释根据本发明的编码和解码方法以及与现有技术方法的差別。3D视频信号可以被看做许多这种图像的序列。应当注意，编码器10和解码器所使用的一部分信息可以由多个图像共享。对于特定图像或场景(连续的图像之集)，某些參数可能是特定的。其他的參数对于整个视频可能是有用的。本领域技术人员将认识到对于视频中的不同图像使用相同參数的可能性。在现有技术的编码器中，生成的3D视频信号可以包括具有图像中像素的颜色信息51的2D图像层、具有像素深度信息的深度图52以及具有α值的α图53，该α值指示前景颜色和背景颜色应当怎样在深度过渡和靠近深度过渡处混合。上述的格式示例在图 2中，其中图像被示意性地描绘为ー个具有多个像素的2D图像线51。可以在边界处观察到从前景值F ( 220)至背景值B ( 20)的逐渐过渡。过渡区域的宽度是U。这些区域被虚线封装。由Z指示的相关联的深度图52示出在图像线51的下方。过渡区域将相同的深度值，Zb，作为前景对象。这是任意的选择，因为没有很好地定义从前景至背景对象的确切过渡。该附图中的第三张图描绘了 α通道53。在α通道53中，低值(此处接近0)指示对相应像素的主导贡献来自于背景像素，而高值(此处接近1)指示主导贡献来自于前景像素。在该过渡区域之外没有定义α值。现有技术α图53包括在图像51的每个过渡区域中的每个像素的α值。在图3中更详细地示例了使用摄影机捕获图像所固有的模糊效应。在位置Ci的像素接收多个加权的贡献，即，来自周围背景像素的ー个加权总和，其中权重反映在背景高斯分布M左侧的被标记的部分B，以及来自靠近前景像素的ー个加权总和中，该前景像素的权重反映在前景高斯分布阳右侧被标记的部分A中。高斯分布曲线的形状依赖于摄影机设定(例如焦距、数值孔径)以及对象至摄影机的距离，也被称为深度。在捕获场景期间所使用的孔径和焦点的设定将确定高斯分布的形状，且因此确定高斯分布曲线的宽度。效果是在深度过渡附近存在融合像素。重要的是要注意，根据编码的图像数据是不可能模拟摄影机模糊过程(blurring process)的，因为图像已经模糊了。只有我们具有到处鋭利的计算机图形图像，这才是可能的。之后我们能在该过程期间模拟摄影机光学的效果。然而，可以通过选择过渡区域的合适宽度来说明模糊过程，并使用或者线性或者非线性的函数使α在过渡区域中从0至1逐渐改变。图4示出了根据本发明的示范性编码方法的框图。该编码方法可以由图1的系统的编码器10来执行。该编码方法使用来自摄影机11，12的被记录的数字视频数据并提供根据本发明的视频数据信号15。在基底图像提供步骤21中，提供场景的至少第一图像以用于包括在视频数据信号15中。该基底图像可以是来自两个摄影机11、12之一的标准2D视频数据。编码器10也可以使用两个基底图像；一个来自于第一摄影机11而ー个来自于第 ニ摄影机12。根据该基底图像，可以得出被记录的视频的每帧中所有像素的颜色值。基底图像代表某时刻如同从特定视点所看见的场景。可以包括显示来自不同的视点的同一图像的附加图像。在3D启用步骤22中，使用来自摄影机11、12的进入视频数据来将深度信息添加至基底图像。该添加的信息使得解码器能够生成来自不同视点的同一场景的被呈现图像。 编码器使用已知的、优选地标准的用于从被记录的规则视频数据得出深度信息的方法。应当注意，也可以对来自外部源并已经包括深度信息的3D视频数据执行根据本发明的编码方法。在过渡信息生成步骤23中，编码器10生成代表图像中过渡区域宽度的信息。可以如以上已经描述的和以下将參考图5至7描述的许多不同的形式提供该过渡信息。在信号生成步骤M中，先前步骤21、22、23中提供的信息用于生成根据本发明的视频数据信号15。该视频数据信号15至少代表2D图像、深度信息和过渡信息。此外，视频数据信号15可以包括用于使得解码器能够根据具有高准确度的过渡信息得出α值的參数。这种參数可以包括描述捕获视频数据时的摄影机设置的參数，诸如摄影机位置，照明条件或所使用的摄影机11、12的数值孔径和焦距。图5示出了可以存储在表中的过渡信息的图示。根据本发明，可以提供ー个表，在其中可以找到针对不同的过渡深度(Z)的宽度參数56、57 (U (ZF))。根据这种表，解码器 10可以找到相应深度Z处的前景对象的边界处的过渡区域宽度U(ZF)。焦点对准的(f)前景对象的边界处的过渡区域将是窄的。因此，对应于这种对象的深度的宽度參数57小于其他深度处的宽度參数56。离焦越多，过渡区域越宽。替代或除了前景对象的深度之外，该表也可以使用背景对象的深度。可替换地，该表包括对于图像中相互重叠的前景和背景对象的特定深度值对的宽度參数。宽度參数U (ZF)56、57使得解码器能够确定图像中过渡区域的宽度。宽度參数U (ZF) 56、57例如可以是具有来自两个对象的颜色贡献的像素数目。图6示出了根据本发明的宽度图60的一部分的实例。宽度图60的大部分是空的。 该宽度图60在与图像中深度过渡相对应的位置处包括具有宽度參数的线62。过渡区域可以根据宽度參数来确定，并可以由虚线61来指示。在根据现有技术的α图中，过渡区域中的所有像素必须具有α值。在宽度图62中，仅有指示深度过渡的线62上的像素具有非零值。解码器根据该ー个值得出过渡区域的宽度63，并将其用于生成过渡区域中其他像素的 α值。在图6示出的示范性情况中，深度过渡在过渡区域的中心。可替换地，深度过渡可以在过渡区域的边界处，并且宽度參数指示属于过渡区域的深度过渡的左/右/上/下侧处的像素数目。在又一实施例中，深度过渡可以默认地在过渡区域和前景对象之间的边界处或在过渡区域和背景对象的边界处。通过将宽度分配给数据块，可以进一歩降低在宽度图中使用的数据量，因此有效地缩减宽度图的规摸。只要深度过渡之间的距离远大于块的大小，通过将最近块的宽度值分配给给定的深度过渡，高分辨率原物的重建是可能的。在实际情况中，标准YUV 4:2:0视频中的U和/或V通道的DC值被用于存储宽度数据，因为DC值典型地不易于压縮。图7a和7b示出了依照当前的发明生成的具有过渡信息的ニ元图70、71的实例。 图7b中的ニ元图71是图7a的ニ元图的缩减了规模的版本。图7a的高分辨率ニ元图70包括对于过渡区域72中的每个像素的“ 1”和对于不在过渡区域72中的每个像素的“ 0”。解码器可以通过对连续的“ 1”的数目进行计数而得出过渡区域72的宽度。使用该宽度可以计算α值。该ニ元图70包括与现有技术α图相等的数据量。然而，宽度图70每个像素仅使用単独一位，而α图使用例如8位值用于编码α值。因此根据本发明的宽度图70减少了传输成本。在缩减了规模的ニ元图71中，图像被分为例如10乘10像素的段74。对于每个段 74，仅需要一位以指示该段是否包括深度过渡。解码器可以将整个段74看做过渡区域，但这将导致不那么准确的α估计以及较低质量的图像。然而，如同从图7b中的虚线75能够看出的，低分辨率ニ元图71提供了足够的信息以准确地重建过渡区域。在该重建后，解码器可以如同使用图7a的高分辨率ニ元图70时ー样来确定具有相似精度的α值。图8示出了根据本发明的用于解码视频数据的系统的框图。该系统包括用于接收视频数据信号15并将该视频数据信号15转换成适于由显示器31显示的显示信号的解码器30。该视频数据信号15可以作为广播信号的一部分例如借助于缆线或卫星传输到达解码器30。视频数据信号15也可以根据请求来提供，例如借助于互联网或借助于视频点播服务。可替换地，视频数据信号15提供在数字数据载体上，诸如DVD或蓝光光盘。显示器31能够提供被捕获并由图1的系统的编码器10编码的场景100的3D呈现。显示器31可以包括解码器30或可以耦合至解码器30。例如，解码器30可以是3D视频接收器的一部分，该3D视频接收器要被耦合至ー个或多个普通电视机或计算机显示器。 优选地，显示器是能够将不同的视图提供给观察者的不同眼睛的专用3D显示器31。图9示出了解码方法的流程图，其可以由图8的解码器30来执行。在视频数据接收步骤41中，由编码器10编码的视频数据信号15在解码器30的输入处被接收。接收到的视频数据信号15包括表示如上所述的图像、深度信息和过渡信息的编码数据。过渡信息可以例如以表或宽度图的形式提供。编码数据可以包括附加信息，诸如摄影机设置參数。在宽度确定步骤42中，使用过渡信息来确定图像中过渡区域的宽度。在α确定步骤43中，使用所确定的宽度来计算过渡区域中像素的α值。解码器可以不仅仅使用宽度信息和深度信息。例如，导致深度过渡的对象的深度信息和摄影机设置參数可以有助于确定α值。在像素融合步骤44中，将α值和图像的颜色信息进行组合以确定过渡区域中所有像素的颜色值。具体地參考编码视频数据信号的方法、解码数据信号的方法、编码器设备和解码器设备描述了根据本发明的方法、编码器和解码器设备。然而本发明也可以在发送视频数据信号的方法、包括了编码方法的所有步骤以及发送编码的视频信号的其他步骤的方法中应用。相反地，本发明可以应用在接收视频数据信号的方法、包括了解码方法的所有步骤以及接收编码的视频信号的其他步骤的方法中。视频数据信号可以在有线或无线信道上发送和/或接收，例如视频数据信号可以在IEEE1394链路、IP链路上进行传输。同样地，视频数据信号可以在家用网络中的无线链路(诸如无线IEEE802. 11链路或UWB链路)上发送。本发明也可以体现在用于视频数据信号的发射器和/或接收器中。依照本发明的发射器包括根据本发明的编码器设备并进ー步包括用于发送编码的视频数据信号的传输装置。优选地，编码器的输出起发送装置的作用。相反地，依照本发明的接收器包括解码器设备并进ー步包括用于接收编码的视频数据信号的接收器装置；其处理在有线或无线通道上到达的数据。优选地，解码器的输入起接收器装置的作用。如以上所示，发送和接收装置的特性依赖于用于交換数据的通道的类型。可替换地，替代在通道上发送和/或接收编码的视频数据信号，编码的视频数据信号也可以被存储和/或从存储介质取回。在这种实施例中，相应的方法包括将视频数据信号存储在存储介质或存储设备上和/或从该存储介质或存储设备取回视频数据信号的附加步骤。存储介质或存储设备可以是光学存储介质，诸如⑶、⑶-R、⑶-RW、DVD、DVD+R、 DVD-R、DVD+RW、DVD-RW、或蓝光光盘。同样地，编码的视频数据信号可以存储在HDD或固态存储介质上。存储和/或取回设备可以进而是更大的设备(诸如个人计算机、个人录像机或蓝光播放器)的一部分。当本发明包含在用于存储视频数据信号和/或取回视频数据信号的设备中吋，用于提供视频数据信号的输出优选地还包含用于存储视频数据信号的装置。相反地，用于接收视频数据信号的输入在此情况下优选地包括用于取回视频数据信号的装置。本领域技术人员将清楚，相应的装置随着所包含的存储介质和存储设备而改变。依照本发明的解码器和编码器包括用于处理的装置，例如在解码器的情况下，解码器包括用于确定过渡区域的宽度的装置、用于确定α值的装置和用于确定颜色的装置。 本领域技术人员将清楚，这种处理装置可以在多种处理平台上实现。这些平台可以由诸如专用集成电路或FPGA的专用硬件构成。然而这样的处理也可以在软件中实现，该软件用于在诸如例如PC环境中的通用处理器或视频信号处理器的通用处理平台上执行。也设想了混合的硬件软件解决方案。尽管对于根据本发明的解码器中的装置进行了示例，但是对于根据本发明的编码器中的装置也同样适用。參考透明度值和透明度图描述了本发明。然而本领域技术人员将清楚，本发明对于不透明度值和不透明度图进行应用具有同样的效果。透明度和不透明度在这一点上是本质上互补的；鉴于一个定义了物体透明的程度，另ー个定义了物体不透明的程度。将要理解的是，本发明还延伸到适于实施本发明的计算机程序，特別是在载体上或者载体中的计算机程序。程序可以以源代码、目标代码、源和目标代码中间的代码(例如，部分编译的形式)的形式，或者以适于在实现根据本发明的方法中使用的任何其他形式。还要理解的是，这种程序可以具有许多不同的架构设计。例如，实现根据本发明的方法或者系统的功能的程序代码可以被細分为ー个或者多个子例程。在这些子例程中分配功能的许多不同的方法对于本领域技术人员是清楚明白的。子例程可以一起存储在一个可执行文件中，以形成独立的程序。这种可执行文件可以包括计算机可执行指令，例如，处理器指令和 /或编译器指令(例如，Java解释器指令)。可替代地，一个或者多个或者全部的子例程可以存储在至少ー个外部库文件中，并且例如在运行时静态地或者动态地与主程序相链接。主程序含有对至少一个子程序的至少ー个调用。同吋，子例程可以包括彼此的功能调用。与计算机程序产品相关的实施例包括与所提到的方法中至少ー个的处理步骤中每一个相对应的计算机可执行指令。这些指令可以细分为子例程，和/或存储在可以静态或者动态地链接的一个或者多个文件中。与计算机程序产品相关的另一个实施例包括与所提到的系统和/或产品中至少ー个的装置中的每ー个相对应的计算机可执行指令。这些指令可以细分为子例程，和/或存储在可以静态或者动态地链接的一个或者多个文件中。计算机程序的载体可以是能够携带程序的任何实体或者设备。例如，载体可以包括存储介质，例如，ROM (例如，CD ROM或者半导体ROM)或者磁性记录介质(例如，软盘或者硬盘)。此外，载体可以是可传送的载体，例如，电或者光信号，其可以经由电缆或光缆或者通过无线电或其他方式来传送。当程序体现在这个信号中时，载体可以由这种线缆或者其它设备或装置来构成。可替代地，载体可以是在其中嵌入程序的集成电路，集成电路适于执行相关方法或者在执行相关方法时使用。应注意的是，上述实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多可替代实施例，而不脱离所附权利要求的范围。在权利要求中，括号之间的任何附图标记将不被解释为限制权利要求。使用动词“包括”和其词性变化并不排除存在不同于权利要求中所陈述那些的元件或者步骤。元件之前的冠词“一”或“ー个”不排除存在多个这种元件。本发明通过可以借助于包括许多独立元件的硬件以及借助于合适地编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的几个可以由一个或者相同项的硬件来体现。在相互不同的从属权利要求中叙述某些措施的纯粹事实不表示这些措施的结合不能使用以受益。
1权利要求
1.ー种编码视频数据信号(15)的方法，该方法包括提供图像中像素的颜色信息(51)，提供具有像素的深度信息(52)的深度图，提供表示图像中过渡区域(61，72)的宽度(63，73)的过渡信息(56，57，60，70，71 )，该过渡区域(61，72)包括深度过渡(62)和其中前景对象和背景对象的颜色被融合的融合像素，生成(24 )包括表示颜色信息(51)、深度图(52 )和过渡信息(56，57，60，70，71)的编码数据的视频数据信号(15)。
2.如权利要求1所述的编码视频数据信号(15)的方法，其中过渡信息包括对于深度过渡(62)将相应宽度定义为融合像素数目的宽度图(60)。
3.如权利要求1所述的编码视频数据信号(15)的方法，其中过渡信息包括指示图像中的每个像素是否在过渡区域(72)中的ニ元图(70，71)。
4.如权利要求3所述的编码视频数据信号(15)的方法，其中二元图(71)具有比该图像低的分辨率。
5.如权利要求1所述的编码视频数据信号(15)的方法，其中过渡信息(56，57)包括具有对于不同过渡深度的宽度參数(56，75)的表。
6.如权利要求5所述的编码视频数据信号(15)的方法，其中过渡深度被定义为深度过渡处的前景对象的深度。
7.如权利要求5所述的编码视频数据信号(15)的方法，其中过渡深度被定义为深度过渡处前景对象和背景对象的深度的組合。
8.ー种解码视频数据信号(15)的方法，该视频数据信号(15)包括表示图像中像素的颜色信息(51)的编码数据、具有像素的深度信息(52)的深度图、以及代表包括深度过渡(62)和其中前景对象和背景对象的颜色被融合的融合像素的过渡区域(61，72)的宽度 (63，73)的过渡信息(56，57，60，70，71)，该方法包括接收视频数据信号(41)，基于过渡信息(56，57，60，70，71)，确定过渡区域(61，72)的宽度(63，73)，基于过渡区域的宽度，确定融合像素的α值(53)，融合像素的α值(53)依赖于到深度过渡(62)的距离，基于α值(53)和颜色信息(51)确定融合像素的颜色。
9.如权利要求8所述的解码视频数据信号(15)的方法，其中α值(53)的确定进一歩基于深度过渡(62)的深度(52)。
10.一种用于编码视频数据信号(15)的编码器，该编码器包括用于提供图像中像素的颜色信息(51)、具有像素的深度信息(52)的深度图、以及代表包括深度过渡(62)和其中前景对象和背景对象的颜色被融合的融合像素的过渡区域(61， 72)的宽度(63，73)的过渡信息(56，57，60，70，71)的装置，用于生成(24)包括表示颜色信息(51)、深度信息(52)和过渡信息的编码数据的视频数据信号(15)的装置，以及用于提供视频数据信号(15)的输出。
11.一种用于解码视频数据信号(15)的解码器，该解码器包括用于接收视频数据信号(15)的输入，该视频数据信号(15)包括表示图像中像素的颜色信息(51)的编码数据、具有像素的深度信息(52)的深度图、以及代表包括深度过渡(62) 和其中前景对象和背景对象的颜色被融合的融合像素的过渡区域(61，72)的宽度(63，73) 的过渡信息(56，57，60，70，71 )，用于基于过渡信息(56，57，60，70，71)，确定过渡区域(61，72)的宽度(63，73)的装置，用于基于过渡区域(61，72)的宽度(63，73)，确定融合像素的α值(53)的装置，所述融合像素的α值(53)依赖于到深度过渡(62)的距离，以及用于基于α值(53)和颜色信息(51)确定融合像素的颜色的装置。
12.一种用于编码视频数据信号的计算机程序产品，可操作该程序以导致处理器执行如权利要求1所述的方法。
13.一种用于解码视频数据信号的计算机程序产品，可操作该程序以导致处理器执行如权利要求8所述的方法。
14.ー种视频数据信号(15)，包括表示图像中像素的颜色信息(51)的编码数据、具有像素的深度信息(52)的深度图、以及代表包括深度过渡(62)和其中前景对象和背景对象的颜色被融合的融合像素的过渡区域(61，72)的宽度(63，73)的过渡信息(56，57，60，70， 71)。
15.一种在其上编码了如权利要求14所述的视频数据信号(15)的数字数据载体。
全文摘要
提供了一种编码视频数据信号(15)的方法以及一种用于解码的方法。该编码方法包括提供图像中像素的颜色信息(51)，提供具有像素的深度信息(52)的深度图，提供表示图像中过渡区域(61，72)的宽度(63，73)的过渡信息(56，57，60，70，71)，该过渡区域(61，72)包括深度过渡(62)和其中前景对象和背景对象的颜色被融合的融合像素，以及生成(24)包括表示颜色信息(51)、深度图(52)和过渡信息(56，57，60，70，71)的编码数据的视频数据信号(15)。解码包括使用过渡信息(56，57，60，70，71)以确定过渡区域(61，72)的宽度(63，73)并确定过渡区域(61，72)内部的像素的α值(53)。所确定的α值(53)用于确定前景对象和背景对象的过渡处的融合像素的颜色。
文档编号H04M13/00GK102598646SQ201080051413
公开日2012年7月18日 申请日期2010年11月8日 优先权日2009年11月13日
发明者C.瓦雷坎普, R.B.M.克莱恩冈内维克, W.H.A.布鲁斯 申请人:皇家飞利浦电子股份有限公司