自适应分区编码的制作方法

自适应分区编码的制作方法
【专利摘要】虽然与轮廓分区相比基于楔形波的分区似乎代表了一方面为边信息速率与另一方面为能够实现的分区可能性变化之间的更好的权衡，但是将对分区的约束减轻至分割必须为楔形波分区的程度的能力使得能够对重叠空间采样纹理信息应用相对不复杂的统计分析，以获得用于深度/视差映射的双分割的良好预测器。因而，根据第一方:面，在存在图片形式的同位纹理信息的情况下，确：切地增加了使传讯开销减小的自由。另一方面涉j及节省与传讯支持不规则分区的相应编码模式有'关的边信息速率的可能性。I
【专利说明】自适应分区编码
[0001] 本发明涉及使用轮廓（contour)块分区或允许高自由度的块分区的样本阵列编 码。
[0002] 许多编码方案使用将样本阵列细分成块来压缩样本阵列数据。样本阵列可以限定 对纹理的空间采样即图片，但是当然可以使用相似的编码技术诸如深度映射等来压缩其他 的样本阵列。由于通过各个样本阵列被空间采样的信息的性质不同，所以不同的编码构思 最适合不同种类的样本阵列。然而，与样本阵列的种类无关地，这些编码构思中的许多编码 构思都使用块细分（block-subdivisioning)以将单独编码选项分配给样本阵列的块，从 而找到一方面为用于对分配给单独块的编码参数进行编码的边信息速率与用于对由于错 误预测相应块而产生的预测残差进行编码的残差编码速率之间的良好权衡，或在残差编码 或无残差编码的情况下找到速率/失真意义上的良好组成。
[0003] 通常，块为矩形或方形形状。明显地，有利的是能够使编码单位（块）的形状适应 于待编码的样本阵列的内容。然而不幸的是，使块或编码单位的形状适应于样本阵列内容 涉及花费（spend)用于块分区传讯（signal)的另外的边信息。已发现对块的楔形波型分 区为可能的块分区形状与所涉及的边信息开销之间的适当折衷。楔形波型分区导致将块分 区成例如可以使用特定编码参数的楔形波分区。
[0004] 然而，甚至对楔形波分区的约束也导致用于传讯块的分区的大量的另外的开销， 因此有利的是手头上具有如下更有效的编码构思：其使得能够以更高效的方式在样本阵列 编码中获得对块进行分区的较高自由度。
[0005] 该目的是通过未决的独立权利要求的主题来实现的。
[0006] 基于本发明的主要构思为：与轮廓分区相比，尽管基于楔形波的分区似乎代表了 一方面为边信息速率与另一方面为能够实现的分区可能性变化之间的较好的权衡，但是将 对分区的约束减轻至分区必须为楔形波分区的程度的能力使得能够对重叠空间采样纹理 信息应用相对不复杂的统计分析，从而得到用于深度/视差映射中双分割的良好预测器。 从而，根据第一方面，只要存在采用图片形式的同位纹理信息，就能够确切地增加使传讯开 销减小的自由。
[0007] 本发明的另一方面所基于的另一个想法为：根据刚刚概述的构思，基于图片内的 同位参考块得到双分割以及随后将该双分割转移至深度/视差映射的当前块上，该刚刚概 述的构思仅在下述情况下是合理的：实现对深度/视差映射的当前块的内容的良好近似的 似然性足够高以使得调整（justify)对应编码选项标识符的相应预定值的保留，以便触发 该双分割转移模式。换句话说，在无论如何都非常不可能选择相应的双分割转移的情况下， 通过避免在对该编码选项标识符进行熵编码时需要考虑用于深度/视差映射的当前块的 编码选项标识符的相应预定值，可以节省边信息速率。
[0008] 另外的子方面为从属权利要求的主题。
[0009] 下面关于附图来对本发明的优选实施方式进行更详细的描述，在附图中：
[0010] 图1示出了根据示例的其中可建立本发明的实施方式的多视图编码器的框图； [0011] 图2示出了用于说明跨视图和视频深度/视差边界再利用信息的多视图信号的一 部分的示意图；
[0012] 图3示出了适于图1的解码器的框图；
[0013] 图4示出了方形块在连续信号空间（左）和离散信号空间（右）中的楔形波分 区；
[0014] 图5示出了楔形波块分区的六个不同方位的示意图；
[0015] 图6示出了针对块尺寸为4X4(左）、8X8(中间）以及16X16(右）的楔形波分 区图案的示例；
[0016] 图7示出了使用楔形波模型通过组合分区信息和CPV(分区区域中深度信号的平 均值）进行的深度信号近似；
[0017] 图8示出了楔形波分区图案的生成；
[0018] 图9示出了方形块在连续信号空间（左）和离散信号空间（右）中的轮廓分区；
[0019] 图10示出了针对块尺寸为8X8的轮廓分区图案的示例；
[0020] 图11示出了使用轮廓模型通过组合分区信息和CPV(分区区域中深度信号的平均 值）进行的深度信号近似；
[0021] 图12示出了针对上方参考块是楔形波分区类型（左）或规则帧内方向类型（右） 的情形的楔形波分区（蓝色）的帧内预测；
[0022] 图13示出了根据纹理亮度参考而对楔形波（蓝色）和轮廓（绿色）分区信息的 预测；
[0023] 图14示出了块分区的CPV :根据相邻块的邻近样本（左）和块的横截面（右）的 CPV预测，其中示出了不同CPV类型之间的关系；
[0024] 图15示出了基于纹理亮度方差的模式预选；
[0025] 图16示出了根据实施方式的解码器的框图；
[0026] 图17示出了适于图16的编码器的框图；
[0027] 图18示出了根据实施方式的解码器的框图；
[0028] 图19示出了适于图18的编码器的框图；
[0029] 图20示出了根据实施方式的解码器的框图；
[0030] 图21示出了适于图20的编码器的框图；
[0031] 图22示出了根据实施方式的解码器的框图；
[0032] 图23示出了适于图22的编码器的框图；
[0033] 图24示出了根据实施方式的解码器的框图；以及
[0034] 图25示出了适于图24的编码器的框图。
[0035] 本发明的优选实施方式的下面的描述开始于可有利地使用本发明的实施方式的 可能的环境。具体地，关于图1至图3来描述根据实施方式的多视图编解码器。然而，应当 强调的是，后文中描述的实施方式不限于多视图编码。不过，可以更好地理解以下进一步描 述的一些方面，并且这些方面在与多视图编码或者更确切地说尤其与深度映射的编码一起 使用时具有特殊的协同作用。因此，在图1至图3之后，描述继续进行对不规则块分区及其 涉及的问题的介绍。该描述参考图4至图11并且形成用于此后所描述的本发明的实施方 式的描述的基础。
[0036] 如刚刚所述，以下进一步概述的实施方式在图像和视频编码应用中使用非矩形或 不规则块分区和建模函数，并且特别适用于对诸如用于表示场景的几何结构的深度映射的 编码，尽管这些实施方式也可适用于常规的图像和视频编码。以下进一步概述的实施方式 还提供了用于在图像和视频编码应用中使用非矩形块分区和建模函数的构思。这些实施方 式特别适用于对（用于表示场景的几何结构）深度映射的编码，而且还适用于常规的图像 和视频编码。
[0037] 在多视图视频编码中，将视频场景的（被多个摄像机同时捕获到的）两个或更多 个视图编码在单个比特流中。多视图视频编码的主要目标是通过提供3d观看印象来向最 终用户提供高级多媒体体验。如果对两个视图进行编码，则可以在（具有眼镜的）常规立体 显示器上显示两个重构视频序列。然而，需要使用用于常规立体显示器的眼镜对于用户而 言常常是麻烦的。使得能够在无眼镜情况下实现高质量立体观看印象是当前最重要的研究 和发展课题。用于这样的自动立体显示器的有前景的技术基于双凸透镜系统。在原理上， 按照使得同时显示视频场景的多个视图的方式在常规显示器上安装柱面透镜的阵列。每个 视图显示在小椎体中，使得用户的每只眼睛看见不同的图像；该效果在无特殊眼镜的情况 下产生了立体印象。然而，这样的自动立体显示器通常需要相同视频场景的10至30个视 图（如果进一步改进技术则会需要甚至更多的视图）。还可以将多于2个的视图用于向用 户提供以交互方式选择针对视频场景的视点的可能性。然而，与常规的单视图（2d)视频相 t匕，对视频场景的多个视图的编码急剧增大所需要的位速率。通常，所需要的位速率随着编 码视图的数目而以近似线性的方式增大。用于减少自动立体显示器的传送数据量的构思包 括：传送仅小数目的视图（或许2至5个视图），而且另外传送所谓的深度映射，所述深度 映射表示用于一个或更多个视图的图像样本的深度（真实世界对象距摄像机的距离）。鉴 于小数目的编码视图和对应的深度映射，可以通过适合的渲染（rendering)技术在接收机 侧产生高质量中间视图（位于编码视图之间的虚拟视图）_以及在某种程度上还有相对摄 像机阵列的一端或两端的另外的视图。
[0038] 在图像和视频编码的现有技术中，通常将图片或用于图片的样本阵列的具体集合 分解成与特定编码参数关联的块。该图片通常包括多个样本阵列（亮度和色度）。另外，图 片还可以与另外的辅助样本阵列关联，该另外的辅助样本阵列可以例如指定透明度信息或 深度映射。通常将每个图片或样本阵列分解成块。通过图片间预测或图片内预测来预测所 述块（或样本阵列的对应块）。块可以具有不同的尺寸，并且可以为方形或矩形。将图片分 区成块可以通过语法（syntax)来固定，或者可以（至少部分地）在比特流内被传讯。常常 传送：传讯针对预定尺寸的块进行细分的语法元素。例如，为了预测的目的，这样的语法元 素可以指定是否或如何将块细分成更小的块且与编码参数关联。针对块的所有样本（或样 本阵列的对应块），以一定的方式指定对关联的编码参数的解码。在示例中，使用如下预测 参数的相同集合来预测块中的所有样本：诸如参考索引（标识已编码图片集合中的参考图 片）、运动参数（指定针对块在参考图片与当前图片之间的运动的测量）、用于指定内插滤 波器的参数、帧内预测模式等。运动参数可以用具有水平分量或垂直分量的位移矢量或者 用包括六个分量的高阶运动参数诸如仿射运动参数来表示。还可能的是，具体的预测参数 (诸如参考索引和运动参数）的多于一个的集合与单个块关联。在该情况下，针对这些具体 的预测参数的每个集合，生成用于该块（或样本阵列的对应块）的单个中间预测信号，并通 过包括叠加中间预测信号的组合来建立最终预测信号。对应的加权参数以及潜在地还有恒 定偏移（该恒定偏移相加至与加权和）对于图片、或参考图片或参考图片集合可以是被固 定的，或者可以将它们包括在用于对应块的预测参数集合中。通常对原始块（或样本阵列 的对应块）与它们的预测信号之间的差-还称为残差信号-进行变换并量化。常常将二维 变换应用于残差信号（或用于残差块的对应样本阵列）。针对变换编码，还可以在应用变换 之前拆分使用了预定参数的特定集合的块。变换块可以等于或小于用于预测的块。还可能 的是，变换块包括用于预测的块中的多于一个的块。不同的变换块可以具有不同的尺寸，并 且变换块可以表示方形或矩形块。在变换之后，对所得到的变换系数进行量化，并获得所谓 的变换系数水平。对变换系数水平以及预测参数、如果存在的话还有细分信息进行熵编码。
[0039] 而且，现有技术的编码技术诸如ITU-T Rec.H. 264 |IS0/IEC JTC11449610或用于 HEVC的当前运行模型还适用于深度映射，还特别设计了编码工具以用于对自然视频的编 码。深度映射作为自然视频序列的图片具有不同的特性。例如，深度映射包含较少的空间细 节。它们主要通过尖锐边缘（其表示对象边界）和几乎恒定或慢变的样本值的较大区（其 表示对象区）来表征。如果通过应用被特别设计用于利用深度映射性质的编码工具来对深 度映射进行更高效地编码，则可以改进使用深度映射的多视图视频编码的总编码效率。
[0040] 为了用作针对可以有利地使用本发明的后续说明的实施方式的可能编码环境的 基础，以下关于图1至图3来进一步描述可能的多视图编码构思。
[0041] 图1示出了根据实施方式的用于对多视图信号进行编码的编码器。图1的多视图 信号以10示意性地表示为包括两个视图12 1和122，然而图1的实施方式使用较高数目的 视图也是可行的。此外，根据图1的实施方式，每个视图12 1和122包括视频14和深度/视 差映射数据16,然而以下进一步描述的实施方式的有利原理中的许多有利原理在与视图不 包括任何深度/视差映射数据的多视图信号结合使用的情况下也会是有利的。
[0042] 相应视图121和122的视频14表示沿着不同投影/观看方向的共同场景的投影 的时空采样。优选地，视图12i和12 2的视频14的时间采样速率彼此相等，然而不是必须 需要满足该约束。如图1所示，优选地，每个视频14包括每个帧与相应的时间戳t、t-1、 关联的帧序列。在图1中，用来表示视频帧。每个帧vi;t表示在相应 的时间戳t沿着相应的观看方向的场景i的空间采样，并且由此包括一个或更多个样本阵 列，例如像针对亮度样本的一个样本阵列和关于色度样本的两个样本阵列，或仅亮度样本 或针对其他颜色分量（诸如RGB颜色空间的颜色分量等）的样本阵列。一个或更多个样本 阵列的空间分辨率既可以在一个视频14内不同又可以在不同的视图12i和12 2的视频14 内不同。
[0043] 类似地，深度/视差映射数据16表示沿着视图121和122的相应观看方向测量的、 共同场景的场景对象的深度的时空采样。深度/视差映射数据16的时间采样速率可以等 于或者可以不同于与图1所描绘的视图相同的视图的关联视频的时间采样速率。在图1的 情况下，每个视频帧v已与相应视图12i和12 2的深度/视差映射数据16的相应深度/视 差映射d相关联。换句话说，在图1的不例中，视图i和时间戮t的每个视频巾贞v i;t具有与 其关联的深度/视差映射di;t。关于深度/视差映射d的空间分辨率，如以上关于视频帧所 指出的那样，同样可适用。即，空间分辨率可以在不同视图的深度/视差映射之间不同。
[0044] 为了有效地压缩多视图信号10,图1的编码器将视图12i和122并行地编码至数 据流18中。然而，再利用用于对第一视图12i进行编码的编码参数，以采用与待在对第二 视图1?进行编码中使用的第二编码参数相同的参数或预测所述第二编码参数。通过该措 施，图1的编码器利用这样的事实，根据所述事实，视图12i和12的并行编码导致编码器类 似地确定针对这些视图的编码参数，使得可以有效地利用这些编码参数之间的冗余以增大 压缩率或速率/失真比（其中失真被测量为例如两个视图的平均失真，以及速率被测量为 整个数据流18的编码速率）。
[0045] 具体地，图1的编码器总体上用附图标记20来表示，并且包括用于接收多视图信 号10的输入和用于输出数据流18的输出。如可以在图2中观察到的，图1的编码器20包 括针对每个视图12i和12 2的两个编码分支，即针对视频数据的一个编码分支和针对深度/ 视差映射数据的另一个编码分支。因此，编码器20包括针对视图1的视频数据的编码分支 22 Vil、针对视图1的深度视差映射数据的编码分支22^、针对第二视图的视频数据的编码分 支22v， 2以及针对第二视图的深度/视差映射数据的编码分支2242。以相似方式构造这些 编码分支22中的每个编码分支。为了描述编码器20的构造和功能，从编码分支22 Vil的构 造和功能开始下面的描述。该功能对于所有分支22是共同的。此后，讨论分支22的单独 特性。
[0046] 编码分支22νΛ用于对多视图信号12的第一视图12i的视频11进行编码，并且因 此分支22 Vil具有用于接收视频的输入。除此之外，分支22Vil包括按照提到的顺序彼此 串联连接的：减法器24、量化/变换模块26、去量化/逆变换模块28、加法器30、进一步处 理模块32、解码图片缓冲器34、进而彼此并联连接的两个预测模块36和38、以及连接在一 方面为预测模块36和38的输出与另一方面为减法器24的反相输入之间的组合器或选择 器40。组合器40的输出还连接至加法器30的另一输入。减法器24的非反相输入接收视 频IV
[0047] 编码分支22Vil的元件24至40协作使得对视频进行编码。该编码以特定部分 为单位对视频进行编码。例如，在对视频进行编码时，将帧分割成段诸如块或 其他的样本组。该分割可以是随时间推移而恒定的，或者可以在时间上变化。此外，该分割 可以为编码器和解码器默认已知的，或者可以在数据流18内被传讯（signal)。该分割可以 是使帧成为块的规则分割（诸如按行和列的块的非重叠布置），或者可以是成为大小变化 的块的基于四叉树的分割。在图1至图3的下面描述中，在减法器24的非反相输入处进入 的视频的当前编码段被称为视频11的当前块。
[0048] 预测模块36和38用于预测当前块，并且为此目的，预测模块36和38使其输入连 接至解码图片缓冲器34。实际上，预测模块36和38二者使用驻留在解码图片缓冲器34中 的视频的先前重构部分，以预测进入减法器24的非反相输入的当前块。在这方面，预测 模块36用作根据视频的相同帧的空间上相邻、已重构的部分来空间上预测视频的 当前部分的帧内预测器，而预测模块38用作根据视频的先前重构帧来时间上预测当前 部分的帧间预测器。模块36和38二者执行基于特定的预测参数或通过特定的预测参数描 述的预测。更确切地说，后者的参数由编码器20在一些优化架构中确定，所述优化架构用 于在一些约束诸如最大比特率下或无任何约束情况下对一些优化目标进行优化，诸如对速 率/失真比进行优化。
[0049] 例如，帧内预测模块36可以确定针对当前部分的空间预测参数，诸如视频的 相同帧的相邻的、已重构的部分的内容被扩展/复制到当前部分中以预测当前部分所沿循 的帧内预测方向。
[0050] 帧间预测模块38可以使用运动补偿，以使得根据先前重构帧来预测当前部分，与 之相关的帧间预测参数可以包括运动矢量、参考帧索引、关于当前部分的运动预测细分信 息、假设数目或其任意组合。
[0051] 组合器40可以组合由模块36和38提供的预测中的一个或更多个，或者仅选择其 中之一。组合器或选择器40将所得到的当前部分的预测分别转发至减法器24的反相输入 和加法器30的另一输入。
[0052] 在减法器24的输出处，输出当前部分的预测的残差，并且量化/变换模块36被 配置成通过对变换系数进行量化来变换该残差信号。该变换可以为任意谱分解变换，诸如 DCT。由于量化而导致量化/变换模块26的处理结果为不可逆的。就是说，产生了编码损 失。模块26的输出为待在数据流内传送的残差信号42i。不是所有块都会经历残差编码。 反而，一些编码模式会抑制残差编码。
[0053] 在模块28中对残差信号42i进行去量化和逆变换以尽可能重构残差信号，S卩，使 得与量化噪声无关地对应于减法器24所输出的残差信号。加法器30通过求和来将该重构 残差信号与当前部分的预测进行组合。其他的组合也将是可行的。例如，根据替选方案，减 法器24可以操作为用于按比率测量剩余物的除法器，并且加法器可以被实现为用于重构 当前部分的乘法器。因而，加法器30的输出表示当前部分的初步重构。然而，模块32中的 进一步处理可以可选地用于增强该重构。这样的进一步处理可以例如包括去块和自适应滤 波等。目前为止可得到的所有重构被缓存在解码图片缓冲器34中。从而，解码图片缓冲器 34缓存视频11的先前重构帧、以及当前部分所属的当前帧的先前重构部分。
[0054] 为了使解码器能够根据数据流18重构多视图信号，量化/变换模块26将残差信 号42i转发至编码器20的复用器44。同时，预测模块36将帧内预测参数46i转发至复用器 44,帧间预测模块38将帧间预测参数48i转发至复用器44,并且进一步处理模块32将进一 步处理参数5(^转发至复用器44,复用器44又对所有这些信息进行复用或将其插入数据流 18中。
[0055] 如从根据图1的实施方式的以上讨论变得清楚的，编码分支22Vil对视频的编 码为自包含式，在于该编码独立于深度/视差映射数据16i和其他视图12 2中的任意视图的 数据。从更一般的观点来看，编码分支22νΛ可以被认为是通过下述操作将视频编码至 数据流18中：确定编码参数，并且基于第一编码参数，根据在对当前部分进行编码之前被 编码器20编码至数据流18中的、视频的先前编码部分来预测视频的当前部分，并 确定该当前部分的预测的预测误差以获得校正数据，即以上提到的残差信号42 lt)将编码参 数和校正数据插入到数据流18中。
[0056] 刚刚提到的通过编码分支22vy插入到数据流18中的编码参数可以包括以下内容 中的一个、其组合或全部：
[0057] -首先，如之前简要讨论的，针对视频的编码参数可以限定/传讯对视频1七的 中贞的分割。
[0058] -此外，编码参数可以包括编码模式信息，该编码模式信息表示针对每个段或当前 部分要使用哪个编码模式来预测相应段，诸如帧内预测、帧间预测或其组合。
[0059] -编码参数还可以包括刚刚提到的预测参数，诸如针对通过帧内预测来预测的部 分/段的帧内预测参数和针对帧间预测部分/段的帧间预测参数。
[0060] -然而，编码参数可以另外包括进一步处理参数5〇i，该进一步处理参数5〇i向解码 侧传讯如何在使用用于预测视频的当前部分或后续部分的已重构部分之前进一步处理 视频的已重构部分。这些进一步处理参数5〇i可以包括标引相应滤波器或滤波系数等 的索引。
[0061] -预测参数46i和48i以及进一步处理参数5〇i甚至可以另外包括子分割数据，使 得相对于限定模式选择的粒度或限定完全独立分割的前述分割来限定进一步子分割，例如 用于在进一步处理内针对帧的不同部分应用不同的自适应滤波器。
[0062] -编码参数还可以影响对残差信号的确定，并且从而为残差信号42i的一部分。例 如，由量化/变换模块26输出的谱变换系数水平可以被认为是校正数据，而同样可以在数 据流18内传讯量化步长，并且量化步长参数可以被认为是编码参数。
[0063]-编码参数还可以限定下述预测参数：所述预测参数对以上讨论的第一预测阶段 的预测残差的第二阶段预测进行限定。在这方面可以使用帧内/帧间预测。
[0064] 为了提高编码效率，编码器20包括编码信息交换模块52,该编码信息交换模块52 接收所有编码参数和影响模块36、38和32内的处理或受所述处理影响的另外信息，如用 从相应的模块向下指向编码信息交换模块52的垂直延伸箭头所示意性表示的。编码信息 交换模块52负责在编码分支22之间共享编码参数和可选地另外的编码信息，使得分支可 以根据彼此预测或采用编码参数。在图1的实施方式中，为此在多视图信号10的视图12i 和1?的数据实体（即视频和深度/视差映射数据）之间限定了顺序。具体地，第一视图 的视频在第一视图的深度/视差映射数据16i之前，第一视图的深度/视差映射数 据埤之后是第二视图12 2的视频142，并且然后是第二视图122的深度/视差映射数据162 等。这里应当指出，多视图信号10的数据实体之间的该严格顺序不需要严格应用于对整个 多视图信号10的编码，而为了更便于讨论，下面假定该顺序为恒定的。自然地，数据实体之 间的顺序还限定了与数据实体相关联的分支22之间的顺序。
[0065] 如以上已经指出的，另外的编码分支22诸如编码分支22^22。和22d， 2与编码分 支22νΛ相似地起作用，使得分别对相应的输入16^142和162进行编码。然而，由于刚刚提 到的相应地在视图12i和122的视频和深度/视差映射数据之间的顺序以及在编码分支22 之间限定的对应顺序，编码分支22 41例如具有附加的自由来预测待用于对第一视图12i的 深度/视差映射数据16i的当前部分进行编码的编码参数。这是因为不同视图的视频和深 度/视差映射数据之间的前述顺序。例如，允许这些实体中的每个实体使用其自身及其在 这些数据实体之中按照前述顺序的在前的实体的已重构部分而被编码。因此，在对深度/ 视差映射数据16i进行编码时，允许编码分支22 41使用从对应的视频的先前重构部分 已知的信息。分支2241如何利用视频的重构部分以预测深度/视差映射数据16i的、 使得能够获得对深度/视差映射数据16i的压缩的更好的压缩率的一些性质，在理论上是 不受限制的。编码分支22 41例如能够预测/采用如上所述在对视频进行编码时所涉及 的编码参数，使得获得用于对深度/视差映射数据16i进行编码的编码参数。在采用情况 下，可以抑制在数据流18内传讯关于深度/视差映射数据16i的任何编码参数。在预测情 况下，可以在数据流18内必须传讯仅关于这些编码参数的预测残差/校正数据。以下也进 一步描述了用于编码参数的这样的预测/采用的示例。
[0066] 值得注意的是，除了上面关于模块36和38所描述的模式之外，编码分支2241还 可以具有可用于对深度/视差映射16i的块进行编码的另外的编码模式。以下进一步描述 这样的另外的编码模式，并且这样的另外的编码模式涉及不规则块分区模式。在可替选视 图中，如下所述的不规则分区可以视作将深度/视差映射细分成块/分区的继续。
[0067] 在任何情况下，针对后续的数据实体即第二视图122的视频142和深度/视差映射 数据162，存在另外的预测能力。关于这些编码分支，其帧间预测模块不仅能够执行时间预 测而且能够执行视图间预测。与时间预测相比，对应的帧间预测参数包括相似的信息，即每 视图间预测段、视差矢量、视图索引、参考帧索引、和/或假设数目的指示，即例如参与通过 求和形成视图间帧间预测的帧间预测的数目的指示。这样的视图间预测不仅可用于关于视 频14 2的分支22v，2,而且可用于关于深度/视差映射数据162的分支22 i2的帧间预测模块 38。自然地，这些视图间预测参数还表示可以用作用于采用/预测可能的第三视图的后续 视图数据的基础的编码参数，然而图1中未示出该可能的第三视图。
[0068] 由于以上措施，进一步降低待被复用器44插入到数据流18中的数据量。具体地， 可以通过采用在前的编码分支的编码参数或经由复用器44仅将相对于在前的编码分支的 预测残差插入到数据流28中，来大大减少编码分支2241、22ν，2和22 i2的编码参数的量。由 于在时间预测与视图间预测之间选择的能力，也可以降低编码分支22v， 2和22d，2的残差数 据423和42 4的量。残差数据量的减少过度补偿了区分时间预测模式与视图间预测模式时 的附加的编码效果。
[0069] 为了更详细地说明编码参数采用/预测的原理，参照图2。图2示出了多视图信 号10的不例性部分。图2把视频巾贞v1;t不出为被分割成段或部分60a、60b和60c。为了简 化，示出了帧Vl，t的仅三个部分，然而该分割可以无缝且无间隙地将帧分成段/部分。如之 前所提到的，对视频帧 Vl，t的分割可以在时间上固定或变化，并且可以在数据流内传讯或不 传讯该分割。图2示出了使用来自视频11的任意参考帧的重构版本（在本情况下为示例 性帧Vm)的运动矢量62a和62b来对部分60a和60b进行时间预测。如现有技术所已知 的，视频的帧之间的编码顺序可以不与这些帧之间的呈现顺序一致，并且因此，参考帧 可以按照呈现时间顺序64达到当前帧' t。例如，部分60c为帧内预测参数被插入到数据 流18中的帧内预测部分。
[0070] 在对深度/视差映射dlit进行编码时，编码分支22^可以按照下面关于图2例举 的以下方式中的一种或更多种利用上述可能性。
[0071] -例如，在对深度/视差映射d1;t进行编码时，编码分支22d>1可以米用如编码分支 22 v，i使用的视频帧' t的分割。因此，如果在针对视频帧' t的编码参数内存在分割参数， 则可以避免针对深度/视差映射数据d1;t再传送分割参数。可替选地，编码分支22 d;1可以 通过经由数据流18传讯相对于视频帧的分割的偏差来使用视频帧的分割作为针对 待用于深度/视差映射d lit的分割的基础/预测。图2示出了编码分支2241使用视频帧Vl 的分割作为深度/视差映射dlit的预分割的情况。就是说，编码分支22^根据视频't的 分割采用预分割或根据该视频' t的分割来预测预分割。
[0072] -此外，编码分支22d>1可以根据分配给视频巾贞v1;t中相应的部分60a、60b和60c 的编码模式来采用或预测深度/视差映射dlit的部分66a、66b和66c的编码模式。在视频 帧' t与深度/视差映射< t之间的分割不同的情况下，可以控制根据视频帧't对编码模 式的采用/预测，以使得根据视频帧的分割的同位部分来获得该采用/预测。同位的 适当限定如下。针对深度/视差映射dlit中的当前部分的视频帧vlit中的同位部分可以例 如为下述部分：其包括在深度/视差映射d 1;t中的当前帧的左上角处的同位位置。在预测 编码模式的情况下，编码分支22^可以传讯相对于在数据流18内显式传讯的视频帧内 的编码模式的、深度/视差映射dy的部分66a至66c的编码模式偏差。
[0073] -就关注预测参数而言，编码分支22^具有空间上采用或预测用于对相同的深度 /视差映射dlit内的相邻部分进行编码的预测参数或者根据用于对视频帧的同位部分 60a至6c进行编码的预测参数来采用或预测上述预测参数的自由。例如，图2示出了深度 /视差映射d lit的部分66a为帧间预测部分，并且可以根据视频帧的同位部分60a的运 动矢量62a来采用或预测对应的运动矢量68a。在预测的情况下，仅运动矢量差作为帧间预 测参数48 2的一部分被插入到数据流18中。
[0074] -在编码效率方面，将有利的是，编码分支2241具有使用不规则块分区来细分深 度/视差映射41的预分割的段的能力。以下进一步描述的实施方式所涉及的一些不规则 块分区模式根据相同视图的重构图片导出分区信息诸如楔形波分隔线70。通过该措 施，深度/视差映射d 1;t的预分割的块被细分。例如，将深度/视差映射d1;t的块66c细分 成两个楔形波形状的分区72a和72b。编码分支22 41可以被配置成单独地对这些子段72a 和72b进行编码。在图2的情况下，示例性地示出了使用相应的运动矢量68c和68d来帧 间预测子段72a和72b二者。根据部分3和4,编码分支22^可以具有在用于不规则块分 区的若干编码选项之间进行选择以及将该选择作为数据流18内的边信息传讯至解码器的 自由。
[0075] 在对视频142进行编码时，除了可用于编码分支22νΛ的编码模式选项之外，编码分 支22 v，2还具有视图间预测的选项。
[0076] 图2示出了例如使用视差矢量76、根据第一视图视频1七的时间上对应的视频帧 vlit来对视频帧的分割的部分64b进行视图间预测。
[0077] 不管该差异如何，编码分支22v，2可以另外地利用可用于视频帧和深度/视差 映射d lit的编码的所有信息，诸如，特别是在这些编码中所使用的编码参数。因此，根据时间 上对准的视频帧Vy和深度/视差映射dy的同位部分60a和66a的各自的运动矢量62a 和68a中的任意一个或其组合，编码分支22v，2可以采用或预测包括针对视频帧v2， t的时间 上帧间预测部分74a的运动矢量78在内的运动参数。如果有的话，则可以关于针对部分 74a的帧间预测参数来传讯预测残差。在这方面，应当记得，已经根据运动矢量62a本身对 运动矢量68a进行了预测/采用。
[0078] 如以上关于深度/视差映射dlit的编码所述采用/预测用于对视频帧v2， t进行编 码的编码参数的其他可能性也同样可适用于编码分支22v，2对视频帧v 2，t的编码，然而由于 视频帧和对应的深度/视差映射dlit二者的编码参数是可用的，所以增多了模块52分 发的可用的共同数据。
[0079] 然后，类似于编码分支22d;1对深度/视差映射d1;t的编码，编码分支22 d，2对深度 /视差映射进行编码。例如关于根据相同视图122的视频帧v 2，t进行的所有编码参数 采用/预测的事件，这也是成立的。然而，另外，编码分支22 42具有还根据已用于对在前的 视图12i的深度/视差映射dlit进行编码的编码参数采用/预测编码参数的机会。另外，编 码分支22i2可以使用如关于编码分支22v，2说明的视图间预测。
[0080] 在描述了图1的编码器20之后，应当指出，可以将该编码器20实现为软件、硬件 或固件，即可编程硬件。尽管图1的框图显示出编码器20在结构上包括并行编码分支，即 针对多视图信号10的视频和深度/视差数据中每个存在一个编码分支，然而不必是这样的 情况。例如，被配置成执行元件24至40的任务的软件例程、电路部分或可编程逻辑部分分 别可以顺序地使用以完成针对每个编码分支的任务。在并行处理中，可以在并行处理器核 上或在并行运行电路上执行并行编码分支的处理。
[0081] 图3示出了能够对数据流18进行解码以根据数据流18来重构与由多视图信号表 示的场景对应的一个或若干个视图视频的解码器的示例。在很大程度上，图3的解码器的 结构和功能与图20的编码器相似，使得尽可能地再利用图1的附图标记来表示以上关于图 1所提供的功能描述还适用于图3。
[0082] 图3的解码器总体上以附图标记100来表示，并且包括用于数据流18的输入和用 于输出前述一个或若干个视图102的重构的输出。解码器100包括解复用器104和用于由 数据流18表示的多视图信号10 (图1)的每个数据实体的一对解码分支106、以及视图提取 器108和编码参数交换器110。如图1的编码器的情况，解码分支106包括具有相同互连 的相同解码元件，因此关于负责第一视图12i的视频的解码的解码分支106 Vil代表性地 描述所述解码分支106。具体地，每个编码分支106包括与复用器104的相应输出连接的 输入、以及与视图提取器108的相应输入连接的输出，用以向视图提取器108输出多视图信 号10的相应数据实体，即解码分支106 νΛ的情况下的视频。在中间，每个编码分支106 包括串联连接在复用器104与视图提取器108之间的去量化/逆变换模块28、加法器30、 进一步处理模块32以及解码图片缓冲器34。加法器30、进一步处理模块32和解码图片缓 冲器34连同后面为组合器/选择器40的预测模块36和38的并联连接一起形成环，预测 模块36和38按照提到的顺序连接在解码图片缓冲器34与加法器30的另一输入之间。如 通过使用与图1的情况下的附图标记相同的附图标记所表示的，解码分支106的元件28至 40的结构和功能与图1中的编码分支的对应元件的相似之处在于：解码分支106的元件利 用数据流18内传达的信息来模仿编码过程的处理。自然地，解码分支106仅关于编码器20 所最终选择的编码参数来逆转（reverse)编码过程，而图1的编码器20必须找到某种优化 意义上的编码参数的最优集合，诸如在可选地进行了特定的约束（诸如最大比特率等）的 情况下对速率/失真成本函数进行优化的编码参数。
[0083] 解复用器104用于将数据流18分发至各个解码分支106。例如，解复用器104向 去量化/逆变换模块28提供残差数据42i，向进一步处理模块32提供进一步处理参数5〇i， 向帧内预测模块36提供帧内预测参数46i，并向帧间预测模块38提供帧间预测模块48 lt) 编码参数交换器110像图1中的对应模块52那样的起作用，使得在各个解码分支106之间 分发共同编码参数和其他的共同数据。
[0084] 视图提取器108接收并行解码分支106重构的多视图信号，并从该多视图信号中 提取与由外部提供的中间视图提取控制数据112规定的视角或视图方向对应的一个或若 干个视图102。
[0085] 由于解码器100相对于编码器20的对应部分的相似构造，以与以上描述相似的方 式来说明解码器100的直至视图提取器108的接口的功能。
[0086] 实际上，解码分支106νΛ和106^ -起用于通过下述操作根据数据流18重构多视 图信号10的第一视图12i :根据包含在数据流18中的第一编码参数（诸如42i内的定标参 数、参数46^48^5(^，以及第二分支16^的编码参数的对应的未采用参数和预测残差，即 422、参数46 2、482、502)，根据多视图信号10的（在第一视图12i的当前部分的重构之前根据 数据流18重构的）先前重构部分来预测第一视图12i的当前部分，并使用同样包含在数据 流18中的、即在和42 2内的第一校正数据来校正第一视图的当前部分的预测的预 测误差。当解码分支106νΛ负责对视频进行解码时，编码分支106 41承担用于对深度/ 视差映射数据16i进行重构的责任。参见例如图2 :解码分支106Vil通过下述操作根据数据 流18重构第一视图12i的视频:根据从数据流18读取的对应编码参数（即42i内的定 标参数、参数46^48^5(^)，根据多视图信号10的先前重构部分来预测视频的当前部分 诸如60a、60b或60c，并使用从数据流18获得的对应校正数据即根据42i内的变换系数水 平来校正该预测的预测误差。例如，解码分支l〇6 Vil以段/部分为单位使用视频帧之间的 编码顺序来处理视频，并且对于对帧内的段进行编码，这些帧的段之间的编码顺序如同 编码器的对应编码分支的情况一样。因此，视频的所有先前重构部分可用于针对当前部 分的预测。针对当前部分的编码参数可以包括以下参数中的一个或更多个：帧内预测参数 5〇i、帧间预测参数48i以及用于进一步处理模块32的滤波参数等。用于校正该预测误差的 校正数据可以用残差数据42i内的谱变换系数水平来表示。并不需要全部传送这些编码参 数中的所有编码参数。可以根据视频的相邻段的编码参数来空间预测这些编码参数中 的一些编码参数。可以将例如用于视频的运动矢量作为视频的相邻部分/段的运 动矢量之间的运动矢量差在比特流内传送。
[0087] 就关注第二解码分支106^而言，该第二解码分支106^不仅访问如在数据流18 内传讯并通过解复用器104分发给相应的解码分支10641的残差数据422以及对应的预测 和滤波参数，即未通过跨视图间边界被预测的编码参数，而且间接访问经由解复用器104 提供给解码分支1〇6νΛ的编码参数和校正数据、或如经由编码信息交换模块110分发的根 据该编码参数和校正数据可导出的任何信息。因而，解码分支1〇6 41根据经由解复用器104 转发给针对第一视图12i的这对解码分支106νΛ和106^的编码参数的一部分来确定其用 于重构深度/视差映射数据16i的编码参数，该编码参数的一部分与尤其专用于并转发给 解码分支1〇6 νΛ的这些编码参数的一部分部分地重叠。例如，解码分支106^根据一方面为 在48i内显式传送的运动矢量62a，例如作为相对帧 Vl，t的另一个相邻部分的运动矢量差， 以及另一方面为在482内显式传送的运动矢量差，来确定运动矢量68a。另外地或可替选地， 解码分支1〇6 41可以使用如以上关于对楔形波分隔线的预测所描述的视频的重构部分 来导出如以上关于解码该深度/视差映射数据16i所简要指出且以下将更详细概述的不规 则块分区。
[0088] 更确切地说，解码分支106^通过利用编码参数来根据数据流重构第一视图12i的 深度/视差映射数据，所述编码参数为至少部分地根据解码分支106Vil所使用的编码参 数而预测（或根据其而采用）的编码参数和/或根据解码分支l〇6Vil的解码图片缓冲器34 中的视频的重构部分而预测的编码参数。可以经由解复用器104从数据流18获得编 码参数的预测残差。可以全部地或关于另一基础（即参照用于对深度/视差映射数据16i 本身的先前重构部分的任意部分进行编码所使用的编码参数）在数据流108内传送用于解 码分支1〇641的其他编码参数。基于这些编码参数，解码分支10641根据深度/视差映射数 据16i的（在深度/视差映射数据16i的当前部分的重构之前由解码分支106d;1根据数据 流18而重构的）先前重构部分来预测深度/视差映射数据的当前部分，并且使用相应 的校正数据42 2来校正深度/视差映射数据16i的当前部分的预测的预测误差。
[0089] 如以上关于编码已描述的，针对第二视图122的这对解码分支106v， 2和106d，2的功 能与针对第一视图12i的功能相似。两个分支协作以利用自己的编码参数来根据数据流18 重构多视图信号10的第二视图1?。这些编码参数中的仅下述部分需要经由解复用器104 被传送并分发给这两个解码分支106 v，2和106i2中的任意一个：其是跨视图与142之间 的视图边界未被采用/预测，并且可选地为视图间预测部分的残差。根据多视图信号10的 (在第二视图1?的相应当前部分的重构之前由解码分支106中的任意一个根据数据流18 而重构的）先前重构部分来预测第二视图1?的当前部分，并因此使用由解复用器104转 发给这对解码分支106 v，2和106d，2的校正数据即423和42 4来校正预测误差。
[0090] 解码分支1〇642可以至少部分地通过根据以下内容的采用/预测来确定其编码参 数：解码分支l〇6 v，p 106d l和106v 2中的任何一个所使用的编码参数，重构视频142和/或 第一视图12i的重构深度/视差映射数据16i。例如，关于根据视频、深度/视差映射数 据16i和视频14 2或其适当子集中的任何一个的同位部分是否将采用或预测针对当前部分 80b的编码参数，以及关于根据所述同位部分将采用或预测针对该当前部分80b的编码参 数的哪个部分，数据流18可以针对深度/视差映射数据16 2的当前部分80b进行传讯。这 些编码参数中的关注的部分可以涉及例如运动矢量诸如84、或视差矢量诸如视差矢量82。 此外，可以通过解码分支106 d，2导出诸如与不规则分区的块相关的其他编码参数。
[0091] 在任何情况下，多视图数据10的重构部分到达视图提取器108,其中，在该视图提 取器108中，包含在其中的视图为用于新视图的视图提取的基础，即例如与这些新视图关 联的视频。该视图提取可以包括或涉及通过使用与视频和14 2关联的深度/视差映射 数据而对视频11和142的再投影。坦白讲，在将视频再投影到另一个中间视图时，与该视 频的对应于位置更远离观看者位置的场景部分的部分相比，该视频的对应于位置更接近观 看者的场景部分的部分沿着视差方向（即观看方向差矢量的方向）偏移得更多。
[0092] 应当提到的是，解码器不必包括视图提取器108。更确切地讲，可以不存在视图提 取器108。在该情况下，解码器100仅用于重构视图％和122中的任意一个，诸如它们中的 一个、若干个或全部视图。在针对单独视图12i和122不存在深度/视差数据的情况下，然 而视图提取器108可以通过利用使相邻视图的对应部分彼此相关的视差矢量来执行中间 视图提取。使用这些视差矢量作为与相邻视图的视频关联的视差矢量场的支持视差矢量， 该视图提取器108可以通过应用该视差矢量场根据相邻视图12i和12 2的这样的视频来建 立中间视图视频。例如，设想视频帧v2，t的部分/段的50%被视图间预测。就是说，对于该 部分/段的50%，将存在视差矢量。对于剩余部分，可以由视图提取器108通过空间意义上 的内插/外插来确定视差矢量。还可以使用利用针对视频14 2的先前重构帧的部分/段的 视差矢量的时间内插。然后可以根据这些视差矢量来使视频帧v2， t和/或参考视频帧 失真以产生中间视图。为此，根据在第一视图12i的视图位置与第二视图1?的视图位置之 间的该中间视图的中间视图位置来定标视差矢量。以下更详细地概述关于该过程的细节。 [0093] 然而，在考虑仅对包括视频和对应的深度/视差映射数据的一个视图（诸如以上 概述的实施方式的第一视图12^进行编码的情况下，可以有利地在图1至图3的架构中使 用以下概述的实施方式。在该情况下，传送的信号信息即单个视图121可以称为视图合成 适应信号，即使得能够实现视图合成的信号。视频连同深度/视差映射数据16i使视图 提取器108能够通过利用深度/视差映射数据16i将视图12i再投影到相邻新视图中来执 行某种视图合成。再有，通过使用不规则块分区来获得编码效率增益。从而，可以在独立于 上述视图间编码信息交换方面的单视图编码构思内使用以下进一步描述的不规则块分区 实施方式。更确切地说，可以将图1至图3的以上实施方式变化至失去分支22、100 vAu和 关联的视图1?的程度。
[0094] 从而，图1至图3示出了针对可以有利地使用后续说明的不规则块分区的多视图 编码构思的示例。然而，再次强调的是，不管样本阵列是否为深度/视差映射，都还可以结 合其他种类的样本阵列编码来使用以下描述的编码模式。以下描述的编码模式中的一些编 码模式甚至不会使深度/视差映射与对应的纹理映射一起共存是必要的。
[0095] 具体地，以下概述的实施方式涉及如下的一些编码模式：通过这些编码模式，用将 信号的样本分成两个样本集合且用恒定样本值来表示每个样本集合的模型来表示块的信 号。以下说明的编码模式中的一些编码模式可以被用于直接表示块的信号，或者可以被用 于生成针对该块的预测信号，然后进一步通过对另外的残差信息（例如变换系数水平）进 行编码来细化（refine)该预测信号。如果将后续说明的编码模式中的一个编码模式应用于 深度信号，则除了其他的有利方面之外，还会由于主要通过慢变区域和慢变区域之间的尖 锐边缘来表征深度信号的事实而产生优点。虽然可以用变换编码方法（即，基于DCT)来高 效地表示慢变区域，但是两个几乎恒定的区域之间的尖锐边缘的表示需要大量待编码的变 换系数。如关于以下概述的实施方式中的一些实施方式所描述的，可以通过使用将块分成 两个区域且每个区域具有恒定样本值的模型来更好地表示包含边缘的这样的块。
[0096] 下面，将更详细地描述本发明的不同实施方式。在部分1和2中，描述了用于将块 分区成样本值恒定的两个区域的基本构思。部分3描述了用于具体说明可以如何将块分区 成不同区域以及需要传送什么参数以用于表示该分区以及针对该区域的样本值的不同实 施方式。
[0097] 实施方式包括如下构思：用于独立于任何其他块来传讯分区信息的构思、用于基 于针对空间上相邻的块的传送数据来传讯分区信息的构思、以及用于基于与待编码的深度 映射关联的已传送纹理图片（常规的视频图片）来传讯分区信息的构思。从而，部分4关 于与用于处理不规则定位块的一些实施方式有关的恒定样本值、模式信息、和分区信息的 编码来描述本发明的实施方式。
[0098] 虽然下面的描述主要针对于深度映射的编码（特别是在多视图视频编码的上下 文中）并且下面的描述基于给定的深度块，但是针对常规视频编码也可以应用本发明的若 干实施方式。因此，如果用通用术语"信号块"来替换术语"深度块"，则可以将该描述应用 于其他信号类型。此外，下面的描述有时专注于方形块，但是本发明也可以应用于矩形块或 其他连接或简单连接的样本集合。
[0099] 1.楔形波
[0100] 在诸如图1至图3所示的基于块的混合视频编码中，例如，将帧细分为矩形块。通 常，这些块为方形，并且针对每个块的处理遵循相同的功能结构。注意，虽然本部分中的大 多数示例使用方形块，但是楔形波块分区和所有相关的方法不限于方形块，而是可以用于 任何矩形块尺寸。
[0101] 1.1楔形波块分区
[0102] 楔形波块分区的基本原理为将块200的区分成用线201分隔的两个区域202a、 202b，如图4所示，其中这两个区域用Pi和P 2来标记。通过都定位在块边界上的起点S和 终点E来确定该分隔线。有时，在下面将区域Pi称为楔形波分区202a，而将区域P 2称为楔 形波分区202b。
[0103] 针对连续信号空间（参见图4,左侧），起点位置为S(xs，ys)，并且终点位置为 E (xE, yE)，这二者均限于块尺寸〇彡义彡113和〇彡7彡713(其中，坐标之一必须等于最小值 (〇)或最大值（&或^))。根据这些限定，分隔线的等式如下：
[0104]
【权利要求】
1. 一种用于根据数据流（304)来重构与图片（215)相关联的深度/视差映射（213)的 预定块（210)的解码器，所述解码器被配置成： 通过在所述图片（215)的与所述预定块（210)同位的参考块（216)内把所述图片 (215)二值化，来分割所述参考块（216)，以获得所述参考块到第一分区和第二分区的双分 割； 将所述图片的所述参考块（216)的双分割空间转移至所述深度/视差映射（213)的所 述预定块（210)上，以获得所述预定块（210)的第一分区（202a)和第二分区（202b);以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 解码。
2. 根据权利要求1所述的解码器，被配置成：在二值化中，以所述参考块（216)的二维 细分的拼接片在所述参考块（216)内单独地检查所述图片（215)的值，以确定相应值大于 还是小于相应预定值，使得所述图片（215)的所述参考块（216)的所述第一分区和所述第 二分区中的每个分区（218'）是一起完全覆盖所述图片（215)的所述参考块（216)且彼此 互补的拼接片（608)的集合。
3. 根据权利要求2所述的解码器，被配置成：在二值化中，以样本分辨率在所述参考块 内单独地检查所述图片的值，使得每个拼接片对应于所述参考块的样本位置。
4. 根据权利要求1至3中任一项所述的解码器，被配置成：在二值化中，对所述二值化 的结果应用形态孔填充和/或低通滤波，以获得所述参考块（216)到所述第一分区和所述 第二分区的所述双分割。
5. 根据权利要求1至4中任一项所述的解码器，被配置成：在二值化中，确定所述图片 (215)的所述参考块（216)的重构样本值的集中趋势的测量，并通过将所述图片（215)的所 述参考块（216)的每个重构样本值与取决于所确定的所述测量的相应阈值进行比较来执 行所述二值化。
6. 根据权利要求1至5中任一项所述的解码器，被配置成使得所述分割、空间转移和预 测形成第一组编码选项中的一个编码选项，所形成的编码选项不是第二组编码选项的一部 分，其中所述解码器还被配置成： 确定所述图片（215)的所述参考块（216)内的样本的值的离差；以及 从所述数据流接收编码选项标识符， 在所述离差超过预定阈值的情况下将所述编码选项标识符用作对所述第一组编码选 项的索引，其中如果所述索引指向所述一个编码选项，则对所述预定块执行所述分割、空间 转移和预测，而在所述离差在所述预定阈值之后的情况下将所述编码选项标识符用作对所 述第二组编码选项的索引。
7. -种用于根据数据流来重构与图片相关联的深度/视差映射的预定块的解码器，所 述解码器被配置成： 根据所述图片（215)的与预定块同位的参考块（216)内所述图片（215)的纹理特征来 分割所述参考块（216)，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块（210)上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 解码， 其中所述解码器被配置成使得所述分割、空间转移和解码形成所述解码器的第一组 编码选项中的一个编码选项，所形成的编码选项不是所述解码器的第二组编码选项的一部 分，其中所述解码器还被配置成： 确定所述图片（215)的所述参考块（216)内的样本的值的离差；以及 从所述数据流取出编码选项标识符， 在所述离差超过预定阈值的情况下将所述编码选项标识符用作对所述第一组编码选 项的索引，其中如果所述索引指向所述一个编码选项，则对所述预定块（210)执行所述分 害!]、空间转移和解码，而在所述离差在所述预定阈值之后的情况下将所述编码选项标识符 用作对所述第二组编码选项的索引。
8. 根据权利要求7所述的解码器，其中所述解码器被配置成通过熵解码来取出所述编 码选项标识符。
9. 根据权利要求1至8中任一项所述的解码器，还被配置成在所述解码器的预测环中 使用所述预定块作为参考。
10. 根据前述权利要求中任一项所述的解码器，其中所述解码器被配置成：在对所述 预定块（210)进行解码时， 通过将第一恒定分区值分配给所述样本阵列的位于所述第一楔形波分区（202a)内的 样本（203)并将第二恒定分区值分配给所述样本阵列的位于所述第二楔形波分区（202b) 内的样本（203)，来预测所述预定块（210)。
11. 根据权利要求10所述的解码器，其中所述解码器被配置成： 在预测所述预定块时，将所述样本阵列的邻接所述预定块的相邻样本中的每个相邻样 本与所述第一楔形波分区和所述第二楔形波分区中的相应的楔形波分区进行关联，使得每 个相邻样本邻接与其关联的楔形波分区；以及通过将与所述第一分区相关联的所述相邻样 本的值的平均值分配给所述样本阵列的位于所述第一分区内的样本，并将与所述第二分区 相关联的所述相邻样本的值的平均值分配给所述样本阵列的位于所述第二分区内的样本， 来预测所述预定块。
12. 根据权利要求10和11中任一项所述的解码器，被配置成： 通过对与所述第一分区相关联的所述相邻样本的值的所述平均值应用在细化信息内 的第一细化值、和/或对与所述第二分区相关联的所述相邻样本的值的所述平均值应用在 细化信息内的第二细化值，来细化所述预定块的预测。
13. 根据权利要求12所述的解码器，被配置成： 在应用所述第一细化值和/或所述第二细化值时，分别将所述第一细化值和/或所述 第二细化值与关联于所述第一分区的所述相邻样本的值的所述平均值和/或关联于所述 第二分区的所述相邻样本的值的所述平均值进行线性组合。
14. 根据权利要求12或13所述的解码器，被配置成： 在应用所述第一细化值和/或所述第二细化值时，从所述数据流取出所述第一细化值 和/或所述第二细化值，并使用量化步长来定标所取出的所述第一细化值和/或所述第二 细化值，所述量化步长取决于在所述数据流内传送与所述样本阵列相关联的预定空间采样 分量所采用的参考量化步长。
15. 根据权利要求14所述的解码器，其中所述样本阵列为深度映射，并且所述解码器 被配置成使用所述参考量化步长以根据比特流重构与所述深度映射相关联的纹理样本阵 列。
16. -种用于将与图片相关联的深度/视差映射的预定块编码至数据流中的编码器， 所述编码器被配置成： 通过在所述图片的与所述预定块同位的参考块内把所述图片二值化来分割所述图片 的所述参考块，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 编码。
17. -种用于将与图片相关联的深度/视差映射的预定块编码至数据流中的编码器， 所述编码器被配置成： 根据所述图片（215)的与预定块同位的参考块（216)内的纹理特征来分割所述图片 (215)的所述参考块（216)，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 编码， 其中所述编码器被配置成使得所述分割、空间转移和编码形成所述编码器的第一组 编码选项中的一个编码选项，所形成的编码选项不是所述编码器的第二组编码选项的一部 分，其中所述编码器还被配置成： 确定所述图片（215)的参考块（216)内的样本的值的离差；以及 将编码选项标识符编码至所述数据流（304)中， 在所述离差超过预定阈值的情况下将所述编码选项标识符用作对所述第一组编码选 项的索引，其中如果所述索引指向所述一个编码选项，则对所述预定块（210)执行所述分 害!]、空间转移和编码，而在所述离差在所述预定阈值之后的情况下将所述编码选项标识符 用作对所述第二组编码选项的索引。
18. -种用于根据数据流（304)来重构与图片（215)相关联的深度/视差映射（213) 的预定块（210)的方法，包括 ： 通过在所述图片（215)的与所述预定块（210)同位的参考块（216)内把所述图片 (215)二值化来分割所述图片（215)的所述参考块（216)，以获得所述参考块到第一分区和 第二分区的双分割； 将所述图片的所述参考块（216)的所述双分割空间转移至所述深度/视差映射（213) 的所述预定块（210)上，以获得所述预定块（210)的第一分区（202a)和第二分区（202b); 以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 解码。
19. 一种用于根据数据流来重构与图片相关联的深度/视差映射的预定块的方法，包 括： 根据所述图片（215)的与预定块同位的参考块（216)内所述图片（215)的纹理特征来 分割所述图片（215)的参考块（216)，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 解码， 其中执行所述方法，使得所述分割、空间转移和解码形成第一组编码选项中的一个编 码选项，所形成的编码选项不是所述方法的第二组编码选项的一部分，其中所述方法还包 括： 确定所述图片（215)的所述参考块（216)内的样本的值的离差；以及 从所述数据流（304)取出编码选项标识符， 在所述离差超过预定阈值的情况下将所述编码选项标识符用作对所述第一组编码选 项的索引，其中如果所述索引指向所述一个编码选项，则对所述预定块（210)执行所述分 害!]、空间转移和解码，而在所述离差在所述预定阈值之后的情况下将所述编码选项标识符 用作对所述第二组编码选项的索引。
20. -种用于将与图片相关联的深度/视差映射的预定块编码至数据流中的方法，包 括： 通过在所述图片的与所述预定块同位的参考块内把所述图片二值化来分割所述图片 的所述参考块，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 编码。
21. -种用于将与图片相关联的深度/视差映射的预定块编码至数据流中的方法，包 括： 根据所述图片（215)的与预定块同位的参考块（216)内所述图片（215)的纹理特征来 分割所述图片（215)的参考块（216)，以获得所述参考块到第一分区和第二分区的双分割； 将所述图片的所述参考块的所述双分割空间转移至所述深度/视差映射的所述预定 块上，以获得所述预定块的第一分区和第二分区；以及 以第一楔形波分区（202a)和第二楔形波分区（202b)为单位对所述预定块（210)进行 解码， 其中执行所述方法，使得所述分割、空间转移和编码形成所述方法的第一组编码选项 中的一个编码选项，所形成的编码选项不是所述方法的第二组编码选项的一部分，其中所 述方法还包括： 确定所述图片（215)的所述参考块（216)内的样本的值的离差；以及 将编码选项标识符编码至所述数据流（304)中， 在所述离差超过预定阈值的情况下将所述编码选项标识符用作对所述第一组编码选 项的索引，其中如果所述索引指向所述一个编码选项，则对所述预定块（210)执行所述分 害!]、空间转移和编码，而在所述离差在所述预定阈值之后的情况下将所述编码选项标识符 用作对所述第二组编码选项的索引。
22. -种具有程序代码的计算机程序，所述程序代码用于当所述程序代码在计算机上 运行时执行根据权利要求18或21中任一项所述的方法。
【文档编号】H04N19/593GK104221379SQ201280066907
【公开日】2014年12月17日 申请日期:2012年11月9日 优先权日:2011年11月11日
【发明者】菲利普·默克勒, 克里斯蒂安·巴特尼克, 哈里希兰·拉克什曼, 德特勒夫·马尔佩卡斯滕·穆勒, 托马斯·维甘德格哈德·特希 申请人:弗兰霍菲尔运输应用研究公司