视频编码中用于单个样本模式的候选生成的方法及装置与流程

本发明主张申请于2014年6月19日，序列号为62/014,229的美国临时专利申请的优先权。将此美国临时专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及具有平滑内容的视频编码。特别地，本发明涉及具有平滑内容的深度编码或视频使用。

背景技术：

三维电视技术是近年来的技术发展趋势，其目标是给观看者带来轰动的观看体验(viewing experience)。多视图视频是一种用于捕捉以及渲染3D视频的技术。通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。具有大量与视图相关联的视频序列的多视图视频表示了巨量的数据(massive amount data)。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。于三维以及多视图编码系统中，纹理数据以及深度数据被编码。

目前，正在被开发的高效视频编码(High Efficiency Video Coding，HEVC)的扩展包括：屏幕内容编码(screen content coding，SCC)以及3D扩展。屏幕内容编码以编码屏幕捕捉的非4∶2∶0颜色格式(例如：4∶2∶2以及4∶4∶4)的内容以及具有更高比特深度(例如：每个样本12、14以及16比特)的视频数据为目标，而3D扩展是以具有深度数据的多视图视频的编码为目标。

使用屏幕内容编码的最可能的应用之一是通过有线或无线连接的屏幕共享。对于包含屏幕内容的视频，已经开发了考虑屏幕内容的特定特性的编码工具，且此编码工具已经被证明在编码效率方面获得显著增益。其中，调色板编码(也称为基于主颜色的编码)技术使用调色板(主颜色)的索引来表示像素块，且通过利用空间冗余来编码调色板以及索引。

于调色板编码中，样本块由指向代表颜色(representative color)(调色板)表的索引来表示。调色板中的颜色值与表示块的编码索引图(coded index map)一起被传送。JCTVC-Q0093(Chen et al.，Single color intra mode for screen content coding，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG 11，17th Meeting：Valencia，ES，27March-4April2014，Document：JCTVC-Q0093)中揭露了使用单个颜色模式的帧内编码技术。在单个颜色模式中，像素块是由单个颜色来表示，其中，单个颜色是由空间以及时间候选颜色来导出，因此，不需要传送颜色值。

已经证明JCTVC-Q0093中揭露的单个颜色模式具有可以提高性能(即，降低的比特率)且降低解码器复杂性的优点。希望开发出用于进一步提高单个颜色模式的编码效率的技术。

技术实现要素：

本发明揭露了一种用于编码于单个样本模式(Single Sample Mode，SSM)中的深度数据块或纹理数据块的视频编码的方法以及装置。根据本发明的实施例构造样本候选列表，样本候选列表包括对应于一个或多个先前SSM已编码块(SSM-coded block)的一个或多个代表样本(representative sample)的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选。接着，从样本候选列表中确定已选择的样本候选，且通过用此已选择的样本候选来表示整个当前块，将已选择的样本候选用于编码或解码当前块。

在一个实施例中，样本候选列表可对应于单个颜色候选，单个颜色候选对应于先前SSM已编码块的代表样本的单个颜色候选。单个颜色候选中的一个被选择作为已选择的样本候选。单个颜色候选被存储于缓冲器中，且缓冲器是基于先进先出(first-in-first-out，FIFO)方式来更新。类似地，样本候选列表可对应于调色板颜色候选，调色板颜色候选对应于先前调色板中先前使用的颜色。调色板颜色候选中的一个被选择作为已选择的样本候选。先前调色板可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。此外，样本候选列表可对应于单个颜色候选以及调色板颜色候选。

在另一实施例中，样本候选列表还可包括：来自当前块的先前重建的相邻空间样本的空间候选，或来自当前块的时间同位块中或周围的先前重建的时间样本的时间候选。例如，样本候选列表可包含空间候选、时间候选、以及单个颜色候选。已选择的样本候选可基于对应于与空间候选、时间候选、以及单个颜色候选相关联的候选类型的优先顺序来选择。优先顺序从高到低可对应于空间候选、单个颜色候选、以及时间候选。已选择的样本候选还可基于对应于空间候选、时间候选、以及单个颜色候选之间交错的优先顺序来选择。优先顺序从高到低可对应于一个空间候选、一个单个颜色候选、一个时间候选。空间候选、时间候选、以及单个颜色候选可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。

选择句法可被标识以指示已选择的样本候选。已选择的样本候选还可被隐式地确定，而不需要句法标识。例如，已选择的样本候选是根据多个候选的众数决(majority voting)、算术平均、几何平均、或中值，从样本候选列表中被确定。

对应于先前SSM已编码块以及/或先前调色板编码块的调色板颜色候选的代表样本的单个颜色候选可被周期性地复位(reset)。例如，单个颜色候选可针对每个切片、每个区块(tile)、每个波前(wavefront)、每个编码树单元(coding tree unit，CTU)、或每个CTU行被复位。

【附图说明】

图1A至图1C所示为用于单个样本模式编码的被用于导出样本候选的空间相邻样本的三个示例。

图2所示为根据本发明实施例的用于与单个样本模式编码相结合的系统的示范性流程图。

【具体实施方式】

以下描述是实施本发明的最佳预期模式。该描述是出于说明本发明的一般原理的目的，并且不应被视为具有限制意义。本发明的范围通过参考所附权利要求来做最好的确定。

根据单个样本模式编码(例如，单个颜色模式编码或单个深度模式编码)，当前块被重建为仅具有单个样本值的均匀块(uniform block)。单个样本模式(例如：单个颜色模式)的编码过程可包含，例如，使用单个样本模式来构造用于正被编码块的单个颜色候选的列表。接着，从单个颜色候选的列表中选择代表值。接着，使用从候选列表选择的单个代表值来对块进行填充。来自候选的颜色选择可被标识(例如，指示已选择候选的索引)或根据特定规则(例如：多个候选的众数决、算术平均、几何平均、或中值)被导出。在本发明中，揭露了对单个样本模式产生候选的新方法。具体地，除空间以及时间候选之外，附加的候选通过利用调色板编码中的先前已选择的颜色和/或用于单个样本模式编码块的先前已选择的颜色(即，先前已选择的代表值)来产生。

不同类型的候选可被用于构造以下所描述的候选列表。以下实施例将使用单个颜色模式来描述，以作为单个样本模式的示例。然而，相同的发明也可被应用于单个深度模式，其中，“颜色”是指深度值。

A.空间样本候选：

空间样本候选可从用于单个样本模式的先前重建的空间相邻像素中选择。空间样本候选选择的三个示例如图1A至图1C所示，用于基于空间样本来构造单个颜色(或样本值)候选列表。如图1A所示，使用5个空间候选。数字编号(numbering)表示它们插入候选列表(具有用于移除候选列表中冗余/重复候选的可选的修剪过程(pruning process))中的顺序。图1B所示为5个空间候选的另一示例，其中，第一样本候选(即，索引“0”)位于邻近当前块左侧边界的相邻列的中间位置，且第二样本候选(即，索引“1”)位于邻近当前块上方边界的相邻行的中间位置。图1C所示为5个空间候选的又一示例。除了候选“2”以及候选“3”的位置外，空间候选的配置与图1B中空间候选的配置相同。图1A至图1C所示的空间候选的数字编号、位置、以及顺序旨在说明根据本发明实施例的空间候选设计的示例。本领域普通技术人员可使用空间候选的不同配置来实现本发明。在另一实施例中，为了在保持增益的同时降低复杂性，仅使用两个空间候选。第一样本候选，例如，位于邻近当前块左侧边界的相邻列的中间位置，以及第二样本候选，例如，位于邻近当前块上方边界的相邻行的中间位置。

B.时间样本候选：

时间参考图片中位于同位块中或位于同位块周围的样本也可被用作为用于当前块的单个样本模式的候选，其中，同位块位于时间参考图片中，且与当前图片中的当前块具有相同的几何位置。

C.候选的重用：

除了空间以及时间候选外，本发明的实施例可重新使用来自较早块的先前编码的颜色。如下所示为两个示例。

C.1.来自单个样本模式编码块的先前已选择的单个颜色的候选

在此示例中，先前单个样本模式编码块的代表颜色(或样本值)可被用作为当前块的单个颜色候选。从先前单个样本模式编码块选择的代表颜色可被存储于具有给定尺寸的缓冲器中，以保持用于单个样本模式的追踪。此外，更新机制可被应用于缓冲器中的最近N个颜色。例如，流行的先进先出缓冲器管理方案可被使用，其中，当需要从缓冲器中移除条目时，缓冲器移除最先进入缓存器中的条目。以下的伪代码所示为单个样本模式解码的示例，其中，只有一个先前使用的单个颜色被存储(即，N＝1)以用作当前块的候选。

初始化single_color_prev(例如，中级值(mid-level value))。

块上循环：

如果当前块使用单个样本模式来编码：

构造具有来自single_color_prev的候选的单个颜色候选列表。

使用标识的和/或导出的单个颜色选择来重建当前块。

使用已选择的值来更新single_color_prev。

结束条件。

结束循环。

(Initialize the single_color_prev(e.g.mid-level values).

Loop over blocks：

If current block is coded with single sample mode：

Construct single color candidate list with candidate from single_color_prev.

Reconstruct current block using the signaled and/or derived single color selection.

Update the single_color_prev with the selected value.

Endif.

End loop.)

i.来自候选列表的最终单个颜色选择

具有来自多于一个先前单个样本模式编码块的多于一个先前已选择的单个颜色的候选列表可以按照相同的精神来构造。当列表中具有多个候选时，需要标识或导出用于当前块的最终候选(final candidate)的选择。对于显式地标识，部分或所有的候选可被用于选择组中，且标识的句法将识别从此组中选择的最终候选。或者，可通过根据规则导出最终候选，来隐式地确定最终候选。解码器侧也知道此规则，因此，不需要显式地标识。例如，规则可对应于用于多个候选的众数决，多个候选的算术平均、几何平均、或中值。

ii.候选的混合类型

来自先前单个样本模式的重用的候选可与来自空间和/或时间样本的候选组合。例如，如图1B以及图1C所示的两个线段中间候选(middle-of-line candidate)(即，候选“0”以及“1”)可被用作列表中的前两个候选。另外，来自先前单个样本模式编码块的代表颜色的一个或多个单个颜色候选可被增加到两个空间候选中。于另一示例中，候选的混合类型可首先选择多个空间候选，随后选择多个先前单个颜色候选，并进一步随后选择来自参考图片的时间候选。空间候选以及先前单个颜色候选均来自于当前图片。在一个实施例中，不同类型的候选可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。

iii.顺序

于以上示例中，空间候选总是被放置于先前单个颜色候选之前。当时间候选被使用时，时间候选被放置于先前单个颜色候选之后。然而，使用候选的混合的其它优先顺序也可被容易地构造。例如，顺序可对应于{空间候选集、时间候选集、先前单个颜色候选集}或{空间候选集、先前单个颜色候选集、时间候选集}。此外，候选的顺序不必按其类型分组。相反，来自不同组的候选可以被交错(interleaved)。例如，顺序可对应于{空间候选1、先前单个颜色候选1、空间候选2、先前单个颜色候选2，...}。

iv.单个颜色候选的复位(reset)

来自先前单个样本模式编码块的代表颜色的单个颜色候选可被周期性地复位。周期性复位为并行处理以及错误恢复提供了好处。复位周期可以是粗略的，并直接相关于并行处理工具，例如：每个切片、每个区块、或每个波前。如果有需要，更精细的粒度(例如：每个CTU行或每个CTU)也可被应用。众所周知，对于高级视频编码，序列中的图片可被配置为用于利用本地特性、并行处理、或其它目的的不同单元。例如，于高效视频编码(high efficiency video coding，HEVC)标准中，图片可被分区为区块、切片、CTU或CTU行。此外，波前并行处理(wavefront parallel processing，WPP)也已经可作为一种工具被用于HEVC，其使用CTU行之间的依赖性(dependency)，同时允许CTU行的并行处理。

C.2.来自先前已使用调色板颜色的候选

在此示例中，当调色板模式也被使用时，单个样本模式利用调色板中先前使用的颜色作为用于单个样本模式编码块的代表颜色的候选。根据当前调色板编码技术，已经存在用于存储先前使用的调色板的维护以及更新机制。因此，相同的维护以及更新机制可被用于先前使用的调色板。例如，调色板颜色候选可被存储于缓冲器中，且缓冲器基于先进先出方式被更新。用于当前块的单个样本模式编码的候选列表构造可独立于调色板更新。调色板编码中使用的现有的调色板预测子可被用于从保持的调色板预测子中选择颜色预测子。调色板预测子可被单独使用，也可与其它候选(例如，单个样本模式的候选)联合使用。可使用候选的多种优先顺序。例如，已存储的调色板预测子中的前N个条目可被插入单个颜色候选列表中。在另一实施例中，编码器可标识索引以指示被用作为用于当前块的单个样本模式编码的候选的调色板预测子中的颜色。

i.来自候选列表的选择

当列表中存在多个候选(例如，来自调色板预测子的N个条目)时，如先前所述的，必须标识或导出用于当前块的候选值的选择。

ii.候选的混合类型

如上所述，从先前使用的调色板中选择的候选可与来自空间和/或时间样本的候选，和/或甚至是来自先前使用的单个颜色的候选结合使用。例如，图1B以及图1C中的两个线段中间候选(即，候选“0”以及“1”)的至少一个可用作列表中的第一个或前两个候选，随后是已存储调色板的最上方条目的一个或多个候选。候选的混合类型的其它组合可被构造，例如，空间候选，接下来是调色板预测子候选，再接下来是来自参考图片的时间候选。空间候选以及先前单个颜色候选均来自于当前图片。在一个实施例中，不同类型的候选可被存储于缓冲器中，且缓冲器是基于先进先出方式被更新。

iii.顺序

于以上示例中，空间候选已经被放置于来自调色板预测子的候选之前。然而，使用候选的混合的其它优先顺序也可被使用。例如，顺序可对应于{空间候选集、时间候选集、来自调色板预测子的候选集}或{空间候选集、来自调色板预测子的候选集、时间候选集}。此外，候选的顺序不必按其类型分组。来自不同组的候选可以被交错(interleaved)。例如，顺序可对应于{空间候选1、来自调色板预测子的候选1、空间候选2、来自调色板预测子的候选2，...}。

iv.调色板颜色候选的复位

来自先前块的调色板颜色候选的单个颜色候选可被周期性地复位。周期性复位为并行处理以及错误恢复提供了好处。复位周期可以是粗略的，并直接相关于并行处理工具，例如：每个切片、每个区块、或每个波前。如果有需要，更精细的粒度(例如：每个CTU线或甚至是每个CTU)也可被应用。

图2所示为根据本发明实施例的用于深度数据或纹理数据的单个样本模式编码的示范性流程图。如步骤210所示，系统接收与当前深度块或当前纹理块相关联的输入数据。对于编码而言，与当前深度块或当前纹理块相关联的输入数据对应于待编码的深度样本或像素值。对于解码而言，与当前深度块或当前纹理块相关联的输入数据对应于待解码的已编码深度数据或已编码视频像素数据。与当前深度块相关联的输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤220中，构造样本候选列表，其中，样本候选列表包括对应于一个或多个先前SSM已编码块的一个或多个代表样本的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选。于步骤230中，从样本候选列表中确定已选择的样本候选。接着，于步骤240中，通过使用所述已选择的样本候选来表示当前块的所有样本，来编码或解码当前块。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片的一个或多个电子电路，或被集成于视频压缩软件的程序代码，以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。