利用基于帧内图像区块复制预测的视频编码方法与流程

本发明主张在2014年2月21日提出的申请号为61/942,819的美国临时专利申请的优先权；主张在2014年3月17日提出的申请号为61/954,181的美国临时专利申请的优先权。因此在全文中合并参考该些专利申请案。

技术领域

本发明是有关于利用帧内区块复制(Intra-block copy,IntraBC)模式的视频编码，特别是有关于用于屏幕内容编码或视频编码的帧内区块复制编码模式的相关改善性能或简化过程的技术。

背景技术：

高效视频编码(High Efficiency Video Coding,以下简称为HEVC)是近年来开发的新的编码标准。在HEVC系统中，H.264/AVC中固定尺寸的宏块由灵活的区块来代替，并将其命名为编码单元(coding unit,CU)。在编码单元中像素共享相同的编码参数，以改善编码效率。编码单元可开始于最大编码单元(largest CU,LCU)，其在HEVC中也被称为编码树单元。除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦编码单元分层树的分割完成，根据预测类型和预测单元分割，每一个叶编码单元被进一步分割为一个或多个预测单元。

在高效率视频编码(HEVC)标准的屏幕内容编码或扩展版本(range extension,RExt)的当前发展中，已采用一些工具，这些工具能够改善用于屏幕内容的编码效率。对于帧内区块，根据现有技术的帧内预测基于自相邻区块的已重建像素利用预测而执行。帧内预测可自帧内模式的集合中选择帧内模式，帧内模式的集合包括垂直模式、水平模式和各种角度预测模式。对于HEVC范围扩展和屏幕内容编码来说，已使用新的帧内编码模式，也称为帧内区块复制。帧内区块复制技术最初由Budagavi在AHG8中提出(Video coding using Intra motion compensation,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,13th Meeting:Incheon,KR,18–26 Apr.2013,Document:JCTVC-M0350(在下文中记做JCTVC-M0350))。根据JCTVC-M0350的示例如图1所示，其中当前编码单元(CU,110)利用帧内运动补偿(Intra motion compensation,Intra MC)而编码。预测区块(120)自当前编码单元和位移向量(112)而定位。在此示例中，搜索区块被限制为当前编码树单元、左侧编码树单元、左侧的第二个编码树单元。预测区块自已重建区域而得到。然后，位移向量，也称为运动向量(motion vector,MV)，和用于当前编码单元的残差被编码。已知HEVC采用编码树单元和编码单元区块结构作为用于编码视频数据的基本单元。每一个图片被分割为多个编码树单元，以及每一个编码树单元被分割为多个编码单元。在预测期间，每一个编码单元可被分割为多个区块，该多个区块被称为预测单元，以用于执行预测处理。在预测残差形成而用于每一个编码单元之后，与每一个编码单元相关的残差被分割为多个区块，称为变换单元，以应用变换(例如离散余弦变换(discrete cosine transform,DCT))。

在JCTVC-M0350中，至少在如下方面，帧内运动补偿不同于用于帧间预测的运动补偿。

·运动向量被限制为1维(即水平或垂直)以用于帧内运动补偿，而帧间预测使用2维运动估计。

·二值化(Binarization)为固定长度以用于帧内运动补偿，而帧间预测使用指数哥伦布(exponential-Golomb)。

·帧内运动补偿引入新的语法元素以发信号指示运动向量为水平还是垂直。

基于JCTVC-M0350，Pang等在Non-RCE3中做了一些修改(Intra Motion Compensation with 2-D MVs,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013,Document:JCTVC-N0256(在下文中记做JCTVC-N0256))。首先，帧内运动补偿被扩展以支持2维运动向量，以使得运动向量组分可以同时为0。对于帧内运动补偿来说，这将比原来的方式提供更大的灵活性，其中原来的方式中运动向量被限制为严格地水平或垂直。

在JCTVC-N0256中，揭示两种运动向量编码方法：

·方法1-运动向量预测。左侧或上方的运动向量被选择作为运动向量预测子，以及结果运动向量差值(motion vector difference,MVD)被编码。一个标志 用于指示运动向量差值是否为0。当运动向量差值不为0，则指数哥伦布编码的第三位指数被使用以编码运动向量差值的剩余绝对水平。另一个标志被使用以编码这个迹象。

·方法2：无运动向量预测。使用用于HEVC中的运动向量差值的指数哥伦布码，编码运动向量。

在JCTVC-N0256中揭示的其他差异是，2维帧内运动补偿被进一步与管线(pipeline)友好的方式结合：

1.不使用插值滤波器，

2.运动向量搜索区域被限制。分两种情况进行讨论：

a搜索区域为当前编码树单元和左侧编码树单元或者

b搜索区域为当前编码树单元和左侧编码树单元的最右边4列采样。

在JCTVC-N0256中提出的各种方法之间，2维帧内运动补偿，移除插值滤波器、以及搜索区域被限制为当前编码树单元和左侧编码树单元，已在新版本标准草案中被采用。对应于JCTVC-N0256的编码单元级语法已包含于高效视频编码范围扩展文本规范：草案4(RExt Draft 4)中(Flynn,et al.,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013,Document:JCTVC-N1005)。

需要进一步改善帧内区块复制模式的性能。此外，需要维持在现有的HEVC标准的相同框架中的任意新的开发。

技术实现要素：

本发明揭示了一种包括帧内区块复制模式的视频编码方法。在一个实施方式中，参考图像列表包括对应于当前图像的帧内区块复制参考图像。在编码或重建顺序中先于当前区块的(例如，编码单元或编码区块)的此图像一部分被填充了已重建像素，而在编码或重建顺序中在当前区块之后的此图像的其他部分在一个实施方式中为空，或通常填充其他值。若帧内区块复制模式被选择以用于当前编码单元，则基于自参考图像列选择的帧内区块复制参考图像得到的帧内区块复制预测子，当前编码单元被编码或被解码。参考图像列表包括帧内区块复制参考图像，也可包括对应于一个或多个先前已重建的帧内编码的图像的一个或多个帧内参考图像。有可能参考列表仅包括帧内区块复制参考图像。 在编码或解码应用于当前编码单元之后，第一已重建当前区块被产生并被用于更新帧内区块复制参考图像。参考图像列表可对应于参考图像列表l0或参考图像列表l1。此外，当当前帧内预测模式被选择以用于当前编码单元时，利用基于自参考图像列表选择的至少一个帧间参考图像得到的帧内预测子，当前编码单元被编码或被解码。在编码或解码被用于当前编码单元之后，第二已重建当前区块被产生并被使用以用于更新帧内区块复制参考图像。

通过代替一个存在的帧内参考图像或作为新的参考图像包括于参考图像列表中，帧内区块复制参考图像可包括于参考图像列表中。帧内区块复制参考图像可被放置于参考图像列表中最后的参考图像处或选择的位置中。选择的位置在序列级、图像级、或条带级被发送，或选择的位置被推断。当帧内区块复制参考图像被包括于该参考图像列表中作为新的参考图像时，帧内区块复制参考图像被初始化为空图像。当帧内区块复制参考图像通过代替一个存在的帧间参考图像而包括于该参考图像列表中时，该帧内区块复制参考图像被初始化为该个存在的帧间参考图像。在第一已重建的当前区块被用于更新帧内区块复制参考图像之前，该第一已重建的当前区块利用滤波器而被滤波，例如样本自适应偏移。

在另一实施方式中，揭示了一种用于当前区块的运动向量的运动向量预测子或一个或多个合并/跳过候选的获取方法。若当前预测单元为帧内区块复制模式，则基于与该当前区块的一个或多个第一相邻区块相关的一个或多个第一运动向量，确定第一运动向量预测子，或基于与该当前区块的一个或多个第二相邻区块相关的一个或多个第二运动向量，确定一个或多个第一合并/跳过候选。基于该第一运动向量预测子或该一个或多个第一合并/跳过候选，编码或解码与该帧内区块复制模式相关的当前运动向量。

在一个示例中，仅当一个相邻区块被编码于帧内区块复制模式时，与该个相邻区块相关的运动向量被视为有效的第一运动向量预测子候选或有效的第一合并/跳过候选。在另一示例中，仅当一个相邻区块被编码于该帧间模式时，与该个相邻区块相关的该运动向量被视为有效的第二运动向量预测子候选或有效的第二合并/跳过候选。可选地，当一个相邻区块被编码于帧间模式时，与该个相邻区块相关的运动向量被视为有效的第二运动向量预测子候选或有效的第二合并/跳过候选。相似地，当一个相邻区块被编码于帧内区块复制模式时，与该个相邻区块相关的运动向量为有效的第一运动向量预测子候选或有效的第一合 并/跳过候选。

当前区块的相邻区块包括五个空间相邻区块、该五个空间相邻区块包括右上区块、右对齐顶部区块、左上区块、左下区块以及下对齐左侧区块。一个或多个第一合并/跳过候选对应于当前帧内区块复制运动向量预测子，一个最后编码的帧内区块复制运动向量，或当前区块的左侧相邻区块或上方相邻区块的该运动向量。第一运动向量预测子或一个或多个第一合并/跳过候选被限制为整数。

附图说明

图1描述了根据帧内区块复制模式的帧内运动补偿的示例，其中使用水平位移向量。

图2描述了得到用于帧内区块复制模式的运动向量预测子的相邻区块配置的示例。

图3描述了包括本发明实施方式的示范性编码系统的流程图，其中参考图片列表包括帧内区块复制参考图像。

图4描述了包括本发明实施方式的示范性编码系统的流程图，其中运动向量预测子或一个或多个合并/跳过候选用于在帧内区块复制模式中编码的当前区块的运动向量。

具体实施方式

在上述提到的当前帧内图像区块复制技术中，对于帧内和帧间预测来说，帧内区块复制是不同的、附加的模式。对于已被用于HEVC编码系统的帧内和帧间预测子来说，帧内区块复制预测子为附加的预测子。此外，区块匹配搜索需要确定帧内区块复制的“区块向量”，其对应于需要得到用于帧间预测的运动向量的运动搜索的附加的计算。在本发明中，揭示了一种帧内图像区块复制(即，帧内区块复制)技术的方法，将其与帧间区块预测相匹配(align)，以使得不需要对现有的HEVC的编解码器的主要配置文件的做出区块级改变，而有可能实现帧内区块复制。

帧内区块复制预测单元的表示和发送。在本发明中，“帧内区块复制参考图像”(在下文中被称为ibc_ref_pic)被以与帧间参考图像相同的方式来对待。在当前HEVC中，存在帧间预测的两个参考列表，即，对应于列表0和列表1的参考列表l0和参考列表l1。举例来说，ibc_ref_pic可被插入两个参考列表(参 考列表l0或参考列表l1)中的一个，作为帧间参考图像的附加的参考图像。若仅存在一个参考列表，则ibc_ref_pic被插入至此参考列表中。在另一实施方式中，ibc_ref_pic被插入至参考列表l0和参考列表l1中，作为帧间参考图像的附加的参考图像。ibc_ref_pic可被放置于参考列表中最后的位置中，即，在最后帧间参考图像之后。然而，ibc_ref_pic也可被插入至参考列表并被放置于特定的位置。此位置可在条带、图像、或序列级中被明确地发送；或此位置可被推断。

在另一实施方式中，ibc_ref_pic被放入参考列表(若存在两个参考列表的话，则l0或l1中)，以代替存在的帧间参考图像中的一个。举例来说，ibc_ref_pic可被放入参考列表中，以代替最后帧间参考图像。在另一示例中，ibc_ref_pic被插入至参考列表中，以在特定位置中代替一个帧间参考图像。此位置可在条带、图像、或序列级中被明确地发送；或此位置可被推断。

根据另一实施方式，帧内区块复制预测单元处理可与HEVC帧间预测单元处理相匹配(align)，包括运动向量的表示和编码、发送等。换句话说，除来自“帧内区块复制参考图像”的预测子代替“帧间参考图像”的预测子之外，帧内区块复制的已编码区块(即，预测单元)以与帧间已预测的区块(即，预测单元)同样的方式而被处理。此外，帧内区块复制处理可被使能或禁能于预测单元级。换句话说，各种类型的预测单元，例如，帧内区块复制预测单元、帧间预测单元、以及帧内预测单元可在同一编码单元中存在。

帧内区块复制参考图像的结构。若ibc_ref_pic被添加或被插入至参考列表，作为帧间参考图像的一种附加，以及对应的参考图像可被初始化为空(NULL)图像。通过编解码(编码或解码)处理，空参考图像被逐渐地由当前已编码的图像的已重建像素填满，当前已编码的图像为帧内区块复制参考图像。像素值逐区块地被更新，以及区块尺寸依赖于实现的平台，例如，4x4，8x8，编码单元或最大编码单元。在编码器侧，此参考图像的运动向量(或区块向量)的搜索范围可被限制于利用有效已重建像素值更新的区域。

若ibc_ref_pic被插入至参考列表作为一个帧间参考图像的替代，首先，ibc_ref_pic等于现有的帧间参考图像。通过编解码(编码或解码)处理，此帧间参考图像的像素值逐渐地由当前的已编码图像的已重建像素来代替。像素值逐区块地被更新，以及区块尺寸依赖于实现的平台，例如，4x4，8x8，编码单元或最大编码单元。在编码器侧，此参考图像的搜索范围可被限制于利用新的已重建像素值更新的区域。然而，在编码器侧，此参考图像的搜索区块可与其他 普通的帧间参考图片相同。

利用AMVP的帧内区块复制的向量预测。在另一实施方式中，在HEVC中使用的先进的运动向量预测(advanced motion vector prediction,AMVP)方法被用于预测帧内区块复制预测单元的区块向量。用于帧内区块复制的区块的区块向量与帧间已编码区块的运动向量的处理相似。相应地，在本申请中，术语“运动向量”也可被称为“区块向量”。与在HEVC中用于运动向量预测的五个空间先进的运动向量预测相同的五个相邻候选的位置，可被用于区块向量(如图2所示)。然而，其他相邻区块配置也可被用于区块向量预测。在一个实施方式中，对于在帧内区块复制模式中已编码的当前区块，只有在相邻区块被编码于帧内区块复制模式时，相邻区块的运动向量(区块向量)可被视为有效的候选运动向量(区块向量)预测子。相似地，对于在帧间模式中编码的当前区块，只有当相邻区块被编码于帧间模式时，相邻区块的运动向量可被视为有效的候选运动向量预测子。

在以上示例中，只有当如当前区块一样相邻区块被编码于相同的预测模式(即，帧间或帧内区块复制模式)时，与相邻区块相关的运动向量可被视为有效。然而，帧间已编码的相邻预测单元的运动向量也可被视为有效的运动向量预测子以用于当前帧内区块复制预测单元。相似地，帧内区块复制已编码的相邻预测单元的运动向量也可被视为有效的运动向量预测子以用于当前帧间预测单元。自帧内区块复制已编码的预测单元至当前帧间预测单元的运动向量的预测、或自帧间已编码的预测单元至当前帧内区块复制预测单元的预测可为直接地预测、或在适当修改之后预测，例如移位。在一个实施方式中，当帧内区块复制已编码的预测单元的运动向量被用作帧间预测单元的预测子时，帧内区块复制已编码的预测单元的运动向量需要被左移两位；当帧间已编码的预测单元的运动向量被用作帧内区块复制预测单元的预测子时，帧间已编码的预测单元的运动向量需要被右移两位。

帧内区块复制预测单元的合并/跳过模式。在此实施方式中，在HEVC中使用的合并/跳过模式被应用以编码在帧内区块复制模式中编码的预测单元。当在合并模式或跳过模式中被编码时，当前运动向量与合并或跳过候选中的一个相同。选择的合并/跳过候选通过明确地发送或推断而被识别。当区块编码于合并模式时，预测残差被传送。当区块编码于跳过模式时，预测残差不被传送。合并/跳过相邻候选可与在HEVC合并/跳过模式中使用的相邻候选相同。合并/跳 过相邻候选也可与在HEVC合并/跳过模式中使用的相邻候选不相同。举例来说，合并/跳过相邻候选可对应于当前帧内区块复制运动向量预测子、一个或多个最后编码的帧内区块复制运动向量、或自顶部或左侧预测单元的运动向量。

对于利用帧内区块复制模式编码的区块的合并/跳过模式中的运动向量候选的资格来说，用于帧内区块复制的区块向量使用相似的考虑。在一个实施方式中，对于在帧内区块复制模式中编码的当前区块(即，预测单元)来说，仅当在帧内区块复制模式中编码相邻区块时，相邻区块的运动向量(区块向量)可被视为合并/跳过模式的有效候选。相似地，对于在帧间模式中编码的当前区块来说，仅当在帧间模式中编码相邻区块时，相邻区块的运动向量可被视为合并/跳过模式的有效候选。

在合并/跳过候选推导的上述示例中，仅当如当前区块一样相邻区块在相同的预测模式(即，帧间或帧内区块复制模式)中被编码时，与相邻区块相关的运动向量被视为有效。然而，帧间已编码的相邻预测单元的运动向量也可被视为有效的运动向量预测子以用于当前帧内区块复制预测单元。相似地，帧间区块复制已编码的相邻区块预测单元的运动向量也可被视为有效的运动向量预测子以用于当前帧间预测单元。

帧内区块复制的区块的运动(区块)向量的表示。在HEVC标准中采用的帧内区块复制技术仅允许整数的区块向量。在本发明中，ibc_ref_pic以与帧间参考图像相同的方式来对待。相应地，区块向量的表示和编码机制可与在帧间预测中的运动向量的表示和编码机制相同。如此一来，子像素区块向量以与子像素运动向量相同的方式而被允许、处理、和发送。插值滤波器和其他滤波器(例如，样本自适应偏移)可被应用于在ibc_ref_pic中的帧间区域和帧内区域中。

在又一实施方式中，ibc_ref_pic的帧内区域可被限制为仅允许整数的区块向量。同时，应用于帧间预测的插值滤波和其他滤波不应用于ibc_ref_pic的帧内区域。

在一个实施方式中，ibc_ref_picture的帧内和帧间区域的分离不被发送。反而，ibc_ref_picture的帧内和帧间区域的分离通过当前被预测或被编码的区块的位置来推断。在此实施方式中，以编码顺序在当前区块之前的所有区块或区域被视为帧内区域，以编码顺序在当前区块之后的所有区块或区域被视为帧间区域。

在各种系统配置下(即，所有帧内(All Intra)、随机存取(Random Access)、 以及低延迟B图像(Low Delay B Picture))，根据本发明实施方式的包括帧内区块复制预测模式的视频编码系统的性能与现有的系统的性能进行比较，如表1和表2所示。现有的系统对应于基于HEVC屏幕内容编码测试模型2(SCM 2)的系统。表1中包括本发明实施方式的系统对应于利用参考图像列表的、对帧内区块复制已编码区块应用先进的运动向量预测、运动向量差值、合并/跳过模式的系统，参考图像列表包括帧内区块复制参考图像。表2中包括本发明实施方式的系统对应于利用参考图像列表的、对帧内区块复制已编码区块应用区块向量预测子(block vector predictor,BVP)、区块向量差值(block vector difference,BVD)、合并/跳过模式的系统，参考图像列表包括帧内区块复制参考图像。其中，区块向量预测子和区块向量差值不同于先进的运动向量预测和运动向量差值。区块向量预测子和区块向量差值被指定用于帧内区块复制已编码预测单元。性能比较是基于如第一列所示的测试数据做出的。BD率中的负值意味着本发明具有更佳的性能。如表1所示，本发明可高达6.8％。如表2所示，本发明可高达5.2％。

表1

表2

图3描述了包括本发明实施方式的示范性编码系统的流程图，其中，参考图像列表包括帧内区块复制参考图像。如步骤310所示，在当前图像中，系统接收与当前预测单元相关的输入数据。对于编码端来说，输入数据对应于将被编码的像素数据。对于解码端来说，输入数据对应于将被解码的已编码像素数据。自存储器(例如，计算机存储器、缓冲器(RAM或DRAM)、或其他媒体)或自处理器提取输入数据。如步骤320所示，检查帧内区块复制模式是否被选择用于当前预测单元。若结果为“是”，则执行步骤330、340、和350。若结果为“否”，则跳过步骤330、340、和350。在步骤330中，利用基于自参考图像列表选择的帧内区块复制参考图像得到的帧内区块复制预测子，当前预测单元被编码或解码。参考图像列表包括帧内区块复制参考图像和零个、一个或多个帧间参考图像，帧内区块复制参考图像包括一个或多个先前已重建的帧内区块复制的区块以及零个、一个或多个帧间参考图像对应于零个、一个或多个先前已重建的帧间已编码图像。在步骤340中，在编码或解码当前预测单元之后，第一已重建的当前区块被产生。在步骤350中，根据第一已重建的当前区块，帧内区块复制参考图像被更新。

图4描述了包括本发明实施方式的示范性编码系统的流程图，其中用于当前区块的运动向量的运动向量预测子或一个或多个合并/跳过候选被编码于帧内区块复制模式中。在步骤410中，用于当前区块的当前预测模式被确定。在步骤420中，与当前区块的相邻区块相关的运动向量被接收。在步骤430中，检查帧内区块复制模式是否被选择以用于当前编码单元。若结果为“是”，则执行步骤440、和450。若结果为“否”，则跳过步骤440、和450。在步骤440中，基于与当前区块的一个或多个第一相邻区块相关的一个或多个第一运动向量，确定第一运动向量预测子，或基于与当前区块的一个或多个第二相邻区块相关的一个或多个第二运动向量，确定一个或多个第一合并/跳过候选。在步骤450中，基于第一运动向量预测子或一个或多个第一合并/跳过候选，与帧内区块复制模式相关的当前运动向量被编码或被解码。

上述的流程图用于描述根据本发明实施方式的帧内区块复制编码的示例。本领域技术人员可在不脱离本发明精神的前提下，修改、重排列、拆分、或组合各个步骤，以实现本发明。在本申请中，具体的语法和语义已被用来说明实施方式。本领域技术人员可以用等效的语法和语义在不脱离本发明的精神的前 提下而代替本申请中提到的语法和语义来实现本发明。

在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。

以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital Signal Processor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。