可适性视频编码的增强参考区域利用
【专利说明】可适性视频编码的増强参考区域利用
【背景技术】
[0001] 高效视频编码（HEVC)是不断发展的视频压缩标准，其由联合协作小组在由ISO/ IEC运动图像专家组（MPEG)和ITU-T视频编码专家组（VCEG)形成的视频编码（JCT-VC) 上发展。与以往的视频编码标准一样，ffiVC描述了基本模块的使用，例如内预测/间预测 (intra/interprediction)、变换、量化和环内滤波（in-loopfiltering)以及摘编码。 JCT-VC正在计划增加可适性视频编码（SVC)扩展到所述HEVC标准中。HEVC的SVC扩展可 以潜在地应对在视频服务环境中的网络和设备的异构性。
【附图说明】
[0002] 图1示出一个示例系统，其产生一个基础层和两个增强层。
[0003] 图2A示出了同定位的较低层块的位置。
[0004] 图2B描述了使用可能在不同层中没有同定位的层间参考块的例子。
[0005] 图3示出一个例子，其中多个参考块可以被搜索，并可能被用于编码当前编码块。
[0006] 图4描述了用于由编码器对块进行编码的示例性过程。
[0007] 图5描述了用于由解码器基于一个或多个候选参考块来解码块的示例过程。
[0008] 图6描绘了一个示例方式来传送参考块索引和偏移矢量至解码器。
[0009] 图7示出了一个系统的实施例。
[0010] 图8示出了一个装置。
【具体实施方式】
[0011] 对于编码视频，HEVC定义编码单元（CUs)，其是用来将图片细分成具有可变大小 的矩形块。在每个CU内，基于四叉树的分裂方案可用于指定CU划分图案。此外，HEVC定 义预测单元（PUs)和变换单元（TUs)，来指定如何划分CU以分别用于预测和变换。内预测 或间预测之后，对残余块进行变换以生成系数。接着，系数被量化、扫描到一维顺序并且经 过上下文自适应的二进制算术编码（CABAC)的编码。
[0012] SVC比特流包含了若干可解码的子集比特流。所述子集比特流表示源视频内容，其 具有不同的分辨率、帧速率、质量、比特深度，等等。可适性（scalability)可以通过使用多 层编码结构来实现。在SVC系统中，有一个基础层（BL)以及若干增强层（ELs)。
[0013] 图1示出产生一个BL和两个ELs的示例系统。该BL可以根据HEVC编码。当EL 具有等于N的层标识符时，所有具有小于N的层标识符的层可用。可以使用来自较低层图 片的层间参考块（ILRBs)，或由来自在同一层中的先前编码的图片的时间参考块（TRBs)来 预测属于EL的块。术语"块"可以与"区域"互换。"块"可以是任何形状的像素区域，诸如 正方形、矩形、三角形、圆形，等等。
[0014] 尽管未示出，每个编码器和解码器可以包括控制器，该控制器启动各要素的操作， 包括但不限于通过无线电或网络接口对输出比特流的传输。
[0015] 在以前SVC标准和系统中，当EL块被编码时，只有一个参考块可以使用。如果该 块是间预测时，TRB将被使用。但是，如果该块是层间预测时，ILRB将被使用。在已知的SVC标准和系统中，当应用层间像素/重建预测或层间残余预测时，较低层的同定位的块被 标记为被用作层间参考块（ILRB)。同定位意味着一个区域覆盖基础层和增强层中相同的坐 标。例如，图2A示出了同定位的较低层块的位置被精确地对准到更高层的当前编码块。然 而，使用同定位的较低层块可能不会导致最佳的压缩性能。换句话说，使用同定位的较低层 块编码当前编码块可能不提供期望的速率失真成本（ratedistortioncost)。在一些情况 下，期望的速率失真成本是最低的速率失真成本。速率失真成本可以是失真（视频质量的 损失）量的相对于对视频进行编码所需要的数据量的测量。各种技术可用于测量速率失真 成本。
[0016] 图2B示出了使用层间参考块的一个例子，所述层间参考块可能在不同层中没有 同定位。两维偏移参数shift_vector可以用于指定关于在与关于当前编码块同定位的 ILRB相同的层中的块的ILRB的左上角的像素坐标。例如，如果shift_vector具有参数 (Hor，Ver)，则同定位的位置为原点，并具有等于（0,0)的shift_vector。如果Hor为正 值，ILRB低于同定位的位置。如果Hor为负值，ILRB高于同定位的位置。如果Ver是正值， ILRB是在同定位的位置的右侧，但如果Ver是负值，ILRB是在同定位的位置的左侧。其他 约定可用于识别ILRB的左上像素坐标位置。
[0017] 各种实施例提供一种方式，以识别用于生成预测块的一个或多个候选参考块以对 当前编码块进行编码。候选参考块可以是在与当前编码块相同的层中或不同层中。另外， 候选参考块不必与当前编码块同定位。运动矢量和偏移矢量可以被用来识别所述候选参考 块。此外，均匀的和不均匀的加权可以被应用到所述候选参考块来生成所述预测块。因此， 编码器可确定并识别到解码器的参考块，该解码器可提供所需的速率-失真成本。相应地， 视频的质量可以在维持用于传输视频的相同的带宽的同时得以改善。
[0018] 各种实施例提供用于使用多个参考块来对块进行编码。在一些实施例中，四种参 考块可用于编码所述当前编码块。然而，可以使用其他数量的参考块。例如：
[0019] 1、时间参考块（TRB)是在相同的层中的时间参考图片的块，并且可以通过时间的 motion_vector指定。
[0020] 2、层间参考块（ILRB)是在较低层中的相应图片的块，并且可以通过shift_ vector指定。例如，如果层0是基础层，贝在层1中的块可以使用来自层0的ILRBs，并且 层2中的块可以使用来自层0和1的ILRBs。如果采用空间可适性的情况下，在较低层中的 块可以被上采样到当前编码块的大小。上采样可包括像素插值和缩放到当前编码块的层的 分辨率。
[0021] 3、T+ILRB是TRB的ILRB。如果采用空间可适性的情况下，较低层的块可以被上采 样到当前编码块的大小。
[0022] 4、IL+TRB是ILRB的TRB。如果采用空间可适性的情况下，较低层的块可以被上采 样到当前编码块的大小。
[0023] 图3示出一个例子，其中可以搜索多个参考块，并可能用于编码当前编码块。图片 A是当前编码图片并具有层id=n和时间的id=t。图片A有两个时间参考图像：（1)前 向参考图像B，其时间的id等于t-1和⑵后向参考图像C，其时间的id等于t+1。在层 n-1中，图片D是图片A对应的图片。图片D与图片A具有相同的时间id。图片E和F分 别是图片D的时间前向和后向参考图片。图片E和F的时间id分别为t_l和t+1。在层n-2中，图片G是图片A的相应图片。
[0024] 例如，当图片A的块a是当前编码块，可以生成参考块b至i的多个参考块列表。 以下是参考块列表的一个例子。
[0025] 1、块b，c，和d是块a的TRBs，并且可以使用motion_vectors定位。
[0026] 2、块e和f是在层n-1中的块a的ILRBs(在层n-1中的块a示为a')，并且可以 使用shift_vectors定位。块e和f的采样可以被应用来匹配其像素尺寸到块a的尺寸。
[0027] 3.块g是层n-1中的块a的T+ILRB。块g可从现有TRBc导出，通过使用关于 c'的shift_vector，y是在层n-1中的块C的同定位版本。块g的上采样可被应用以匹 配其像素尺寸到块a的尺寸。
[0028] 4?块h是在层n_l中的块a的IL+TRB。块h可以使用f的motion_vector从现 有ILRBf导出。块h的上采样可被应用以匹配其像素尺寸到块a的尺寸。
[0029] 5?块i是在层n-2中的块a的ILRB(其被示出为a")。块i可使用shift_vector 定位。块i的上采样可以被应用来匹配其像素尺寸到块a的尺寸。
[0030] 参考块列表建立的过程可以是自适应或者固定的。可以选择相对于当前编码块具 有最低绝对差和（SAD)的参考块。在自适应实现中，可以基于从最低到最高的它们的相对 SAD值来选择并排序参考块。
[0031] 在一种实现中，设置参考块列表，使得所有的ILRBs以其层距离递增的顺序被添 加到所述列表中。接着，所有的TRBs可以以其时间距离递增的顺序被添加到列表的尾部。 然后，所有的T-ILRBs可以以其层距离递增的顺序被添加到该列表的尾部。然后，所有的 IL-TRBs可以以时间距离递增的顺序被添加到该列表的尾部。
[0032] 在一些实施例中，并非所有的识别的参考块都被用于对所关注的块进行编码。所 述编码器可以选择一个或多个参考块来从参考块列表使用。例如，速率-失真（RD)成本可 以被用于选择生成最低RD成本的参考块。非RD成本确定可以被用来选择参考块。
[0033] 对于基于RD成本的方法用来选择一个或多个参考块，一个示例实现是找到单个 最佳的参考块。编码器可以建立参考块的列表，并且由索引来标记每个参考块。RD成本可 以通过使用以下公式对于每个参考块来计算：
[0034] RD(i) =SAD(i)+lambda~kBits(i)
[0035] 其中：