用于lm帧内预测的参考像素缩减的制作方法
【专利摘要】一种视频编解码器，该视频编解码器包括用于为色度块生成预测块的处理器，其中所述预测块包括预测色度样本，所述预测色度样本基于位于对应的重建亮度块中的过滤重建亮度样本、多个位于邻近对应的重建亮度块的位置内的下采样过滤重建亮度样本以及多个位于邻近所述色度块的邻近位置内的下采样色度样本。
【专利说明】用于LM帧内预测的参考像素缩减
[0001] 相关申请案交叉申请
[0002] 本发明要求2012年1月19日由刘林志等人递交的发明名称为"用于LM帧内 预测的参考像素缩减（ReferencePixelReductionforIntraLMPrediction)" 的第 61/588359号美国临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并 入本文本中，如全文再现一般。
[0003] 关于由联邦政府赞助的研究或开发的声明
[0004] 不适用。
[0005] 缩微平片附件的引用
[0006] 不适用。
【背景技术】
[0007] 即使在影片相对较短的情况下也需要对大量的视频数据进行描述，当数据要在带 宽容量受限的通信网络中流过或以其他方式传送时，这样可能会造成困难。因此，视频数据 通常要先压缩，然后在现代电信网络中传送。在传输视频数据前，视频压缩设备通常在源处 使用软件和/或硬件对视频数据进行编码，从而减少表示视频帧或图像所需的数据量。压 缩数据随后由目的地处的视频解压设备接收，该视频解压设备用于解码视频帧。由于网络 资源有限，需要开发在提高压缩率和/或降低实施复杂性的同时不会大幅降低图像质量的 压缩和解压技术。
【发明内容】
[0008] 在一项实施例中，本发明公开一种视频编解码器，包括用于为色度块生成预测块 的处理器，其中所述预测块包括预测色度样本，所述预测色度样本基于位于对应的重建亮 度块中的过滤重建亮度样本、多个位于邻近所述对应的重建亮度块的位置内的下采样过滤 重建亮度样本以及多个位于邻近所述色度块的位置内的下采样色度样本。
[0009] 在另一项实施例中，本发明公开了一种在视频编码中使用的方法，包括对位于邻 近重建亮度块的位置内的过滤重建亮度样本进行下采样以生成多个下采样过滤重建亮度 样本、对位于邻近色度块的位置内的重建色度样本进行下采样以生成多个下采样重建色度 样本、以及为所述色度块生成预测块，其中所述预测块包括预测色度样本，所述预测色度样 本基于位于所述重建亮度块内的过滤重建亮度样本、所述多个下采样过滤重建亮度样本以 及所述多个下采样重建色度样本。
[0010] 在又一项实施例中，本发明公开了一种包括处理器的视频编解码器，所述处理器 用于：接收色度块；生成对应于所述色度块的过滤重建亮度块；下采样多个过滤重建亮度 样本和多个重建色度样本，以便当所述色度块尺寸超过块尺寸阈值时分别生成下采样过滤 重建亮度样本和下采样重建色度样本，其中所述多个过滤重建亮度样本位于所述过滤重建 亮度块的邻近块中，且所述多个重建色度样本位于所述色度块的邻近块中；为所述色度块 生成预测块，其中所述预测块包括多个预测色度样本，每个所述多个预测色度样本均基于 位于对应的重建亮度块中的对应的重建亮度样本、以及当所述色度块的尺寸大于所述块尺 寸阈值时的所述下采样过滤重建亮度样本和所述下采样重建色度样本以及当所述色度块 的尺寸等于所述块尺寸阈值时的所述多个过滤重建亮度样本和所述多个重建色度样本。 [0011] 结合附图和权利要求书，可从以下的详细描述中更清楚地理解这些和其他特征。
【专利附图】
【附图说明】
[0012] 为了更完整地理解本发明，现在参考以下结合附图和详细描述进行的简要描述， 其中相同参考标号表不相同部分。
[0013] 图1示出了过滤亮度样本的下采样。
[0014] 图2为视频编码器的一项实施例的示意图。
[0015] 图3为视频解码器的一项实施例的示意图。
[0016] 图4示出了根据一项实施例的顶部和左侧邻近过滤亮度样本的下采样。
[0017] 图5为帧内预测方法的一项实施例的流程图。
[0018] 图6为通用计算机系统的示意图。
【具体实施方式】
[0019] 首先应该了解的是，尽管下文提供了一种或多种实施例的示例性实现方式，本发 明公开的系统和/或方法可通过多种其他已知的或存在的技术实现。本发明决不应限于下 文所说明的所述说明性实施方案、图式和技术，包括本文所说明并描述的示范性设计和实 施方案，而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。
[0020] 通常，视频媒体涉及相对较快地连续显示一系列静态图像或帧，从而使观看者感 知画面中的运动。每个帧可以包含多个图像元素或像素，每个图像元素或像素可以表示帧 中的单个参考点。在数字处理过程中，每个像素可分配有一个整数值（例如，〇、1、……或 255)，所述整数值表示对应参考点处的图像质量或颜色。颜色空间可由三个分量表示，包括 一个亮度（luma或者Y)分量和两个表示为Cb和Cr(或者有时为U和V)的色度（chroma) 分量。亮度或者色度整数值通常通过比特以二进制形式存储和处理。用来表示亮度或者色 度值的位数可称为位深或者色深。
[0021] 使用时，图像或视频帧可能包含大量的像素（例如，在一个1920x1080的帧中包含 2073600个像素），因此对每个像素进行独立的编码和解码（下文中简称为编码）可能是非 常繁琐且低效的。为了提高编码效率，通常将视频帧分成多个矩形块或宏块，每个矩形块或 宏块均可作为编码、预测、变换以及量化等处理的基本单元。例如，典型的MxM的块可以包 括M2个像素，其中M是大于1且通常是4的倍数的整数。在YUV或者YcbCr色彩空间中， 每个亮度（Y)块对应于两个色度块：Cb块和Cr块。Cb块和Cr块同样互相对应。色度块及 其对应的亮度块可以位于视频帧、切片或者区域的同一相对位置。
[0022] 在视频编码中，各种采样速率均可用于对YCbCr分量进行编码。根据采样率，Cb 块、其对应的Cr块、和/或其对应的Y块的尺寸可以相同或者不同。例如，采样率为4:2:0 时，每个MxM的色度（Cb或者Cr)块可对应于一个2Mx2M的亮度块。在这种情况下，色度块 的宽度或者高度为对应亮度块的一半。由于人眼对色度分量的敏感度不及亮度分量，色度 分量被下采样或者降采样。又例如，采样率为4:4:4时，每个MxM的色度（Cb或者Cr)块可 对应于一个MxM的亮度块。在这种情况下，可以保留更高的视频保真度，但可能需要对更多 的数据进行编码。也可以使用其他采样率，例如4:2:2和4:2:1等。
[0023] 视频帧中的块可以与同一帧中的其他块空间相关，以使得一些块内的像素值可仅 仅略有不同和/或呈现出重复的纹理。现代视频压缩方法使用各种技术来利用这些空间相 关性，这些技术可以统称为帧内部预测（或简称为帧内预测）。当使用帧内预测对当前块进 行编码时，会基于一个或多个先前编码过的参考块来生成预测块或者预测单元。预测块可 以是当前块的估计版本。可通过从预测块中减去当前块或者从当前块中减去预测块来生成 残余块，残余块表示预测残差或误差。由于用来表示预测残差所需的数据量通常小于用来 表示原始块所需的数据量，因此可对残余块而非当前块进行编码，以实现更高的压缩比。
[0024] 帧内预测可由视频编码器或者解码器（下文简称为编解码器）实现。在编码器 中，在将帧内预测生成的残余块合入编码数据流之前，可对其进行变换、量化以及扫描。解 码器接收到编码数据流之后，可将重建的残余块添加到单独生成的预测块上，以重新创建 当前块。虽然重建的当前块可能是例如由于量化导致的原始当前块的非完美版本，但是它 们的差异可能是人眼几乎无法察觉的。因此，可以节约大量位，而不会显著降低重建图像的 质量。
[0025] 在邻近块相同或近乎相同的视频区域中，使用帧内预测可能导致生成包含许多零 和/或接近零的像素值的残余块。此外，残余块的变换、量化和/或扫描可以从编码数据流 中移除许多零和/或接近零的系数，从而进一步压缩视频数据。因此，对原始图像的预测越 精确，可以取得的编码效率就会越高。为了提高帧内预测的精确性，视频/图像编码标准可 以使用多个帧内预测模式。例如，对于色度分量（包括Cr和Cb)而言，在高性能视频编码 (HEVC)中可以使用多达六个帧内预测模式，HEVC有望成为由国际电信联盟（ITU)电信标 准化部门（ITU-T)和国际标准化组织（ISO)/国际电工技术委员会（IEC)活动图像专家组 (MPEG)的视频编码联合协作小组（JCT-VC)发布的下一个视频标准。
[0026] 对于色度分量而言，六个帧内预测模式可包含来自亮度分量的亮度预测模式（通 常称为线性模型、模式或者方法（LM)模式）、垂直预测模式、水平预测模式、对角模式、直流 (DC)预测模式和直接模式（DM)的色度。可以使用各种算法为色度块确定最佳帧内预测模 式。例如，编码器可以使用一些或所有可用模式测试帧内预测色度块，然后计算每个预测模 式的绝对误差之和（SAE)。可以选择SAE最小的预测模式作为最佳模式。应注意，在待发布 的最终HEVC标准中，用于色度分量的帧内预测模式可以不同于上述六种模式。本发明主要 涉及LM模式。
[0027] 根据文件号为JCTVC-Gl103_d4、标题为"WD5 :高性能视频编码的工作草案 5(WD5:WorkingDraft5ofHigh-EfficiencyVideoCoding)" 的HEVC工作草案（其内容 以引用的方式并入本文本中），LM模式的当前设计利用重建亮度样本或像素来生成色度样 本。具体来说，当实施LM模式为当前色度（Cb或者Cr)块生成预测块时，LM模式包含从当 前色度块的对应亮度块中获取已经插入的先前重建的亮度样本的线性结合。LM模式进一步 包含从邻近对应亮度块的亮度块中获取先前重建的亮度样本的线性结合。此外，LM模式进 一步包含从邻近当前色度块的色度块中获取先前重建的色度样本。
[0028] 根据JCTVC-Gl103_d4,可以使用算法和/或下文描述的等式（1)至（18)来获取色 度预测块的样本值。接触等式前，下文首先给出等式中使用的变量的定义。
[0029] 对于四个侧面每侧都有2nS(nS为正整数）个亮度样本的重建亮度块，[x，y]表示 亮度样本在重建亮度块中的位置或者索引，其中整数X和y的取值范围均为〇到2nS- 1。此 夕卜，recSamplesJxj]表示[x，y]处的亮度样本。在HEVC工作草案（如，文件JCTVC-G1103_ d4)中，recSamplesJxj]有时可能表示为Pmky]。本文的等式中，符号m=rr"k用于 表示取值范围，其中m的取值介于η(包含η)和k(包含k)之间，且m、n和k均为整数。例 如，取值范围为〇到2nS- 1的X和y表示为"X，y= 0到2nS-l"。
[0030] 如上所述，可以在LM模式中使用左侧和顶部邻近亮度块中的重建亮度样本来预 测当前色度块。[x，-l]表示对应亮度块的左侧相邻列（下文称为左侧邻近列）中的亮度样 本的位置或者索引，[_l，y]表示对应亮度块的上一相邻行（下文称为顶部邻近行）中的亮 度样本的位置，其中X和y的取值范围均为〇到2nS- 1。也就是说，遵循标准的阵列符号， 即[X，y]表示行位置为X且列位置为y。此外，recSamplesJx, -1]表示[X，-1]位置处的 亮度样本，recSamplesJ-Ly]表示[_l，y]位置处的亮度样本。
[0031] 在4:2:0取样中，重建的2nSX2nS对应亮度块可以首先过滤成nSXnS亮度块，然 后用作当前色度块的帧内预测的参考块。对于四个侧面每侧都有nS个亮度样本的过滤亮 度块，PY' [x，y]表示[x，y]位置处的过滤亮度样本，其中X和y的取值范围均为〇到nS-Ι。 类似地，在LM模式中，可以在已使用的参考样本前先过滤包含亮度样本的左侧邻近列和顶 部邻近行。过滤后，PY' [X，-1]表示[X，-1]位置处的过滤亮度样本且PY' [-1，y]表示[-1，y] 位置处的过滤亮度样本的值，其中χ和y的取值范围均为0到nS-Ι。
[0032] 如上所述，在左侧和顶部邻近色度块中的先前编码的色度样本同样可以在LM模 式中使用。在邻近色度块中，[x，-l]表示当前色度块的左侧相邻列（也称为左侧邻近列或 向量）中的色度样本的索引，[_l，y]表示当前色度块的上一相邻行（也称为顶部邻近行或 向量）中的色度样本的索引，其中χ和y的取值范围均为〇到nS-Ι。此外，p[x，-l]表示 [χ，-1]位置处的色度样本，P[-1，y]表示[-1，y]位置处的色度样本，其中χ和y的取值范 围均为0到nS-Ι。
[0033] 对于待计算的色度预测块，predSamples[x,y]表示[χ,y]位置处的预测或预测的 色度样本，其中χ和y的取值范围均为〇到nS- 1。BitD印thC表示用于色度分量（Cr或Cb) 的位数（即，位深）。例如，在HEVC中，BitD印thC可以等于8或10(或者任何其它合适的 值）。如果13;^〇6口1:11〇 = 8，口|^，7]和口代(15311^|168|^，7]等色度样本可以最多有8位。使 用时，亮度分量的位深通常可以和色度分量的位深相同，因此，PY' [x，y]等过滤亮度度样本 的最大位数与P[χ,y]的相同。
[0034] 在LM模式中，为了生成预测色度样本，首先要过滤重建亮度样本。等式（2)将具有 [121]系数的3抽头过滤器运用到位于顶部邻近行的2nS个重建亮度样本并生成nS个过滤 亮度样本。等式（3)将2抽头平均过滤器运用到左侧邻近列中的2nS个重建亮度样本并生 成nS个过滤亮度样本。等式（3)也将2抽头平均过滤器运用到对应亮度块中的2nSX2nS 个重建亮度样本并生成nSXnS个过滤重建亮度样本。
[0035] k3 =Max(0, BitDepthc+log (nS)-14) (I)
[0036] pY[x,-1] = (recSamplesL[2x-l,-1]+2*recSamplesL[2x, (2)-1] +recSamples l[2x+1，-1]+2)>>2,其中 x = 0 到 nS-Ι
[0037] pY[x,y] = (recSamplesL[2x, 2y]+recSamplesL[2x, 2y+l])>>l, (3)其中_x=_l 到nS_l,y=O到nS_l
[0038] 可引入一系列表示为L、C、LULC以及k2的中间变量来获取预测色度样本（即 predSamples[x,y])，如以下等式/伪码所示：
【权利要求】
1. 一种视频编解码器，其特征在于，包括： 一种处理器，用于： 为色度块生成预测块，其中所述预测块包括预测色度样本，所述预测色度样本基于： 位于对应重建亮度块中的过滤重建亮度样本； 位于邻近所述对应重建亮度块的位置内的多个下采样过滤重建亮度样本；以及 位于邻近所述色度块的位置内的多个下采样色度样本。
2. 根据权利要求1所述的视频编解码器，其特征在于，所述下采样过滤重建亮度样本 包括重建亮度样本的顶部邻近向量以及重建亮度样本的左侧邻近向量的每第N个过滤重 建亮度样本，其中N是大于1的整数。
3. 根据权利要求2所述的视频编解码器，其特征在于，所述下采样色度样本包括色度 样本的顶部邻近向量以及色度样本的左侧邻近向量的每第N个色度样本。
4. 根据权利要求3所述的视频编解码器，其特征在于，所述处理器进一步用于： 生成对应于第二色度块的第二重建亮度块； 基于所述对应的第二重建亮度块为所述第二色度块生成第二预测块，其中当所述第二 色度块的尺寸为16x16或者8x8时，所述第二预测块进一步基于位于邻近所述第二重建亮 度块的位置内的多个过滤重建亮度样本的子集，所述子集通过下采样获取，否则，所述第二 预测块进一步基于位于邻近所述第二重建亮度块的位置内的所述多个过滤重建亮度样本。
5. 根据权利要求1所述的视频编解码器，其特征在于，所述下采样过滤重建亮度样本 包括重建亮度样本的顶部邻近向量和重建亮度样本的左侧邻近向量的滑动平均值。
6. 根据权利要求5所述的视频编解码器，其特征在于，所述下采样色度样本包括色度 样本的顶部邻近向量和色度样本的左侧邻近向量的滑动平均值。
7. 根据权利要求6所述的视频编解码器，其特征在于，重建亮度样本的所述顶部邻近 向量的所述滑动平均值包括
（x = 0、……、nS/Ν-Ι)，其中nS为色度 块的尺寸、N为下采样因数以Z
(X = 0、……、nS-l)为左侧邻近向量；重建亮度 样本的所述左侧邻近向量的所述滑动平均值包砧
(y = 〇>……、nS/ N-1)，其
(y = 〇、......、nS-l)为顶部邻近向量。
8. -种用在视频编码中的方法，其特征在于，包括： 下采样位于邻近重建亮度块的位置内的过滤重建亮度样本，以生成多个下采样过滤重 建亮度样本； 下采样位于邻近色度块的位置内的重建色度样本，以生成多个下采样重建色度样本； 以及 为所述色度块生成预测块，其中所述预测块包括预测色度样本，所述预测色度样本基 于： 位于所述重建亮度块中的过滤重建亮度样本； 所述多个下采样过滤重建亮度样本；以及 所述多个下采样重建色度样本。
9. 根据权利要求8所述的方法，其特征在于，所述下采样过滤重建亮度样本包括重建 亮度样本的顶部邻近向量以及重建亮度样本的左侧邻近向量的每第N个过滤重建亮度样 本，其中N是大于1的整数。
10. 根据权利要求9所述的方法，其特征在于，所述下采样色度样本包括色度样本的顶 部邻近向量以及色度样本的左侧邻近向量的每第N个色度样本。
11. 根据权利要求10所述的方法，其特征在于，进一步包括： 生成对应于第二色度块的第二重建亮度块； 基于所述对应的第二重建亮度块为所述第二色度块生成第二预测块，其中当所述第二 色度块的尺寸为16x16或者8x8时，所述第二预测块进一步基于位于邻近所述第二重建亮 度块的位置内的多个过滤重建亮度样本的子集，所述子集通过下采样获取，否则，所述第二 预测块进一步基于位于邻近所述第二重建亮度块的位置内的所述多个过滤重建亮度样本。
12. 根据权利要求8所述的方法，其特征在于，所述下采样过滤重建亮度样本包括重建 亮度样本的顶部邻近向量和重建亮度样本的左侧邻近向量的平均值。
13. 根据权利要求12所述的方法，其特征在于，所述下采样色度样本包括色度样本的 顶部邻近向量和色度样本的左侧邻近向量的滑动平均值。
14. 根据权利要求13所述的方法，其特征在于，重建亮度样本的所述顶部邻近向量的 所述滑动平均值包括._, (x = 〇>……、nS/N-l)，其中nS为所述色度块
的尺寸、N为下采样因数以及
（X = 0、……、nS-l)为所述左侧邻近向量；重建亮 度样本的所述左侧邻近向量的所述滑动平均值包杌
（y = 〇、……、 nS/N-1)，其中_ (y = 〇、......、nS-Ι)为顶部邻近向量。
15. -种视频编解码器，其特征在于，包括： 一种处理器，用于： 生成对应于色度块的过滤重建亮度块； 当所述色度块的尺寸大于块尺寸阈值时，下采样多个过滤重建亮度样本和多个重建色 度样本，以分别生成下采样过滤重建亮度样本和下采样重建色度样本，其中所述多个过滤 重建亮度样本位于所述过滤重建亮度块的邻近块中，所述多个重建色度样本位于所述色度 块的邻近块中； 为所述色度块生成预测块，其中所述预测块包括多个预测色度样本，所述多个预测色 度样本中的每个样本均基于： 位于对应重建亮度块中的对应重建亮度样本； 当所述色度块尺寸大于块尺寸阈值时的所述下采样过滤重建亮度样本和所述下采样 重建色度样本；以及 当所述色度块尺寸等于块尺寸阈值时的所述多个过滤重建亮度样本和所述多个重建 色度样本。
16. 根据权利要求15所述的视频编解码器，其特征在于，所述块尺寸阈值为4x4,且当 所述色度块尺寸为8x8时，下采样采用2取1因数，当所述色度块尺寸为16x16时，下采样 采用4取1因数。
17. 根据权利要求15所述的视频编解码器，其特征在于，所述过滤重建亮度样本的所 述下采样包括求重建亮度样本的顶部邻近向量和重建亮度样本的左侧邻近向量的滑动平 均值。
18. 根据权利要求17所述的视频编解码器，其特征在于，所述重建色度样本的所述下 采样包括求色度样本的顶部邻近向量和色度样本的左侧邻近向量的滑动平均值。
19. 根据权利要求15所述的视频编解码器，其特征在于，所述过滤重建亮度样本的所 述下采样包括选择重建亮度样本的顶部邻近向量以及重建亮度样本的左侧邻近向量的每 第N个过滤重建亮度样本，其中N是大于1的整数。
20. 根据权利要求19所述的视频编解码器，其特征在于，色度样本的所述下采样包括 选择色度样本的顶部邻近向量以及色度样本的左侧邻近向量的每第N个色度样本。
【文档编号】H04N19/503GK104380741SQ201380006215
【公开日】2015年2月25日 申请日期:2013年1月18日 优先权日:2012年1月19日
【发明者】刘凌志, 李贵春, 林楠, 郑建铧, 张菲利普, 宋理 申请人:华为技术有限公司