模式依赖帧内平滑的简化的制作方法
【专利摘要】本发明包括一种含有处理器的装置，所述处理器用于确定是否基于查找表(LUT)对预测单元(PU)使用帧内平滑滤波器，其中LUT包括用于指示不应该在任何大小为8x8像素且与方向预测模式关联的PU块上应用帧内平滑滤波器的数据。本发明也包括一种方法，所述方法包括生成参考样本，确定PU块的大小和基于PU块的大小选择参考样本，其中对大小为8x8像素且与方向预测模式关联的PU块不选择经滤波的参考样本。
【专利说明】模式依赖帧内平滑的简化
[0001] 相关申请案交叉申请
[0002] 本发明要求2012年1月19日由李贵春（Guichun Li)等人递交的发明名称为 "模式依赖巾贞内平滑的简化（Simplification of Mode Dependent Intra Smoothing)"的第 61/588355号美国临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并 入本文本中，如全文再现一般。
[0003] 关于由联邦政府赞助的研究或开发的声明
[0004] 不适用。
[0005] 缩微平片附件的引用 [0006] 不适用。
【背景技术】
[0007] 即使在影片相对较短的情况下也需要对大量的视频数据进行描述，当数据要在带 宽容量受限的通信网络中流过或以其他方式传送时，这样可能会造成困难。因此，视频数据 通常要先压缩然后在现代电信网络中传送。视频压缩设备通常在源处使用软件和/或硬 件，以在传送之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。接 着，压缩的数据在目的地处由视频解压设备接收，该视频解压设备用于对视频数据进行解 码。在有限的网络资源以及对更高视频质量的需求不断增加的情况下，需要改进压缩和解 压技术，所述改进的技术基本上无需增加比特率就可以改进图像质量。
【发明内容】
[0008] 在一项实施例中，本发明包括一种含有处理器的装置，所述处理器用于确定是否 基于查找表（LUT)对预测单元（PU)使用帧内平滑滤波器，其中LUT包括用于指示不应对大 小为8x8像素且与方向预测模式关联的PU块应用帧内平滑滤波器的数据。
[0009] 在另一项实施例中，本发明包括一种方法，所述方法包括生成参考样本，确定PU 块的大小以及基于I 3U块的大小选择参考样本，其中对大小为8x8像素且与方向预测模式关 联的PU块不选择经滤波的参考样本。
[0010] 在又一项实施例中，本发明包括一种含有存储器和处理器的装置，所述存储器包 含指令，所述处理器用于通过生成参考样本，确定PU块的大小以及基于块的大小选择经 滤波和未经滤波的参考样本来执行指令，其中对大小为8x8像素且与方向预测模式关联的 PU块不选择经滤波的参考样本。
[0011] 结合附图和权利要求书，可从以下的详细描述中更清楚地理解这些和其他特征。
【专利附图】
【附图说明】
[0012] 为了更完整地理解本发明，现可参考以下简要描述，结合附图和详细描述，其中相 同参考标号表不相同部分。
[0013] 图1是多个帧内预测模式的示意图。
[0014] 图2是为帧内预测选择参考样本的方法的实施例的示意图。
[0015] 图3为网元的实施例的示意图。
【具体实施方式】
[0016] 首先应该理解的是，尽管下面提供了一种或多种实施例的示例性实施方式，本发 明公开的系统和/或方法可通过多种当前已知的或存在的技术实施。本发明决不应限于下 文所说明的所述说明性实施方案、图式和技术，包含本文所说明并描述的示范性设计和实 施方案，而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。
[0017] 视频媒体通常涉及相对较快地连续显示一系列静态图像或帧，从而让观察者感觉 到运动。每个帧可以包含多个图像元素或像素，每个图像元素或像素可以表示帧中的单个 参考点。在数字处理期间，每个像素可以被分配一个整数值（例如，〇、1、…或255)，所述 整数值表示对应参考点处的图像质量或特征，例如，亮度或色度。单个帧中的多组像素（例 如，宏块，编码单元（CU)或预测单元（PU))通常可以与相同帧内的其他宏块进行相关，使得 一些宏块内的像素值可能仅略有不同并且/或者呈现出重复的纹理（texture)。现代视频 压缩方法使用各种技术来利用这些空间相关性，这些技术统称为帧内预测。帧内预测可以 降低相同帧内相邻和/或邻近宏块（下文中简称为块）之间的空间冗余，从而在无需大幅 降低图像质量的情况下压缩视频数据。各种约定的视频/图像编码标准描述了不同形式的 帧内预测，例如国际电信联盟（ITU)电信标准化部门（ITU-T)H. 264(下文中简称为H. 264)， 该内容以引入的方式并入本文本中，如全文再现一般。
[0018] 实际上，帧内预测可以由视频编码器/解码器（编解码器）来实现，以从一个或多 个先前编码/解码的邻近块中插入一个预测块，从而创建一个当前块的近似。因此，编码器 和解码器可以独立地插入预测块，从而使得帧和/或图像的绝大部分能够根据相对少量的 参考块的通信进行重建，所述参考块例如，位于帧的左上角（并从此处延伸）的块。然而， 仅靠帧内预测不能为现代视频重现质量良好的图像，而且编码器和解码器可能会交换错误 校正信息例如残余信息来校正预测块和当前块之间的差异。譬如，编码器可以从当前块中 减去预测块来生成一个残余块，然后在将该残留块编码成编码数据流之前将它变换、量化 和扫描。收到编码数据流后，解码器将重建的残余块添加到独立生成的预测块中来重建当 前块。尽管重建的当前块可能是原始当前块的不完美的版本，例如由于帧内编码压缩的有 损性质导致，它们之间的差异是肉眼难以察觉的。因此，在没有降低重建图像质量的情况下 减少了大量的比特。
[0019] 残余块可能包括预测块和当前块之间的少许差异，因此，许多残余块的离散值例 如像素数据可能包含0和/或接近0的系数，例如，在预测块相同和/或接近相同当前块的 区域。此外，残余块的变换、量化和/或扫描会去除数据流中的0和/或接近0的系数，从 而导致视频数据的进一步压缩。所以，对原始图像更精确的预测可以保证编码效率。为了 保证编码效率，约定的视频/图像编码标准在帧内预测中使用多种预测模式来提高预测精 确度，例如每中预测模式可以生成一个唯一的纹理。例如，高性能视频编码（HEVC)视频压 缩标准（也称为H. 265)在统一帧内预测（UIP)方案中使用多种预测模式。
[0020] 图1是HEVC UIP方案中使用的多种帧内预测模式100的示意图。对于亮度块，帧 内预测模式100包括最多36个帧内预测模式，其中包含3个非方向模式和33个方向模式。 非方向模式包括平面预测模式，帧内平均（DC)预测模式和从亮度到色度（LM)预测模式。平 面预测模式通过假设一个块的振幅表面来进行预测，所述振幅表面从该块的边界衍生出水 平和垂直的斜面。DC预测模式通过假设一个平坦的块表面来进行预测，所述平坦的块表面 有一个与块边界平均值相匹配的值。LM预测模式通过假设块的色度值来进行预测，所述色 度值匹配该块的亮度值。方向模式基于相邻块进行预测，如图1所示。
[0021] 在使用中，编码器可以为每个当前块选择产生最精确预测的预测模式。例如，帧内 预测模式100中为每个模式计算绝对误差和（SAE)，并选择SAE最小的模式。越多的帧内预 测模式通常可以保证更为精确的帧内预测。例如，最近的研究表明，相对于使用少于36种 帧内预测模式的约定，例如H. 264仅使用9种帧内预测模式，使用36种帧内预测模式例如 帧内预测模式100的约定可以更精确地预测复杂的纹理。虽然公开了 36种帧内预测模式， 但需要注意任何其他合适数量的预测模式都可以使用，这取决于块的大小和/或帧内预测 方案。
[0022] 可以利用多种帧内平滑方案来提高预测精确度。例如，在一个方案中，编解码器可 以为每个当前块确定是否应用平滑滤波器，以及基于帧内预测模式确定应用哪一个平滑滤 波器。具体而言，平滑滤波器可以应用于参考样本，然后用于帧内预测。此方案被称为模式 依赖帧内平滑（MDIS)。MDIS也包含多种方法。例如，一种MDIS方法可以明确指出预测样 本是否被滤波。编码器通过给检测所有潜在帧内预测模式的率失真（RD)成本来做平滑决 定。另一种MDIS方法仅通过检测经滤波或者未经滤波的预测样本的RD成本来确定最佳的 帧内预测模式，这种MDIS过程相对较快。
[0023] 基于块的帧内编码压缩标准例如高级视频编码（AVC)、关键【技术领域】（KTA)和 HEVC测试模型（HM)等可以使用正方形块作为预测单元（PU)。一个PU是预测的一个基本 单元。一个正方形PU的水平侧（长度）和垂直侧（高度）具有相同的像素数。基于正方 形PU的MDIS方案可以根据查找表（LUT)来确定一个滤波器的开启/关闭（0N/0FF)状态 和/或其类型。表1描述了一个典型的LUT，该LUT在HM5.0中使用，依据本杰明?布罗斯 等人于2011年11月21-30日在日内瓦的联合协作小组第七次会议关于ITU-T SG16WP3和 IS0/IEC JTC1/SC29/WG11 视频编码（JCT-VC) (7th Meeting of the Joint Collaborative Team on Video Coding(JCT-VC)Of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG11)上提出 的"WD5:高性能视频编码工作草案 5"（"WD5:Working Draft5of High-Efficiency Video Coding"），Doc.JCTVC-G1103_d9,在此以引用的方式并入本文本中。表I包含了多个滤波 器决定条目，每个条目可由正方形PU的大小和帧内预测模式进行索引。各行对应帧内预测 中一个正方形I 3U的可能大小，每行代表一个唯一的正方形PU的大小（例如，4x4,8x8等）。 各列对应UIP方案中可以使用的36种预测模式。0列代表平面模式，1列代表DC模式，2-34 列代表方向帧内预测模式，其中2-34列中每列代表一个根据图1进行编号（2-34)的方向 预测模式，35列代表LM模式。表1中的条目对应滤波器决定并代表每个决定的数值分配。 在本文中，对于每个滤波器决定，值1表示关联的帧内平滑滤波器是开启的，值〇表示帧内 平滑滤波器是关闭的。例如，对于方向预测模式是4的8x8正方形PU，可以进行帧内平滑； 对于方向预测模式是5的32x32正方形PU，可以不进行帧内平滑，等等。
[0024]
【权利要求】
1. 一种装置，其特征在于，所述装置包括： 一个处理器，所述处理器被配置为： 确定是否基于查找表（LUT)对预测单元（PU)使用帧内平滑滤波器， 其中LUT包括用于指示不应该对大小为8x8像素且与方向预测模式关联的PU块应用 帧内平滑滤波器的数据。
2. 根据权利要求1所述的装置，其特征在于，LUT进一步包括用于指示不应该对大小为 8x8像素且与平面预测模式关联的PU块应用帧内平滑滤波器的数据。
3. 根据权利要求2所述的装置，其特征在于，LUT进一步包括： 用于指示不应该对任何大小为8x8像素且与帧内平均（DC)模式关联的PU块应用帧内 平滑滤波器的数据；以及 用于指示不应该对任何大小为8x8像素且与从亮度到色素（LM)模式关联的PU块应用 帧内平滑滤波器的数据。
4. 根据权利要求1所述的装置，其特征在于，LUT是一个高性能视频编码（HEVC)模式 依赖帧内平滑（MDIS) LUT。
5. 根据权利要求1所述的装置，其特征在于，LUT包括36列，O列包含与平面模式关联 的数据，1列包含与帧内DC模式关联的数据，2-34列包含与方向帧内模式关联的数据，其中 35列包含与帧内LM模式关联的数据。
6. 根据权利要求5所述的装置，其特征在于，LUT进一步包括： 多个与PU块大小关联的行；以及 多个将行和列关联的单元， 其中每个单元包含值1用于表示给对应大小的PU块应用帧内平滑滤波器或者值O用 于表示不给对应大小的PU块应用帧内平滑滤波器；以及 所述LUT描述如下：
7. 根据权利要求5所述的装置，其特征在于，LUT进一步包括： 多个与PU块大小关联的行；以及 多个将行和列关联的单元， 其中每个单元包含值1用于表示给对应大小的PU块应用帧内平滑滤波器或者值O用 于表示不给对应大小的PU块应用帧内平滑滤波器；以及 所述LUT描述如下：
8. -种方法，其特征在于，所述方法包括： 生成参考样本； 确定预测单元（PU)块的大小；以及 根据PU块的大小选择所述参考样本， 其中对大小为8x8像素且与方向预测模式关联的PU块不选择经滤波的参考样本。
9. 根据权利要求8所述的方法，其特征在于，生成并选择所述参考样本是视频编码过 程的一部分。
10. 根据权利要求8所述的方法，其特征在于，生成并选择所述参考样本是视频解码过 程的一部分。
11. 根据权利要求8所述的方法，其特征在于，生成并选择所述参考样本是高性能视频 编码（HEVC)模式依赖帧内平滑（MDIS)过程的一部分。
12. 根据权利要求11所述的方法，其特征在于，对于大小为8x8像素的PU块，只选择未 经滤波的参考样本。
13. 根据权利要求11所述的方法，其特征在于，只有当块的大小为8x8像素且与平 面预测模式关联时，选择经滤波的参考样本。
14. 根据权利要求11所述的方法，其特征在于，通过应用一个三系数（3抽头）滤波器 来创建经滤波的参考样本。
15. -种装置，其特征在于，所述装置包括： 包含指令的存储器；以及 通过以下方法执行指令的处理器： 生成参考样本； 确定预测单元（PU)块的大小；以及 基于I3U块的大小选择经滤波和未经滤波的参考样本， 其中对大小为8x8像素且与方向预测模式关联的PU块不选择经滤波的参考样本。
16. 根据权利要求15所述的装置，其特征在于，生成并选择所述参考样本是高性能视 频编码（HEVC)模式依赖帧内平滑（MDIS)过程的一部分。
17. 根据权利要求15所述的装置，其特征在于，基于PU块的大小选择参考样本包括从 HEVC MDIS查找表（LUT)获得数据。
18. 根据权利要求17所述的装置，其特征在于，所述LUT进一步包括： 多个与预测模式关联的列， 多个与PU块大小关联的行；以及 多个将行和列关联的单元， 其中每个单元包含值1用于表示给对应大小的PU块选择经滤波的参考样本或者值O 用于表示不给对应大小的PU块选择经滤波的参考样本；以及 所述LUT描述如下：
19. 根据权利要求17所述的装置，其特征在于，所述LUT进一步包括： 多个与预测模式关联的列， 多个与PU块大小关联的行；以及 多个将行和列关联的单元， 其中每个单元包含值1用于表示给对应大小的PU块选择经滤波的参考样本或者值O 用于表示不给对应大小的PU块选择经滤波的参考样本；以及 所述LUT描述如下：
20. 根据权利要求17所述的装置，其特征在于，所述经滤波的参考样本存储在第一个 缓冲器，所述未经滤波的参考样本存储在第二个缓冲器，基于PU块的大小选择所述参考样 本进一步包括基于所述LUT数据的第一个缓冲器和第二个缓冲器之间的切换。
【文档编号】H04N19/18GK104380730SQ201380006070
【公开日】2015年2月25日 申请日期:2013年1月18日 优先权日:2012年1月19日
【发明者】李贵春, 刘凌志, 楠·林, 郑建铧, 菲利普·张, 宋理 申请人:华为技术有限公司