用于速率失真优化量化的查找表的制作方法
用于速率失真优化量化的查找表的制作方法
【专利摘要】一种例如视频编码器等计算装置使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化偏移。此外，所述计算装置至少部分地基于用于一或多个系数的量化偏移确定用于所述相应系数的相应经量化等级。
【专利说明】用于速率失真优化量化的查找表
[0001] 本申请案要求2012年4月13日申请的第61/623,929号美国临时专利申请案、 2012年4月13日申请的第61/623, 948号美国临时专利申请案和2012年4月13日申请的 第61/624, 116号美国临时专利申请案的权益，所述美国临时专利申请案中的每一个的整 个内容以引用的方式并入本文中。
【技术领域】
[0002] 本发明涉及视频译码和压缩，并且具体来说涉及在视频译码中实施失真优化量 化。
【背景技术】
[0003] 数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直接广播系统、 无线广播系统、个人数字助理（PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线 电话（所谓的"智能手机"）、视频电话会议装置、视频流式传输装置等等。数字视频装置实 施视频压缩技术，例如在通过 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H264/MPEG-4 第 10 部 分、高级视频译码（AVC)、目前正在开发的高效视频译码（HEVC)标准和此些标准的扩展部 分所定义的标准中描述的视频压缩技术。通过实施此些视频压缩技术，视频装置可以更有 效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码，视频切片（即，视频帧或视频帧的一部 分）可以分割成视频块，这也可以称为树块、译码单元（CU)和/或译码节点。使用相对于 相同图片中的相邻块的参考样本的空间预测对图片的经帧内译码（I)的切片中的视频块 进行编码。图片的经帧间译码（P或B)的切片中的视频块可以使用相对于相同图片中的相 邻块的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可以 称为巾贞，并且参考图片可以称为参考中贞。
[0005] 空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量对经帧间译码 的块进行编码，并且残余数据指示经译码的块与预测性块之间的差。经帧内译码的块是根 据帧内译码模式和残余数据编码的。为了进一步压缩，可以将残余数据从像素域变换到变 换域，从而产生残余系数，接着可以对残余系数进行量化。可以扫描经量化系数（起初布置 成二维阵列），以便产生系数的一维向量，并且可以应用熵译码以实现甚至更大的压缩。
【发明内容】
[0006] 总地来说，本发明描述量化技术。在一些实例中，例如视频编码器等计算装置存储 查找表。所述查找表包含将系数块内的位置映射到量化偏移的条目。所述计算装置使用相 应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化偏移。此外，所述 计算装置至少部分地基于用于一或多个系数的量化偏移确定用于系数的经量化等级。
[0007] 在一个实例中，本发明描述一种对视频数据进行编码的方法。所述方法包括使用 相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化偏移。所述方法 还包括至少部分地基于用于一或多个相应系数的相应量化偏移来确定用于相应系数的相 应经量化等级。
[0008] 在另一实例中，本发明描述一种对视频数据进行编码的计算装置。所述计算装置 包括经配置以使用相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应 量化偏移的一或多个处理器。此外，所述一或多个处理器经配置以至少部分地基于用于一 或多个相应系数的相应量化偏移来确定用于相应系数的相应经量化等级。
[0009] 在另一实例中，本发明描述一种对视频数据进行编码的计算装置。所述计算装置 包括用于使用相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化 偏移的装置。此外，所述计算装置还包括用于至少部分地基于用于一或多个相应系数的相 应量化偏移来确定用于相应系数的相应经量化等级的装置。
[0010] 在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被 计算装置的一或多个处理器执行时，配置所述计算装置以使用相应系数在系数块中的相应 位置在查找表中查找用于相应系数的相应量化偏移。所述指令还配置所述计算装置以至少 部分地基于用于一或多个相应系数的相应量化偏移来确定用于相应系数的相应经量化等 级。
[0011] 在另一实例中，本发明描述一种方法，其包括至少部分地基于视频编码器是在全 部帧内配置、随机存取配置还是低延迟配置中操作而确定量化偏移。所述方法还包括至少 部分地基于所述量化偏移来确定用于系数的相应经量化等级。
[0012] 在另一实例中，本发明描述一种包括一或多个处理器的计算装置，所述一或多个 处理器经配置以至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟 配置中操作而确定量化偏移。此外，所述一或多个处理器至少部分地基于所述量化偏移来 确定用于系数的相应经量化等级。
[0013] 在另一实例中，本发明描述一种计算装置，其包括用于至少部分地基于视频编码 器是在全部帧内配置、随机存取配置还是低延迟配置中操作而确定量化偏移的装置。此外， 所述计算装置包括用于至少部分地基于所述量化偏移来确定用于系数的相应经量化等级 的装置。
[0014] 在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被 执行时配置计算装置以至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是 低延迟配置中操作而确定量化偏移。此外，所述指令在被执行时配置所述计算装置以至少 部分地基于所述量化偏移来确定用于系数的相应经量化等级。
[0015] 附图和下面的描述中阐述本发明的一或多个实例的细节。通过描述、图式和权利 要求书，将明白其它特征、目的和优点。
【专利附图】
【附图说明】
[0016] 图1是说明可以利用本发明中描述的技术的实例视频译码系统的框图。
[0017] 图2是说明可以实施本发明中描述的技术的实例视频编码器的框图。
[0018] 图3是说明可以实施本发明中描述的技术的实例视频解码器的框图。
[0019] 图4是说明使用死区的标量量化的概念图。
[0020] 图5是说明量化偏移和等级决定的概念图。
[0021] 图6是说明根据本发明的一或多种技术对系数进行量化的实例操作的流程图。
[0022] 图7是说明根据本发明的一或多种技术对系数块的系数进行量化的实例操作的 流程图。
[0023] 图8是说明图7的操作的实例部分的流程图。
[0024] 图9是说明根据本发明的一或多种技术对系数块的系数进行量化的另一实例操 作的流程图。
[0025] 图10是说明根据本发明的一或多种技术对系数块的系数进行量化的另一实例操 作的流程图。
[0026] 图11是说明根据本发明的技术的另一实例编码操作的流程图。
[0027] 图12是说明根据本发明的技术的另一实例译码操作的流程图。
【具体实施方式】
[0028] 视频编码器可以在视频编码期间对系数进行量化。对系数进行量化可能会减小系 数的位深度。在高效视频译码（HEVC)中，视频编码器可以使用利用死区技术的标量量化或 使用速率失真优化量化（RD0Q)技术执行量化。RD0Q技术与使用死区技术的标量量化相比 可以实现显著的性能增益。然而，RD0Q技术比使用死区技术的标量量化明显更复杂。
[0029] 本发明的技术可以减小RD0Q技术的复杂度。举例来说，RD0Q可能会涉及确定系 数的经量化等级（Level)、Level_l和0)的速率失真（RD)成本。本发明的一些技术可以通 过只有在系数的计算出的值小于Level与量化步长值的乘积的情况下才确定系数的经量 化等级（Level)、Level-l和0的RD成本而减小RD0Q技术的复杂度。通过只有在满足这个 条件时才确定这些RD成本，可以减小执行RD0Q技术的复杂度。在另一实例中，本发明的一 些技术可以减小RD0Q技术的复杂度，因为实施这些技术的视频编码器可以在量化偏移查 找表中查找量化偏移，并且使用这些量化偏移对系数进行量化。通过在量化偏移查找表中 查找量化偏移，可能不必要确定每一系数的Level、Level-Ι和0的RD成本。消除Level、 Level-1和0的RD成本的确定，可以减小RD0Q技术的复杂度。在另一实例中，可以通过产 生一个视频编码器在计算RD0Q技术中的各种RD成本时可以使用的乘法表来减小RD0Q技 术的复杂度。
【专利附图】
【附图说明】 [0030] 了实例。附图中的参考标号所指示的元件对应于下面的描述中的相同参 考标号所指示的元件。在本发明中，具有用顺序词语（例如，"第一"、"第二"、"第三"等等） 开头的名称的元件不一定暗示所述元件具有特定的次序。实情为，此些顺序词语可能只是 用来指代相同或相似类型的不同元件。
[0031] 图1是说明可以利用本发明的技术的实例视频译码系统10的框图。如本文中所 述描述，术语"视频译码器"总体上是指视频编码器和视频解码器两者。在本发明中，术语 "视频译码"或"译码"可以总体上指代视频编码或视频解码。
[0032] 如图1所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生 经编码的视频数据。因此，源装置12可以称为视频编码装置或视频编码设备。目的地装置 14可以对源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以称为 视频解码装置或视频解码设备。源装置12和目的地装置14可以是视频译码装置或视频译 码设备的实例。源装置12和目的地装置14可以包括多种多样的装置，包含台式计算机、移 动计算装置、笔记本（例如，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如所谓 的"智能"电话）、电视机、相机、显示器装置、数字媒体播放器、视频游戏控制台、车载计算机 等等。
[0033] 目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可 以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体和/或 装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直 接发射到目的地装置14的一或多个通信媒体。在这个实例中，源装置12可以根据通信标 准（例如无线通信协议）调制经编码的视频数据，并且可以将经调制的视频数据发射到目 的地装置14。所述一或多个通信媒体可以包含无线和/或有线通信媒体，例如射频（RF)频 谱或一或多个物理传输线。所述一或多个通信媒体可以形成基于包的网络（例如，局域网、 广域网或全球网络（例如，因特网））的一部分。所述一或多个通信媒体可以包含路由器、 交换机、基站或其它便于从源装置12到目的地装置14的通信的设备。
[0034] 在另一实例中，信道16可以包含存储源装置12所产生的经编码的视频数据的存 储媒体。在这个实例中，目的地装置14可以经由磁盘存取或卡存取来存取存储媒体。所述 存储媒体可包含多种本机存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或 其它适合于存储经编码的视频数据的数字存储媒体。
[0035] 在另一实例中，信道16可包含文件服务器或另一存储源装置12所产生的经编码 的视频数据的中间存储装置。在这个实例中，目的地装置14可以经由流式传输或下载来存 取被存储在文件服务器或其它中间存储装置处的经编码的视频数据。所述文件服务器可以 是能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的类型的服 务器。实例文件服务器包含网络服务器（例如，用于网站）、文件传送协议（FTP)服务器、网 络附接存储（NAS)装置和本机磁盘驱动器。
[0036] 目的地装置14可以通过标准数据连接（例如因特网连接）存取经编码的视频数 据。数据连接的实例包含无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制解 调器等）或这两者的适合于存取被存储在文件服务器上的经编码的视频数据的组合。从文 件服务器发射经编码的视频数据可以是流式传输发射、下载发射或这两者的组合。
[0037] 本发明的技术不限于无线应用或设置。所述技术可以应用于支持多种多媒体应用 的视频译码，所述多媒体应用例如是空中电视广播、有线电视发射、卫星电视发射、流式传 输视频发射（例如，经由因特网）、对视频数据编码以用于存储在数据存储媒体上、对存储 在数据存储媒体上的视频数据的解码或其它应用。在一些实例中，视频译码系统10可以经 配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播和/或视 频电话等应用。
[0038] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些实例中，输出接口 22可包含调制器/解调器（调制解调器）和/或发射器。视频源18 可包含视频俘获装置，例如，摄像机、含有先前俘获的视频数据的视频档案、用以从视频内 容提供者接收视频数据的视频馈送接口和/或用于产生视频数据的计算机图形系统或此 些视频数据源的组合。
[0039] 视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置 12经由输出接口 22将经编码的视频数据发射到目的地装置14。经编码的视频数据还可存 储到存储媒体或文件服务器上以供目的地装置14稍后存取以便解码和/或回放。
[0040] 在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示器装置 32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可以经由信 道16接收经编码的视频数据。显示器装置32可以与目的地装置14集成或者可以在目的 地装置14外部。总地来说，显示器装置32显示经解码的视频数据。显示器装置32可以包 括多种显示器装置，例如液晶显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器 或另一类型的显示器装置。
[0041] 视频编码器20和视频解码器30可以根据视频压缩标准操作，例如目前正在 开发的高效视频译码（HEVC)标准，并且可以符合HEVC测试模型（HM)。布罗斯等人的 文档JCTVC-H1003 "高效率视频译码（HEVC)文本规范草案6 (High efficiency video coding (HEVC) text specification draft 6)"（ITU-T SG16 WP3 和 IS0/IEC JTC1/SC29/ WG11的视频译码联合合作小组（JCT-VC)，第8届会议，美国加州圣何塞市，2012年2月）中 描述了即将到来的HEVC标准的草案，称为（"HEVC工作草案6"或"WD6"），所述文档截至 2013年 2 月 21 日，可以从http://phenix. int_evry.fr/jct/doc_end_user/documents/8_ San % 20 Jose/wgl l/JCTVC-H1003-v22. zip下载，并且其整个内容以引用的方式并入本 文中。布罗斯等人的"高效率视频译码（HEVC)文本规范草案9(High efficiency video coding (HEVC) text specification draft 9)"（ITU-T SG16 WP3 和 IS0/IEC JTC1/SC29/ WG11的视频译码联合合作小组（JCT-VC)，第11届会议，中国上海，2012年10月）中描述了 即将到来的HEVC标准的另一份草案，称为（"HEVC工作草案9")，所述文档截至2013年2月 21 日，可以从 http://phenix. int-evry. fr/jct/doc_end_user/documents/ll_Shanghai/ wgll/JCTVC-K1003-v8. zip下载，并且其整个内容以引用的方式并入本文中。
[0042] 或者，视频编码器20和视频解码器30可以根据其它私有或行业标准操作，包含 ITU-T H. 261、IS0/IEC MPEG-1 Visual、ITU-T H. 262 或 IS0/IEC MPEG-2 Visual、ITU-T Η· 263、IS0/IEC MPEG-4 Visual 和 ITU-T Η· 264(也称为 IS0/IEC MPEG-4 AVC)，包含其可 缩放视频译码（SVC)和多视图视频译码（MVC)扩展部分。然而，本发明的技术不限于任何 特定的译码标准或技术。
[0043] 同样，图1只是一个实例，并且本发明的技术可以适用于视频译码设置（例如，视 频编码或视频解码），其不一定包含编码与解码装置之间的任何数据通信。在其它实例中， 数据是从本机存储器检索的，经由网络流式传输的等等。编码装置可以对数据进行编码并 且将数据存储到存储器，且/或解码装置可以从存储器检索数据并且对数据进行解码。在 许多实例中，编码和解码是由不彼此通信而只是将数据编码到存储器和/或从存储器检索 和解码数据的装置执行的。
[0044] 视频编码器20和视频解码器30各自可以实施为多种合适电路中的任一种，例 如一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵列 (FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分地是用软件实施的，那么装置可 以将用于软件的指令存储在合适的非暂时性计算机可读存储媒体中，并且可以使用一或多 个处理器在硬件中执行指令以执行本发明的技术。前述（包含硬件、软件、硬件与软件的组 合等）中的任一个都可以被视为一或多个处理器。视频编码器20和视频解码器30中的每 一个都可以包含在一或多个编码器或解码器中，其中的任一个可以作为组合编码器/解码 器（编解码器）的一部分集成在相应的装置中。
[0045] 本发明可总体上称视频编码器20向另一装置（例如视频解码器30) "发信号通 知"某一信息。术语"发信号通知"可以总体上指代传达语法元素和/或其它表示经编码的 视频数据的数据。此通信可以实时地或近实时地发生。或者，此通信可以在一段时间中发 生，例如在编码时在经编码的位流中将语法元素存储到计算机可读存储媒体时可能发生的 情况，所述语法元素在被存储到这个媒体之后的任何时间可以被解码装置检索。
[0046] 如上文简述的，视频编码器20对视频数据进行编码。视频数据可包括一或多个图 片。所述图片中的每一个可以是静态图像。在一些例子中，图片可以称为视频"帧"。视频 编码器20可以产生位流，所述位流包含形成视频数据的经译码的表示的位序列。视频数据 的经译码的表示可包含经译码的图片和相关联的数据。经译码的图片是图片的经译码的表 示。相关联的数据可以包含序列参数集（SPS)、图片参数集（PPS)和其它语法结构。SPS可 含有可应用于零或更多个图片序列的参数。PPS可含有可应用于零或更多个图片的参数。 语法结构可以是以指定次序一起存在于位流中的一组零或更多个语法元素。
[0047] 为了产生图片的经编码的表示，视频编码器20可以将图片分割成译码树块（CTB) 的网格。因此，每一 CTB可以与图片的一个区域相关联。在一些例子中，CTB可以称为"树 块"、"最大译码单元"（LCU)或"译码树单元"。HEVC的CTB可以大概类似于先前标准（例 如H. 264/AVC)中的宏块。然而，CTB不一定限于特定大小，并且可包含一或多个译码单元 (CU)。
[0048] CTB中的每一个可以与一个亮度（luma)样本块和两个色度（chroma)样本块相关 联，其对应于与CTB相关联的区域中的像素。为了便于解释，本发明可以将样本的二维阵列 称为样本块。视频编码器20可以使用四叉树分割将与CTB相关联的区域分割成与CU相关 联的区域，因此得来"译码树块"的名称。
[0049] 图片的CTB可以分组成一或多个切片。在一些实例中，切片中的每一个包含整数 个CTB。作为对图片进行编码的一部分，视频编码器20可以产生图片的每一切片的经编码 的表示（即，经译码的切片）。为了产生经译码的切片，视频编码器20可以对切片的每一 CTB进行编码，以产生切片的CTB中的每一个的经编码的表示（即，经译码的CTB)。
[0050] 为了产生经译码的CTB，视频编码器20可以对与CTB相关联的区域递归地执行四 叉树分割，以将所述区域划分成逐渐变小的区域。更小的区域可以与CU相关联。更小的区 域中的每一个可以与一个亮度样本块和两个色度样本块相关联。因此，CU可以与一个亮度 样本块和两个色度样本块相关联。经分割的CU可以是其区域被分割成与其它CU相关联的 区域的CU。未经分割的CU可以是其区域未被分割成与其它CU相关联的区域的CU。
[0051] 视频编码器20可以为每一未经分割的⑶产生一或多个预测单元（PU)。⑶的PU 中的每一个可以与CU的区域内的不同区域相关联。视频编码器20可以为CU的每一 PU产 生预测性样本块。
[0052] 视频编码器20可以使用帧内预测或帧间预测产生PU的预测性样本块。如果视频 编码器20使用帧内预测产生PU的预测性样本块，那么视频编码器20可以基于与PU相关 联的图片的经解码的样本产生PU的预测性样本块。如果视频编码器20使用帧间预测产生 PU的预测性样本块，那么视频编码器20可以基于除了与PU相关联的图片之外的一或多个 图片的经解码的样本产生PU的预测性样本块。
[0053] 视频编码器20可以基于⑶的PU的预测性样本块产生⑶的残余样本块。⑶的残 余样本块可以指示CU的PU的预测性样本块中的样本与CU的原始样本块中的对应样本之 间的差。
[0054] 此外，作为对未经分割的⑶进行编码的一部分，视频编码器20可以对⑶的残余 样本块执行递归四叉树分割，以将CU的残余样本块分割成与CU的变换单元（TU)相关联的 一或多个更小的残余样本块。因为CU的样本块可包含一个亮度样本块和两个色度样本块， 所以TU中的每一个可以与亮度样本的一个残余样本块和色度样本的两个残余样本块相关 联。
[0055] 视频译码器20可以对与TU相关联的残余样本块应用一或多个变换以产生系数块 (即，系数的块）。视频编码器20可以对系数块中的每一个执行量化过程。量化总体上是 指系数被量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。
[0056] 视频编码器20可以对这些语法元素中的至少一些应用熵编码操作，例如上下文 自适应二进制算术译码（CABAC)操作。除了对系数块的语法元素进行熵编码之外，视频编 码器20还可以对变换块应用逆量化和逆变换以从变换块重建残余样本块。视频编码器20 可以将经重建的残余样本块添加到来自一或多个预测性样本块的对应样本以产生经重建 的样本块。通过以此方式为⑶的每一 TU重建样本块，视频编码器20可以重建⑶的样本 块。
[0057] 在视频编码器20重建了⑶的样本块之后，视频编码器20可以执行解块操作以减 少与CU相关联的成块假象。在执行这些操作之后，视频编码器20可以将CU的经重建的样 本块存储在经解码图片缓冲器中，以用于产生用于其它CU的PU的预测性样本块。
[0058] 视频解码器30可以接收位流。位流可包含视频编码器20编码的视频数据的经译 码的表示。视频解码器30可剖析位流以从位流提取语法元素。作为从位流提取至少一些 语法元素的一部分，视频解码器30可以对位流中的数据进行熵解码。
[0059] 视频解码器30可以基于从位流提取的语法元素重建视频数据的图片。基于语法 元素重建视频数据的过程可以总体上与视频编码器20执行以产生语法元素的过程相反。 举例来说，视频解码器30可以基于与CU相关联的语法元素产生用于CU的PU的预测性样 本块。此外，视频解码器30可以对与CU的TU相关联的系数块进行逆量化。视频解码器30 可以对系数块执行逆变换以重建与CU的TU相关联的残余样本块。视频解码器30可以基 于预测性样本块和残余样本块重建CU的样本块。
[0060] 如上所述，视频编码器20可以产生残余样本块。残余样本块中的每一标本可以指 示样本块的原始版本与相同样本块的预测性版本中的对应样本之间的差。在产生残余样本 块之后，视频编码器20可以对残余样本块应用一或多个变换。通过对残余样本块应用一或 多个变换，视频编码器20可以将残余样本块从样本域转换到频率域。结果是变换系数的块 (即，"变换系数块"或"系数块"）。在一些实例中，变换的目的是将信号去除相关成不同的 频率分量。此外，在一些实例中，视频编码器20不对残余样本块应用变换。在此些实例中， 视频编码器20可以用与系数块相同的方式处理残余样本块。为了便于解释，本发明中对系 数块的论述可以适用于视频编码器20不对其应用一或多个变换的残余样本块。
[0061] 此外，如上所述，在产生系数块之后，视频编码器20可以对系数块的系数进行量 化。对系数进行量化可能会减小系数的位深度。量化是可以减少编码中的失真的过程。在 此之后，使用可变长度译码（例如CABAC)对经量化系数进行编码。在HEVC中，有用于量化 的两种技术。第一量化技术是使用死区的标量量化。第二量化技术是速率失真优化量化 (RD0Q)。
[0062] 在使用死区技术的标量量化中，视频编码器20使用下面的等式（1)将系数映射到 离散的经量化等级：
[0063]
【权利要求】
1. 一种对视频数据进行编码的方法，所述方法包括： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
2. 根据权利要求1所述的方法，其中，对于所述系数块中的每一相应位置，所述查找 表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ算法选择Level、 Level-1或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优经量化 值的频率，其中Level标示用于系数的初始经量化值。
3. 根据权利要求1所述的方法，其中所述查找表将系数位置映射到下面三个可能的量 化偏移值中的一个：1/2、1/3和1/6。
4. 根据权利要求1所述的方法，其中确定所述相应经量化等级包含以反向对角线扫描 次序确定用于所述相应系数的所述相应经量化等级。
5. 根据权利要求1所述的方法，其进一步包括： 至少部分地基于与所述相应经量化等级相关联的成本确定最优的最后有效系数；以及 至少部分地基于所述最优的最后有效系数对所述系数块的有效性图进行熵编码。
6. 根据权利要求5所述的方法，其中与所述经量化等级相关联的所述成本包含与选择 所述一或多个系数中的每一个作为最后有效系数相关联的速率失真成本。
7. 根据权利要求1所述的方法，其中确定所述相应经量化等级包括对于每一相应系数 计算：
其中z是用于所述相应系数的所述经量化等级，W是所述相应系数的初始值，f是用于 所述系数的所述量化偏移，△是量化步长，Η标示朝向负无穷大舍入到最近的整数，并且 sign()是返回所述相应系数的所述初始值的正负号的函数。
8. 根据权利要求1所述的方法，其进一步包括对残余样本块应用一或多个变换以便产 生所述系数块。
9. 根据权利要求1所述的方法，其进一步包括： 对用于在所述系数块内具有在最后有效系数在所述系数块内的位置之前的位置的所 述经量化等级进行熵编码；以及 输出包含所述经熵编码的经量化等级的位流。
10. -种对视频数据进行编码的计算装置，所述计算装置包括经配置以进行以下操作 的一或多个处理器： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
11. 根据权利要求10所述的计算装置，其中，对于所述系数块中的每一相应位置，所 述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ算法选择 LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优 经量化值的频率，其中Level标示用于系数的初始经量化值。
12. 根据权利要求10所述的计算装置，其中所述查找表将系数位置映射到下面三个可 能的量化偏移值中的一个：1/2、1/3和1/6。
13. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以用反向对角 线扫描次序确定用于所述相应系数的所述经量化等级。
14. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以： 至少部分地基于与所述相应经量化等级相关联的成本确定最优的最后有效系数；以及 至少部分地基于所述最优的最后有效系数对所述系数块的有效性图进行熵编码。
15. 根据权利要求14所述的计算装置，其中与所述相应经量化等级相关联的所述成本 包含与选择所述相应系数中的每一个作为最后有效系数相关联的速率失真成本。
16. 根据权利要求10所述的计算装置，其中一或多个处理器经配置以至少部分地通过 对于每一相应系数计算下式来确定所述相应经量化等级，
其中z是用于所述相应系数的所述经量化等级，W是所述相应系数的初始值，f是用于 所述系数的所述量化偏移，△是量化步长，卜』标示朝向负无穷大舍入到最近的整数，并且 sign()是返回所述相应系数的所述初始值的正负号的函数。
17. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以对残余样本 块应用一或多个变换以便产生系数块。
18. 根据权利要求10所述的计算装置，其中所述一或多个处理器进一步经配置以： 对用于在所述系数块内具有在最后有效系数在所述系数块内的位置之前的位置的所 述经量化等级进行熵编码；以及 输出包含所述经熵编码的经量化等级的位流。
19. 一种对视频数据进行编码的计算装置，所述计算装置包括： 用于使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应 量化偏移的装置；以及 用于至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所 述相应系数的相应经量化等级的装置。
20. 根据权利要求19所述的计算装置，其中，对于所述系数块中的每一相应位置，所 述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RD0Q算法选择 LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优 经量化值的频率，其中Level标示用于系数的初始经量化值。
21. -种存储指令的计算机可读存储媒体，所述指令当由计算装置的一或多个处理器 执行时配置所述计算装置以进行以下操作： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
22. 根据权利要求21所述的计算机可读存储媒体，其中，对于所述系数块中的每一相 应位置，所述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ 算法选择LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系 数的最优经量化值的频率，其中Level标示用于系数的初始经量化值。
23. -种方法，其包括： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
24. 根据权利要求23所述的方法，其中： 当所述视频编码器在所述全部帧内配置或所述随机存取配置中操作时，所述量化偏移 等于1/2， 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧内切片相关联时，所述 量化偏移等于1/2,并且 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧间切片相关联时，所述 量化偏移等于1/6。
25. -种包括经配置以进行以下操作的一或多个处理器的计算装置： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
26. 根据权利要求25所述的计算装置，其中： 当所述视频编码器在所述全部帧内配置或所述随机存取配置中操作时，所述量化偏移 等于1/2， 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧内切片相关联时，所述 量化偏移等于1/2,并且 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧间切片相关联时，所述 量化偏移等于1/6。
27. -种计算装置，其包括： 用于至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中 操作来确定量化偏移的装置；以及 用于至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级的装置。
28. -种存储指令的计算机可读存储媒体，所述指令在被执行时配置计算装置以进行 以下操作： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
【文档编号】H04N19/172GK104221377SQ201380019799
【公开日】2014年12月17日 申请日期:2013年3月14日 优先权日:2012年4月13日
【发明者】于洋, 穆罕默德·蔡德·科班, 马尔塔·卡切维奇 申请人:高通股份有限公司
【专利摘要】一种例如视频编码器等计算装置使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化偏移。此外，所述计算装置至少部分地基于用于一或多个系数的量化偏移确定用于所述相应系数的相应经量化等级。
【专利说明】用于速率失真优化量化的查找表
[0001] 本申请案要求2012年4月13日申请的第61/623,929号美国临时专利申请案、 2012年4月13日申请的第61/623, 948号美国临时专利申请案和2012年4月13日申请的 第61/624, 116号美国临时专利申请案的权益，所述美国临时专利申请案中的每一个的整 个内容以引用的方式并入本文中。
【技术领域】
[0002] 本发明涉及视频译码和压缩，并且具体来说涉及在视频译码中实施失真优化量 化。
【背景技术】
[0003] 数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直接广播系统、 无线广播系统、个人数字助理（PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线 电话（所谓的"智能手机"）、视频电话会议装置、视频流式传输装置等等。数字视频装置实 施视频压缩技术，例如在通过 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H264/MPEG-4 第 10 部 分、高级视频译码（AVC)、目前正在开发的高效视频译码（HEVC)标准和此些标准的扩展部 分所定义的标准中描述的视频压缩技术。通过实施此些视频压缩技术，视频装置可以更有 效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码，视频切片（即，视频帧或视频帧的一部 分）可以分割成视频块，这也可以称为树块、译码单元（CU)和/或译码节点。使用相对于 相同图片中的相邻块的参考样本的空间预测对图片的经帧内译码（I)的切片中的视频块 进行编码。图片的经帧间译码（P或B)的切片中的视频块可以使用相对于相同图片中的相 邻块的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可以 称为巾贞，并且参考图片可以称为参考中贞。
[0005] 空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量对经帧间译码 的块进行编码，并且残余数据指示经译码的块与预测性块之间的差。经帧内译码的块是根 据帧内译码模式和残余数据编码的。为了进一步压缩，可以将残余数据从像素域变换到变 换域，从而产生残余系数，接着可以对残余系数进行量化。可以扫描经量化系数（起初布置 成二维阵列），以便产生系数的一维向量，并且可以应用熵译码以实现甚至更大的压缩。
【发明内容】
[0006] 总地来说，本发明描述量化技术。在一些实例中，例如视频编码器等计算装置存储 查找表。所述查找表包含将系数块内的位置映射到量化偏移的条目。所述计算装置使用相 应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化偏移。此外，所述 计算装置至少部分地基于用于一或多个系数的量化偏移确定用于系数的经量化等级。
[0007] 在一个实例中，本发明描述一种对视频数据进行编码的方法。所述方法包括使用 相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化偏移。所述方法 还包括至少部分地基于用于一或多个相应系数的相应量化偏移来确定用于相应系数的相 应经量化等级。
[0008] 在另一实例中，本发明描述一种对视频数据进行编码的计算装置。所述计算装置 包括经配置以使用相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应 量化偏移的一或多个处理器。此外，所述一或多个处理器经配置以至少部分地基于用于一 或多个相应系数的相应量化偏移来确定用于相应系数的相应经量化等级。
[0009] 在另一实例中，本发明描述一种对视频数据进行编码的计算装置。所述计算装置 包括用于使用相应系数在系数块中的相应位置在查找表中查找用于相应系数的相应量化 偏移的装置。此外，所述计算装置还包括用于至少部分地基于用于一或多个相应系数的相 应量化偏移来确定用于相应系数的相应经量化等级的装置。
[0010] 在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被 计算装置的一或多个处理器执行时，配置所述计算装置以使用相应系数在系数块中的相应 位置在查找表中查找用于相应系数的相应量化偏移。所述指令还配置所述计算装置以至少 部分地基于用于一或多个相应系数的相应量化偏移来确定用于相应系数的相应经量化等 级。
[0011] 在另一实例中，本发明描述一种方法，其包括至少部分地基于视频编码器是在全 部帧内配置、随机存取配置还是低延迟配置中操作而确定量化偏移。所述方法还包括至少 部分地基于所述量化偏移来确定用于系数的相应经量化等级。
[0012] 在另一实例中，本发明描述一种包括一或多个处理器的计算装置，所述一或多个 处理器经配置以至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟 配置中操作而确定量化偏移。此外，所述一或多个处理器至少部分地基于所述量化偏移来 确定用于系数的相应经量化等级。
[0013] 在另一实例中，本发明描述一种计算装置，其包括用于至少部分地基于视频编码 器是在全部帧内配置、随机存取配置还是低延迟配置中操作而确定量化偏移的装置。此外， 所述计算装置包括用于至少部分地基于所述量化偏移来确定用于系数的相应经量化等级 的装置。
[0014] 在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被 执行时配置计算装置以至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是 低延迟配置中操作而确定量化偏移。此外，所述指令在被执行时配置所述计算装置以至少 部分地基于所述量化偏移来确定用于系数的相应经量化等级。
[0015] 附图和下面的描述中阐述本发明的一或多个实例的细节。通过描述、图式和权利 要求书，将明白其它特征、目的和优点。
【专利附图】
【附图说明】
[0016] 图1是说明可以利用本发明中描述的技术的实例视频译码系统的框图。
[0017] 图2是说明可以实施本发明中描述的技术的实例视频编码器的框图。
[0018] 图3是说明可以实施本发明中描述的技术的实例视频解码器的框图。
[0019] 图4是说明使用死区的标量量化的概念图。
[0020] 图5是说明量化偏移和等级决定的概念图。
[0021] 图6是说明根据本发明的一或多种技术对系数进行量化的实例操作的流程图。
[0022] 图7是说明根据本发明的一或多种技术对系数块的系数进行量化的实例操作的 流程图。
[0023] 图8是说明图7的操作的实例部分的流程图。
[0024] 图9是说明根据本发明的一或多种技术对系数块的系数进行量化的另一实例操 作的流程图。
[0025] 图10是说明根据本发明的一或多种技术对系数块的系数进行量化的另一实例操 作的流程图。
[0026] 图11是说明根据本发明的技术的另一实例编码操作的流程图。
[0027] 图12是说明根据本发明的技术的另一实例译码操作的流程图。
【具体实施方式】
[0028] 视频编码器可以在视频编码期间对系数进行量化。对系数进行量化可能会减小系 数的位深度。在高效视频译码（HEVC)中，视频编码器可以使用利用死区技术的标量量化或 使用速率失真优化量化（RD0Q)技术执行量化。RD0Q技术与使用死区技术的标量量化相比 可以实现显著的性能增益。然而，RD0Q技术比使用死区技术的标量量化明显更复杂。
[0029] 本发明的技术可以减小RD0Q技术的复杂度。举例来说，RD0Q可能会涉及确定系 数的经量化等级（Level)、Level_l和0)的速率失真（RD)成本。本发明的一些技术可以通 过只有在系数的计算出的值小于Level与量化步长值的乘积的情况下才确定系数的经量 化等级（Level)、Level-l和0的RD成本而减小RD0Q技术的复杂度。通过只有在满足这个 条件时才确定这些RD成本，可以减小执行RD0Q技术的复杂度。在另一实例中，本发明的一 些技术可以减小RD0Q技术的复杂度，因为实施这些技术的视频编码器可以在量化偏移查 找表中查找量化偏移，并且使用这些量化偏移对系数进行量化。通过在量化偏移查找表中 查找量化偏移，可能不必要确定每一系数的Level、Level-Ι和0的RD成本。消除Level、 Level-1和0的RD成本的确定，可以减小RD0Q技术的复杂度。在另一实例中，可以通过产 生一个视频编码器在计算RD0Q技术中的各种RD成本时可以使用的乘法表来减小RD0Q技 术的复杂度。
【专利附图】
【附图说明】 [0030] 了实例。附图中的参考标号所指示的元件对应于下面的描述中的相同参 考标号所指示的元件。在本发明中，具有用顺序词语（例如，"第一"、"第二"、"第三"等等） 开头的名称的元件不一定暗示所述元件具有特定的次序。实情为，此些顺序词语可能只是 用来指代相同或相似类型的不同元件。
[0031] 图1是说明可以利用本发明的技术的实例视频译码系统10的框图。如本文中所 述描述，术语"视频译码器"总体上是指视频编码器和视频解码器两者。在本发明中，术语 "视频译码"或"译码"可以总体上指代视频编码或视频解码。
[0032] 如图1所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生 经编码的视频数据。因此，源装置12可以称为视频编码装置或视频编码设备。目的地装置 14可以对源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以称为 视频解码装置或视频解码设备。源装置12和目的地装置14可以是视频译码装置或视频译 码设备的实例。源装置12和目的地装置14可以包括多种多样的装置，包含台式计算机、移 动计算装置、笔记本（例如，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如所谓 的"智能"电话）、电视机、相机、显示器装置、数字媒体播放器、视频游戏控制台、车载计算机 等等。
[0033] 目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可 以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体和/或 装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直 接发射到目的地装置14的一或多个通信媒体。在这个实例中，源装置12可以根据通信标 准（例如无线通信协议）调制经编码的视频数据，并且可以将经调制的视频数据发射到目 的地装置14。所述一或多个通信媒体可以包含无线和/或有线通信媒体，例如射频（RF)频 谱或一或多个物理传输线。所述一或多个通信媒体可以形成基于包的网络（例如，局域网、 广域网或全球网络（例如，因特网））的一部分。所述一或多个通信媒体可以包含路由器、 交换机、基站或其它便于从源装置12到目的地装置14的通信的设备。
[0034] 在另一实例中，信道16可以包含存储源装置12所产生的经编码的视频数据的存 储媒体。在这个实例中，目的地装置14可以经由磁盘存取或卡存取来存取存储媒体。所述 存储媒体可包含多种本机存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或 其它适合于存储经编码的视频数据的数字存储媒体。
[0035] 在另一实例中，信道16可包含文件服务器或另一存储源装置12所产生的经编码 的视频数据的中间存储装置。在这个实例中，目的地装置14可以经由流式传输或下载来存 取被存储在文件服务器或其它中间存储装置处的经编码的视频数据。所述文件服务器可以 是能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的类型的服 务器。实例文件服务器包含网络服务器（例如，用于网站）、文件传送协议（FTP)服务器、网 络附接存储（NAS)装置和本机磁盘驱动器。
[0036] 目的地装置14可以通过标准数据连接（例如因特网连接）存取经编码的视频数 据。数据连接的实例包含无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制解 调器等）或这两者的适合于存取被存储在文件服务器上的经编码的视频数据的组合。从文 件服务器发射经编码的视频数据可以是流式传输发射、下载发射或这两者的组合。
[0037] 本发明的技术不限于无线应用或设置。所述技术可以应用于支持多种多媒体应用 的视频译码，所述多媒体应用例如是空中电视广播、有线电视发射、卫星电视发射、流式传 输视频发射（例如，经由因特网）、对视频数据编码以用于存储在数据存储媒体上、对存储 在数据存储媒体上的视频数据的解码或其它应用。在一些实例中，视频译码系统10可以经 配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播和/或视 频电话等应用。
[0038] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些实例中，输出接口 22可包含调制器/解调器（调制解调器）和/或发射器。视频源18 可包含视频俘获装置，例如，摄像机、含有先前俘获的视频数据的视频档案、用以从视频内 容提供者接收视频数据的视频馈送接口和/或用于产生视频数据的计算机图形系统或此 些视频数据源的组合。
[0039] 视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置 12经由输出接口 22将经编码的视频数据发射到目的地装置14。经编码的视频数据还可存 储到存储媒体或文件服务器上以供目的地装置14稍后存取以便解码和/或回放。
[0040] 在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示器装置 32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可以经由信 道16接收经编码的视频数据。显示器装置32可以与目的地装置14集成或者可以在目的 地装置14外部。总地来说，显示器装置32显示经解码的视频数据。显示器装置32可以包 括多种显示器装置，例如液晶显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器 或另一类型的显示器装置。
[0041] 视频编码器20和视频解码器30可以根据视频压缩标准操作，例如目前正在 开发的高效视频译码（HEVC)标准，并且可以符合HEVC测试模型（HM)。布罗斯等人的 文档JCTVC-H1003 "高效率视频译码（HEVC)文本规范草案6 (High efficiency video coding (HEVC) text specification draft 6)"（ITU-T SG16 WP3 和 IS0/IEC JTC1/SC29/ WG11的视频译码联合合作小组（JCT-VC)，第8届会议，美国加州圣何塞市，2012年2月）中 描述了即将到来的HEVC标准的草案，称为（"HEVC工作草案6"或"WD6"），所述文档截至 2013年 2 月 21 日，可以从http://phenix. int_evry.fr/jct/doc_end_user/documents/8_ San % 20 Jose/wgl l/JCTVC-H1003-v22. zip下载，并且其整个内容以引用的方式并入本 文中。布罗斯等人的"高效率视频译码（HEVC)文本规范草案9(High efficiency video coding (HEVC) text specification draft 9)"（ITU-T SG16 WP3 和 IS0/IEC JTC1/SC29/ WG11的视频译码联合合作小组（JCT-VC)，第11届会议，中国上海，2012年10月）中描述了 即将到来的HEVC标准的另一份草案，称为（"HEVC工作草案9")，所述文档截至2013年2月 21 日，可以从 http://phenix. int-evry. fr/jct/doc_end_user/documents/ll_Shanghai/ wgll/JCTVC-K1003-v8. zip下载，并且其整个内容以引用的方式并入本文中。
[0042] 或者，视频编码器20和视频解码器30可以根据其它私有或行业标准操作，包含 ITU-T H. 261、IS0/IEC MPEG-1 Visual、ITU-T H. 262 或 IS0/IEC MPEG-2 Visual、ITU-T Η· 263、IS0/IEC MPEG-4 Visual 和 ITU-T Η· 264(也称为 IS0/IEC MPEG-4 AVC)，包含其可 缩放视频译码（SVC)和多视图视频译码（MVC)扩展部分。然而，本发明的技术不限于任何 特定的译码标准或技术。
[0043] 同样，图1只是一个实例，并且本发明的技术可以适用于视频译码设置（例如，视 频编码或视频解码），其不一定包含编码与解码装置之间的任何数据通信。在其它实例中， 数据是从本机存储器检索的，经由网络流式传输的等等。编码装置可以对数据进行编码并 且将数据存储到存储器，且/或解码装置可以从存储器检索数据并且对数据进行解码。在 许多实例中，编码和解码是由不彼此通信而只是将数据编码到存储器和/或从存储器检索 和解码数据的装置执行的。
[0044] 视频编码器20和视频解码器30各自可以实施为多种合适电路中的任一种，例 如一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵列 (FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分地是用软件实施的，那么装置可 以将用于软件的指令存储在合适的非暂时性计算机可读存储媒体中，并且可以使用一或多 个处理器在硬件中执行指令以执行本发明的技术。前述（包含硬件、软件、硬件与软件的组 合等）中的任一个都可以被视为一或多个处理器。视频编码器20和视频解码器30中的每 一个都可以包含在一或多个编码器或解码器中，其中的任一个可以作为组合编码器/解码 器（编解码器）的一部分集成在相应的装置中。
[0045] 本发明可总体上称视频编码器20向另一装置（例如视频解码器30) "发信号通 知"某一信息。术语"发信号通知"可以总体上指代传达语法元素和/或其它表示经编码的 视频数据的数据。此通信可以实时地或近实时地发生。或者，此通信可以在一段时间中发 生，例如在编码时在经编码的位流中将语法元素存储到计算机可读存储媒体时可能发生的 情况，所述语法元素在被存储到这个媒体之后的任何时间可以被解码装置检索。
[0046] 如上文简述的，视频编码器20对视频数据进行编码。视频数据可包括一或多个图 片。所述图片中的每一个可以是静态图像。在一些例子中，图片可以称为视频"帧"。视频 编码器20可以产生位流，所述位流包含形成视频数据的经译码的表示的位序列。视频数据 的经译码的表示可包含经译码的图片和相关联的数据。经译码的图片是图片的经译码的表 示。相关联的数据可以包含序列参数集（SPS)、图片参数集（PPS)和其它语法结构。SPS可 含有可应用于零或更多个图片序列的参数。PPS可含有可应用于零或更多个图片的参数。 语法结构可以是以指定次序一起存在于位流中的一组零或更多个语法元素。
[0047] 为了产生图片的经编码的表示，视频编码器20可以将图片分割成译码树块（CTB) 的网格。因此，每一 CTB可以与图片的一个区域相关联。在一些例子中，CTB可以称为"树 块"、"最大译码单元"（LCU)或"译码树单元"。HEVC的CTB可以大概类似于先前标准（例 如H. 264/AVC)中的宏块。然而，CTB不一定限于特定大小，并且可包含一或多个译码单元 (CU)。
[0048] CTB中的每一个可以与一个亮度（luma)样本块和两个色度（chroma)样本块相关 联，其对应于与CTB相关联的区域中的像素。为了便于解释，本发明可以将样本的二维阵列 称为样本块。视频编码器20可以使用四叉树分割将与CTB相关联的区域分割成与CU相关 联的区域，因此得来"译码树块"的名称。
[0049] 图片的CTB可以分组成一或多个切片。在一些实例中，切片中的每一个包含整数 个CTB。作为对图片进行编码的一部分，视频编码器20可以产生图片的每一切片的经编码 的表示（即，经译码的切片）。为了产生经译码的切片，视频编码器20可以对切片的每一 CTB进行编码，以产生切片的CTB中的每一个的经编码的表示（即，经译码的CTB)。
[0050] 为了产生经译码的CTB，视频编码器20可以对与CTB相关联的区域递归地执行四 叉树分割，以将所述区域划分成逐渐变小的区域。更小的区域可以与CU相关联。更小的区 域中的每一个可以与一个亮度样本块和两个色度样本块相关联。因此，CU可以与一个亮度 样本块和两个色度样本块相关联。经分割的CU可以是其区域被分割成与其它CU相关联的 区域的CU。未经分割的CU可以是其区域未被分割成与其它CU相关联的区域的CU。
[0051] 视频编码器20可以为每一未经分割的⑶产生一或多个预测单元（PU)。⑶的PU 中的每一个可以与CU的区域内的不同区域相关联。视频编码器20可以为CU的每一 PU产 生预测性样本块。
[0052] 视频编码器20可以使用帧内预测或帧间预测产生PU的预测性样本块。如果视频 编码器20使用帧内预测产生PU的预测性样本块，那么视频编码器20可以基于与PU相关 联的图片的经解码的样本产生PU的预测性样本块。如果视频编码器20使用帧间预测产生 PU的预测性样本块，那么视频编码器20可以基于除了与PU相关联的图片之外的一或多个 图片的经解码的样本产生PU的预测性样本块。
[0053] 视频编码器20可以基于⑶的PU的预测性样本块产生⑶的残余样本块。⑶的残 余样本块可以指示CU的PU的预测性样本块中的样本与CU的原始样本块中的对应样本之 间的差。
[0054] 此外，作为对未经分割的⑶进行编码的一部分，视频编码器20可以对⑶的残余 样本块执行递归四叉树分割，以将CU的残余样本块分割成与CU的变换单元（TU)相关联的 一或多个更小的残余样本块。因为CU的样本块可包含一个亮度样本块和两个色度样本块， 所以TU中的每一个可以与亮度样本的一个残余样本块和色度样本的两个残余样本块相关 联。
[0055] 视频译码器20可以对与TU相关联的残余样本块应用一或多个变换以产生系数块 (即，系数的块）。视频编码器20可以对系数块中的每一个执行量化过程。量化总体上是 指系数被量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。
[0056] 视频编码器20可以对这些语法元素中的至少一些应用熵编码操作，例如上下文 自适应二进制算术译码（CABAC)操作。除了对系数块的语法元素进行熵编码之外，视频编 码器20还可以对变换块应用逆量化和逆变换以从变换块重建残余样本块。视频编码器20 可以将经重建的残余样本块添加到来自一或多个预测性样本块的对应样本以产生经重建 的样本块。通过以此方式为⑶的每一 TU重建样本块，视频编码器20可以重建⑶的样本 块。
[0057] 在视频编码器20重建了⑶的样本块之后，视频编码器20可以执行解块操作以减 少与CU相关联的成块假象。在执行这些操作之后，视频编码器20可以将CU的经重建的样 本块存储在经解码图片缓冲器中，以用于产生用于其它CU的PU的预测性样本块。
[0058] 视频解码器30可以接收位流。位流可包含视频编码器20编码的视频数据的经译 码的表示。视频解码器30可剖析位流以从位流提取语法元素。作为从位流提取至少一些 语法元素的一部分，视频解码器30可以对位流中的数据进行熵解码。
[0059] 视频解码器30可以基于从位流提取的语法元素重建视频数据的图片。基于语法 元素重建视频数据的过程可以总体上与视频编码器20执行以产生语法元素的过程相反。 举例来说，视频解码器30可以基于与CU相关联的语法元素产生用于CU的PU的预测性样 本块。此外，视频解码器30可以对与CU的TU相关联的系数块进行逆量化。视频解码器30 可以对系数块执行逆变换以重建与CU的TU相关联的残余样本块。视频解码器30可以基 于预测性样本块和残余样本块重建CU的样本块。
[0060] 如上所述，视频编码器20可以产生残余样本块。残余样本块中的每一标本可以指 示样本块的原始版本与相同样本块的预测性版本中的对应样本之间的差。在产生残余样本 块之后，视频编码器20可以对残余样本块应用一或多个变换。通过对残余样本块应用一或 多个变换，视频编码器20可以将残余样本块从样本域转换到频率域。结果是变换系数的块 (即，"变换系数块"或"系数块"）。在一些实例中，变换的目的是将信号去除相关成不同的 频率分量。此外，在一些实例中，视频编码器20不对残余样本块应用变换。在此些实例中， 视频编码器20可以用与系数块相同的方式处理残余样本块。为了便于解释，本发明中对系 数块的论述可以适用于视频编码器20不对其应用一或多个变换的残余样本块。
[0061] 此外，如上所述，在产生系数块之后，视频编码器20可以对系数块的系数进行量 化。对系数进行量化可能会减小系数的位深度。量化是可以减少编码中的失真的过程。在 此之后，使用可变长度译码（例如CABAC)对经量化系数进行编码。在HEVC中，有用于量化 的两种技术。第一量化技术是使用死区的标量量化。第二量化技术是速率失真优化量化 (RD0Q)。
[0062] 在使用死区技术的标量量化中，视频编码器20使用下面的等式（1)将系数映射到 离散的经量化等级：
[0063]
【权利要求】
1. 一种对视频数据进行编码的方法，所述方法包括： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
2. 根据权利要求1所述的方法，其中，对于所述系数块中的每一相应位置，所述查找 表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ算法选择Level、 Level-1或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优经量化 值的频率，其中Level标示用于系数的初始经量化值。
3. 根据权利要求1所述的方法，其中所述查找表将系数位置映射到下面三个可能的量 化偏移值中的一个：1/2、1/3和1/6。
4. 根据权利要求1所述的方法，其中确定所述相应经量化等级包含以反向对角线扫描 次序确定用于所述相应系数的所述相应经量化等级。
5. 根据权利要求1所述的方法，其进一步包括： 至少部分地基于与所述相应经量化等级相关联的成本确定最优的最后有效系数；以及 至少部分地基于所述最优的最后有效系数对所述系数块的有效性图进行熵编码。
6. 根据权利要求5所述的方法，其中与所述经量化等级相关联的所述成本包含与选择 所述一或多个系数中的每一个作为最后有效系数相关联的速率失真成本。
7. 根据权利要求1所述的方法，其中确定所述相应经量化等级包括对于每一相应系数 计算：
其中z是用于所述相应系数的所述经量化等级，W是所述相应系数的初始值，f是用于 所述系数的所述量化偏移，△是量化步长，Η标示朝向负无穷大舍入到最近的整数，并且 sign()是返回所述相应系数的所述初始值的正负号的函数。
8. 根据权利要求1所述的方法，其进一步包括对残余样本块应用一或多个变换以便产 生所述系数块。
9. 根据权利要求1所述的方法，其进一步包括： 对用于在所述系数块内具有在最后有效系数在所述系数块内的位置之前的位置的所 述经量化等级进行熵编码；以及 输出包含所述经熵编码的经量化等级的位流。
10. -种对视频数据进行编码的计算装置，所述计算装置包括经配置以进行以下操作 的一或多个处理器： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
11. 根据权利要求10所述的计算装置，其中，对于所述系数块中的每一相应位置，所 述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ算法选择 LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优 经量化值的频率，其中Level标示用于系数的初始经量化值。
12. 根据权利要求10所述的计算装置，其中所述查找表将系数位置映射到下面三个可 能的量化偏移值中的一个：1/2、1/3和1/6。
13. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以用反向对角 线扫描次序确定用于所述相应系数的所述经量化等级。
14. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以： 至少部分地基于与所述相应经量化等级相关联的成本确定最优的最后有效系数；以及 至少部分地基于所述最优的最后有效系数对所述系数块的有效性图进行熵编码。
15. 根据权利要求14所述的计算装置，其中与所述相应经量化等级相关联的所述成本 包含与选择所述相应系数中的每一个作为最后有效系数相关联的速率失真成本。
16. 根据权利要求10所述的计算装置，其中一或多个处理器经配置以至少部分地通过 对于每一相应系数计算下式来确定所述相应经量化等级，
其中z是用于所述相应系数的所述经量化等级，W是所述相应系数的初始值，f是用于 所述系数的所述量化偏移，△是量化步长，卜』标示朝向负无穷大舍入到最近的整数，并且 sign()是返回所述相应系数的所述初始值的正负号的函数。
17. 根据权利要求10所述的计算装置，其中所述一或多个处理器经配置以对残余样本 块应用一或多个变换以便产生系数块。
18. 根据权利要求10所述的计算装置，其中所述一或多个处理器进一步经配置以： 对用于在所述系数块内具有在最后有效系数在所述系数块内的位置之前的位置的所 述经量化等级进行熵编码；以及 输出包含所述经熵编码的经量化等级的位流。
19. 一种对视频数据进行编码的计算装置，所述计算装置包括： 用于使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应 量化偏移的装置；以及 用于至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所 述相应系数的相应经量化等级的装置。
20. 根据权利要求19所述的计算装置，其中，对于所述系数块中的每一相应位置，所 述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RD0Q算法选择 LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系数的最优 经量化值的频率，其中Level标示用于系数的初始经量化值。
21. -种存储指令的计算机可读存储媒体，所述指令当由计算装置的一或多个处理器 执行时配置所述计算装置以进行以下操作： 使用相应系数在系数块中的相应位置在查找表中查找用于所述相应系数的相应量化 偏移；以及 至少部分地基于用于所述一或多个相应系数的所述相应量化偏移来确定用于所述相 应系数的相应经量化等级。
22. 根据权利要求21所述的计算机可读存储媒体，其中，对于所述系数块中的每一相 应位置，所述查找表中用于所述相应位置的条目至少部分地是基于速率失真优化量化RDOQ 算法选择LeveULevel-Ι或0作为用于位于其它测试数据系数块内的所述相应位置处的系 数的最优经量化值的频率，其中Level标示用于系数的初始经量化值。
23. -种方法，其包括： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
24. 根据权利要求23所述的方法，其中： 当所述视频编码器在所述全部帧内配置或所述随机存取配置中操作时，所述量化偏移 等于1/2， 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧内切片相关联时，所述 量化偏移等于1/2,并且 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧间切片相关联时，所述 量化偏移等于1/6。
25. -种包括经配置以进行以下操作的一或多个处理器的计算装置： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
26. 根据权利要求25所述的计算装置，其中： 当所述视频编码器在所述全部帧内配置或所述随机存取配置中操作时，所述量化偏移 等于1/2， 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧内切片相关联时，所述 量化偏移等于1/2,并且 当所述视频编码器在所述低延迟配置中操作并且所述系数与帧间切片相关联时，所述 量化偏移等于1/6。
27. -种计算装置，其包括： 用于至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中 操作来确定量化偏移的装置；以及 用于至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级的装置。
28. -种存储指令的计算机可读存储媒体，所述指令在被执行时配置计算装置以进行 以下操作： 至少部分地基于视频编码器是在全部帧内配置、随机存取配置还是低延迟配置中操作 来确定量化偏移；以及 至少部分地基于所述量化偏移来确定用于所述系数的相应经量化等级。
【文档编号】H04N19/172GK104221377SQ201380019799
【公开日】2014年12月17日 申请日期:2013年3月14日 优先权日:2012年4月13日
【发明者】于洋, 穆罕默德·蔡德·科班, 马尔塔·卡切维奇 申请人:高通股份有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1