用于视频译码的变换系数的译码的制作方法
【专利摘要】本发明描述对在视频译码过程中与残余视频数据块相关联的变换系数进行译码。本发明的各方面包含选择用于有效性图译码及层级译码两者的扫描次序，以及选择与所述选定扫描次序一致的熵译码的上下文。本发明提出对所述扫描次序进行协调以对所述变换系数的所述有效性图进行译码以及对所述变换系数的所述层级进行译码。提出用于所述有效性图的所述扫描次序应在逆方向上(即，从较高频率到较低频率)。本发明还提出以子集而不是固定子块来扫描变换系数。明确地说，根据所述扫描次序以由许多连续系数组成的子集来扫描变换系数。
【专利说明】用于视频译码的变换系数的译码
[0001]本申请案主张2011年8月5日申请的第61 / 515，711号美国临时申请案的权益，且是2012年3月6日申请的第13 / 413,497号美国申请案接续部分，所述两个申请案以全文引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码，且更明确地说涉及用于对通过视频译码过程产生的变换系数进行扫描及译码的技术。
【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似装置。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264 / MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展部分定义的标准中描述的技术，以便更有效率地发射、接收及存储数字视频信息。
[0004]视频压缩技术包含空间预测及/或时间预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，一视频帧或切片可以分割成块。每一块可被进一步分割。使用相对于相同帧或切片中的相邻块中的参考样本的空间预测对经帧内译码(I)帧或切片中的块进行编码。经帧间译码(P或B)帧或切片中的块可使用相对于相同帧或切片中的相邻块中的参考样本的空间预测，或相对于其它参考帧中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。
[0005]经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而被编码。经帧内译码块是根据帧内译码模式及残余数据而被编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可以特定次序扫描起初布置在二维阵列中的经量化变换系数以产生变换系数的一维向量用于熵译码。
【发明内容】
[0006]总的来说，本发明描述用于对在视频译码过程中与残余视频数据块相关联的变换系数进行译码的装置及方法。本发明中描述的技术、结构及方法可适用于使用熵译码(例如，上下文自适应二进制算术译码(CABAC))对与变换系数相关的语法元素进行译码的视频译码过程。本发明的各方面包含针对变换系数选择用于有效性译码以及层级及正负号译码两者的扫描次序，以及选择与选定扫描次序一致的熵译码的上下文。本发明的技术、结构及方法可适用于在视频编码器及视频解码器两者使用。[0007]本发明提出对变换系数的有效性图进行译码以及对变换系数的层级进行译码的扫描次序的协调。也就是说，在一些实例中，用于有效性图及层级译码的扫描次序应具有相同模式及方向。在另一实例中，提出用于有效性图的扫描次序应在逆方向上(即，从较高频率的系数到较低频率的系数)。在又一实例中，提出用于有效性图及层级译码的扫描次序应经过协调，从而使得每一者在逆方向上进行。
[0008]本发明还提出，在一些实例中，在子集中扫描变换系数。明确地说，根据扫描次序在由多个连续系数组成的子集中扫描变换系数。这些子集可适用于有效性图扫描以及系数层级扫描两者。
[0009]此外，本发明提出，在一些实例中，以连续扫描且根据相同扫描次序执行有效性图及系数层级扫描。在一个方面中，所述扫描次序是逆扫描次序。连续扫描可包括若干扫描回合。每一扫描回合可包括一语法元素扫描回合。举例来说，第一扫描是有效性图扫描(也称为变换系数的层级的二进位0)，第二扫描是对每一子集中的变换系数的层级的二进位I (即，具有大于I的层级的变换系数)的扫描，第三扫描可以是对每一子集中的变换系数的层级的二进位2(即，具有大于2的层级的变换系数)的扫描，第四扫描是对变换系数的层级的其余二进位(即，大于2的其余层级)的扫描，并且第五扫描是对变换系数的层级的正负号(即，正号或负号)的扫描。所述正负号回合可能在有效性图回合之后的任何点处。此外，通过每个回合译码一种以上语法元素可以减少扫描回合的数目。举例来说，可存在用于使用经译码二进位的语法元素的一个扫描回合，且用于使用旁路二进位(例如，其余的层级及正负号)的语法元素的第二扫描回合。在此上下文中，二进位是经熵译码的二进位串的一部分。将给定非二进制值的语法元素映射到二进制序列(所谓的二进位串)。
[0010]本发明还提出，在一些实例中，在两个不同上下文区域中使用CABAC对变换系数进行熵译码。第一上下文区域的上下文推导取决于变换系数的位置，而第二区域的上下文推导取决于变换系数的因果相邻者。在另一实例中，第二上下文区域可使用两个不同上下文模型，这取决于变换系数的位置。
[0011]在本发明的一个实例中，提出对在视频译码过程中与残余视频数据相关联的变换系数进行译码的方法。所述方法包括基于扫描次序将变换系数块布置成变换系数的一个或一个以上子集，对每一子集中的变换系数的层级的第一部分进行译码，其中层级的所述第一部分至少包含每一子集中的变换系数的有效性，并且对每一子集中的变换系数的层级的第二部分进行译码。
[0012]在本发明的另一实例中，提出一种用于对在视频译码过程中与残余视频数据相关联的多个变换系数进行译码的系统。所述系统包括视频译码单元，其经配置以基于扫描次序将变换系数块布置成变换系数的一个或一个以上子集，对每一子集中的变换系数的层级的第一部分进行译码，其中层级的所述第一部分至少包含每一子集中的变换系数的有效性，并且对每一子集中的变换系数的层级的第二部分进行译码。
[0013]在本发明的另一实例中，提出一种用于对在视频译码过程中与残余视频数据相关联的多个变换系数进行译码的系统。所述系统包括用于基于扫描次序将变换系数块布置成变换系数的一个或一个以上子集的装置，用于对每一子集中的变换系数的层级的第一部分进行译码的装置，其中层级的所述第一部分至少包含每一子集中的变换系数的有效性，以及用于对每一子集中的变换系数的层级的第二部分进行译码的装置。[0014]在本发明的另一实例中，一种计算机程序产品包括上面存储有指令的计算机可读存储媒体，所述指令在执行时致使用于对在视频译码过程中与残余视频数据相关联的变换系数进行译码的装置的处理器进行以下操作:基于扫描次序将变换系数块布置成变换系数的一个或一个以上子集，对每一子集中的变换系数的层级的第一部分进行译码，其中层级的所述第一部分至少包含每一子集中的变换系数的有效性，并且对每一子集中的变换系数的层级的第二部分进行译码。
[0015]在本发明的另一实例中，一种对在视频译码过程中与残余视频数据相关联的变换系数进行译码的方法包括:在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码；在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
[0016]在本发明的另一实例中，一种用于对与残余视频数据相关联的变换系数进行译码的设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以:在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码；在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
[0017]在本发明的另一实例中，一种用于对与残余视频数据相关联的变换系数进行译码的设备包括:用于在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码的装置；用于在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码的装置，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及用于在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码的装置，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
[0018]在本发明的另一实例中，一种非暂时性计算机可读存储媒体具有存储于其上的指令，所述指令在被执行时致使一个或一个以上处理器:在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码；在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
[0019]一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图及从权利要求书中显而易见。
【专利附图】
【附图说明】
[0020]图1是图解说明有效性图译码过程的概念图。
[0021]图2是图解说明用于有效性图译码的扫描模式及方向的概念图。
[0022]图3是图解说明用于变换单元的层级译码的扫描技术的概念图。
[0023]图4是图解说明实例视频译码系统的框图。
[0024]图5是图解说明实例视频编码器的框图。
[0025]图6是图解说明用于有效性图及系数层级译码的逆扫描次序的概念图。
[0026]图7是图解说明根据逆对角线扫描次序而扫描的变换系数的第一子集的概念图。
[0027]图8是图解说明根据逆水平扫描次序而扫描的变换系数的第一子集的概念图。
[0028]图9是图解说明根据逆垂直扫描次序而扫描的变换系数的第一子集的概念图。
[0029]图10是图解说明用于有效性图译码的上下文区域的概念图。
[0030]图11是图解说明用于使用逆扫描次序的有效性图译码的实例上下文区域的概念图。
[0031]图12是图解说明用于使用正向扫描次序的熵译码的实例因果相邻者的概念图。
[0032]图13是图解说明用于使用逆扫描次序的熵译码的实例因果相邻者的概念图。
[0033]图14是图解说明用于使用逆扫描次序的熵译码的实例上下文区域的概念图。
[0034]图15是图解说明用于使用逆扫描次序的熵译码的实例因果相邻者的概念图。
[0035]图16是图解说明用于使用逆扫描次序的CABAC的上下文区域的另一实例的概念图。
[0036]图17是图解说明用于使用逆扫描次序的CABAC的上下文区域的另一实例的概念图。
[0037]图18是图解说明用于使用逆扫描次序的CABAC的上下文区域的另一实例的概念图。
[0038]图19是图解说明实例熵译码单元的框图。
[0039]图20是图解说明实例视频解码器的框图。
[0040]图21是图解说明实例熵解码单元的框图。
[0041]图22是图解说明用于使用经协调扫描次序的有效性图及系数层级扫描的实例过程的流程图。
[0042]图23是图解说明用于有效性图及系数层级扫描及熵译码上下文推导的实例过程的流程图。[0043]图24是图解说明用于有效性图及系数层级扫描及熵译码上下文推导的另一实例过程的流程图。
[0044]图25是图解说明用于有效性图及系数层级扫描及熵译码上下文推导的另一实例过程的流程图。
[0045]图26是图解说明用于使用逆扫描方向的有效性图译码的实例过程的流程图。
[0046]图27是图解说明用于根据变换系数子集的有效性图及系数层级扫描的实例过程的流程图。
[0047]图28是图解说明用于根据变换系数子集的有效性图及系数层级扫描的另一实例过程的流程图。
[0048]图29是图解说明用于根据变换系数子集的有效性图及系数层级扫描的另一实例过程的流程图。
[0049]图30是图解说明用于使用多个区域的熵译码的实例过程的流程图。
[0050]图31是说明用于对与残余视频数据相关联的变换系数进行译码的二进位的实例性排序的概念图。
[0051]图32是说明用于对与残余视频数据相关联的变换系数进行译码的二进位的实例性排序和分组的概念图。
[0052]图33是说明用于对与残余视频数据相关联的变换系数进行译码的实例性视频译码过程的流程图。
【具体实施方式】
[0053]数字视频装置实施视频压缩技术以更有效率地发射及接收数字视频信息。视频压缩过程可以应用空间(帧内)预测及/或时间(帧间)预测技术来减少或移除视频序列中固有的冗余。
[0054]作为一个实例，对于根据视频译码联合协作组(JCT-VC)当前正在开发的高效率视频译码01EVC)标准的视频译码，可以将视频帧分割成译码单元。HEVC的最新工作草案(WD)(且在下文被称作 HEVC WD7)可从 http: / / phenix.1nt_evry.fr/jct / doc_end_user / documents / 9_Geneva / wgll / JCTVC-11003_v5.zip 处得到，其中更近的版本可从 http: / / phenix.1nt_evry.fr/jct / doc_end_user / documents / 9_Geneva /wgll / JCTVC-11003-v6.zip处得到，这两者在此以引用的方式并入，如同在本文中对其全文进行了陈述一般。
[0055]根据HEVC，译码单元一般是指充当基本单元的图像区域，各种译码工具被应用于所述基本单元以进行视频压缩。译码单元通常是正方形的(但不必如此)，并且可以被认为是类似于所谓的宏块，例如，根据例如ITU-H.264等其它视频译码标准。在本申请案中出于说明的目的将描述根据正在开发的ffiVC标准的一些所提出的方面的译码。然而，本发明中描述的技术可以用于其它视频译码过程，例如根据H.264或其它标准定义的视频译码过程或专有视频译码过程。
[0056]为了实现合意的译码效率，译码单元(CU)可以具有取决于视频内容的可变大小。另外，译码单元可以分裂成较小块用于进行预测或变换。明确地说，每一译码单元可以进一步被分割成预测单元(PU)及变换单元(TU)。预测单元可以被认为是类似于根据例如H.264标准等其它视频译码标准的所谓的分区。变换单元(TU) —般是指残余数据块，变换被应用于所述残余数据块以产生变换系数。
[0057]译码单元通常具有一个亮度分量(表示为Y)及两个色度分量(表示为U及V)。取决于视频取样格式，就样本数目而言，U及V分量的大小可以与Y分量的大小相同或不同。
[0058]为了对块(例如，视频数据的预测单元)进行译码，首先推导用于所述块的预测符。所述预测符(还称为预测性块)可以通过帧内(I)预测(即，空间预测)或帧间(P或B)预测(即，时间预测)来推导。因此，可以使用相对于相同帧(或切片)中的相邻参考块中的参考样本的空间预测对一些预测单元进行帧内译码(I)，并且可以相对于其它先前经译码帧(或切片)中的参考样本块对其它预测单元进行单向帧间译码(P)或双向帧间译码(B)。在每一情况下，参考样本均可用于形成用于待译码块的预测性块。
[0059]在识别出预测性块后，即刻确定原始视频数据块与其预测性块之间的差。这个差可被称为预测残余数据，并且指示所述块中的像素值与被选择为表示经译码块的预测性块中的经译码及像素值之间的像素差。为了实现更好的压缩，可以例如使用离散余弦变换(DCT)、整数变换、卡忽南-拉维(K-L)变换或另一变换对预测残余数据进行变换。
[0060]变换块(例如TU)中的残余数据可以布置在驻存在空间像素域中的像素差值的二维(2D)阵列中。变换将残余像素值转换成变换域(例如频域)中的变换系数的二维阵列。为了进一步压缩，可以在熵译码之前对变换系数进行量化。熵译码器接着对经量化变换系数应用熵译码，例如上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、概率区间分割熵译码(PIPE)等。
[0061]为了对经量化变换系数块进行熵译码，通常执行扫描过程，以便在经排序的一维(ID)阵列(即，变换系数的向量)中根据特定扫描次序来处理块中的经量化变换系数的二维(2D)阵列。用变换系数的1-D次序应用熵译码。对变换单元中的经量化变换系数的扫描将熵译码器的变换系数的2D阵列串行化。可以产生有效性图以指示有效(即，非零)系数的位置。可以应用扫描以扫描有效(即，非零)系数的层级及/或对有效系数的正负号进行译码。
[0062]作为一实例，对于DCT，朝向2D变换单元的左上角(即，低频区域)的非零系数的概率常常更高。可能需要用增加将非零系数在系数的串行化行程的一端处分组在一起的概率的方式扫描所述系数，从而准许朝向串行化向量的另一端将零值系数分组在一起，并且将零值系数更有效率地译码成零行程。因为这个原因，扫描次序对于有效熵译码来说可能
较重要。
[0063]作为一个实例，在HEVC标准中已采用所谓的对角线(或波前)扫描次序来用于扫描经量化的变换系数。替代地，可以使用z字形、水平、垂直或其它扫描次序。如上文所提及，对于变换是DCT的实例，通过变换及量化，非零变换系数一般位于朝向块的左上方区域的低频区域处。因此，在对角线扫描过程(所述过程可能首先横越左上方区域)之后，非零变换系数通常更可能位于扫描的前面部分中。对于首先从右下方区域横越的对角线扫描过程，非零变换系数通常更有可能位于扫描的后面部分中。
[0064]多个零值系数通常将在扫描的一端处被分组在一起(这取决于扫描方向)，这是因为在较高频率下能量减少，并且是因为量化的影响，量化可能致使一些非零系数在位深度减小后即刻变为零值系数。在熵译码器设计中可以利用串行化ID阵列中的系数分布的这些特性来改进译码效率。换句话说，如果非零系数可以通过某种适当的扫描次序而有效布置在ID阵列的一个部分中，那么归因于许多熵译码器的设计，可以预期更好的译码效率。
[0065]为了实现将更多非零系数放置在ID阵列的一端处的这个目标，可以在视频编码器-解码器(编解码器)中使用不同扫描次序来对变换系数进行译码。在一些情况下，对角线扫描可能是有效的。在其它情况下，例如z字形、垂直或水平扫描等不同类型的扫描可能更加有效。
[0066]可以用各种方法来产生不同的扫描次序。一个实例是，对于变换系数的每一块，可以从多个可用的扫描次序中选出“最佳”扫描次序。视频编码器接着可以针对每一块向解码器提供对通过相应索引表示的一组扫描次序当中的最佳扫描次序的索引的指示。通过应用若干扫描次序并且选择在将非零系数放置在ID向量的开头或结尾附近方面最有效的一个扫描次序，可以确定最佳扫描次序的选择，由此促进有效的熵译码。
[0067]在另一实例中，可以基于与相关预测单元的译码有关的各种因素来确定用于当前块的扫描次序，所述因素例如是预测模式(1、B、P)、块大小、变换或其它因素。在一些情况下，因为可以在编码器及解码器两侧推断相同信息(例如预测模式)，所以可能不需要向解码器提供对扫描次序索引的指示。而是，视频解码器可以存储配置数据，所述配置数据指示在了解用于块的预测模式及将预测模式映射到特定扫描次序的一个或一个以上准则的情况下的适当扫描次序。
[0068]为了进一步改进译码效率，可用的扫描次序可能并不是一直不变。而是，可以启用某种调适，以便例如基于已经译码的系数来自适应地调整扫描次序。总的来说，可以用使得根据选定扫描次序、零及非零系数更有可能被分组在一起的方式来进行扫描次序调适。
[0069]在一些视频编解码器中，初始可用扫描次序可以采用非常常规的形式，例如完全水平、垂直、对角线或z字形扫描。替代地，可以通过训练过程来推导扫描次序，并且因而所述扫描次序可能看起来有些随机。所述训练过程可能涉及向块或若干系列块应用不同扫描次序以识别产生合意的结果的扫描次序(例如如上文所提及，在非零及零值系数的有效放置方面)。
[0070]如果从训练过程推导扫描次序，或者如果可以选择多种不同的扫描次序，那么可能在编码器及解码器两侧保存特定扫描次序是有益的。指定此类扫描次序的数据量可相当大。举例来说，对于32X32变换块，一个扫描次序可能含有1024个变换系数位置。因为可能存在不同大小的块并且对于每一大小的变换块可能存在多个不同扫描次序，所以需要保存的数据的总量不可小视。例如对角线、水平、垂直或z字形次序等常规扫描次序可能不需要存储，或者可能需要最少的存储。然而，对角线、水平、垂直或z字形次序可能无法提供充足的种类来提供与被训练的扫描次序同等的译码性能。
[0071]在一个实例中，对于目前正在开发的H.264及HEVC标准，当使用CABAC熵译码器时，在系数层级之前对变换块(即，HEVC中的变换单元)中的有效系数(即，非零变换系数)的位置进行编码。对有效系数位置的译码过程称为有效性图译码。系数的有效性与系数层级的二进位0相同。如图1中所示，经量化变换系数11的有效性图译码产生有效性图13。有效性图13是I及0的图，其中I指示有效系数的位置。有效性图通常需要视频位速率的高百分比。本发明的技术还可适于与其它熵译码器(例如，PIPE) —起使用。[0072]D.马普(D.Marpe)、H.施华兹(H.Schwarz)及 T.维根(T.ffiegand)的“H.264 /AVC视频压缩标准中的基于上下文的自适应二进制算术译码(Context-Based AdaptiveBinary Arithmetic Coding in the H.264 / AVC Video Compression Standard)，’(《IEEE视频技术电路与系统期刊》(IEEE Trans.Circuits and Systems for Video Technology),2003年7月，第7期，第13卷)中描述了用于对有效性图进行译码的实例过程。在此过程中，如果如经译码块旗标(CBF)所指示在块中存在至少一个有效系数，则对有效性图进行译码，上述情况被定义为:
[0073]经译码块旗标:coded_block_flag是一位符号，其指示在单一变换系数块内部是否存在有效(即，非零)系数，针对所述块，经译码块模式指示非零条目。如果COded_blOCk_flag是零，则不针对相关块发射进一步的信息。
[0074]如果所述块中存在有效系数，则通过如下遵照所述块中的变换系数的扫描次序对有效性图进行编码:
[0075]对变换系数的扫描:首先使用给定扫描模式将coded_block_flag针对其指示非零条目的子块的变换系数层级的二维阵列映射成一维列表。换句话说，根据扫描模式扫描具有有效系数的子块。
[0076]在给定扫描模式的情况下，如下扫描有效性图:
[0077]有效性图:如果coded_block_flag指示一个块具有有效系数，则对二进制值的有效性图进行编码。针对扫描次序中的每一变换系数，发射一位符号significant_coeff_flag。如果significant_coeff_flag符号是一，即，如果在这个扫描位置存在非零系数,贝Ij发送另一个一位符号last_significant_coeff_flag。这个符号指示当前有效系数是不是所述块内部的最后一个有效系数，或者后面是否跟着其它有效系数。如果到达最后一个扫描位置，并且有效性图编码尚未以值为一的last_significant_coeff_flag终止,则显然最后一个系数必须是有效的。
[0078]近来关于HEVC的提议已经移除了 last_significant_coeff旗标。在这些提议中，在发送有效性图之前，先发送对最后一个有效系数的位置的X及Y位置的指示。
[0079]当前，在HEVC的一个提议中，提出对有效性图使用三种扫描模式:对角线、垂直及水平。图2展示了 z字形扫描17、垂直扫描19、水平扫描21及对角线扫描15的实例。如图2中所示，这些扫描中的每一者在正向方向上进行，即，从变换块左上角的较低频率变换系数到变换块右下角的较高频率变换系数。在对有效性图进行译码之后，对每一有效变换系数(即，系数值)的其余的层级信息(二进位1-N，其中N是二进位的总数)进行译码。
[0080]在先前在H.264标准中指定的CABAC过程中，在处置了 4X4子块之后，例如根据一元代码将变换系数层级中的每一者二进制化，以产生一系列二进位。在H.264中，用于每一子块的CABAC上下文模型集合是由二乘五个上下文模型组成，其中有五个模型用于coeff_abs_level_minus_one语法元素的第一个二进位及所有其余二进位(高达并且包含第14个二进位)，所述语法元素对变换系数的绝对值进行编码。值得注意的是，在HEVC的一个所提议的版本中，其余的二进位仅包含二进位I及二进位2。其余的系数层级是用哥伦布-莱斯(Golomb-Rice)译码及指数哥伦布(Golomb)代码来旁路译码。旁路译码针对经旁路译码的二进位而绕过CABAC译码引擎。
[0081]在HEVC中，可以像在H.264标准中提出的原始CABAC过程中一样执行上下文模型的选择。然而，可以针对不同子块选择上下文模型的不同集合。明确地说，针对给定子块的上下文模型集合的选择取决于先前经译码的子块的某些统计数据。
[0082]图3展示HEVC过程的一个所提出的版本在对变换单元25中的变换系数的层级(层级的绝对值及层级的正负号)进行编码时所遵照的扫描次序。应注意，存在用于扫描较大块的4X 4子块的正向z字形模式27，及用于扫描每一子块内的变换系数层级的逆z字形模式23。换句话说,在正向z字形模式中扫描一系列4X4子块,从而以一序列扫描所述子块。然后，在每一子块内，执行逆z字形扫描来扫描子块内的变换系数的层级。因此，将变换单元形成的二维阵列中的变换系数串行化成一维阵列，使得给定子块中被逆扫描的系数后面接着是在相继子块中被逆扫描的系数。
[0083]在一个实例中，根据图3中展示的子块扫描方法扫描的系数的CABAC译码可以使用60种上下文，即，10种上下文的6个集合，每一者如下文所描述而分布。对于4X4块，如表1中所示，可以使用10种上下文模型(5种模型用于二进位1，且5种模型用于二进位2到 14):
【权利要求】
1.一种对在视频译码过程中与残余视频数据相关联的变换系数进行译码的方法，所述方法包括: 在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码； 在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及 在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
2.根据权利要求1所述的方法，其中所述第一模式是上下文自适应二进制算术译码CABAC过程的常规模式，且所述第二模式是所述CABAC过程的旁路模式。
3.根据权利要求1所述的方法，其中所述CABAC过程的所述常规模式使用自适应上下文模型对二进位进行译码，且所述CABAC过程的所述旁路模式使用固定概率对二进位进行译码。
4.根据权利要求1所述的方法，其中所述第一组二进位包含所述组变换系数中的所述变换系数的系数层级的第一二进位和第二二进位，且所述第二组二进位包含所述组变换系数中的所述变换系数的其余系数层级的二进位。
5.根据权利要求1所述的方法，其中所述第二组二进位包含所述组变换系数中的所述变换系数的所述系数层 级的正负号的二进位。
6.根据权利要求1所述的方法，其中所述组变换系数对应于变换单元TU中的整组变换系数。
7.根据权利要求1所述的方法，其中所述组变换系数对应于包括少于变换单元TU中的全部整组变换系数的子集。
8.根据权利要求7所述的方法，其进一步包括重复对所述TU中的多个变换系数子集中的每一者的所述译码，其中每一子集包括少于所述TU中的全部所述整组变换系数。
9.根据权利要求7所述的方法，其中所述子集中的每一者包括所述扫描次序中的十六个连续系数。
10.根据权利要求7所述的方法，其中所述子集中的每一者包括所述扫描次序中的变换系数的子块。
11.根据权利要求7所述的方法，其中对所述变换系数的有效性进行译码包括根据扫描次序对有效性进行译码，且对所述第一组和第二组一个或一个以上二进位进行译码包括根据所述扫描次序对所述第一组和第二组一个或一个以上二进位进行译码。
12.根据权利要求7所述的方法，其中: 对信息的所述第一组一个或一个以上二进位进行译码包括对所述变换系数的所述层级的第一二进位和第二二进位进行译码；以及 对信息的所述第二组一个或一个以上二进位进行译码包括对所述变换系数的所述层级的其余二进位以及所述变换系数的所述层级的正负号进行译码。
13.根据权利要求1所述的方法，其中译码包括编码，且其中编码包括将表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息包含在经编码位流中。
14.根据权利要求1所述的方法，其中译码包括解码，且其中解码包括接收经编码位流中的表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息。
15.根据权利要求14所述的方法，其中解码进一步包括: 从表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的所述信息确定视频数据块的变换系数； 将逆变换应用于所述所确定的变换系数以产生残余视频数据块；以及 将所述残余视频数据块与预测性视频数据块进行组合以形成经重构视频数据块。
16.一种用于对与残余视频数据相关联的变换系数进行译码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以: 在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码； 在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及· 在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
17.根据权利要求16所述的设备，其中所述第一模式是上下文自适应二进制算术译码CABAC过程的常规模式，且所述第二模式是所述CABAC过程的旁路模式。
18.根据权利要求16所述的设备，其中所述CABAC过程的所述常规模式使用自适应上下文模型对二进位进行译码，且所述CABAC过程的所述旁路模式使用固定概率对二进位进行译码。
19.根据权利要求16所述的设备，其中所述第一组二进位包含所述组变换系数中的所述变换系数的系数层级的第一二进位和第二二进位，且所述第二组二进位包含所述组变换系数中的所述变换系数的其余系数层级的二进位。
20.根据权利要求16所述的设备，其中所述第二组二进位包含所述组变换系数中的所述变换系数的所述系数层级的正负号的二进位。
21.根据权利要求16所述的设备，其中所述组变换系数对应于变换单元TU中的整组变换系数。
22.根据权利要求16所述的设备，其中所述组变换系数对应于包括少于变换单元TU中的全部整组变换系数的子集。
23.根据权利要求22所述的设备，其中所述一个或一个以上处理器进一步经配置以重复对所述TU中的多个变换系数子集中的每一者的所述译码，其中每一子集包括少于所述TU中的全部所述整组变换系数。
24.根据权利要求22所述的设备，其中所述子集中的每一者包括所述扫描次序中的十六个连续系数。
25.根据权利要求22所述的设备，其中所述子集中的每一者包括所述扫描次序中的变换系数的子块。
26.根据权利要求22所述的设备，其中为了对所述变换系数的有效性进行译码，所述一个或一个以上处理器经配置以根据扫描次序对有效性进行译码，且为了对所述第一组和第二组一个或一个以上二进位进行译码，所述一个或一个以上处理器经配置以根据所述扫描次序对所述第一组和第二组一个或一个以上二进位进行译码。
27.根据权利要求22所述的设备，其中: 为了对信息的所述第一组一个或一个以上二进位进行译码，所述一个或一个以上处理器经配置以对所述变换系数的所述层级的第一二进位和第二二进位进行译码；且 为了对信息的所述第二组一个或一个以上二进位进行译码，所述一个或一个以上处理器经配置以对所述变换系数的所述层级的其余二进位以及所述变换系数的所述层级的正负号进行译码。
28.根据权利要求16所述的设备，其中为了译码，所述一个或一个以上处理器经配置以进行编码，且其中编码包括将表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息包含在经编码位流中。
29.根据权利要求16所述的设备，其中为了译码，所述一个或一个以上处理器经配置以进行解码，且其中解码包括接收经编码位流中的表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息。
30.根据权利要求29所述的设备，其中为了解码，所述一个或一个以上处理器进一步经配置以: 从表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的所述信息确定视频数据块的变换系数； 将逆变换应用于所述所确定的变换系数以产生残余视频数据块；以及 将所述残余视频数据块与预测性视频数据块进行组合以形成经重构视频数据块。
31.一种用于对与残余视频数据相关联的变换系数进行译码的设备，所述设备包括: 用于在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码的装置； 用于在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码的装置，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及 用于在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码的装置，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
32.根据权利要求31所述的设备，其中所述第一模式是上下文自适应二进制算术译码CABAC过程的常规模式，且所述第二模式是所述CABAC过程的旁路模式。
33.根据权利要求31所述的设备，其中所述CABAC过程的所述常规模式使用自适应上下文模型对二进位进行译码，且所述CABAC过程的所述旁路模式使用固定概率对二进位进行译码。
34.根据权利要求31所述的设备，其中所述第一组二进位包含所述组变换系数中的所述变换系数的系数层级的第一二进位和第二二进位，且所述第二组二进位包含所述组变换系数中的所述变换系数的其余系数层级的二进位。
35.根据权利要求31所述的设备，其中所述第二组二进位包含所述组变换系数中的所述变换系数的所述系数层级的正负号的二进位。
36.根据权利要求31所述的设备，其中所述组变换系数对应于变换单元TU中的整组变换系数。
37.根据权利要求31所述的设备，其中所述组变换系数对应于包括少于变换单元TU中的全部整组变换系数的子集。
38.根据权利要求37所述的设备，其进一步包括用于重复对所述TU中的多个变换系数子集中的每一者的所述译码的装置，其中每一子集包括少于所述TU中的全部所述整组变换系数。
39.根据权利要求37所 述的设备，其中所述子集中的每一者包括所述扫描次序中的十六个连续系数。
40.根据权利要求37所述的设备，其中所述子集中的每一者包括所述扫描次序中的变换系数的子块。
41.根据权利要求37所述的设备，其中用于对所述变换系数的有效性进行译码的装置包括用于根据扫描次序对有效性进行译码的装置，且用于对所述第一组和第二组一个或一个以上二进位进行译码的装置包括用于根据所述扫描次序对所述第一组和第二组一个或一个以上二进位进行译码的装置。
42.根据权利要求37所述的设备，其中: 用于对信息的所述第一组一个或一个以上二进位进行译码的装置包括用于对所述变换系数的所述层级的第一二进位和第二二进位进行译码的装置；以及 用于对信息的所述第二组一个或一个以上二进位进行译码的装置包括用于对所述变换系数的所述层级的其余二进位以及所述变换系数的所述层级的正负号进行译码的装置。
43.根据权利要求31所述的设备，其中用于译码的装置包括用于编码的装置，且其中用于编码的装置包括用于将表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息包含在经编码位流中的装置。
44.根据权利要求31所述的设备，其中用于译码的装置包括用于解码的装置，且其中用于解码的装置包括用于接收经编码位流中的表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息的装置。
45.根据权利要求44所述的设备，其中用于解码的装置进一步包括: 用于从表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的所述信息确定视频数据块的变换系数的装置；用于将逆变换应用于所述所确定的变换系数以产生残余视频数据块的装置；以及 用于将所述残余视频数据块与预测性视频数据块进行组合以形成经重构视频数据块的装置。
46.一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在被执行时致使一个或一个以上处理器: 在一个或一个以上第一回合中根据扫描次序对与所述残余视频数据相关联的一组变换系数中的变换系数的有效性信息进行译码； 在一个或一个以上第二回合中根据所述扫描次序对所述变换系数的信息的第一组一个或一个以上二进位进行译码，其中所述一个或一个以上第二回合不同于所述一个或一个以上第一回合，且其中在译码过程的第一模式中对所述第一组一个或一个以上二进位进行译码；以及 在一个或一个以上第三回合中根据所述扫描次序对所述变换系数的信息的第二组一个或一个以上二进位进行译码，其中所述一个或一个以上第三回合不同于所述一个或一个以上第一和第二回合，且其中在所述译码过程的第二模式中对所述第二组一个或一个以上二进位进行译码。
47.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述第一模式是上下文自适应二进制算术译码CABAC过程的常规模式，且所述第二模式是所述CABAC过程的旁路模式。
48.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述CABAC过程的所述常规模式使用自适应上下文模型对二进位进行译码，且所述CABAC过程的所述旁路模式使用固定概率对二进位进行译码 。
49.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述第一组二进位包含所述组变换系数中的所述变换系数的系数层级的第一二进位和第二二进位，且所述第二组二进位包含所述组变换系数中的所述变换系数的其余系数层级的二进位。
50.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述第二组二进位包含所述组变换系数中的所述变换系数的所述系数层级的正负号的二进位。
51.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述组变换系数对应于变换单元TU中的整组变换系数。
52.根据权利要求46所述的非暂时性计算机可读存储媒体，其中所述组变换系数对应于包括少于变换单元TU中的全部整组变换系数的子集。
53.根据权利要求52所述的非暂时性计算机可读存储媒体，其进一步包括致使所述一个或一个以上处理器重复对所述TU中的多个变换系数子集中的每一者的所述译码的指令，其中每一子集包括少于所述TU中的全部所述整组变换系数。
54.根据权利要求52所述的非暂时性计算机可读存储媒体，其中所述子集中的每一者包括所述扫描次序中的十六个连续系数。
55.根据权利要求52所述的非暂时性计算机可读存储媒体，其中所述子集中的每一者包括所述扫描次序中的变换系数的子块。
56.根据权利要求52所述的非暂时性计算机可读存储媒体，其中所述致使所述一个或一个以上处理器对所述变换系数的有效性进行译码的指令包括致使所述一个或一个以上处理器根据扫描次序对有效性进行译码的指令，且所述致使所述一个或一个以上处理器对所述第一组和第二组一个或一个以上二进位进行译码的指令包括致使根据所述扫描次序对所述第一组和第二组一个或一个以上二进位进行译码的指令。
57.根据权利要求52所述的非暂时性计算机可读存储媒体，其中: 所述致使所述一个或一个以上处理器对信息的所述第一组一个或一个以上二进位进行译码的指令包括致使所述一个或一个以上处理器对所述变换系数的所述层级的第一二进位和第二二进位进行译码的指令；且 所述致使所述一个或一个以上处理器对信息的所述第二组一个或一个以上二进位进行译码的指令包括致使所述一个或一个以上处理器对所述变换系数的所述层级的其余二进位以及所述变换系数的所述层级的正负号进行译码的指令。
58.根据权利要求46所述的非暂时性计算机可读存储媒体，其中进行译码包括编码，且其中所述指令致使所述一个或一个以上处理器将表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息包含在经编码位流中。
59.根据权利要求46所述的非暂时性计算机可读存储媒体，其中进行译码包括解码，且其中所述指令致使所述一个或一个以上处理器接收经编码位流中的表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的信息。
60.根据权利要求59所述的非暂时性计算机可读存储媒体，其中所述指令进一步致使所述一个或一个以上处理器: 从表示所述有效性信息、所述第一组一个或一个以上二进位和所述第二组一个或一个以上二进位的所述信息确定视频数据块的变换系数； 将逆变换应用于所述所确定的变换系数以产生残余视频数据块；以及· 将所述残余视频数据块与预测性视频数据块进行组合以形成经重构视频数据块。
【文档编号】H04N19/184GK103718554SQ201280038520
【公开日】2014年4月9日 申请日期:2012年8月3日 优先权日:2011年8月5日
【发明者】霍埃尔·索赖·罗哈斯, 拉詹·雷克斯曼·乔希, 马尔塔·卡切维奇 申请人:高通股份有限公司