基于块的重要性图及重要性图群组旗标上下文选择的方法及装置制造方法
【专利摘要】本发明揭示了一种用于重要性图上下文选择的方法和装置。依据本发明，变换单元被分割成子块，且至少两个上下文集合被使用。基于相同的上下文、上下文集合或者上下文形成，每一子块中的非DC变换系数被编码。上述用于每一子块的上下文、上下文集合或者上下文形成可基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、或者上述的任意组合来决定。在一个实施例中，水平及垂直子块索引的总和可用于将每一子块分类至一个类别中，之后可依据此类别来决定上述上下文、上下文集合或者上下文形成。
【专利说明】基于块的重要性图及重要性图群组旗标上下文选择的方法及装置
[0001]相关串请的交叉引用
[0002]本申请要求如下优先权:2012年I月3日递交的、申请号为61/582，725、标题为^Block-based Significance Map and Significance Group Flag Context Selection Method，，的美国临时申请。在此合并参考该申请的全部内容。
【技术领域】
[0003]本发明有关于视频编码或视频处理。更具体地，本发明有关于重要性图(significance map)编码以及重要性群组旗标(significance group flag)编码。
【背景技术】
[0004]算术编码(arithmetic coding)作为一种有效的数据压缩方法为人们所熟知，并广泛应用于各种编码标准中，例如JBIG、JPEG2000、H.264/AVC以及高效率视频编码(High-Efficiency Video Coding, HEVC)。在 H.264/AVC JVT 测试模型(JVT Test Model,JM)和HEVC测试模型(HEVCTest Model，HM)中，采用了基于上下文的自适应二进制算术编码(Context-Based Adaptive Binary Arithmetic Coding, CABAC)来作为熵编码(entropycoding)工具，以用于视频编码系统中的各种语法元素(syntax elements)。
[0005]图1是CABAC 编码器100的范例的示意图，其中CABAC编码器100包含三个部分:二值化(Binarization) 110、上下文建模(Context Modeling) 120以及二进制算术编码(Binary Arithmetic Coding, BAC) 130。在二值化的步骤中，每个语法元素被唯一地映射至二进制串(binary string)(在本文中也称为二元符号(bin或bins))。在上下文建模步骤中，为每个二元符号选择概率模型(probability model)。对应的概率模型可取决于先前已编码语法元素、二元符号索引(bin index)、边信息(side information)或上述的任意组合。在二值化和上下文模型分配之后，则向二进制算术编码引擎(engine)(即图1中的BAC模块130)提供二元符号值(bin value)及其相关的上下文模型。取决于语法元素和二元符号索引，可以两种编码模式对二元符号值进行编码，其中一种为常规编码模式(regularcoding mode),另一种为旁路模式(bypass mode)。在本文中，对应于常规编码模式的二元符号被称为常规二兀符号，而对应于旁路编码模式的二兀符号则被称为旁路二兀符号。在常规编码模式中，用于BAC的最大可能符号(Most Probable Symbol, MPS)的概率和最小可能符号(Least Probable Symbol, LPS)的概率可以从相关的上下文模型中推导出来。在旁路编码模式中，MPS和LPS的概率是相等的。在CABAC中，旁路模式的引入是为了加速编码处理。
[0006]HEVC是一种新的国际视频编码标准，它是由视频编码联合组(JointCollaborative Team on Video Coding, JCT-VC)开发的。HEVC 采用基于块的运动补偿的类离散余弦变换(DCT-1ike)的混合变换编码架构。用于压缩的基本单元被称为编码单元(Coding Unit,⑶))，其是一个2NX2N的正方形块，且每个⑶都可被递归式分割为4个更小的⑶直至达到预定义的最小尺寸。每个⑶可包含一个或多个块尺寸可变的(variable-block-sized)预测单兀(Prediction Unit, PU)和变换单兀(TransformUnit, TU) ο对于每个PU来说，都可选择帧内图像(intra-picture)预测或者帧间图像(inter-picture)预测。每个TU都可借由空间块变换来处理，之后用于TU的变换系数被量化。允许用于HEVC的最小TU尺寸为4X4。
[0007]在HEVC测试模型版本5.0 (HM-5.0)中，逐个TU对变换系数进行编码。对于每个TU来说,根据选择的扫描顺序,语法元素last_significant_coeff_x和last_significant_coeff_y被传送以分别指示最后的非零系数的水平和垂直位置。对于尺寸大于4X4的TU来说，TU可被分割成多个子集。如图2所示,对于8X8TU来说,依据穿过(through)整个8X8TU的对角线扫描顺序，64个系数可被划分为4个子集。通过变换系数的扫描可将二维数据转化为一维数据。每个子集包含对角线扫描的系数中的16个连续系数。而对于尺寸大于 8X8(例如 16X 16,32X32)的 TU 和非正方形 TU(例如 16X4,4X16,32X8,8X32)来说，TU可被划分为4X4的子块。每个子块对应于一个系数子集。对于每个子块(即每个子集)来说，由重要性系数旗 标significant_coeff_flag[X，y]表示的重要性图首先被编码。变量X为子块中系数的水平位置，且X的值从O至子块宽度减I (sub-block width-1)。变量I为子块中系数的垂直位置，且I的值从O至子块高度减I (sub-block height-1)。旗标significant_coeff_flag[X，y]指示TU的对应系数为零或非零。为了简便起见,下文省略 significant_coeff_flag[X，y]中的索引[x, y]。对于 significant_coeff_flag 指示的每个非零系数来说，非零系数的级别(level)以及正负号(sign)可由coeff_abs_level_greaterl_flag> coeff_abs_level_greater2_flag> coeff_abs_level_minus3 以及 coeff_sign_flag 来表不。
[0008]在HM-5.0 中，如果 TU 尺寸等于 16 X 16、32 X 32、16 X 4、4X 16、32 X 8 或 8 X 32，则
在对子块的级别和正负号(例如 significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag> coeff_abs_level_minus3 以及 coeff_sign_flag)编码之前，先对用于每个子块的significant_coeffgroup_flag进行编码。如果significant_coeffgroup_flag等于O,则表示整个4X4子块为零。因此，无需任何附加信息来表示此子块。相应地，对此子块的级别和正负号的编码可被跳过。如果significant_coeffgroup_flag等于I,则表示4X4子块中至少一个系数为非零。在significant_coeffgroup_flag之后，将对子块中的每个非零系数的级别和正负号进行编码。对于包含DC项(DCterm)的子块(即具有最低空间频率的变换系数)，significant_coeffgroup_flag的值可被推断为I。
[0009]在HM-5.0中，significant_coeff_f lag是以具有上下文建模的常规CABAC模式来进行编码。不同的上下文选择方法可被用于不同的TU尺寸。对于具有4X4或8X8尺寸的TU来说，上下文选择是基于TU中系数的位置。图3所示为HM-5.0中采用的、用于4X4TU的基于位置的上下文选择图，而图4所示为HM-5.0中采用的、用于8X8的基于位置的上下文选择图。在图3中，重要性图310用于亮度分量(luma component)，而重要性图320用于色度分量(chroma component),其中，每个数字对应一个上下文选择。在图4中，亮度和色度8 X 8TU共享相同的重要性图。
[0010]对于其他TU尺寸来说，相邻信息决定型(neighboring-1nformation-dependent)的上下文选择被采用。图5A和图5B所示分别为用于亮度和色度分量的相邻信息决定型的上下文选择的范例。一个上下文被用于DC系数。而对于非DC系数(即AC系数)来说，上下文选择取决于相邻系数。举例来说，当前系数X周围的相邻非零系数群组(包含1、H、F、E和B)被用于上下文选择。如果没有相邻像素为非零，则上下文#0被用于系数X。如果相邻像素中的一或两个为非零，则上下文#1被用于系数X。否则，上下文#2被用于系数X。[0011 ] 在上述的相邻信息决定型的上下文选择中，对于亮度分量，整个TU的非DC系数被划分为两个区域(即区域I (region-ι)和区域2 (region-1))，而对于色度分量，则只有一个区域(区域2)。不同的区域将使用不同的上下文集合。每个上下文集合都包含三个上下文(即上下文#0、#1及#2)。用于亮度分量的区域I的面积可由TU内部的系数X的X坐标和y坐标而从数学上规定。如图5A所示，如果系数X的X坐标和y坐标的总和小于阈值且大于0，则选择区域I的上下文集合用于系数X。否则，选择区域2的上下文集合。上述阈值可根据TU的宽度和高度来决定。举例来说，可将阈值设置为TU宽度和TU高度的最大值的四分之一。相应地，在TU尺寸为32X32、32X8或8X32的情形中，可将阈值设置为8。
[0012]在HM-5.0中，当TU的尺寸并非为4X4或8X8时，TU被划分为4X4的子块以进行系数图编码。然而，上述区域I/区域2的上下文选择标准取决于变换系数的X坐标和y坐标。因此，某些子块可能跨过区域I和区域2之间的边界，这些子块将会需要两个上下文集合。图6A所示为16X16的TU621、16X4的TU622以及4X16的TU623中的4X4子块610 (子块的中心以圆点表示)将使用两个上下文集合以进行significant_coeff_flag编码的范例。图6B所示为32X32的TU641、32X8的TU642以及8X 32的TU643中的三个4X4子块631-633将使用两个上下文集合以进行significant_coeff_flag编码的范例。对于子块632以及633来说，需要计算系数X的X坐标和y坐标的总和以决定系数X是在区域I还是区域2。对于包含DC项的子块(即，子块631)来说，DC项的位置是已知的，且在上述子块中的其他系数都属于区域I。因此，significant_coeff_flag可被推导出来,而无需计算X坐标和I坐标的总和。对于其他子块来说，由于其他子块的所有系数都在区域2中，因此，也无需计算系数X的X坐标和y坐标的总和，其仅使用一个上下文集合以用于significant_coeff_flag 编码。
[0013]因此，需要简化上下文选择程序，例如消除计算系数的X坐标和y坐标的总和的需求，或者取消其他操作。
【发明内容】
[0014]本发明揭示了一种重要性图上下文选择方法和装置。依据本发明的一个实施例，变换单元被分割成一或多个子块，且至少两个上下文集合被用于上述变换单元。基于相同的上下文、上下文集合或者上下文形成，每一子块中的非DC变换系数被编码。上述用于每一子块的上下文、上下文集合或者上下文形成可基于扫描顺序中的子块索引、水平子块索弓1、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、或者上述的任意组合来决定。举例来说，上述扫描顺序中的子块索引、水平子块索引、垂直子块索、或者其组合可与阈值来比较，以决定用于每一子块的上下文、上下文集合或者上下文形成。上述阈值与变换单元宽度、变换单元高度、或者二者的组合有关。举例来说，上述阈值可被设置为变换单元宽度和变换单元高度的最大值除以16。在依据本发明的另一实施例中，水平子块索引与垂直子块索引的和可用于将每一子块分类至一个类别中，之后可依据此类别来决定上述上下文、上下文集合或者上下文形成。举例来说，上述总和可与阈值比较以将每一子块分类，且上述阈值可由变换单元的宽度和变换单元的高度的最大值除以16得出。上述子块的尺寸可以是 4父4、4\8、8\4、8\8、16父16、或者 32X32。
[0015]本发明揭示一种重要性群组旗标编码方法和装置。依据本发明的一个实施例，变换单元可被分割成一或多个子块，且重要性群组旗标可基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、上下文选择、上下文集合选择、上下文形成选择、或者上述的任意组合来编码。上述上下文选择、上下文集合选择以及上下文形成选择与子块的重要性图编码有关。当两个子块使用相同的上下文选择、上下文集合选择、或者上下文形成选择来进行重要性图编码时，重要性群组旗标编码也将共享相同的上下文选择、上下文集合选择、或者上下文形成选择。
【专利附图】
【附图说明】
[0016]图1为具有旁路模式的CABAC编码系统架构的范例的示意图。
[0017]图2为用于8X8TU的变换系数的对角线扫描顺序的范例的示意图。
[0018]图3为HEVC测试版本5.0使用的、用于亮度和色度分量4X4TU的上下文选择图的范例的示意图。
[0019]图4为HEVC测试版本5.0使用的、用于亮度和色度分量8X8TU的上下文选择图的范例的示意图。
[0020]图5A为HEVC测试版本5.0使用的、用于亮度分量16X 16TU的相邻信息决定型上下文选择的范例的示意图。
[0021]图5B为HEVC测试版本5.0使用的、用于色度分量16X 16TU的相邻信息决定型上下文选择的范例的示意图。
[0022]图6A为HEVC测试版本5.0使用的、用于亮度分量16X 16TU的上下文选择的范例的示意图。
[0023]图6B为HEVC测试版本5.0使用的、用于亮度分量32X32TU的上下文选择的范例的示意图。
[0024]图7A为根据本发明一个实施例的、用于亮度分量16X 16TU的、基于块的上下文选择的范例的示意图。
[0025]图7B为根据本发明一个实施例的、用于亮度分量32 X 32TU的、基于块的上下文选择的范例的示意图。
【具体实施方式】
[0026]为了消除计算系数的X坐标和y坐标的总和的需求，本发明的实施例使用基于块的上下文选择以简化和一体化(unify)用于significant_coeff_flag的上下文集合、上下文选择以及上下文形成。
[0027] 对于并非为4X4或8X8的TU尺寸来说，依据本发明一个实施例的区域I/区域2上下文选择取决于子块的X块索引和I块索引，而并非系数X的X坐标和I坐标。上述X块索引和y块索引是分别指水平子块索引和垂直子块索引。X块索引的值是从O到水平子块数减I (number of horizontal sub-blocks-l)。y块索引的值从0到垂直子块数减I (numberof vertical sub_blocks_l)。在结合了本发明实施例的系统中，并不存在跨过区域I和区域2之间边界的子块。因此,不需要使用两个上下文集合来进行significant_coeff_flag编码，也不需要计算每一系数的X坐标和I坐标的总和。区域I/区域2的决定可基于每一子块的X块索引和y块索引的总和来进行。上述总和可与一个阈值做比较。上述阈值可以取决于TU宽度及/或TU高度，或者是一个固定值。
[0028]图7A和图7B为根据本发明实施例的基于块的上下文选择的范例的示意图。在此范例中，上述阈值被设置为变换单元宽度和变换单元高度的最大值除以16。因此，对于16X16的TU721、16X4的TU722以及4X16的TU723来说，上述阈值为1，而对于32X32的TU741、32X8的TU742以及8X32的TU743来说，上述阈值为2。对于亮度分量来说，若子块的X块索引和y块索引的总和小于阈值，则区域I的上下文集合被用于此子块。否则，区域2的上下文集合被用于此子块。相应地，图7A中的一个子块710以及图7B中的三个子块731-733使用区域I的上下文，而其他子块则使用区域2的上下文。更进一步，区域I的子块的significant_coeffgroup_flag可被推导为I以进行一体化。
[0029]虽然此处是以4X4的子块作为基于块的上下文选择的范例，然而，其他子块尺寸也可被使用。举例来说，除了 4X4的子块外，诸如4X8、8X4、8X8、16X16以及32X32的其他子块也可被使用。虽然上述基于块的重要性图编码是用于上下文选择，然而，上述基于块的重要性图编码也可用于上下文集合选择或者上下文形成选择。虽然上述基于块的重要性图编码范例是基于扫描顺序中的子块索引、水平子块索引(即X块索引)及/或垂直子块索引(即y块索引)来选择上下文、上下文集合或者上下文形成，然而，上述选择也可基于视频分量类型及/或变换单元宽度/高度进行。上述视频分量类型可对应于亮度分量(Y)或者色度分量(Cr或C b)。上述视频分量类型也可对应于其他视频规格。进一步来说，上述选择可取决于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、以及变换单元宽度/高度的组合。
[0030]上述基于块的重要性群组旗标编码可基于扫描顺序中的子块索引、水平子块索引(即X块索引)及/或垂直子块索引(即y块索引)来进行。然而，上述基于块的重要性群组旗标编码也可基于视频分量类型及/或变换单元宽度/高度进行。进一步来说，上述基于块的重要性群组旗标编码也可基于与重要性图编码相关的上下文选择、上下文集合选择、或上下文形成选择来进行。上述视频分量类型可对应于亮度分量(Y)或者色度分量(Cr或Cb)。上述基于块的重要性群组旗标编码也可取决于扫描顺序中的子块索引、水平子块索弓1、垂直子块索引、视频分量类型、变换单元宽度/高度、上下文选择、上下文集合选择、以及上下文形成选择的组合。
[0031]以上所述描述是为了使本领域技术人员能够以上文所提供的特定应用及其要求来实施本发明。本领域技术人员可明了上述实施例的多种变形，且此处所定义的一般原则也可应用于其他实施例。因此，本发明并非以上述特定实施例及描述为限，而应包含记载了符合与此处所揭露的原则及显著特征相一致的最广的范围。在以上所述的详细描述中，阐述各种具体细节是为了便于对本发明有全面的了解。然而，本领域的技术人员应可理解本发明如何实施。
[0032]上述根据本发明的实施例可以不同硬件、软件代码、或两者的结合来实施。举例来说，依据本发明的一个实施例，其可以是用来实施上述方法的、整合至视频压缩芯片中的电路，或是整合至视频压缩软件中的程序代码。依据本发明的另一个实施例，其也可以是数字信号处理器(Digital Signal Processor,DSP)上执行的、用来实施上述方法的程序代码。本发明亦可包含由计算机处理器、DSP、微处理器、或现场可编程门阵列(Field ProgrammableGate Array7FPGA)执行的一系列功能。通过执行定义了本发明实施例特定方法的机器可读软件代码或固件代码，这些处理器可被设置为执行依据本发明的特定任务。上述软件代码或固件代码可通过不同的编程语言及不同格式/样式来开发。上述软件代码亦可符合不同的目标平台。然而，执行与本发明相应的任务的、具有不同代码格式、样式及语言的软件代码，以及其他方式形成的代码都应包含在本发明的范围内。
[0033]在不脱离本发明的精神及基本特征的前提下，本发明亦可用其他特定形式来实施。以上所述的实施例仅仅是为了说明本发明，并非本发明的限制。本发明的范围当以所附的权利要求为准 ，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种重要性图上下文选择方法,包含: 接收与变换单元相关的多个变换系数，其中该变换单元被分割成一或多个子块，且至少两个上下文集合被用于该变换单元；以及 基于相同的上下文、上下文集合或者上下文形成编码每一子块中的非DC变换系数。
2.如权利要求1所述的方法，其特征在于，用于每一子块的该相同的上下文、上下文集合或者上下文形成是基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度或者上述的组合来决定的。
3.如权利要求2所述的方法，其特征在于，用于每一子块的该相同的上下文、上下文集合或者上下文形成是通过将该扫描顺序中的子块索引、该水平子块索引、该垂直子块索引或者上述的组合与阈值比较来决定的。
4.如权利要求3所述的方法，其特征在于，该阈值有关于该变换单元宽度、该变换单元高度或者二者的组合。
5.如权利要求4所述的方法，其特征在于，该阈值是基于将该变换单元宽度和该变换单元高度的最大值除以16推导出的。
6.如权利要求2所述的方法，其特征在于，每一子块的该水平子块索引与该垂直子块索引的总和被用于将该每一子块分类至一个类别中，其中该相同的上下文、上下文集合或者上下文形成是依据该类 别来决定的。
7.如权利要求6所述的方法，其特征在于，该总和是与阈值相比较以将该每一子块分类，且该阈值是基于将该变换单元宽度和该变换单元高度的最大值除以16推导出的。
8.如权利要求1所述的方法，其特征在于，每一子块的该多个变换系数是利用扫描顺序而被转换成一维系数的。
9.如权利要求1所述的方法，其特征在于，该子块具有对应于4X4、4X8、8X4、8X8、16X16或者32X32的尺寸。
10.一种重要性图上下文选择装置，包含: 接收与变换单元相关的多个变换系数的模块，其中该变换单元被分割成一或多个子块，且至少两个上下文集合被用于该变换单元；以及 基于相同的上下文、上下文集合或者上下文形成编码每一子块中的非DC变换系数的模块。
11.一种重要性群组旗标编码方法，包含: 接收与变换单元相关的一或多个重要性群组旗标，其中该变换单元被分割成一或多个子块，以及 基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、上下文选择、上下文集合选择、上下文形成选择、或者上述的组合来编码该一或多个重要性群组旗标，其中该上下文选择、该上下文集合选择以及该上下文形成选择与该子块的重要性图编码相关。
12.如权利要求11所述的方法，其特征在于，若两个子块使用相同的上下文选择、上下文集合选择、或者上下文形成选择以进行重要性图编码，则该两个子块使用相同的第二上下文选择、第二上下文集合选择、或者第二上下文形成选择以进行重要性群组旗标编码。
13.如权利要求12所述的方法，其特征在于，用于该重要性图编码的该相同的上下文、上下文集合或者上下文形成是通过将该扫描顺序中的子块索引、该水平子块索引、该垂直子块索引或者上述的组合与阈值比较来决定的。
14.如权利要求13所述的方法，其特征在于，该阈值有关于该变换单元宽度、该变换单元高度或者二者的组合。
15.如权利要求14所述的方法，其特征在于，该阈值是基于将该变换单元宽度和该变换单元高度的最大值除以16推导出的。
16.如权利要求12所述的方法，其特征在于，每一子块的该水平子块索引与该垂直子块索引的总和被用于将该每一子块分类至一个类别中，其中该相同的第二上下文、第二上下文集合或者第二上下文形成是依据该类别来决定的。
17.如权利要求16所述的方法，其特征在于，该总和是与阈值相比较以将该每一子块分类，且该阈值是基于将该变换单元宽度和该变换单元高度的最大值除以16推导出的。
18.如权利要求11所述的方法，其特征在于，每一子块的该多个变换系数是利用扫描顺序而被转换成一维系数的。
19.如权利要求11所述的方法，其特征在于，该子块具有对应于4X4、4X8、8X4、8X8,16X16或者32X32的尺寸。
20.一种重要性群组旗标编码装置，包含: 接收与变换单元相关的一或多个重要性群组旗标的模块，其中该变换单元被分割成一或多个子块，以及 基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、上下文选择、上下文集合选择、上下文形成选择、或者上述的组合来编码该一或多个重要性群组旗标的模块，其中该上下文选择、该上下文集合选择以及该上下文形成选择与该子块的重要性图编码相关。
【文档编号】H04N19/18GK104025600SQ201280065480
【公开日】2014年9月3日 申请日期:2012年11月22日 优先权日:2012年1月3日
【发明者】徐志玮, 庄子德, 陈庆晔, 黄毓文 申请人:联发科技股份有限公司