用于视频编码的非序列变换单元的制作方法

用于视频编码的非序列变换单元的制作方法
【专利摘要】一种关于4:2:2色度子采样格式的视频编码的方法，包括：将图像数据分成变换单元；在非正方形变换单元的情况下，在应用空间频率变换之前将非正方形变换单元分成正方形块；并且将空间频率变换应用到正方形块以生成空间频率系数的相应集合。
【专利说明】用于视频编码的非序列变换单元
[0001] 相关申请的交叉引用
[0002] 本申请要求于在先 申请日期:2012年4月26日提交给英国知识产权局的GB 1207459. 7的权益，通过引用将其全部内容结合在此。

【技术领域】
[0003] 本公开内容涉及用于在视频编码和解码中进行色度处理的方法和设备。

【背景技术】
[0004] 本文中所提供的"【背景技术】"说明为用于对本公开的背景作一般性说明为目的。发 明人的某些工作（即已在此【背景技术】部分中作出描述的工作）以及说明书中关于某些尚未 成为申请日之前的现有技术的内容，无论是以明确或隐含的方式均不被视为相对于本发明 的现有技术。
[0005] 当前视频编解码器（编码器-解码器），诸如H. 264/MPEG-4高级视频编码（AVC) 主要通过仅编码连续视频帧之间的差（difference，差分）实现数据压缩。这些编解码器使 用所谓宏块的规则阵列，每个宏块用作与以前视频帧中的对应宏块比较的区域，然后根据 视频序列中对应的当前和以前的宏块之间或视频序列的单个帧内的相邻宏块之间建立的 运动度（degree of motion)对宏块内的图像区域进行编码。
[0006] 高效率视频编码（HEVC)，也被称为H. 265或MPEG-Η部分2,是H. 264/MPEG-4AVC 的推荐接替者。与H. 264相比，HEVC旨在改善视频质量并使数据压缩率加倍，并且像素分 辨率可从128X96伸缩至7680X4320,大致相当于从128kbit/s到800Mbit/s的比特率。
[0007] HEVC将在现有H. 264和MPEG标准中建立的宏块替换为基于编码单元（CU)的更灵 活的方案，该编码单元是可变大小的结构。
[0008] 因此，当编码视频帧中的图像数据时，可响应于表观图像复杂度或检测的运动级 来选择⑶尺寸，而不是使用均匀分布的宏块。因此，在帧之间运动很少以及帧内具有很少 变化的区域中能够实现更大的压缩，同时在高帧间运动或图像复杂度的区域中能够保持更 好的图像质量。
[0009] 每个CU包含图像内或图像间预测类型的一个或多个块尺寸可变的预测单元（PU) 以及包含用于空间块变换和量化的系数的一个或多个变换单元（TU)。
[0010] ro的目的是包围所有的采样相对于先前编码图像（帧间编码）具有共同的运动或 与直接邻近PU的采样（帧内编码）具有一致关系处的图像的区域。这样，在空间频率变换 之前从所包围的区域中移去最大信息量。PU级是指定的定义预测操作的参数。
[0011] 类似地，TU的目的是包围包含最少不同空间频率的最大可能区域。TU尺寸的选择 是在能够编码的图像数据量（因此最大可能尺寸）与需要编码的比特数（因此最少不同空 间频率）之间的权衡。在图像的详细区域中，TU必须小因为只有小区域的采样会共有类似 的特性。相反，在平面区域中，TU可以是大的因为所有的采样共有类似的特性。
[0012] 此外，TU尺寸通过变换尺寸上的实际限制来支配，因为TU尺寸增加，变换的计算 复杂度指数地增加。从实施的立场看也希望仅具有几个不同的预设尺寸，这样使得需要存 储较少的变换矩阵而且使得使用其自身的专门的硬件/软件能计算每个尺寸。在AVC中， 仅4 X 4和8 X 8变换是可行的；在HEVC中，这已经被扩展至也包括16 X 16和32 X 32变换。
[0013] 此外，为三个通道中的每个设置TO和TU块；亮度（Y)，亮度（luminance)或亮度 (brightness)通道，其可被认为是灰度通道，以及两个色差或色度（色品）通道；Cb和Cr。 这些通道为亮度通道的灰度图像提供颜色。术语Y和亮度在本文中可互换使用，并且类似 地术语Cb和Cr、以及色度视情况可互换地使用。
[0014] 在HEVC中，所谓的4:2:0块结构被提出用于消费者设备，其中在每个色度通道中 使用的数据量是亮度通道中数据量的四分之一。这是因为人们主观地对亮度变化比颜色变 化更敏感，因此可以在颜色通道中使用较大的压缩和/或较少信息，而没有主观的质量损 失。
[0015] 然而，对于专业广播和数字影院设备，希望在色度通道中具有较少压缩（或更多 的信息），这可能会影响当前处理（诸如HEVC处理）操作。


【发明内容】

[0016] 本公开解决或减轻该处理引发的问题。
[0017] 在所附权利要求中限定本公开的各个方面和特征。
[0018] 应当理解，本发明的前述总体描述和以下【具体实施方式】对于本技术是示例性的而 不是限制性的。

【专利附图】

【附图说明】
[0019] 在结合附图参照以下详细描述更好地理解本发明时，可以更容易获得对本发明以 及其许多附带优点的更加全面的理解。
[0020] 图1A是针对HEVC中不同的4:2:0方案的⑶大小的编码单元、预测单元和变换单 元块大小的示意图。
[0021] 图1B是针对HEVC中不同的4:2:0方案的⑶大小的编码单元、预测单元和变换单 元块大小的示意图。
[0022] 图2是针对HEVC中的4:2:0方案的帧内预测模式方向的示意图。
[0023] 图3是示出用于通过运动矢量进行选择的4:2:0方案亮度和色度PU内插的示意 图。
[0024] 图4是示出了根据本公开实施方式用于通过运动矢量进行选择的4:2:2方案亮度 和色度TO内插的示意图。
[0025] 图5是针对HEVC中4:2:0方案的量化参数关联表的示意图。
[0026] 图6是根据本公开实施方式的HEVC编码器的示意图。
[0027] 图7A至图7T是根据本公开的实施方式的高效率视频编码的各个方法的流程图。

【具体实施方式】
[0028] 公开了一种在高效率视频编解码器中进行色度处理的设备和方法。在以下描述 中，为了提供本公开的实施方式的彻底了解而呈现了大量细节。然而，对于本领域的普通技 术人员显然的是不必采用这些特定细节来实施本发明。相反，在适当的情况下，出于清楚的 目的省略对本领域技术人员已知的细节。
[0029] 将仅通过实例描述根据HEVC标准和/或建议的所谓高效率编解码器。术语HEVC 或"高效率"并不视为对本公开或实施方式的技术本质的限制。
[0030] 以下论述的该类型的视频编码和解码，利用对表示图像块与该图像块的预测版本 之间的差的残差图像块编码的正向编码路径。用于产生预测图像块的图像块实际上是图 像块的解码版本而不是原始图像块。原因是考虑到在解码器处不能获得原始输入图像块， 为了确保编码器和解码器都用相同的源数据工作。所以，编码器也包括反向解码路径，如下 面参考图6所述。编码器的反向解码路径和解码器的相应正向解码路径的操作应该是相同 的。因此，在如下编码器的上下文中描述的至少一些技术特征（例如，那些与图像块的预测 有关的技术特征）也适用于解码器的操作。在适当的情况下，编码器和解码器两者都被认 为是本公开的实施方式。
[0031] 块结构
[0032] 如上所述，提出的HEVC标准使用已知为4:2:0方案的特定色度采样方案。4:2:0 方案可被用于家用/消费者设备。然而，其他几个方案也是可以的。
[0033] 具体地，所谓的4:4:4方案将会适合于专业广播、母带处理（mastering)和数字影 院，原则上会具有最高的质量和数据速率。
[0034] 类似地，所谓的4:2:2方案能够用于专业广播、母带处理和数字影院，但具有一些 保真度损失。
[0035] 下面将描述这些方案和它们相应的TO和TU块结构。
[0036] 此外，其他方案包括4:0:0单色方案。
[0037] 在4:4:4方案中，Y、Cb和Cr三个通道中的每个具有相同的采样率。因此，原则上， 在这种方案中，色度数据将是亮度数据的两倍。
[0038] 因此，在HEVC中，在这种方案中，三个Y、Cb和Cr通道中的每个将具有尺寸相同的 PU和TU块；例如，8X8亮度块将会具有针对两个色度通道中的每个的相应8X8色度块。
[0039] 因此，在这种方案中，每个通道中块尺寸之间通常会是直接1:1的关系。
[0040] 在4:2:2中，以亮度的一半采样率对两个色度分量进行采样（例如，使用垂直或水 平子采样）。因此，原则上，在这种方案中，色度数据将与亮度数据一样多。
[0041] 因此，在HEVC中，在这种方案中，Cb和Cr通道将与亮度通道具有不同尺寸的PU和 TU块；例如，8X8亮度块将具有针对每个色度通道的相应4宽X8高的色度块。
[0042] 因此，应注意，在这种方案中，色度块会是非正方形的。
[0043] 在当前提出的HEVC4:2:0方案中，以四分之一的亮度采样率（例如，使用垂直与水 平子采样）对两个色度分量进行采样。因此，原则上，在这种方案中，色度数据将是亮度数 据的一半。
[0044] 因此，在HEVC中，在这种方案中，Cb和Cr通道再次具有与亮度通道不同尺寸的PU 和TU块。例如，8X8亮度块将具有针对每个色度通道的相应的4X4色度块。因此，一般而 言，在这种方案中，尤其对于帧内预测，⑶、PU和TU块都是正方形的。
[0045] 在本领域中，以上方案统称为'通道比'，如在'4:2:0通道比'中；然而，从以上说 明书中应当理解，实际上这并不总意味着Y、Cb和Cr通道以所述比压缩，也可能另外设置。 因此，当被称为通道比时，这不应该假设为字面意思。事实上，对于4:2:0方案的比率是 4:1:1 (4:2:2方案和4:4:4方案的比率实际上是正确的）。
[0046] 4:2:0 块结构
[0047] 参考图1A和图1B，对于4:2:0方案可能的不同块尺寸被概括为⑶、PU和TU块， 'Y'指亮度块，'C'指两色度块，数字是指像素。'间（inter)'指帧间预测PU(与帧内预测 TO相反）。
[0048] 简单地说，最大编码单元（IXU)是根图片对象。其通常覆盖相当于64X64亮度像 素的区域并递归地分割（split)以形成编码单元（⑶）为64X64、32X32、16X16或8X8 像素的树形层次结构。三个通道具有相同的⑶树形层次结构。最小允许递归降至8X8像 素的CU。
[0049] 然后叶⑶被分成预测单元（PU)。三个通道具有相同的PU结构（一个可能的例外 是PU是帧内预测的4 X 4亮度像素）。
[0050] 这些叶⑶也被分成变换单元（TU)，接着可以再分割，直到每⑶最大16个TU。最 小的TU尺寸是4X4像素；最大是32X32像素。三个通道具有相同的TU结构（再一次，可 能的例外是TU是4X4亮度像素）。
[0051] 4:4:4块结构夺形
[0052] 应理解4:2:0和4:4:4方案都具有针对帧内预测编码的正方形的PU块。此外，目 前，4:2:0方案允许4X4像素 PU&TU块。
[0053] 在本公开的实施方式中，因此对于4:4:4方案提出，允许⑶块的递归降至4 X 4像 素而不是8 X 8像素，如上所述，因为在4:4:4模式中，亮度和色度块将是相同的尺寸（不对 色度数据进行子采样），并因此，对于4X 4⑶，PU或TU不必低于已经允许的最小4 X 4像素。
[0054] 类似地，在4:4:4方案中，在本公开实施方式中，Y、Cr、Cb通道中的每个，或Y和两 个Cr、Cb通道一起能够具有各自⑶树形层次结构。然后可以使用标记作信号通知将使用 哪个层次结构或层次结构的配置。这种方法也可用于4:4:4RGB颜色空间方案。
[0055] 4:2:2块结构夺形
[0056] 在4:2:0方案中的8X8⑶的实例中，这产生4个4X4亮度PU和1个4X4色度 PU。因此，在4:2:2方案中，具有色度数据的两倍，在这种情况下一个选择就是具有2个4 X 4 色度PU。然而，应理解在这种情况下使用一个非正方形4X8色度PU将会更与其他非正方 形 4:2:2PU-致。
[0057] 如从图1A和图1B可以看出，在4:2:0方案中，原则上存在一些允许用于某些类型 的帧间预测编码而不是帧内预测编码的非正方形TU块。然而，在帧间预测编码中，当非正 方形四叉树变换（NSQT)被禁用时（这是对4:2:0方案的当前默认），所有的TU是正方形 的。因此，实际上，4:2:0方案目前执行正方形TU。例如，16X164:2:0亮度TU将符合各个 Cb&Cr 8X84:2:0 色度 TU。
[0058] 然而，如以前所述，4:2:2方案可具有非正方形PU。因此，在本公开的实施方式中， 建议对于4:2:2方案允许非正方形TU。
[0059] 例如，当16X164:2:2亮度TU能够符合每个色度通道（Cb&Cr)的两个8X84:2:2 色度TU时，在这个实施方式中，反而符合用于每个色度通道（Cb&Cr)的一个8X164:2:2色 度TU。
[0060] 类似地，四个4X44:2:2亮度TU能够符合每个色度通道（Cb&Cr)的两个 4X44:2:2色度TU时，或者在这个实施方式中，反而符合用于每个色度通道（Cb&Cr)的一个 4X84:2:2色度TU。这里，4X8TU是矩形TU的实例。这是在水平方向上的采样是垂直方向 上的两倍的4:2: 2TU的实例。可以使用其他尺寸的TU，例如，水平方向的采样是垂直方向的 两倍的其他矩形TU和/或其他TU。例如，可以考虑以下尺寸：2X4、8X16、16X32等。
[0061] 具有非正方形色度TU，因此TU较少，由于他们可能包含较少的信息可能更有效。 然而，如后面将要描述的，这可能会影响这种TU的变换和扫描过程。
[0062] 最后，对于4:4:4方案，可优选具有与通道独立的TU结构，并且在序列、图片、切片 (slice)或更细级（finer level)是可选的。
[0063] 如上所述，在HEVC的4:2:0方案中目前NSQT被禁用。然而，如果对于图片间预测， 支持NSQT并允许非对称运动划分（AMP)，这允许PU被非对称地划分；因此例如，16 X 16⑶ 可具有4 X 16PU和12 X 16PU。在这些情况下，对于4:2:0和4:2:2方案中的每个，块结构的 进一步考虑是重要的。
[0064] 对于4:2:0方案，在NSQT中，TU的最小宽度/高度限于4个亮度/色度采样：
[0065] 因此，在非限制性实例中，16 X 4/16 X 12亮度PU结构具有四个16 X 4亮度TU和四 个4X 4色度TU，其中，亮度TU在1 X 4垂直块布置中并且色度TU在2 X 2块布置中。
[0066] 在类似的布置中，其中，划分是垂直的而不是水平的，4X16/12X 16亮度PU结构 具有四个4X16亮度TU和四个4X4色度TU，其中，亮度TU在4X1水平块布置中并且色度 TU在2X2块布置中。
[0067] 对于4:2:2方案，在NSQT中，作为非限制性实例，4X 16/12 X 16亮度PU结构具有 四个4X16亮度TU和四个4X8色度TU，其中，亮度TU在4X1水平块布置中；色度TU是 在2X2块布置中。
[0068] 然而，应理解对于一些情况可以考虑不同的结构。因此，在本公开的实施方式中， 在NSQT中，作为非限制性实例，16 X 4/16 X 12亮度PU结构具有四个16 X 4亮度TU和四个 8 X 4色度TU，但是现在亮度和色度TU在1 X 4垂直块布置中，与PU布局对齐（与2 X 2块 布置中的四个4X8色度TU的4:2:0式布置相反）。
[0069] 类似地，32 X 8PU可具有四个16 X 4亮度TU和四个8 X 4色度TU，但现在亮度和色 度TU在2X2块布置中。
[0070] 因此，更一般地，对于4:2:2方案，在NSQT中，选择TU块大小与非对称的PU块的 布局对齐。因此，NSQT有效地允许TU边界与PU边界对齐，这减少了可能另外出现的高频 伪像。
[0071] 帔内预测丨
[0072] 4:2:0帔内预测现在参考图2,对于帧内预测，HEVC允许角色度预测。图2示出35 个预测模式，它们中的33个指定当前预测采样位置100的参考采样的方向。
[0073] HEVC允许色度具有DC、垂直、水平、平面、DM_CHR0MA和LM_CHR0MA模式。
[0074] DM_CHR0MA表示要使用的预测模式与共定位的亮度PU的模式相同（图2中示出的 35个之一）。
[0075] LM_CHR0MA表示共定位的亮度采样被用于得出预测色度采样。在这种情况下，如果 根据其将采用DM_CHR0MA预测模式的亮度PU选择DC、垂直、水平或平面，则使用模式34替 换色度预测列表中的条目。
[0076] 值得注意的是，预测模式2至34在45度至225度的范围内对角度采样，就是说， 正方形的一条对角线。这在4:2:0方案的情况下是有用的，如上所述对于图片内预测，仅使 用正方形色度TO。
[0077] 4:2:2帔内预测夺形
[0078] 然而，同样如上所述，4:2:2方案可具有矩形（非正方形）色度PU。
[0079] 因此，在本公开的实施方式中，对于矩形色度对于方向，可能会需要映射表。假 定矩形PU是1比2的长宽比，然后，例如模式18 (当前是135度的角）可能重映射至123 度。可替换地，当前模式18的选择可能被重映射至当前模式22的选择，效果几乎相同。
[0080] 因此，更一般地，对于非正方形PU，与正方形PU相比，可提供参考采样的方向与所 选择的帧内预测模式之间的不同映射。
[0081] 然而，更一般地，包括非方向性模式的任何模式同样可以基于经验证据被重映射。
[0082] 这种映射会产生多对一的关系是可能的，这使对于4:2:2色度PU所有组的模式的 详述变得冗余。在这种情况下，例如，仅需要17个模式（对应一半的角分辨率）。可替换地 或者此外，这些模式可以非均匀的方式成角度地分布。
[0083] 类似地，当预测采样位置处的像素时可不同地使用在参考采样上使用的平滑滤波 器；在4:2:0方案中，仅用于使亮度像素而非色度像素平滑。然而，在4:2:2和4:4:4方案 中，该滤波器同样可以用于色度PU。在4:2:2方案中，再次，可响应于PU的不同长宽比改变 滤波器，例如，仅用于近水平模式的子集。模式的示例性子集优选地为2至18和34,或者更 优选地7至14。
[0084] 4:4:4帔内预测夺形
[0085] 在4:4:4方案中，色度和亮度PU大小相同，因此，色度PU的帧内预测模式可与共 定位亮度PU相同（所以节约比特流中的一些开销）或者更优选地，其可独立地选择。
[0086] 在后一种情况下，因此，在本公开的实施方式中，在⑶中，对于TO可具有1、2或3 个不同的预测模式；
[0087] 在第一实例中，Y、Cb和Cr PU可以都使用相同的帧内预测模式。
[0088] 在第二实例中,Y HJ可以使用一个巾贞内模式，而Cb和Cr PU两者使用另一种单独 选择的帧内预测模式。
[0089] 在第三实例中，Y、Cb和Cr PU各自使用各自独立选择的帧内预测模式。
[0090] 应理解具有色度通道（或者各个色度通道）的独立预测模式将会提高色度预测准 确度。
[0091] 在高级语法（例如，序列、图片、或切片级）中指示模式数目的选择。可替换地，能 够从视频格式得出独立模式的数目；例如，GBR能够具有高达3个，而YCbCr限于高达2个。
[0092] 除了独立选择模式以外，4:4:4方案中，可允许可用模式区别于的4:2:0方案。
[0093] 例如，由于亮度和色度TO是相同的大小，色度PU可受益于对所有可用的35+LM_ CHR0MA+DM_CHR0MA方向的访问（access)。因此，对于各自具有独立预测模式的Y、Cb和Cr 的情况，那么Cb通道能够访问DM_CHR0MA&LM_CHR0MA，而Cr通道能够访问DM_CHR0MA_Y、 DM_CHR0MA_Cb、LM_CHR0MA_Y和LM_CHR0MA_Cb，其中，这些利用对Y或Cb色度通道的参考替 换对亮度通道的参考。
[0094] 在此通过得出最可能的模式的列表并发送列表的索引来发出信号通知亮度预测 模式，则如果色度预测模式是独立的，获得针对每个通道的独立的最可能的模式的列表可 能是必要的。
[0095] 最后，按照与以上所述4:2:2的情况类似的方式，在4:4:4方案中，当预测采样位 置处的像素时在参考样本上使用的平滑滤波器可以与亮度PU类似的方式用于色度ro。 [0096] 帔间预测丨
[0097] 视频图像的每帧是真实场景的离散采样，因此，每个像素在颜色和亮度上都是现 实世界梯度的逐步逼近。
[0098] 认识到这一点，当根据先前视频帧中的值预测新的视频帧中的像素的Y、Cb或Cr 值时，将在先前视频帧中的像素内插以创建对原始现实世界梯度的更好估计，从而使得允 许为新的像素更准确地选择亮度或颜色。因此，用于视频帧之间的点的运动矢量不限于整 数像素分辨率。相反，它们可指向内插的图像内的子像素位置。
[0099] 4:2:0帔间预测
[0100] 现参考图3,在如上所述的4:2:0方案中，通常8X8亮度PU将与Cb和Cr 4X4色 度PU相关联。因此，为了内插亮度和色度像素数据直到相同的有效分辨率，使用不同的内 插滤波器。
[0101] 例如，对于8X84:2:0亮度PU，内插是1/4像素，因此，首先水平地应用8-抽头X4 滤波器，并且然后垂直地应用同样的8-抽头X 4滤波器，使得如图3所示，在每个方向上亮 度PU有效地扩展了 4倍。同时，相应的4X44:2:0色度PU是内插1/8像素以生成相同的 最终的分辨率，因此水平地先应用4-抽头X 8滤波器，然后垂直地应用同样的4-抽头X 8 滤波器，因此，同样如图3所示，在每个方向上色度PU有效地扩展了 8倍。
[0102] 4:2:2帔间预测夺形
[0103] 现在也参考图4,如先前所述，在4:2:2方案中，色度PU可以是非正方形，并且如 图4所示，在8 X 84:2:2亮度PU的情况下，对于Cb和Cr通道中的每个，通常是4宽X 8高 4:2:2 色度 PU。
[0104] 因而，虽然可以在色度TO上垂直地使用现有的8-抽头X 4亮度滤波器，在本公开 的实施方式中，应理解现有的4-抽头X 8色度滤波器就足够用于如在实践中一个仅对内插 的色度PU的连分数位置感兴趣的垂直插值。
[0105] 因此，图4示出了 8X84:2:2亮度PU像以前那样用一个8抽头X4的滤波器进 行内插，并且4X84:2:2色度PU在水平方向和垂直方向上利用现有的4-抽头X8色度滤 波器内插，但只有用于在垂直方向上用于形成内插图像的连分数的结果（even fractional result)〇
[0106] 4:4:4帔间夺形
[0107] 通过扩展，仅对现有4-抽头Χ8色度滤波器使用连分数结果的相同的原理能够垂 直并水平地应用于8 X 84:4:4色度PU。
[0108] 另一帔间预测夺形
[0109] 在运动矢量（MV)推导的一个实施中，对于Ρ切片中的PU产生一个矢量以及对于 Β切片中的TO产生两个矢量（其中，按类似MPEG Ρ和Β帧的方式，Ρ切片根据先前帧进行 预测，B切片根据先前和后续帧进行预测）。应注意，在该实施中，在4:2:0方案中，矢量对 所有通道都是共同的，此外，色度数据不用于计算运动矢量。换言之，所有的通道使用基于 亮度数据的运动矢量。
[0110] 在本公开的实施方式中，在4:2:2方案中，色度矢量可与亮度独立（能够分别得出 Cb和Cr通道的矢量），并且在4:4:4方案中，色度矢量可进一步与Cb和Cr通道中的每个 独立。
[0111] 夺换
[0112] 在HEVC中，使用相对于先前编码/解码帧的运动矢量对大多数图像编码，运动矢 量告诉解码器在这些其他解码的帧中从哪复制当前图像的良好近似。结果是当前图像的近 似版本。然后HEVC编码所谓的残差，这是近似版本与正确的图像之间的误差。与直接指定 实际图像相比，该残差需要更少的信息。然而，一般而言，仍优选压缩该残差信息以进一步 减小总体比特率。
[0113] 在包括HEVC的很多编码方法中，使用整数余弦变换（ICT)将这种数据变换成空间 频率域，并且通常根据期望压缩等级通过保持低空间频率数据并丢弃高空间频率数据来实 现一些压缩。
[0114] 4:2:0 夺换
[0115] 用于HEVC中的空间频率变换通常是生成4的幂的系数的（例如，64个频率系数） 变换，因为这尤其适合于常用量化/压缩法。4:2:0方案中的正方形TU都是4的幂，因此这 可简单实现。
[0116] 甚至在目前不启用NSQT的情况下，一些非正方形变化可用于非正方形TU，如， 4X16,但应注意这些再次产生64系数，也是4的幂。
[0117] 4:2:2 和 4:4:4 夺换夺形
[0118] 4:2:2方案能到产生不是4的幂的非正方形TU ;例如，4X8TU具有32个像素，但 32不是4的幂。
[0119] 因此在本公开实施方式中，可以使用不是4的幂个系数的非正方形变换，确认可 能需要对后续量化处理进行修改。
[0120] 可替换地，在本公开的实施方式中，非正方形TU被分成具有用于变换的4的幂的 正方形块，并且然后所得到的系数能够进行交织。
[0121] 例如，对于4 X 8块（8行4个采样），例如，采样的奇数/偶数行可被分成两个正方 形块，以便正方形块中的一个采用偶数行并且另一个采用奇数行。可替换地，对于4X8块， 顶部4X4像素和底部4X4像素能够形成两个正方形块，换言之，通过分割TU的中心轴周 围的TU(在该实例中的横轴）。还可替换地，对于4X8块，可使用哈尔小波分解来形成下 部和上部频率4X4块。使用相应的重组技术来在解码器（或者在编码器的反向解码路径 中）处将解码的正方形块重组到TU中。
[0122] 这可使用这些选项中的任何一个，并且特定替代的选择可用信号通知解码器或可 由解码器得出。
[0123] 因此，在编码器侧，这表示涉及4:2:2色度子采样格式或其他格式的视频编码的 方法的实例，该方法包括：
[0124] 将图像数据分成变换单元；
[0125] 在非正方形变换单元的情况下，在应用空间频率变换之前将非正方形变换单元分 割（split)成正方形块；以及
[0126] 将空间频率变换应用到正方形块以生成空间频率系数的相应集合。
[0127] 在实施方式中，相对于帧内预测单元的变换单元，在相对于预测单元生成预测图 像数据之前可能进行分割步骤。这是有用的，因为对于帧内编码，预测潜在地基于最近解码 的TU，它们可能是相同PU中的其他TU。
[0128] 可选地，与从变换单元导出的涉及正方形块的空间频率系数的集合可在进行变换 之后重组。但是在其他实施例中，可对与变换的方形块有关的系数分别进行编码、存储和/ 或传输。
[0129] 如上所述，分割可以包括应用哈尔变换。可替换地，在非正方形变换单元是矩形的 情况下，分割可以包括选择矩形变换单元的中心轴线两边的各个正方形块。可替换地，在非 正方形变换单元是矩形的情况下，分隔可以包括选择变换单元的采样的交替的行或列。
[0130] 在实施方式中，相对于帧内预测单元的变换单元，在相对于预测单元生成预测图 像数据之前可能进行分割步骤。这是有用的，因为对于帧内编码，预测潜在地基于最近解码 的TU，它们可能是相同PU中的其他TU。
[0131] 4X8TU是矩形TU的实例。这是在水平方向上的采样是垂直方向上的两倍的TU的 实例。
[0132] 在解码器侧，相对于4:2:2色度子采样格式或其他格式的视频解码方法可以包括 将空间频率变换应用于空间频率系数的块以生成两个或更多相应的采样的正方形块；并将 两个或更多采样的方形块组合到非正方形变换单元。
[0133] 换言之，可分别（至少通过变换处理）处理方形块的空间频率系数，所得到的采样 的正方形块被合并成非正方形TU。
[0134] 在应用变换处理之前，可传输系数作为各个集合（每个对应于正方形块）或组合 的系数的集合。在后一种情况下，方法可以包括将空间频率系数的块分成两个或更多子块； 并将空间频率变换分别应用于子块中的每个。
[0135] 如上，提出组合操作的各种选项。组合可以包括应用逆哈尔变换。可替换地，在非 正方形变换是矩形的情况下，组合可以包括将矩形变换单元的中心轴线两边的相应方形块 连接起来。可替换地，在非正方形变换单元是矩形的情况下，组合可以包括从正方形块中交 替的方形块选择变换单元的采样的交替行或列。
[0136] 其他夺换樽式
[0137] 在4:2:0方案中，存在建议的标记（所谓的'cjpprime_y_zero_transquant_ bypaSS_flag'）允许残差数据无损包含在比特流中（未经变换、量化或进一步滤波的）。在 4:2:0方案中，将标记应用至所有的通道。
[0138] 在本公开的实施方式中，建议亮度通道的标记与色度通道的独立。因此，对于 4:2:2方案，应当单独地为亮度通道和色度通道设置这种标记，并且对于4:4:4方案，分别 为亮度和色度通道设置这种标记，或者为三个通道中的每个设置一个标记。这识别与4:2:2 和4:4:4方案相关联的增大的色度数据速率，并启用例如无损亮度数据以及压缩的色度数 据。
[0139] 对于帧内预测编码，依赖于模式的方向性变换（MDDT)允许TU的水平或垂直 ICT(或两者的ICT)被替换为根据帧内预测方向的整数正弦变换。在4:2:0方案中，这未应 用于色度TU。然而，在本公开的实施方式中，建议将其应用至4:2:2和4:4:4色度TU。
[0140] 量化
[0141] 在4:2:0方案中，量化的计算对于亮度及对于色度是相同的，。只有量化参数（QP) 不同。
[0142] 下面由亮度QP计算色度的QP :
[0143]

【权利要求】
1. 一种视频编码的方法，所述方法包括： 将图像数据分成变换单元； 在非正方形变换单元的情况下，在应用空间频率变换之前将所述非正方形变换单元分 割成正方形块；并且 对所述正方形块应用空间频率变换以生成空间频率系数的相应集合。
2. 根据权利要求1所述的方法，包括以下步骤： 组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。
3. 根据权利要求1或2所述的方法，其中，所述分割的步骤包括应用哈尔变换。
4. 根据权利要求1或2所述的方法，其中，所述非正方形变换单元是矩形，并且所述分 割的步骤包括选择该矩形变换单元的中心轴线的任一侧的各自的正方形块。
5. 根据权利要求1或2所述的方法，其中，所述非正方形变换单元是矩形，并且所述分 割的步骤包括选择所述变换单元的采样的交替行或列。
6. 根据前述权利要求中任一项所述的方法，其中，所述变换单元在水平方向上具有两 倍于垂直方向上的米样。
7. 根据前述权利要求中任一项所述的方法，其中，对于帧内预测单元的变换单元，在生 成关于所述预测单元的预测图像数据之前执行所述分割的步骤。
8. 根据前述权利要求中任一项所述的方法，包括以下步骤： 启用非正方形四叉树变换； 启用非对称运动划分；并且 选择变换单元块大小以与所得到的非对称预测单元块布局对齐。
9. 根据前述权利要求中任一项所述的方法，包括以下步骤： 将用于正方形预测单元的帧内预测模式角与用于非正方形预测单元的不同帧内预测 模式角相关联。
10. 根据前述权利要求中任一项所述的方法，对于4:2:2色度子采样格式，所述方法包 括以下步骤： 使用对相应4:2:0格式预测单元采用的色度滤波器内插色度帧内预测单元，所述色度 帧内预测单元具有两倍于所述相应4:2:0格式预测单元的高度的高度；并且 仅使用内插的所述色度预测单元的交替垂直值。
11. 根据前述权利要求中任一项所述的方法，包括以下步骤： 导出用于预测单元的亮度运动矢量；并且 独立导出用于所述预测单元的色度运动矢量。
12. 根据前述权利要求中任一项所述的方法，包括以下步骤： 指示亮度残差数据将被无损地包含于比特流中；并且 独立指示色度残差数据将被无损地包含于所述比特流中。
13. 根据前述权利要求中任一项所述的方法，包括以下步骤： 提供亮度与色度量化参数之间的量化参数关联表，其中，最大色度量化参数值比最大 亮度量化参数小6。
14. 根据前述权利要求中任一项所述的方法，包括以下步骤： 定义一个或多个量化矩阵作为关于针对不同色度子采样格式定义的量化矩阵的差值。
15. 根据前述权利要求中任一项所述的方法，包括以下步骤： 从与色度变换单元一起使用的亮度上下文变量图映射熵编码上下文变量；并且 使用映射的所述上下文变量来熵编码色度变换单元的一个或多个系数。
16. 根据前述权利要求中任一项所述的方法，包括以下步骤： 启用自适应环路滤波；并且 将各自的色度采样分类到均具有各自的滤波器的多个种类中的一个。
17. 根据前述权利要求中任一项所述的方法，包括以下步骤： 启用自适应环路滤波；并且 为色度通道提供至少第一自适应环路滤波控制标记。
18. -种视频解码的方法，所述方法包括： 将空间频率变换应用于空间频率系数的块以生成两个或更多的采样的相应正方形块； 并且 将所述两个或更多的采样的正方形块组合为非正方形变换单元。
19. 根据权利要求18所述的方法，包括以下步骤： 将空间频率系数的块分割成两个或更多子块；并且 将所述空间频率变换分别应用于各个所述子块。
20. 根据权利要求18或19所述的方法，其中，所述组合的步骤包括应用逆哈尔变换。
21. 根据权利要求18或19所述的方法，其中，所述非正方形变换单元是矩形，并且所述 组合的步骤包括将该矩形变换单元的中心轴线的任一侧的各自的正方形块连接。
22. 根据权利要求18或19所述的方法，其中，所述非正方形变换单元是矩形，并且所述 组合的步骤包括从所述正方形块的交替正方形块选择所述变换单元的采样的交替行或列。
23. 根据权利要求18至22中任一项所述的方法，其中，所述变换单元在水平方向上具 有两倍于垂直方向上的采样。
24. 根据前述权利要求中任一项所述的方法，其中，所述视频编码是关于4:2:2色度子 采样格式的视频编码。
25. -种计算机软件，在由计算机执行时使所述计算机实施前述权利要求中任一项所 述的方法。
26. -种视频编码设备，所述设备包括： 分配器，被配置为将图像数据分成变换单元； 分割器，能在非正方形变换单元的情况下操作并且被配置为在应用空间频率变换之前 将所述非正方形变换单元分割成正方形块；以及 空间频率变换器，被配置为将空间频率变换应用于所述正方形块以生成空间频率系数 的相应集合。
27. -种视频解码设备，所述设备包括： 空间频率变换器，被配置为对空间频率系数的块应用空间频率变换以生成两个或更多 的采样的相应正方形块；以及 组合器，被配置为将所述两个或更多的采样的正方形块组合为非正方形变换单元。
28. 根据权利要求26或27所述的设备，能关于4:2:2色度子采样格式操作。
29. -种视频捕捉、存储、显示、传输和/或接收设备，包括：根据权利要求27所述的解 码设备和/或根据权利要求26所述的编码设备。
【文档编号】H04N19/119GK104247425SQ201380021815
【公开日】2014年12月24日 申请日期:2013年4月26日 优先权日:2012年4月26日
【发明者】詹姆斯·亚历山大·戈梅, 尼古拉斯·里安·桑德斯, 卡尔·詹姆斯·沙曼, 保罗·詹姆斯·西尔考克 申请人:索尼公司