基于亮度的色度帧内预测方法及装置制造方法
【专利摘要】本发明提供一种基于亮度的当前色度区块的色度帧内预测方法及装置。根据色度采样格式，由当前亮度区块的重建亮度像素获取色度帧内预测器。根据色度采样格式，在水平或垂直方向上对重建亮度像素使用子采样、下采样中的一种或不处理。与色度采样格式有关的信息可包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。
【专利说明】基于亮度的色度帧内预测方法及装置
[0001]交叉引用
[0002]本发明主张于2012年I月4日提交且发明名称为“Improvements of Luma-basedChroma Intra Prediction”的申请号为PCT/CN2012/070009的PCT专利申请的优先权，该PCT专利申请的全部内容在此弓I用并合并参考。
【技术领域】
[0003]本发明是有关于视频编码(video coding)，更具体地，本发明是有关于与基于重建亮度像素(reconstructed luma pixels)的色度(chroma)巾贞内预测(intraprediction)有关的编码技术。
【背景技术】
[0004]运动补偿性巾贞间(inter-frame)编码已广泛应用于各种编码标准,如MPEG-1/2/4及H.261/H.263/H.264/AVC。相比于运动补偿性帧间编码可有效减少压缩视频的比特率(bitrate),巾贞内编码(intra coding)用于压缩具有较大运动(motion)或场景(scene)改变的区域。另外，巾贞内编码也用于处理起始图像(initial picture),或为随机存取或缓和误差传递(error propagation)而周期性插入I 一图像或I 一区块。巾贞内预测使用图片内或图片区域内的空间相关。在实做中，图片或图片区域划分为区块，并在区块基础上执行帧内预测。当前区块的帧内预测依靠已处理的相邻区块的像素。例如，若图像或图像区域中的区块按行处理，先由左至右然后再由上(top)到下(bottom)，当前区块的顶部的相邻区块及左侧的相邻区块用于形成对当前区块中的像素的帧内预测。已处理的相邻区块中的任意像素可用于当前区块中的像素的帧内预测，但经常只使用靠近当前区块的顶部边界和左侧边界的相邻区块的像素。
[0005]帧内预测器通常设计为使用图像中的空间特征，如平滑区域(smooth area)(直流DC模式)、垂直线或边缘(vertical line or edge)、水平线或边缘(horizontal lineor edge)及对角线或边缘(diagonal line or edge)。此外，空间相关经常存在于亮度(Luminance, Luma)分量与色度(Chrominance, Chroma)分量之间。因此，重建的亮度像素可用于产生巾贞内色度预测。在高效视频编码(High Efficiency Video Coding, HEVC)的最新进展中，揭露一种基于同位(co-located)重建亮度区块的色度帧内预测方法。色度帧内预测的类型定义为LM (亮度)预测。主要的概念是使用重建的亮度像素来产生相应的色度像素的预测器。图1为预测操作的示意图。首先，图1A中的同位亮度区块的相邻的重建像素及图1B中色度区块的相邻的重建像素用于获取两个区块之间的相关参数。然后，使用这些参数及亮度区块的重建像素来产生色度区块的预测像素。在参数获取过程中，使用了当前亮度区块的顶部第一行重建像素和左侧第二列重建像素。使用亮度区块的特定行和列是为了匹配色度分量的4:2:0采样格式。
[0006]根据LM预测模式，色度数值由同位区块的重建亮度数值预测得出。色度分量的空间解析度可低于亮度分量。为了使用亮度信号用于色度帧内预测，亮度信号的解析度可能需要降低以匹配色度分量的解析度。
[0007]例如，对于4:2:0采样格式，U分量和V分量在垂直方向和水平方向上只有亮度分量采样值数目的一半。因此，需要在垂直方向和水平方向上对重建的亮度采样值使用2:1的解析度降级(resolution reduction)。解析度降级可通过下采样(down-sampling)处理或子采样(sub-sampling)处理来实现。
[0008]本说明书中的下采样处理指通过使用适当的低通滤波来进行的信号抽样(decimation),用以在降低解析度之前减少可能的信号混叠(signal aliasing),本领域也称为抽样。另一方面，子采样处理执行直接抽样，事先不会进行滤波。下采样处理和子采样处理均可降低采样解析度。子采样处理可能导致信号混叠，子采样处理用于某些信号处理系统中是因其简便性。对于根据LM模式的色度帧内预测，子采样处理用于水平方向，而下采样处理用于垂直方向。
[0009]在当前的HEVC系统中，参数获取总是假定基本(underlying)色度分量使用4:2:0采样格式。需要开发灵活的基于亮度的色度帧内预测，以自适应地适用其他色度采样格式。
【发明内容】
[0010]本发明提供一种基于亮度的色度帧内预测方法和装置，用于当前色度区块。根据色度采样格式，由当前亮度区块的重建亮度像素中获取色度帧内预测器。在根据本发明的一个实施例中，色度帧内预测方法由存储器或处理器中接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素。相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，其中第一组重建亮度像素位于当前亮度区块的顶部边界之上，第二组重建亮度像素位于当前亮度区块的左侧边界以左。在一实施例中，对于任意色度采样格式，第一组重建亮度像素对应于由当前亮度区块的顶部边界起的顶部以上第一行像素，以及第二组重建亮度像素对应于由当前亮度区块的左侧边界起的左侧第一列像素。然后，确定色度采样格式，编码器知晓色度采样格式，以及在解码器中，色度采样格式可由接收到的视频比特流(bitstream)中确定。然后，基于当前亮度区块的相邻重建亮度像素及当前重建亮度像素，获取相应的色度区块的色度帧内预测，其中，所述色度帧内预测的获取是根据色度采样格式。然后，色度帧内预测提供用于相应色度中色度像素的编码或解码。
[0011]根据色度采样格式，对重建亮度像素在水平或垂直方向上使用子采样、下采样或不处理。与色度采样格式有关的信息可包含于序列参数集合(Sequence ParameterSet, SPS)、图片参数集合(Picture Parameter Set, PPS)、自适应参数集合(AdaptationParameter Set, APS)或视频比特流的片头(slice header)中。
【专利附图】
【附图说明】
[0012]图1A为根据HM-5.0的基于重建亮度像素的色度帧内预测的获取示例示意图。
[0013]图1B为与待预测的相应的色度区块有关的色度像素及相邻色度像素的示例示意图。
[0014]图2为4:2:0采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。
[0015]图3为4:2:2采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。
[0016]图4为4:4:4采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。
[0017]图5为结合本发明一实施例的基于亮度的色度帧内预测的较佳流程图。
【具体实施方式】
[0018]如上所述，现行的LM模式并不灵活且当色度像素不对应于4:2:0采样格式时方法无效。相应地，基于本发明的多个实施例提供了灵活的基于亮度的色度帧内预测，可自适应地支持不同色度采样格式。
[0019]在现行的HEVC中，支持几种不同的采样格式。例如，采样格式可由4:2:0、4:2:2和4:4:4中选择。在一些色度采样格式中，在水平方向上或水平和垂直方向上，色度采样值的数目为亮度采样值的数目的一半。在此情形下，色度像素的采样位置可能对齐(aligned)或偏离(offset)亮度采样值的采样位置。换言之，在相应的亮度像素和色度像素之间可能存在相位差(phasedifference)。图2为4:2:0采样格式的相位关系的示例示意图,其中在水平和垂直方向上的色度采样值为亮度采样值的一半。在水平方向上，色度采样值与亮度采样值对齐。换言之，色度采样值总是与亮度采样值同位。因此，色度采样值与亮度采样值在水平方向上具有相同的相位。然而，在垂直方向上，色度采样值位于两相邻的亮度采样值中间。换言之，色度采样值偏离亮度采样值半个垂直亮度像素的距离。因此，色度采样值在水平方向上偏离亮度采样值90° (每对亮度采样值的相位对应于360° )。图3和图4为4:2:2采样格式和4:4:4采样格式的示意图。如图3所示，4: 2:2采样格式使得在垂直方向上色度采样值的数目与亮度采样值的数目相同，在水平方向上色度采样值的数目为亮度采样值的数目的一半。此外，色度采样值在水平与垂直方向上与亮度采样值均对齐。如图4所示，4:4:4采样格式使得在水平和垂直方向上色度采样值的数目与亮度采样值的数目相同。基于亮度的色度帧内预测模式(即用于色度帧内预测的色度LM模式)使用亮度像素与色度像素之间的相关。因此，亮度像素和色度像素之间的相位对齐对于色度LM模式的有效性很重要。
[0020]对于用于HEVC的4:2:0采样格式，在水平方向上亮度像素使用对应于(1/4，1/2，1/4)的滤波器进行下采样，其中子采样后的亮度像素的位置对应于色度像素的位置。另一方面，在垂直方向上亮度像素使用对应于(1/2，1/2)的滤波器进行下采样，以匹配色度像素的数目与位置。然后，使用采样减少(sample-reduced)的亮度像素用于色度LM模式的预测处理。如图1A所示，顶部以上第一行像素与左侧第二列像素用于获取相关参数。然而，对于其他采样格式，如4:2:2和4:4:4，选择采样减少的亮度像素的方法在现行的HM-5.0中并未指定。本发明的多个实施例根据色度采样格式使用自适应的色度LM模式，以更好地支持其他采样格式。
[0021]为了允许自适应的色度LM模式，根据本发明一实施例，在SPS或其他参数集合中增加了命名为“chroma_format_idc”的语法(syntax)元素,用于指示色度采样格式,其中其他参数集合例如PPS、APS和片头。对此语法元素的定义的示例如表I所示。表2所示为在SPS中结合了语法元素chroma_format_idc的语法设计的示例示意图，其中ue(v)/u (2) /u (3)表示编码方法。在本实施例中，色度采样格式可使用可变长度编码方法或固定长度编码方法进行编码，可变长度编码方法如无符号指数哥伦布编码(unsigned Exp-Golombcode)(即ue(v))，固定长度编码方法如2比特或3比特编码(即u (2)或u(3))。
【权利要求】
1.一种色度帧内预测方法，基于重建亮度像素，所述方法包含: 由存储器或处理器接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素，其中所述相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，所述第一组重建亮度像素位于所述当前亮度区块的顶部边界之上，所述第二组重建亮度像素位于所述当前亮度区块的左侧边界以左； 确定色度采样格式； 基于所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素，为相应的色度区块获取色度帧内预测，其中所述色度帧内预测的获取是根据所述色度采样格式进行的；以及 为所述相应的色度中的色度像素的编码或解码提供所述色度帧内预测。
2.根据权利要求1所述的方法，其特征在于，与所述色度采样格式有关的信息包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。
3.根据权利要求1所述的方法，其特征在于，所述色度帧内预测的获取包含:若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的子采样。
4.根据权利要求1所述的方法，其特征在于，若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有与所述多个亮度像素数目相同的所述色度像素，则在所述色度帧内预测的获取期间对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素不在所述方向上使用子采样或下采样。
5.根据权利要求1所述的方法，其特征在于，所述色度帧内预测的获取包含:若所述色度采样格式对应于偏离多个亮度像素且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的下采样。
6.根据权利要求1所述的方法，其特征在于，对于任意色度采样格式，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素。
7.根据权利要求6所述的方法，其特征在于，根据所述色度采样格式，对由所述当前亮度区块的所述顶部边界起的所述第一行像素及由所述当前亮度区块的所述左侧边界起的所述第一列像素使用子采样或下采样。
8.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第二列像素，以及其中，若所述色度采样格式对应于4:2:0采样格式，则对所述顶部以上第一行像素使用下采样，并对所述左侧第二列像素使用下采样。
9.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:2:2采样格式，则对所述顶部以上第一行像素使用子采样或下采样，并对所述左侧第一列像素不使用子采样或下采样。
10.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:4:4采样格式，对所述顶部以上第一行像素或所述左侧第一列像素不使用子采样或下采样。
11.一种色度帧内预测装置，基于重建亮度像素，所述装置包含: 由存储器或处理器接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素的装置，其中所述相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，所述第一组重建亮度像素位于所述当前亮度区块的顶部边界之上，所述第二组重建亮度像素位于所述当前亮度区块的左侧边界以左； 确定色度采样格式的装置； 基于所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素，为相应的色度区块获取色度帧内预测的装置，其中所述色度帧内预测的获取是根据所述色度采样格式进行的；以及 为所述相应的色度中的色度像素的编码或解码提供所述色度帧内预测的装置。
12.根据权利要求11所述的装置，其特征在于，与所述色度采样格式有关的信息包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。
13.根据权利要求11所述的装置，其特征在于，所述色度帧内预测的获取包含:若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的子采样。
14.根据权利要求11所述的装置，其特征在于，若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有与所述多个亮度像素数目相同的所述色度像素，则在所述色度帧内预测的获取期间对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素不在所述方向上使用子采样或下采样。
15.根据权利要求11所述的装置，其特征在于，所述色度帧内预测的获取包含:若所述色度采样格式对应于偏离多个亮度像素且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的下采样。
16.根据权利要求11所述的装置，其特征在于，对于任意色度采样格式，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素。
17.根据权利要求16所述的装置，其特征在于，根据所述色度采样格式，对由所述当前亮度区块的所述顶部边界起的所述第一行像素及由所述当前亮度区块的所述左侧边界起的所述第一列像素使用子采样或下采样。
18.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第二列像素，以及其中，若所述色度采样格式对应于4:2:0采样格式，则对所述顶部以上第一行像素使用下采样，并对所述左侧第二列像素使用下采样。
19.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:2:2采样格式，则对所述顶部以上第一行像素使用子采样或下采样，并对所述左侧第一列像素不使用子采样或下采样。
20.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:4:4采样格式，对所述顶部以上第一行像素或所述左侧第一列像素不使用子采样或下采样。
【文档编号】H04N19/593GK103918269SQ201280051870
【公开日】2014年7月9日 申请日期:2012年12月28日 优先权日:2012年1月4日
【发明者】雷少民, 郭峋 申请人:联发科技（新加坡）私人有限公司