本申请是申请日为2012年11月5日、申请号为201210436432.8、名称为“视频数据的解码设备”的专利申请的分案申请。
本发明涉及一种对视频数据解码的设备，更具体而言，涉及一种利用导出帧内预测模式，产生预测块和残余块以针对亮度和色度分量恢复重构块的设备。
背景技术：
在h.264/mpeg-4avc中，一幅画面被分成多个宏块来对图像编码，利用帧间预测或帧内预测产生预测块，从而对相应宏块编码。变换初始块和预测块之间的差异以产生变换块，利用量化参数和多个预定量化矩阵之一对变换块进行量化。通过预定扫描类型扫描量化块的量化系数并随后进行熵编码。针对每个宏块调节量化参数，并利用先前的量化参数对其进行编码。
同时，引入了利用编码单元各种大小的技术以提高编码效率。还引入了增加亮度和色度帧内预测模式数量的技术以产生更类似于初始块的预测块。
但是，随着帧内预测模式数量增加，发送帧内预测模式所需的编码比特量增加。而且，随着编码单元的大小变大，初始块和预测块之间的差异更大。因此，需要一种更有效的方法来针对亮度和色度分量对视频数据编码和解码。
技术实现要素：
【技术问题】
本发明涉及一种导出帧内预测模式，产生参考像素，自适应地过滤参考像素并产生预测块的设备。
【技术方案】
本发明的一个方面提供了一种对视频数据解码的设备，包括：预测模式解码单元，配置成导出亮度帧内预测模式和色度帧内预测模式；预测大小确定单元，配置成利用亮度大小信息确定亮度变换单元的大小和色度变换单元的大小；参考像素产生单元，配置成如果至少一个参考像素不可用则产生参考像素；参考像素过滤单元，配置成基于亮度帧内预测模式和亮度变换单元的大小自适应地过滤当前亮度块的参考像素，不过滤当前色度块的参考像素；预测块产生单元，配置成产生当前亮度块和当前块的预测块；以及残余块产生单元，配置成产生残余亮度残余块和色度残余块。
【有利效果】
根据本发明的设备导出亮度帧内预测模式和色度帧内预测模式；利用亮度变换大小信息确定亮度变换单元的大小和色度变换单元的大小；基于亮度帧内预测模式和亮度变换单元的大小自适应地对当前亮度块的参考像素进行过滤；产生当前亮度块和当前块的预测块；以及产生残余亮度残余块和色度残余块。因此，帧内预测的距离变短，减少了对帧内预测模式、亮度和色度分量的残余块编码所需的编码比特量，并通过对帧内预测模式进行自适应编码以及对参考像素进行自适应过滤减小了编码复杂性。
附图说明
图1是根据本发明的图像编码设备的方框图；
图2是根据本发明的图像解码设备的方框图；
图3是根据本发明产生预测块的设备的方框图；
图4是示出了根据本发明的帧内预测模式的示意图；
图5是根据本发明产生残余块的设备方框图。
具体实施方式
在下文中，将参考附图详细描述本发明的各实施例。不过，本发明不限于下文公开的示范性实施例，而是可以通过各种方式实施。因此，本发明很多其他修改和变化都是可能的，要理解的是，在所公开的概念范围之内，可以通过与具体所述不同的方式实践本发明。
图1是根据本发明的图像编码设备100的方框图。
参考图1，根据本发明的图像编码设备100包括图画分割单元110、帧内预测单元120、帧间预测单元130、变换单元140、量化单元150、扫描单元160、熵编码单元170、逆量化单元155、逆变换单元145、后期处理单元180、图画存储单元190、减法器192和加法器194。
图画分割单元110将图画划分成多个切片，将切片划分成多个最大编码单元(lcu)，并将每个lcu划分成一个或多个编码单元。图画分割单元110确定每个编码单元的预测模式和预测单元大小。图画、切片和编码单元由亮度样本阵列(亮度阵列)和两个色度样本阵列(色度阵列)构成。色度块具有亮度块一半的高度和一半的宽度。所述块可以是lcu、编码单元或预测单元。在下文中，将亮度编码单元、亮度预测单元和亮度变换单元分别称为编码单元、预测单元和变换单元。
lcu包括一个或多个编码单元。lcu具有递归的四叉树结构，以指定编码单元的分割结构。用于指定编码单元的最大大小和最小大小的参数包括在序列参数集中。由一个或多个分裂编码单元标志(split_cu_flag)指定分割结构。编码单元的大小是2n×2n。
编码单元包括一个或多个预测单元。在帧内预测中，预测单元的大小是2n×2n或n×n。在帧间预测中，预测单元的大小是2n×2n、2n×n、n×2n或n×n。
编码单元包括一个或多个变换单元。变换单元具有递归的四叉树结构，以指定分割结构。由一个或多个分裂变换单元标记(split_tu_flag)指定分割结构。指定亮度变换单元的最大大小和最小大小的参数包括在序列参数集中。如果变换单元不是4×4，色度变换单元具有变换单元的一半高度和一半宽度。色度变换单元的最小大小为4×4。
帧内预测单元120确定当前预测单元的帧内预测模式并利用该帧内预测模式产生预测块。预测块的大小等于变换单元的大小。
帧间预测单元130利用图画存储单元190中存储的一个或多个参考图画确定当前预测单元的运动信息并产生预测单元的预测块。运动信息包括一个或多个参考图画索引和一个或多个运动矢量。
变换单元140变换利用初始块和预测块产生的残余信号以产生变换块。由变换单元变换残余信号。变换类型由预测模式和变换单元的大小确定。变换类型是基于dct的整数变换或基于dst的整数变换。在帧间预测中，使用基于dct的整数变换。在帧内预测模式中，如果变换单元的大小小于预定大小，使用基于dst的整数变换，否则使用基于dct的整数变换。预定大小为8×8。色度变换单元的变换类型和对应变换单元的变换类型相同。因此，用于色度变换单元的变换类型是基于dct的整数变换。
量化单元150确定用于量化变换块的量化参数。量化参数是量化步长。亮度量化参数称为量化参数。针对每个量化单元确定量化参数。量化单元的大小是编码单元可允许大小之一。如果编码单元的大小等于或大于量化单元的最小大小，编码单元变为量化单元。量化单元中可以包括多个编码单元。针对每个图画确定量化单元的最小大小，在图画参数集中包括用于指定量化单元最小大小的参数。由量化参数确定色度量化参数。可以由图画确定量化参数和色度量化参数之间的关系。在图画参数集(pps)中发送表示所述关系的参数。可以由切片改变所述关系。可以在切片报头中发送用于改变关系的另一参数。
量化单元150产生量化参数预测器并通过从量化参数减去量化参数预测器来产生差分量化参数。对差分量化参数进行熵编码。
如下利用相邻编码单元的量化参数和先前编码单元的量化参数产生量化参数预测器。
按照下述次序顺序检索左量化参数、上量化参数和前量化参数。在有两个或更多量化参数可用时，将按照该次序检索的前两个可用量化参数的平均值设置为量化参数预测器，在仅有一个量化参数可用时，将可用的量化参数设置为量化参数预测器。亦即，如果有左和上量化参数可用，则将左和上量化参数的平均值设置为量化参数预测器。如果仅有左和上量化参数之一可用，将可用量化参数和前一量化参数的平均值设置为量化参数预测器。如果左和上量化参数都不可用，将前一量化参数设置为量化参数预测器。对平均值进行四舍五入。
量化单元150利用量化矩阵和量化参数对变换块进行量化以产生量化块。向逆量化单元155和扫描单元160提供量化块。
扫描单元160确定扫描模式并向量化块应用该扫描模式。在将cabac用于熵编码时，如下确定扫描模式。
在帧内预测中，由帧内预测模式和变换单元的大小确定扫描模式。变换单元的大小、变换块的大小和量化块的大小是相同的。在对角线扫描、垂直扫描和水平扫描间选择扫描模式。将量化块的量化变换系数分成显著标记、系数符号和系数级别。将所述扫描模式分别应用于显著标记、系数符号和系数级别。显著标志表示对应的量化变换系数是否为零。系数符号表示非零量化变换系数的符号，系数级别表示非零量化变换系数的绝对值。
在变换单元的大小等于或小于第一大小时，为垂直模式和垂直模式的预定数量的相邻帧内预测模式选择水平扫描，为水平模式和水平模式的预定数量的相邻帧内预测模式选择垂直扫描，为其他帧内预测模式选择对角线扫描。在变换单元的大小大于第一大小时，使用对角线扫描。第一大小为8×8。如果变换单元为8×8，预定数量为8。
在帧间预测中，不论变换单元的大小如何，都使用预定扫描模式。预定扫描模式是对角线扫描。
色度变换单元的扫描模式与对应亮度变换单元的扫描模式相同。因此，在色度变换单元的大小为4×4时，如上所示，在对角线扫描、垂直扫描和水平扫描中选择扫描模式，在色度变换单元的大小大于4×4时，使用对角线扫描。
在变换单元的大小大于第二大小时，将量化块分成主要子集和多个剩余子集，将确定的扫描模式应用于每个子集。根据确定的扫描模式分别扫描每个子集的显著标记、系数符号和系数级别。主要子集包括dc系数，剩余子集覆盖了除主要子集覆盖的区域之外的区域。第二大小是4×4。所述子集是包含16个变换系数的4×4块。针对色度的子集也是包含16个变换系数的4×4块。
用于扫描子集的扫描模式与用于扫描每个子集的量化变换系数的扫描模式相同。沿相反方向扫描每个子集的量化变换系数。也沿反向扫描所述子集。
对最后非零系数位置编码并发送到解码器。最后非零系数位置指定最后非零量化变换系数在变换单元中的位置。使用最后非零系数位置确定在解码器中发送的子集数量。针对除主要子集和最后子集之外的子集设置非零子集标志。最后子集覆盖最后的非零系数。非零子集标志表示子集是否包含非零系数。
逆量化单元155对量化块的量化的变换系数进行逆量化。
逆变换单元145对逆量化块进行逆变换以产生空间域的残余信号。
加法器194通过将残余块和预测块相加来产生重构块。
后期处理单元180执行解块过滤过程，以清除重建图画中产生的分块人为噪声。
图画存储单元190从后期处理单元180接收经后期处理的图像并在图画单元中存储所述图像。图画可以是帧或场。
熵编码单元170对从扫描单元160接收的一维系数信息、从帧内预测单元120接收的帧内预测信息、从帧间预测单元130接收的运动信息等进行熵编码。
图2是根据本发明的图像解码设备200的方框图。
根据本发明的图像解码设备200包括熵解码单元210、逆扫描单元220、逆量化单元230、逆变换单元240、帧内预测单元250、帧间预测单元260、后期处理单元270、图画存储单元280和加法器290。
熵解码单元210从接收的比特流提取帧内预测信息、帧间预测信息和一维系数信息。熵解码单元210向帧间预测单元260发送帧间预测信息，向帧内预测单元250发送帧内预测信息，向逆扫描单元220发送系数信息。
逆扫描单元220使用逆扫描模式产生量化块。在将cabac用于熵编码时，如下确定扫描模式。
在帧内预测中，由帧内预测模式和变换单元的大小确定逆扫描模式。在对角线扫描、垂直扫描和水平扫描间选择逆扫描模式。将选择的逆扫描模式分别应用于显著标记、系数符号和系数级别以产生量化块。色度变换单元的逆扫描模式和对应亮度变换单元的扫描模式相同。色度变换单元的最小大小为4×4。
在变换单元的大小等于或小于第一大小时，为垂直模式和垂直模式的预定数量的相邻帧内预测模式选择水平扫描，为水平模式和水平模式的预定数量的相邻帧内预测模式选择垂直扫描，为其他帧内预测模式选择对角线扫描。在变换单元的大小大于第一大小时，使用对角线扫描。在变换单元的大小大于第一大小时，为所有帧内预测模式选择对角线扫描。第一大小为8×8。如果变换单元为8×8，所述预定数量为8。
在帧间预测中，使用对角线扫描。
在变换单元的大小大于第二大小时，利用确定逆扫描模式以子集为单位逆扫描显著标记、系数符号和系数级别以产生子集，逆扫描所述子集以产生量化块。第二大小等于子集的大小。所述子集是包括16个变换系数的4×4块。针对色度的子集也是4×4块。因此，在色度变换单元的大小大于第二大小时，首先产生子集，并对子集进行逆扫描。
用于产生每个子集的逆扫描模式与用于产生量化块的逆扫描模式相同。沿相反方向逆扫描显著标记、系数符号和系数级别。也沿反向逆扫描所述子集。
从编码器接收最后非零系数位置和非零子集标志。根据最后非零系数位置和逆扫描模式确定编码子集的数量。使用非零子集标记选择要产生的子集。利用逆扫描模式产生主要子集和最后子集。
逆量化单元230从熵解码单元210接收差分量化参数并产生量化参数预测器，以产生编码单元的量化参数。产生量化参数的操作与图1的量化单元150操作相同。然后，通过将差分量化参数和量化参数预测器相加产生当前编码单元的量化参数。如果没有从编码器接收用于当前编码单元的差分量化参数，将差分量化参数设置为0。
用于表示量化参数和色度量化参数之间关系的参数被包括在pps中。如果允许由切片改变所述关系，将另一个参数包括在切片报头中。因此，利用量化参数和pps中包括的参数或利用量化参数和两个所述参数产生色度量化参数。
逆量化单元230对量化块进行逆量化。
逆变换单元240对逆量化块进行逆变换以恢复残余块。根据预测模式和变换单元的大小自适应地确定逆变换类型。逆变换类型是基于dct的整数变换或基于dst的整数变换。例如，在帧间预测中，使用基于dct的整数变换。在帧内预测模式中，如果变换单元的大小小于预定大小，使用基于dst的整数变换，否则使用基于dct的整数变换。色度变换单元的逆变换类型与对应变换单元的逆变换类型相同。因此，用于色度变换单元的逆变换类型是基于dct的整数变换。
帧内预测单元250利用接收的帧内预测信息恢复当前预测单元的帧内预测模式，并根据恢复的帧内预测模式产生预测块。
帧间预测单元260利用接收的帧间预测信息恢复当前预测单元的运动信息，并利用所述运动信息产生预测块。
后期处理单元270与图1的后期处理单元180同样工作。
图画存储单元280从后期处理单元270接收经后期处理的图像并在图画单元中存储所述图像。图画可以是帧或场。
加法器290将恢复的残余块和预测块相加以产生重构块。
图3是根据本发明产生预测块的设备300的方框图。
根据本发明的设备300包括语法分析单元310、预测模式解码单元320、预测大小确定单元330、参考像素产生单元340、参考像素过滤单元350和预测块产生单元360。
语法分析单元310对来自比特流的当前预测单元的帧内预测参数进行语法分析。
针对亮度的帧内预测参数包括模式组指示符和预测模式索引。模式组指示符是表示当前预测单元的帧内预测模式是否属于最可能的模式组(mpm组)的标志。如果所述标志是1，当前预测单元的帧内预测单元属于mpm组。如果所述标志是0，当前预测单元的帧内预测单元属于残余模式组。残余模式组包括除mpm组的帧内预测模式之外的所有帧内预测模式。预测模式索引指定由模式组指示符指定的组之内当前预测单元的帧内预测模式。由色度预测模式索引指定针对色度的帧内预测参数。
预测模式解码单元320导出亮度帧内预测模式和色度帧内预测模式。
如下导出亮度帧内预测模式。
利用相邻预测单元的帧内预测模式构造mpm组。由左帧内预测模式和上帧内预测模式自适应地确定mpm组的帧内预测模式。左帧内预测模式是左相邻预测单元的帧内预测模式，上帧内预测模式是上相邻预测单元的帧内预测模式。mpm组由三个帧内预测模式构成。
如果不存在左或上相邻预测单元，将左或上相邻单元的帧内预测模式设置为不可用。例如，如果当前预测单元位于图画的左或上边界，则不存在左或上相邻预测单元。如果左或上相邻单元位于其他切片之内，将左或上相邻单元的帧内预测模式设置为不可用。
图4是示出了根据本发明的帧内预测模式的示意图。如图4所示，帧内预测模式的数量为35。dc模式和平面模式是非方向性帧内预测模式，其他是方向性帧内预测模式。
在左帧内预测模式和上帧内预测模式都可用且彼此不同时，将左帧内预测模式和上帧内预测模式包括在mpm组中，将一个额外的帧内预测模式加到mpm组。如果左和上帧内预测模式之一是非方向性模式，另一个是方向性模式，将另一个非方向性模式设置为所述额外帧内预测模式。如果左和上帧内预测模式都是非方向性模式，将垂直模式设置为所述额外帧内预测模式。
在仅有左帧内预测模式和上帧内预测模式之一可用时，将可用的帧内预测模式包括在mpm组中，将两个额外帧内预测模式加到mpm组。如果可用的帧内预测模式是非方向性模式，将其他非方向性模式和垂直模式设置为所述额外帧内预测模式。如果可用的帧内预测模式是方向性模式，将两个非方向性模式设置为所述额外帧内预测模式。
在左帧内预测模式和上帧内预测模式都不可用时，将dc模式、平面模式和垂直模式增加到mpm组。
如果模式组指示符指示mpm组，将预测模式索引指定的mpm组的帧内预测设置为当前预测单元的帧内预测模式。
如果模式组指示符不指示符指示mpm组，按照模式编号次序对mpm组的三个帧内预测重新排序。在mpm组的三个帧内预测模式中，将模式编号最低的帧内预测模式设置为第一候选，将模式编号中间的帧内预测模式设置为第二候选，将模式编号最高的帧内预测模式设置为第三候选。
如果预测模式索引等于或大于mpm组的第一候选，将预测模式索引的值增加一。如果预测模式索引等于或大于mpm组的第二候选，将预测模式索引的值增加一。如果预测模式索引等于或大于mpm组的第三候选，将预测模式索引的值增加一。将最后预测模式索引的值设置为当前预测单元的帧内预测模式的模式编号。
将色度帧内预测模式设置为由色度预测模式索引指定的帧内预测模式。如果色度预测索引指定dm模式，将色度帧内预测模式设置成等于亮度帧内预测模式。
预测大小确定单元330基于指定变换单元大小的变换大小信息确定预测块的大小。所述变换大小信息可以是一个或多个split_tu_flag。还基于变化大小信息确定色度预测块的大小。色度预测的最小大小为4×4。
如果变换单元的大小等于当前预测单元的大小，预测块的大小等于当前预测单元的大小。
如果变换单元的大小小于当前预测单元的大小，预测块的大小等于当前预测单元的大小。在这种情况下，对当前预测单元的每个子块执行产生重构块的过程。亦即，产生当前子块的预测块和残余块，通过将预测块和残余块相加产生每个子块的重构块。然后，产生解码次序中下一子块的预测块、残余块和重构块。使用恢复的帧内预测模式产生所有子块的所有预测块。将当前子块的重构块的一些像素用作下一子块的参考像素。因此，能够产生更类似于初始子块的预测块。
如果当前块的一个或多个参考像素不可用，参考像素产生单元340产生参考像素。当前块的参考像素由位于(x＝0，…，2n-1，y＝-1)的上参考像素、位于(x＝-1，y＝0，…，2m-1)的左参考像素和位于(x＝-1，y＝-1)的角像素构成。n是当前块的宽度，m是当前块的高度。当前块是具有变换单元大小的当前预测单元或当前子块。如果一个或多个参考像素不可用，还产生当前色度块的参考像素。
如果所有参考像素都不可用，用值2l-1替代所有参考像素的值。l的值是用于表示亮度像素值的比特数量。
如果可用参考像素仅位于不可用参考像素的一侧，则用最接近不可用像素的参考像素值替代不可用参考像素。
如果可用参考像素位于不可用参考像素的两侧，则用在每侧最接近不可用像素的参考像素的平均值或在预定方向上最接近不可用像素的参考像素值替代每个不可用参考像素。
参考像素过滤单元350基于帧内预测模式和变换单元的大小自适应地对当前亮度块的参考像素进行过滤。
在dc模式中，不对参考像素进行过滤。在垂直模式和水平模式中，不对参考像素进行过滤。在除了垂直和水平模式的方向性模式中，根据当前块的大小调整参考像素。
如果当前的大小是4×4，在所有帧内预测模式中都不对参考像素过滤。对于8×8、16×16和32×32的大小，随着当前块的大小变大，对参考像素进行过滤的帧内预测模式数量增大。例如，在垂直模式和垂直模式的预定数量的相邻帧内预测模式中不对参考像素进行过滤。在水平模式和水平模式的预定数量的相邻帧内预测模式中也不对参考像素进行过滤。所述预定数量介于0到7之间，随着当前块大小变大而减小。
不论帧内预测模式和变换单元的大小如何，参考像素过滤单元350都不对当前色度块的参考像素进行过滤。
预测块产生单元360根据恢复的帧内预测模式利用参考像素产生当前块的预测块。
在dc模式中，通过对位于(x＝0，…n-1，y＝-1)的n个参考像素和位于(x＝-1，y＝0，..m-1)的m个参考像素求平均值来产生预测块的预测像素。由一个或两个相邻参考像素过滤与所述参考像素相邻的亮度预测像素。不对色度预测像素进行过滤。
在垂直模式中，通过拷贝对应上参考像素来产生预测像素。由左相邻参考像素和角参考像素过滤与左参考像素相邻的亮度预测像素。不对色度预测像素进行过滤。
在水平模式中，通过拷贝水平对应左参考像素来产生预测像素。由左相邻参考像素和角参考像素过滤与上参考像素相邻的亮度预测像素。不对色度预测像素进行过滤。
图5是根据本发明产生残余块的设备400的方框图。
根据本发明的设备400包括熵解码单元410、逆扫描单元420、逆量化单元430和逆变换单元440。
熵解码单元410对被编码的残余信号解码以产生量化系数分量。在将cabac用于熵编码时，所述系数分量包括显著标记、系数符号和系数级别。显著标志表示对应的量化变换系数是否为零。系数符号表示非零量化变换系数的符号，系数级别表示非零量化变换系数的绝对值。
逆扫描单元420确定逆扫描模式并利用所述逆扫描模式产生量化块。逆扫描单元420的工作与图2的逆扫描单元220相同。
逆量化单元430导出量化参数，选择逆量化矩阵并对量化块进行逆量化，以产生变换块。
如下导出亮度量化参数。
确定量化单元的最小大小。利用pps中包括的qu大小指示符针对每个图画确定量化单元的最小大小。qu大小指示符指定量化单元的最小大小。
产生当前编码单元的差分量化参数(dqp)。通过熵解码针对每个量化单元产生dqp。如果当前编码单元不包含编码的dqp，将dqp设置为零。如果量化单元包括多个编码单元，将dqp包括在包含非零系数的第一编码单元的比特流中。
产生当前编码单元的量化参数预测器。利用图2的逆量化单元230的相同操作产生量化参数预测器。如果量化单元包括多个编码单元，产生解码次序中第一编码单元的量化参数预测器，将产生的量化参数预测器为量化单元之内所有其他编码单元共享。
利用dqp和量化参数预测器产生量化参数。
利用亮度量化参数和表示亮度量化参数和色度量化参数之间关系的偏移参数产生色度量化参数。所述偏移参数包括在pps中。如果允许由切片改变偏移，则由切片报头中包括的偏移调节参数改变偏移参数。
逆变换单元440对变换块进行逆变换以产生残余块。根据预测模式和变换单元的大小自适应地确定逆变换类型。逆变换类型是基于dct的整数变换或基于dst的整数变换。在帧内预测模式中，如果亮度变换单元的大小小于8×8，使用基于dst的整数变换，否则使用基于dct的整数变换。将基于dct的整数变化应用于色度变换块。
将预测块和残余块相加来产生重构块。重构块的大小等于变换单元的大小。因此，如果预测单元的大小大于变换单元，则产生第一重构块，然后通过产生预测块和残余块来产生解码次序中的下一重构块，直到产生最后重构块。使用当前预测单元的帧内预测模式产生预测块和残余块。
尽管已经参考其某些示范性实施例示出并描述了本发明，但本领域的技术人员将理解，可以在其中做出各种形式和细节的改变而不脱离如所附权利要求界定的本发明精神和范围。