视频数据的解码方法与流程

本案是分案申请，其母案为于2012年11月7日申请的申请号为201210441762.6的题为“视频数据的解码方法”的专利申请。

本发明涉及一种对视频数据解码的方法，更具体而言，涉及一种在合并模式中导出运动信息，产生预测块和残余块以获得重构块的方法。

背景技术：

在h.264/mpeg-4avc中，幅画面被分成多个宏块，利帧间预测或帧内预测产生预测块，从而对每个宏块编码。变换初始块和预测块之间的残余块以产生变换块，利用量化参数和预定量化矩阵对变换块进行量化。利用扫描模式扫描量化块的量化系数并随后进行熵编码。针对每个宏块调节量化参数，并利用先前的量化参数对其进行预测性编码。

在帧间预测模式中，使用运动估计来消除相继图画之间的时间冗余度。为了检测时间冗余度，搜索一个或多个参考图画，以估计当前块的运动，并利用运动信息执行运动补偿以产生预测块。在预定范围的参考图画中搜索非常类似于初始块的块。如果搜索到类似于初始块的块，对初始块和搜索到的块之间的残余块和运动信息编码并发送到解码侧。

运动信息至少包括一个参考图画索引和至少一个运动矢量。对运动矢量进行预测性地编码。亦即，利用相邻块的运动矢量产生运动矢量预测器，对运动矢量和运动矢量预测器之间的差异编码以减少对运动矢量编码所需的编码比特量。在h.264中，左运动矢量、上运动矢量和左上运动矢量的中值被用作运动矢量预测器。

不过，如果当前块的运动与相邻块的运动不同，根据h.264的运动矢量的编码效率下降。而且，在运动信息与相邻块之一相同时，h.264的运动矢量预测器降低编码效率。

此外，如果使用编码单元的各种大小进行帧间预测，针对每个编码单元调节量化参数导致对量化参数编码所需的编码比特增加，量化参数和先前量化参数之间的相关性变得比h.264更弱。

技术实现要素：

技术问题

本发明涉及一种推导运动信息并产生重构块的方法。

技术方案

本发明的一个方面提供了一种在合并模式中对视频数据解码的方法，包括：利用可用的空间合并候选(spatialmergecandidate)和时间合并候选(temperalmergecandidate)构造合并候选列表，利用合并索引和合并候选列表导出运动信息(motioninformation)，利用所述运动信息产生预测块(predictionblock)，通过利用量化参数和量化矩阵对量化块进行逆量化并通过对逆量化块进行逆变换来产生残余块(residualblock)，以及利用所述残余块和所述预测块产生重构块。

有利效果

根据本发明的方法利用可用的空间合并候选和时间合并候选构造合并候选列表，利用合并索引和合并候选列表导出运动信息，利用所述运动信息产生预测块，通过利用量化参数和量化矩阵对量化块进行逆量化并通过对逆量化块进行逆变换来产生残余块，以及利用所述残余块和所述预测块产生重构块。针对每个量化单元产生量化参数，且针对每个图画调节量化单元的最小大小。因此，通过在相邻块和时间块之一选择运动信息的预测器，运动信息的编码效率。而且，通过针对每个量化单元自适应地调节量化参数并利用多个相邻量化参数产生量化参数预测器来改进残余块的编码效率。

附图说明

图1是根据本发明的图像编码设备的方框图；

图2是示出了根据本发明对视频数据编码的流程的流程图；

图3是流程图，示出了根据本发明在合并模式中对运动信息编码的方法；

图4是示意图，示出了根据本发明的空间合并候选块(spatialmergecandidateblock)的位置；

图5是示意图，示出了根据本发明的时间合并候选块(temporalmergecandidateblock)的位置；

图6是根据本发明的图像解码设备的方框图；

图7是流程图，示出了根据本发明在帧间预测模式中对图像解码的方法；

图8是流程图，示出了在合并模式中导出运动信息的方法；

图9是流程图，示出了根据本发明在帧间预测模式中产生残余块的流程；

图10是流程图，示出了根据本发明导出量化参数的方法。

具体实施方式

在下文中，将参考附图详细描述本发明的各实施例。不过，本发明不限于下文公开的示范性实施例，而是可以通过各种方式实施。因此，本发明很多其他修改和变化都是可能的，要理解的是，在所公开的概念范围之内，可以通过与具体所述不同的方式实践本发明。

根据本发明的图像编码设备和图像解码设备可以是用户终端，例如个人计算机、个人移动终端、移动多媒体播放器、智能电话或无线通信终端。图像编码装置和图像解码装置可以包括用于和各种装置通信的通信单元、用于存储对图像编码或解码的各种程序和数据的存储器。

图1是根据本发明的图像编码设备100的方框图。

参考图1，根据本发明的图像编码设备100包括图画分割单元110、帧内预测单元120、帧间预测单元130、变换单元140、量化单元150、扫描单元160、熵编码单元170、逆量化/变换单元180、后期处理单元190和图画存储单元195。

图画分割单元110将图画或切片划分成多个最大编码单元(lcu)，并将每个lcu划分成一个或多个编码单元。lcu的大小可以是32×32、64×64或128×128。图画分割单元110确定每个编码单元的预测模式和分割模式。

lcu包括一个或多个编码单元。lcu具有递归的四叉树(recursivequadtree)结构，以指定lcu的分割结构。用于指定编码单元的最大大小和最小大小的参数包括在序列参数集中。由一个或多个分裂编码单元标志(split_cu_flag)指定分割结构。编码单元的大小是2n×2n。如果lcu的大小是64×64，最小编码单元(scu)的大小是8×8，编码单元的大小可以是64×64、32×32、16×16或8×8。

编码单元包括一个或多个预测单元。在帧内预测中，预测单元的大小是2n×2n或n×n。在帧间预测中，预测单元的大小由分割模式指定。如果编码单元被对称地分割，分割模式是2n×2n、2n×n、n×2n和n×n之一。如果编码单元被不对称地分割，分割模式是2n×nu、2n×nd、nl×2n和nr×2n之一。

编码单元包括一个或多个变换单元。变换单元具有递归的四叉树结构，以指定编码单元的分割结构。由一个或多个分裂变换单元标记(split_tu_flag)指定分割结构。用于指定变换单元的最大大小和最小大小的参数包括在序列参数集中。

帧内预测单元120确定当前预测单元的帧内预测模式并利用帧内预测模式产生一个或多个预测块。

帧间预测单元130利用图画存储单元195中存储的一个或多个参考图画确定当前预测单元的运动信息并产生预测单元的预测块。运动信息包括一个或多个参考图画索引和一个或多个运动矢量。

变换单元140变换残余块以产生变换块。残余块具有变换单元的大小。如果预测单元比变换单元大，将当前块和预测块之间的残余信号划分成多个残余块。

量化单元150确定用于量化变换块的量化参数。量化参数表示量化步长。针对每个量化单元确定量化参数。量化单元的大小可以变化，等于编码单元可允许大小之一。如果编码单元的大小等于或大于所述最小大小，则编码单元变为量化单元。最小尺寸的量化单元中可以包括多个编码单元。针对每幅图画确定量化单元的最小大小，在图画参数集中包括用于指定量化单元最小大小的参数。

量化单元150产生量化参数预测器并通过从量化参数减去量化参数预测器产生差分量化参数。对差分量化参数进行熵编码。

如下利用相邻编码单元的量化参数和先前编码单元的量化参数产生量化参数预测器。

按照所述次序顺序取得左量化参数、上量化参数和前量化参数。在有两个或更多量化参数时，将按照该次序取得的前两个可用量化参数的平均值设置为量化参数预测器，在仅有一个量化参数时，将可用的量化参数设置为量化参数预测器。亦即，如果有左和上量化参数可用，则将左和上量化参数的平均值设置为量化参数预测器。如果仅有左和上量化参数之一，将可用量化参数和前一量化参数的平均值设置为量化参数预测器。如果左和上量化参数都不可用，将前一量化参数设置为量化参数预测器。对平均值进行四舍五入。

将差分量化参数转换到用于差分量化参数绝对值的容器以及用于通过二值化过程表示差分量化参数的符号的容器中，对容器进行算术编码。如果差分量化参数的绝对值是0，可以省略用于表示符号的容器。将截断一元码用于所述绝对值的二值化。

量化单元150利用量化矩阵和量化参数对变换块进行量化以产生量化块。向逆量化/变换单元180和扫描单元160提供该量化块。

扫描单元160向量化块应用扫描模式。在帧间预测中，如果将cabac用于熵编码，则使用对角线扫描作为扫描模式。将量化块的系数分成量化系数分量。量化系数分量是显著标记、系数符号和系数级别。向每个系数分量应用对角线扫描。显著系数表示对应的量化系数是否为零。系数符号表示非零量化系数的符号，系数级别表示非零量化系数的绝对值。

在变换单元的大小大于预定大小时，将量化块分成多个子集并向每个子集应用对角线扫描。根据对角线扫描分别扫描每个子集的显著标记、系数符号和系数级别。预定大小是4×4。子集是包含16个变换系数的4×4块。

用于扫描子集的扫描模式与用于扫描系数分量的扫描模式相同。沿相反方向扫描每个子集的显著标记、系数符号和系数级别。也沿反向扫描子集。

对表示上一非零系数位置的参数编码并发送到解码侧。该参数指定量化块之内上一非零量化系数的位置。针对第一子集和最后子集之外的每个子集定义非零子集标志并将其发送到解码侧。第一子集覆盖dc系数。最后子集覆盖最后的非零系数。非零子集标志表示子集是否包含非零系数。

熵编码单元170对从扫描单元160接收的扫描系数分量、从帧内预测单元120接收的帧内预测信息、从帧间预测单元130接收的运动信息等进行熵编码。

逆量化/变换单元180对量化块的量化系数进行逆量化，并对逆量化块进行逆变换以产生残余块。

后期处理单元190执行解块过滤(deblockingfiltering)过程，以清除重建图画中产生的分块人为噪声(blockingartifact)。

图画存储单元195从后期处理单元190接收经后期处理的图像并在图画单元中存储图像。一幅图画可以是一帧或字段。

图2是示出了根据本发明对视频数据编码的程序的流程图。

确定当前块的运动信息(s110)。当前块是预测单元。由编码单元的大小和分割模式确定当前块的大小。

运动信息根据预测类型而变化。如果预测类型是单向预测，运动信息包括指定参考表0的图画的参考索引和运动矢量。如果预测类型是双向预测，运动信息包括指定参考表0的图画和参考表1的图画的两个参考索引和表0运动矢量与表1运动矢量。

利用运动信息产生当前块的预测块(s120)。如果运动矢量指示出了像素位置，则通过拷贝运动矢量指定的参考图画块来产生预测块。如果运动矢量指示出了子像素位置，通过对参考图画的像素进行内插产生预测块。

利用当前块和预测块产生残余块(s130)。

对残余块进行编码(s140)。残余块具有与变换单元相同的大小。如果预测单元比变换单元大，将当前块和预测块之间的残余信号划分成多个残余块。由图1的变换单元140、量化单元150、扫描单元160和熵编码单元170对一个或多个残余块编码。

对运动信息进行编码(s150)。可以利用当前块的空间候选和时间候选预测性地对运动信息编码。在跳跃模式、合并模式或amvp模式中对运动信息编码。在跳跃模式中，预测单元具有编码单元的大小，利用与合并模式相同的方法对运动信息编码。

图3是流程图，示出了根据本发明在合并模式中对运动信息编码的方法。

推导出空间合并候选(s210)。图4是示意图，示出了根据本发明的空间合并候选块的位置。

如图4所示，将当前块的可用左块(块a)、可用上块(块b)、可用右上块(块c)和可用左下块(块d)设置为合并候选块。如果没有块a、b、c和d中的一个或多个，那么将可用的左上块(块e)设置为合并候选块。将合并候选块的运动信息设置为空间合并候选。

如果空间合并候选块被帧内编码、不存在或位于与当前切片不同的切片中，将空间合并候选块设置为不可用。

导出时间合并候选(s220)。时间合并候选包括时间合并候选的参考图画索引和运动矢量。

可以利用相邻块的一个或多个参考图画索引导出时间合并候选的参考图画索引。例如，将左相邻块、上相邻块和角相邻块的参考图画索引之一设置为时间合并候选的参考图画索引。角相邻块是右上相邻块、左下相邻块和左上相邻块之一。或者，可以将时间合并候选的参考图画索引设置为零以降低复杂性。

可以如下推导时间合并候选的运动矢量。

首先，确定时间合并候选图画。时间合并候选图画包括时间合并候选块。在切片之内使用一个时间合并候选图画。可以将时间合并候选图画的参考图画索引设置为零。

如果当前切片为p切片，将参考图画列表0的参考图画之一设置为时间合并候选图画。如果当前切片为b切片，将参考图画列表0和1的参考图画之一设置为时间合并候选图画。如果当前切片为b切片，则在切片报头中包括列表指示符，指明时间合并候选图画属于参考图画列表0还是1。可以在切片报头中包括指定时间合并候选图画的参考图画索引。

接下来，确定时间合并候选块。时间合并候选块可以是第一候选块或第二候选块。如果有第一候选块，将第一候选块设置为时间合并候选块。如果没有第一候选块，将第二候选块设置为时间合并候选块。如果没有第二候选块，将时间合并候选块设置为不可用。

图5是示意图，示出了根据本发明的时间合并候选块的位置。如图5所示，第一合并候选块可以是块c的右下角块(块h)。块c与当前块具有相同的大小和相同的位置，位于时间合并候选图画之内。第二合并候选块是覆盖块c中心的左上像素的块。

如果确定了时间合并候选块，将时间合并候选块的运动矢量被设置为时间合并候选的运动矢量。

构造合并候选列表(s230)。以预定次序列出可用的空间候选和可用的时间候选。按照a、b、c、d和e的次序最多列出四个空间合并候选。可以在b和c之间或在空间候选之后列出时间合并候选。

判断是否产生一个或多个合并候选(s240)。通过比较合并候选列表中列出的合并候选数量与预定的合并候选数量来进行判断。可以针对每个图画或切片确定预定数量。

如果合并候选列表中列出的合并候选数量小于预定的合并候选数量，产生一个或多个合并候选(s250)。在最后可用合并候选之后列出产生的合并候选。

如果可用的合并候选数量等于或大于2，两个可用合并候选之一具有列表0的运动信息，另一个具有列表1的运动信息，可以通过组合列表0的运动信息和列表1的运动信息产生合并候选。如果有多种组合，可以产生多个合并候选。

可以向列表增加一个或多个零合并候选。如果切片类型为p，零合并候选仅具有列表0的运动信息。如果切片类型为b，零合并候选具有列表1的运动信息。

在合并列表的合并候选之间选择合并预测器，对指定合并预测器的合并索引编码(s260)。

图6是根据本发明的图像解码设备200的方框图。

根据本发明的图像解码设备200包括熵解码单元210、逆扫描单元220、逆量化单元230、逆变换单元240、帧内预测单元250、帧间预测单元260、后期处理单元270、图画存储单元280和加法器290。

熵解码单元210利用语境自适应二进制算术解码方法从接收的比特流提取帧内预测信息、帧间预测信息和量化系数分量。

逆扫描单元220向量化系数分量应用逆扫描模式以产生量化块。在帧间预测中，逆扫描模式为对角线扫描。量化系数分量包括显著标记、系数符号和系数级别。

在变换单元的大小大于预定大小时，利用对角线扫描以子集为单位逆扫描显著标记、系数符号和系数级别以产生子集，利用对角线扫描逆扫描子集以产生量化块。预定大小等于子集的大小。子集是包括16个变换系数的4×4块。沿相反方向逆扫描显著标记、系数符号和系数级别。也沿反向逆扫描子集。

从比特流提取指示非零系数位置和非零子集标志的参数。基于表示非零系数位置的参数确定编码子集的数量。使用非零子集判断对应的子集是否具有至少一个非零系数。如果非零子集标志等于1，利用对角线扫描产生子集。利用逆扫描模式产生第一个子集和最后一个子集。

逆量化单元230从熵解码单元210接收差分量化参数并产生量化参数预测器，以产生编码单元的量化参数。产生量化参数预测器的操作与图1的量化单元150相同。然后，通过将差分量化参数和量化参数预测器相加产生当前编码单元的量化参数。如果不从编码侧发送差分量化参数，将差分量化参数设置为零。

逆量化单元230对量化块进行逆量化。

逆变换单元240对逆量化块进行逆变换以产生残余块。根据预测模式和变换单元的大小自适应地确定逆变换矩阵。逆变换矩阵是基于dct的整数变换矩阵或基于dst的整数变换矩阵。将基于dct的整数变换矩阵用于帧间预测。

帧内预测单元250利用帧内预测信息导出当前预测单元的帧内预测模式，并根据导出的帧内预测模式产生预测块。

帧间预测单元260利用帧间预测信息导出当前预测单元的运动信息，并利用运动信息产生预测块。

后期处理单元270与图1的后期处理单元180同样工作。

图画存储单元280从后期处理单元270接收经后期处理的图像并在图画单元中存储图像。图画可以是帧或场。

加法器290将恢复的残余块和预测块相加以产生重构块。

图7是流程图，示出了根据本发明在帧间预测模式中对图像解码的方法。

导出当前块的运动信息(s310)。当前块是预测单元。由编码单元的大小和分割模式确定当前块的大小。

运动信息根据预测类型而变化。如果预测类型是单向预测，运动信息包括指定参考表0的图画的参考索引和运动矢量。如果预测类型是双向预测，运动信息包括指定参考表0的图画的参考索引、指定参考表1的图画的参考索引和表0运动矢量与表1运动矢量。

根据运动信息的编码模式对运动信息进行自适应解码。由跳越标记和合并标记确定运动信息的编码模式。如果跳越标记等于1，则不存在合并标记，编码模式为跳跃模式。如果跳越标记等于0且合并标记等于1，编码模式为合并模式。如果跳越标记和合并标志等于0，编码模式为amvp模式。

利用运动信息产生当前块的预测块(s320)。

如果运动矢量表示像素位置，则通过拷贝运动矢量指定的参考图画块来产生预测块。如果运动矢量表示子像素位置，通过对参考图画的像素进行内插产生预测块。

产生残余块(s330)。由图6的熵解码单元210、逆扫描单元220、逆量化单元230和逆变换单元240产生残余块。

利用预测块和残余块产生重构块(s340)。

预测块具有与预测单元同样的大小，残余块具有与变换单元相同的大小。因此，将残余信号和同样大小的预测信号相加以产生重构信号。

图8是流程图，示出了在合并模式中导出运动信息的方法。

从比特流提取合并索引(s410)。如果不存在合并索引，将合并候选的数量设置为一。

导出空间合并候选(s420)。所述空间合并候选与图3的s210中所述相同。

导出时间合并候选(s430)。该时间合并候选包括时间合并候选的参考图画索引和运动矢量。时间合并候选的参考索引和运动矢量与图3的s220中所述相同。

构造合并候选列表(s440)。合并列表与图3的s230中所述相同。

判断是否产生一个或多个合并候选(s450)。通过比较合并候选列表中列出的合并候选数量与预定的合并候选数量来进行判断。可以针对每个图画或切片确定预定数量。

如果合并候选列表中列出的合并候选数量小于预定的合并候选数量，产生一个或多个合并候选(s460)。在最后可用合并候选之后列出产生的合并候选。以与图3的s250所述相同的方法产生合并候选。

将合并索引指定的合并候选设置为当前块的运动信息(s470)。

图9是流程图，示出了根据本发明在帧间预测模式中产生残余块的流程。

由熵解码单元产生量化的系数分量(s510)。

通过根据对角线扫描逆扫描量化系数分量来产生量化块(s520)。量化系数分量包括显著标记、系数符号和系数级别。

在变换单元的大小大于预定大小时，利用对角线扫描以子集为单位逆扫描显著标记、系数符号和系数级别以产生子集，利用对角线扫描逆扫描子集以产生量化块。预定大小等于子集的大小。子集是包括16个变换系数的4×4块。沿相反方向逆扫描显著标记、系数符号和系数级别。也沿反向逆扫描子集。

从比特流提取指示非零系数位置和非零子集标志的参数。基于表示非零系数位置的参数确定编码子集的数量。使用非零子集判断对应的子集是否具有至少一个非零系数。如果非零子集标志等于1，利用对角线扫描产生子集。利用逆扫描模式产生第一个子集和最后一个子集。

利用逆量化矩阵和量化参数对量化块进行逆量化(s530)。

图10是流程图，示出了根据本发明导出量化参数的方法。

导出量化单元的最小大小(s531)。从比特流提取指定最小大小的参数(cu_qp_delta_enabled_info)并通过以下方程确定量化单元的最小大小。

log2(minqusize)＝log2(maxcusize)–cu_qp_delta_enabled_info

minqusize表示量化单元的最小大小，maxcusize表示lcu的大小。从图画参数集提取参数cu_qp_delta_enabled_info。量化单元的大小等于编码单元的可允许大小之一。

导出当前编码单元的差分量化参数(s532)。针对每个量化单元包括差分量化参数。因此，如果当前编码单元的大小等于或大于最小大小，则为当前编码单元恢复差分量化参数。如果不存在差分量化参数，将差分量化参数设置为零。如果多个编码单元属于最小大小的量化单元，包含解码次序中至少一个非零系数的第一编码单元包含差分量化参数。

对编码的差分量化参数进行算术解码以产生表示差分量化参数的绝对值的容器串和表示差分量化参数符号的容器。容器串可以是截尾的一元码。如果差分量化参数的绝对值是零，则不存在表示符号的容器。利用表示绝对值的容器串和表示符号的容器导出差分量化参数。

导出当前编码单元的量化参数预测器(s533)。如下利用相邻编码单元的量化参数和先前编码单元的量化参数产生量化参数预测器。

按照所述次序顺序检索左量化参数、上量化参数和前量化参数。在有两个或更多量化参数时，将按照该次序检索的前两个可用量化参数的平均值设置为量化参数预测器，在仅有一个量化参数时，将可用的量化参数设置为量化参数预测器。亦即，如果有左和上量化参数，则将左和上量化参数的平均值设置为量化参数预测器。如果仅有左和上量化参数之一，将可用量化参数和前一量化参数的平均值设置为量化参数预测器。如果左和上量化参数都不可用，将前一量化参数设置为量化参数预测器。

如果多个编码单元属于最小大小的量化单元，则导出解码次序中第一编码单元的量化参数预测器并用于其他编码单元。

利用差分量化参数和量化参数预测器产生当前编码单元的量化参数(s534)。

通过对逆量化块进行逆变换来产生残余块(s540)。使用一维水平和垂直的基于dct的逆变换。

尽管已经参考其某些示范性实施例示出并描述了本发明，但本领域的技术人员将理解，可以在其中做出各种形式和细节的改变而不脱离如所附权利要求界定的本发明精神和范围。