专利名称：运动信息编/解码及可分级视频编/解码设备和方法
技术领域：
本发明涉及可分级视频编码和解码，更具体地讲，涉及可以在低比特率下极大地提高重构图像的主观显示质量的运动信息编码/解码设备和方法，以及使用所述运动信息编码/解码设备和方法的可分级视频编码/解码设备和方法。
背景技术：
众所周知，运动补偿的视频编码的编码效率非常依赖于运动数据和残差数据(即，纹理数据)之间的比特分配。最佳的折衷依赖于空间和时间分辨率以及比特率。使用单个运动字段，难以产生在大范围的空间时间分辨率和比特率上提供率失真几乎最佳的编码效率的可分级比特流。因此，可分级比特流应该包含运动数据的可分级呈现。
对于基于高级视频编码(AVC)的运动补偿时域滤波(MCTF)方法，使用两个不同的概念来提供信噪比(SNR)可分级性和空间可分级性。为了实现SNR可分级性，使用分层呈现来对作为运动补偿时域滤波的结果获得的低通和高通画面编码。在每一增强层中，发送在原始子带画面和在对基本层和先前增强层解码之后获得的重构的子带画面之间计算的残差信号的近似值。对于相同空间分辨率的所有SNR层，使用相同的运动字段，从先前SNR层预测残差数据。然而，对于每一空间层，估计并发送单独的运动字段。换句话说，不同空间层的运动字段被独立地编码，残差数据被发送而不从先前空间层预测。仅对帧内宏块编码采用从下级空间层预测。这样，运动和残差数据的预测可提高基于AVC的MCTF方法的编码效率。
然而，在通过上述方法产生的可分级比特流中的使用低比特率的至少一层中，与残差数据相比运动数据的量相对较大，因而使得显示质量的降低较严重。
通过参照附图对本发明示例性实施例进行的详细描述，本发明的以上和其它特征及优点将会变得更加清楚，其中图1是根据本发明实施例的可分级视频编码设备的框图；图2A和图2B是用于解释从图1A所示的可分级视频编码设备产生示例性的可分级比特流的处理的示图；图3是根据本发明实施例的运动信息编码设备的框图；图4是可应用根据本发明的运动信息编码方法的另一示例性可分级比特流；图5是图3所示的编码单元的详细框图；图6A至图6E示出用于产生运动数据的运动估计方向；图7A至图7D示出图3的基本运动数据产生单元产生基本运动数据所使用的第一块的划分模式；图8A至图8D示出图3的增强运动数据产生单元产生增强运动数据所使用的第二块的划分模式；图9A至图9C示出当图3的编码单元对增强运动数据编码时所添加的新的运动补偿模式；图10是根据本发明实施例的可分级视频解码设备的框图；图11是根据本发明实施例的运动信息解码设备的框图；图12A和图12B是当时间可分级性被提供给每层时用于比较根据现有技术的可分级比特流和根据本发明的可分级比特流的每层中的运动信息的编码状态的示图；图13A和图13B是比较通过传统的可分级编码算法和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了BUS序列的96Kbps的重构的第24帧；图14A和图14B是比较通过传统的可分级编码算法和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了FOOTBALL序列的192 Kbps的重构的第258帧；和图15A和图15B是比较通过传统的可分级编码算法和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了FOREMAN序列的32Kbps的重构的第92帧。
本发明的详细描述技术问题本发明提供了一种运动信息编码/解码设备和方法，在该设备和方法中，可以在低比特率下极大地提高重构图像的主观显示质量。
本发明还提供了一种采用所述运动信息编码/解码设备和方法的可分级视频编码/解码设备和方法。
技术解决方案根据本发明的一方面，提供了一种运动信息编码设备，包括编码规则确定单元，在通过可分级视频编码产生的可分级比特流的第一层的基本运动数据和增强运动数据中，根据第一块和对应于第一块的第二块之间的运动补偿模式确定第二块的运动补偿模式的编码规则；和运动补偿模式编码单元，基于确定的编码规则对增强运动数据的第二块的运动补偿模式编码。
根据本发明的另一方面，提供了一种运动信息编码设备，包括编码规则确定单元，在通过可分级视频编码产生的可分级比特流中的第一层的运动数据和第二层的运动数据中，根据第一块和对应于第一块的第二块之间的运动补偿模式确定第二块的运动补偿模式的编码规则；和运动补偿模式编码单元，基于确定的编码规则对第二层的运动数据的第二块的运动补偿模式编码。
根据本发明的另一方面，提供了一种运动信息编码方法，包括在通过可分级视频编码产生的可分级比特流的第一层的基本运动数据和增强运动数据中，根据第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则；和基于确定的编码规则对增强运动数据的第二块的运动补偿模式编码。
根据本发明的另一方面，提供了一种运动信息编码方法，包括在通过可分级视频编码产生的可分级比特流中的第一层的运动数据和第二层的运动数据中，根据第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则；和基于确定的编码规则对第二层的运动数据的第二块的运动补偿模式编码。
根据本发明的另一方面，提供了一种运动信息解码设备，包括指示符分析单元，分析包括在第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，第一层比特流和第二层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对第二层的运动补偿模式解码。
根据本发明的另一方面，提供了一种运动信息解码设备，包括指示符分析单元，分析包括在包括第一层的增强运动数据的第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，具有基本运动数据的第一层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对增强运动数据的运动补偿模式解码。
根据本发明的另一方面，提供了一种运动信息解码方法，包括通过对可分级比特流解复用将可分级比特流分离成每层比特流；通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；通过参考从第一层比特流解码的视频和运动数据对分离的第二层比特流解码。
根据本发明的另一方面，提供了一种运动信息解码方法，包括分析包括在第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，第一层比特流和第二层比特流从可分级比特流分离；和基于确定的解码规则对第二层的运动补偿模式解码。
根据本发明的另一方面，提供了一种可分级视频解码设备，包括解复用单元，通过对可分级比特流解复用将可分级比特流分离成每层比特流；第一层解码单元，通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；第二层解码单元，通过参考由第一层解码单元解码的视频和运动数据对分离的第二层比特流解码。
根据本发明的另一方面，提供了一种可分级视频解码方法，包括通过对可分级比特流解复用将可分级比特流分离成每层比特流；通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；通过参考从第一层比特流解码的视频和运动数据对分离的第二层比特流解码。
可通过计算机可读记录介质来实现所述运动信息编码/解码方法和可分级视频编码/解码方法，所述计算机可读记录介质记录有用于实现所述方法的程序。此外，通过运动信息编码方法或可分级视频编码方法产生的可分级比特流可记录在计算机可读记录介质上或者存储在计算机可读记录介质中。
有益的效果根据本发明，可以在低比特率下极大地提高重构的图像的主观(即，视觉)显示质量。
具体实施例方式
图1是根据本发明实施例的可分级视频编码设备的框图。所述可分级视频编码设备包括可分级编码单元110和复用单元130。
参照图1，可分级编码单元110基于预定的可分级编码方法产生包含多个层的比特流的可分级比特流，其中，每层比特流包括运动数据和纹理数据。
在第一实施例中，如图2A所示，可分级编码单元110用基本运动数据和增强运动数据来构造使用低比特率的层的运动数据，将与用于纹理数据的预定比特相比其数量增加了分配给增强运动数据的比特的比特分配给使用低比特率的层的纹理数据。可分级编码单元110将与用于纹理数据的预定比特相比其数量减少了分配给对应于低比特率的层的增强运动数据的比特的比特分配给使用比低比特率高的比特率的层的纹理数据。可分级编码单元110通过基于分配的比特执行编码来产生基本层比特流和至少一个增强层比特流，并将产生的比特流输出到复用单元130。如图2B所示，在产生的多个比特流中，使用低比特率的层的比特流包括基本运动数据和纹理数据，使用比低比特率高的比特率的层的比特流包括运动数据、使用低比特率的层的增强运动数据和纹理数据。所使用的比特率从基本层比特流开始逐渐增加。因此，基本层比特流以最低的比特率被发送。这里，基本层比特流可与其它比特流独立地被解码，增强层比特流用于提高基本层比特流。可根据比特流可分级性等级来产生至少一个增强层比特流。
类似于第二实施例，在第二实施例中，可分级编码单元110用基本运动数据和增强运动数据来构造使用低比特率的层的运动数据。此外，关于基本运动数据和增强运动数据之间的相应块，根据基本运动数据的运动补偿模式和增强运动数据的运动补偿模式来对增强运动数据的运动补偿模式编码。结果，可极大地减少用于对增强运动数据的运动补偿模式编码的比特。然后，类似于第二实施例，使用低比特率的层的比特流包括基本运动数据和纹理数据，而使用比低比特率高的比特率的层的比特流包括运动数据、使用低比特率的层的增强运动数据和纹理数据。
在第三实施例中，可分级编码单元110产生多层比特流，如图6所示，每层比特流包括单个运动字段和纹理字段。此外，关于第一层和第二层之间的相应块，根据第一层的相应块的运动补偿模式和第二层的相应块的运动补偿模式来对第二层的相应块的运动补偿模式编码。结果，可极大地减少用于对第二层的每个块的运动补偿模式编码的比特。这里，第一层和第二层彼此靠近，就像图6中的层0和层1、层1和层2或者层2和层3。
作为可分级编码单元110中所使用的可分级编码方法，空间可分级编码方法、时间可分级编码方法、信噪比(SNR)可分级编码方法或精细可分级(Fine Granularity Scalability，FGS)编码方法已经公知。例如，在空间可分级编码方法中，基本层比特流是具有低分辨率或大小较小的比特流，增强层比特流用于增加基本层比特流的分辨率或大小。当电视(TV)广播采用空间可分级编码方法时，产生基本层比特流，以便其可由现有的TV接收机和高清晰TV接收机再现，产生增强层比特流，以便其仅可由HDTV接收机再现。可通过复用这些比特流来形成与现有TV接收机和HDTV接收机两者兼容的比特流。
时间可分级编码方法允许选择性地提高比特流的时间分辨率。例如，当基本层比特流具有每秒30帧的分辨率时，可使用增强层比特流将基本层比特流的分辨率增加到每秒60帧的分辨率。SNR可分级编码方法允许选择性地提高再现的图像的质量。例如，当基本层比特流包含将被再现为低质量图像的比特流时，可以通过对基本层比特流解码并基于解码结果对增强层比特流解码来获得高质量图像。FGS可分级编码方法用更多的层来保证可分级性。存在以下情况发送方发送包含具有基本质量和发送环境下所允许的最小带宽的图像的信息的基本层比特流以及包含快速改变的发送环境下具有最大带宽的改进图像的信息的增强层比特流，接收方接收基本层比特流但不接收增强层比特流。在这种情况下，FGS可分级编码方法允许使用接收方所接收的所有比特流来重构改进图像的信息。
复用单元130复用从可分级编码单元110提供的基本层比特流和至少一个增强层比特流，并输出如图2B或图6所示的可分级比特流。这里，复用单元130还可包括在将产生的可分级比特流输出到可分级视频解码设备之前用于临时存储或记录所产生的可分级比特流的记录介质(未示出)，诸如存储器。
图2A和图2B是用于解释从图1A所示的可分级视频编码设备产生示例性的可分级比特流的处理的示图。这里，根据时间可分级编码方法，可分级比特流包括四层，使用低比特率的层的运动字段具有可分级性等级1。然而，对应于低比特率的层的运动字段还可具有可分级性等级2或更高。在层0 211中，每秒提供7.5个四分之一通用中间格式(QCIF)帧，在层1 231中每秒提供15个QCIF，在层2 251中每秒提供30个通用中间格式(CIF)帧，在层3 271中每秒提供60个4CIF帧。这里，层0 211对应于基本层比特流，层1 231至层3 271对应于增强层比特流。可以以96Kbps的比特率发送层0 211，以192Kbps的比特率发送层1 231，以384 Kbps的比特率发送层2 251，以750Kbps的比特率发送层3 271。
根据本发明的示例性的可分级比特流被设计为使用低比特率的层(即，这里的层0 211和层1 231)具有具有可分级性的运动字段。将参照图1所示的可分级视频编码设备来更详细地描述这种结构。
参照图2A，对于层0 211，可分级编码单元110产生基本运动数据和增强运动数据，用产生的基本运动数据构造第一基本运动字段M_BL0 212，用产生的增强运动数据构造第一增强运动字段M_EL0 213，产生纹理数据，并用产生的纹理数据构造第一纹理字段T_L0 214。类似地，对于层1 231，可分级编码单元110产生基本运动数据和增强运动数据，用产生的基本运动数据构造第二基本运动字段M_BL1 232，用产生的增强运动数据构造第二增强运动字段M_EL1 233，产生纹理数据，并用产生的纹理数据构造第二纹理字段T_L1 234。对于层2 251，可分级编码单元110产生运动数据，用产生的运动数据构造第一运动字段M_L2 252，产生纹理数据，并构造第三纹理字段T_L2 253。对于层3 271，可分级编码单元110产生运动数据，用产生的运动数据构造第二运动字段M_L3 272，产生纹理数据，并用产生的纹理数据来构造第四纹理字段T_L3 273。
可分级编码单元130分别将层0 211的第一增强运动字段M_EL0 213和层1 231的第二增强运动字段M_EL1 233分布在层2 251的第三纹理字段T_L2 253和层3 271的第四纹理字段T_L3 273上，从而产生如图2B所示的可分级比特流。层0 211用第一基本运动字段M_BL0 212和第一纹理字段T_L0 215构造，层1 231用第二基本运动字段M_BL1 232和第二纹理字段T_L1 235构造，层2 251用第一运动字段M_L2 252、第一增强运动字段M_EL0213和第三纹理字段T_L2 254构造，层3 271用第二运动字段M_L3 272、第二增强运动字段M_EL1 233和第四纹理字段T_L3 274构造。由于分配给层0211至层3 271中的每层的比特数被预先确定，所以在层0 211中，与分配给第一增强运动字段M_EL0 213的比特数相同数量的比特还可被分配给第一纹理字段T_L0 215。由于相同的原因，在层1 231中，与分配给第二增强运动字段M_EL1 233的比特数相同数量的比特还可被分配给第二纹理字段T_L1235。通过这样的分配，当单独使用层0 211或者使用对应于低比特率的层0和层1 231来重构图像时，可实现显示质量的提高。在层2 251和层3 271中，分配给第三纹理字段T_L2 254或第四纹理字段T_L3 274的比特数可减少分配给层0 211的第一增强运动字段M_EL0 213或层1 231的第二增强运动字段M_EL1 233的比特数。然而，这样的分配不会造成显示质量的改变。当使用低比特率的层的运动字段具有可分级性等级2或更高时，它包括至少两个增强运动字段，每个增强运动字段可在使用比低比特率高的比特率的层上顺序分布。
图3是根据本发明实施例的运动信息编码设备的框图。图3的运动信息编码设备被包括在图1的可分级编码单元110中。图3的可分级运动信息编码设备包括第一运动估计单元310、第二运动估计单元330和编码单元350。第一运动估计单元310包括基本运动数据产生单元311和增强运动数据产生单元313。根据期望的运动字段中可分级性等级，至少一个增强运动数据产生单元310可包括在第一运动估计单元310中。
参照图3，第一运动估计单元310产生构成使用预定低比特率的至少一个层的运动字段的基本运动数据和增强运动数据。第一运动估计单元310的基本运动数据产生单元311使用当前帧和至少一个参考帧图像(诸如，至少一个先前帧和/或至少一个将来帧)以构成第一块的第一划分为单位执行运动估计，并产生每个第一划分的运动矢量。第一块可具有16×16的大小。如图7所示，第一块可具有四种划分模式，其中，最大的第一划分大小为16×16，最小的第一划分大小为8×8。决定运动估计方向和第一块的划分模式以将下面定义的代价函数Cbase_MB最小化。
Cbase_MB=Σi∈I[SADbase(i,MVbasemode(i)+λbaseR(i,MVbasemode(i))].....................................(1)]]>其中，I代表在四种划分模式中的每种模式下构成第一块的划分的数量。例如，在图7A中，单个16×16划分构成第一块，因而I为1。在图7B中，两个16×8划分构成第一块，因而I为2。在图7C中，两个8×16划分构成第一块，因而I为2。在图7D中，四个8×8划分构成第一块，因而I为4。SADbase(i，MVbasemode(i))代表当在每种划分模式下运动估计方向和运动矢量MVbasemode(i)被应用于每个划分(i)时的绝对差之和(SAD)。MVbasemode(i)代表每个划分(i)中的运动估计方向和运动矢量。λbase代表拉格朗日系数，R(i，MVbasemode(i)代表分配给每个划分(i)中的运动估计方向和运动矢量MVbasemode(i)的比特数。
基本运动数据产生单元311在一帧上产生包括以16×16大小的第一块为单位的划分模式、以每个划分为单位的运动估计方向(即，参考帧的索引)和以每个划分为单位的运动矢量的基本运动数据。
增强运动数据产生单元313在使用等式1决定的第一块的划分模式下，使用当前帧和至少一个参考帧(诸如，至少一个先前帧和/或至少一个将来帧)，通过以构成具有对应于第一块的位置的第二块的第二划分为单位执行运动估计来产生每个划分的运动矢量。第二块具有16×16的大小。如图6所示，第二块可具有七种划分模式，其中，最大的第二划分具有16×16的大小，最小的第二划分具有4×4的大小。也决定第二块的运动估计方向模式(即，运动补偿模式)和划分模式以将等式1决定的代价函数最小化。然而，当决定基本运动数据的第一块的运动估计方向和划分模式并决定增强运动数据的第二块的运动估计方向和划分模式时，使用不同的拉格朗日系数。因而，可获得运动信息的可分级性。
类似地，增强运动数据产生单元313在一帧上产生包括以16×16大小的第二块为单位的划分模式、以第二块或每个划分为单位的运动估计方向(即，参考帧的索引)和以每个划分为单位的运动矢量的增强运动数据。
第一块和第二块的大小彼此相同，第二块比第一块更精细地划分。因此，通过粗略的运动估计获得基本运动数据，通过精细的运动估计获得增强运动数据。
第二运动估计单元330产生构成对应于比低比特率高的比特率的层的比特流的运动数据。使用当前帧以及至少一个先前帧和/或至少一个将来帧通过一般运动估计产生所述运动数据。在一帧上，所述运动数据包括以第二块为单位的划分模式、以每个划分为单位的运动估计方向(即，参考帧的索引)和以每个划分为单位的运动矢量。
编码单元350对从第一运动估计单元310或第二运动估计单元330提供的运动数据执行编码。具体地讲，编码单元350在第一块和对应于第一块的第二块之间设置三种类型的运动补偿模式，根据两种运动补偿模式的类型预先设置第二块的编码规则。编码单元350以帧为单位对从第一运动估计单元310提供的基本运动数据和增强运动数据中的第一块和第二块之间的运动补偿模式的类型计数，并使用每种类型的编码规则对一帧内的第二块的运动补偿模式编码。根据一帧的编码结果，编码单元350确定与具有用对第二块的运动补偿模式编码的最少累计的比特的类型对应的编码规则来作为所述帧中第二块的运动补偿模式的编码规则，从而可减少对第二块的运动补偿模式编码所需的比特。编码单元350对指示确定的编码规则的指示符执行可变长度编码，并基于确定的编码规则对第二块的运动补偿模式执行可变长度编码。
图4是可应用根据本发明的运动信息编码方法的另一示例性的可分级比特流。在另一示例性的可分级比特流中，每个层411、431、451或471不论其比特率如何都具有单个运动字段412、432、452或472以及单个纹理字段413、433、453或473。
参照图4，例如，第一块对应于层0 411中的运动字段412的运动数据，第二块对应于层1 431中的运动字段432的运动数据。这样，图3的编码单元350的编码原理可应用于图2A所示的单个层中的具有可分级性的运动数据或者图4所示的分别包含在两个层中的运动数据。
图5是图3所示的编码单元350的详细框图。编码单元350包括编码规则确定单元510和运动补偿模式编码单元530。
参照图5，编码规则确定单元510以帧为单位对从第一运动估计单元310提供的基本运动数据和增强运动数据中的相应的第一块和第二块之间的运动补偿模式的类型进行计数，并使用每种类型的编码规则对一帧内的第二块的运动补偿模式编码。根据一帧的编码结果，编码规则确定单元510确定与具有对第二块的运动补偿模式编码所需的累计比特和原始比特之间的最大差的类型对应的编码规则为所述帧中第二块的运动补偿模式的编码规则。
运动补偿模式编码单元530对指示确定的编码规则的指示符执行可变长度编码，并基于确定的编码规则对第二块的运动补偿模式执行可变长度编码。
图6A至图6E示出基本运动数据产生单元311或增强运动数据产生单元313产生基本运动数据或增强运动数据所使用的运动估计方向，即，运动补偿模式。图6A示出第一条跳跃(SkiP)模式，图6B示出直接(DirecT)模式，图6C示出双向(BiD)模式，图6D示出前向(FwD)模式，图6E示出后向(BwD)模式。
图7A至图7D示出图3的基本运动数据产生单元产生基本运动数据所使用的第一块的四种划分模式。图7A示出单个16×16划分构成第一块的划分模式，图7B示出两个16×8划分构成第一块的划分模式，图7C示出两个8×16划分构成第一块的划分模式，图7D示出四个8×8划分构成第一块的划分模式。换句话说，构成第一块的最大第一划分具有16×16的大小，构成第一块的最小第一划分具有8×8的大小。
图8A至图8D示出图3的增强运动数据产生单元313产生增强运动数据所使用的对应于第一块的第二块的划分模式。图8A示出单个16×16划分构成第二块的划分模式，图8B示出两个8×16划分构成第二块的划分模式，图8C示出两个16×8划分构成第二块的划分模式，图8D示出四个8×8划分构成第二块的划分模式。此外，图8D中的每个8×8划分被划分为两个4×8划分、两个8×4划分或四个4×4划分。换句话说，构成第二块的最大第二划分具有16×16的大小，构成第二块的最小第二划分具有4×4的大小。
图9A至图9C示出当图3的编码单元350对增强运动数据编码时所添加的以第二块为单位的新的运动补偿模式，即，第二跳跃(New_SkiP)模式。这里，基本运动数据的第一块的划分模式具有如同图7A中的最大第一划分大小16×16，增强运动数据的第二块的划分模式具有如图8D中的第二划分大小8×8。首先，通过参考第一块和第二块来比较包括在整个帧的基本运动数据和增强运动数据中的运动补偿模式，分别对对应于低比特率的每个层或者对具有单个运动字段的两个层确定指示一帧之内的第二块的运动补偿模式的类型的指示符(SkiP_indicator)。对确定的指示符进行可变长度编码，并将其记录在每帧中与第二块有关的运动字段的开始。指示整个帧中第二块的运动补偿模式的类型的指示符(SkiP_indicator)可用于如图9A至图9C所示的三种不同情况。在图9A中，“SkiP_indicator”被可变长度编码为“0”。在图9B中，“SkiP_indicator”被可变长度编码为“10”。在图9C中，“SkiP_indicator”被可变长度编码为“11”。
更具体地讲，在图9A中，增强运动数据的第二块913的四个划分的运动补偿模式相同，对应于第二块913的基本运动数据的第一块911的运动补偿模式与第二块913的四个划分的运动补偿模式相同。当由于图9A所示的第一块和第二块之间的运动补偿模式而导致第二块的运动补偿模式的比特实际减少时，“0”被分配为“SkiP_indicator”。在这种情况下，对于基本运动数据而言，以第一划分为单位对第一块911的运动补偿模式执行可变长度编码。对于增强运动数据而言，仅发送第二跳跃模式的可变长度码，而不以第二划分为单位对对应于第一块911的第二块913的四个划分的运动补偿模式执行可变长度编码。换句话说，当“SkiP_indicator”为0时，发送第二跳跃模式的可变长度编码来作为第二块的运动补偿模式。因而，显著地减少了对运动补偿模式编码所分配的比特数。同时，当一帧的第二块的运动补偿模式的类型被确定为图9A时，如果第一块和第二块之间的运动补偿模式的类型不同于图9A，那么对第二块的所有划分的运动补偿模式编码。
就解码而言，对可分级比特流的运动数据进行可变长度解码，分别对对应于低比特率的每层或者具有单个运动字段的两个层检查指示一帧中第二块的运动补偿模式的类型的指示符(SkiP_indicator)。当“SkiP_indicator”为0并且接收到第二跳跃模式(New_SkiP)时，对应于对第一块解码的可变长度码的运动补偿模式也适用于对应于第一块的第二块的四个划分。也就是说，当“SkiP_indicator”为0并且接收到第二跳跃模式时，参考第一块的运动补偿模式来确定第二块的运动补偿模式。
在图9B中，增强运动数据的第二块933的四个划分的运动补偿模式相同，对应于第二块933的基本运动数据的第一块931的运动补偿模式不同于第二块933的四个划分的运动补偿模式。当由于图9所示的第一块和第二块之间的运动补偿模式而导致第二块的运动补偿模式的比特实际减少时，“10”被分配为“SkiP_indicator”。在这种情况下，对于基本运动数据而言，以第一划分为单位对第一块931的运动补偿模式进行可变长度编码。对于增强运动数据而言，发送第二跳跃模式的可变长度码和第二块933的四个划分的一个运动补偿模式的可变长度码，而不以第二划分为单位对第二块933的各个(四个)运动补偿模式进行可变长度编码。换句话说，当“SkiP_indicator”为“10”时，发送第二跳跃模式的可变长度码和第二块的一个运动补偿模式的可变长度码来作为第二块的运动补偿模式。因而，减少了对第二块的运动补偿模式编码所分配的比特数。同时，当一帧的第二块的运动补偿模式的类型被确定为图9B时，如果第一块和第二块之间的运动补偿模式的类型不同于图9A或图9B，那么对第二块的所有划分的运动补偿模式编码。
就解码而言，对可分级比特流的运动数据进行可变长度解码，分别对对应于低比特率的每层或者具有单个运动字段的两个层检查指示整个帧的运动补偿模式的类型的指示符(SkiP_indicator)。当“SkiP_indicator”为“10”并且接收到第二跳跃模式时，第二块的一个运动补偿模式的可变长度码适用于第二块的四个划分。也就是说，当“SkiP_indicator”为“10”并接收到第二跳跃模式时，使用发送的第二块的运动补偿模式来确定第二块的所有划分的运动补偿模式，而不用参考第一块的运动补偿模式。
对应于解码的可变长度码的运动补偿模式适用于第一块，对应于解码的可变长度码的一个运动补偿模式适用于第二块的所有四个划分。
在图9C中，增强运动数据的第二块953的四个划分的运动补偿模式彼此不同，并且“11”被分配为“SkiP_indicator”。在这种情况下，对于基本运动数据而言，以第一划分为单位对第一块951的运动补偿模式进行可变长度编码。对于增强运动数据而言，以第二划分为单位对与第一块951对应的第二块953的四个划分的运动补偿模式进行可变长度编码。
表1示出基本运动数据的第一块的运动补偿模式和分配给所述运动补偿模式的可变长度码。
这里，以第一划分为单位设置第一跳跃(SkiP)模式、直接(DirecT)模式、双向(BiD)模式、前向(FwD)模式或后向(BwD)模式。
表2示出增强运动数据的第二块的运动补偿模式和分配给所述运动补偿模式的可变长度码。与表1相比，第二跳跃模式被添加到表2。
这里，以第二划分为单位设置第一跳跃(SkiP)模式、直接(DirecT)模式、双向(BiD)模式、前向(FwD)模式或后向(BwD)模式，以第二块为单位设置第二跳跃(New_SkiP)。
图10是根据本发明实施例的可分级视频解码设备的框图。所述可分级视频解码设备包括解复用单元1010、基本层解码单元1030和增强层解码单元1050。这里，根据可分级视频解码设备中所设置的比特流可分级性等级，可分级视频解码设备中可包括至少一个增强层解码单元1050。
参照图10，解复用单元1010从输入的可分级比特流分离每层比特流，并输出基本层比特流和增强层比特流。这里，解复用单元1010还可包括在对从可分级视频编码设备提供的可分级比特流解码之前用于临时存储或记录所述可分级比特流的记录介质，诸如存储器。
基本层解码单元1030对分离的基本层比特流解码。通过基本层解码单元1030解码的图像是低质量的重构图像，其可被独立地显示。
增强层解码单元1050通过参考由基本层解码单元1030解码的图像对分离的增强层比特流解码。随着增强层数量的增加，通过增强层解码单元1050解码的图像是较高质量的重构图像。
基本层解码单元1030和增强层解码单元1050根据与可分级视频编码设备的可分级编码单元110的可分级编码方法对应的解码方法来执行解码。
图11是根据本发明实施例的运动信息解码设备的框图。所述运动信息解码设备包括指示符分析单元1110和运动补偿模式解码单元1130。在图2A所示的可分级比特流的情况下，运动信息解码设备可包括在基本层解码单元1030中。在图4所示的可分级比特流的情况下，运动信息解码设备可包括在增强层解码单元1050中。
参照图11，指示符分析单元1110分析包含在从解复用单元1010分离的比特流中的一个帧的开始(例如，头)中的指示符，根据分析的指示符确定对应于编码规则的解码规则。例如，当指示符“SkiP_indicator”为“0”时，与仅使用第二跳跃模式的编码规则对应的解码规则适用于第二块的运动补偿模式的解码。当指示符“SkiP_indicator”为“10”时，与使用第二跳跃模式和第二块的运动补偿模式的编码规则对应的解码规则适用于第二块的运动补偿模式的解码。当指示符“SkiP_indicator”为“11”时，由于没有使用第二跳跃模式，所以预定的可变长度解码规则适用于第二块的运动补偿模式的解码。
运动补偿模式解码单元1130基于指示符分析单元1110确定的解码规则对第二块的运动补偿模式解码。
图12A和图12B是当时间可分级性被提供给每层时用于比较每层中的运动信息的编码状态的示图。图9A示出根据传统锚(anchor)的可分级比特流，图9B示出根据本发明的可分级比特流。
参照图12A，在每一时间层中使用单个运动字段。换句话说，单个运动字段S被发送给层0中的时间层0和1，单个运动字段S被发送给层1中的时间层2，单个运动字段S被发送给层4中的时间层3，没有运动字段被发送给层2和层3。参照图12B，单个运动字段S仅被发送给最高的时间层4。与图12A不同，基本运动字段B被发送给层0中的时间层0和1，基本运动字段B被发送给层1中的时间层2，在时间层0和1上分布的增强运动字段E被发送给层2，在层2上分布的增强运动字段E被发送给层3。
图13A和图13B是用于比较通过传统锚和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了BUS序列的96Kbps的重构的第24帧。图14A和图14B是用于比较通过传统锚和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了FOOTBALL序列的192Kbps的重构的第258帧。图15A和图15B是用于比较通过传统锚和根据本发明的可分级编码算法重构的图像的主观显示质量的示图，其中，比较了FOREMAN序列的3Kbps的重构的第92帧。因而，当与图13A、图14A和图15A所示的根据传统锚重构的图像的显示质量相比时，可主观或视觉地看到图13B、图14B和图15B所示的根据本发明的重构图像的显示质量的提高。
如上所述，根据本发明，可以以低比特率极大地提高重构图像的主观(即，视觉)显示质量。
优选地，还可将所述运动信息编码/解码方法和可分级视频编码/解码方法实现为计算机可读记录介质上的计算机可读代码，所述计算机可读记录介质上记录有程序、代码或代码段以在计算机上实现它们。优选地，通过所述运动信息编码方法或可分级视频编码方法产生的比特流可记录在计算机可读记录介质上或者存储在计算机可读记录介质中。所述计算机可读记录介质是可存储其后能由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波。所述计算机可读记录介质还可以分布在联网的计算机系统上，从而计算机可读代码以分布式方式被存储和执行。此外，本领域程序员可容易地解释用于实现所述可分级运动信息编码/解码方法和可分级视频编码/解码方法的功能程序、代码和代码段。
尽管参照本发明的示例性实施例具体示出和描述了本发明，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
权利要求
1.一种可分级视频编码设备，包括可分级编码单元，产生包括基本运动数据和增强运动数据的可分级运动数据作为第一层的运动数据，并通过在第二层上分布增强运动数据来产生包括每层的运动数据和纹理数据的多个比特流；复用单元，复用所述多个比特流并输出可分级比特流。
2.如权利要求1所述的可分级视频编码设备，其中，第一层使用低比特率，第二层使用比所述低比特率高的比特率。
3.如权利要求1所述的可分级视频编码设备，其中，可分级编码单元包括第一运动估计单元，通过以第一块为单位执行运动估计来产生第一层的基本运动数据，并通过以第二块为单位执行运动估计来产生第一层的增强数据；第二运动估计单元，通过执行运动估计产生第二层的运动数据；和编码单元，对从第一运动估计单元提供的基本运动数据和增强运动数据或者从第二运动估计单元提供的运动数据进行编码。
4.如权利要求3所述的可分级视频编码设备，其中，第二块的划分比第一块的划分精细。
5.如权利要求4所述的可分级视频编码设备，其中，第一块包括16×16划分、16×8划分、6×16划分和8×8划分中的至少一个，第二块包括16×16划分、16×8划分、6×16划分、8×8划分、8×4划分、4×8划分和4×4划分中的至少一个。
6.如权利要求3所述的可分级视频编码设备，其中，编码单元对第一层的基本运动数据和增强运动数据根据第一块和对应于第一块的第二块的运动补偿模式来确定第二块的运动补偿模式的编码规则，以减少对增强运动数据的运动补偿模式编码所需的比特数。
7.如权利要求6所述的可分级视频编码设备，其中，编码单元以帧为单位确定第二块的运动补偿模式的编码规则。
8.如权利要求6所述的可分级视频编码设备，其中，编码单元对指示确定的第二块的运动补偿模式的编码规则的指示符编码，并将编码的指示符插入到每个比特流中。
9.如权利要求3所述的可分级视频编码设备，其中，第二块的运动补偿模式包括以划分为单位确定的第一跳跃模式、直接模式、双向模式、前向模式和后向模式以及以第二块为单位确定的第二跳跃模式中的至少一个。
10.如权利要求9所述的可分级视频编码设备，其中，基于第一块和第二块的运动补偿模式相同的情况，当减少对第二块的运动补偿模式编码所需的比特数时，编码单元使用第二跳跃模式对第二块的运动补偿模式编码。
11.如权利要求9所述的可分级视频编码设备，其中，基于包括在第二块中的所有划分的运动补偿模式相同并且第一块和第二块的运动补偿模式不同的情况，当减少对第二块的运动补偿模式编码所需的比特数时，编码单元使用第二跳跃模式和第二块的一个运动补偿模式对第二块的运动补偿模式编码。
12.一种运动信息编码设备，包括编码规则确定单元，在通过可分级视频编码产生的可分级比特流的第一层的基本运动数据和增强运动数据中，根据第一块和对应于第一块的第二块之间的运动补偿模式确定第二块的运动补偿模式的编码规则；和运动补偿模式编码单元，基于确定的编码规则对增强运动数据的第二块的运动补偿模式编码。
13.一种运动信息编码设备，包括编码规则确定单元，在通过可分级视频编码产生的可分级比特流中的第一层的运动数据和第二层的运动数据中，根据第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则；和运动补偿模式编码单元，基于确定的编码规则对第二层的运动数据的第二块的运动补偿模式编码。
14.如权利要求13所述的运动信息编码设备，其中，编码规则确定单元根据第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则，以减少对增强运动数据的运动补偿模式编码所需的比特数。
15.如权利要求14所述的运动信息编码设备，其中，第二块的划分比第一块的划分精细。
16.如权利要求14所述的运动信息编码设备，其中，第一块包括16×16划分、16×8划分、6×16划分和8×8划分中的至少一个，第二块包括16×16划分、16×8划分、6×16划分、8×8划分、8×4划分、4×8划分和4×4划分中的至少一个。
17.如权利要求13所述的运动信息编码设备，其中，编码规则确定单元以帧为单位确定第二块的运动补偿模式的编码规则。
18.如权利要求13所述的运动信息编码设备，其中，编码规则确定单元对指示确定的第二块的运动补偿模式的编码规则的指示符编码，并将编码的指示符插入到每个比特流中。
19.如权利要求13所述的运动信息编码设备，其中，第二块的运动补偿模式包括以划分为单位确定的第一跳跃模式、直接模式、双向模式、前向模式和后向模式以及以第二块为单位确定的第二跳跃模式中的至少一个。
20.如权利要求19所述的运动信息编码设备，其中，基于第一块和第二块的运动补偿模式相同的情况，当减少对第二块的运动补偿模式编码所需的比特数时，编码规则确定单元使用参考第一块的运动补偿模式的第二跳跃模式对第二块的运动补偿模式编码。
21.如权利要求19所述的运动信息编码设备，其中，基于包括在第二块中的所有划分的运动补偿模式相同并且第一块和第二块的运动补偿模式不同的情况，当减少对第二块的运动补偿模式编码所需的比特数时，编码规则确定单元使用第二跳跃模式和第二块的一个运动补偿模式对第二块的运动补偿模式编码。
22.一种可分级视频编码方法，包括产生包括基本运动数据和增强运动数据的可分级运动数据作为第一层的运动数据，并通过在第二层上分布增强运动数据来产生包括每层的运动数据和纹理数据的多个比特流；和复用所述多个比特流并输出可分级比特流。
23.一种运动信息编码方法，包括在通过可分级视频编码产生的可分级比特流的第一层的基本运动数据和增强运动数据中，根据第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则；和基于确定的编码规则对增强运动数据的第二块的运动补偿模式编码。
24.一种运动信息编码方法，包括在通过可分级视频编码产生的可分级比特流中，根据第一层的运动数据和第二层的运动数据中第一块和对应于第一块的第二块的运动补偿模式确定第二块的运动补偿模式的编码规则；和基于确定的编码规则对第二层的运动数据的第二块的运动补偿模式编码。
25.一种可分级视频解码设备，包括解复用单元，通过对可分级比特流解复用将可分级比特流分离成每层比特流；第一层解码单元，通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；第二层解码单元，通过参考由第一层解码单元解码的视频和运动数据对分离的第二层比特流解码。
26.一种运动信息解码设备，包括指示符分析单元，分析包括在第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，第一层比特流和第二层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对第二层的运动补偿模式解码。
27.一种运动信息解码设备，包括指示符分析单元，分析包括在包括第一层的增强运动数据的第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，具有基本运动数据的第一层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对增强运动数据的运动补偿模式解码。
28.一种可分级视频解码设备，包括解复用单元，通过对可分级比特流解复用将可分级比特流分离成每层比特流；第一层解码单元，通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；第二层解码单元，通过参考由第一层解码单元解码的视频和运动数据对分离的第二层比特流解码。
29.一种运动信息解码设备，包括指示符分析单元，分析包括在第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，第一层比特流和第二层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对第二层的运动补偿模式解码。
30.一种运动信息解码设备，包括指示符分析单元，分析包括在包括第一层的增强运动数据的第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，具有基本运动数据的第一层比特流从可分级比特流分离；和运动补偿模式解码单元，基于指示符分析单元确定的解码规则对增强运动数据的运动补偿模式解码。
31.一种可分级视频解码方法，包括通过对可分级比特流解复用将可分级比特流分离成每层比特流；通过主要参考基本运动数据并其次参考基本运动数据和增强运动数据来对分离的第一层比特流解码；通过参考从第一层比特流解码的视频和运动数据对分离的第二层比特流解码。
32.一种运动信息解码方法，包括分析包括在第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，第一层比特流和第二层比特流从可分级比特流分离；和基于确定的解码规则对第二层的运动补偿模式解码。
33.一种运动信息解码方法，包括分析包括在包括第一层的增强运动数据的第二层比特流中的指示符，并确定与对应于分析的指示符的编码规则对应的解码规则，其中，具有基本运动数据的第一层比特流从可分级比特流分离；和基于确定的解码规则对增强运动数据的运动补偿模式解码。
34.一种运动信息编码设备，包括编码规则确定单元，如果在通过可分级视频编码产生的可分级比特流中的第一层的运动数据和第二层的运动数据中，第一块和对应于第一块的第二块的运动补偿模式彼此相同，那么将单个模式分配给第二块的运动补偿模式；和运动补偿模式编码单元，如果第一块和第二块的运动补偿模式彼此相同，那么发送所述单个模式作为第二块的运动补偿模式。
全文摘要
提供了一种运动信息编码/解码设备和方法以及使用所述运动信息编码/解码设备和方法的可分级视频编码/解码设备和方法。所述运动信息编码设备包括第一运动估计单元、第二运动估计单元和编码单元。第一运动估计单元通过以第一块为单位执行运动估计来产生多个层中对应于低比特率的层的基本运动数据，并通过以第二块为单位执行运动估计来产生对应于低比特率的层的增强数据。第二运动估计单元通过执行运动估计产生具有较高比特率的层的运动数据。编码单元对从第一运动估计单元提供的基本运动数据和增强运动数据或者从第二运动估计单元提供的运动数据执行编码。
文档编号H04N7/24GK1985520SQ200580023755
公开日2007年6月20日 申请日期2005年7月15日 优先权日2004年7月15日
发明者金株希, 金惠姸 申请人:三星电子株式会社