画面编码和解码装置及其方法

专利名称：画面编码和解码装置及其方法
技术领域：
本发明涉及一种画面编码和解码技术、画面处理技术、记录技术以及记录介质；尤其涉及一种这样的技术和记录介质，即，将运动画面数据记录到诸如磁光盘或者磁带介质上，再现所记录的数据以在显示系统上显示，或者把运动的画面数据经过传输通道从发射机传输至接收机，并且由接收机接收和显示所传输的数据，或者为了记录而编辑所接收的数据(如同在电视会议系统、视频电话系统、广播设备、以及多媒介数据库检索系统中那样)。
背景技术：
在向一个远程的地方传输运动画面数据的系统中，如在电视会议系统或者视频电话系统中，通过使用或者利用线性相关性和帧间相关性，画面数据可以被编码(压缩)。用于运动画面的高效编码系统由运动画面专家小组(MPEG)建议。在ISO-1EC/JTC1/SC2/WG11讨论之后，这样的系统作为一个标准的草案被建议，它是由运动补偿预测编码与离散余弦转变(DCT)结合的混合系统。
在MPEG中，若干框架和级别被定义以便处理各种类型的应用和功能。最基本的是主要框架主要级别(运动画面ML(主要级别上的主要框架)(Main Profile@at main level))。
在MPEG系统中，图1说明了MP@ML编码单元。在这样的编码单元中，将要编码的画面数据提供给帧存储器31，以瞬时地存储在其中。以1616个象素宏-块为基础，运动矢量检测器32读出存储在帧存储器31中的画面数据，以便检测它的运动矢量。运动矢量检测器32处理每一种帧比如I-画面，P-画面，以及B-画面的画面数据。每个依次进入的帧的画面被以预定方式处理为I-、P-或者B-画面之一，诸如I，B，P，B，P，...，B，P的序列，。即，运动矢量检测器32参考存储在帧存储器31中的一系列画面中预定参考帧，并且检测宏块的运动矢量，即，该帧的16象素乘16行的一个小块通过在宏-块和参考帧之间的模式匹配(块匹配)而被编码，以检测宏-块的运动矢量。
在MPEG中，有四种画面预测方式，即，内编码(帧内编码)，前向预测编码，后向预测编码，以及双向预测编码。I-画面是帧内编码的画面，P-画面是帧内编码的或者前向预测编码或者后向预测编码画面，而且B-画面是帧内编码的，前向预测编码的，或者双向预测编码的画面。
回到图1，运动矢量检测器32在P-画面上进行前向预测，以检测它的运动矢量。运动矢量检测器32把通过前向预测所产生的预测误差与，例如，被编码的宏-块的变化(P-画面的宏-块)进行比较。如果宏-块的变化比预测误差更小，帧内编码方式被设置为预测方式，并且输出至可变长度编码(VLC)单元36和运动补偿器42。另一方面，如果由前向预测编码产生的预测误差更小，运动矢量检测器32设置前向预测编码方式作为预测方式，并且与检测的运动矢量一同输出设定的方式到VLC单元36和运动补偿器42。另外，对于B-画面，运动矢量检测器32完成前向预测，后向的预测，以及双向预测，以检测各自的运动矢量。运动矢量检测器32检测前向预测，后向的预测，和双向预测的最小的预测误差(在这里被认作为最小预测误差)，并且比较最小预测误差与，例如，被编码的宏-块的变化(B-画面的宏-块)。如果，这样比较产生的结果是，宏-块的变化比最小预测误差更小，则运动矢量检测器32设置帧内编码方式作为预测方式，并且输出设定的方式到VLC单元36和运动补偿器42。如果，另一方面，最小预测误差更小，运动矢量检测器32设置已经获得了最小预测误差的预测方式，并且与运动矢量一同输出这样设定的预测方式到VLC单元36和运动补偿器42。
当从运动矢量检测器32接收预测方式和运动矢量时，依据预测方式和运动矢量，运动补偿器42可以读出存储在帧存储器41中的编码的和已经局部解码的的画面数据，并且可以提供读取的数据作为预测画面到运算单元33和40。运算单元33也接收与由运动矢量检测器32从帧存储器31读出的画面数据相同的宏-块，并且计算宏-块和从运动补偿器42来的预测画面之间的差别。这样的差别值提供到一个离散余弦变换(DCT)单元34。
如果从运动矢量检测器32仅仅接收预测方式，即，如果预测方式是帧内编码方式，运动补偿器42不会输出预测画面。在这样的情形中，运算单元33不会完成上述-画面处理任务，但是可以直接输出从帧存储器31读出的宏-块到DCT单元34。而且，在这样的情形中，运算单元40可以以一种类似的方式完成任务。
DCT单元34在运算单元33的输出信号上完成DCT处理，以获得向量化器35提供的DCT系数。依据作为缓冲器反馈而接收的在缓冲器37中的数据存储数量(被存储在缓冲器37中的数据量)，量化器35设置量化步长(量化规模)，并且利用量化步长量化从DCT单元34来的DCT系数。与设定的量化步长一同提供量化的DCT系数(在这里有时被认作为量化系数)到VLC单元36。
依据从量化器35所提供的量化步长，VLC单元36把从量化器35所提供的量化系数转化成为一个可变长度码，比如哈夫曼(Huffman)编码。所转化的量化系数输出至缓冲器37。VLC单元36也可对从量化器35来的量化步长、从运动矢量检测器32来的预测方式以及从运动矢量检测器32来的运动矢量进行可变长度地编码，并且输出所编码的数据至缓冲器37。应该注意，预测方式是这样的方式，它说明，帧内编码，前向预测编码，后向预测编码，或者双向预测编码中的哪一种被设置了。
缓冲器37瞬时地存储从VLC单元36来的数据，并且整平数据量，以使所整平的数据能够从其中输出，并且向传输通道提供或者记录在记录介质上等等。缓冲器37也可以向量化器35提供所存储的数据量，与此相应它又设置量化步长。如此，在缓冲器37的将近溢出的情况下，量化器35增加量化步长以减少量化系数的数据量规模。相反地，在缓冲器37的将近下溢的情况下，量化器35减少量化步长以增加量化系数的数据量规模。如同应理解的，这个过程可以阻止缓冲器37的溢出和下溢。
不仅向VLC单元36，而且向去量化器38提供由量化器35输出的量化系数和量化步长，去量化器38依据量化步长对量化系数进行去量化，以将它转化成DCT系数。这样的DCT系数提供到IDCT(逆DCT)单元39，它在DCT系数上完成逆DCT。向运算单元40提供所获得的逆DCT系数。
运算单元40接收从IDCT单元39来的反面DCT系数以及来自运动补偿器42的数据(它们与送到运算单元33的预测画面相同)。运算单元40将来自IDCT单元39的信号(预测冗余)加到从运动补偿器42来的预测的画面上，以局部地解码原来的画面。然而，如果预测方式表明是帧内编码，IDCT单元39的输出可以直接反馈到帧存储器41。由运算单元40获得的解码的画面(局部地被解码的画面)被送到并且被存储在帧存储器41中，稍后用作为帧内-编码画面、前向预测编码的画面、后向预测编码画面、或者双向预测编码画面的参考画面。
从运算单元40所获得的解码的画面与从接收机或者解码单元(在图1中未显示)获得画面相同。
图2说明MPEG系统中MP@ML解码器，其用以解码诸如由图1的编码器输出的编码数据。在这样的解码器中，经由传输通道所传输的编码数据可以由接收机(未显示)接收，或者记录在记录介质上的编码数据可以被一种再现的装置(未显示)再现，并且向缓冲器101提供，并且存储在其中。IVLC单元(逆VLC单元)102读出存储在缓冲器101中的所编码的数据，而且可变长度地解码它们，以分离所编码的数据成为运动矢量，预测方式，量化步长和量化系数。在它们中，向运动补偿器107提供运动矢量和预测方式，而向去量化器103提供量化步长与量化系数。依据量化步长去量化器103将量化系数去量化，以获得提供到IDCT(逆DCT)单元104的DCT系数。IDCT单元104在所接收的IDCT系数上完成反面DCT操作，并且向运算单元105提供结果信号。除IDCT单元104的输出之外，运算单元105也接收从运动补偿器107来的输出。即，运动补偿器107依据预测方式读出存储在帧存储器106中的一幅以前解码的画面并且以类似于图1的运动补偿器42的方式读出从IVLC单元102来的运动矢量，并且提供所解码的画面作为预测画面到运算单元105。运算单元105将从IDCT单元104来的信号(预测剩余)加到从运动补偿器107来的预测画面，以解码原来的画面。如果IDCT单元104的输出是帧内编码的，这样的输出可以直接提供并且被存储在帧存储器106中。存储在帧存储器106中的解码的画面可以用作为其后解码画面的参考画面，并且也可以读出，并且提供到用于显示的显示器(未显示)。然而，如果解码的画面是B-画面，这样的B-画面不存储在编码单元或者解码器中的存储器41(图1)或者106(图2)中，因为在MPEG1和MPEG2中B-画面不用作为参考画面。
在MPEG中，除上述的MP@ML之外，各种框架和级别以及各种工具被定义了。MPEG工具的例子是定标(scalability)。更具体地，MPEG采取用以对付不同的画面尺寸或者不同帧尺寸的一个可定标的编码系统。在空间定标中，如果将被解码的仅仅是下-层比特流，例如，仅仅获得具有小画面尺寸的画面，因而，如果将被解码的是下-层和上-层比特流两者，就获得一个大画面尺寸的画面。
图3说明提供空间定标的编码单元。在空间定标中，下层和上层分别与一个小的画面尺寸的画面信号和一个大的画面尺寸的画面信号对应。为了编码，上-层编码单元201可以接收上-层画面，而下-层编码单元202可以接收从用于减少象素的数量的稀疏处理(thinning out process)产生的画面作为下-层画面(因此为了降低其尺寸，画面的分辨率降低)。下-层编码单元202以类似于图1的方式预测地编码下-层画面，形成和输出下-层比特流。下-层编码单元202也产生与局部解码的下-层画面相应的画面，该下-层画面被放大至与上-层画面尺寸相同的尺寸(在这里有时称作为放大的画面)。这幅所放大的画面被提供到上-层编码单元201。上-层编码单元201以类似于图1的方式预测编码上-层画面，形成和输出上-层比特流。上层编码单元201也把从下-层编码单元202所接收的放大的画面用作为执行预测编码的参考画面。上层比特流与下层比特流复用以形成输出的编码数据。
图4说明图3的下层编码单元202的例子。这样的的下层编码单元202与图1的编码器类似地构成，除了上采样(upsampling)单元211之外。因此，在图4中，象在图1中所显示的那些相应的部件或者组成部分由相同的参考数字描述。上采样单元211上采样(内插)由运算单元40输出的局部解码的下-层画面以将画面放大到与上-层画面尺寸一样大小，并且提供产生的放大画面至上层编码单元201。
图5说明图3的上层编码单元201的例子。这样的的上层编码单元201与图1的编码器类似地构成，除了加权单元221，222，以及一运算单元223之外。因此，在图5中，与图1的那些相应的部件或者组成部分由相同的参考数字指示。加权加法单元221将由运动补偿器42输出的预测画面乘以权重W，并且向运算单元223输出结果信号。加权加法单元222把从下层编码单元202所提供的放大的画面乘以权重(I-W)，并提供结果到运算单元223。运算单元223将从加权加法电路221，222接收的输出求和，并且向运算单元33，40输出结果的总和，作为一幅预测的画面。如同权重(1-W)用于加权加法单元222一样，用于加权加法单元221的权重W被预置。向VLC单元36提供权重W，以进行可变长度编码。上层编码单元201完成类似于图1处理任务。
这样，上层编码单元201不仅利用上层画面而且利用下层编码单元202来的放大画面(即，下层画面)作为参考画面完成预测编码。
图6说明用以执行空间定标的解码器的例子。从图3的编码器输出的编码数据被分离成上层比特流和下层比特流，它们分别提供到上层解码单元231和下层解码单元232。下层解码单元232解码如同在图2中显示的下层比特流，并且输出下层画面产生的解码画面。此外，下层解码单元232放大下层所解码的画面成为与上层画面相同的尺寸，以产生一所放大的画面并将它们提供上层解码单元231。上层解码单元231同样地解码上层比特流，如同在图2中显示的。然而，上层解码单元231利用从下层解码单元232来的放大画面作为参考画面而解码比特流。
图7说明下层解码单元232的例子。下层解码单元232与图2的解码器同样地构成，除了上采样单元241之外。因此，在图7中，与图2的那些相应的部分或者组成部分由相同的参考数字描述。上采样单元241上采样(内插)由运算单元105输出的解码的下层画面，以放大下层画面至与上层画面尺寸相同的尺寸，并且向上层解码器231输出放大的画面。
图8说明图6的上层解码单元231的例子。上层解码单元231与图2的编码器同样地构成，除了加权加法单元251、252以及一运算单元253之外。因此，在图7中，与图2的那些相应的部分或者组成部分由相同的参考数字描述。除完成参考图2描述的处理之外，IVLC单元102从所编码的数据中提取权重W，并且输出提取的权重W到加权加法单元251，252。加权加法单元251将由运动补偿器107输出的预测画面乘以权重W，并且向运算单元253输出结果。运算单元253也接收从加权加法单元252来的输出。将从下层解码单元232所提供的放大的画面乘以权重(1-W)就获得了这样的输出。运算单元253将加权加法单元251、252的输出求和，并且向运算单元105提供求和的输出，作为预测画面。因此，运算单元253利用上层画面和从下层编码单元232来的放大的画面(即，下层画面)作为解码用的参考画面来解码。在亮度信号和色度信号两者上完成这样的处理。色度信号的运动矢量可以是亮度信号的运动矢量的一半。
除上述MPEG系统之外，对于运动画面，各种高-效率编码系统被标准化了。在ITU-T中，例如，系统诸如H.261或者1.263主要被描述为用于通信的编码系统。类似于MPEG系统，这些H.261和H.263系统基本上包括运动补偿预测编码和DCT编码的组合。具体地，H.261和H.263系统结构上可以与MPEG系统的编码器或者解码器的结构基本上类似，虽然其结构或细节诸如开头信息可能存在差别。
在通过合成多个画面来构成画面的画面合成系统中，称为色度的关键技术可以被利用。这种技术对在所规定的统一颜色诸如蓝色的背景之前的目标照相，从其提取不同于蓝色的区域，并将所提取的区域合成到另一个画面。规定所提取的区域的信号是所称的关键信号。
图9说明用于合成画面的方法，其中F1是背景画面，F2是前景画面。画面F2通过对一个目标(这里是人)照相而获得，并且提取不同于这种颜色的区域。色度信号K1规定所提取的区域。在画面合成系统中，背景画面F1和前景画面F2依据关键信号K1被合成，以产生合成的画面F3。这幅合成画面诸如用MPEG技术编码，并且被传输。
如果合成的画面F3被编码和传输，如上所述，仅仅传输在合成的画面F3上所编码的数据，那么信息诸如关键信号K1会失去。这样，画面-再编辑或者-再合成，以使前景F2完整，只有背景F1变化，这在接收侧是困难的。
考虑这样一种方法，其中画面F1、F2以及关键信号K1将单独地被编码，而且产生的各个比特流被复用，例如，象在图10中显示的。在这样的情况中，接收侧分解该复用的数据，以解码各自的比特流，并且产生画面F1、F2或者关键信号K1。画面F1、F2或者关键信号K1的所解码的结果可以被合成，以产生合成的画面F3。在这样的情况中，接收侧可以完成画面-再编辑或者-再合成，这样前景F2成为完整的，而且仅仅背景F1改变。
因此，合成的画面F3由画面F1与F2组成。按一种类似的方式，任何画面可以被认作为被由多个画面或者目标组成。如果构成画面的单元被定义为视频目标(VOs)，基于编码系统，用于使VO标准化的操作作为MPEG 4在ISO-IEC JTCI SC29 WG1 1中正在进行。然而，现在，用于把VO有效地编码或者把关键信号编码的方法目前还未建立并处于一种未决的状态。在任何情况下，虽然MPEG 4规定定标的功能，还没有一种特定的技术来实现VO的定标，其中位置与尺寸随时间变化。作为例子，如果VO是从一个远距离的地方接近的人，该VO位置以及尺寸随时间变化。因此，在上层画面预测编码时，如果一个下层画面用作为参考画面，必须说清作为参考画面的上层与下层画面之间的相对位置。另一方面，在利用VO-为基础的定标中，下层的跳跃宏-块的条件不必要直接应用于下层的跳跃宏-块。

发明内容
因此，本发明的目的是提供一种技术，它能使以VO为基础的编码容易实现。
根据本发明的一个方面，提供一种可按照改进后的MPEG 4标准工作的画面编码装置，包括提供装置，用于提供构成一个画面序列的多个基于目标的画面序列；和基于目标的画面编码装置，用于对每个基于目标的画面序列进行编码，其中所述基于目标的画面编码装置包括量化装置，用于将在所述基于目标的画面序列中的画面分割为具有多个像素的块并且通过采用预定的量化步长在包括两个或者多个块的宏块中对像素进行量化，和复用装置，用于复用在宏块中的所述量化后的像素和所述量化步长，其中，对于B-VOP来说，假如在所述B-VOP的宏块中的所述量化后的像素全部等于零，则所述复用装置不复用所述量化步长。
根据本发明的另一个方面，提供一种一种可按照改进后的MPEG 4标准工作的画面解码装置，该装置用于对编码后的画面序列进行解码，该编码后的画面序列包括多个基于目标的画面序列，该多个基于目标的画面序列通过采用预定的量化步长在位于所述基于目标的画面序列中的画面的宏块中对像素进行量化以及复用在所述宏块中的量化后的像素和所述预定量化步长来获得，其中假如在所述B-VOP的所述宏块中的所述量化后的像素全部等于零，则所述编码后的画面序列不包括B-VOP的宏块的预定量化步长。
根据本发明的另一个方面，提供一种可按照改进后的MPEG 4标准工作的画面解码方法，该方法用于对编码后的画面序列进行解码，该编码后的画面序列包括多个基于目标的画面序列，该多个基于目标的画面序列通过采用预定的量化步长在位于所述基于目标的画面序列中的画面的宏块中对像素进行量化并且复用在所述宏块中的量化后的像素和所述预定量化步长来获得，其中假如在所述B-VOP的所述宏块中的所述量化后的像素全部等于零，则所述编码后的画面序列不包括B-VOP的宏块的预定量化步长。
根据本发明的另一个方面，所提供的画面编码装置，包括放大/压缩装置(比如象在图15中显示的分辨率转化器24)，基于第一和第二画面之间的分辨率差别，用以放大或者压缩第二画面；第一画面编码装置(比如图15中显示的上层编码单元23)，用放大/压缩装置的输出作为参考画面来预测编码第一幅画面；第二画面编码装置(诸如下层编码单元25)，用于编码第二幅画面；位置设置装置(比如象在图15中显示的画面分层单元21)，用以设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息；以及复用装置(诸如图15中显示的复用器26)，用于复用第一画面编码装置、第二画面编码装置以及位置设置装置的输出。第一画面编码装置基于第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比转化第二个位置信息，用这些比率放大/压缩装置放大或者压缩第二幅画面。第一画面编码装置也识别作为参考画面的位置的，与转化的结果相应的位置，以完成预测编码。
根据本发明的另一个方面，提供了一种用于编码的画面编码方法，其利用分辨率与第一画面不同的第二画面来编码所述第一画面，所述画面编码方法包括步骤利用放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩第二画面；利用第一画面编码装置，用放大/压缩装置的输出作为参考画面来预测编码第一幅画面；利用第二画面编码装置编码所述第二画面；利用位置设置装置，设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息；以及复用所述第一画面编码装置，所述第二画面编码装置，以及所述位置设置装置的输出；其中使所述第一画面编码装置基于所述第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比转化第二个位置信息，所述放大/压缩装置用这些比率放大或者压缩第二幅画面，以获得所述参考画面的位置，以完成预测编码。
根据本上述的画面编码装置和画面编码方法，放大/压缩装置基于第一和第二画面之间的分辨率差别放大或者压缩第二画面；而第一画面编码装置用放大/压缩装置的输出作为参考画面来预测编码第一幅画面。位置设置装置设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息；第一画面编码装置基于第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比转化第二个位置信息，用这些比率放大/压缩装置放大或者压缩第二幅画面。第一画面编码装置识别作为参考画面的位置的，与转化的结果相应的位置，以完成预测编码。
根据本发明的另一个方面，所提供的画面解码装置，包括第二画面解码装置(诸如下层解码单元95)，用于解码第二幅画面；放大/压缩装置(比如象在图29中显示的分辨率转化器94)，基于第一和第二画面之间的分辨率差别，用以放大或者压缩由第二画面解码装置解码的第二画面；第一画面解码装置(比如图29中显示的上层解码单元93)，用放大/压缩装置的输出作为参考画面来解码第一幅画面；在预定绝对坐标系中，该编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息。第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比转化第二个位置信息，用这些比率放大/压缩装置放大或者压缩第二幅画面。第一画面解码装置识别作为参考画面的位置的，与转化的结果相应的位置，以解码该第一画面。
上述画面解码装置可以包括用于显示第一画面解码装置的解码结果的显示装置(诸如图27中所显示监控器74)。
根据本发明的另一个方面所提供的画面解码方法，用于解码编码的数据，该编码数据是利用分辨率与第一画面不同的第二画面来预测编码第一画面而获得的，所述画面解码方法包括步骤利用第二画面解码装置，解码所述第二幅画面；利用放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩由所述第二画面解码装置解码的所述第二画面；利用第一画面解码装置，用所述放大/压缩装置的输出作为参考画面来解码所述第一幅画面；其中在预定绝对坐标系中，所述编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息；和其中使所述第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比来转化所述第二个位置信息，放大/压缩装置用这些比率放大或者压缩第二幅画面，以获得所述参考画面的位置，从而解码所述第一画面。
根据上述的画面解码装置和画面解码方法，放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩由第二画面解码装置解码的第二画面；第一画面解码装置，用放大/压缩装置的输出作为参考画面来解码第一幅画面；在预定绝对坐标系中，如果该编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息，第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且按照一种放大比或一种压缩比转化第二个位置信息，用这些比率放大/压缩装置放大或者压缩第二幅画面。第一画面解码装置识别作为参考画面的位置的，与转化的结果相应的位置，以解码该第一画面。
根据本发明的另一个方面，提供了一种记录介质，其上记录了编码的数据，该编码的数据包括第一数据，它是利用，基于第一和第二画面之间的分辨率差别放大或者压缩第二画面而获得的放大/压缩结果，作为参考画面，对第一画面进行预测编码而获得的；第二数据，它是对第二画面进行编码而获得的；以及第一个位置信息或第二个位置信息，它是通过在预定的绝对坐标系中设置第一和第二画面位置而获得的。第一数据是这样获得的，即基于第一位置信息识别第一幅画面的位置，按照一种放大比或一种压缩比转化第二个位置信息，用这些比率第二幅画面被放大或者压缩，并且，识别作为参考画面位置的，与转化的结果相应的位置，以对该第一画面进行预测编码。
根据本发明的另一个方面，提供了一种记录编码的数据的方法，其中编码的数据包括第一数据，它是利用，基于第一和第二画面之间的分辨率差别放大或者压缩第二画面而获得的放大/压缩结果，作为参考画面，对第一画面进行预测编码而获得的；第二数据，它是对第二画面进行编码而获得的；以及第一个位置信息或第二个位置信息，它是通过在预定的绝对坐标系中设置第一和第二画面位置而获得的。第一数据是这样获得的，即基于第一位置信息识别第一幅画面的位置，按照一种放大比或一种压缩比转化第二个位置信息，用这些比率第二幅画面被放大或者压缩，并且，识别作为参考画面位置的，与转化的结果相应的位置，以进行第一预测编码。
根据本发明的一个方面，提供了一种画面编码装置，包括放大/压缩装置(比如象在图15中显示的分辨率转化器24)，基于第一和第二画面之间的分辨率差别，用以放大或者压缩第二画面；第一画面编码装置(比如图15中显示的上层编码单元23)，用放大/压缩装置的输出作为参考画面来预测编码第一幅画面；第二画面编码装置(诸如象在图15中显示的下层编码单元25)，用于编码第二幅画面；位置设置装置(比如图15中显示的画面分层单元21)，用以设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息；以及复用装置(诸如图15中显示的复用器26)，用于复用第一画面编码装置，第二画面编码装置，以及位置设置装置的输出。位置设置装置设置第一和第二画面的位置，因此在预定绝对座标系统中参考画面的位置与预定位置重合。第一画面编码装置基于第一个位置信息识别第一幅画面的位置，并且也识别作为参考画面位置的预定位置，以完成预测编码。
根据本发明的一个方面，提供了一种用于编码的画面编码方法，其利用分辨率与第一画面不同的第二画面来编码第一画面，所述画面编码方法包括步骤利用放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩第二画面；利用第一画面编码装置，用所述放大/压缩装置的输出作为参考画面来预测编码所述第一幅画面；利用第二画面编码装置，编码第二幅画面；利用位置设置装置，设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息；以及复用所述第一画面编码装置，所述第二画面编码装置，以及所述位置设置装置的输出；其中，使所述位置设置装置设置第一和第二画面的位置，因此在预定绝对座标系统中所述参考画面的位置与预定位置重合；和其中，使所述第一画面编码装置基于第一个位置信息识别第一幅画面的位置，并且识别预定位置以得到所述参考画面的位置，从而完成预测编码。
根据本上述的画面编码装置和画面编码方法，放大/压缩装置基于第一和第二画面之间的分辨率差别放大或者压缩第二画面；而第一画面编码装置用放大/压缩装置的输出作为参考画面来预测编码第一幅画面。位置设置装置设置在预定绝对坐标系中的第一幅画面与第二画面的位置，并且分别输出在第一或者第二画面的位置上的第一或者第二位置信息。位置设置装置设置第一和第二画面的位置，因此在预定绝对座标系统中参考画面的位置与预定位置重合。第一画面编码装置基于第一个位置信息识别第一幅画面的位置，并且也识别作为参考画面位置的预定位置，以完成预测编码。
根据本发明的另一个方面，提供了一种用于解码编码的画面的画面解码装置，包括第二画面解码装置(诸如图29中显示的上层解码单元93)，用于解码第二幅画面；放大/压缩装置(比如图29中显示的分辨率转化器94)，基于第一和第二画面之间的分辨率差别，用以放大或者压缩由第二画面解码装置解码的第二画面；第一画面解码装置(比如图29中显示的下层解码单元95)，用放大/压缩装置的输出作为参考画面来解码第一幅画面；在预定绝对坐标系中，该编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息，其中在预定绝对座标系统中的参考画面的位置被设置成与预定位置重合。第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且也识别作为参考画面位置的预定位置，以解码第一画面。
上述画面解码装置可以包括用于显示第一画面解码装置的解码结果的显示装置(诸如图27中所显示监控器74)。
根据本发明的另一个方面，提供了一种解码方法，用于解码编码的数据，该数据是利用分辨率与第一画面不同的第二画面来预测编码第一画面而获得的，所述画面解码方法包括步骤利用第二画面解码装置，解码所述第二幅画面；利用放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩由第二画面解码装置解码的第二画面；利用第一画面解码装置，用放大/压缩装置的输出作为参考画面来解码第一幅画面；其中，在预定绝对坐标系中，该编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息；其中在预定绝对座标系统中参考画面的位置被设置成与预定位置重合；其中，使所述第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且识别预定位置，以得到参考画面位置，从而解码第一画面。
根据上述的画面解码装置和画面解码方法，放大/压缩装置，基于第一和第二画面之间的分辨率差别，放大或者压缩由第二画面解码装置解码的第二画面；在预定绝对坐标系中，如果该编码的数据包括分别在第一或者第二画面的位置上的第一或者第二位置信息，其中在预定绝对座标系统中参考画面的位置被设置成与预定位置重合，第一画面解码装置基于第一个位置信息识别第一幅画面的位置，并且识别作为参考画面位置的预定位置，以解码第一画面。
根据本发明的另一个方面，提供了一种记录介质，其上记录了编码的数据，它包括第一数据，它是利用，基于第一和第二画面之间的分辨率差别放大或者压缩第二画面而获得的放大/压缩结果，作为参考画面，对第一画面进行预测编码而获得的；第二数据，它是对第二画面进行编码而获得的；以及第一个位置信息或第二个位置信息，它是通过在预定的绝对坐标系中设置第一和第二画面位置而获得的。第一位置和第二位置信息被设置以使在绝对座标系统中参考画面的位置将与预定位置重合。
根据本发明的另一个方面，提供了一种记录编码的数据的方法，其中编码的数据包括第一数据，它是利用，基于第一和第二画面之间的分辨率差别放大或者压缩第二画面而获得的放大/压缩结果，作为参考画面，对第一画面进行预测编码而获得的；第二数据，它是对第二画面进行编码而获得的；以及第一个位置信息或第二个位置信息，它是通过在预定的绝对坐标系中设置第一和第二画面位置而获得的。第一位置和第二位置信息被设置以使在绝对座标系统中参考画面的位置将与预定位置重合。
根据本发明的另一个方面，提供了一种画面编码装置，它包括第一预测编码装置(比如在图15中显示的下层编码单元25)，用于预测编码一个画面；局部解码装置(诸如下层编码单元25)，用于局部地解码第一预测编码装置预测编码的结果；第二预测编码装置(诸如图15中显示的上层编码单元23)，利用由局部解码装置输出的局部解码的画面作为参考画面来预测编码该画面；以及复用装置(比如图15所示的复用器26)，用于将第一和第二预测编码装置预测编码的结果进行复用，只用了在进行预测编码中由第一预测编码装置使用的运动矢量。
根据本发明的另一个方面，提供了一种画面编码方法，它包括预测地编码一个画面，以输出第一编码的数据；局部地解码第一编码的数据；用所获得的局部解码的画面作为局部解码的结果来预测地编码该画面，以输出第二编码的数据；以及，只用为了获得第一编码的数据而使用的运动矢量来复用第一编码的数据和第二编码的数据。
根据上述的画面编码装置和画面编码方法，一个画面被预测地编码，以输出第一编码的数据，第一编码的数据被局部地解码，并且利用作为参考画面的，局部解码所获得的局部解码的画面，对该画面预测编码以输出第二编码的数据。只利用为获得第一编码的数据所使用的运动矢量来复用第一和第二编码的数据。
根据本发明的另一个方面，提供了一种用于解码编码的数据的画面解码装置，它包括分离装置(比如图29所示的分路器91)，用于从编码的数据中分离第一和第二数据；第一解码装置(比如图29所示的下层解码单元95)，用于解码第一数据；以及，第二解码装置(比如图29所示的上层解码单元93)，用于用第一解码装置的输出作为参考画面来解码第二数据。该编码的数据只包括在预测编码第一数据时所使用的运动矢量。第二解码装置按照为获得第一编码的数据所使用的运动矢量来解码第二数据。
根据本发明的另一个方面，提供了一种用于解码编码的数据的画面解码方法，所述画面解码方法包括步骤利用分离装置，从所述编码的数据中分离第一和第二数据；利用第一解码装置，解码所述第一数据；以及利用第二解码装置，用第一解码装置的输出作为参考画面来解码所述第二数据；其中，所述编码的数据只包括在预测编码所述第一数据时所使用的运动矢量，而且其中使所述第二解码装置按照预测编码所述第一数据所使用的运动矢量来解码所述第二数据。
根据上述的画面解码装置和画面解码方法，第一解码装置解码第一数据，第二解码装置用第一解码装置的输出作为参考画面来解码第二数据。如果编码的数据只包括在预测编码第一数据时所使用的运动矢量，第二解码装置按照为获得第一编码的数据所使用的运动矢量来解码第二数据。
根据本发明的另一个方面，提供了一种记录介质，其上记录了编码的数据，它是这样获得的，预测地编码一个画面，以输出第一编码的数据；局部地解码第一编码的数据；用所获得的局部解码的画面作为局部解码的结果来预测地编码该画面，以输出第二编码的数据；以及，只用为了获得第一编码的数据而使用的运动矢量来复用第一编码的数据和第二编码的数据。
根据本发明的另一个方面，提供了一种记录编码的数据的方法，其中编码的数据被如此获得，预测地编码一个画面，以输出第一编码的数据；局部地解码第一编码的数据；用所获得的局部解码的画面作为局部解码的结果来预测地编码该画面，以输出第二编码的数据；以及，只用为了获得第一编码的数据而使用的运动矢量来复用第一编码的数据和第二编码的数据。
根据本发明的另一个方面，提供了一种画面编码装置，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码、后向预测编码或双向预测编码中的一种编码方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种画面编码方法，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码，后向预测编码或双向预测编码中一种编码方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种画面解码装置，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码，后向预测编码或双向预测编码中的一种方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种画面解码方法，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码，后向预测编码或双向预测编码中的一种方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种其上记录了编码的数据的记录介质，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码，后向预测编码或双向预测编码中的一种方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种记录编码的数据的记录方法，其中，根据说明参考画面的参考画面信息来确定一个宏块是否为跳跃宏-块，该参考画面是在用前向预测编码，后向预测编码或双向预测编码中的一种方法对B画面的一个宏块进行编码中所使用的。
根据本发明的另一个方面，提供了一种画面处理装置，其中用于可变长度编码或者可变长度解码的预定表被修改以与在画面尺寸方面的变化相一致。
根据本发明的另一个方面，提供了一种画面处理方法，其中它判断画面是否在尺寸方面变化，并且使用于可变长度编码或者可变长度解码的预定表被修改以与在画面尺寸方面的变化相一致。
根据本发明的另一个方面，提供了一种画面处理装置，其中，根据与正被编码的画面层不同的层但定时相同的画面是否被用作为参考画面，来修改用于可变长度编码或者可变长度解码的预定表。
根据本发明的另一个方面，提供了一种画面处理方法，其中，根据与正被编码的画面层不同的层但定时相同的画面是否被用作为参考画面，来修改用于可变长度编码或者可变长度解码的预定表。
根据本发明的另一个方面，提供了一种画面编码装置，其中，如果一个预定块中象素值的所有量化结果并不都是相同值，则只有预定量化步长被量化。
上述的至少用一预定的量化步长量化一个画面的画面编码装置包括复用装置(比如图22和23所示的VLC单元)，该复用装置用于使该画面的量化结果和预定的量化步长复用。
根据本发明的另一个方面，提供了一种画面编码方法，其中，如果一个画面的预定块中象素值的所有量化结果并不都是相同值，只有预定量化步长被量化。
根据本发明的另一个方面，提供了一种用于解码编码的数据的画面解码装置，其中，如果一个画面的预定块中象素值的所有量化结果并不都是相同值，编码的数据只包括预定量化步长。
根据本发明的另一个方面，提供了一种用于解码编码的数据的画面解码方法，其中，如果一个画面的预定块中象素值的所有量化结果并不都是相同值，编码的数据只包括预定量化步长。
根据本发明的另一个方面，提供了一种其中记录了编码的数据的记录介质，其中，如果一个画面的预定块中象素值的所有量化结果并不都是相同值，编码的数据只包括预定量化步长。
根据本发明的另一个方面，提供了一种记录编码的数据的记录方法，其中，如果一个画面的预定块中象素值的所有量化结果并不都是相同值，编码的数据只包括预定量化步长。


图1是一个常规编码器的示意图；图2是一个常规解码器的示意图；图3是实行常规可定标编码的编码器的例子的示意图；图4是图3的一下层编码单元202的一种说明性的结构的示意图；图5是图3的一上层编码单元202的一种说明性的结构的示意图；图6是用以实行常规可定标解码的解码器的例子的示意图；图7是图6的一下层解码单元232的一种说明性的结构的示意图；图8是图6的一上层解码单元231的一种说明性的结构的示意图；图9是在解释一种常规画面合成方法中用于参考的示意图；图10是在解释一种能使画面-再编辑和-再合成的编码方法中用于参考的示意图；图11是在解释能够使画面-再编辑和-再合成的一种解码的方法中用于参考的示意图；
图12是根据本发明的实施例的编码器的示意图；图13是在解释VO位置与尺寸如何随时间改变中用于参考的示意图；图14是在解释图12的VOP编码单元31至3N的结构的示意图；图15是图12VOP编码单元31至3N的另一说明性的结构的示意图；图16A和16B是在解释空间定标中用于参考的示意图；图17A和17B是在解释空间定标中用于参考的示意图；图18A和18B是在解释空间定标中用于参考的示意图；图19A和19B是在解释空间定标中用于参考的示意图；图20A和20B是在解释用于决定VOP尺寸数据和偏移数据的方法中用于参考的示意图；图21A和21B是在解释用于决定VOP尺寸数据和偏移数据的方法中用于参考的示意图；图22是图15的一下层编码单元25的示意图；图23是图15的一下层编码单元23的示意图；图24A和24B是在解释空间定标中用于参考的示意图；图25A和25B是在解释空间定标中用于参考的示意图；图26A和26B说明了ref_select_code(ref_select_code)；图27是根据本发明的实施例的解码器的示意图；图28是VOP解码单元721至72N的示意图；图29是另一VOP解码单元721至72N的说明性的结构的示意图；图30是图29的一下层解码单元95的示意图；图31是图29的一上层解码单元93的示意图；图32说明在可定标的编码上所获得的比特流的句法；图33说明VS句法；图34说明VO句法；图35说明VOL句法；图36说明VOP句法；图37说明VOP句法；图38显示diff_size_horiontal(差别_尺寸_水平线)和diff_size_vertical(差别_尺寸_垂直)的可变长度码；图39显示diff_VOP_horiontal_ref(差别_VOP_水平线_参考)和diff_VOP_vertical_ref(差别_VOP_垂直_参考)的可变长度码；图40A和40B说明宏-块句法；图41A和41B说明MODV可变长度码；图42说明宏-块；图43A和43B显示MBTYPE的可变长度码；图44说明用一直接方式的预测编码；图45说明一个上层的B-画面的预测编码；图46A和46B是在解释半直接方式中用于参考的示意图；图47是在解释用于决定下层的一可变长度表的方法中参考的流程图；图48是在解释用于决定上层的一可变长度表的方法中参考的流程图；图49是在解释下层的跳跃宏-块的处理中用于参考的流程图；图50是在解释下层的跳跃宏-块的处理中用于参考的流程图；图51A至51C说明跳跃宏-块的处理；以及，图52是在解释量化步长DQUANT中用于参考的流程图。
具体实施例方式
图12说明根据本发明的实施例的编码器。在这样的编码器中，用于编码的画面数据进入VO(视频目标)构成单元1，它提取提供到其上的画面的目标，以构成VO。VO构成单元1可以为每一VO产生关键信号，并且将所产生的关键信号与相关的VO信号一同向VOP(视频目标面板)构成单元21至2N输出。即，如果在VO构成单元1中构成N个VO(VO I至VO # N)，这N个VO与相关的关键信号一同输出至VOP构成单元21至2N。更具体地，用于编码的画面数据可以包括背景F1，前景F2，以及关键信号K1。进一步，假定合成的画面能利用色度关键而从其中产生。在这种情形之下，VO构成单元1可以向VOP构成单元21输出作为VO1的前景F2和作为VO1的关键信号的关键信号K1，而且VO构成单元1可以将背景F1作为VO2输出到VOP构成单元22。对于背景，关键信号可以不被要求；因此也不会产生和输出。
如果用于编码的画面数据不包含任何关键信号，例如，如果该用于编码的画面数据是以前合成的画面，根据预定算法画面被划分，以提取一个或更多区域并产生与所提取的区域相关的关键信号。VO构成单元1把一系列所提取的区域设置到VO，这序列与产生的关键信号一同输出到相应的VOP构成单元2N，其中N＝I，2，...，N。
VOP构成单元2N，从VO构成单元1的输出中构成VO平面(VOP)，这样水平象素和垂直象素的数量都等于预定倍数，诸如16。如果VOP被构成，则VOP构成单元2N将VOP与关键信号一同输出到VOP编码单元3N(其中N＝1，2，...N)，以提取包含在VOP中的目标部分的画面数据，诸如亮度或者色度信号。这个关键信号从VO构成单元1提供，如上所述。VOP构成单元2N，检测尺寸数据(VOP尺寸)，该尺寸数据代表VOP的尺寸(比如纵向长度和横向长度)，并检测偏移数据(VOP移动)，该偏移数据代表在该帧中VOP的位置(例如，该帧的左边最高点的座标作为起始点)，并且向VOP编码单元3N提供这样的数据。
VOP编码单元3N，根据一个所预定的标准，诸如MPEG或者H.263标准，编码VOP构成单元2的输出，并且向一复用单元4输出产生的比特流。复用单元4复用从VOP编码单元31至3N来的比特流，并且将产生的复用数据作为地面波或者经由卫星网络，CATV网络或者类似的传输通道5传输，或者在记录介质6(诸如一个磁盘，磁-光盘，光盘，磁带等等)中记录复用的数据。
现在VO和VOP将进一步被解释。
只要有用于合成的画面序列，VO可以是构成合成画面的相应目标的序列，而VOP是在一个所给定的时间点处的VO。即，如果有从画面F1和F2合成的合成画面F3，按时序排列的画面F1或F2都是VO，而在给定的时间点的画面F1或F2都是VOP。因此，VO可以是在不同的时间点处相同目标的一组VOP。
如果画面F1是背景，而画面F2是前景，利用用以提取画面F2的关键信号，通过合成画面F1和F2，就获得了合成的画面F3。在这种情形之下，画面F2的VOP不仅包括构成画面F2(亮度和色度信号)的画面数据，还包括相应的关键信号。
虽然画面帧(屏幕帧)的序列在尺寸或者位置方面不会改变。但是VO可以在尺寸和/或者位置方面改变。即，构成同一VO的各VOP可以随时间在尺寸和/或者位置方面变化。例如，图13显示了由作为背景的画面F1以及作为前景的画面F2组成的合成画面。画面F1是拍摄的地形，其中整个画面序列代表VO(定义的VO0)，而画面F2作为拍摄的一个行走的人，其中包围该人的一个最小矩形的序列代表VO(定义的VO1)。在这个例子中，VO0(它是地形)在位置或者尺寸方面基本上不变化，如同是一种通常的画面或者屏幕帧。另一方面，当他或她向着图面的前言或后方运动时，VO1(人的画面)在尺寸或者位置方面变化。因此，虽然图13显示在相同时间点的VO0和VO1，而两者的位置和尺寸不必是相同的。结果，VOP编码单元3N(图12)。提供的输出比特流不仅有编码的VOP，还有关于在预定的绝对坐标系中VOP的位置(坐标)和尺寸的信息。图13说明在一所给定的时间点规定VO0(VOP)的位置的矢量OST0，以及在相同时间点规定VO1(VOP)的位置的矢量OST1。
图14说明图12的VOP编码单元3N的一种基本的结构。象在图14中所显示的，来自VOP构成单元2N的画面信号(画面数据)(构成VOP的亮度信号以及色度信号)向画面信号编码单元11提供，它的结构类似于图1的上述编码器，其中根据符合MPEG或者H.263标准的系统对VOP进行编码。由画面信号编码单元11对VOP进行编码时获得的运动和结构信息提供到复用器13。象在图14中进一步显示的，从VOP构成单元2N来的关键信号，提供到关键信号编码单元12，其中它由例如差分脉冲编码调制(DPCM)进行编码。由关键信号编码单元12进行编码所获得的关键信号信息也提供到复用器13。除画面信号编码单元11和关键信号编码单元12的输出之外，复用器13还需要来自VOP构成单元2N的尺寸数据(VOP尺寸)和偏移数据(VOP移动)。复用器13复用所接收的数据，并且输出复用数据到瞬时地存储这些输出数据的缓冲器14，和整平数据量以输出所整平的数据。
关键信号编码单元12不仅完成DPCM，而且还根据比如通过由画面信号编码单元11进行预测编码检测的运动矢量，完成关键信号的运动补偿，以计算运动补偿之前或者之后关键信号的差别，以编码该关键信号。进一步，在关键信号编码单元12(缓冲器反馈)中关键信号的编码的结果的数据量能提供到画面信号编码单元11。在画面信号编码单元11中，量化步长可以从这样接收的数据量中确定。
图15说明图12的VOP编码单元3N的一种结构，它的构成用于实现定标。象在图15中显示的，来自VOP构成单元2N的VOP画面数据，其关键信号，尺寸数据(VOP尺寸)，和偏移数据(VOP移动)全都提供到画面分层单元21，它产生多层画面数据，即，对VOP进行分层。更具体地，在编码空间定标中，画面分层单元21可以将加到其上的画面数据和关键信号直接作为一个上层(上级层次)的画面数据和关键信号而输出，而对构成低分辨率的画面数据和关键信号的象素进行稀疏，以便输出一个下层(低级层次)的结果的画面数据和关键信号。输入的VOP也可以是下层数据，而它的分辨率可以被提高(其象素的数量可以被增加)，以便成为上层数据。
将进一步描述上述的定标操作。在这描述中，仅仅两个层被利用和描述了，虽然层的数量可以是三或者更多。
在时间定标的编码的情况下，画面分层单元21可以根据时间点将画面信号和关键信号作为上层数据或者下层数据交替地输出。如果构成VO的VOP以VOP0，VOP1，VOP2，VOP3，...的序列进入画面分层单元21，其后输出的多个VOP，VOP0、VOP2、VOP4、VOP6，...，作为下层数据，而输出的多个VOP，VOP1、VOP3、VOP5、VOP7，...，作为上层数据。在时间定标中，简单稀疏出来的VOP可以是下层数据和上层数据，而画面数据不是放大的也不是压缩的，即，不进行分辨率转化，虽然这样的分辨率转化能被完成。
在利用编码的SNR(信噪比)定标的情况下，输入画面信号和关键信号直接作为上层数据或者下层数据输出。即，在这种情况下，上层和下层的输入画面信号和关键信号可以是相同的数据。
在以VOP为基础的编码的情况下，下列三种类型的空间定标可以发生。
如果由象在图13中显示的画面F1和F2组成的合成的画面作为VOP提供，第一空间定标要将输入的VOP整体地转变成为象在图16A中显示的一个上层(增强层)，而将压缩的VOP整体地转变成象在图16B中显示的一个下层(基础层)。
第二空间定标要提取构成与画面F2相应的输入VOP的部分的目标，并且把它转变成为象在图17A中所显示的一个上层，而将该VOP整体地转变成为象在图I7B中显示的一个下层(基础层)。这种抽取可以在VOP构成单元2中完成，这样以这种方式所提取的目标可以被认作为一个VOP。
第三空间定标要提取构成输入VOP的多个目标(多个VOP)，以基于VOP而产生一个上层和一个下层，象在图18A，18B，19A，以及19B中显示的。在图18A和18B中，从构成图13的VOP的背景(画面F1)中产生上层和下层；而在图19A和19B中，上层和下层从构成图13的VOP的前景(画面F2)中产生。
从上述三种类型中间可以选择或者预定一种所需的空间定标，这样画面分层单元21对多个VOP进行分层，使能用预定的定标来编码。
根据提供到画面分层单元21的多个VOP的尺寸数据和偏移数据(这里被分别作为初始的尺寸数据和初始偏移数据)，画面分层单元21计算(设定)在所产生的下层与上层多个VOP的预定绝对坐标系中分别规定位置与尺寸的偏移数据和尺寸数据。
根据上述的第二定标(图17A和17B)来解释设置上层与下层的偏移数据(位置信息)和尺寸数据的方式。在这种情况下，下层的偏移数据FPOS_B被如此设置，如果基于来自上层的分辨率以及分辨率的差别，下层的画面数据被放大(内插)，即如果该下层画面以一种放大比(乘法系数FR)放大，在放大的画面的绝对坐标系中的偏移数据将与初始的偏移数据一致。放大比是压缩比的倒数，用它来压缩上层画面，以便产生下层的画面。同样地，下层的尺寸数据FSZ_B被如此设置，用乘法系数FR放大下层画面时所获得的放大的画面的尺寸数据将与初始的尺寸数据一致。另一方面，上层的偏移数据FPOS_E被设置一坐标值，诸如，围绕从输入VOP提取的目标的16元组最小矩形(VOP)的左上顶点的座标，正如基于初始偏移数据而找到的，如图20B中显示的。另外，上层的尺寸数据FSZ_E可以设置为围绕从输入VOP所提取的目标的16元组最小矩形(VOP)的横向长度和纵向长度。
因此，如果根据乘法系数FR来转化下层的偏移数据FPOS_B和尺寸数据FSZ_B，则与所转化的尺寸数据FSZ_B相应的尺寸的画面帧在绝对的坐标系中可以被认为在与被转化的偏移数据FPOS_B相应的位置，由FR乘以下层画面数据获得的一幅放大画面可被安排如图20A中显示的，根据在绝对的坐标系中的上层的偏移数据FPOS_E和尺寸数据FSZ_E，在上层中的画面可以同样地被安排(图20B)，其中放大的画面与上层画面的相关象素是一对一的关系。即，在这种情况下，在上层画面中的人处于与放大画面中的人相同的位置，象在图20A和20B中显示的。
在利用第一和第三种定标时，偏移数据FPOS_B或者FPOS_E和尺寸数据FZS_B和FZS_E被这样确定在绝对坐标系中下层所放大的画面和上层所放大的画面的相关的象素将被安排在相同的位置。
偏移数据FPOS_B、FPOS_E和尺寸数据FZS_B、FZS_E可以确定如下。即，可以确定下层的偏移数据FPOS_B，从而下层的放大画面的偏移数据与在绝对的坐标系中的预定位置(如原始点)一致，如图21A中显示的。另一方面，上层的偏移数据FPOS_E设置到一个坐标值，诸如围绕从输入VOP所提取的目标的16元组最小矩形(VOP)的左上顶点，如基于初始的偏移数据找到的，小于初始的偏移数据，象在图21B中显示的。在图21A和21B中，下层的尺寸数据FSZ_B和上层的尺寸数据FZS_E可以类似于图20A和20B中所解释的方式而设置。
如上所述，当偏移数据FPOS_B和FPOS_E被设置时，组成下层的放大画面和上层的画面的相关象素在绝对的坐标系中被安排在相关的位置上。
回到图15，在画面分层单元21中所产生的上层的画面数据，关键信号，偏移数据FPOS_E，以及尺寸数据FSZ_E提供到稍后将要解释的延迟电路22，在其中它的延迟量对应于在下层编码单元25中的处理时间。从延迟电路22的输出信号提供到上层编码单元23。下层的画面数据，关键信号，偏移数据FPOS_B，以及尺寸数据FSZ_B提供到一下层编码单元25。经由延迟电路22向上层编码单元23和分辨率转化器24提供乘法系数FR。
下层编码单元25编码下层的画面数据(第二幅画面)和关键信号。偏移数据FPOS_B和尺寸数据FSZ_B被包含在向复用器26提供的所产生的编码数据(比特流)中。下层编码单元25局部地解码所编码的数据，并且输出下层的局部解码的画面数据到分辨率转化器24。根据乘法系数FR，分辨率转化器24将从下层编码单元25所接收的画面数据放大或者压缩以回到原来的尺寸。产生的画面，可以是一幅所放大的画面，输出至上层编码单元23。
上层编码单元23将画面数据(第一画面)和上层的关键信号编码。偏移数据FPOS_E和尺寸数据FSZ_E被包含在产生的编码数据(比特流)中，该编码数据被提供到复用器26。上层编码单元23利用从分辨率转化器24提供的放大的画面将画面数据编码。
下层编码单元25和上层编码单元23被提供有尺寸数据FSZ_B，偏移数据FPOS_B，运动矢量MV，以及标志COD。上层编码单元23参考或者使用这种在处理期间适当或者需要的数据或信息，如同将在下文更充分描述的。
复用器26复用从上层编码单元23和下层编码单元25的输出，并且由此提供产生的复用信号。
图22说明下层编码单元25的例子。在图22中，与图1中与那些相应的部分或者组成部分由相同的参考数字表示。即，下层编码单元25与图1的编码器同样地构成，除了新提供的关键信号编码单元43和关键信号解码单元44之外。
在图22的下层编码单元25中，从分层单元21(图15)来的画面数据，即，下层的多个VOP，被提供并且被存储在帧存储器31中。在运动矢量检测器32中，以宏-块为基础，运动矢量可以被检测。这样的运动矢量检测器32接收下-层VOP的偏移数据FPOS_B和尺寸数据FSZ_B，并且基于的这样的数据来检测宏-块的运动矢量。由于在检测运动矢量中，VOP的尺寸和位置随时间(帧)而变化，坐标系应该被设置为用于检测的参考，而且在该坐标系中检测的运动。至此，由于参考画面可以安排在用以检测运动矢量的绝对坐标系中，上述的绝对坐标系可以用作为运动矢量检测器32的参考坐标系和用于编码的VOP以及VOP。
运动矢量检测器32从关键信号解码单元44接收一个所解码的关键信号，它是通过编码下层的关键信号并解码该编码的结果而获得的。运动矢量检测器32通过利用解码的关键信号从VOP提取目标，以检测运动矢量。解码的关键信号用于替代为原来的关键信号(在编码之前的关键信号)，以提取目标，因为解码的关键信号被用在接收一侧。
同时，检测的运动矢量(MV)与预测方式一同不仅提供到VLC单元36和运动补偿器42而且还提供到上层编码单元23(图15)。
对于运动补偿，在参考坐标系中运动应该以类似于以上所描述的方式被检测。这样，尺寸数据FSZ_B以及偏移数据FPOS_B提供给运动补偿器42，该运动补偿器42还从关键信号解码单元44接收一个所解码的关键信号，其道理与所连接的运动矢量检测器32相同。
其运动矢量被检测了的VOP如图1中那样被量化，该产生的量化数据向VLC单元36提供。这个VLC单元不仅接收量化的数据、量化步长、运动矢量以及预测方式，而且还从画面层单元21(图15)接收偏移数据FPOS_B和尺寸数据FSZ_B，这样这种数据也可以被量化。VLC单元36也从关键信号编码单元43接收编码的关键信号(关键信号的比特流)，这样编码的关键信号也用可变长度编码来编码。即，关键信号编码单元43编码从画面分层单元21来的关键信号，如参考图14所解释的。该编码的关键信号输出至VLC单元36和关键信号解码单元44。关键信号解码单元44解码编码的关键信号，输出解码的关键信号到运动矢量检测器32、运动补偿器42，和分辨率转化器24(图15)。
关键信号编码单元43不仅提供有下层的关键信号而且还有尺寸数据FSZ_B以及偏移数据FPOS_B，这样，类似于运动矢量检测器32，关键信号编码单元43根据该数据识别在绝对的坐标系中关键信号的位置和范围。
其运动矢量被检测了的VOP被编码，如上所述，并且如同图1所示被局部地被解码，以存储在帧存储器41中。以如上所述方式解码的画面可以用作为参考画面，并且输出至分辨率转化器24。
与MPEG1和MPEG2不同，MPEG4也可以用B-画面作为参考画面，这样B-画面也被局部地解码并和存储在帧存储器41中。然而，现在，B-画面只可以用作为上层的参考画面。
VLC单元36检查I-，P-和B-画面的宏-块，根据其结果决定这些宏块是否应该转变成为跳跃宏-块，设置标志COD和MODB。对标志COD和MODB进行同样地可变长度编码，以便传输。标志COD也提供给上层编码单元23。
图23说明图15的上层编码单元23的结构。在图23中，与图1和22中所显示的那些相应的部分或者组成部分由相同的参考数字表示。即，上层编码单元23与图22的下层编码单元25或者图1的编码器类似地被构成，除了新具有的关键信号编码单元51，帧存储器52，以及关键信号解码单元53之外。
在图15的上层编码单元23中，来自画面层单元21(图15)的画面数据，即是上层的VOP，提供到如图1所示的帧存储器31，以便以宏-块为基础，在运动矢量检测器32中检测运动矢量。除上层VOP之外，运动矢量检测器32按类似于图22中的方式接收上层的VOP，尺寸数据FSZ_E，以及偏移数据FPOS_E，并且从关键信号解码器53接收解码的关键信号。如同在上述情况之下，基于尺寸数据FSZ_E和偏移数据PPOS_E，运动矢量检测器32识别在绝对的坐标系中上层的VOP的安置位置，并且基于解码的关键信号提取包含在VOP中的目标从而以宏-块为基础检测该运动矢量。
在上层编码单元23和下层编码单元25中的运动矢量检测器32以在图1中所解释的预定序列处理VOP。这种序列可以被如下设置。
在空间定标的情况下，以分别象在图24A或者24B中显示的序列P，B，B，B，...，或I，P，P，P，...，处理上层或者下层VOP。在这种情况下，在上层中，利用相同时间点处的下层的VOP，在这里为I-画面，作为参考画面，来编码作为上层的第一VOP的P画面。利用相同时间点的上层的前面最近的VOP以及下层的VOP作为参考画面，对上层的第二和后面的多个v0P(B-画面)编码。类似于下层的P-画面，上层的B-画面在对其它的VOP编码中用作为参考画面。如同在MPEGl或者MPEG2的情况下或者在H.263中那样对下层进行编码。
SNR定标可以认为是等同于其中乘法系数FR等于整数的空间定标，因此它可以以类似于以上所描述的空间定标的方式被处理。
在利用时间定标的情况下，即，如果VO由VOPO，VOP1，VOP2，VOP3等组成，VOPl，VOP3，VOP5，VOP7...为上层(图25A)，而VOP0，VOP2，vOP4，VOP6...为下层(图25B)，上层和下层的各VOP可以用B，B，B，...or I，P，P，的序列来处理，象在图25A和25B中显示的。在这种情况下，利用下层的v0P0(I-画面)和VOP2(P-画面)作为参考画面，对上层的第一vOP1(B-画面)进行编码。利用作为B-画面刚被编码的上层VOPl和下层的VOP4(P-画面)作为参考画面，对上层的第二VOP3进行编码，所述下层的VOP4(P-画面)是VOP3下一个定时(帧)的画面。类似于VOP3，利用作为B一画面刚被编码的上层VOP3和下层的VOP6(P-画面)作为参考画面，对上层的第三VOP5编码，所述下层的VOP6(P-画面)是VOP5下一个定时(帧)的画面。
如上所述，其它层的VOP，在这里为下层(可定标的层)被用作为参考画面，以便编码。即，如果，为了预测编码上层VOP，其它层的VOP用作为参考画面(即，下层的VOP用作为参考画面，以预测编码上层的VOP)，上层编码单元23(图23)的运动矢量检测器32设置和输出说明这种使用的标志。例如，如果有三个或者更多层，标志ref_layer_id(参考_层_标识符)可以说明用作为参考画面的VOP属于的那一层。另外，上层编码单元23的运动矢量检测器32专用于根据VOP的标志ref_layer_id，设置和输出标志ref_select_code(参考一选择一码)(参考画面信息)，标志ref_select_code说明哪一个层VOP能在执行前向预测编码或后向预测编码中用作为参考画面。
图26A和26B为P画面和B画面的规定标志ref_select_code的值。
象在图26A中被显示的，如果，例如，利用前面最近解码的并且其属于与该上层的P画面相同的层的VOP作为参考画面来编码一个上层(增强层)的P-画面，该标志ref_select_code被设置为′00′。另外，如果利用前面最近显示的并且其属于与该P画面不同的层的VOP作为参考画面来编码一个P-画面，则该标志ref_select_code被设置为′01′。如果利用后面最近显示的并且其属于不同层的VOP作为参考画面来编码一P-画面，则该标志ref_select_code被设置为′10′。如果利用属于不同层的共同或重合的VOP作为参考画面来编码一个P-画面，该标志ref_select_code被设置为′11′。
象在图26B中显示的，另一方面，如果利用不同层的共同VOP作为前向预测的参考画面来编码一个上层的B-画面，或者利用前面最近解码的并且其属于与后向预测的参考画面相同层的VOP作为前向预测的参考画面来编码一个上层的B-画面，则该标志ref_select_code被设置为′00′。另外，如果利用属于相同层的VOP作为前向预测的参考画面来编码一个上层的B-画面，或者利用前面最近显示的并且其属于不同层的VOP作为后向预测的参考画面来编码一个上层的B-画面，则该标志ref_select_code被设置为′01′。此外，如果利用相同层的前面最近解码的VOP作为参考画面来编码一个上层的B-画面，或者利用不同层的后面最近显示的VOP作为参考画面来编码一个上层的B-画面，该标志ref_select_code被设置为′10′。最后，如果利用不同层的后面最近显示的VOP作为前向预测的参考画面来编码一个上层的B-画面，或者利用不同层的后面最近显示的VOP作为后向预测的参考画面来编码一个上层的B-画面，该标志ref_select_code被设置为′11′。
参考图24A，24B，25A，以及25B所解释的预测编码的方法仅仅用于说明，而且，应理解到，在参考图26A和26B所解释的范围之内，它可以自由地设置哪个层的哪个VOP将要用作为前向预测编码，后向预测编码或者双向预测编码的参考画面。
在上面的画面中，为了方便，使用了术语空间定标，时间定标和SNR定标。然而，象参考图26A和26B所解释的，如果用于预测编码的参考画面被设置，即，如果象在图26A和26B中所显示的句法被利用，利用标志ref_select_code，空间定标，时间定标和SNR定标之间很难有明显的差异。反过来说，利用标志ref_select_code，不必要完成上述的定标差异。然而，定标和标志ref_select_code，能相互相关，如下所述
在P-画面的情况下，标志ref_select_code′11′与由标志参考_选择_码说明的一层的共用VOP的参考画面(用于前向预测的参考画面)的使用相关，其中定标是空间定标或者SNR定标。如果标志ref_select_code不是′11′，则定标是时间定标。
在B-画面的情况下，标志ref_select_code′00′与由标志参考_选择_标识符说明的一层的共用VOP的参考画面(用于前向预测的参考画面)的使用相关，其中定标是空间定标或者SNR定标。如果标志ref_select_code不同于′00′，则定标是时间定标。
如果一个不同层的一共用VOP，在这里是一个下层，被用为上层的VOP的预测编码的参考画面，在两VOP之间没有任何运动，这样运动矢量在任何时候都是0(O，O)。
回到图23，上述的标志ref_layer_id和ref_select_code可以在上层编码单元23的运动检测器32中被设置，并且提供给运动补偿器42和VLC单元36。根据标志ref_layer_id和参考_选择_码，通过不仅使用帧存储器31，如果需要，还可使用帧存储器52，运动矢量检测器32检测运动矢量。局部地解码的放大的下层画面可以从分辨率转化器24(图15)提供给帧存储器52。即，分辨率转化器24可以放大局部解码的下层VOP，例如，内插滤波器，以产生与VOP相应的一幅所放大的画面，其放大系数为FR，它是一幅所放大的具有与上层的VOP相同的尺寸的画面，其中上层的VOP与下层VOP相关。在帧存储器52中存储从分辨率转化器24提供的放大的画面。然而，如果乘法系数是1，分辨率转化器24直接提供来自下层编码单元25的局部解码的VOP到上层编码单元23，无须进行任何规定的处理。
运动矢量检测器32从下层编码单元25接收尺寸数据FSZ_B以及偏移数据FPOS_B，并且从延迟电路22(图15)接收乘法系数FR。这样，如果存储在帧存储器52中的放大的画面用作为参考画面，即，如果与上层VOP共用的下层VOP用作为上层VOP的预测编码的参考画面，运动矢量检测器32用乘法系数FR乘以与放大的画面对应的尺寸数据FSZ_B和偏移数据FPOS_B。在这种情况下，标志ref_select_code被设置′11′，象参考图26A所解释，并为P-画面和B-画面设置到′00′，参考图26B解释的。运动矢量检测器32根据用于检测运动矢量的相乘的结果，识别在绝对坐标系中的放大的画面的位置。
运动矢量检测器32也可以接收下层的预测方式和运动矢量。这些可以被如下利用。如果上层的B-画面的标志ref_select_code是′00′，并且乘法系数FR是1，即，如果定标是SNR定标，其中上层VOP用于上层的预测编码，这样SNR定标在这里不同于在MPEG2中所规定的，上层和下层具有相同的画面，从而公用的下层画面的运动矢量和预测方式能直接用于上层的B-画面预测编码。在这种情况下，既没有运动矢量也没有预测方式从运动矢量检测器32输出或者传输到VLC单元36，因为接收侧能从下层的解码的结果识别上层的预测方式和运动矢量。
如上所述，运动矢量检测器32可以不仅利用一个上层的VOP而且利用一幅所放大的画面作为检测运动矢量的参考画面。此外，运动矢量检测器32可以设置预测方式，它最大限度地减少预测误差或者变化，如参考图1解释的。进而，运动矢量检测器32也可以设置和输出其它信息，诸如标记ref_select_code和/或者ref_layer_id。
象在图15和23中显示的，说明构成下层的I-或者P-画面的宏-块是否是跳跃宏-块的标志COD从下层编码单元25提供到运动矢量检测器32，VLC单元36，以及运动补偿器42，如同其后将要解释的。
其运动矢量已被检测的一个宏-块，如上所述地进行编码，因此VOL单元36输出一个可变长度码作为编码的结果。如同在下层编码单元25中，上层编码单元23的VLC单元36可以设置和输出标志COD，该标志COD说明I-或者P-画面的宏-块是否是上述的跳跃宏-块；并输出标志MODB，该标志MODB说明B-画面的宏-块是否是跳跃宏-块。除量化系数，量化步长，运动矢量，以及预测方式之外，VLC单元36也可以接收乘法系数FR，标志ref_secret_code(参考_秘密_码)以及ref_layer_id，尺寸数据FSZ_E，偏移数据FPOS_E，以及关键信号编码单元51的输出。可变-长度VLC单元36编码和输出所有这种数据。
进一步，其运动矢量已检测的宏-块，被编码和局部地解码，如上所述，并且被存储在帧存储器41中。在运动补偿器42中，实行运动补偿，从而不仅利用存储在帧存储器41中的上层的局部解码的VOP而且利用存储在帧存储器52中的下层的局部解码和放大的VOP中来产生预测画面。即，运动补偿器42不仅接收运动矢量和预测方式而且接收标志ref_select_code和ref_layer_id，解码的关键信号，乘法系数FR，尺寸数据FSZ-B和FSZ_E，以及偏移数据FPOS_B和FPOS_E。运动补偿器42基于标志ref_select_code和ref_layer_id来识别用于运动补偿的参考画面。如果上层的或者放大画面的一局部解码的VOP用作为参考画面，则运动补偿器42基于尺寸数据FSZ_E和偏移数据FPOS_E或者基于尺寸数据FSZ_B和偏移数据FPOS_B，并且可以利用乘法系数FR和解码的关键信号，识别在绝对的坐标系中的画面的位置和尺寸，以产生预测画面。
向关键信号编码单元51提供上层的VOP的关键信号，关键信号编码单元51(以类似图22的关键信号编码单元43的方式)将关键信号编码，并且向VLC单元36和关键信号解码单元53提供该编码的关键信号。关键信号解码单元53解码该接收的编码的关键信号，并且向运动矢量检测器32和运动补偿器42提供解码的关键信号，如上所述，以用来提取上层的VOP。
图27说明解码由图12的编码器输出的比特流的解码器的实施例。
由图12的编码器输出的比特流可以在传输通道5上传输，从而由一种接收的装置(未显示)接收，或者这种输出的比特流可以记录在记录介质6上，从而由一种再现装置(未显示)再现。在任何情况下，提供所接收的比特流到多路分解器71，其中它被分离成构成VO的比特流VO1，VO2，...，并且提供到一相关的VOP解码器72N。VOP解码器72N，解码构成VO的VOP(画面数据)，关键信号，尺寸数据(VOP尺寸)，以及偏移数据(VOP移动)，并且提供所解码的数据或者信号到画面重建单元73。基于VOP解码器721至72N的输出，画面重建单元73重建可以提供到监控器74的原来画面，以便显示。
图28说明图27的VOP解码器72N的一种基本的结构。象在图25中显示的，来自多路分解器71(图27)的比特流提供到多路分解器81，其中关键信号信息以及关于运动和结构的信息被提取。关键信号信息送到关键信号解码单元82，而向画面信号解码单元83提供关于运动和结构的信息。关键信号解码单元82和画面信号解码单元83分别解码关键信号和关于运动和结构信息，并且向画面重建单元73提供所产生的关键信号与VOP画面数据(亮度和色度信号)。进一步，尺寸数据(VOP尺寸)和偏移数据(VOP的移动)也从输入比特流中提取，并且提供到画面重建单元73(图27)。
如果根据在画面信号编码单元11(图14)中检测的运动矢量，关键信号编码单元12(图14)对关键信号进行运动-补偿以编码该关键信号，则用于在画面信号解码单元83中解码画面的运动矢量被送到关键信号解码单元82，以利用该运动矢量来解码该关键信号。
图29说明图27的VOP解码单元72N执行定标的结构。象在图29中显示的，比特流从多路分解器71(图27)提供到多路分解器91，其中该比特流被分离成一上层VOP比特流和一下层VOP比特流。下层VOP比特流提供到一下层解码单元95，该下层解码单元95解码下层比特流，并且向分辨率转化器94提供所产生的解码的下层画面数据和关键信号。另外，下层解码单元95还向上层解码单元93提供在解码下层比特流时获得的用于编码上层VOP的信息，诸如尺寸数据FSZ_B偏移数据FPOS_B，运动矢量MV，预测方式和/或者标志COD。来自多路分解器91的上层VOP比特流在延迟电路92中延迟一段时间(该时间与下层解码单元95中的处理的时间对应)，然后提供到上层解码单元93。上层解码单元93通过利用下层解码单元95和分辨率转化器94的输出(如果需要的话)解码经由延迟电路92所提供的上层比特流，并且输出产生的上层解码画面，关键信号，尺寸数据FSZ-E，以及偏移数据FPOS-E。上层解码单元93还可以输出乘法系数FR(在解码上层的比特流时获得的)到分辨率转化器94。通过利用接收的乘法系数FR，分辨率转化器94可以将下层的解码画面转化成为一幅放大的画面，正如分辨率转化器24(图15)中那样。从这种转化而来的放大画面送到上层解码单元93，从而在解码上层比特流时使用。
图30说明在图29中所显示的下层解码单元95的结构。下层解码单元95与图2的解码器类似地构成，除了有关键信号解码单元108作为一种新的装置之外。因此，在图30中，与图2的解码器的那些相应的部分或组成部分由相同的参考数字表示。
象在图30中显示的，来自多路分解器91(图29)的下层比特流传送到缓冲器101，以便在其中存储。IVLC单元102从缓冲器101读出比特流，而且对读出的比特流进行可变长度编码，以分离量化系数，运动矢量，预测方式，量化步长，编码的关键信号，尺寸数据FSZ_B，偏移数据FPOS_B，以及标志COD。量化系数和量化步长送到去量化器103；运动矢量和预测方式送到运动补偿器107和上层解码单元93(图29)，尺寸数据FSZ_B和偏移数据FPOS B被送到运动补偿器107，关键信号解码单元108，画面重建单元73(图27)和上层解码单元93；标志COD送到上层解码单元93；而编码的关键信号数据送到关键信号解码单元108。
去量化器103，IDCT单元104，运算单元105，帧存储器106，以及运动补偿器107可以进行类似于图22的去量化器38，IDCT单元37，运算单元40，帧存储器41，以及运动补偿器42所进行的处理，以解码下层VOP。所解码的下层VOP送到画面重建单元73(图27)，上层解码单元93(图29)，以及分辨率转化器94(图29)。
关键信号解码单元108可以进行类似于图22的下层编码单元25的关键信号解码单元44所完成的处理，以解码该编码的关键信号数据。产生的解码的关键信号被送到画面重建单元73，上层解码单元93，以及分辨率转化器94。
图31说明图29的上层解码单元93的结构。这样的的上层解码单元93与图2的编码器类似地被构成。因此，对应于图2中所显示的那些相应的部分或者组成部分由相同的参考数字表示。
象在图31中显示的，来自多路分解器91和延迟电路92(图29)的上层比特流经由缓冲器101送到IVLC单元102。IVLC单元102对所接收的比特流进行可变长度解码，以分离量化系数、运动矢量、预测方式、量化步长、编码关键信号数据、尺寸数据FSZ_E、偏移数据FPOS_E、乘法系数FR和标记ref_layer_id、ref_select_code、COD以及MODB。量化系数和量化步长送到去量化器103，如同图30中那样；运动矢量和预测方式送到运动补偿器107；尺寸数据FSZ_E和偏移数据FPOS_E送到运动补偿器107，关键信号解码单元111，以及画面重建单元73(图27)；标志COD、MODB、ref_layer_id、以及ref_select_code送到运动补偿器107；编码的关键信号数据送到关键信号解码单元111；而乘法系数FR送到运动补偿器107和分辨率转化器94(图29)。
运动补偿器107不仅接收上述数据而且接收运动矢量，标志COD，以及来自下层的解码单元95(图29)的下层尺寸数据FSZ_B和偏移数据FPOS_B。帧存储器112从分辨率转化器94接收放大的画面。去量化器103，IDCT单元104，运算单元105，帧存储器106，运动补偿器107以及帧存储器112可以进行类似于上层编码单元23(图23)的去量化器38，IDCT单元39，运算单元40，帧存储器41，运动补偿器42，以及帧存储器52所完成的处理，以解码上层VOP。所解码的下层VOP送到画面重建单元73。关键信号解码单元完成类似于上层编码单元23(图23)的关键信号单元53所完成的处理，以解码该编码的关键信号数据。所产生的关键信号送到画面重建单元73。
在上述VOP解码单元72的上层解码单元93和下层解码单元95中，生成称作为上层数据的解码画面，关键信号，尺寸数据FSZ_E和偏移数据FPOS-E，以及生成称作为下层数据的解码画面、关键信号、尺寸数据FSB、和偏移数据FPOS-B。画面重建单元73可以由上层数据和/或者下层数据重建画面，如下所述。
在利用象在图16A和16B中显示的第一空间定标的情况下，即，如果输入的VOP整个都是上层，而且在尺寸上压缩或者减少的整个VOP是下层，即如果下层数据和上层数据两者被解码，则画面重建单元73仅仅基于上层数据，通过关键信号(如果需要的话)，提取与尺寸数据FS_E相应的尺寸的所解码的上层画面(VOP)，并且在偏移数据FPOS_E规定的位置安排提取的画面。如果在下层比特流之中发生误差或者只有下层数据被解码(因为监控器74仅仅能处理低分辨率画面)，则画面重建单元73仅仅基于下层数据，利用关键信号(如果需要的话)，提取其尺寸与尺寸数据FSZ-B相应的上层解码的画面(VOP)，并且在偏移数据FPOS_B规定的位置安排提取的画面。
在利用第二空间定标的情况下，象在图17A和17B中显示的，即，如果输入的VOP整个为上层，而且在尺寸上压缩或者减少的整个VOP为下层，即，如果下层数据和上层数据两者被解码，画面重建单元73用乘法系数FR放大其尺寸与尺寸数据FSZ_B相应的下层解码的画面，以产生一幅相应的放大的画面。画面重建单元73将偏移数据FPOS_B乘以FR，并且在与结果的值相应的位置安排放大的画面。另外，画面重建单元73在由偏移数据FPOS_E规定的位置安排上层所解码画面，其尺寸与画面尺寸数据FSZ-E相应。在这种情况下，解码的画面的上层部分所显示的分辨率比其它的部分高。
在安排上层所解码的画面中，解码的画面与一幅所放大的画面合成。这种合成可以利用上层的关键信号实行。
上述的数据和乘法系数FR可以从上层解码单元93(VOP解码单元72N)向画面重建单元73提供。利用这样的数据，画面重建单元73产生一幅所放大的画面。
如果，在运用第二空间定标的情况下，仅仅下层数据被解码，如同在运用上述空间定标的情况下，可以实行画面重建。
如果，在运用第三空间定标(图18A，18B，19A，19B)的情况下，即，如果每一个构成输入VOP的目标全部为上层并且稀疏出来的整个目标是下层，则如同运用上述第二空间定标的情况，画面可以被重建。
利用偏移数据FPOS_B以及FPOS_E，如上所述，所放大的下层画面和上层画面的相应象素可以在绝对的坐标系中被安排在相同的位置。另外，上述画面重建生成一幅正确的画面，(即，画面基本上没有位置偏差)。
现在结合MPEG4VM验正方法解释在定标中的句法。
图32说明在定标编码时所获得的比特流结构。更具体地，比特流以视频对话(VS)级别作为一个单元而构成，而且每一VO由一或更多视频目标层(VOL)级别组成。如果画面不分层，VOL可以是唯一的VOL，而，如果画面被分层，它由等于层数的一些VOL组成。
图33和34分别显示VS和VO的句法。VO是与整个画面或者它(目标)的一部分的序列相应的比特流，这样VS由一组这样的序列构成。作为例子，VS可以对应于一个广播节目。
图35显示了VOL的句法。VOL是定标的级别，并且可以由video_object_layer_id(视频_目标_层_标识符)规定的数量识别(图35中的A1显示的部分)。即，下层的VOL的video_object_id(视频_目标_标识符)可以为0，而上层的VOL的video_object_layer_id可以是1。可定标的层的数量并不限制于2，而是可以是任何等于或者比3更大的任意数。不论每个VOL是整个画面或是其一部分都可由规定VOL形状的video_object_layer_shape(视频_目标_层_形状)识别或确定。这样的video_object_layer_shape可以被如下设置。如果VOL的形状为矩形，视频_目标_层_形状可以是′00′。如果VOL具有由硬键(值0或者1的二进制信号)提取的区域的形状，视频_目标_层_形状可以是′01′。如果VOL具有由硬键提取的区域的形状(具有从0至1连续值(灰度的信号))，即如果VOL能用软键来合成，video_object_layer_shape可以是′10′。
考虑到这种情况，其中video_object_layer_shape是′00′，当VOL的形状为矩形时并且在绝对的坐标系中VOL的位置与量级是恒定的或不随时间而变化。在这种情况下，量级(横向长度和纵向长度)可以由video_object_layer_width(视频_目标_层_宽度)和video_object_layer_height(视频_目标_层_高度)规定(在图35中由A7显示的部分)。video_object_layer_width和video_object_layer_height每个都可以是10-比特固定-长度的标志；而且，如果例如video_object_layer_shape是′00′，则在开始时该10-比特的标志可以只传输一次，因为VOL在绝对坐标系中具有固定的尺寸(即，video_object_layer_shape是′00′)。
进一步，一比特的标志定标(象在图35中的A3显示的部分)规定下层和上层哪个是VOL。例如，如果VOL是下层，标志定标可以设置到0；而，如果VOL是上层，标志定标可以设置到1。
如果VOL使用另一个VOL中的画面作为参考画面，该参考画面所属的VUL由参考_层_标识符(象在图35中的A4显示的部分)表示，它只为上层传输。
在图35中，在象在图35中的A5中显示的hor_sampling_factor_n(水平_取样_因素_n)和hor_sampling_factor_m(水平_取样_因素_m)分别规定与下层中的VOP的水平长度相应的值和与上层中的VOP的水平长度相应的值。因此，上层水平方向长度至下层的水平方向长度由hor_sampling_factor_n/hor_sampling_factor_m(在垂直方向中分辨率的系数)给出。另外，在象在图35中的A6中显示的ver_sampling_factor_n(垂直_取样_因素_n)和ver_sampling_factor_m(垂直_取样_因素_m)分别规定与下层中的VOP的垂直长度相应的值和与上层中的VOP的垂直长度相应的值。因此，上层的垂直方向中的长度至下层的垂直方向中的长度由ver_sampling_factor_n/ver_sampling_factor_m(在垂直方向中乘以分辨率的系数)给出。
图36显示视频目标平面(VOP)级别的句法的例子。VOP(横向和纵向长度)的尺寸可以由VOP_width和VOP_height表示，每个都有10-比特的固定长度，象在图36中的B1显示的。在VOP的绝对坐标系中的位置可以由10-比特的固定长度的VOP_horizonal_sptial_mc_ref(象在图36中所示的部分B2)和VOP_vertical_mc_ref(象在图36中所显示的部分B3)表示。在垂直方向中，上述VOP_width和VOP_height分别表示水平方向的长度和垂直方向的长度，与上述的尺寸数据FSZ_B和FSZ_E相应。另一方面，上述VOP_horizonal_spitial_mc_ref和VOP_vertical_mc_ref分别表示水平方向与垂直方向中的坐标(X和Y坐标)，它们与坐标FPOS_B和FPOS_E对应。
只有当video_object_layer_shape不是′00′时，发射VOP_width，VOP__height，如果video_object_layer_shape是′00′，VOP的尺寸和位置两者是常数，这样不必要传输VOP_width，VOP_height，VOP_horizontial_spitial_mc_ref或者VOP_vertical_mc_ref。在接收侧，VOP的左上顶点被安排得与绝对坐标系起始点对应，而参考图35所描述的video_object_layer_width和video_object_layer_height可识别其尺寸。
象在图36中的B4所显示的ref_select_code表示用作为参考画面的画面参考，象参考图26A和26B所解释的。这样的ref_select_code可以用图36中所显示的VOP句法规定。
图37显示另一个视频目标平面(VOP)级别的句法的例子。在本实施例中，类似于图36的实施例，如果视频_目标_层_形状不同于′00′，则关于VOP的尺寸和位置的信息将被传输。然而，如果，在本实施例中，视频_目标_层_形状不同于′00′，可以传输1比特的标志load_VOP_size(象在图37中的C1显示的部分)，它表明此刻所传输的VOP的尺寸是否等于以前所传输的VOP的尺寸。如果当前的VOP的尺寸分别等于或者不等于以前所解码的VOP的尺寸，load_VOP_size可以设置到0或者1。如果load_VOP_size为0，VOP_width或者VOP_height(象在图37中的C2显示的)不被传输，而，如果load_VOP_size是1，VOP_width和VOP_height被传输。这样的VOP_width或者VOP_height类似于参考图36所解释的那样。
在图36和37中，当前的VOP的横向长度或者纵向长度与前面最近解码的VOP的横向长度或纵向长度之间的差别(有时被称作尺寸差别)可以被分别用作为VOP_width或者VOP_height。在实际的画面中，VOP尺寸不会经常地变化，这样当load_VOP_size为1时，通过只传输VOP宽度和VOP_高度可减少多余的比特。
如果尺寸差别被利用，信息量可进一步减少。
这样的尺寸差别可以被计算并由图22和23中的VLC单元36进行可变长度编码，并且输出结果。在本情况之下，IVLC单元102将该尺寸差别加到前面最近解码的VOP的尺寸上，以识别或者决定当前解码的VOP的尺寸。
关于VOP的位置信息，绝对坐标系中坐标值和代替绝对坐标系中坐标值的前面最近解码的VOP(以前的VOP)的坐标值之间的差别(有时被称作位置差别)通过diff_VOP_horizonal_ref和diff_VOP_vertical_ref(由象在图37中的C3显示的部分)传输。
如果在前面最近解码的VOP的绝对坐标系中的X或者Y坐标由VOP_horizonal_mc_spatial_ref_prev或者VOP_vertical_mc_spatial_ref_prev表示，diff_VOP_horizontal_ref或者diff_VOP_vertical_ref可以由VLC单元36(图22和23)根据下列方程式计算diff_VOP_horizontal_ref＝VOP_horizontal_mc_spatial_ref-VOP_horizontal_mc_spatial_ref_prevdiff_VOP_vertical_ref＝VOP_vertical_mc_spatial_ref-VOP_vertical_mc_spatial_ref_prev利用了图36中的VOP_horizontal_mc_spatial_ref或者VOP_vertical_mc_spatial_ref。进一步，同时，VLC单元36对所计算的diff_VOP_horizontal_ref和diff_VOP_vertical_ref进行可变长度编码并输出它们。具体地，参考在图38中所显示的与diff_VOP_horizontal_ref和diff_VOP_vertical_ref相关的表，VLC单元36找到图37中的C4处的diff_size_horizontal或者diff_size_vertical，而且对这样找到的diff_size_horizontal或者diff_size_vertical进行可变长度编码。而且，参考图39中所显示的表，VLC单元36将diff_VOP_horizontal_ref或者diff_VOP_vertical_ref转化成为与diff_size_horizontal或者diff_size_vertical相关的可变长度码。转化为可变长度码的diff_VOP_horizontal_ref，diff_VOP_vertical_ref，diff_size_horizontal或者diff_size_vertical的可以复用在其它的数据上，以便传输。在这种情况下，图30和31的IVLC单元102从diff_size_horizontal或者diff_size_vertical中识别diff_VOP_horizontal_ref或者diff_VOP_vertical_ref的可变长度码的长度，并基于这种识别的结果，完成可变长度解码。
如果位置差别被传输，与图36的情况相比，则信息量能被减少。
象在图37中的C5处所显示的参考_选择_码基本上类似于参考图36所解释的。
图40A和40B显示宏-块的句法。
图40A显示I-或者P-画面(VOP)的宏-块的句法。标志COD，它被安排在紧接着first_MMR_code的后面，它规定在COD后面是否有数据。如果从I-画面或者P-画面的宏-块获得的DCT系数(DCT系数的量化结果)都为零而且运动矢量是零，则下层编码单元25(图22)和上层编码单元23(图23)的VLC单元36设置I-画面或者P-画面的宏-块作为跳跃宏-块，并且设置COD为1。因此，如果COD是1，没有任何数据将要为宏-块而传输，从而在I-标志之后的数据不被传输。另一方面，如果不同于0的ac组成部分出现在I-或者P-画面的DCT系数中，VLC单元36将标志COD设置为0，并且可以传输其后的数据。进一步，安排到标志COD后面的MCBPC规定宏块的类型，而且可以根据MCBPC传输后续数据。进而，由于I-画面基本上不变成跳跃宏-块，所以该I-画面的COD不被传输或指定不被传输。
＂COD＂只出现在多个VOP中，对于它，VOP_预测_类型表明P-VOP，而且相应的宏块不是透明的。宏块层结构象在图40A中所显示的。＂COD＂在宏块层中可以是一比特标志，当它设置为＂0＂信号时，该宏块被编码。如果设置为＂1＂，对于该宏块不再传输信息；在那种情况下，对于P-VOP，在整个宏块的运动矢量等于零而且没有系数数据时将宏块作为′P(inter)′宏块处理。B-VOP(VOP_prediction_type＝′10′)的宏块层结构如图40B所示。如果该COD表明最近解码的I-或P-VOP中的MB是被跳过的(COD＝“1”)，则在B-VOP中过渡的MB也是跳跃的。(没有信息包括在比特流中)。另外，宏块层象如图40B中所显示的。然而，在空间定标的增强层的情况下(ref_select_code＝′00′&&定标＝“1”)，不论最近解码的I-或者P-VOP中的MB的COD是什么，宏块层被显示在图40B中。
图40B显示了B-画面(VOP)的宏-块的句法。安排在first_MMR_code后面的标志MODB与在图40A中的标志COD相关，并且规定是否有数据被安排在MODB之后(即，规定B-画面的宏-块类型)。
对于在B-VOP中每个编码的(非跳跃)宏块，都有＂MODB＂标志。不论MBTYPE和/或者CBPB信息是否存在，它可以是一可变长度的码字。在不存在MBTYPE的情况之下，缺省值可以设置为“Direct(H.263B)＂。在空间定标的增强层的情况下(ref_select_code＝＝′00′&&定标＝1)，MBTYPE的缺省值可以设置为＂向前的MC＂(在相同的参考层上从最后解码的VOP来预测)。MODB的码字如在图41A和41B中被定义。
VLC单元36(图22和23)可以用可变长度编码将MODB编码，例如，象在图41A和41B中显示的，以便传输。即，在本实施例中，该MODB的两种可变长度编码被显示在图41A和41B中。(在这里术语＂可变长度表＂用于表示可变长度编码表和可变长度解码表两者)。图41A的可变长度表(在这里有时称作为MODB表A)为MODB分配三个可变长度码，而图41B的可变长度表(在这里有时称作为MODB表B)为MODB分配两个可变长度码。如果，使用MODB表A，则仅仅利用在解码一B-画面的宏-块之前解码的另一个帧的宏-块的数据(诸如量化系数或者运动矢量)，就能解码该B-画面的宏-块，或者在前面最近解码的I或者P-画面的相应位置的宏-块(即，与正被处理的宏-块相同位置的I-或者P-画面的宏-块)是跳跃宏-块，其COD为零，VLC单元36(图22和23)设置B-画面的宏-块作为跳跃宏-块，其MODB为零。在这种情况下，紧跟着MODB的数据，诸如MBTYPE和CBPB不会被传输。
然而，如果宏块的DCT系数(量化的DCT系数)全都有相同的值(诸如0)，但宏-块的运动矢量存在，则运动矢量应该被传输，MODB被设置为′10′，后面的MBTYPE被传输。另一方面，如果宏-块的DCT系数至少之一不是零(即，如果存在DCT系数)，而且宏-块的运动矢量存在，MODB被设置′11′，后面的MBTYPE和CBPB被传输。
MBTYPE规定宏-块的预测方式和包含在该宏-块中的数据(标志)，CBPB是6-比特的标志，它规定其中存在DCT系数的宏-块的块。具体地，每一宏-块可以包括亮度信号的四个88象素块，色度信号Cb的一个88象素块，和色度信号Cr的一个88象素块，总共六个块，如图42所示。DCT单元34(图22和23)可以为每一块执行DCT处理，而且VLC单元36(图11和23)可以根据在六个块的每一块中是否有DCT系数，设置6比特的CBPB为0或者1。即，假设为构成一宏块的6个块设置了块号码为1至6，象在图42中显示的。如果在块号为N的块中存在或不存在DCT系数，VLC单元36可以分别将CBPB的第N个比特设置为1或者0。这里假设LSB与MSB分别是第一比特与第六比特。因此，如果CBPB为0(′000000′)，则在宏-块中没有任何DCT系数。
另一方面，如果MODB表B(图41B)或者MODB表A分别用于VLC单元36(图22和23)，则标志MODB可以被设置为′0′或者′1′。因此，如果MODB表B被利用，跳跃宏-块不会产生。
其次，MBTYPE由VLC单元36(图22和23)按可变长度编码被编码，并且被传输。即，在本实施例中，图43A和43B中显示了MBTYPE的两种可变长度编码。图43A的可变长度表(在这里有时称作为MBTYPE表A)为MBTYPE分配四个可变长度码，而图43B的可变长度表(在这里有时称作为MBTYPE表B)为MBTYPE分配三个可变长度码。
如果MBTYPE表A被利用，并且如果预测方式是双向预测编码方式(内插MC+Q)，VLC单元36可变长度编码MBTYPE为′01′。在这样的情况中，DQUANT，MVDf，以及MVDb被传输，其中DQUANT指示量化步长，而MVDf和MVDb分别指示用于前向预测和用于后向预测的运动矢量。另外，当前的量化步长和以前的量化步长之间的差别可以用作为DQUANT，本身代替量化步长。如果预测方式是后向预测编码方式(后向的MC+q)，MBTYPE被可变长度编码成′001′，并且传输DQUANT和MVD。如果预测方式是前向预测编码方式(前方的MC+q)，MBTYPE被可变长度编码成′0001′，并且传输DQUANT和MVDb。如果预测方式是在H.263(直接编码方式)中规定的直接方式，MBTYPE被设置为′1′，而且MVDB被传输。
在上面的情况中，只解释了三种类型的帧间编码方式(即，前向预测编码方式，后向预测编码方式，以及双向预测编码方式)。然而，MPEG4提供四种类型，即上述三种类型和一直接方式。因此，图22和23的运动矢量检测器32设置其中一种帧内编码方式(即，前向预测编码方式，后向预测编码方式，双向预测编码方式，和直接方式)作为预测方式，将最大限度地减少预测误差。直接方式将进一步在这里解释如下。
在VLC单元36(图22和23)中，当MBTYPE表B(图43B)被利用时，MBTYPE可以是′1′，′01′或者′001′，当MBTYPE表A被利用时，它可以是′1′，′01′，′001′或者′0001′。因此，如果MBTYPE表B被利用，直接方式不会被设置为预测方式。
现在参考图44解释直接方式。
假定存在四个VOP(即VOP0，VOP1，VOP2和VOP3)，并以这个次序显示，VOP0和VOP3是P-画面(P-VOP)，而VOP1与VOP2是B画面(B-VOP)。另外，假定VOP0，VOP1，VOP2和VOP3以VOP0，VOP3，VOP1和VOP2的次序编码/解码。
在上述的所采取的条件下，在直接方式下VOP1的预测编码的出现如下所述。即，如果，在VOP1之前最近被编码(解码)的P-画面中(即，象在图44的实施例中的VOP3)，在与当前编码的VOP1的宏-块(正编码的宏-块)相同位置处的宏-块的运动矢量是MV，根据下列方程式，从运动矢量MV和预定矢量MVDB，用于前向预测编码正被编码的宏-块的运动矢量MVF以及用于后向预测编码正被编码的宏块的运动矢量MVB可被计算。
MVF＝(TRB X MV)/TRD+MVDBMVB＝(TRB-TRD)×MV/TRD然而，当矢量MVDB为0时，运动矢量MVB能由上述方程式计算。如果矢量MVDB不是0，根据下列方程式可计算运动矢量MVBMVB＝MVF-MV.
TRB指示到前面最近显示的I-或者P-画面的距离(图44的实施例中的VOP0)，而TRD指示显示序列中位于VOP1前面最近和后面最近的I-或者P-画面的间隔(图4 4的实施例中的VOP1和VOP3)。
如果，在B-画面的VOP的矢量MVDB的值正在变化的情况下，在用据上述方程式所获得的运动矢量MVF和MVB进行预测编码时产生的预测误差小于在帧内编码方式(前向预测编码方式，后向预测编码方式或者双向预测编码方式)中获得的预测误差，图22和23的运动矢量检测器32可以设置一直接方式作为预测方式。在上述情况中，矢量MVDB可以具有与运动矢量MV相同的方向。
在图44的实施例中，TRB＝1和TRD＝3，这样运动矢量MVF是MV/3+MVDB。另一方面，如果MVDB是0和不是0，运动矢量MVB分别是2MV/3和-2MV/3+MVDB。
如果预测方式是直接方式，在在未来编码/解码的最邻近P-画面中的相应宏-块(象在图44的实施例中的VOP3)的运动矢量MV可以用于正被编码的宏-块的编码/解码。
如上所述，VOP可以在尺寸或者位置方面改变(如果视频_目标_层_形状是′10′或者′01′)。在这样一种情况之下，相应的宏-块不能使用。因此，如果直接方式用于编码/解码其在尺寸或者位置方面变化的VOP，处理是不能实现的。这样，在本实施例中，只有当具有正被编码的宏块的VOP(B-画面的VOP)在尺寸上与在未来解码的最邻近的P-画面的VOP相同时，直接方式才是可用的。具体地，只有当由如上所述的VOP_width和VOP_height表示的VOP尺寸不改变时，才允许使用直接方式。
因此，如果具有正被编码的宏块的B-画面的VOP具有的尺寸与在将来解码的最邻近的P-画面的VOP相同，包括一直接方式的MBTYPE的一个可变长度码的MBTYPE表A(图43A)将被利用。
另外，如果MPEG4中提供了MODB表A(图41A)，其规定如果这个MODB表A被利用，则预测方式是直接方式，如果MODB是0，而图26A和26B的ref_select_code不是′00′的话。这样，MODB A表可以被利用，如果具有正被编码的宏块的B-画面的VOP具有的尺寸与在将来解码的最邻近的P-画面的VOP相同的话。
这样，如果MODB表A和MBTYPE表A被利用，并且如果MODB为′0′或者MBTYPE是′1′，则预测方式是直接方式。
如果视频-目标-层-形状是′00′，VOP在尺寸方面不改变，这样在这种情况下，使用MODB表A和MBTYPE表A。
另一方面，如果具有正被编码的宏块的B-画面的VOP具有的尺寸与在将来解码的最邻近的P-画面的VOP不同，则直接方式不会被利用。在这种情况下，利用MBTYPE表B对MBTYPE进行可变长度编码/解码。
如果具有正被编码的宏块的B-画面的VOP具有的尺寸与在将来解码的最邻近的P-画面的VOP不同的话，至少应该传输MPTYPE。换句话说，在这样的情形中，不必要传输MBTYPE和CBPB两者。这样，不利用MODB表A(图41A)(它提供不传输MBTYPE和CBPB两者的情况)，而是利用MODB表B(图41B)(它不提供不传输MBTYPE和CBPB两者的情况)，对MODB进行可变长度编码/解码。
通过根据在VOP尺寸方面变化来选择或者改变所用的可变长度表，作为编码结果所获得的数据量可以被减少。即，如果仅仅MODB表A(图41A)被利用，MODB可以被编码在1-比特可变长度码或者两2-比特可变长度码中。另一方面，如果MODB表B(图41B)被利用，MODB被编码在1-比特可变长度码或者2-比特可变长度码中。因此，如果MODB表A和B两者被利用，在两比特可变长度码中编码MODB用的频率被减少，其结果导致数据量可以减少。
类似地，MBTYPE可以在MBTYPE表A(图43A)中表明的4比特或者更少的可变长度码中被编码。然而，象在MBTYPE表B(图43B)中表明的，MBTYPE可以在3或者更少的比特可变长度码中被编码，这样数据量能被缩小。
对于ref_select_code不是′00′的下层或者上层，多个MODB表和MBTYPE表可以被利用，如上所述。然而，对于参考_选择_码等于′00′的上层，可能会出现问题。具体地，B-画面宏-块的标志ref_select_code被处理为′00′，相同的层(这里为上层)的I-或者P-画面以及相同时间点处不同层(这里为下层)中的画面(放大的画面)，如图45所示，可以用作为参考画面，象在图26A和26B中显示的。另一方面，利用前面最近解码的P-画面的运动矢量，直接方式可预测地编码在不同时间点的I-或者P-画面两者之间的B-画面。这样，如果参考_选择_码是00，直接方式不会被应用。然而如果MBTYPE表A被利用，直接方式可以被设置作为预测方式。
在本实施例中，如果在上层中所处理的B-画面宏-块的标志ref_select_code是′00′，用下列两种方法之一对MBTYPE进行可变长度编码/解码。
按第一种方法，如果在上层中所处理的B-画面宏-块的标志ref_select_code是′00′，MBTYPE表B被用来替代MBTYPE表A。由于在MBTYPE表B中没有定义直接方式，在图45所示的情况中，直接方式不会被设置为预测方式。
按第二种方法，准-直接方式可以用作为预测方式。在这样的情形中，如果在上层中所处理的B-画面宏-块的标志ref_select_code是′00′，并且MBTYPE表A被使用，则对于MBTYPE，准-直接方式(代替直接方式)具有可变长度码′1′。在准-直接方式，象在图45的情况下，利用由一乘法系数FR放大的一个下层(不同的层)的画面作为参考画面来完成前向预测，而且对于上层(相同层)利用以前最近编码的被解码的画面作为参考画面来完成后向预测。
如果用作为前向预测的参考画面的放大的画面中的相应宏-块(与正被编码的宏块相同的位置的宏块)的运动矢量是MV，运动矢量MVB可以用于后向的预测，其中MVB由下列方程式定义MVB＝MV X FR+MVDB即，用FR乘以下层的相应宏-块的运动矢量MV并将一个矢量MVDB加到该结果上所获得的矢量，可用于后向预测的运动矢量MVB。在这种情形之下，矢量MVDB不会被传输，因为运动矢量MVB能从运动矢量MV，乘法系数FR，以及MVDB中获得。这样，如果，在接收侧(解码侧)，在上层所处理的B-画面宏-块的标志ref_select_code是′00′，并且MBTYPE表A用于可变长度解码，具有MBTYPE为′1′的宏-块的运动矢量MVB从下层的相应宏-块的运动矢量MV，乘法系数FR，以及矢量MVDB中被检测。
因此，被认为是冗余数据的矢量MVDB可以不被传输，这样提高了编码的效率。
下面将参考图47和48的流程图解释在图22和23的VLC单元36中和在图30和31的IVLC单元102中用于确定可变长度表的方法(用于确定是MODB表A还是B，以及MBTYPE A还是B被利用的方法)。
图47显示用于决定下层中所用的的可变长度表的方法。在步骤S31，它判断(通过参考图36中所解释的video_object_layer_shape，VOP_width或VOP_height或者参考图31解释的load_VOP_size)VOP尺寸是否被改变了。如果VOP尺寸还没有被改变，过程进入步骤S32，其中MODB表A和MBTYPE表A被利用。过程然后可以被终止。相反地，如果步骤S31表明VOP尺寸变化了，过程进入步骤S33，其中MODB表B和MBTYPE B被利用。过程然后可以被终止。
图48显示用于确定上层中所用的可变长度表的方法。在步骤S41，确定ref_select_code是否是′00′。如果ref_select_code是′00′(即，如果相同时间点处，下层中的VOP用作为正要处理的上层的VOP的参考画面)，过程进入到步骤S42，其中MODB表A和MBTYPE表B可以被利用。如果准-直接方式将被利用，MBTYPE表A可以被用来替代MBTYPE表B。即，在步骤S42，按照应用的是第一种还是第二方法，来分别选择MBTYPE表B或者MBTYPE表A。过程然后可以被终止。
另一方面，如果，在步骤S41，ref_select_code不是′00′，过程进入到步骤S43。然后在步骤S43至S45中，可以实行类似于在图47中的步骤S31至S33中实行处理，以决定MODB表和MBTYPE表哪一个将要被利用。
现在将参考图49至51A，51B，和51C来解释在图22的下层编码单元25，图23的上层编码单元23，图30的下层解码单元95，以及图31的上层解码单元93中的跳跃宏-块的处理。
假定I-画面宏-块基本上不变成跳跃宏-块。基于这样的假定，下列画面适合于P-和B-画面。进一步，如果MODB表B被利用，跳跃宏-块不会被产生，如上所述。因此，只有当利用MODB表A时，跳跃宏-块可以被处理。
图49显示了一个流程图，它说明在图22的下层编码单元25和图30的下层解码单元95中的跳跃宏-块的处理。
在步骤S1，判断正被处理的宏-块是P-画面还是B-画面。如果这样的宏-块是P-画面，处理过程进入步骤S2，以确定宏-块的COD是否为1。如果这样的COD是1，过程进入步骤S3，其中确定宏-块是跳跃宏-块，因此，该宏-块被如此处理。即，在这种情况下，正被处理的宏-块的量化系数(DCT系数)假定全为零，而且它的运动矢量也被假定为零。
另一方面，如果在步骤S2发现正被处理的宏-块的COD不是1，过程进入步骤S4，因此该宏-块以一种通常的方式被处理。即，在这种情况下，P-画面的宏-块被作为具有不为0的DCT系数或者具有不为0的运动矢量处理。
返回步骤S1，如果它确定了正被处理的宏-块是B-画面，过程进入步骤S5，以确定在解码B-画面的宏块之前最近解码的I-或者P-画面中，在相同的位置处的宏-块(相应的宏块)的COD是否为1。(注意-相同位置处的宏块被称作为相应的宏-块)如果，在步骤S5，正被处理的宏块的相应宏块的COD被检测为1，过程进入到步骤S6，其中确定正被处理的宏-块是跳跃宏-块，因此该宏-块被如此处理。
即，现在假设要处理的画面(多个VOP)由序列I/P，B，I/P(其中I/P表示I-或者P-画面)表示，象在图51A中例子所示的，并且这些画面图51A中所示的以最左边是I/P、最右边是I/P，以及从左侧第二个是B的序列被编码/解码。假设从左边的第二B-画面的宏块正被处理。在这样的情形中，利用最左边的I/P画面作为参考画面来编码/解码最右边的I/P画面。对于正被处理的B-画面的宏-块，如果最右I/P画面的相应宏-块的COD是1(即，如果相应宏-块是跳跃宏-块)，则在最左边I/P画面至最右I/P画面之间没有任何画面变化。这样，如果正被处理的宏-块是B-画面，以及如果相应宏-块的COD是1，则正被处理的宏-块是跳跃宏-块。在这种情况下，正被处理的B-画面宏-块的处理(预测编码/解码)类似于最右I/P画面的相应宏-块的处理，这样它的运动矢量与DCT系数作为全为0来处理。编码器侧只传输MODB，如上所述，而且随后的CBPB或者MBTYPE不被传输。
回到图49，如果在步骤S5发现相应宏-块的COD不是1，则处理过程进入步骤S7，以判断正被处理的B-画面的宏-块的MODB是否是0。如果这样的MODB被检测为0，过程进入到步骤S8，其中，正被处理的宏-块是跳跃宏-块，因此该宏-块被如此处理。
具体地，象在图51B中所假定的，正被处理的画面(VOP)以与在图51A中显示的相同的序列来显示和编码/解码，并且来自左边的第二幅画面的宏-块正被处理。在这种情况下，由于与正被处理的B-画面的宏-块对应的最右I/P画面的宏-块不是1(即，相应宏-块不是跳跃宏-块)，则在最左I/P画面和最右I/P画面之间有画面变化。另一方面，由于正被处理的B-画面的的宏-块的标志MODB为0，只利用在解码该B-画面的宏-块之前所解码的其它帧的宏-块的数据，宏-块就能被解码，或者在前面最近解码的I-或者P-画面中的相应宏-块是跳跃宏-块(即，COD是1)。然而，由于COD不相等于1，如上所述，利用在解码该宏-块之前所解码的其它帧的宏-块的数据，正被处理的B-画面的宏-块就能被解码。在解码该宏-块之前所解码的其它帧的宏-块的数据在这里可以被表示为先前解码的数据。
现在考虑这种情形(其中，在最左I/P画面和最右IP画面之间出现了画面变化，而且，其中仅仅利用先前解码的数据，正被处理的B-画面的宏-块能被解码)。这对应于这样的情形，其中，如果象在图51B中显示的，最左I/P画面或者最右I/P画面利用运动矢量MV2或者MV3被运动-补偿了，以产生预测画面(图51B)，在图51B中由虚线所示的部分具有与正被处理的宏-块一致的平均值，不产生任何预测误差。用例如1/2或1-1/2乘以运动矢量MV1时获得了运动矢量MV2与MV3。当利用最左I/P画面作为参考画面来处理最右I/P画面中的相应宏块(象在图51B中实线显示的)，利用了运动矢量MV1。
以此观点，利用从最右上画面中相应宏-块的运动矢量MV1找到的运动矢量MV2(MVF)与MV3(MVB)作为运动矢量，利用上述预测画面的平均价值作为象素值(象素数据)，正被处理的B-画面(预测编码/解码)的宏-块的处理在图49的步骤S8被实行。
在这样的情形中，正处理的宏-块的预测方式可以是上述的直接方式。在H.263中，直接方式仅仅可以运用于PB画面。这样，在本实施例中，B-画面可以包含或者包括MPEG1和MPEG2标准中的B-画面以及H.263标准的PB里面。
另一方面，如果在步骤S7发现正处理的B-画面的宏-块的MODB不是0，过程进入步骤S9，其中过程以如同在步骤S4那样的通常方式进行。
图50显示流程图，说明由图23的上层编码单元23和图31的上层解码的单元93在跳跃宏-块上进行的处理。
在步骤S11到S14，类似于在图49中的步骤S1至S4的处理被完成。换句话说，在P-画面的上层和下层两者上类似的处理被完成。
如果，在步骤S11，发现正被处理的宏-块是B-画面，处理过程进入到步骤S15，以判断所处理的宏-块的标志ref_select_code是否是′00′。如果发现该宏-块的这种标记ref_select_code不是′00′(即，如果不是利用下层的相同时间点的画面作为参考画面来处理B-画面的宏-块)，处理过程进入步骤S16至S20，其中类似于图49中步骤S5至S9可以被完成。
如果，在步骤S15，所处理的B-画面的宏-块的标志参考_选择的_码被发现为′00′(即，如果用相同时间点处的下层画面作为参考画面)，处理过程进入步骤S21，以确定正被处理的B画面的宏-块的MODB是否为0。如果发现MODB为0，处理过程进入步骤S22，其中正被处理的宏块被确定为跳跃宏-块，并且如此处理。相反地，如果在步骤S21发现MODB不是0，处理过程进入步骤S23，其中过程类似于图49中的步骤S3。
即，现在，假设将要处理的上层的画面(VOP)是由图51C所示的序列I/P，B，B，...，表示，并且下层的画面由类似的序列表示。还假设下层和上层的画面交替地被编码/解码。如果上层的B-画面的ref_select_code是′00′，它与上述的画面编码/解码序列相同。
在这样的情形中，假定在步骤S15中不判断ref_select_code的值(即，类似于参考图49所解释的处理被完成)。即，不管这样的事实即用相同时间点处的下层画面(放大的画面)或上层的前面最近解码的画面(最左的I/P画面)而不参考后序的B画面的帧来编码/解码正被处理的上层的B画面的宏块，在这种序列帧中的相应宏块的COD或MODB控制正被处理的宏块是否应该为跳跃宏-块。然而，不需要根据当编码/解码这样的宏-块时不被当作参考的帧来确定正被处理的宏块是否应为跳跃宏-块。
因此，在图50的实施例中，如果上层的B-画面的ref_select_code是′00′，(即，如果用下层的相同时间点处的画面(放大的画面)或者上层中前面最近解码的画面(最左的I/P画面)作为参考画面来处理该B画面的宏块，象在图51C中显示的)，依据与正被处理的B画面的宏-块相关的MODB而不依据与其后帧中相应宏块的COD或MODB，可确定正被处理的宏块为跳跃宏-块。
如果ref_select_code是′00′，当所用的参考画面是上层中前面最近解码的画面(最左I/P的画面)而不是相同时间点处下层的画面时，正被处理的B-画面的宏-块的MODB通常为0。因此，在这种情形之下，利用前面最近解码的画面作为参考画面，用被设置到零的运动矢量来完成这种宏-块(预测编码/解码)的处理。
跳跃宏-块可以象上文描述的那样被处理。在这样的处理中，基于参考图35解释的定标标志，可以确定出正被处理的宏-块属于上层还是下层。
下面将解释下层COD提供到运动矢量检测器32，VLC单元36，以及运动补偿器42的理由。即，在象在图25A和25B中显示的时间定标的情况下，一个下层画面用作为一个上层预测的参考画面，如以前解释的。由于下层的VOPO，上层的VOP1，以及下层的VOP2是时间连续不断的画面，所以如果这三个VOP(VOP1，VOP2，和VOP3)符合参考图51A解释的条件，则上层的VOP1的宏-块变成跳跃宏-块。如果宏-块为跳跃宏-块，则该宏-块不必特别地处理。另一方面，下层的VOP2的COD被用以提供关于参考图51A所解释的条件是否符合这样的决策信息。这样，下层的COD提供到运动矢量检测器32，VLC单元36，以及运动补偿器42，象在图23中所显示的。
MPEG4提供量化步长的DQUANT(除非预测方式是直接方式)作为量化的结果传输，即使其中该宏-块的所有DCT系数都变成预定值，诸如0，(即，如果没有DCT系数出现)。然而，在缺少宏-块的DCT系数的情况下，传输DQUANT是多余的。这样，在图22和23的VLC单元36中和图30和31的IVLC单元102中，量化步长DQUANT可以如下文参考图52描述的那样被处理。
在步骤S51，确定CBPB是否是0。如果CBPB为0，则没有宏-块的DCT系数存在。在这种情形之下，处理过程进入到步骤S56，其中量化步长被忽略，并且过程被终止。即，编码器侧不传输量化步长DQUANT，而解码器侧不(不能)从一接收的比特流提取量化步长DQUANT。这样，处理将要结束。
存在这样的场合，其中CBPB不被传输，象参考图41A和41B所解释的。在这样的情形中，过程可以跳过步骤S51并在步骤S52处重新启动。
如果，在步骤551发现CBPB不是零，处理过程进入步骤S52，以决定MODB是否是零。如果MODB被判断为0，则CBPB不被传输(象参考图41A和41B解释的)，从而没有宏-块的DCT系数存在。结果，处理过程进入步骤S56，其中量化步长被忽略，并且处理过程被终止。
如果在步骤S52发现MODB不是′0′，则处理过程进入步骤S53，以确定用MODB表A还是B来进行MODB的可变长度编码/解码。如果，在步骤S53，确定了要使用MODB表B，过程跳过步骤S54，并且进入步骤S55。如果，在步骤S53，确定了要使用MODB表A，过程进入到步骤S54，确定MODB是否为′10′。
如果，在步骤S54，MODB被判断为′10′(即，如果MODB表A被利用，而且MODB是′10′)，则CBPB不被传输，象参考图41A和41B所解释的。因此，不存在宏-块的DCT系数，这样处理过程进入步骤S56，其中量化步长忽略，并且过程被终止。
另一方面，如果在步骤S54判断MODB为′10′，处理过程进入步骤S55，编码器侧的量化步长DQUANT被传输，并从所接收的比特流中提取量化步长DQUANT。此后，过程被终止。
如上所述，如果没有宏-块的DCT系数(即，如果MODB为′0′，或者如果MODB表A被利用而且MODB为′0′或者′10′，以及如果在MODB表B被利用的情况下MODB是′0′，并且如果CBPB是′000000′)，量化步长被忽略，这样减少了数据冗余。
进一步，在CBPB被传输的情形中，尽管它的值是′0′，利用MODB表A或者B可将MODB设置为′11′或者′10′。这样的情形不会发生，因为′10′或者′0′可以用于MODB。因此，尽管在图52的实施例中在初始步骤S51判断CBPB的值，但是鉴于处理过程的效率，最好是在步骤S55前面完成该决策过程。
不论是第一或者第二种方法被利用，图52的处理过程都可以被应用。
由于在位置或者尺寸方面变化的VO为了处理被安排在绝对坐标系中，以VO为基础的预测编码/解码变得切实可行，而直接对VO的定标也变得切实可行。
此外，由于考虑到规定用于跳跃宏-块的参考画面的标志参考_选择_码而确定跳跃宏-块的处理，所以有效处理变得切实可行。
如果上层的画面与下层的画面相同，而且在相同时间点的下层的解码画面用作为上层预测编码的参考画面，则仅仅下层的运动矢量被传输，而无须传输上层的运动矢量，这样减少了数据量。
虽然在上面的描述中，处理被解释为以宏块为基础，但处理也可根据宏块之外的其它单元来完成。
虽然在上面的描述中，两种MODB表被提供，而且其中之一被选择性地利用，但三个或者更多的MODB表可以利用。类似地，除在这里所描述的那些之外，其它数量的MBTYPE表可以将被利用。
利用本画面的编码装置或者方法，根据在第一和第二画面之间的分辨率的差别可以放大或者压缩第二画面，而且利用放大或者压缩的画面作为参考画面来预测编码第一画面。另一方面，在预定绝对坐标系中的第一幅画面与第二画面的位置被设置，以分别输出在第一幅或者第二画面的位置的第一个位置信息或者第二个位置信息。在这种情况下，将基于第一个位置信息识别第一幅画面的位置，而按照一种放大比或压缩比来转换第二个位置信息，利用该放大比或压缩比来放大或压缩第二画面，并且与转换结果相应的位置被认为是参考画面的位置，以便完成预测编码。这样，对于其位置随时间变化的画面，定标可以完成。
在本画面解码装置或者方法中，根据在第一和第二画面之间的分辨率的差别可以放大或者压缩解码的第二画面，而且利用放大或者压缩的第二画面作为参考画面来解码第一画面。如果编码的数据包括分别在第一幅或者第二画面的位置的第一个位置信息或者第二个位置信息，在预定绝对坐标系中，第一幅画面的位置可依据第一位置信息来识别，而按照一种放大比或压缩比来转换第二个位置信息，利用该放大比或压缩比来放大或压缩第二画面。并且与转换结果相应的位置被认为是参考画面的位置，以便解码第一画面。结果， 对于其位置随时间变化的画面，定标可以完成。
在本记录介质或者记录方法中，编码的数据至少包括第一数据，它是在用放大或压缩的结果作为参考画面来预测编码第一画面而获得的，所述放大或压缩结果是根据在第一和第二画面之间的分辨率的差别放大或者压缩第二画面而获得的；和第二数据，它是在编码该第二画面时获得的，以及第一位置信息或第二位置信息，其是在绝对座标系中设置第一和第二画面的位置时获得的。第一数据根据第一位置信息来识别第一画面的位置，并按照一种放大比或压缩比来转换第二个位置信息，其中利用该放大比或压缩比来放大或压缩第二画面，同时与转换结果相应的位置被认为是参考画面的位置，以便完成预测编码。
在本画面编码装置或者画面编码方法中，根据在第一和第二画面之间的分辨率的差别放大或者压缩第二画面，而且利用放大或者压缩的第二画面作为参考画面来解码第一画面。另一方面，在预定绝对坐标系中的第一幅画面与第二画面的位置被设置，而且分别输出在第一幅或者第二画面的位置的第一个位置信息或者第二个位置信息。在这种情况下，设置第一和第二画面的位置以便预先设定的绝对坐标系中的参考画面的位置与预定位置一致。基于第一个位置信息来设置第一幅画面的位置，而预定位置被认为是参考画面的位置，以便完成预测编码。结果，对于其位置随时间变化的画面，定标可以完成。
在本画面解码装置或者方法中，根据在第一和第二画面之间的分辨率的差别放大或者压缩解码第二画面，而且利用放大或者压缩的第二画面作为参考画面来解码第一画面。如果编码的数据包括分别在预定绝对坐标系中第一幅或者第二画面的位置上的第一个位置信息或者第二个位置信息，其中在绝对座标系中的参考画面的位置被如此设置，使得它与预定位置重合。第一幅画面的位置可依据第一位置信息来识别，而预定位置被认为是参考画面的位置，以便解码第一画面。结果，对于其位置随时间变化的画面，定标可以完成。
在本记录介质或者记录方法中，编码的数据至少包括第一数据，它是在用放大或压缩的结果作为参考画面来预测编码第一画面而获得的，所述放大或压缩结果是根据在第一和第二画面之间的分辨率的差别放大或者压缩第二画面而获得的；第二数据是在编码该第二画面时获得的，以及第一位置信息或第二位置信息，是在绝对座标系中设置第一和第二画面的位置时获得的。第一位置信息和第二位置信息被如此设置，使得在绝对座标系中参考画面的位置与预定位置重合。
结果，对于其位置随时间变化的画面，定标可以完成。
在本画面编码装置和画面编码方法中，画面被预测编码，并且输出第一编码的数据以进行局部解码。利用一幅局部解码的画面作为参考画面来预测编码该画面，以输出第二编码的数据，它只与用于产生第一编码数据的运动矢量复用。结果，解码效率可以提高，换句话说，数据量可以减少。
在本画面解码装置和画面解码方法中，第一数据被解码，并且利用解码的第一数据作为参考画面来解码第二数据，如果编码的数据只包括用于预测编码第一数据的运动矢量；第二数据按照用于预测编码第一数据的运动矢量来解码。这就确保了要从数据中被解码的画面具有小的数据量。
在本记录介质和记录方法中，编码的数据是如此获得的，即预测编码该画面，用以输出第一编码的数据；局部地解码第一编码的数据；利用局部解码作为局部解码结果而获得的画面来预测编码该画面，以便输出第二编码的数据；并且只利用用于获得第一编码数据的运动矢量来复用第一编码数据和第二编码数据。这就减少了要记录的数据块的数量。
在本画面编码装置，画面编码方法，画面解码装置，以及画面解码方法中，根据规定用于编码B画面的宏-块的参考画面的参考画面信息，用前向预测编码，后向预测编码或者双向预测编码中的一个来确定一个宏块是否是跳跃宏-块。这避免了这样的情况，即不根据用作为参考画面的画面来完成跳跃宏-块的处理。
在本记录介质和记录方法中，根据规定用于编码B画面的一个宏-块的参考画面，用前向预测编码，后向预测编码或者双向预测编码中的一个，将一个宏-块设置为跳跃宏-块。这避免了这样的情况，即不根据用作为参考画面的画面来完成跳跃宏-块的处理。
在本画面处理装置和画面处理方法中，按照画面尺寸方面的变化相应地改变用于可变长度编码或者可变长度解码的预定表。这就减少了由可变长度编码所获得的数据的数据量，从而确保了这种数据的可变长度解码。
在本画面处理装置和画面处理方法中，根据与正被编码的画面不同的层但定时相同的画面是否被用作参考画面来改变用于可变长度编码或者可变长度解码的预定表。这就减少了由可变长度编码所获得的数据的数据量，从而确保了这种数据的可变长度解码。
在本画面编码装置和画面编码方法中，只有在该画面的预定块中的象素值的量化结果不全是相同的值时，预定的量化步长才被量化。这就减少了数据量。
在本画面解码装置，画面解码方法，画面记录介质，以及画面记录方法中，只有该画面的预定块中的象素值的量化结果不全都是相同值时，编码的数据包含预定的量化步长。这就减少了数据量。
权利要求
1.一种可按照改进后的MPEG4标准工作的画面编码装置，包括提供装置，用于提供构成一个画面序列的多个基于目标的画面序列；和基于目标的画面编码装置，用于对每个基于目标的画面序列进行编码，其中所述基于目标的画面编码装置包括量化装置，用于将在所述基于目标的画面序列中的画面分割为具有多个像素的块并且通过采用预定的量化步长在包括两个或者多个块的宏块中对像素进行量化，和复用装置，用于复用在宏块中的所述量化后的像素和所述量化步长，其中，对于B-VOP来说，假如在所述B-VOP的宏块中的所述量化后的像素全部等于零，则所述复用装置不复用所述量化步长。
2.一种可按照改进后的MPEG4标准工作的画面解码装置，该装置用于对编码后的画面序列进行解码，该编码后的画面序列包括多个基于目标的画面序列，通过采用预定的量化步长在位于所述基于目标的画面序列中的画面的宏块中对像素进行量化以及复用在所述宏块中的量化后的像素和所述预定量化步长来获得该多个基于目标的画面序列，其中假如在所述B-VOP的所述宏块中的所述量化后的像素全部等于零，则所述编码后的画面序列不包括B-VOP的宏块的预定量化步长。
3.一种可按照改进后的MPEG4标准工作的画面解码方法，该方法用于对编码后的画面序列进行解码，该编码后的画面序列包括多个基于目标的画面序列，通过采用预定的量化步长在位于所述基于目标的画面序列中的画面的宏块中对像素进行量化并且复用在所述宏块中的量化后的像素和所述预定量化步长来获得该多个基于目标的画面序列，其中假如在所述B-VOP的所述宏块中的所述量化后的像素全部等于零，则所述编码后的画面序列不包括B-VOP的宏块的预定量化步长。
全文摘要
一种用于获得视频目标(VO)的定标装置和方法，该视频目标的位置和/或尺寸随时间而变化。在绝对座标系中一个上层画面的位置和下层画面的位置被如此确定，以使得在放大的画面中以及上层画面中的相应象素被安排在绝对座标系中的相同位置处。
文档编号H04N9/75GK1482809SQ03145108
公开日2004年3月17日 申请日期1997年9月9日 优先权日1996年9月9日
发明者铃木辉彦, 一, 矢崎阳一 申请人:索尼公司