专利名称：用于分层图像编码和解码的方法和设备的制作方法
技术领域：
本发明总体上涉及分层(或层次化的)图像编码/解码技术，更具体地说，涉及一种用于在处理视频的视频压缩编解码器中使用残差图像改进图像质量的分层图像编码/解码方法和设备。
背景技术：
通常，在视频压缩技术中，按具有每块MXN个像素的宏块的单元处理图像(或图片)。在视频处理中，宏块按帧内模式或帧间模式被编码并被解码。这里所用的术语“宏块”可被理解为指示像素块的集合，其中，每个所述像素块的集合具有特定的尺寸。“帧”包括多个宏块。使用宏块的典型视频压缩技术可包括诸如MPEG和H.26x的压缩标准的使用。视频压缩的基本概念是从原始图像数据去除空间冗余数据和时间冗余数据。帧内模式是用于去除空间冗余的方案。换句话说，此模式是用于在当前帧中去除具有特定尺寸的宏块中的像素之间的冗余的方案。帧间模式是用于去除时间冗余的方案。换句话说，此模式是用于通过估计在当前帧的宏块和先前帧或后续帧(被称为“参考”帧)的相应宏块之间的运动，来估计在两邻近帧中的相应宏块之间的差别的方案。运动估计是在参考帧中搜索类似于当前帧中将被编码的宏块的宏块的处理。在图像编码中，使用通过运动估计处理搜索并找到的参考帧中的宏块来执行运动补偿。图像编码器在参考帧中的“找到的”宏块和当前帧中的宏块之间的差异的传输期间，对参考帧中的“找到的”宏块和当前帧中的宏块之间的差异和表示参考帧的位置的运动矢量一起进行熵编码。
发明内容
技术问题通常，在运动补偿中，残差编码器/解码器针对构成残差编码器/解码器的输入的残差图像的多个质量层计算多幅残差差分图像，并且还对残差差分图像独立执行运动补偿，从而导致增加其复杂度和编码/解码时间。技术方案示例性实施例的一方面提供一种用于在图像编码期间，尤其在分层图像处理技术中的残差编码期间降低复杂度并改进图像质量的方法和设备。示例性实施例的另一方面提供了一种用于在图像解码期间，尤其在分层图像处理技术中的残差解码期间降低复杂度并改进图像质量的方法和设备。根据一个示例性实施例，对质量层图像处理中的图像数据的残差图像进行编码，并且图像数据包括基本层和至少一个增强层。此外，增强层的图像被划分为一个或多个质量层。所述方法包括对残差图像和已经在相同增强层内的参考图像中进行了运动补偿的图像进行合并。通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流。将在对合并的图像进行编码的处理中所产生的残差差分图像针对每个质量层独立存储在相关的帧缓冲器中。通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像；并通过复用各个质量层的比特流来输出增强层比特流。根据另一示例性实施例，一种设备对分层图像处理中的图像数据的残差图像进行编码。在所述设备中，一幅图像包括基本层和至少一个增强层。增强层的图像被划分为一个或多个质量层。所述设备包括用于对残差图像和已经在相同增强层内的参考帧中进行了运动补偿的图像进行合并的质量层编码器。所述编码器还针对每个质量层产生比特流和残差差分图像。所述编码器通过针对每个质量层独立地对合并的图像进行编码来完成此步骤。所述设备还具有用于存储由质量层编码器产生的残差差分图像的帧缓冲器。所述设备还具有运动补偿器，用于通过选择性地对存储在图像缓冲器中的图像执行运动补偿来输出运动补偿的图像。另外，存在用于通过复用各个质量层的比特流来输出增强层比特流的复用器。根据进一步的示例性实施例，提供了一种用于对分层图像处理中的图像数据的残差图像进行解码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层。此外，增强层的图像被划分为一个或多个质量层。所述方法包括将输入的增强层比特流解复用为一个或多个比特流。比特流与质量层的顺序对应。在此方法中，通过针对每个质量层独立地对比特流进行解码来恢复残差图像。恢复的残差图像被存储在帧缓冲器中。通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。根据又一示例性实施例，一种设备对分层图像处理中的图像数据的残差图像进行解码，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层。所述设备包括用于将输入的增强层比特流解复用为与质量层的顺序相应的一个或多个比特流的解复用器。所述设备还包括用于通过针对每个质量层独立地对比特流进行解码来恢复残差图像的质量层解码器。运动补偿器通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。有益效果根据示例性实施例，漂移没有发生在原始图像中，而是发生在残差图像中，并且由于漂移，这减少了图像质量中的恶化，并从而确保有效的、可扩展的编码。
图1示出分层图像编码器的结构；图2示出分层图像解码器的结构；图3示出根据示例性实施例的残差编码器的结构；图4示出根据示例性实施例的质量层编码器的结构；图5示出根据示例性实施例的选择性运动补偿器的结构；图6示出根据另一示例性实施例的残差编码器的结构；图7示出根据示例性实施例的在分层图像解码器中的残差解码器的结构；图8示出根据另一示例性实施例的在分层图像解码器中的残差解码器的结构；图9示出根据示例性实施例的残差编码处理；图10示出根据示例性实施例的残差解码处理。
具体实施例方式现在将参照附图详细的描述示例性实施例。在以下描述中，仅提供了特定细节来辅助对示例性实施例的全面理解。因此，本领域的技术人员应理解:在没有脱离本分明构思的范围和精神的情况下，可对这里描述的示例性实施里进行各种改变和修改。另外，为了清楚和方便起见，并为了避免使本发明构思模糊，公知功能和结构的描述已经被省略。本发明构思包括一种用于对构成在分层图像编码/解码过程中的增强层比特流/图像的多个质量层执行残差编码和/或解码的方法和设备。首先，这里使用的术语将被简要地定义如下。质量改进:用于改进使用改进的数据重建的残差样本的质量的过程。质量层:在质量改进过程中使用的一个或多个层。质量基本层:表示在一幅图像的多个质量层中的重建图像中的最低质量图像的层。质量增强层:表示一幅图像的多个质量层中的重建图像中的高质量图像的层。现在将描述一般的分层图像编码/解码设备。图1示出分层图像编码器的结构。参照图1，图像编码器根据包括基本层和一个或多个增强层的分层结构进行操作，接受用于编码的输入图像，并输出基本层比特流和增强层比特流。基本层的图像和增强层的图像可以是具有不同分辨率、尺寸和/或视点的图像。在图1的示例中，假设输入图像和在增强层中处理的图像是高分辨率图像，是具有大尺寸的图像和/或是表示一个视点的图像。还假设在基本层中处理的图像是低分辨率图像、具有小尺寸的图像和/或表示另一视点的图像。格式下变换器101将输入图像下变换为具有与基本层的格式相同的格式的图像。例如，下变换器101在输入图像的尺寸(或帧率)或立体图像的视点方面执行下变换。基本层编码器103输出通过根据使用例如视频编解码器的现有编码方案(诸如VC-1、H.264、MPEG-4第二部分视觉、MPEG-2第二部分视频、AVS和JPEG2000)对输入基本层图像进行编码而产生的基本层比特流。在对基本层图像进行编码的处理中，基本层编码器103将重建的基本层图像输出到格式上变换器105。格式上变换器105被配置为在例如输入图像的尺寸(或帧率)或视点方面执行上变换，并可被考虑来执行格式下变换101的处理的反向的处理。格式上变换器105将重建的基本层图像上变换为具有与增强层的格式相同的格式的图像。被输入到格式下变换器101的输入图像也被输入到减法器107。减法器107通过从所述输入图像减去由格式上变换器105输出的上变换的图像来输出残差数据。残差映射/缩放单元109将所述残差数据变换为残差图像。残差图像被输入到残差编码器111，其中，残差编码器111通过对输入的残差图像执行残差编码来输出增强层比特流。现在将描述用于编码残差图像来逐步改进一个增强层中的质量的方法。残差编码器111包括质量层编码器(未示出)和运动补偿器(未示出)。质量层编码器对质量层独立执行编码，以便在多个质量层中对残差数据进行编码。图2示出分层图像解码器的结构。参照图2，图像解码器根据包括基本层和一个或多个增强层的分层结构进行操作，并输出重建的基本层图像和重建的增强层图像。图像解码器通过对由图1中的图像编码器分别编码的基本层比特流和增强层比特流进行解码来执行上述过程。基本层的图像和增强层的图像可以是具有不同分辨率、尺寸和/或视点的图像。在图2的示例中，假设输入图像和在增强层中处理的图像是高分辨率的图像，是具有大尺寸的图像和/或是表示一个视点的图像。还假设在基本层中处理的图像是低分辨率图像、具有小尺寸的图像和/或表示另一视点的图像。基本层解码器201输出重建的基本层图像。基本层解码器201通过根据与在图1的基本层编码器103中使用的视频编解码器相应的解码方案对输入的基本层比特流进行解码执行上述过程。由基本层解码器201重建的基本层图像是基本层解码器201自身的输出，并且还被输出到格式上变换器203。格式上变换器203将重建的基本层图像变换为与增强层相同的格式的图像。残差解码器205输入增强层比特流，并输出残差图像。通过对输入的增强层比特流进行残差解码来产生所述残差图像。接下来由残差映射/缩放单元207将所述残差图像转换为残差数据。接下来由加法器209将所述残差数据与格式上变换的图像相加，并且其结果是产生重建的增强层图像。残差解码器205包括质量层解码器(未示出)和运动补偿器。质量层解码器对质量层独立执行解码，以便在多个质量层中重建残差图像。图3示出根据示例性实施例的残差编码器的结构。尽管图3中的残差编码器具有三个质量层，但是这仅是为了提供教导的示例；质量层的数量可发生变化。参照图3，残差编码器包括三个编码器301、303和305，编码器的数量与质量层的数量对应。残差编码器还包括选择性运动补偿器307。第一质量层编码器301将输入到残差编码器的残差图像编码为第一比特流和第一残差差分图像。第二质量层编码器303将与残差图像和第一残差差分图像之间的差异相应的图像编码为第二比特流和第二残差差分图像。第三质量层编码器305将与残差图像和第二残差差分图像之间的差异相应的图像编码为第三比特流和第三残差差分图像。第一残差差分图像至第三残差差分图像是选择性运动补偿器307的输入。选择性运动补偿器307根据运动矢量进行运动补偿，并输出运动补偿的图像。将与残差图像和运动补偿的图像之间的差异相应的图像输入回第一质量层编码器301。第一比特流至第三比特流由复用器(未示出)整合(或复用)为一个比特流(即，增强层比特流)，然后经过传输信道被传输到解码器。图4示出根据示例性实施例的质量层编码器的结构。参照图4，质量层编码器包括变换编码器401、均衡器403、可变长编码器405、反量化器407和逆变换编码器409。变换编码器401通过对从以NXN块为基础的质量层编码器接收的编码差分图像进行编码来计算变换系数。量化器403对NXN块的变换系数进行量化，并且可变长编码器405根据量化电平值产生比特流。由量化器403量化的电平值通过反量化器407恢复为变换系数。逆变换编码器409输出重建的差分图像。逆变换编码器409通过经由对恢复的系数值执行逆变换来完成恢复图像以输出重建的差分图像。为了实现对残差图像的逐步质量改进，对于由图3中的质量层编码器重建的残差差分图像，从第一差分图像至第三差分图像逐渐改进残差图像的质量。图4中的质量层编码器可通过调整量化器403的量化参数来实现这样的逐步质量改进。例如，质量层编码器可恢复差分图像，其中，通过按第一质量层至第三质量层的顺序逐渐减小量化器403的量化参数来恢复所述差分图像的质量。图5示出根据示例性实施例的选择性运动补偿器的结构。尽管图5中的选择性运动补偿器具有三个质量层，但是这仅是为了提供教导的示例；质量层的数量可发生变化。参照图5，选择性运动补偿器包括三个帧缓冲器501、503和505以及运动补偿器507，其中，帧缓冲器的数量与质量层的数量相应。将由残差差分图像的相关的质量层编码器恢复的残差差分图像与从运动补偿器507输出的运动补偿的图像相加。然后它们被存储在它们的相关的帧缓冲器501、503和505中。存储在帧缓冲器501、503和505中的恢复的残差差分图像在编码器的控制下被选择性地输入到运动补偿器507，并被用于运动补偿。编码器在首部发送指示其用哪个帧缓冲器执行运动补偿的信息，使得解码器随后可执行相同操作。图6示出根据另一示例性实施例的残差编码器的结构。尽管图6中的残差编码器具有三个质量层，但是这仅是为了提供教导的示例；质量层的数量可发生变化。参照图6，除了仅从用于第一质量层的第一质量层编码器601和用于最后质量层的第三质量层编码器603输出的残差差分图像被分别存储在第一帧缓冲器607和第三帧缓冲器609中，并且它们全被用于运动补偿器611的运动补偿之外，用于质量层的质量层编码器601、603和605可使用图3和图4中示出的结构。在具有多个质量层的残差编码器中，始终仅提供帧缓冲器用于最低质量层和最高质量层的重建的差分图像。换句话说，在图6中，无论质量层的数量如何，具有两个或更多个质量层的残差编码器始终仅具有两个帧缓冲器。图7示出根据示例性实施例的在分层图像解码器中的残差解码器的结构。尽管图7中的残差解码器具有三个质量层，但是这仅是为了提供教导的示例；质量层的数量可发生变化。参照图7，第一比特流至第三比特流(或正被输入到残差解码器的增强层比特流)被输入到相应的第一比特流至第三比特流的相关的质量层的第一质量层至第三质量层解码器710、720和730。第一至第三质量层解码器710、720和730分别包括可变长解码器711,721和731，反量化器713,723和733，以及逆变换编码器715,725和735。在第一可变长解码器711中使用可变长解码将第一比特流变换为量化电平值。接下来，在第一反量化器713中使用反量化操作将第一比特流转换为NXN块的变换系数。所述变换系数在第一逆变换编码器715中以NXN块为基础被逆变换编码，然后与来自运动补偿器740的运动补偿的图像相加。该结果被存储在第一帧缓冲器750中。在第二可变长解码器721中使用可变长解码将第二比特流变换为量化电平值。接下来，在第二反量化器723中使用反量化操作将第二比特流转换为NXN块的变换系数。所述变换系数在第二逆变换编码器725中以NXN块为基础被逆变换编码，然后与存储在第一质量层解码器710的图像和来自运动补偿器740的运动补偿的图像之和相加。该结果被传递到第三质量层解码器730。在第三可变长解码器731中使用可变长解码将第三比特流变换为量化电平值。接下来，在第三反量化器733中使用反量化操作将第三比特流转换为NXN块的变换系数。所述变换系数在第三逆变换编码器735中以NXN块为基础被逆变换编码，然后与存储在第一质量层解码器710和第二质量层解码器720中的图像和来自运动补偿器740的运动补偿的图像之和相加。将该结果存储在第三帧缓冲器760中。将存储在第三帧缓冲器760中的图像输出为在残差解码器中被最终恢复的残差图像。存储在第一帧缓冲器750和第三帧缓冲器760中的图像被用于在运动补偿器740中的运动补偿。图8示出根据另一示例性实施例的分层图像解码器的残差解码器的结构。尽管图8中的残差解码器具有三个质量层，但是这仅是为了提供教导的示例；质量层的数量可发生变化。参照图8，除了第一至第三质量层解码器810、820和830的输出阶段的操作之外，第一至第三质量层解码器810、820和830在结构和操作方面基本上与图7中的第一至第三质量层解码器相同。换句话说，将从第一质量层解码器810中的第一逆变换编码器815输出的图像完整地存储在第一帧缓冲器850中；将从第二质量层解码器820中的第二逆变换编码器825输出的图像与从第一逆变换编码器815输出的图像相加，并传递到第三质量层解码器830。将从第三质量层解码器830中的第三逆变换编码器835输出的图像与从第二质量层解码器820输出的图像和来自运动补偿器840的运动补偿的图像之和相加，并将该结果存储在第三帧缓冲器860中。将存储在第三图像缓冲器860中的图像输出为在残差解码器中被最终恢复的残差图像。换句话说，当将在图像之间的质量改进应用在如示例性实施例中的分层图像解码器中时，通过将运动补偿的块与在质量基本层(或第一质量层)中逆变换编码的块相加来恢复残差块，并且恢复的残差样本构成质量基本层的图像。另外，将与质量基本层连接的质量增强层(例如，图7和图8中的第二质量层和第三质量层)的逆变换块用于改进质量基本层的逆变换块的质量。将质量被最终改进的逆变换块与在运动补偿器中运动补偿的图像相加。在质量改进处理之后，由恢复的残差样本来恢复质量增强层图像。图9示出根据示例性实施例的残差编码处理。参照图9，当在步骤901中将残差图像输入到残差编码器时，在步骤903中将所述残差图像与已经进行了在相同增强层内的参考帧中的运动补偿的图像相加，然后将结果输入到质量层编码器。在步骤905，在质量层的相关的质量层编码器中针对质量层独立地产生比特流，并且残差图像被恢复并被存储在帧缓冲器中。高质量层编码器中恢复的残差图像用于产生下一个低质量层编码中的比特流。可提供帧缓冲器用于所有的质量层或仅用于最高和最低质量层。在步骤907，存储在帧缓冲器中的图像进行运动补偿，然后被用于产生下一帧的比特流。根据示例性实施例，存储在所有的帧缓冲器中的图像中的一个可选择性地进行运动补偿。或者，存储在与最高质量层和最低质量层相应的帧缓冲器中的两幅图像可进行运动补偿。在步骤909，将在比特流的相关的质量层编码器中产生的比特流复用为一个增强层比特流，然后发送到解码器。图10示出根据示例性实施例的残差解码处理。参照10，在步骤1001，将输入到残差解码器的增强层比特流解复用为多个比特流，其中所述多个比特流的数量与质量层的数量相应。在步骤1003，借助于质量层编码器通过对针对质量层解复用的比特流独立进行解码来恢复各质量层的残差图像。在步骤1005，将恢复的各质量层的残差图像存储在相关的帧缓冲器中用于下一帧的残差图像的恢复，然后进行运动补偿。在步骤1007，通过将在相同增强层内的参考帧的运动补偿的图像与各质量层的恢复的残差图像相加来输出最终恢复的残差图像。通过将恢复的残差图像与基本层图像合并来将恢复的残差图像重建为增强层图像。根据示例性实施例，当通过合并针对多个质量层独立恢复的残差图像来实现最终恢复的残差图像时，可反映出已经在最高质量层解码处理中进行了运动补偿的图像，或可反映出已经在最低质量层解码处理中进行了运动补偿的图像。在质量层解码器中，恢复的残差图像被用于在高质量层解码器中恢复残差图像。通过前面的描述可知，根据示例性实施例，多个残差图像仅需要进行一次运动补偿，从而确保更低复杂度的残差编码器/解码器。虽然已参照本发明构思的特定示例性实施例示出并描述了本发明构思，但是本领域的技术人员将理解:在没有脱离如权利要求及其等同物限定的本发明构思的精神和范围的情况下，可在示例性实施例中进行形式和细节中的各种改变。
权利要求
1.一种用于对分层图像处理中的图像数据的残差图像进行编码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述方法包括: 对残差图像和已经在相同增强层内的参考图像中进行了运动补偿的图像进行合并，并通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流； 在相关的帧缓冲器中存储在针对每个质量层独立地对合并的图像进行编码的处理中所产生的残差差分图像； 通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像； 通过对各质量层的比特流进行复用来输出一个增强层比特流。
2.按权利要求1所述的方法，其中，与通过对残差图像和已经在参考帧中进行了运动补偿的图像进行合并所获得的图像和在针对低质量层对图像进行编码的处理中所产生的残差差分图像之间的差异相应的图像被用作针对每个质量层的编码处理中的输入信号。
3.按权利要求1所述的方法，其中存储步骤包括:将在质量层中的最高质量层和最低质量层的编码处理中所产生的残差差分图像存储在相关的帧缓冲器中。
4.按权利要求3所述的方法，其中，输出运动补偿的图像的步骤包括:通过对在最高质量层和最低质量层的编码处理中所产生的所有的残差差分图像执行运动补偿来输出运动补偿的图像。
5.一种用于对分层图像处理中的图像数据的残差图像进行编码的设备，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述设备包 括: 质量层编码器，用于对残差图像和已经在相同增强层内的参考帧中进行了运动补偿的图像进行合并，并通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流和残差差分图像； 帧缓冲器，用于存储在质量层编码器中所产生的残差差分图像； 运动补偿器，用于通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像； 复用器，用于通过复用各质量层的比特流来输出一个增强层比特流。
6.按权利要求5所述的设备，其中，质量层编码器使用与通过对差分图像和已经在参考帧中进行了运动补偿的图像进行合并所获得的图像和在针对低质量层编码图像的处理中所产生的差分图像之间的差异相应的图像作为输入信号。
7.按权利要求5所述的设备，其中，帧缓冲器存储在质量层中的最高质量层和最低质量层的编码处理中所产生的残差差分图像。
8.按权利要求7所述的设备，其中，运动补偿器通过对在最高质量层和最低质量层的编码处理中所产生的所有残差差分图像执行运动补偿来输出运动补偿的图像。
9.一种用于对分层图像处理中的图像数据的残差图像进行解码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述方法包括: 将输入的增强层比特流解复用为与质量层的顺序相应的一个或多个比特流； 通过针对每个质量层对比特流进行独立解码来恢复残差图像，并将恢复的残差图像存储在帧缓冲器中； 通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。
10.按权利要求9所述的方法，其中，输出最终存储的残差图像的步骤包括:通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与通过对在每个质量层解码处理中恢复的残差图像进行累加所获得的图像相加来输出最终恢复的残差图像。
11.按权利要求9所述的方法，其中，存储步骤包括: 把通过将已经在参考帧中进行了运动补偿的图像与在最低质量层解码处理中恢复的残差图像相加所获得的图像存储在与最低质量层相应的第一帧缓冲器中； 将最终恢复的残差图像存储在与最高质量层相应的第二缓冲器中。
12.按权利要求9所述的方法，其中，存储步骤包括: 将在最低质量层解码处理中恢复的残差图像存储在与最低质量层相应的第一帧缓冲器中； 输出通过将已经在参考帧中进行了运动补偿的图像与在最高质量层解码处理中恢复的残差图像相加所获得的图像作为最终恢复的残差图像，并将最终恢复的残差图像存储在与最高质量层相应的第二帧缓冲器中。
13.按权利要求11或权利要求 12所述的方法，其中，存储在第一帧缓冲器和第二帧缓冲器中的至少一个中的图像在进行运动补偿之后被用于恢复下一帧的残差图像。
14.一种用于对分层图像处理中的图像数据的残差图像的设备进行解码的设备，其中，在所述分层图像处理中一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述设备包括: 解复用器，用于将输入的增强层比特流解复用为与质量层的顺序相应的一个或多个比特流； 质量层解码器，用于通过针对每个质量层对比特流进行独立解码来恢复残差图像； 帧缓冲器，用于存储在质量层解码器中恢复的残差图像； 运动补偿器，用于通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。
15.按权利要求14所述的设备，其中，运动补偿器通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与通过对在每个质量层解码处理中恢复的残差图像进行累加所获得的图像相加来输出最终恢复的残差图像。
16.按权利要求14所述的设备，其中，帧缓冲器包括: 第一帧缓冲器，用于存储通过将已经在参考帧中进行了运动补偿的图像与在最低质量层解码器中恢复的残差图像相加所获得的图像； 第二缓冲器，用于存储最终恢复的残差图像。
17.按权利要求14所述的设备，其中，帧缓冲器包括: 第一帧缓冲器，用于存储在最低质量层解码器中恢复的残差图像； 第二帧缓冲器，用于把通过将已经在参考帧中进行了运动补偿的图像与在最高质量层解码器中恢复的残差图像相加所获得的图像存储为最终恢复的残差图像。
18.按权利要求16或权利要求17所述的设备，其中，运动补偿器对存储在第一帧缓冲器和第二帧缓冲器中的至少一个中的图像执行运动补偿，并使用运动补偿的图像来恢复下一帧的残差图像。
19.一种残差编码器，包括: 多个有顺序的质量层编码器，包括至少第一质量层编码器和最后的质量层编码器； 选择性运动 补偿器，输出运动补偿的图像； 其中: 第一质量层编码器基于残差图像和运动补偿的图像之间的差异来产生第一残差差分图像，第一残差差分图像被输出到选择性运动补偿器和后续的所述多个有顺序的质量层编码器中的一个质量层编码器； 所述多个有顺序的质量层编码器中的每个后续的质量层编码器基于残差图像和所述多个有顺序的质量层编码器中的前一个质量层编码器所输出的图像之间的差异来产生各个残差差分图像，各个残差差分图像被输出到选择性运动补偿器和所述多个有顺序的质量层编码器中的另一个后续的质量层编码器； 最后的质量层编码器基于残差图像和从所述多个有顺序的质量层编码器中的前一个质量层编码器接收的各个残差差分图像之间的差异来产生最后的残差差分图像，最后的残差差分图像被输出到选择性运动补偿器。
20.按权利要求19所述的残差编码器，还包括:帧缓冲器，仅存储第一残差差分图像和最后的残差差分图像。
21.按权利要求19所述的残差解码器，还包括:帧缓冲器，存储与所述多个有顺序的质量层编码器中的每个相应的各个残差差分图像。
全文摘要
首先通过将输入的增强层比特流解复用为一个或多个与质量层的顺序相应的比特流来解码残差图像。接下来，通过针对每个质量层独立地对比特流进行解码来恢复残差图像。将恢复的残差图像存储在帧缓冲器中。通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与所述残差图像相加来输出最终恢复的残差图像。
文档编号H04N7/26GK103098472SQ201180044194
公开日2013年5月8日 申请日期2011年9月14日 优先权日2010年9月14日
发明者崔雄一, 朴慜祐, 金大熙 申请人:三星电子株式会社