申请号：201280039873.2
申请日：2012年6月15日
发明名称：用于编码和解码可伸缩视频的方法以及使用其的设备
本发明涉及图像信息的处理，并更具体地，涉及使用可伸缩视频编码(svc)的视频编码方法和视频解码方法以及使用其的设备。
背景技术：
最近，已根据多媒体环境的建立而使用各种终端和网络，并且与此相符合，用户需求也已经多元化。
例如，随着终端性能和计算能力多元化，装置支持各种性能。而且，经由其传送信息的网络也已经在诸如传送信息的形式、信息的数量和速度等的功能上、以及在诸如有线/无线网络的外部结构上多元化。用户可根据期望的功能选择要使用的终端和网络，并且企业向用户提供各种系列(spectrum)终端和网络。
关于这一点，最近，已在全世界以及全国广泛提供具有高清晰度分辨率的广播，大量用户正变得习惯于高分辨率、高画面图像。由此，许多与图像服务相关的组织或机构已施加开发下一代图像显示装置的刺激。
而且，除了hdtv之外，随着对于具有等于或大于hdtv4倍的分辨率的超高清晰度(uhd)的兴趣正增加，对于压缩和处理具有高分辨率和高画面质量的图像的技术的需求在增长。
为了压缩和处理图像，可使用用于从时间上在前和/或在后的画面来预测当前画面中包括的像素值的帧间预测技术、用于通过使用当前画面中的像素信息来预测当前画面中包括的不同像素值的帧内预测技术、以及用于向具有高频率的码元分配短代码并向具有低频率的码元分配长代码的熵编码技术等。
如上所述，考虑到其每一个支持不同功能和多元化的用户需求的终端和网络，所支持的图像的质量、尺寸、帧等需要多元化。
由此，由于具有各种功能的异类通信网络和各类终端，所以可变地支持画面质量、分辨率、尺寸、帧频等的可伸缩性是视频格式化的重要功能。
由此，为了基于高效率视频编码方法在各种环境中提供用户需要的服务，需要提供在时间、空间、画面质量等方面允许有效视频编码和解码的可伸缩性功能。
技术实现要素：
[技术问题]
本发明的一个方面提供了能够有效执行视频编码和视频解码的方法和设备。
本发明的另一方面提供了能够在各种环境中提供各种视频服务的方法和设备。
本发明的另一方面提供了能够根据用户需求或目的在时间、空间、和/或画面质量方面提供各种视频服务的方法和设备。
本发明的另一方面提供了能够在与同时广播(联播)相比获得比特率增加的同时、提供具有各种画面质量、分辨率、尺寸和/或帧频的视频服务的方法和设备。
[技术方案]
(1)在本发明的实施例中，一种层间预测方法包括：确定是否对增强层应用层间预测；和当应用层间预测时，基于从参考层的解码后参考画面生成的归纳参考信息，来对增强层的当前块执行预测。
(2)在(1)中，是否对增强层应用层间预测可基于指示层间预测的标记信息来确定。
(3)在(1)中，该归纳参考信息可根据增强层的画面尺寸而被上采样。
(4)在(1)中，该归纳参考信息可以是基于参考层的解码后画面生成的归纳参考画面，并且在所述对增强层的当前块执行预测的步骤中，可使用该归纳参考画面作为当前块的参考画面。
(5)在(4)中，该归纳参考画面可被包括在针对增强层的当前块的参考画面列表中，并被用作针对增强层的当前块的参考画面。
(6)在(4)中，可向该归纳参考画面应用基于增强层和参考层的画面之间的差的增强。
(7)在(4)中，该归纳参考画面可以是基本层的解码后画面、通过对基本层的解码后画面进行上采样而获得的画面、基于基本层的解码后画面和残差信息生成的画面、或通过对基本层的解码后画面和残差信息进行上采样而获得的画面。
(8)在(1)中，当该归纳参考信息是基于参考层的解码后画面而生成的归纳参考块时，可以在所述对增强层的当前块执行预测的步骤中，将该归纳参考块设置为针对增强层的当前块的预测块。
(9)在(8)中，该归纳参考块可以是已向其应用基于增强层和参考层的画面之间的差的增强的块。
(10)在(1)中，当该归纳参考信息是基于参考层的解码后画面生成的归纳参考画面时，可以在所述对增强层的当前块执行预测的步骤中，使用该归纳参考画面作为针对增强层的当前块的参考画面。
(11)在(10)中，该归纳参考画面可以被包括在针对增强层的当前块的参考画面列表中，并被用作针对增强层的当前块的参考画面。
(12)在(10)中，可以向该归纳参考画面应用基于增强层和参考层的画面之间的差的增强。
(13)在(10)中，该归纳参考画面可以是基本层的解码后画面、通过对基本层的解码后画面进行上采样而获得的画面、基于基本层的解码后画面和残差信息而生成的画面、或通过对基本层的解码后画面和残差信息进行上采样而获得的画面。
(14)在(1)中，当该归纳参考信息是基于参考层的解码后画面生成的归纳参考画面时，可以在所述对增强层的当前块执行预测的步骤中，将该归纳参考块设置为针对增强层的当前块的预测块。
(15)在(14)中，该归纳参考块可以是已向其应用基于增强层和参考层的画面之间的差的增强的块。
(16)在本发明的另一实施例中，一种可伸缩编码设备包括：基本层编码单元，被配置为对基本层的输入图像执行预测；增强层编码单元，被配置为对增强层的输入图像执行预测；和层间预测单元，被配置为生成归纳参考信息，以对增强层的输入图像执行预测，其中当应用层间预测时，该层间预测单元从该基本层的解码后信息生成归纳参考信息，并且该增强层编码单元基于该归纳参考信息对增强层的当前块执行预测。
(17)在本发明的另一实施例中，一种可伸缩解码设备包括：基本层解码单元，被配置为对基本层的图像执行预测；增强层解码单元，被配置为对增强层的图像执行预测；和增强层预测单元，被配置为生成归纳参考信息，以对增强层的图像执行预测，其中当应用层间预测时，该层间预测单元从该基本层的解码后信息生成归纳参考信息，并且该增强层解码单元基于该归纳参考信息对增强层的当前块执行预测。
本发明的另一实施例提供一种可伸缩解码方法，包含：基于标记信息确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层；如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；生成该当前块的残差块；以及通过使用该预测块和该残差块重构该当前块，其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，以及其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩编码方法，包含：确定可应用还是不可应用层间预测用于编码增强层；如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；通过使用该预测块生成该当前块的残差块；编码该残差块；以及编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩编码设备，包含：基本层编码单元，配置成对基本层的输入图像执行预测；增强层编码单元，配置成确定可应用还是不可应用层间预测用于编码增强层，如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，基于该参考画面列表来对增强层的当前块执行帧间预测以生成预测块，通过使用该预测块生成该当前块的残差块，并且编码该残差块；以及标记信息编码单元，配置成编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩解码设备，包含：基本层解码单元，配置成对基本层的图像执行预测；增强层解码单元，配置成对增强层的图像执行预测；和增强层预测单元，配置成基于标记信息，来确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层，如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，并对增强层的当前块执行帧间预测以生成预测块，生成当前块的残差块，并且通过使用该预测块和该残差块来重构该当前块，其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，以及其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种存储由可伸缩编码方法生成的比特流的非暂时性计算机可读记录介质，其中所述方法包含：确定可应用还是不可应用层间预测用于编码增强层；如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表对增强层的当前块执行帧间预测以生成预测块；通过使用该预测块生成该当前块的残差块；编码该残差块；以及编码标记信息，该标记信息被信令传输用于增强层并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
[有利效果]
根据本发明的实施例，能够在各种环境中有效提供各种视频服务。
根据本发明的实施例，能够根据各种需求或使用目的在时间、空间、和/或画面质量方面提供各种视频服务。
根据本发明的实施例，能够有效执行能在各种环境中提供各种服务的可伸缩视频编码。
根据本发明的实施例，能够提供在与同时广播(联播)相比获得比特率增加的同时、具有各种画面质量、分辨率、尺寸和/或帧频的视频服务。
附图说明
图1是图示了根据本发明的实施例的编码设备的基本配置的框图。
图2是图示了根据本发明的实施例的解码设备的基本配置的框图。
图3是示意性图示了帧内预测模式的示例的图。
图4是示意性示出了基于单层编码的转换代码(transcoding)的示例的图。
图5是示意性图示了其中使用基于多层编码的可伸缩视频编码的示例作为采用svc的示例的图。
图6是示意性图示了采用svc的编码设备的示例的图。
图7是示意性图示了采用svc的解码设备的示例的图。
图8是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图9是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图10是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图11是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图12是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图13是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图14是示意性图示了在本发明所应用到的层间预测单元中归纳的参考画面生成单元的配置的示例的图。
图15是示意性图示了在本发明所应用到的层间预测单元中归纳的参考块生成单元的配置的示例的图。
图16是图示了根据本发明实施例执行的层间预测的流程图。
具体实施方式
其后，将参考附图来详细描述本发明的实施例。在描述本发明时，如果认为相关已知功能或构造的详细解释不必要地偏离本发明的要义，则这样的解释将被省略但是将被本领域技术人员理解。
当组件被称作“连接”或“接入”另一组件时，这可意味着其直接连接或接入所述另一组件，但是将理解的是，其间可存在另一组件。另一方面，当组件被称作“直接连接”或“直接接入”另一组件时，将理解的是，其间不存在其他组件。
尽管可使用诸如“第一”和“第二”等术语来描述各种组件，但是这样的组件不能被理解为限于以上术语。以上术语仅用来将组件彼此区分。例如，第一组件可被称为第二组件，而不脱离本发明的权利的范围，并且类似地，第二组件可被称为第一组件。
而且，本发明的实施例的元件被独立图示，以示出不同特性功能，并且这不意味着将每一元件配置为分离的硬件或单一软件组件。即，为了解释的目的，各个元件被安排为包括，并且各个元件中的至少两个可以被合并在单一元件中，或者单一元件可以被划分为多个元件以执行功能，并且各个元件的集成实施例和划分实施例被包括在本发明的范围中，除非其偏离本发明的本质。
图1是图示了根据本发明的实施例的编码设备的基本配置的框图。
参考图1，编码设备100包括帧间预测单元110、帧内预测单元120、开关125、减法器130、变换单元135、量化单元140、熵编码单元150、逆量化单元160、逆变换单元170、加法器175、滤波器单元180、和画面缓冲器190。
编码设备100可按照帧内模式或帧间模式来对输入图像执行编码并输出比特流。在帧内模式的情况下，开关125切换到帧内，而在帧间模式的情况下，开关125切换到帧间。编码设备100可生成针对输入图像的输入块的预测块，并编码输入块和预测块之间的差。
在帧内模式中，帧内预测单元120可通过使用与当前块相邻的先前编码的块的像素值执行空间预测，来生成预测块。
在帧间模式中，帧间预测单元110可在运动预测处理中从画面缓冲器190中存储的参考图像中搜索与输入块对应的区域，以获得运动向量。帧间预测单元110可通过使用运动向量和画面缓冲器190中存储的参考图像执行运动补偿，来生成预测块。
减法器130可根据输入块和生成的预测块之间的差，来生成残差块。变换单元135可对残差块执行变换以输出变换系数。量化单元140可根据量化参数来对输入变换系数进行量化，并输出量化后的系数。
熵编码单元150基于量化单元140所计算的值、在编码处理期间计算的编码参数值等，根据概率分布，来对量化后的系数进行熵编码，以输出比特流。
量化后的系数可以由逆量化单元160进行逆量化并由逆变换单元170进行逆变换。逆量化和逆变换后的系数可通过加法器175被添加到预测块，以生成重构块。
重构块经过滤波器单元180，并且滤波器单元180可向重构块或重构画面应用解块滤波器、样本自适应偏移(sao)、和自适应环形滤波器(alf)中的一个或多个。已经过滤波器单元180的重构块可被存储在画面缓冲器190中。
图2是图示了根据本发明的实施例的解码设备的基本配置的框图。
参考图2，解码设备200包括熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、滤波器单元260、和画面缓冲器270。
解码设备200可接收从编码设备输出的比特流，按照帧内模式或帧间模式对其执行解码，并输出重新配置的图像，即，重构的图像。在帧内模式的情况下，开关可切换到帧内，而在帧间模式的情况下，开关可切换到帧间。
解码设备200可从输入比特流获得重构的残差块，生成预测块，并将重构的残差块与预测块相加，以生成重新配置的块，即，重构块。
熵解码单元210根据概率分布对输入比特流进行熵解码。通过熵解码，可生成量化(变换)的系数。
量化的系数由逆量化单元220逆量化并由逆变换单元230逆变换，并且结果，可生成重构的残差块。
在帧内模式的情况下，帧内预测块240可通过使用与当前块相邻的先前编码的块的像素值来执行空间预测。在帧间模式的情况下，帧间预测块250可通过使用运动向量和画面缓冲器中存储的参考图像，来执行运动补偿。
加法器255将重构的残差块与预测块相加，并且相加后的块经过滤波器单元260。滤波器单元260可向重构块或重构画面应用解块滤波器、sao、和alf中的至少一个。滤波器单元260输出重新配置的图像，即，重构的图像。重构的图像可被存储在画面缓冲器270中以便用于帧间预测。
如上所述，编码设备/解码设备对当前块执行预测用于视频编码/解码。
可在编码设备/解码设备(特别是，编码设备/解码设备的预测单元)中执行预测。编码设备的预测单元可包括例如帧间预测单元110、帧内预测单元120等。解码设备的预测单元可包括例如帧内预测单元240、帧间预测单元250等。
当当前块的预测模式是帧内预测模式时，预测单元可根据当前块的帧内预测模式，基于已先前编码的当前画面中的像素(参考样本)，来对当前块执行预测。预测单元可执行帧内预测，以从参考样本生成针对当前块的预测块。
图3是示意性图示了帧内预测模式的示例的图。在帧内预测中，预测模式可包括三十三个定向预测模式和两个或更多非定向模式。在图3的示例中，图示了从2到34的三十三个定向预测模式。非定向模式可以包括dc预测模式、平面模式等。
在帧内预测中，可通过向参考样本应用滤波器来生成预测块。这里，可根据帧内预测模式和/或当前块的尺寸来确定是否向参考样本应用滤波器。
当针对当前块的预测模式是帧间预测模式时，预测单元可设置当前画面的先前画面或随后画面中的至少一个作为参考画面，并基于参考画面对当前块执行预测。用于当前块的预测的图像被称为参考画面或参考帧。可通过使用指示参考画面的参考画面索引refidx、运动向量等，来指示参考画面内的区域。
在帧间预测的情况下，预测单元可选择参考画面和参考画面中与当前块对应的参考块，以生成针对当前块的预测块。预测单元可生成预测块，从而使得针对当前块的残差信号最小化以及运动向量尺寸最小化。
为了使用参考画面的信息，可使用关于当前块的相邻块的信息。例如，可通过跳跃模式、合并模式、先进运动向量预测(amvp)等，基于关于相邻块的信息来生成针对当前块的预测块。
解码设备的预测单元可通过从编码设备接收的跳跃标记、合并标记等，来检查当前块的帧间预测所需的诸如关于运动向量、参考画面索引等的信息的运动信息，并可执行对应感应(inducing)。
执行预测的处理单元、预测方法、用于确定特定内容的处理单元可彼此不同。例如，预测模式可通过pu来确定，这样预测可通过pu来执行，或者预测模式可通过pu来确定并且帧内预测可通过tu来执行。
针对当前画面，可利用用于预测的画面来配置参考画面列表，并且参考画面索引可指示参考画面列表上的特定参考画面。
p画面是可通过使用至少一个运动向量和参考画面索引、利用帧间预测或帧内预测、而编码或解码的画面，以便预测每一块的样本值。b画面是可通过使用至少两个运动向量和参考画面索引、利用帧间预测或帧内预测、而编码或解码的画面，以便预测每一块的样本值。除了p画面和b画面之外，存在帧内预测要应用到的i画面。
在帧间预测中，在跳跃模式的情况下，预测单元可对于当前块原样使用关于相邻块的信息。由此，在跳跃模式的情况下，除了指示哪一块的运动信息要用作当前块的运动信息的信息之外，编码设备不传送诸如残差等的语法信息。
而且，在合并模式的情况下，预测单元可通过原样使用相邻块的运动信息，而生成针对当前块的预测块。编码设备可向解码设备传送关于是否应用合并模式的信息、关于要使用哪一块的运动信息的信息、残差信息等。解码设备可通过将预测块和从编码设备传送的残差相加，来重构当前块。
在amvp的情况下，编码设备可通过使用相邻块的运动信息来预测当前块的运动向量，并向解码设备传送(1)关于使用其相邻块的运动信息的信息、(2)当前块的运动向量和预测的运动向量之间的差、(3)指示参考画面的参考画面索引等。解码设备可基于感应的运动向量和从编码设备接收的参考画面索引信息，来生成针对当前块的预测块。
其间，根据通信和视频技术的开发，基于每一不同性能来使用各种使用视频信息的装置。诸如移动电话等的装置基于比特流来再现具有相对低分辨率的视频。作为比较，诸如个人计算机(pc)等的装置可能够再现具有相对高分辨率的视频。
由此，需要考虑用于向具有各种性能的装置提供最佳视频服务的方法。这些方案之一是可伸缩视频编码(svc)。
一般，在svc中，还可以通过视频比特流的一部分来配置可用于再现有效视频图像的子比特流。这里，子比特流是针对对应内容的基本流，并且可通过该子比特流来重构比整个比特流所重构的图像具有更小或更低质量、尺寸、和/或帧频的图像。
图4是示意性示出了基于单层编码的代码转换的示例的图。单层编码表示不提供可伸缩性功能的视频序列的编码。
在图4的示例中，原始内容410由每一编码器/代码转换器根据质量和分辨率进行单层编码。例如，高质量内容从高质量编码器/代码转换器420传送，低质量内容从低质量编码器/代码转换器430传送，而具有低分辨率的内容从低分辨率编码器/代码转换器440传送。
接收和使用高质量内容的终端1450可以是诸如hdtv、uhdtv等的tv装置。接收和使用低质量内容的终端2460可比tv或具有比tv的信息处理速度更低的信息处理速度的低性能pc等具有更小屏幕。接收和使用具有低分辨率的内容的终端3470可以是具有更小屏幕的移动电话等。可根据每一终端的性能来接收和使用与前述示例的内容不同的内容。
其间，编码的比特流可包括多层。
可伸缩编码允许解码器选择性地仅解码比特流的一部分。编码的比特流可以被安排为多层，其可包括基本层以及一个或多个增强层。
图5是示意性图示了其中使用基于多层编码的可伸缩视频编码的示例作为采用svc的示例的图。
多层编码通过编码具有多层的视频序列，来提供可伸缩性。在可伸缩系统中，具有拥有最低或基本质量的视频数据的层被称为基本层。而且，具有拥有较高质量的视频数据的层被称为增强层。
一般可伸缩性包括时间可伸缩性、空间可伸缩性、和质量可伸缩性。时间可伸缩性是关于帧频的可伸缩性。空间可伸缩性是关于画面尺寸或分辨率的可伸缩性。而且，质量可伸缩性可涉及图像的保真度。
在图5的示例中，原始内容510由可伸缩编码器520编码。
可伸缩编码器520支持前述时间、空间和质量可伸缩性。可伸缩编码器520编码原始内容510以生成具有多层的比特流530。
比特流530的多层可包括包含基本图像信息的基本层、以及包含关于比基本层具有更好质量(即，精度、尺寸和/或帧频等)的图像的信息的增强层。
当终端的解码设备接收基本层并解码图像时，对基本图像进行解码。例如，对具有基本尺寸、基本质量和/或基本帧频的图像进行解码。
当终端的解码设备接收增强层连同基本层并解码图像时，它可解码具有较大尺寸、较好质量和/或较高帧频的图像。例如，在支持空间可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有更高分辨率或更大尺寸的图像。在支持时间可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有较高帧频的图像。在支持质量可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有高保真度的图像。
参考图5，可伸缩编码器520输出包括其中安排的多层(第1层、第2层、第3层)的比特流530。提取器540根据来自每一终端或网络的请求来从比特流530提取需要的层，并传送它。
假设第1层是基本层。当终端3570是诸如移动电话等处理具有基本质量的图像的终端时，终端3570可接收并解码仅包括第1层的流。
当终端2560和终端1550是诸如tv、pc等可能能够处理具有高质量的图像的终端时，终端2560和终端1550可根据支持的性能和期望的图像类型，来接收并解码增强层(第2层和第3层)连同基本层(第1层)中的至少一个。
通过使用较低层(参考层)来确定或预测增强层的数据值的方法被称为层间预测。这里，用作预测的基础的层被称为参考层。
在层间预测中，通过利用关于诸如基本层的较低层的信息到最大级别，来预测关于增强层的信息。由此，用于增强层的预测所传送或处理的信息的数量能显著降低。例如，当较低层和较高层中处理的画面尺寸不同时，对重构层的信息进行上采样，以用来重构较高层(例如，增强层)的信息。
层间预测方法包括层间纹理、层间运动预测、层间残差预测等。
图6是示意性图示了采用svc的编码设备的示例的图。参考图6，svc编码设备600包括基本层编码器300、层间预测单元650、和增强层编码器670。
将用于编码对应层的视频流610和620分别输入到基本层编码器630和增强层编码器670。将具有低分辨率的视频流610输入到基本层编码器630，并将具有高分辨率的视频流620输入到增强层编码器670。
基本层编码器630可根据上面参考图1描述的编码方法对基本层执行编码。将关于基本层编码器630执行的编码的信息传递(640)到层间预测单元650。
如上所述，层间预测单元650可对基本层编码器630重构的视频信息进行上采样，并将其传递(660)到增强层编码器670。
增强层编码器670还可以根据上面参考图1描述的编码方法对增强层执行编码。然而，增强层编码器670可基于具有高分辨率的视频序列信息以及从层间预测单元650传递的关于基本层的信息，来对增强层执行编码。
基于关于基本层的信息的上采样可由增强层编码器670或层间预测单元650执行。
这里，已描述了向基本层编码器630输入的视频流是具有低分辨率的视频流以及向增强层编码器670输入的视频流是具有高分辨率的视频流。然而，本发明不限于此，并且向基本层编码器630输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有高质量的视频流，并且向增强层编码器670输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有低质量或基本质量的视频流。
图7是示意性图示了采用svc的解码设备的示例的图。参考图7，svc解码设备700包括基本层解码器740、层间预测单元760、和增强层解码器780。
从编码设备传送的比特流710包括具有拥有低分辨率的视频信息的比特流720作为针对基本层解码器740的比特流、以及具有拥有高分辨率的视频信息的比特流730作为针对增强层解码器780的比特流。
用于解码对应层的比特流720和730被分别输入到基本层解码器740和增强层解码器780。即，针对具有低分辨率的视频的比特流720被输入到基本层解码器740，而针对具有高分辨率的视频的比特流730被输入到增强层解码器780。
基本层解码器740可根据上面参考图2描述的方法来对基本层执行解码。将基本层解码器740所重构的基本层视频信息传递(750)到层间预测单元760。
如上所述，层间预测单元760可对基本层解码器740重构的视频信息进行上采样，并将其传递(770)到增强层解码器780。
在应用多环路方案的情况下，通过层间预测单元760传递的关于基本层的信息可以是参考层(基本层)的解码后的图像信息(纹理信息)。
增强层解码器780还可以根据上面参考图2描述的解码方法对基本层执行解码。然而，增强层780可基于从层间预测单元760传递的关于基本层的信息以及具有高分辨率的视频序列信息，来对增强层执行解码。
基于关于基本层的信息的上采样可由层间预测单元760执行。
这里，已描述了向基本层解码器740输入的视频流是具有低分辨率的视频流以及向增强层解码器780输入的视频流是具有高分辨率的视频流。然而，本发明不限于此，并且向基本层解码器740输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有高质量的视频流，并且向增强层解码器780输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有低质量或基本质量的视频流。
在图6和7中，已描述了其中将这些层配置为基本层和增强层的示例，但是本公开中描述的方法和设备不限于此，并可应用到其中增强层包括较高层和较低层作为多个测量层的情况。在该情况下，针对较高层的编码设备和解码设备可基于关于较低层的信息来对较高层执行编码和解码。
在图6和7中，已描述了作为从基本层编码器和基本层解码器向层间预测单元传递的信息、以及从层间预测单元向增强层编码器和增强层解码器传递的信息，而传送单一信息。这是为了便于解释，并且在图6的情况下，可以根据支持的可伸缩性，在基本层编码器、层间预测单元、增强层编码器内的支持对应可伸缩性的处理单元之间传递用于支持特定可伸缩性的信息。例如，在图6的基本层编码器、层间预测单元、增强层编码器内，在用于处理时间可伸缩性的单元之间传送和接收用于处理时间可伸缩性的信息，在用于处理空间可伸缩性的单元之间传送和接收用于处理空间可伸缩性的信息，并在用于处理质量可伸缩性的单元之间传送和接收用于处理质量可伸缩性的信息。每一信息的部分或全部可被传送到收集信息或综合处理信息的单元，并且每一信息可从收集信息或综合处理信息的单元集中或单独传送。
而且，在图7的情况下，可根据支持的可伸缩性，在基本层解码器、层间预测单元、增强层解码器内的支持对应可伸缩性的处理单元之间传递用于支持特定可伸缩性的信息。例如，在图7的基本层解码器、层间预测单元、增强层解码器内，在用于处理时间可伸缩性的单元之间传送和接收用于处理时间可伸缩性的信息，在用于处理空间可伸缩性的单元之间传送和接收用于处理空间可伸缩性的信息，并在用于处理质量可伸缩性的单元之间传送和接收用于处理质量可伸缩性的信息。每一信息的部分或全部可被传送到收集信息或综合处理信息的单元，并且每一信息可从收集信息或综合处理信息的单元集中或单独传送。
其间，层间预测包括单环路预测方法和多环路预测方法。
在单环路预测方法的情况下，在解码所编码的多层比特流时，编码设备/解码设备不对除了要解码的当前层(或作为解码的目标)之外的较低层之中的参考可用层进行完全解码。编码设备/解码设备仅解码和使用用于解码当前层的解码目标块(当前块)或解码目标画面(当前画面)而可参考的较低层(参考层)的编码信息(运动信息、帧内模式信息)、以及残差信号(残差信息)。这里，被解码以便参考的编码信息可包括诸如运动向量(vm)、参考画面索引、运动信息预测候选索引、运动信息综合候选索引、以及帧间预测模式的运动信息。
在多环路预测方法的情况下，在解码所编码的多层比特流时，编码设备/解码设备对包括要解码的当前层(或作为解码的目标的当前层)的较低层之中的参考可用层进行完全解码。编码设备/解码设备基于通过完全解码(多个)参考层而获得的纹理信息来对参考可用较低层进行完全解码，并基于解码的信息对当前层的解码目标块(当前块)或解码目标画面(当前画面)进行解码。
使用单环路预测方法降低了复杂度，但是可用信息或可用层间预测是有限的。例如，在采用单环路预测方法的情况下，当通过帧间预测编码当前块的位于同一地点(co-located)的块时，存在的难度在于应该解码对应块所参考的参考画面的参考块、以便解码该对应块。由此，当对较低层(参考层)的块进行帧间预测时，通过仅使用某些编码信息(运动向量、参考画面索引、amvp候选索引、合并候选索引、帧内预测模式等)和残差信号，来对当前层执行层间预测。
例如，在单环路类型层间预测中，不对当前块执行运动估计(me)，并且可基于与当前画面对应的画面中的位于同一地点的块的运动信息(运动向量、残差信息、参考画面索引、amvp候选索引、合并候选索引等)，来对当前块执行估计。这里，编码设备可考虑到rdo来选择最可能的模式。
与单环路方案不同，在采用多环路方案的情况下，可通过解码较低层之中的能参考的所有层，而使用对应层的信息。由此，与单环路不同，在多环路层间预测的情况下，对于使用的信息或可用层间预测方法没有或基本没有限制。
在基于多环路方案的层间预测的情况下，可处理比基于单环路方案的层间预测的图像具有更高质量的图像。
其后，将参考附图来详细描述使用多环路预测方法的层间预测。
图8是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图8中，图示了多层编码设备中的针对基本层的编码设备的示例。
图8的变换单元810、帧间预测单元820、帧内预测单元830、量化单元840、逆量化单元850、逆变换单元860、熵编码单元870、滤波器单元880、和画面缓冲器890可充当上面参考图1描述的编码设备的相应组件。
例如，变换单元810可对输入图像以及帧间预测单元820或帧内预测单元830所预测的像素的差值(即，残差信号(残差块))执行dst或离散余弦变换(dct)。量化单元840对已被dst或dct的像素的差值(即，残差信号(残差块))进行量化。逆量化单元850对量化单元840所量化的值进行逆量化。逆变换单元860对通过idct(逆dct)或idst(逆dst)逆量化的值进行逆变换。熵编码单元870通过使用cabac、cavlc等对量化单元840所量化的值进行熵编码。
当编码设备800按照帧间模式执行编码时，帧间预测单元820基于画面缓冲器890中存储的参考画面来对当前块执行预测(帧间预测)。当编码设备800按照帧内模式执行编码时，帧内预测单元830基于当前画面中的相邻块来对当前块执行预测(帧内预测)。上面已参考图1描述了帧间预测单元执行的帧间预测和帧内预测单元执行的帧内预测的细节。
画面缓冲器890存储解码后的图像，并且在将图像存储在画面缓冲器890中之前，滤波器单元880可对图像应用环内滤波器。
参考图8，将针对基本层在编码设备800中处理的图像信息传送到层间预测单元。在解码后重构的图像信息
图9是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图9中，图示了多层编码设备的层间预测单元的示例。
层间预测单元910包括归纳参考画面生成单元910、归纳参考块生成单元920、和预测单元925。预测单元925可包括纹理预测单元930和空间扩大尺寸(upsizing)单元940。
作为输入到层间预测单元910的信息的图9中图示的图像信息
层间预测单元基于输入信息
详细来说，纹理预测单元930可基于从基本层编码设备传输的图像信息
纹理预测是从与增强层(当前层)的当前块对应的参考层(基本层)的块获得像素值的处理。通过纹理预测，纹理预测单元930可获得与当前块对应的基本层(参考层)块的像素值。
空间扩大尺寸单元940可根据增强层(当前层)的尺寸，来对从纹理预测单元930获得的参考层块的解码后的纹理信息进行扩大尺寸(例如，上采样)。
归纳参考画面生成单元910可基于预测单元925生成的基本层的图像信息、以及从增强层编码设备的画面缓冲器传输的增强层的解码后的图像信息①，来生成归纳参考画面。如上所述，预测单元925可从基本层获得纹理信息
在应用多环路的情况下，归纳参考画面可以是由参考层的解码后的纹理信号(残差信号和预测信号之和)组成的画面。例如，归纳参考画面可以是没有向其应用环内滤波器的重构画面、或者向其应用环内滤波器(解块滤波器、sao和alf)中的至少一个的重构画面。而且，通过对由参考层的解码后的纹理信号组成的画面执行画面增强而获得的画面可被确定为归纳参考画面。
归纳参考画面可被添加到针对增强层(当前层)的当前编码目标画面(块)的参考画面列表，以便用于编码目标画面(块)的帧间预测。而且，归纳参考画面可被指定为针对增强层(当前层)的编码目标画面(块)的参考画面，以便于使用，而不是被添加到参考画面列表。
归纳参考块生成单元920可基于预测单元925生成的基本层的纹理信息来生成归纳参考块。如上所述，预测单元925可从基本层获得纹理信息
在应用多环路的情况下，归纳参考块可以是由参考层的解码后的纹理信号(残差信号和预测信号之和)组成的块。例如，归纳参考块可以是在参考层中重构的并且没有向其应用环内滤波器的画面的块、或者是由参考层重构的并且向其应用环内滤波器(解块滤波器、sao和alf)中的至少一个的画面的块。而且，通过对由参考层的解码后的纹理信号组成的画面执行画面增强而获得的画面的块可被确定为归纳参考块。
归纳参考块可用作针对增强层(当前层)的编码目标块的预测信号。当当前层的编码目标块的尺寸是n×n时，归纳参考块生成单元920可获得从解码后的参考层的画面生成的具有n×n尺寸的块作为归纳参考块。增强层的编码设备可通过使用该归纳参考块作为针对该当前块的预测块，来编码与增强层的原始块的差(残差信号)。
归纳参考画面生成单元910所生成的归纳参考画面信息②以及归纳参考块生成单元920所生成的归纳参考块信息③和④被传输到增强层编码设备。从归纳参考块生成单元920输出的参考块信息③和④可以是同一信息。
图10是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图10中，图示了多层编码设备中的增强层编码设备的示例。
增强层编码设备100包括变换单元1010、帧内预测单元1020、帧间预测单元1030、量化单元1040、逆量化单元1050、逆变换单元1060、滤波器单元1070、画面缓冲器1080、和熵编码单元1090。
图10的变换单元1010、帧间预测单元1020、帧内预测单元1030、量化单元1040、逆量化单元1050、逆变换单元1060、滤波器单元1070、画面缓冲器1080、和熵编码单元1090可充当上面参考图8描述的编码设备的相应组件。
例如，变换单元1010可对输入图像以及帧间预测单元1020或帧内预测单元1030所预测的像素的差值(即，残差信号(残差块))执行dst或离散余弦变换(dct)。输入到增强层编码设备1000的输入图像可以是由整个图像流的部分或全部组成的图像流，作为关于比输入到基本层编码设备800的输入图像具有更高画面质量、更大尺寸、更高分辨率和/或更高帧频的图像的信息。量化单元1040对已被dst或dct的像素的差值(即，残差信号(残差块))进行量化。逆量化单元1050对量化单元1040所量化的值进行逆量化。逆变换单元1060对通过idct(逆dct)或idst(逆dst)逆量化的值进行逆变换。熵编码单元1090通过使用cabac、cavlc等对量化单元1040所量化的值进行熵编码。
画面缓冲器1080存储解码后的图像，并且在将图像存储在画面缓冲器1080中之前，滤波器单元1070可对图像应用环内滤波器。
当编码设备1000按照帧内模式执行编码时，帧内预测单元1020基于当前画面中的相邻块来对当前块执行预测(帧内预测)。当编码设备1000按照帧间模式执行编码时，帧间预测单元1030基于参考画面来对当前块执行预测(帧间预测)。上面已参考图1描述了帧间预测单元执行的帧间预测和帧内预测单元执行的帧内预测的细节。
参考图10，在针对基本层的编码设备中处理的图像信息通过层间预测单元被传送到针对增强层的编码设备1000。例如，关于层间预测单元的归纳参考画面生成单元所生成的归纳参考画面的信息②被传递到画面缓冲器1080。关于层间预测单元的归纳参考块生成单元所生成的归纳参考块的信息③和④被传输到帧内预测单元1020和帧间预测单元1030。
当应用多环路方案时，帧内预测单元1020可使用从层间预测单元传送的归纳参考块③作为当前块的预测信号。而且，如上所述，帧内预测单元1020可通过使用增强层中的当前块的相邻参考样本，来对当前块执行帧内预测。而且，帧内预测单元1020可通过使用已从层间预测单元传递并在画面缓冲器1080中存储的参考画面，来对增强层(当前层)的当前块执行帧间预测。
如图示的，帧间预测单元1030可使用从层间预测单元传送的归纳参考块④作为针对增强层的当前块的预测信号。而且，帧间预测单元1030可通过使用画面缓冲器1080中存储的基本层的图像信息②和增强层的参考画面，来执行运动估计。
这里，已描述了对增强层的输入图像执行帧间预测的帧间预测单元1030和对增强层的输入图像执行一致的(even)帧内预测的帧内预测单元1020基于从增强层编码设备1000中的层间预测单元传输的信息来执行预测，但是本发明不限于此。例如，除了帧间预测单元1030和/或帧内预测单元1020之外，增强层编码设备可包括额外预测单元，并且额外预测单元可基于从层间预测单元传送的信息③和④，来执行预测。在该情况下，向或从帧间预测单元1030、帧内预测单元1020、和额外预测单元输入或输出的信息可通过安装开关来选择。
图11是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图11中，图示了多层解码设备中的基本层解码设备的示例。
参考图11，基本层解码设备1100包括熵解码单元1110、逆量化单元1120、逆变换单元1130、滤波器单元1140、画面缓冲器1150、帧间预测单元1160、和帧内预测单元1170。
熵解码单元1110、逆量化单元1120、逆变换单元1130、滤波器单元1140、画面缓冲器1150、帧间预测单元1160、和帧内预测单元1170可充当上面参考图2描述的解码设备的各个组件。
例如，熵解码单元1110可接收比特流，并通过诸如cabac、cavlc等方法对其执行熵解码。逆量化单元1120可对从熵解码单元1110获得的量化后的变换系数进行逆量化。逆变换单元1130根据向量化后的变换系数应用的变换方法来执行逆量化。例如，当量化后的变换系数基于dct时，逆变换单元1130可通过使用idct来执行逆量化，并且当量化后的变换系数基于dst时，逆变换单元1130可通过使用idst来执行逆量化。
画面缓冲单元1150可存储解码后的图像信息，并且滤波器单元1140可向在画面缓冲器1150中存储之前的重构图像(画面)应用环内滤波器。
当解码设备1100对当前块执行帧间预测时，帧间预测单元1160基于画面缓冲单元1150中存储的参考画面来执行帧间预测。当解码设备1100对当前块执行帧内预测时，帧内预测单元1170基于关于相邻块的信息来对当前块执行帧内预测。帧间预测和帧内预测的细节与上述相同。
参考图11，在针对基本层的解码设备1100中处理的图像信息被传送到层间预测单元。例如，已解码并重构的图像信息
图12是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图12中，图示了多层解码设备中的层间预测单元的示例。
多层解码设备的层间预测单元1200包括归纳参考块生成单元1210、归纳参考画面生成单元1220、和预测单元1225。预测单元1225可包括纹理预测单元1230和空间尺寸扩大单元1240。
作为输入到层间预测单元900的信息的图12中图示的信息
层间预测单元基于输入信息
详细来说，纹理预测单元1230可基于从基本层编码设备传递的图像信息
纹理预测是从与增强层(当前层)的当前块对应的参考层(基本层)的块获得像素值的处理。通过纹理预测，纹理预测单元1230可获得与当前块对应的基本层(参考层)块的像素值。
空间尺寸扩大单元1240可根据增强层(当前层)的尺寸，来对从纹理预测单元1230获得的参考层块的解码后的纹理信息进行尺寸扩大(例如，上采样)。
归纳参考画面生成单元1210基于预测单元1225生成的基本层的纹理信息，来生成归纳参考块。如上所述，预测单元1225可从基本层获得纹理信息
如上所述，在应用多环路的情况下，归纳参考块可以是包括参考层的解码后的纹理信号(残差信号和预测信号之和)的块。例如，归纳参考块可以是在参考层中重构并且不对其应用环内滤波器的画面的块、或者是由参考层重构并且对其应用环内滤波器(解块滤波器、sao、和alf)中的至少一个的画面的块。而且，通过对包括参考层的解码后的纹理信号的画面执行画面增强而获得的画面的块可被确定为归纳参考块。
归纳参考块可被用作针对增强层(当前层)的解码目标块的预测信号。当当前层的编码目标块的尺寸是n×n时，归纳参考块生成单元920可获得从解码的参考层的画面生成的具有尺寸n×n的块，作为归纳参考块。增强层的解码设备可通过将残差信号和归纳参考块相加，来重构增强层的原始块。
归纳参考画面生成单元1220基于从预测单元1225生成的基本层的图像信息和从增强层解码设备的画面缓冲器传输的解码后的增强层的图像信息⑧，来生成归纳参考画面。如上所述，预测单元1225可获得纹理信息
在应用多环路的情况下，归纳参考画面可以是包括参考层的解码后的纹理信号(残差信号和预测信号之和)的画面。例如，归纳参考画面可以是不对其应用环内滤波器的重构画面、或者是对其应用环内滤波器(解块滤波器、sao、和alf)中的至少一个的重构画面。而且，通过对包括参考层的解码后的纹理信号的画面执行画面增强而获得的画面可被确定为归纳参考画面。
归纳参考画面可被添加到针对增强层(当前层)的当前解码目标画面(块)的参考画面列表，以便用于解码目标画面(块)的帧间预测。而且，归纳参考画面可被指定为针对增强层(当前层)的编码目标画面(块)的参考画面以便使用，而不是添加到参考画面列表。
归纳参考画面生成单元1220所生成的归纳参考画面信息⑦以及归纳参考块生成单元1210所生成的归纳参考块信息⑤和⑥被传输到增强层解码设备。
图13是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图13中，图示了多层解码设备中的增强层解码设备的示例。
参考图13，增强层解码设备1300包括熵解码单元1310、逆量化单元1320、逆变换单元1330、滤波器单元1340、画面缓冲器1350、帧间预测单元1360、和帧内预测单元1370。
熵解码单元1310、逆量化单元1320、逆变换单元1330、滤波器单元1340、画面缓冲器1350、帧间预测单元1360、和帧内预测单元1370也可充当上面参考图2描述的解码设备的各个组件。
例如，熵解码单元1110可接收比特流并通过诸如cabac、cavlc等方法对其执行熵解码。输入到增强层解码设备1300的比特流可以是包括整个比特流的部分或全部的比特流，作为关于比输入到基本层解码设备的比特流具有更高画面质量、更大尺寸、更高分辨率和/或更高帧频的图像的信息。逆量化单元1320可对从熵解码单元1310获得的量化后的变换系数进行逆量化。逆变换单元1330根据向量化后的变换系数应用的变换方法来执行逆量化。例如，当量化后的变换系数基于dct时，逆变换单元1330可通过使用idct来执行逆量化，并且当量化后的变换系数基于dst时，逆变换单元1330可通过使用idst来执行逆量化。
画面缓冲单元1350可存储解码后的图像信息，并且滤波器单元1340可向在画面缓冲器1350中存储之前的重构图像(画面)应用环内滤波器。
当解码设备1300对当前块执行帧间预测时，帧间预测单元1360基于画面缓冲单元1350中存储的参考画面来执行帧间预测。当解码设备1300对当前块执行帧内预测时，帧内预测单元1370基于关于相邻块的信息来对当前块执行帧内预测。帧间预测和帧内预测的细节与上述相同。
参考图13，针对基本层在解码设备1100中处理的图像信息通过层间预测单元1200被传送到增强层解码设备1300。例如，关于层间预测单元的归纳参考画面生成单元所生成的归纳参考画面的信息⑦被传输到画面缓冲器1350。而且，关于层间预测单元的归纳参考块生成单元所生成的归纳参考块的信息⑤和⑥被传输到帧内预测单元1370和帧间预测单元1360。
当应用多环路方案时，帧内预测单元1370可使用从帧间预测单元传送的归纳参考块⑤作为当前块的预测信号。而且，如上所述，帧内预测单元1370可通过使用增强层中的当前块的相邻参考样本来对当前块执行帧内预测。而且，帧内预测单元1370可通过使用已从帧间预测单元传递并在画面缓冲器1350中存储的参考画面，来对增强层(当前层)的当前块执行帧间预测。
可基于从编码设备传送的指示或信息，来确定是否使用归纳参考块或是否执行当前层中的帧内预测。
如图示的，帧间预测单元1360可使用从层间预测单元传送的归纳参考块⑥作为针对增强层的当前块的预测信号。而且，帧间预测单元1360可通过使用画面缓冲器1350中存储的基本层的图像信息⑦和增强层的参考画面，来执行运动估计。基于哪个信息来预测当前块可在编码设备/解码设备之间先前确定，或者可由编码设备命令。
这里，已描述了对增强层的输入图像执行帧间预测的帧间预测单元1360和对增强层的输入图像执行一致的帧内预测的帧内预测单元1370基于从增强层解码设备1300中的层间预测单元传输的信息来执行预测，但是本发明不限于此。例如，除了帧间预测单元1360和/或帧内预测单元1370之外，增强层解码设备可包括额外预测单元，并且该额外预测单元可基于从层间预测单元传送的信息⑤和⑥，来执行预测。在该情况下，向或从帧间预测单元1360、帧内预测单元1370、和额外预测单元输入或输出的信息可通过安装开关来选择。
图14是示意性图示了在本发明所应用到的层间预测单元中归纳的参考画面生成单元的配置的示例的图。如上所述，当应用多环路方案时，归纳参考画面生成单元接收预测单元(图9中的925和图12中的1225)所获得的纹理信息，并生成归纳的参考信号。
参考图14，归纳参考画面生成单元1400包括画面增强单元1410。
画面增强单元1410执行处理(画面增强)，以使得输入画面或块与增强层(当前层)的输入原始画面或输入原始块相同或相似。
例如，在采用多环路方案的归纳参考画面生成单元1400中，画面增强单元1410接收基本层的图像信息(纹理信息)以及增强层的画面缓冲器1420中存储的图像信息，并基于增强层的画面缓冲器1420中存储的图像信息来对输入图像信息(纹理信息)执行画面增强。在该情况下，作为画面增强的基础的增强层的画面缓冲器1420中存储的图像信息可以是增强层的原始图像。
作为增强画面的方法之一，画面增强单元1410可应用输入图像信息(纹理信息)、自适应环路滤波器(alf)、和样本自适应偏移(sao)中的至少一个。在解码设备的情况下，画面增强单元1410中应用的画面增强方法、滤波系数等可在编码设备中确定并用信号通知。
其间，当不应用画面增强时，向归纳参考画面生成单元1400输入的纹理信息可被用作归纳参考画面。
图15是示意性图示了在本发明所应用到的层间预测单元中归纳的参考块生成单元的配置的示例的图。
参考图15，归纳参考块生成单元1500包括画面增强单元1510。
画面增强单元1510执行处理(画面增强)，以使得输入画面或块与增强层(当前层)的输入原始画面或输入原始块相同或相似。
例如，在采用多环路方案的归纳参考画面生成单元1500中，画面增强单元1510接收基本层的图像信息(纹理信息)以及增强层的画面缓冲器1520中存储的图像信息，并基于增强层的画面缓冲器1520中存储的图像信息，来对输入图像信息(纹理信息)执行画面增强。在该情况下，作为画面增强的基础的增强层的画面缓冲器1520中存储的图像信息可以是增强层的原始图像。
作为增强画面的方法之一，画面增强单元1510可应用输入图像信息(纹理信息)、自适应环路滤波器(alf)、和样本自适应偏移(sao)中的至少一个。在解码设备的情况下，画面增强单元1510中应用的画面增强方法、滤波系数等可在编码设备中确定并用信号通知。
归纳参考块生成单元1500向增强层(当前层)的帧间预测单元1530或帧内预测单元1540传送该归纳参考块。
其间，当不应用画面增强时，向归纳参考画面生成单元1500输入的纹理信息可被用作归纳参考画面。
图16是图示了根据本发明实施例执行的层间预测的流程图。
这里，为了便于解释，描述了多层编码设备和多层解码设备(其后，称为“编码设备/解码设备”)确定针对增强层的当前块的预测方法。
参考图16，编码设备/解码设备确定是否对增强层的当前块执行层间预测(s1610)。在该情况下，编码设备可确定是否考虑到pdo和/或数据传送成本等来执行层间预测、或者是否执行增强层内的单层预测。编码设备可向解码设备传送指示是否执行层间预测或是否执行单层预测的标记。
解码设备可根据从编码设备接收的标记的指示，来确定是否对增强层的当前块执行层间预测或者是否执行单层预测。例如，当指示层间预测的执行的标记是interlayerpred_flag并且interlayerpred_flag的值是1时，解码设备可执行单层预测，并且当interlayerpred_flag的值是0时，解码设备可执行单层预测。这里，描述了具有值1的标记指示层间预测，但是当然，其可被设置为使得具有值0的标记指示层间预测。
当不执行层间预测时，可针对增强层的当前块在增强层中执行预测(s1620)。例如，当包括增强层的当前块的片段类型是帧内片段(i片段)时，可基于位于作为当前编码和解码的目标的块(当前块)附近的重构参考块(相邻块)来执行帧内预测，由此对当前块执行预测。这里，可向增强层的当前块应用的帧内预测方法的示例与上面参考图3描述的相同。编码设备/解码设备可通过使用定向预测模式或非定向预测模式中的任一个，来对增强层执行帧内预测。
编码设备向解码设备传送关于要用于增强层的当前块的帧内预测模式的信息，并且解码设备可根据由从编码设备接收的信息指示的帧内预测模式，来对增强层的当前块执行预测。
而且，当包括增强层的当前块的片段类型是帧间片段(p片段、b片段等)并且在增强层内执行单层预测时，编码设备/解码设备可基于同一增强层内的参考画面，来对当前块执行帧间预测。这里，编码设备/解码设备可通过上述诸如跳跃模式、合并模式、amvp等的帧间预测方法中的任一个，来对当前块执行帧间预测。
编码设备可传送关于要用于增强层的当前块的帧间预测方法的信息，并且解码设备可根据由从编码设备接收的信息指示的帧间预测模式，来对增强层的当前块执行预测。
其间，当执行帧间预测时，编码设备/解码设备可基于从参考层(基本层)生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测(s1630)。为了便于解释，将描述根据片段类型执行层间预测的方法。
*在增强层的片段类型或基本层的片段类型是帧内片段(i片段)并且应用层间预测的情况下
编码设备/解码设备可基于通过使用参考层(基本层)的解码后的画面信息而生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测。
这里，当层的画面尺寸不同时，参考层的解码后的画面可被获得，并然后根据增强层的画面尺寸而被上采样，以由此生成归纳参考画面或归纳参考块。上采样可例如在如上面参考图9或12描述的层间预测单元中执行。
上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在使用归纳参考画面的情况下
当增强层的片段或基本层的片段是帧内片段并且通过使用归纳参考画面执行层间预测时，编码设备/解码设备可配置包括归纳参考画面(参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面)的针对增强层的当前块的参考画面列表。编码设备/解码设备可通过使用针对增强层的当前块的参考画面列表中包括的归纳参考画面作为参考画面，来对增强层的当前块执行帧间预测。
在通过使用归纳参考画面对增强层的当前块执行预测的情况下，可使用诸如amvp、合并模式、跳跃模式等的帧间预测方法。
在执行层间预测的情况下，可使用归纳参考画面作为针对增强层的当前块的参考画面，甚至不向参考画面列表添加归纳参考画面(参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面)。当使用归纳参考画面作为当前块的参考画面时，编码设备可向解码设备传送指示作为针对当前块的参考画面的该归纳参考画面的信息。当解码设备从编码设备接收到指示针对增强层的当前块的参考画面是该归纳参考画面的信息时，解码设备可通过使用该归纳参考画面来对增强层的当前块执行帧间预测。
这里，为了便于解释，将该归纳参考画面描述为参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面，但是如图14中所示，可通过对基本层的解码后画面执行画面增强，来生成归纳参考画面。
画面增强是用于使得用作参考画面的解码后画面和原始画面之间的差最小化的方法。换言之，画面增强可以使得基于参考层生成的归纳参考画面和原始画面之间的差最小化。这里，原始画面可表示增强层的向编码设备输入的画面。
例如，编码设备计算能够使得原始画面和归纳参考画面之间的差最小化的滤波系数，并然后向从参考层获得的上采样的解码后画面或还没有上采样的解码后画面应用具有滤波系数的滤波器，以生成该归纳参考画面。编码设备可向解码设备传送关于计算的滤波系数的信息。解码设备可通过向从参考层获得的上采样的解码后画面或还没有上采样的解码后画面应用从编码设备接收的滤波系数，来生成归纳参考画面。
在使用归纳参考块的情况下
在增强层的片段类型或基本层的片段类型是帧内片段并且通过使用归纳参考块执行层间预测时，编码设备/解码设备可从基于基本层(参考层)的解码后画面生成的归纳参考块获得针对增强层的当前块的预测信号(预测块)。
这里，当参考层(基本层)和增强层的画面的尺寸不同时，可对从参考层获得的解码后画面执行上采样。可以如上面参考图9或12描述的那样在层间预测单元中执行上采样。
上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在执行层间预测时，从与增强层的当前块对应的参考层(基本层)的归纳参考块获得的像素值可被确定为针对增强层的当前块的预测信号(预测块)。这里，归纳参考块可以是通过对从参考层(基本层)获得的解码后画面进行上采样而获得的块，或者可以是没有经过上采样而获得的块。
增强层的当前块可以根据四叉树结构被编码/解码以具有各种块尺寸。例如，增强层的当前块可以通过cu、pu和tu中的任一个被编码/解码、预测或变换。在该情况下，归纳参考块可包括参考层(基本层)的像素以便对应于增强层的当前块的尺寸，或者可被上采样以便对应于增强层的当前块的尺寸。
还可以对从参考层(基本层)获得的解码后图像附加执行画面增强，使得归纳参考块能更接近增强层的要编码/解码的目标块(当前块)的原始块。在该情况下，画面增强可以使得基于参考层生成的归纳参考块和增强层的当前块(原始块)之间的差最小化。
编码设备可计算可能使得原始画面和归纳参考块之间的差最小化的滤波系数，并然后向从参考层获得的上采样的解码后块或还没有上采样的解码后块应用具有该滤波系数的滤波器，以生成归纳参考块。
而且，编码设备可向解码设备传送关于计算的滤波系数的信息。解码设备可通过向从参考层获得的上采样的解码后块或还没有上采样的解码后块应用具有该滤波系数的滤波器，以生成归纳参考块。
－在增强层的片段类型或基本层的片段类型是帧间片段(p片段、b片段等)并且应用层间预测的情况下
编码设备/解码设备还可以基于参考层(基本层)的解码后画面、或通过使用解码后画面的信息而生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测。
当层(例如，基本层(参考层)和增强层之间)的画面的尺寸不同时，编码设备/解码设备可根据增强层的画面尺寸对参考层的解码后画面进行上采样。这里，上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在使用归纳参考画面的情况下
如上所述，编码设备/解码设备可基于参考层的解码后图像、以及基于解码后图像信息而生成的归纳参考画面，来对增强层的当前块执行预测。
参考层的解码后图像或通过对参考层的解码后图像进行上采样而获得的画面可被用作层间预测的归纳参考画面。如上所述，可执行上采样，以便将基本层(参考层)的画面调整为增强层的画面。例如，当参考层(基本层)的画面尺寸与增强层的画面尺寸不同时，编码设备/解码设备可对基本层的画面执行上采样，以便调整画面尺寸。
可通过配置包括归纳参考画面的针对增强层的当前块的参考画面列表，来对增强层的当前块执行层间预测。当对增强层的当前块执行帧间预测时，参考画面列表中包括的归纳参考画面可被用作参考画面。
在该情况下，可使用诸如amvp、合并模式、跳跃模式等的前述帧间预测方法，可对增强层的当前块执行预测。
当参考画面列表中包括归纳参考画面时，可用归纳参考画面替代针对增强层的当前块的参考画面列表上的某一参考画面。而且，可将归纳参考画面简单添加到针对增强层的当前块的参考画面列表上。
此外，代替将归纳参考画面添加到参考画面列表上，可将归纳参考画面用作针对增强层的当前块的参考画面。当将归纳参考画面用作当前块的参考画面时，编码设备可向解码设备传送指示该归纳参考画面是针对当前块的参考画面的信息。当解码设备从编码设备接收到指示针对增强层的当前块的参考画面是该归纳参考画面的信息时，解码设备可通过使用该归纳参考画面来对增强层的当前块执行帧间预测。
在使用归纳参考块的情况下
在增强层的片段类型或基本层的片段类型是帧间片段并且通过使用归纳参考块执行层间预测时，编码设备/解码设备可从通过使用参考层(基本层)的解码后画面生成的归纳参考块，获得针对增强层的编码或解码目标块(当前块)的预测信号(预测块)。
编码设备/解码设备可使用从与增强层的当前块对应的参考层(基本层)的由上采样画面生成的归纳参考块或由还没有上采样的画面生成的归纳参考块而获得的像素值，作为针对增强层的当前块的预测信号。
增强层的当前块可以根据四叉树结构被编码/解码以具有各种块尺寸。例如，增强层的当前块可以通过cu、pu和tu中的任一个被编码/解码、预测或变换。在该情况下，归纳参考块可包括参考层(基本层)的像素以便对应于增强层的当前块的尺寸，或者可被上采样以便对应于增强层的当前块的尺寸。
编码设备/解码设备可使用该归纳参考块作为针对增强层的当前块的预测块。
如上所述，编码设备/解码设备可基于针对增强层的当前块的单层预测或层间预测的结果，来重构或编码增强层的当前画面(s1650)。
如上所述，编码设备可基于预测结果对生成的残差块(残差信号)进行变换、量化和熵编码，并将其传送到解码设备。这里，编码设备可通过使用多路复用器对从基本层编码设备和增强层编码设备输出的比特流进行多路复用，并传送它。
如上所述，解码设备还可以基于通过预测生成的预测块(预测信号)和残差块(残差信号)，来重构具有增强层支持的高画面质量、高分辨率、大尺寸和/或高帧频的画面(或视频)。输入到编码设备的比特流可由解多路复用器划分为基本层和增强层，并分别输入到基本层编码设备和增强层编码设备。
在以上描述中，在多层编码/解码中将基本层描述为参考层并将增强层描述为编码或解码目标层，但是为了便于解释，这仅基于包括两层的多层的编码/解码的假设。即，这仅是示意性的，并且本发明不限于双层配置。在本发明的实施例中，编码或解码目标层可通过使用目标层自己的较低层中的至少一个作为参考层而被层间预测，或者可以在编码或解码目标层中被单层预测。
在以上描述中，为了执行svc，从较低层获得的信息在尺寸上被上采样，但是这仅为了便于解释，并且可按照相同方式甚至对于画面质量、分辨率、和帧频、以及画面尺寸，执行与上采样类似的、根据较高层的视频信息的较低层的视频信息的增强。
在以上描述中，分开描述了使用归纳参考画面的情况和使用归纳参考块的情况，但是这仅是为了便于解释。可一起使用归纳参考画面和归纳参考块用于层间预测，或者可仅单独使用其中的任何一个。当使用归纳参考画面和归纳参考块中的任一个时，编码设备/解码设备可仅包括归纳参考块生成单元和归纳参考画面生成单元中的需要的元件。
而且，在上述示范系统中，尽管通过顺序步骤或块基于流程图描述了这些方法，但是本发明不限于这些步骤的次序，并且步骤与另一步骤可按照与上述不同的次序执行，或者可同时执行。而且，前述实施例包括各个示范实施例。例如，各个实施例的组合也应被理解为本发明的实施例。