理器运行所述代码时，所述代码使得装置执行:
[0316]编码包括基础层和至少一个增强层的可伸缩比特流；
[0317]编码和重建基础层图像；
[0318]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；
[0319]从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0320]根据第五实施例，提供了一种用于解码包括基础层和至少一个增强层的可伸缩比特流的方法，所述方法包括解码基础层图像；
[0321]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0322]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0323]根据一个实施例，将所解码的增强层图像子图像与所解码的增强层图像分开地放置在参考帧缓冲器中。
[0324]根据一个实施例，解码的增强层图像没有被放置在参考帧缓冲器中，而是解码的增强层子图像被放置在所述参考帧缓冲器中。
[0325]根据一个实施例，如果使用空间可伸缩，则从上采样的基础层图像复制在所述增强层子图像区域之外的样本。
[0326]根据一个实施例，解码所述一个或多个增强层子图像使用来自基础层的信息。
[0327]根据一个实施例，所述一个或多个增强层子图像被转换为在所述重建的一个或多个增强层子图像的区域之外的从所解码的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式，以及所述转换的增强层图像被合并以在参考帧缓冲器中形成单个增强层图像。
[0328]一种根据第六实施例的装置，所述装置包括:
[0329]视频解码器，其被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于解码基础层图像；
[0330]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0331]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0332]根据第七实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行:
[0333]解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0334]解码基础层图像；
[0335]解码针对给定基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0336]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0337]根据第八实施例，提供了至少一个处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码使得装置执行:
[0338]解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0339]解码基础层图像；
[0340]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0341]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0342]根据第九实施例，提供了视频编码器，所述视频编码器用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置为用于
[0343]编码和重建基础层图像；
[0344]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0345]从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0346]根据第十实施例，提供了视频解码器，所述视频解码器被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0347]解码基础层图像；
[0348]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0349]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
【主权项】
1.一种方法，包括: 编码和重建基础层图像； 编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小； 从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
2.根据权利要求1所述的方法，还包括: 相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。
3.根据权利要求1或2所述的方法，其中 允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。
4.根据任何前述权利要求所述的方法，其中 允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。
5.根据任何前述权利要求所述的方法，其中 所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强信息包含以下中的至少一个: -相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子图像的色度的保真度； -相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子图像的位深； -相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子图像的质量；或 -相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增强层子图像的空间分辨率。
6.根据权利要求5所述的方法，还包括 使用与编码针对增强层图像的增强信息一样的语法来编码针对子图像的增强信息。
7.根据任何前述权利要求所述的方法，还包括 使所述增强层子图像的左上角与图像的最大编码单元(LCU)的左上角对齐。
8.根据权利要求5所述的方法，还包括 将所述增强层子图像的大小限制为最大编码单元(LCU)的大小或预测单元(PU)的大小或编码单元(CU)的大小的整数倍。
9.根据权利要求2-8中任何一项所述的方法，还包括 如果相对于基础层预测性地编码所述增强层子图像，则限制预测过程以便仅在基础层图像的共位区域内的像素是能够使用的。
10.根据权利要求2-9中任何一项所述的方法，还包括 如果相对于基础层预测性地编码所述增强层子图像，则在预测过程中涉及不同的图像处理操作。
11.根据任何前述权利要求所述的方法，其中 第一增强层子图像增强与第二增强层子图像不同的图像特征。
12.根据任何前述权利要求所述的方法，其中 单个增强层子图像增强图像的多个特征。
13.根据任何前述权利要求所述的方法，其中 所述增强层子图像的方位和大小与在所述基础层图像中使用的图块或片相同。
14.根据任何前述权利要求所述的方法，其中 所述增强层子图像的大小和方位被限制使得它们在空间上不重叠。
15.根据权利要求1-13中的任何一项所述的方法，其中 允许所述增强层子图像的大小和方位在空间上重叠。
16.根据任何前述权利要求所述的方法，其中 在补充增强信息(SEI)消息的形式中实现增强层子图像构思。
17.根据任何前述权利要求所述的方法，还包括 将所述一个或多个增强层子图像转换为在所述重建的一个或多个增强层子图像的区域之外的从所重建的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式，以及 合并所转换的增强层图像以在参考帧缓冲器中形成单个增强层图像。
18.一种装置，包括: 视频编码器，其被配置为用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置用于编码和重建基础层图像； 编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小； 从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
19.根据权利要求18所述的装置，其中所述视频编码器还被配置用于 相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。
20.根据权利要求18或19所述的装置，其中 允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。
21.根据权利要求18-20中任何一项所述的装置，其中 允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。
22.根据权利要求18-21中任何一项所述的装置，其中 所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强信息包含以下中的至少一个: -相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子图像的色度的保真度； -相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子图像的位深； -相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子图像的质量；或 -相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增强层子图像的空间分辨率。
23.根据权利要求22所述的装置，其中所述视频编码器还被配置用于 使用与编码针对增强层图像的增强信息一样的语法来编码针对子图像的增强信息。
24.根据权利要求18-23中任何一项所述的装置，其中所述视频编码器还被配置用于 使所述增强层子图像的左上角与图像的最大编码单元(LCU)的左上角对齐。
25.根据权利要求22所述的装置，其中所述视频编码器还被配置用于 将所述增强层子图像的大小限制为最大编码单元(LCU)的大小或预测单元(PU)的大小或编码单元(CU)的大小的整数倍。
26.根据权利要求19-25中任何一项所述的装置，其中所述视频编码器还被配置用于 如果相对于基础层预测性地编码所述增强层子图像，则限制预测过程以便仅在基础层图像的共位区域内的像素是能够使用的。
27.根据权利要求19-26中任何一项所述的装置，其中所述视频编码器还被配置用于 如果相对于基础层预测性地编码所述增强层子图像，则在预测过程中涉及不同的图像处理操作。
28.根据权利要求18-27中任何一项所述的装置，其中 第一增强层子图像被配置为用于增强与第二增强层子图像不同的图像特征。
29.根据权利要求18-28中任何一项所述的装置，其中 单个增强层子图像被配置为用于增强图像的多个特征。
30.根据权利要求18-29中任何一项所述的装置，其中 所述增强层子图像的方位和大小与在所述基础层图像中使用的图块或片相同。
31.根据权利要求18-30中任何一项所述的装置，其中 所述增强层子图像的大小和方位被限制使得它们在空间上不重叠。
32.根据权利要求18-30中的任何一项所述的装置，其中 允许所述增强层子图像的大小和方位在空间上重叠。
33.根据权利要求18-32中的任何一项所述的装置，其中 在补充增强信息(SEI)消息的形式中实现增强层子图像构思。
34.根据权利要求18-33中的任何一项所述的装置，其中所述视频编码器还被配置用于 将所述一个或多个增强层子图像转换为在所述重建的一个或多个增强层子图像的区域之外的从所重建的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式，以及 合并所转换的增强层图像以在参考帧缓冲器中形成单个增强层图像。
35.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行: 编码包括基础层和至少一个增强层的可伸缩比特流； 编码和重建基础层图像； 编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
36.一种处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述处理器运行所述代码时，所述代码使得装置执行: 编码包括基础层和至少一个增强层的可伸缩比特流； 编码和重建基础层图像； 编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
37.一种方法，包括: 从可伸缩比特流解码基础层图像 从所述可伸缩比特流，解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
38.根据权利要求37所述的方法，还包括 将所解码的增强层图像子图像与所解码的增强层图像分开地放置在参考帧缓冲器中。
39.根据权利要求37所述的方法，还包括 将所解码的增强层子图像而不是所解码的增强层图像放置在所述参考帧缓冲器中。
40.根据权利要求37-39中的任何一项所述的方法，还包括 响应于使用空间可伸缩，从上采样的基础层图像复制在所述增强层子图像区域之外的样本。
41.根据权利要求37-40中的任何一项所述的方法，还包括 在解码所述一个或多个增强层子图像中使用来自基础层的信息。
42.根据权利要求37-41中的任何一项所述的方法，还包括 将所述一个或多个增强层子图像转换为在所述解码的一个或多个增强层子图像的区域之外的从所解码的基础层图像复制到所重建的增强层图像的样本中使用的相同格式，以及 将所述转换的增强层图像合并以在参考帧缓冲器中形成单个增强层图像。
43.一种装置，包括: 视频解码器，其被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于 解码基础层图像； 解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
44.根据权利要求43所述的装置，所述视频解码器被配置为用于 将所解码的增强层图像子图像与所解码的增强层图像分开地放置在参考帧缓冲器中。
45.根据权利要求43所述的装置，所述视频解码器被配置为用于 将所解码的增强层子图像而不是所解码的增强层图像放置在参考帧缓冲器中。
46.根据权利要求43-45中的任何一项所述的装置，所述视频解码器被配置为用于 响应于使用空间可伸缩，从上采样的基础层图像复制在所述增强层子图像区域之外的样本
47.根据权利要求43-46中的任何一项所述的装置，所述视频解码器被配置为用于 在解码所述一个或多个增强层子图像中使用来自基础层的信息。
48.根据权利要求43-47中的任何一项所述的装置，所述视频解码器被配置为用于 将所述一个或多个增强层子图像转换为在所述解码的一个或多个增强层子图像的区域之外的从所解码的基础层图像复制到所重建的增强层图像的样本中使用的相同格式，以及 将所述转换的增强层图像合并以在参考帧缓冲器中形成单个增强层图像。
49.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行: 解码包括基础层和至少一个增强层的可伸缩比特流，视频解码器被配置为用于 解码基础层图像； 解码针对给定基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
50.一种处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述处理器运行所述代码时，所述代码使得装置执行: 解码包括基础层和至少一个增强层的可伸缩比特流，视频解码器被配置为用于 解码基础层图像； 解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
51.—种视频编码器，所述视频编码器被配置为用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置为用于 编码和重建基础层图像； 编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
52.—种视频解码器，所述视频解码器被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于解码基础层图像； 解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及 从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
【专利摘要】提供了用于可伸缩视频编码和解码的方法、装置和计算机程序产品。在一些实施例中，介绍了编码/解码增强层图像的改进方法以使得能够使用增强的质量和/或空间分辨率以及使用高编码效率来编码增强层图像内的区域。增强层子图像具有小于对应的增强层图像的大小。相对于之前编码的基础层图像或增强层图像来对它们进行编码。增强信息可以是以下形式：增加色度保真度；增加位深；增加区域质量；或增加区域分辨率。
【IPC分类】H04N19-167, H04N19-187, H04N19-103
【公开号】CN104604223
【申请号】CN201380045110
【发明人】K·乌尔, J·莱内马, M·M·汉努克塞拉
【申请人】诺基亚公司
【公开日】2015年5月6日
【申请日】2013年6月25日
【公告号】EP2868091A1, US20140003504, WO2014006267A1