图像处理装置及图像处理方法与流程

本申请是申请日为2012年5月24日、申请号为“201280033787.0”、发明名称为“图像处理装置及图像处理方法”的发明专利申请的分案申请。

本公开内容涉及图像处理装置和图像处理方法。

背景技术：

利用特定于图像的冗余来压缩图像的信息量的压缩技术如h.26x(itu-tq6/16vceg)标准和mpeg(运动图像专家组)-y标准已经被广泛用于有效地传输或积累数字图像的目的。在作为mpeg4的活动的一部分的增强压缩视频编码的联合模型中，已经制定了能够通过结合基于h.26x标准的新功能来实现更高的压缩率的称为h.264和mpeg-4部分10(高级视频编码；avc)的国际标准。

这些图像编码方法中的一种重要的技术是帧间预测。在帧间预测中，通过利用参考图像来预测要编码的图像的内容，并且只对预测图像和实际图像之间的差进行编码。从而实现代码量的压缩。然而，当对象在一系列图像中发生很大移动时，预测图像和实际图像之间的差增大，不能通过简单的帧间预测达到高压缩率。因此，设法通过将对象的运动识别为运动向量并且对按照运动向量出现运动的区域中的像素值做出补偿来减小帧间预测中的预测误差。这种技术叫做运动补偿。

在作为继h.264/avc之后的下一代图像编码方法的hevc(高效视频编码)(正在进行其标准化)中，图像中的每个编码单元(cu)被进一步分成一个或更多个预测单元(pu)，并且可以给每个预测单元设置运动向量。hevc中的预测单元的大小和形状比h.264/avc中的块的大小和形状更加多样化，并且对象的运动可以更加准确地反映在运动补偿中(见以下非专利文献1)。以下非专利文献2提出一种技术，其利用运动的空间相关或时间相关来对运动向量进行预测并且只对预测的运动向量和实际运动向量之间的差进行编码，以减少运动向量的代码量。以下非专利文献3提出通过将图像中邻近块的具有公共运动信息的块进行合并来减小运动信息的代码量。

前述图像编码方法中的另一重要技术是可伸缩视频编码(svc)。可伸缩视频编码是对传输粗糙图像信号的层和传输精细图像信号的层分层级地编码的技术。可伸缩视频编码中按层级排列的典型属性主要包括以下三个：

空间可伸缩性：对空间分辨率或图像尺寸进行按层级排列。

时间可伸缩性：对帧速率进行按层级排列。

snr(信噪比)可伸缩性：对信噪比进行按层级排列。

此外，虽然还没有在标准中采用，位深度可伸缩性和色度格式可伸缩性也被讨论。

引用列表

非专利文献

非专利文献1：jctvc-b205,“testmodelunderconsideration”,jointcollaborativeteamonvideocodingmeeting:geneva,ch,21-28，2010年7月

非专利文献2：vceg-ai22,“motionvectorcodingwithoptimalpmvselection”,jungyoupyang等人,2008年7月

非专利文献3：jctvc-a116,“videocodingtechnologyproposalbyfraunhoferhhi”,m.winken等人,2010年4月

技术实现要素：

技术问题

上述非专利文献2中提出的技术和非专利文献3中提出的技术不采用可伸缩视频编码。如果将这些现有技术应用于要进行可伸缩视频编码的图像的各层，则可以在某种程度上减少编码量。然而，取决于可伸缩视频编码的类型，层之间的运动相关是显著的。因此，通过利用这种层之间的运动相关来提高编码效率是有用的。

根据本公开内容的技术的目的是通过利用要进行可伸缩视频编码的图像的各层之间的运动相关来提高编码效率。

问题的解决方案

根据本公开内容，提供一种图像处理装置，其包括信息获取部分和运动向量设置部分，信息获取部分获取设置信息以将运动向量设置给第二层中的第二预测单元，第二预测单元与包含第一层和比第一层高的第二层的可伸缩视频解码图像的第一层中的第一预测单元相对应，该设置信息与设置给第一预测单元的运动向量有关，运动向量设置单元利用信息获取部分获取的设置信息来将运动向量设置给第二预测单元。

上述图像处理装置通常可以被实现为对图像进行解码的图像解码装置。

根据本公开内容，提供一种图像处理方法，包括：获取设置信息以将运动向量设置给第二层中的第二预测单元，第二预测单元与包含第一层和比第一层高的第二层的可伸缩视频解码图像的第一层中的第一预测单元相对应，该设置信息与设置给第一预测单元的运动向量有关；以及利用所获取的设置信息来将运动向量设置给第二预测单元。

根据本公开内容，提供一种图像处理装置，其包括信息生成部分和编码部分，信息生成部分生成设置信息以将运动向量设置给第二层中的第二预测单元，第二预测单元与包含第一层和比第一层高的第二层的可伸缩视频解码图像的第一层中的第一预测单元相对应，该设置信息与设置给第一预测单元的运动向量有关，编码部分对信息生成部分生成的设置信息进行编码。

上述图像处理装置通常可以被实现为对图像进行编码的图像编码装置。

根据本公开内容，提供一种图像处理方法，包括：生成设置信息以将运动向量设置给第二层中的第二预测单元，第二预测单元与包含第一层和比第一层高的第二层的可伸缩视频解码图像的第一层中的第一预测单元相对应，该设置信息与设置给第一预测单元的运动向量有关；以及对所生成的设置信息进行编码。

根据一个实施例，一种图像处理装置包括：运动向量设置单元，其基于以下信息将运动向量设置给第二层中的与第一层中的第一预测单元相对应的第二预测单元，该信息指示运动向量是否为第二预测单元与第一预测单元所共有或者第二预测单元与其邻近预测单元所共有。

根据另一个实施例，一种图像处理方法包括：基于以下信息将运动向量设置给第二层中的与第一层中的第一预测单元相对应的第二预测单元，该信息指示运动向量是否为第二预测单元与第一预测单元所共有或者第二预测单元与其邻近预测单元所共有。

根据另一个实施例，一种图像处理装置包括：生成单元，其生成以下信息：该信息指示运动向量是否为第二层中的与第一层中的第一预测单元相对应的第二预测单元与第一预测单元所共有或者第二预测单元与其邻近预测单元所共有；以及编码单元，其对由生成单元生成的信息进行编码。

根据另一个实施例，一种图像处理方法包括：生成以下信息：该信息指示运动向量是否为第二层中的与第一层中的第一预测单元相对应的第二预测单元与第一预测单元所共有或者第二预测单元与其邻近预测单元所共有；以及对所生成的信息进行编码。

本发明的有益效果

根据本公开内容，通过利用要进行可伸缩视频编码的图像的各层之间的运动相关来进一步提高编码效率。

附图说明

图1是示出根据实施方式的图像编码装置的配置的框图。

图2是示出空间可伸缩性的说明性视图。

图3是示出信噪比(snr)可伸缩性的说明性视图。

图4是示出根据第一示例的运动估计部分的详细配置的示例的框图。

图5是示出对运动向量进行预测的预测器候选的示例的第一说明性视图。

图6是示出对运动向量进行预测的预测器候选的示例的第二说明性视图。

图7是示出由根据第一示例的运动估计部分进行的运动估计过程的流程示例的流程图。

图8是示出根据第二示例的运动估计部分的详细配置的示例的框图。

图9是示出层间预测器的示例的说明性视图。

图10是示出由根据第二示例的运动估计部分进行的运动估计过程的流程的示例的流程图。

图11是示出根据第三示例的运动估计部分的详细配置的示例的框图。

图12a是示出合并信息的第一示例的说明性视图。

图12b是示出合并信息的第二示例的说明性视图。

图12c是示出合并信息的第三示例的说明性视图。

图13是示出由根据第三示例的运动估计部分进行的运动估计过程的流程示例的流程图。

图14是示出根据第四示例的运动估计部分的详细配置的示例的框图。

图15a是示出合并信息的第一示例的说明性视图。

图15b是示出合并信息的第二示例的说明性视图。

图15c是示出合并信息的第三示例的说明性视图。

图16是示出由根据第四示例的运动估计部分进行的运动估计过程的流程示例的流程图。

图17是示出根据实施方式的图像解码装置的配置示例的框图。

图18是示出根据第一示例的运动补偿部分的详细配置的示例的框图。

图19是示出由根据第一示例的运动补偿部分进行的运动补偿过程的流程示例的流程图。

图20是示出根据第二示例的运动补偿部分的详细配置的示例的框图。

图21是示出由根据第二示例的运动补偿部分进行的运动补偿过程的流程示例的流程图。

图22是示出根据第三示例的运动补偿部分的详细配置的示例的框图。

图23是示出由根据第三示例的运动补偿部分进行的运动补偿过程的流程示例的流程图。

图24是示出根据第四示例的运动补偿部分的详细配置的示例的框图。

图25是示出由根据第四示例的运动补偿部分进行的运动补偿过程的流程示例的流程图。

图26是示出电视机的示意配置的示例的框图。

图27是示出移动电话的示意配置的示例的框图。

图28是示出记录/再现装置的示意配置的示例的框图。

图29是示出图像采集装置的示意配置的示例的框图。

具体实施方式

以下，将参考附图对本公开内容的优选实施方式进行详细描述。应该注意的是，在本说明书和附图中，以相同的附图标记来表示基本上具有相同的功能和结构的元素，并且省略了重复的说明。

按照以下所示的顺序来提供描述：

1.图像编码装置的配置示例

2.运动估计部分的详细配置示例

2-1.第一示例

2-2.第二示例

2-3.第三示例

2-4.第四示例

3.图像解码装置的配置示例

4.运动补偿部分的详细配置示例

4-1.第一示例

4-2.第二示例

4-3.第三示例

4-4.第四示例

5.应用示例

6.总结

<1.根据实施方式的图像编码装置的示例配置>

图1是示出根据实施方式的图像编码装置10的配置示例的框图。参考图1，图像编码装置10包括a/d(模拟到数字)转换部分11、排序缓冲器12、减法部分13、正交变换部分14、量化部分15、无损编码部分16、累积缓冲器17、速率控制部分18、逆量化部分21、逆正交变换部分22、加法部分23、去块效应滤波器24、帧存储器25、选择器26和选择器27、帧内预测部分30以及运动估计部分40。

a/d转换部分11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出给排序缓冲器12。

排序缓冲器12对包括在由a/d转换部分11输入的该系列图像数据中的图像进行排序。在根据编码过程对根据gop(画面组)结构的图像进行排序后，排序缓冲器12将经排序的图像数据输出给减法部分13、帧内预测部分30以及运动估计部分40。

从排序缓冲器12输入的图像数据和由下述帧内预测部分30或运动估计部分40输入的预测图像数据被提供给减法部分13。减法部分13计算作为从排序缓冲器12输入的图像数据与所述预测图像数据之间的差的预测误差数据，并将所计算的预测误差数据输出给正交变换部分14。

正交变换部分14对从减法部分13输入的预测误差数据进行正交变换。要通过正交变换部分14执行的正交变换可以是例如离散余弦变换(dct)或karhunen-loeve变换。正交变换部分14将通过正交变换过程获取的变换系数数据输出给量化部分15。

从正交变换部分14输入的变换系数数据和来自下述速率控制部分18的速率控制信号被提供给量化部分15。量化部分15对变换系数数据进行量化并且将已量化的变换系数数据(下文中，称为量化数据)输出给无损编码部分16和逆量化部分21。此外，量化部分15基于来自速率控制部分18的速率控制信号来切换量化参数(量化尺度)，从而改变要输入给无损编码部分16的量化数据的比特率。

无损编码部分16通过对从量化部分15输入的量化数据执行无损编码过程来生成编码流。由无损编码部分16进行的无损编码可以是例如可变长度编码或算术编码。此外，无损编码部分16将从选择器27输入的关于帧内预测的信息或关于帧间预测的信息多路复用到编码流的报头区域。然后，无损编码部分16将所生成的编码流输出给累积缓冲器17。

累积缓冲器17对从无损编码部分16输入的编码流进行暂时累积。然后，累积缓冲器17以按照传输路经的频带的速率将所累积的编码流输出给传输部分(未示出)(例如，通信接口或到外围设备的接口)。

速率控制部分18监视累积缓冲器17的空闲空间。然后，速率控制部分18根据累积缓冲器17上的空闲空间来生成速率控制信号，并且将所生成的速率控制信号输出给量化部分15。例如，当累积缓冲器17上没有太多空闲空间时，速率控制部分18生成用于降低量化数据的比特率的速率控制信号。另外，例如，当累积缓冲器17上的空闲空间足够大时，速率控制部分18生成用于增大量化数据的比特率的速率控制信号。

逆量化部分21对从量化部分15输入的量化数据执行逆量化过程。然后，逆量化部分21将通过逆量化过程而获取的变换系数数据输出给逆正交变换部分22。

逆正交变换部分22对从逆量化部分21输入的变换系数数据执行逆正交变换过程，从而恢复预测误差数据。然后，逆正交变换部分22将所恢复的预测误差数据输出给加法部分23。

加法部分23将从逆正交变换部分22输入的恢复的预测误差数据和从帧内预测部分30或运动估计部分40输入的预测图像数据相加，从而生成解码图像数据。然后，加法部分23将所生成的解码图像数据输出给去块效应滤波器24和帧存储器25。

去块效应滤波器24进行用于降低对图像进行编码时发生的块失真的滤波过程。去块效应滤波器24对从加法部分23输入的解码图像数据进行滤波以去除块失真，并且将滤波后的解码图像数据输出给帧存储器25。

帧存储器25利用存储介质存储从加法部分23输入的解码图像数据和从去块效应滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取要用于帧间预测的滤波后的解码图像数据，并且将已读取的解码图像数据作为参考图像数据提供给运动估计部分40。此外，选择器26从帧存储器25读取要用于帧内预测的滤波后的解码图像数据，并且将已读取的解码图像数据作为参考图像数据提供给帧内预测部分30。

在帧间预测模式中，选择器27将作为从运动估计部分40输出的帧间预测的结果的预测图像数据输出给减法部分13，并且将关于帧间预测的信息输出给无损编码部分16。在帧内预测模式中，选择器27将作为从帧内预测部分30输出的帧内预测的结果的预测图像数据输出给减法部分13，并且将关于帧内预测的信息输出给无损编码部分16。选择器27根据从帧内预测部分30或运动估计部分40输出的代价函数值的大小来在帧间预测模式和帧内预测模式之间切换。

帧内预测部分30基于从排序缓冲器12输入的要被编码的图像数据(原始图像数据)和从帧存储器25提供的作为参考图像数据的解码图像数据，来对设置在图像内的每个块进行帧内预测过程。然后，帧内预测部分30将包括指示最优预测模式的预测模式信息的帧内预测信息、代价函数值以及预测图像数据输出给选择器27。

运动估计部分40基于从排序缓冲器12输入的原始图像数据和经由选择器26提供的解码图像数据来进行用于帧间预测(帧之间的预测)的运动估计过程。通过对非专利文献2中所述的技术或非专利文献3中所述的技术进行扩展，来实现根据本实施方式的由运动估计部分40进行的运动估计过程。在上述非专利文献2中所述的技术的扩展中，运动估计部分40可以生成指示每个预测单元的最优预测器的预测器信息。在上述非专利文献3中所述的技术的扩展中，运动估计部分40可以生成指示每个预测单元的最优边缘(margin)模式的边缘信息。然后，运动估计部分40将预测器信息或边缘信息、包括运动向量信息和参考图像信息的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。在下一节中，将描述运动估计部分40的详细配置的4个示例。

图像编码装置10对要被进行可伸缩视频编码的图像的多个层中的每个重复进行此处描述的一系列编码过程。首先要编码的层是表示最粗糙图像的被称为基础层的层。可以在不用对其他层的编码流进行解码的情况下对基础层的编码流独立地进行解码。不同于基础层的各层是表示较精细图像的被称为增强层的层。将基础层的编码流中包含的信息用于增强层的编码流以提高编码效率。因此，为了再现增强层的图像，对基础层的编码流和增强层的编码流均进行解码。可伸缩视频编码中处理的层的个数可以是三个或更多个。这种情况下，最低层是基础层而剩余各层是增强层。对于较高的增强层的编码流，可以将较低增强层的编码流和基础层的编码流中包含的信息用于编码和解码。在本说明书中，具有依赖性的至少两个层中，被依赖侧的层被称为下层，而依赖侧的层被称为上层。

在由图像编码装置10进行的可伸缩视频编码中，各层之间的运动的相关被用于对帧间预测信息进行有效地编码。换句话说，在帧间预测块中，基于设置给下层的运动向量的设置信息来给上层设置运动向量。更具体地，图1中所示的运动估计部分40包括暂时存储下层中帧间预测期间获得的信息的缓冲器，并且使用缓冲器中存储的信息来给上层设置运动向量。各层之间的运动的相关尤其清晰地出现在基于空间可伸缩性或snr可伸缩性的可伸缩视频编码中。

图2是示出空间可伸缩性的示例的说明性视图。在图2中，示出了要进行可伸缩视频编码的三个层：l1、l2和l3。层l1是基础层，层l2和层l3是增强层。层l2与层l1的空间分辨率的比率为2：1。层l3与层l1的空间分辨率的比率为4：1。即使各分辨率如上所述地各不相同，出现在层l1中的预测单元b1中的运动也可能以相同的方式出现在层l2中的相应预测单元b2以及层l3中的相应预测单元b3中。这是空间可伸缩性的各层之间的运动的相关。

图3是示出snr可伸缩性的示例的说明性视图。在图3中，示出了要进行可伸缩视频编码的三个层：l1、l2和l3。层l1是基础层而层l2和层l3是增强层。层l1、层l2和层l3在空间可伸缩性上彼此相等。然而，作为示例，层l1的最小量化尺度是25并且可以通过正交变换系数的量化来将编码流的比特率控制在约2mbps。另一方面，例如，层l2的最小量化尺度为12并且编码流的比特率变为约5mbps。此外，例如，层l3的最小量化尺度为0并且编码流的比特率变为约10mbps。从而，即使比特率互不相同，出现在层l1的预测单元b1中的运动也可能以相同的方式出现在层l2的相应预测单元b2以及层l3的相应预测单元b3中。这就snr可伸缩性中各层之间的运动的相关。

根据本实施方式的图像编码装置10通过积极利用各层之间的这种运动的相关来对帧间预测信息进行编码。

然而，与上层的预测单元相对应的下层的预测单元可以是例如下层的中与上层的预测单元交叠(共享相同位置的像素)的预测单元中具有最大交叠(具有最大数量的共享像素)的预测单元。根据该定义，最可能出现运动相关的预测单元可以被确定为“相应预测单元”。

<2.运动估计部分的详细配置示例>

在本节中，将描述图1中所示的运动估计部分40的详细配置的四个示例。这四个示例中，第一示例和第二示例是关于上述非专利文献2中所述的技术的扩展的示例。另一方面，第三示例和第四示例是关于上述非专利文献3中所述的技术的扩展的示例。

[2.1第一示例]

图4是示出根据第一示例的运动估计部分40的详细配置的示例的框图。参考图4，运动估计部分40包括估计控制部分141、运动向量计算部分142、运动向量预测部分143、运动向量缓冲器144、模式选择部分145、信息生成部分146以及预测器信息缓冲器147。

(1)基础层

在基础层的运动估计过程中，估计控制部分141在编码单元中设置至少一个预测单元并且使得运动向量计算部分142针对每个预测单元计算运动向量。由运动向量计算部分142计算的运动向量被输出给运动向量预测部分143并且被存储在运动向量缓冲器144中。运动向量预测部分143根据多个预测器候选中的每个，利用存储于运动向量缓冲器144中的其他块的运动向量(称为参考运动向量)来生成预测运动向量。然后，运动向量预测部分143计算作为由运动向量计算部分142计算的运动向量与预测运动向量之间的差的差运动向量。模式选择部分145利用运动向量计算部分142计算的运动向量来生成预测图像数据，并且评估基于对所生成的预测图像数据和原始图像数据的比较而计算的代价函数值。然后，模式选择部分145选择使代价函数值最小的预测单元的最优布置和每个预测单元的最优预测器。信息生成部分146生成指示每个预测单元的最优预测器的预测器信息和包括指示差运动向量的差运动向量信息的帧间预测信息。例如，预测器信息可以包含标识参考运动向量的索引。预测器信息还可以包含标识预测公式的参数。然后，信息生成部分146将已生成的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。此外，由信息生成部分146生成的预测器信息被暂时存储在预测器信息缓冲器147中用于上层的过程。

图5和图6是示出对运动向量进行预测的预测器候选的示例的第一说明性视图。参考图5，示出了要被预测的一个预测单元pte和预测单元pte的预测运动向量pmve。可以通过利用例如与预测单元pte邻近的预测单元的运动向量mva、mvb、mvc作为参考运动向量来对预测单元pte的预测运动向量pmve来进行预测。参考运动向量mva是设置给与预测单元pte的左侧邻近的预测单元的运动向量。参考运动向量mvb是设置给与预测单元pte的上方邻近的预测单元的运动向量。参考运动向量mvc是设置给与预测单元pte的右上方邻近的预测单元的运动向量。利用这些参考运动向量mva、mvb、mvc，根据以下预测公式来生成预测运动向量pmve。

[数学式1]

pmve＝med(mva，mvb，mvc)(1)

公式(1)是基于运动的空间相关的预测公式。公式(1)中的med表示中值操作。即，根据公式(1)，预测运动向量pmve是以参考运动向量mva、mvb和mvc的水平分量的中值和垂直分量的中值作为分量的向量。根据公式(1)生成的预测运动向量pmve是预测器候选的示例。根据基于运动的空间相关的该预测公式计算的预测运动向量被称为空间预测器。

顺便提及，公式(1)只是预测公式的示例。例如当因为要预测的预测单元位于图像的边缘处而不存在运动向量mva、mvb和mvc中之一时，可以从中值运算的自变量中省略不存在的向量。此外，如以下所示的公式(2)至公式(4)，可以将更简单的空间预测器用作预测器候选。

[数学式2]

pmve＝mva(2)

pmve＝mvb(3)

pmve＝mvc(4)

另一方面，也可以将作为根据基于运动的时间相关的预测公式计算的预测运动向量的时间预测器用作预测器候选。参考图6，示出了包含要被预测的预测单元pte的图像im01以及参考图像im02。参考图像im02中的块bcol是预测单元pte的同位(collocated)块。利用运动的时间相关的预测公式使用例如设置给同位块bcol或与同位块bcol邻近的块的运动向量作为参考运动向量。

例如，将设置给同位块bcol的运动向量设置为mvcol。另外，将设置给同位块bcol的上方、左侧、下方、右侧、左上方、左下方、右下方以及右上方的块的运动向量分别设置为mvt0至mvt7。然后，可以通过利用以下所示的预测公式(5)或预测公式(6)，根据参考运动向量mvcol和mvt0至mvt7来生成预测运动向量pmve。

[数学式3]

pmve＝med(mvcol，mvto，…，mvt3)(5)

pmve＝med(mvcol,mvto,...,mvt7)(6)

在为多个预测器候选中的每个生成预测运动向量pmve之后，如以下公式所示，运动向量预测部分143计算表示由运动向量计算部分142计算的运动向量mve与预测运动向量pmve之间的差的差运动向量mvde。

[数学式4]

mvde＝mve-pmve(7)

然后，由模式选择部分145针对每个预测单元选择最优预测器(例如，具有最高预测准确度的预测器)，并且由信息生成部分146生成指示最优预测器的预测器信息和指示对应差运动向量的差运动向量信息。可以针对不对其运动向量进行预测的预测单元生成由运动向量计算部分142计算的指示运动向量的运动向量信息，而不是差运动向量信息。以这种方式生成的信息可以被无损编码部分16编码为帧间预测信息。预测器信息被暂时存储于预测器信息缓冲器147中以用于上层中的过程。

(2)增强层

在增强层的运动估计过程中，进行基于预测器信息缓冲器147中存储的下层的预测器信息的运动向量预测。

首先，估计控制部分141使得运动向量计算部分142计算布置在编码单元中的每个预测单元的运动向量。然后，估计控制部分141使得运动向量预测部分143针对每个预测单元生成预测运动向量。由运动向量预测部分143利用存储在预测器信息缓冲器147中的作为设置信息的预测器信息生成增强层中的预测运动向量。更具体地，例如，当下层中与上层中的某预测单元相对应的预测单元的预测器信息示出如公式(1)所示的空间预测器时，运动向量预测部分143从运动向量缓冲器144获取上层中的邻近预测单元的参考运动向量。然后，运动向量预测部分143将所获取的参考运动向量代入公式(1)来生成预测运动向量。例如当下层中与上层中的某预测单元相对应的预测单元的预测器信息指示如公式(5)所示的时间预测器时，运动向量预测部分143从运动向量缓冲器144获取参考图像中的同位块的参考运动向量和同位块的邻近块的参考运动向量。然后，运动向量预测部分143将所获取的参考运动向量代入公式(5)以生成预测运动向量。此外，运动向量预测部分143计算表示预测运动向量和由运动向量计算部分142计算的运动向量之间的差的差运动向量。模式选择部分145利用由运动向量计算部分142计算的运动向量来生成预测图像数据，并计算代价函数值。信息生成部分146生成指示针对每个预测单元计算的差运动向量的差运动向量信息。然后，信息生成部分146将包括差运动向量信息的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。

(3)过程的流程

图7是示出由根据本示例的运动估计部分40进行的运动估计过程的流程示例的流程图。参考图7，运动估计部分40首先进行基础层的运动估计过程(步骤s110)。从而，决定每个编码单元中的预测单元的布置并且选择每个预测单元的最优预测器。预测器信息缓冲器147缓冲指示每个预测单元的最优预测器的预测器信息作为设置信息。

步骤s111至步骤s117的过程是增强层的运动估计过程。针对每个增强层的每个预测单元(下文中，称为关注pu)重复这些过程中的步骤s111至步骤s116的过程。在以下的描述中，“上层”为要预测的层，而“下层”为低于要预测的层的层。

首先，运动向量计算部分142基于原始图像的像素值和从帧存储器25输入的参考图像的像素值来计算一个关注pu的运动向量(s111)。然后，运动向量计算部分142将所计算的运动向量输出给运动向量预测部分143和运动向量缓冲器144。

接下来，运动向量预测部分143利用预测器信息缓冲器147中存储的下层中的相应pu的预测器信息和根据所述预测器信息获取的参考运动向量来生成关注pu的预测运动向量(步骤s112)。接下来，运动向量预测部分143通过从运动向量中减去预测运动向量来计算差运动向量(步骤s113)。然后，运动向量预测部分143将关注pu的运动向量和差运动向量输出给模式选择部分145。

接下来，模式选择部分145生成关注pu的预测图像数据和代价函数值(步骤s114)。信息生成部分146生成指示关于关注pu的差运动向量的差运动向量信息(步骤s115)。

然后，如果在要预测的层中剩余任何未处理的pu，过程返回至步骤s111(步骤s116)。另一方面，如果没有剩余未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s117)。如果存在剩余的层，在重复步骤s111中及其后的过程之前，将已预测的层设置为下层，而将下一层设置为上层。指示针对下层选择的预测器的预测器信息继续由预测器信息缓冲器147缓冲。如果不存在剩余的层，则图7中的运动估计过程结束。这里生成的预测图像数据和帧间预测信息(可以包括差运动向量信息)经由选择器27被输出给减法部分13和无损编码部分16。

因而，在第一示例中，不对作为上层的帧间预测信息的预测器信息进行编码，而对下层的预测器信息进行再使用，因此可以减小帧间预测信息的代码量。

[2-2.第二示例]

图8是示出根据第二示例的运动估计部分40的详细配置的示例的框图。参考图8，运动估计部分40包括估计控制部分241、运动向量计算部分242、运动向量预测部分243、运动向量缓冲器244、模式选择部分245以及信息生成部分246。

(1)基础层

根据本示例的基础层的运动估计过程可以与根据第一示例的基础层的运动估计过程相同。然而，在本示例中，可以不对基础层的预测器信息进行缓冲而延伸各层对基础层的运动向量信息进行缓冲。在基础层的运动估计过程中，估计控制部分241在编码单元中设置至少一个预测单元并且使得运动向量计算部分242计算每个预测单元的运动向量。运动向量计算部分242所计算的运动向量被输出给运动向量预测部分243并且被存储于运动向量缓冲器244中。运动向量预测部分243根据多个预测候选中的每个，利用运动向量缓冲器244中存储的参考运动向量来生成预测运动向量。然后，运动向量预测部分243计算作为预测运动向量和由运动向量计算部分242计算的运动向量之间的差的差运动向量。模式选择部分245利用由运动向量计算部分242计算的运动向量来生成预测图像数据并且基于所生成的预测图像数据与原始图像数据的比较来评估代价函数值。然后，模式选择部分245选择使代价函数值最小的预测单元的最优布置和每个预测单元的最优预测器。信息生成部分246生成指示每个预测单元的最优预测器的预测器信息以及包括指示差运动向量的差运动向量信息的帧间预测信息。然后，信息生成部分246将已生成的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。

(2)增强层

根据本示例的基础层的运动估计过程中所估计的预测器候选可以包含前述空间预测器和时间预测器中的一个或两个。而且，根据本示例的增强层的运动估计过程中引入了附加预测器候选。这里所介绍的预测器候选是利用设置给下层的相应预测单元的运动向量作为参考运动向量的预测器候选。本文将这种预测器称为层间预测器。

图9是示出层间预测器的示例的示例性视图。参考图9，示出了作为上层的层l12中的预测单元pte和预测单元pte的预测运动向量pmve。作为下层的层l11中的预测单元ptbase是与预测单元pte相对应的预测单元。参考运动向量mvbase是设置给预测单元ptbase的运动向量。可以由例如以下公式(8)来表示层间预测器。

[数学式5]

pmve＝mvbase(8)

当下层的空间分辨率和上层的空间分辨率不同时，可以将如以下公式所示按照下层和上层之间的空间分辨率的比率n扩大的运动向量用作层间预测器。在这种情况下，层间预测器的竖直分量的值和水平分量的值被进行舍入以使得与上层的运动向量的准确度(例如，1/4像素准确度等)一致。

[数学式6]

pmve＝n·mvbase(9)

在本示例中，与第一示例对比，最优预测器也选自增强层的运动估计过程中的多个预测器候选。

首先，估计控制部分241使得运动向量计算部分242计算编码单元中的每个预测单元的运动向量。将运动向量计算部分242所计算的运动向量输出给运动向量预测部分243并且存储于运动向量缓冲器244中。在运动向量缓冲器244中，也存储针对下层的预测单元中的每个计算的运动向量(参考运动向量)。运动向量预测部分243根据多个预测器候选中的每个，利用运动向量缓冲器244中存储的参考运动向量来生成预测运动向量。这里的多个预测器候选包含前述层间预测器。然后，运动向量预测部分243计算作为预测运动向量和运动向量计算部分242所计算的运动向量之间的差的差运动向量。模式选择部分245利用运动向量计算部分242计算的运动向量来生成预测图像数据并且基于所生成的预测图像数据与原始图像数据的比较来评估代价函数值。然后，模式选择部分245选择每个预测单元的最优预测器。信息生成部分246生成指示每个预测单元的最优预测器的预测器信息以及包括指示差运动向量的差运动向量信息的帧间预测信息。当前述层间预测器被选为最优预测器时，预测器信息可以包含标识下层的参考运动向量的索引。然后，信息生成部分246将已生成的帧间预测信息、代价函数值和预测图像数据输出给选择器27。

(3)过程的流程

图10是示出根据本示例的运动估计部分40进行的运动估计过程的流程示例的流程图。参考图10，运动估计部分40首先进行基础层的运动估计过程(步骤s120)。从而，决定每个编码单元中的预测单元的布置以及选择每个预测单元的最优预测器。运动向量缓冲器244缓冲针对每个预测单元计算的运动向量。

步骤121至步骤127中的过程是增强层的运动估计过程。对每个增强层的每个关注pu重复进行这些过程中的步骤121至步骤126的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

首先，运动向量计算部分242基于原始图像的像素值和从帧存储器25输入的参考图像的像素值来计算上层的一个关注pu的运动向量(步骤s121)。然后，运动向量计算部分242将所计算的运动向量输出给运动向量预测部分243和运动向量缓冲器244。

接下来，运动向量预测部分243根据多个预测器候选中的每个，利用运动向量缓冲器244中存储的参考运动向量来生成关注pu的预测运动向量(步骤s122)。这里的多个预测器候选包含层间预测器。接下来，运动向量预测部分243针对多个预测器候选的每个计算差运动向量(步骤s123)。然后，运动向量预测部分243将每个预测器候选的运动向量和差运动向量输出给模式选择部分245。

接下来，模式选择部分245针对每个预测器候选生成预测图像数据并且评估代价函数值以选择最优预测器(步骤s124)。然后，信息生成部分246生成指示所选择的最优预测器的预测器信息以及指示相应差运动向量的差运动向量信息(步骤s125)。

然后，如果在要预测的层中剩余任何尚未处理的pu，则过程返回至步骤s121(步骤s126)。另一方面，如果没有剩余尚未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s127)，如果存在剩余的层，则在将已预测的层设置为下层并且将下一层为上层之后重复步骤s121及其后的过程。由运动向量缓冲器244缓冲针对下层的每个关注pu计算的运动向量。如果不存在剩余的层，则图10中的运动估计过程结束。将这里生成的预测图像数据和帧间预测信息(可以包含预测器信息和差运动向量信息)经由选择器27分别输出给减法部分13和无损编码部分16。

在第二示例中，如上所述，可以对下述预测器信息进行编码：其指示应该将基于设置给下层的运动向量的层间预测器用作上层的帧间预测信息。从而，基于具有清楚的运动相关的下层的相应预测单元的运动向量预测成为可能。因此，可以减少增加的预测运动向量结果的准确度和差运动向量的代码量。

顺便提及，对预测器信息进行编码的无损编码部分16可以在对上层的预测器信息进行编码时将最小的码编号分配给多个预测器候选中的层间预测器。通常，各层之间的运动的相关强于运动的空间相关或时间相关。因而，通过将最小的码编号分配给层间预测器，可以在可变长度编码后的编码流中更加频繁地使用较短的码字，以使得进一步减小代码量。

[2-3.第三示例]

图11是示出根据第三示例的运动估计部分40的详细配置的示例的框图。参考图11，运动估计部分40包括估计控制部分341、运动向量计算部分342、运动向量缓冲器344、模式选择部分345、信息生成部分346以及合并信息缓冲器347。

(1)基础层

在基础层的运动估计过程中，估计控制部分341在编码单元中布置至少一个预测单元并且使得运动向量计算部分342针对每个预测单元计算运动向量。运动向量计算部分342计算的运动向量被输出给模式选择部分345并且存储于运动向量缓冲器344中。如果运动向量计算部分342针对某预测单元计算的运动向量与设置给至少一个邻近预测单元的参考运动向量相同时，模式选择部分345决定合并这些预测单元。根据上述非专利文献3中提出的技术，可以将某预测单元与上方邻近的预测单元或左侧邻近的预测单元合并。即，模式选择部分345例如可以选择下列之一作为合并模式：与上方邻近预测单元合并、与左侧邻近预测单元合并以及不合并。此外，模式选择部分345针对每个预测单元生成预测图像数据并且基于所生成的预测图像数据与原始图像数据的比较来计算代价函数值。信息生成部分346生成针对每个预测单元指示合并模式的合并信息以及包含未与其他预测单元合并的预测单元的运动向量信息的帧间预测信息。然后，信息生成部分346将已生成的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。

本示例中生成的合并信息可以包含“合并标志(mergeflag)”和“合并左标志(mergeleftflag)”。合并标志是指示关注pu的运动向量是否与至少一个邻近pu的运动向量相同的标志。例如当合并标志＝1时，关注pu的运动向量与至少一个邻近pu的运动向量相同。当合并标志＝0时，关注pu的运动向量与任何邻近pu的运动向量都不同。当合并标志＝0时，不对合并左标志进行编码，而是对关注pu的运动向量(以及参考图像信息的运动信息等)进行编码。当合并标志＝1并且两个邻近pu具有相同的运动向量时，可以不对合并左标志进行编码。

合并左标志是指示关注pu的运动向量是否与左邻近pu的运动向量相同的标志。例如当合并左标志＝1时，关注pu的运动向量与左邻近pu的运动向量相同。当合并左标志＝0时，关注pu的运动向量与左邻近pu的运动向量不同并且与上方邻近pu的运动向量相同。

图12a至图12c分别示出本示例中生成的合并信息的示例。在这三个图中，示出了层l21中作为关注pu的预测单元b20。预测单元b21和预测单元b22分别作为与预测单元b20邻近的左预测单元和上预测单元。运动向量mv20是运动向量计算部分342针对预测单元b20计算的运动向量。运动向量mv21和mv22是分别设置给预测单元b21和b22的参考运动向量。

在图12a的示例中，运动向量mv20与参考运动向量mv21和mv22二者相同。这种情况下，信息生成部分346生成合并标志＝1作为合并信息。合并信息中不包括合并左标志。接收到这种合并信息的解码侧可以将与设置给预测单元b21或b22的运动向量相同的运动向量设置给预测单元b20，而不对合并左标志进行解码。

在图12b的示例中，运动向量mv20与参考运动向量mv21相同而与参考运动向量mv22不同。这种情况下，信息生成部分346生成合并标志＝1以及合并左标志＝1作为合并信息。接收到这种合并信息的解码侧可以将与设置给预测单元b21的运动向量相同的运动向量设置给预测单元b20。

在图12c的示例中，运动向量mv20与参考运动向量mv22相同而与参考运动向量mv21不同。这种情况下，信息生成部分346生成合并标志＝1以及合并左标志＝0作为合并信息。接收到这种合并信息的解码侧可以将与设置给预测单元b22的运动向量相同的运动向量设置给预测单元b20。

(2)增强层

在增强层的运动估计过程中，利用合并信息缓冲器347中存储的下层的合并信息来给每个预测单元设置运动向量。

首先，估计控制部分341从合并信息缓冲器347获取下层中与下层的编码单元中的每个预测单元相对应的预测单元的合并信息。然后，如果所获取的合并信息指示无合并(例如，合并标志＝0)，则估计控制部分341使得运动向量计算部分342计算上层的相关预测单元的运动向量。运动向量计算部分342所计算的运动向量被输出给模式选择部分345并且存储于运动向量缓冲器344中。另一方面，如果所获取的合并信息指示与另一预测单元合并，则估计控制部分341不使运动向量计算部分342计算上层的相关预测单元的运动向量。而是，模式选择部分345利用从运动向量缓冲器344获取的运动向量(例如，如果合并左标志＝1，则预测单元的运动向量在要合并的预测单元的左侧邻近)针对要与另一预测单元合并的预测单元生成预测图像数据，并计算代价函数值。另一方面，对于不要与另一预测单元合并的预测单元，模式选择部分345利用从运动向量计算部分342输入的运动向量来生成预测图像数据，并计算代价函数值。信息生成部分346生成包括不要与另一预测单元合并的预测单元的运动向量信息的帧间预测信息。然后，信息生成部分346将已经生成的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。

(3)过程的流程

图13是示出根据本示例的运动估计部分40进行的运动估计过程的流程示例的流程图。参考图13，运动估计部分40首先进行基础层的运动估计过程(步骤s130)。从而，决定每个编码单元中的预测单元的布置并且针对每个预测单元选择合并模式。运动向量缓冲器344缓冲针对每个预测单元计算的运动向量。合并信息缓冲器347缓冲指示针对每个预测单元选择的合并模式的合并信息作为设置信息。

步骤s131至步骤s136中的过程是增强层的运动估计过程。对每个增强层的每个关注pu重复这些过程中的步骤s131至步骤s135的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

首先，估计控制部分341通过参考合并信息缓冲器347中存储的合并信息，关于上层的一个关注pu，确定下层的相应pu是否与另一pu合并(步骤s131)。如果下层的相应pu与另一pu合并，则关注pu也与另一pu进行合并，从而跳过步骤s132中的后续过程。

在步骤s132中，运动向量计算部分342基于原始图像的像素值和从帧存储器25输入的参考图像的像素值来计算不与另一pu合并的关注pu的运动向量(步骤s132)。然后，运动向量计算部分342将所计算的运动向量输出给模式选择部分345和运动向量缓冲器344。

接下来，模式选择部分345利用运动向量计算部分342计算的运动向量或从运动向量缓冲器344获取的运动向量来生成预测图像数据，并计算代价函数值(步骤s133)。然后，信息生成部分346生成不与另一pu合并的关注pu的运动向量信息(步骤s134)。

然后，如果要预测的层中剩余任何未处理的pu，则过程返回至步骤s131(步骤s135)。另一方面，如果没有剩余未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s136)，如果存在剩余的层，则在将已预测的层设置为下层并将下一层设置为上层之后重复步骤s131及其后的过程。由运动向量缓冲器344缓冲针对下层的每个关注pu计算的运动向量。合并信息继续由合并信息缓冲器347缓冲。如果不存在剩余的层，则图13中的运动估计过程结束。这里生成的预测图像数据和帧间预测信息经由选择器27分别输出给减法部分13和无损编码部分16。

因而，在第三示例中，不对作为上层的帧间预测信息的合并信息进行编码并且对下层的合并信息进行再使用，因此可以减小帧间预测信息的代码量。

[2-4.第四示例]

图14是示出根据第四示例的运动估计部分40的详细配置的示例的框图。参考图14，运动估计部分40包括估计控制部分441、运动向量计算部分442、运动向量缓冲器444、模式选择部分445以及信息生成部分446。

(1)基础层

根据本示例的基础层的运动估计过程可以与根据第三示例的基础层的运动估计过程相同。然而，在本示例中，可以不缓冲基础层的合并信息。在基础层的运动估计过程中，估计控制部分441在编码单元中布置至少一个预测单元，并且使得运动向量计算部分442针对每个预测单元计算运动向量。由运动向量计算部分442计算的运动向量被输出给模式选择部分445并且存储于运动向量缓冲器444中。如果运动向量计算部分442针对某预测单元计算的运动向量与设置给至少一个邻近预测单元的参考运动向量相同，则模式选择部分445决定合并这些预测单元。模式选择部分445针对每个预测单元生成预测图像数据并且基于所生成的预测图像数据与原始图像数据的比较来计算代价函数值。信息生成部分346生成指示每个预测单元的合并模式的合并信息以及包含不与其他预测单元合并的预测单元的运动向量信息的帧间预测信息。然后，信息生成部分346将已生成的帧间预测信息、代价函数值以及预测图像数据输出给选择器27。

(2)增强层

根据本示例的基础层的运动估计过程中生成的合并信息可以包含如第三示例中两个标志：“合并标志”和“合并左标志”。相比之下，增强层的运动估计过程中生成的合并信息可以另外包含新的标志“合并基础标志(mergebaseflag)”。合并基础标志是指示关注pu的运动向量是否与下层的相应pu的运动向量相同。例如当合并基础标志＝1时，关注pu的运动向量与下层的相应pu的运动向量相同。

图15a至图15c分别示出本示例中生成的合并信息的示例。在这三个图中，示出作为层l30中的关注pu的预测单元b30。预测单元b31和预测单元b32分别作为与预测单元b30邻近的左预测单元和上预测单元。运动向量mv30是运动向量计算部分442针对预测单元b30计算的运动向量。运动向量mv31和运动向量mv32分别是设置给预测单元b31和预测单元b32的参考运动向量。还示出了作为与下层l21中的关注pu相对应的pu的预测单元b20。运动向量mv20是预测单元b20中缓冲的参考运动向量。

在图15a的示例中，运动向量mv30与参考运动向量mv31、mv32以及mv20都相同。这种情况下，信息生成部分446生成合并标志＝1作为合并信息。该合并信息中不包括合并基础标志和合并左标志。接收到这种合并信息的解码侧可以将与设置给预测单元b20、b31或b32的运动向量相同的运动向量设置给预测单元b30而不对合并基础标志和合并左标志进行解码。

在图15b的示例中，运动向量mv30与参考运动向量mv20相同而与参考运动向量mv31和mv32不同。这种情况下，信息生成部分446生成合并标志＝1以及合并基础标志＝1作为合并信息。接收到这种合并信息的解码侧可以将与设置给下层l21中的预测单元b20的运动向量相同的运动向量设置给上层l30中的预测单元b30。

在图15c的示例中，运动向量mv30与参考运动向量mv31相同而与参考运动向量mv20和mv32不同。这种情况下，信息生成部分446生成合并标志＝1、合并基础标志＝0以及合并左标志＝1作为合并信息。接收到这种合并信息的解码侧可以将与设置给预测单元b31的运动向量相同的运动向量设置给预测单元b30。

在增强层的运动估计过程中，估计控制部分441使得运动向量计算部分442针对编码单元中的每个预测单元计算运动向量。运动向量计算部分442所计算的运动向量被输出给模式选择部分445并且存储于运动向量缓冲器444中。在运动向量缓冲器444中，也存储针对下层的每个预测单元计算的运动向量(参考运动向量)。如果运动向量计算部分442针对某预测单元计算的运动向量与设置给邻近预测单元或下层中的相应预测单元的参考运动向量相同，则模式选择部分445决定合并这些预测单元。即，模式选择部分445可以选择例如以下之一作为合并模式：与下层合并、与上邻近预测单元合并、与左邻近预测单元合并以及不合并。此外，模式选择部分445针对每个预测单元生成预测图像数据并基于所生成的预测图像数据与原始图像数据的比较来计算代价函数值。信息生成部分346生成指示每个预测单元的合并模式的合并信息以及包含不与其他预测单元合并的预测单元的运动向量信息的帧间预测信息。然后，信息生成部分346将已生成的帧间预测信息、代价函数值和预测图像数据输出给选择器27。

(3)过程的流程

图16是示出根据本示例的运动估计部分40进行的运动估计过程的流程示例的流程图。参考图16，运动估计部分40首先进行基础层的运动估计过程(步骤s140)。从而，决定每个编码单元中的预测单元的布置并且针对每个预测单元选择合并模式。运动向量缓冲器444缓冲针对每个预测单元计算的运动向量。

步骤s141至步骤s146的过程是增强层的运动估计过程。对每个增强层的每个关注pu重复这些过程中的步骤s141至步骤s145的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

首先，运动向量计算部分442基于原始图像的像素值和从帧存储器25输入的参考图像的像素值来计算上层的一个关注pu的运动向量(步骤s141)。然后，运动向量计算部分442将所计算的运动向量输出给模式选择部分445和运动向量缓冲器444。

接下来，模式选择部分445通过比较由运动向量计算部分442计算的运动向量和运动向量缓冲器444中存储的参考运动向量来选择合并模式(步骤s142)。如果例如针对关注pu计算的运动向量与针对下层中的相应pu而缓冲的参考运动向量相同，则可以选择与下层合并。

接下来，模式选择部分445利用关注pu的运动向量来生成预测图像数据，并计算代价函数值(步骤s144)。然后，信息生成部分446生成包括关注pu的合并信息的设置信息(以及不与另一pu合并的关注pu的特征向量信息)(步骤s144)。

然后，如果要预测的层中剩余任何尚未处理的pu，则过程返回至步骤s141(步骤s145)。另一方面，如果没有剩余尚未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s146)，如果存在剩余的层，则在将已预测的层设置为下层并将下一层设置为上层之后重复步骤s141及其后的过程。由运动向量缓冲器444缓冲针对下层的每个关注pu计算的运动向量。如果不存在剩余的层，则16图中的运动估计过程结束。这里生成的预测图像数据和帧间预测信息经由选择器27分别输出给减法部分13和无损编码部分16。

因而，在第四示例中，作为上层的帧间预测信息，可以对指示关注pu与下层中的相应pu(被设置了相同的运动向量)合并的合并信息进行编码。因此，预测单元与具有清楚的运动相关的下层的合并成为可能并且不对上层中要合并的预测单元的运动向量进行编码，从而可以有效减少代码量。

<3.图像解码装置的配置示例>

图17是示出根据本实施方式的图像解码装置60的配置示例的框图。参考图17，图像解码装置60包括累积缓冲器61、无损解码部分62、逆量化部分63、逆正交变换部分64、加法部分65、去块效应滤波器66、排序缓冲器67、d/a(数字到模拟)转换部分68、帧存储器69、选择器70和选择器71、帧内预测部分80以及运动补偿部分90。

累积缓冲器61暂时地存储经由传输线输入的编码流。

无损解码部分62根据编码时使用的编码方法对从累积缓冲器61输入的编码流进行解码。此外，无损解码部分62对被多路复用到编码流的报头区域的信息进行解码。被多路复用到编码流的报头区域的信息可以包括例如上述帧间预测信息和帧内预测信息。无损解码部分62将帧间预测信息输出给运动补偿部分90。另外，无损解码部分62将帧内预测信息输出给帧内预测部分80。

逆量化部分63对已由无损解码部分62解码的量化数据进行逆量化。逆正交变换部分64根据编码时使用的正交变换方法对从逆量化部分63输入的变换系数数据进行逆正交变换来生成预测误差数据。然后，逆正交变换部分64将所生成的预测误差数据输出给加法部分65。

加法部分65将从逆正交变化部分64输入的预测误差数据与从选择器71输入的预测图像数据相加，从而生成解码图像数据。然后，加法部分65将所生成的解码图像数据输出给去块效应滤波器66和帧存储器69。

去块效应滤波器66通过对从加法部分65输入的解码图像数据进行滤波来去除块失真，并且将滤波后的解码图像数据输出给排序缓冲器67和帧存储器69。

排序缓冲器67通过对从去块效应滤波器66输入的图像进行排序来生成时间顺序的一系列图像数据。然后，排序缓冲器67将所生成的图像数据输出给d/a转换部分68。

d/a转换部分68将从排序缓冲器67输入的数字格式的图像数据转换为模拟格式的图像信号。然后，d/a转换部分68例如通过将模拟图像信号输出给连接至图像解码装置60的显示器(未示出)来使图像被显示。

帧存储器69利用存储介质存储从加法部分65输入的滤波前的解码图像数据和从去块效应滤波器66输入的滤波后的解码图像数据。

选择器70根据无损解码部分62获取的模式信息针对图像中的每个块在帧内预测部分80和运动补偿部分90之间切换来自帧存储器69的图像数据的输出目的地。例如当指定了帧内预测模式时，选择器70将从帧存储器69提供的滤波前的解码图像数据作为参考图像数据输出给帧内预测部分80。当指定了帧间预测模式时，选择器70将从帧存储器69提供的滤波后的解码图像数据作为参考图像数据输出给运动补偿部分90。

选择器71根据由无损解码部分62获取的模式信息在帧内预测部分80和运动补偿部分90之间切换要提供给加法部分65的预测图像数据的输出源。例如当指定了帧内预测模式时，选择器71将从帧内预测部分80输出的预测图像数据提供给加法部分65。当指定了帧间预测模式时，选择器71将从运动补偿部分90输出的预测图像数据提供给加法部分65。

帧内预测部分80基于从无损解码部分62输入的帧内预测信息和来自帧存储器69的参考图像数据进行帧内预测过程以生成预测图像数据。然后，帧内预测部分80将所生成的预测图像数据输出给选择器71。

运动补偿部分90基于从无损解码部分62输入的帧间预测信息和来自帧存储器69的参考图像数据进行运动补偿过程以生成预测图像数据。通过对非专利文献2中所述的技术和非专利文献3中所述的技术进行扩展来实现由根据本实施方式的运动补偿部分90进行的运动补偿过程。然后，运动补偿部分90将作为运动补偿过程的结果而生成的预测图像数据输出给选择器71。在下一节中，将对运动补偿部分90的详细配置的四个示例进行描述。

图像解码装置60针对可伸缩视频编码图像的多个层中的每个重复这里所描述的一系列解码过程。首先要解码的层是基础层。在对基础层进行解码后，对一个或更多个增强层进行解码。当对增强层进行解码时，使用通过对基础层或作为其他增强层的更低的层进行解码而获得的信息。

在由图像解码装置60进行的可伸缩视频解码中，利用关于设置给下层中的相应预测单元的运动向量的设置信息给上层中的某预测单元设置运动向量。该设置信息例如可以包含前述预测器信息、合并信息或运动向量信息。

<4.运动补偿部分的详细配置示例>

在本节中，将对图17中所示的运动补偿部分90的详细配置的四个示例进行描述。这四个示例分别对应于前述图像编码装置10的运动估计部分40的四个示例。第一示例和第二示例是关于上述非专利文献2中所述的技术的扩展的示例。另一方面，第三示例和第四示例是关于上述非专利文献3中所述的技术的扩展的示例。

[4-1.第一示例]

图18是示出根据第一示例的运动补偿部分90的详细配置的示例的框图。参考图18，运动补偿部分90包括信息获取部分191、运动向量设置部分192、预测器信息缓冲器193、运动向量缓冲器194以及补偿部分195。

(1)基础层

在基础层的运动补偿过程中，信息获取部分191获取由无损解码部分62根据编码流而解码的帧间预测信息。在本示例中，帧间预测信息可以包含预测器信息和差运动向量信息(不对其运动向量进行预测的预测单元的运动向量信息)。这里获取的预测器信息例如指示前述多个预测器候选中针对用于编码的每个预测单元选择的预测器。运动向量设置部分192给每个预测单元设置运动向量。然后，由运动向量设置部分192设置给每个预测单元的运动向量被输出给补偿部分195并且存储在运动向量缓冲器194中。另外，每个预测单元的预测器信息被暂时存储在预测器信息缓冲器193中用于上层的过程。运动向量设置单元192可以通过使用每个预测单元的预测器信息所示的预测器以及差运动向量信息所示的差运动向量来进行运动向量的设置。例如，当某预测单元的预测器信息指示公式(1)中所示的空间预测器时，运动向量设置部分192从运动向量缓冲器194获取与该预测单元邻近的各预测单元的参考运动向量。然后，运动向量设置部分192将所获取的参考运动向量代入公式(1)以生成预测运动向量。此外，运动向量设置部分192通过将差运动向量与所生成的预测运动向量相加来重建运动向量。以这种方式重建的运动向量被设置给每个预测单元。补偿部分195利用运动向量设置部分192设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分195经由选择器71将所生成的预测图像数据输出给加法部分65。

(2)增强层

在增强层的运动补偿过程中，基于预测器信息缓冲器193中存储的下层的预测器信息来进行运动向量的预测。

首先，信息获取部分191获取无损解码部分62根据编码流解码的帧间预测信息。在本示例中，增强层的帧间预测信息可以包含差运动向量信息(不对其运动向量进行预测的预测单元的运动向量信息)。此外，作为给下层中的每个预测单元设置运动向量的设置信息，信息获取部分191从预测器信息缓冲器193获取指示用于预测下层中的相应预测单元的运动向量的预测器的预测器信息。这里获取的预测器信息指示例如前述空间预测器和时间预测器之一。运动向量设置部分192利用信息获取部分191所获取的预测器信息和差运动向量信息来重建运动向量并且将所重建的运动向量设置给每个预测单元。由运动向量设置部分192设置给每个预测单元的运动向量被输出给补偿部分195并且存储于运动向量缓冲器194中。补偿部分195利用由运动向量设置部分192设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分195将所生成的预测图像数据经由选择器71输出给加法部分65。

(3)过程的流程

图19是示出根据本示例的运动补偿部分90进行的运动补偿过程的流程示例的流程图。参考图19，运动补偿部分90首先进行基础层的运动补偿过程(步骤s210)。此时，预测器信息缓冲器193缓冲指示针对每个预测单元的编码选择的预测器的预测器信息作为设置信息。

步骤s211至步骤s218的过程是增强层的运动补偿过程。针对每个增强层的每个关注pu重复这些过程中的步骤s211至步骤s217的过程。在以下描述中，“上层”是要预测的层，而“下层”是低于要预测的层的层。

首先，信息获取部分191设置上层的一个pu作为关注pu并且从预测器信息缓冲器193获取下层中与该关注pu相对应的pu的预测器信息(步骤s211)。信息获取部分191还获取关于关注pu的差运动向量信息(步骤s212)。运动向量设置部分192对差运动向量信息进行解码(步骤s213)。

接下来，运动向量设置部分192利用参考运动向量和信息获取部分191获取的预测器信息来生成关注pu的预测运动向量(步骤s214)。接下来，运动向量设置部分192通过将差运动向量与所生成的预测运动向量相加来重建运动向量(步骤s215)。以这种方式重建的运动向量被设置给关注pu。此外，重建的运动向量被暂时存储在运动向量缓冲器194中以用于上层中的过程。对于不对其运动向量进行预测的预测单元，可以从编码流获取运动向量信息而不是差运动向量信息来根据运动向量信息中对运动向量进行解码。

接下来，补偿部分195利用运动向量设置部分192设置给每个关注pu的运动向量和从帧存储器69输入的参考图像数据来生成关注pu的预测图像数据(步骤s216)。

然后，如果要预测的层中剩余任何尚未处理的pu，则过程返回至步骤s211(步骤s217)。另一方面，如果没有剩余尚未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s218)。如果存在剩余的层，则在重复步骤s211及其后的过程之前将已预测的层设置为下层并且将下一层设置为上层。继续由预测器信息缓冲器193缓冲指示针对下层选择的预测器的预测器信息。如果不存在剩余的层，则图19中的运动补偿过程结束。这里生成的预测图像数据经由选择器71输出给加法部分65。

在第一示例中，如上所述，将下层的预测器信息进行再使用以用于上层的解码，从而不需要针对上层的预测器信息进行冗余地编码。因此可以减少帧间预测信息的代码量。

[4-2.第二示例]

图20是示出根据第二示例的运动补偿部分90的详细配置的示例的框图。参考图20，运动补偿部分90包括信息获取部分291、运动向量设置部分292、运动向量缓冲器294以及补偿部分295。

(1)基础层

根据本示例的基础层的运动补偿过程可以与根据第一示例的基础层的运动补偿过程相同。然而，在本示例中，可以不对基础层的预测器信息进行缓冲而延伸各层对基础层的运动向量信息进行缓冲。在基础层的运动补偿过程中，信息获取部分291获取无损解码部分62根据编码流解码的帧间预测信息。在本示例中，帧间预测信息可以包含预测器信息和差运动向量信息(不对其运动向量进行预测的预测单元的运动向量信息)。这里所获取的预测器信息例如指示在可以包含前述空间预测器和时间预测器的预测器候选中选择针对用于编码的每个预测单元的预测器。运动向量设置部分292给每个预测单元设置运动向量。然后，由运动向量设置部分292设置给每个预测单元的运动向量被输出给补偿部分295并且存储于运动向量缓冲器294。运动向量设置部分292可以通过利用每个预测单元的预测器信息所示的预测器以及差运动向量信息所示的差运动向量来进行运动向量的设置。补偿部分295利用运动向量设置部分292设置给每个预测单元的运动向量以及从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分295将所生成的预测图像数据经由选择器71输出给加法部分65。

(2)增强层

在增强层的运动补偿过程中，可以进行利用基于运动向量缓冲器294中存储的下层的参考运动向量的层间预测器的运动向量预测。

首先，信息获取部分291获取无损解码部分62从编码流解码的帧间预测信息。在本示例中，增强层的帧间预测信息除了包含差运动向量信息之外还可以包含作为设置信息的指示从包括层间预测器的多个预测器候选中选择的用于编码的预测器的预测器信息。将多个预测器候选中的最小的代码编号分配给指示层间预测器被选择的预测器信息。运动向量设置部分292利用差运动向量信息和信息获取部分291获取的预测器信息来重建运动向量，并且将所重建的运动向量设置给每个预测单元。当预测器信息指示层间预测器时，运动向量设置部分292可以将根据如前述公式(9)的各层之间的空间分辨率的比率而扩大的参考运动向量设置为预测运动向量。在这种情况下，运动向量设置部分292可以根据运动向量的准确度来对预测运动向量进行舍入。运动向量设置部分292设置给每个预测单元的运动向量被输出给补偿部分295并且存储于运动向量缓冲器294中。补偿部分295利用运动向量设置部分292设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分295经由选择器71将所生成的预测图像数据输出给加法部分65。

(3)过程的流程

图21是示出根据本示例的运动补偿部分90进行的运动补偿过程的流程示例的流程图。参考图21，运动补偿部分90首先进行基础层的运动补偿过程(步骤s220)。此时，运动向量缓冲器294缓冲设置给每个预测单元的运动向量。

步骤s221至步骤s218的过程是增强层的运动补偿过程。针对每个增强层的每个关注pu重复这些过程中的步骤s221至步骤s228的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

首先，信息获取部分291设置上层的一个pu作为关注pu并且从编码流获取差运动向量信息和关于关注pu的预测器信息(步骤s221)。运动向量设置部分292对差运动向量信息进行解码(步骤s222)。运动向量设置部分292使用预测器信息来确定要用于生成关注pu的预测运动向量的预测器(步骤s223)。

接下来，运动向量设置部分292根据所确定的预测器，利用运动向量缓冲器294缓冲的参考运动向量来生成关注pu的预测运动向量(s224)。如果例如所确定的预测器为层间预测器，则设置给下层中与关注pu相对应的pu的运动向量被用作前述公式(8)和公式(9)中的参考运动向量mvbase。接下来，运动向量设置部分292通过将差运动向量与所生成的预测运动向量相加来重建运动向量(步骤s225)。以这种方式重建的运动向量被设置给关注pu。此外，重建的运动向量被暂时存储于运动向量缓冲器294以用于上层中的过程。对于不对其预测向量进行预测的预测单元，可以从编码流获取运动向量信息而不是差运动向量信息，来将运动向量信息解码为运动向量。

接下来，补偿部分295利用运动向量设置部分292设置给关注pu的运动向量和从帧存储器69输入的参考图像数据来生成关注pu的预测图像数据(步骤s226)。

然后，如果要预测的层中剩余任何尚未处理的pu，过程返回至步骤s221(步骤s227)。另一方面，如果没有剩余尚未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(s228)。如果存在剩余的层，则在重复步骤s221及其后的过程之前将已被预测的层设置为下层并且将下一层设置为上层。如果不存在剩余的层，则图21中的运动补偿过程结束。这里生成的预测图像数据经由选择器71输出给加法部分65。

在第二示例中，如上所述，可以根据基于设置给下层的运动向量的层间预测器来预测用于上层的运动补偿的运动向量。因此，可以减小预测运动向量结果的增大的准确度以及差运动向量的代码量。

[4-3.第三示例]

图22示出根据第三示例的运动补偿部分90的详细配置的示例的框图。参考图22，运动补偿部分90包括信息获取部分391、运动向量设置部分392、合并信息缓冲器393、运动向量缓冲器394以及补偿部分395。

(1)基础层

在基础层的运动补偿过程中，信息获取部分391获取由无损解码部分62从编码流解码的帧间预测信息。在本示例中，帧间预测信息可以包含合并信息和运动向量信息。这里获取的合并信息可以包含例如图12a至图12c所述的合并标志和合并左标志，并且指示在多个合并模式候选中针对每个预测单元选择的用于编码的合并模式。运动向量设置部分392给每个预测单元设置运动向量。然后，运动向量设置部分392设置给每个预测单元的运动向量被输出给补偿部分395并且存储于运动向量缓冲器394中。此外，每个预测单元的合并信息被存储在合并信息缓冲器393中以用于上层中的过程。如果例如合并信息指示某预测单元与该预测单元邻近的邻近预测单元合并(这些预测单元被设置共同的运动向量)，则运动向量设置部分392从运动向量缓冲器394获取设置给邻近预测单元的运动向量并且将所获取的运动向量设置给前述预测单元。另一方面，如果合并信息指示某预测单元不与另一预测单元合并，运动向量设置部分392将通过对信息获取部分391获取的运动向量信息进行解码而重建的运动向量设置给前述预测单元。补偿部分395利用运动向量设置部分392设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分395经由选择器71将所生成的预测图像数据输出给加法部分65。

(2)增强层

在增强层的运动补偿过程中，根据合并信息缓冲器393中存储的下层的合并信息来给每个预测单元设置运动向量。

首先，信息获取部分391从合并信息缓冲器393获取下层中与每个预测单元对应的预测单元的合并信息作为给上层中的每个预测单元设置运动向量的设置信息。信息获取部分391获取不与另一预测单元合并的预测单元的帧间预测信息中包含的运动向量信息。信息获取部分391获取的合并信息可以包含例如使用图12a至图12c描述的合并标志和合并左标志。运动向量设置部分392根据信息获取部分391获取的合并信息给每个预测单元设置运动向量。运动向量设置部分392设置给每个预测单元的运动向量被输出给补偿部分395并且存储于运动向量缓冲器394中。运动向量设置部分392可以将通过对运动向量信息进行解码而重建的运动向量设置给不与另一预测单元合并的预测单元。补偿部分395利用运动向量设置部分392设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分395将所生成的预测图像数据经由选择器71输出给加法部分65。

(3)过程的流程

图23是示出根据本示例的运动补偿部分90进行的运动补偿过程的流程示例的流程图。参考图23，运动补偿部分90首先进行基础层的运动补偿过程(步骤s230)。此时，合并信息缓冲器393缓冲指示针对每个预测单元的编码选择的合并模式的合并信息作为设置信息。

步骤s231至步骤s238中的过程是增强层的运动补偿过程。对每个增强层的每个关注pu重复这些过程中的步骤s231至步骤s237的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

首先，信息获取部分391将上层的一个pu设置为关注pu并且从合并信息缓冲器393获取下层中与关注pu相对应的pu的合并信息(步骤s231)。接下来，信息获取部分391基于所获取的合并信息确定是否将关注pu与另一pu合并(步骤s232)。例如当下层中的相应pu与左邻近pu合并时，也可以将关注pu确定为与左邻近pu合并。类似地，当下层中的相应pu与上邻近pu合并时，也可以将关注pu确定为与上邻近pu合并。这些情况下，过程进行到步骤s233。另一方面，当下层中的相应pu不与邻近pu合并时，也可以将关注pu确定为不与邻近pu合并。这种情况下，过程转入步骤s234。

在步骤s233中，运动向量设置部分392从运动向量缓冲器394获取根据合并信息确定的运动向量并且将所获取的运动向量设置给关注pu(步骤s233)。另一方面，在步骤s234中，信息获取部分391获取关注pu的运动向量信息(步骤s234)。然后，运动向量设置部分392将所获取的运动向量信息解码为运动向量并且将所解码的运动向量设置给关注pu(步骤s235)。

接下来，补偿部分395利用运动向量设置部分392设置给关注pu的运动向量和从帧存储器69输入的参考图像数据来生成关注pu的预测图像数据(步骤s236)。

然后，如果要预测的层中剩余任何未处理的pu，则过程返回至步骤s231(步骤s237)。另一方面，如果没有剩余未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s238)。如果存在剩余的层，则在重复步骤s231及其后的过程之前将已预测的层设置为下层而将下一层设置为上层。指示针对下层选择的合并模式的合并信息继续由合并信息缓冲器393缓冲。如果不存在剩余的层，则图23中的运动补偿过程结束。这里生成的预测图像数据经由选择器71被输出给加法部分65。

在第三示例中，如上所述，对下层的合并信息进行再利用以进行上层的解码，从而不需要对上层的合并信息冗余地编码。因此，可以减小帧间预测信息的代码量。

[4-4.第四示例]

图24是示出根据第四示例的运动补偿部分90的详细配置的示例的框图。参考图24，运动补偿部分90包括信息获取部分491、运动向量设置部分492、运动向量缓冲器494以及补偿部分495。

(1)基础层

在基础层的运动补偿过程中，信息获取部分491从编码流获取由无损解码部分62解码的帧间预测信息。在本示例中，帧间预测信息可以包含合并信息和运动向量信息。针对基础层获取的合并信息可以包含例如利用图12a至图12c描述的合并标志和合并左标志并且指示从多个合并模式候选中为每个预测单元选择的用于编码的合并模式。运动向量设置部分492给每个预测单元设置运动向量。然后将运动向量设置部分492设置给每个预测单元的运动向量输出给补偿部分495并且存储于运动向量缓冲器494中。如果例如合并信息指示某预测单元与邻近于该预测单元的邻近预测单元合并，则运动向量设置部分492从运动向量缓冲器494获取设置给邻近预测单元的运动向量并且将所获取的运动向量设置给前述预测单元。另一方面，如果合并信息指示某预测单元不与另一预测单元合并，则运动向量设置部分492将通过对信息获取部分491获取的运动向量信息进行解码而重建的运动向量设置给前述预测单元。补偿部分495利用运动向量设置部分492设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分495将所生成的预测图像数据经由选择器71输出给加法部分65。

(2)增强层

在增强层的运动补偿过程中，可以使用包括合并基础标志的合并信息，其指示与下层中的相应预测单元的合并。

首先，信息获取部分491从编码流获取无损解码部分62解码的帧间预测信息。增强层的帧间预测信息可以包含合并信息和运动向量信息。合并信息可以包含例如利用图15a至图15c描述的合并标志、合并基础标志以及合并左标志，并且指示多个合并模式候选中针对每个预测单元选择的用于编码的合并模式。运动向量设置部分492根据信息获取部分491获取的合并信息给每个预测单元设置运动向量。当预测单元在层间合并时，运动向量设置部分492可以在如前述公式(9)那样按照层之间的空间分辨率的比率对缓冲的运动向量进行扩大之后设置经扩大的参考运动向量。在这种情况下，运动向量设置部分492可以根据运动向量的准确度对经扩大的运动向量进行舍入。运动向量设置部分492设置给每个预测单元的运动向量被输出给补偿部分495并且存储于运动向量缓冲器494中。运动向量设置部分492可以将通过对运动向量信息解码而重建的运动向量设置给不与另一预测单元合并的预测单元。补偿部分495利用运动向量设置单元492设置给每个预测单元的运动向量和从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像数据。然后，补偿部分495将所生成的预测图像数据经由选择器71输出给加法部分65。

(3)过程的流程

图25是示出根据本示例的运动补偿部分90进行的运动补偿过程的流程示例的流程图。参考图25，运动补偿部分90首先进行基础层的运动补偿过程(步骤s240)。此时，运动向量缓冲器494缓冲设置给每个预测单元的运动向量。

步骤s241至步骤s248的过程是增强层的运动补偿过程。对每个增强层的每个关注pu重复这些过程中的步骤s241至步骤s247的过程。在以下描述中，“上层”是要预测的层而“下层”是低于要预测的层的层。

信息获取部分491首先获取上层的一个关注pu的合并信息(步骤s241)。接下来，信息获取部分491基于所获取的合并信息来确定是否将关注pu与另一pu合并(步骤s242)。例如，关注pu可以与下层中的相应pu或上层中的邻近pu合并。当关注pu与另一pu合并时，过程进行至步骤s243。另一方面，当关注pu不与另一pu合并时，过程进行至步骤s244。

在步骤s243中，运动向量设置部分492从运动向量缓冲器494获取根据合并信息确定的运动向量，并且将所获取的运动向量设置给关注pu(步骤s243)。另一方面，在步骤s244中，信息获取部分491获取关注pu的运动向量信息(步骤s244)。然后，运动向量设置部分492将所获取的运动向量信息解码为运动向量，并将所解码的运动向量设置给关注pu(步骤s245)。

接下来，补偿部分495利用运动向量设置部分492设置给关注pu的运动向量和从帧存储器69输入的参考图像数据来生成关注pu的预测图像数据(步骤246)。

然后，如果要预测的层中剩余任何未被理的pu，则过程返回至步骤s241(步骤s247)。另一方面，如果没有剩余未处理的pu，则进一步确定是否存在任何剩余的层(任何更高的层)(步骤s248)。如果存在剩余的层，则在重复步骤s241及其后的过程之前将已预测的层设置为下层而将下一层设置为上层。由运动向量缓冲器494缓冲设置给下层的每个预测单元的运动向量。如果不存在剩余的层，则图25中的运动补偿过程结束。这里生成的预测图像数据经由选择器71被输出给加法部分65。

在第四示例中，如上所述，利用合并信息将运动向量设置给增强层的每个预测单元，该合并信息指示从包括层间的预测单元合并的多个合并模式候选中选择的合并模式。因此，不对与具有清楚的运动相关的下层中的相应预测单元合并的上层中的预测单元的运动向量进行编码，从而有效减小代码量。

<5.示例应用>

根据上述实施方式的图像编码装置10和图像解码装置60可以被应用于多种电子设备，例如用于卫星广播、有线广播如有线电视、因特网上的分布、经由蜂窝通信到终端的分布等的发射器和接收器；将图像记录在介质中的记录装置，如光盘、磁盘或闪速存储器；对来自这种存储介质的图像进行再现的再现装置等。以下将对四个示例应用进行描述。

[5-1.第一应用示例]

图26是示出应用前述实施方式的电视装置的示意配置的示例的图。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号中提取期望的频道的信号并且对所提取的信号进行解调。然后调谐器902将通过解调得到的编码比特流输出给多路解复用器903。即，调谐器902在电视装置900中具有接收其中对图像进行编码的编码流的传输装置的作用。

多路解复用器903从编码比特流中分离要观看的节目中的视频流和音频流，并将所分离的流中的每个输出给解码器904。多路解复用器903还从编码比特流中提取辅助数据例如epg(电子节目指南)并且将所提取的数据提供给控制单元910。这里，在编码比特流被加扰的情况下，多路解复用器903可以对其进行解扰。

解码器904对从多路解复用器903输入的视频流和音频流进行解码。然后解码器904将解码过程生成的视频数据输出给视频信号处理单元905。此外，解码器904将解码过程生成的音频数据输出给音频信号处理单元907。

视频信号处理单元905对从解码器904输入的视频数据进行再现并且在显示器906上显示该视频。视频信号处理单元905还可以在显示器906上显示通过网络提供的应用画面。视频信号处理单元905还可以根据设置对视频数据进行另外的过程例如降噪。此外，视频信号处理单元905可以生成gui(图形用户接口)的图像，例如菜单、按钮或光标，并且将所生成的图像叠加到输出图像上。

显示器906被从视频信号处理单元905提供的驱动信号驱动，并且在显示装置的视频屏幕(例如液晶显示器、等离子显示器或oled上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据进行再现过程例如d/a转换和放大，并且从扬声器908输出该音频。音频信号处理单元907还可以对音频数据进行另外的过程例如降噪。

外部接口909是连接电视装置900与外部装置或网络的接口。例如，解码器可以对通过外部接口909接收的视频流或音频流进行解码。这意味着外部接口909在电视装置900中还具有接收其中对图像进行编码的编码流的传输装置的作用。

控制单元910包括处理器例如cpu和存储器例如ram和rom。存储器存储程序数据、epg数据、通过网络获得的数据以及cpu执行的程序。例如，cpu在电视装置900启动时读取并执行存储器中存储的程序。例如，通过执行程序，cpu根据从用户接口911输入的操作信号来控制电视装置900的操作。

用户接口911连接至控制单元910。用户接口911包括例如用于用户对电视装置900进行操作的按钮和开关以及接收遥控信号的接收部件。用户接口911通过这些部件来检测用户操作，生成操作信号并且将所生成的操作信号输出给控制单元910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理信号907、外部接口909以及控制单元910相互连接。

以前述方式配置的电视装置900中的解码器904具有根据前述实施方式的图像解码装置60的功能。因此，对于电视装置900进行的图像的可伸缩视频编码和解码，还可以通过利用层间的运动相关来提高编码效率。

[5-2.第二应用示例]

图27是示出应用前述实施方式的移动电话的示意配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932以及总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路解复用器单元928、记录/再现单元929、显示器930以及控制单元931相互连接。

移动电话920以包括音频呼叫模式、数据通信模式、摄影模式以及视频电话模式的多种工作模式进行工作，例如发送/接收音频信号、发送/接收电子邮件或图像数据、成像或记录数据。

在音频呼叫模式中，麦克风925生成的模拟音频信号被提供给音频编解码器923。然后音频编解码器923将模拟音频信号转换为音频数据，对经转换的音频数据进行a/d转换并且对数据进行压缩。然后，音频编解码器923将经压缩的音频数据输出给通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后通信单元922将所生成的传输信号通过天线921发送给基站(未示出)。此外，通信单元922对通过天线921接收的射频信号进行放大，对信号的频率进行转换并且获取接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据并将所生成的音频数据输出给音频编解码器923。音频编解码器923将音频数据展开，对该数据进行d/a转换，并生成模拟音频信号。然后音频编解码器923通过将所生成的音频信号提供给扬声器924来输出该音频。

在数据通信模式中，例如，控制单元931根据通过操作单元932进行的用户操作生成构成电子邮件的字符数据。控制单元931还在显示器930上显示字符。此外，控制单元931根据通过操作单元931来自用户的传输指令生成电子邮件数据并且将所生成的电子邮件数据输出给通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送给基站(未示出)。通信单元922还将通过天线921接收到的无线电信号进行放大，转换该信号的频率并且获取接收信号。之后通信单元922对接收信号进行解调和解码，还原电子邮件数据并且将还原的电子邮件数据输出给控制单元931。控制单元931在显示器930上显示电子邮件的内容并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括任意可读可写的存储介质。例如，存储介质可以是内置的存储介质如ram或闪速存储器，或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、usb(未分配空间位图)存储器或存储卡。

在摄影模式中，例如，相机单元926对对象进行成像，生成图像数据并且将所生成的图像数据输出给图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码并且将编码流存储在存储/再现单元929的存储介质中。

在可视电话模式中，例如，多路解复用器单元928对图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并且将多路复用流输出给通信单元922。通信单元922对该流进行编码和调制以生成传输信号。随后通信单元922将所生成的传输信号通过天线921发送给基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换该信号的频率并且获取接收信号。传输信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码来对流进行还原，并且将还原的流输出给多路解复用器单元928。多路解复用器928从输入流中分离出视频流和音频流，并且将该视频流和音频流分别输出给图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后将视频数据提供给显示一系列图像的显示器930。音频编解码器923对音频流进行展开和d/a转换以生成模拟音频信号。然后音频编解码器923将所生成的音频信号提供给扬声器924来输出音频。

以前述方式配置的移动电话920中的图像处理单元927具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，对于移动电话920进行的图像的可伸缩视频编码和解码，可以通过利用层之间的运动相关来进一步提高编码效率。

[5-3.第三应用示例]

图28是示出应用前述实施方式的记录/再现装置的示意配置的示例的图。例如，记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码并且将数据记录在记录介质中。例如，记录/再现装置940还可以对从另一装置获取的音频数据和视频数据进行编码并且将数据记录在记录介质中。响应于用户指令，例如，记录/再现装置940在监视器和扬声器上再现记录介质中记录的数据。此时记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、hdd(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、osd(屏幕上显示)948、控制单元949以及用户接口950。

调谐器941从通过天线(未示出)接收到的广播信号中提取期望的频道的信号并且对所提取的信号进行解调。然后调谐器941将通过解调得到的编码比特流输出给选择器946。即，调谐器941在记录/再现装置940中具有传输装置的作用。

外部接口942是将记录/再现装置940与外部装置或网络进行连接的接口。外部接口942可以是例如ieee1394接口、网络接口、usb接口或闪速存储器接口。例如，通过外部接口942接收的视频数据和音频数据被输入给编码器943。即，外部接口942在记录/再现装置940中具有传输装置的作用。

在从外部接口942输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。之后编码器943将编码比特流输出给选择器946。

hdd944将多个程序、其中对内容数据如视频和音频进行压缩的编码比特流以及其他数据记录在内部硬盘中。hdd944在对视频和音频进行再现时从硬盘读取这些数据。

盘驱动器945将数据记录到安装到盘驱动器的记录介质中或从其读取数据。安装到盘驱动器945的记录介质可以是例如dvd盘(例如dvd-video、dvd-ram、dvd-r、dvd-rw、dvd+r或dvd+rw)或blu-ray(注册商标)盘。

选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出给hdd944或盘驱动器945。另一方面，当对视频和音频进行再现时，选择器946将从hdd944或盘驱动器945输入的编码比特流输出给解码器947。

解码器947对编码比特流进行解码以生成视频数据和音频数据。然后解码器904将所生成的视频数据输出给osd948并且将所生成的音频数据输出给外部扬声器。

osd948对从解码器947输入的视频数据进行再现并且显示该视频。osd948还可以将gui的图像如菜单、按钮或光标叠加到显示的视频上。

控制单元949包括处理器如cpu和存储器如ram和rom。存储器存储程序数据以及cpu执行的程序。例如，由cpu在记录/再现装置940启动时对存储器中存储的程序进行读取和执行。通过执行程序，cpu例如根据从用户接口950输入的操作信号控制记录/再现装置940的工作。

用户接口950连接至控制单元949。例如，用户接口950包括用于用户操作记录/再现装置940的按钮和开关以及接收遥控信号的接收部分。用户接口950通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出给控制单元949。

以前述方式配置的记录/再现装置940中的编码器943具有根据前述实施方式的图像编码装置10的功能。另一方面，解码器947具有根据前述实施方式的图像解码装置60的功能。因此，对于记录/再现装置940进行的图像的可伸缩视频编码和解码，通过利用层间的运动相关可以进一步提高编码效率。

[5-4.第四应用示例]

图29是示出应用前述实施方式的成像装置的示意配置的示例的图。成像装置960对对象进行成像、生成图像、对图像数据进行编码并且将数据记录在记录介质中。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、osd969、控制单元970、用户接口971以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、osd969以及控制单元970互相连接。

光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面形成对象的光学图像。成像单元962包括图像传感器如ccd(电荷耦合装置)或cmos(互补金属氧化物半导体)并且进行光电转换来将成像表面上形成的光学图像转换为作为电信号的图像信号。接下来，成像单元962将图像信号输出给信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行多种相机信号过程，例如拐点校正、亮度校正和色彩校正。信号处理单元963将已进行了相机信号处理的图像数据输出给图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后图像处理单元964将所生成的编码数据输出给外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后图像处理单元964将所生成的图像数据输出给显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出给显示器965以显示该图像。此外，图像处理单元964可以将从osd969获取的显示数据叠加到显示器965上输出的图像上。

osd969生成gui如菜单、按钮或光标的图像，并且将所生成的图像输出给图像处理单元964。

例如，外部接口966被位置为usb输入/输出端子。例如，外部接口966在打印图像时将成像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口966。例如给该驱动器安装可移除介质如磁盘或光盘，以使得可以将从可移除介质读取的程序安装到成像装置960。还可以将外部接口966配置为连接到网络如lan或因特网的网络接口。即，外部接口966在成像装置960中起到传输装置的作用。

安装到介质驱动器968的记录介质可以为任意可读可写的可移除介质，如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以被固定地安装到介质驱动器968，从而对非便携式存储器单元如内置硬盘驱动器或ssd(固态驱动器)进行配置。

控制单元970包括处理器如cpu和存储器如ram和rom。存储器存储程序数据以及cpu执行的程序。cpu在成像装置960启动时读取存储器中存储的程序，然后执行该程序。例如，通过执行程序，cpu根据从用户接口971输入的操作信号来控制成像装置960的工作。

用户接口971连接至控制单元970。例如，用户接口971包括用于用户对成像装置960进行操作的按钮和开关。用户接口971通过这些部件来检测用户操作，生成操作信号并且将所生成的操作信号输出给控制单元970。

以前述方式配置的成像装置960中的图像处理单元964具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，对于成像装置960的图像的可伸缩视频编码和解码，通过利用层间的运动相关可以进一步提高编码效率。

<6.总结>

至此，利用图1至图29对根据本实施方式的图像编码装置10和图像解码装置60的四个示例进行了描述。根据这些示例，在图像的可伸缩视频编码和解码中，对上层中与下层中的第一预测单元相对应的第二预测单元设置运动向量并且与设置给第一预测单元的运动向量相关的设置信息被用于给第二预测单元设置运动向量。从而，可以通过利用层间的运动相关来给上层中的每个预测单元设置运动向量。因此，可以避免对运动向量信息、差运动向量信息、预测器信息或合并信息的冗余编码，从而可以提高编码效率。

根据第一示例，例如，在对上层中的预测单元的运动向量进行预测时，再利用指示用于预测下层中的预测单元的运动向量的预测器信息。因此，可以避免预测器信息的冗余编码。

例如，根据第二示例，基于设置给下层中的相应预测单元的运动向量的用于上层中的预测单元的层间预测器被引入作为新的预测器。因此，可以提高上层中的预测单元的运动向量预测的准确度，并且可以减小对差运动向量信息进行编码所需要的代码量。

根据第三示例，例如，指示针对下层中的预测单元选择的合并模式的合并信息被再利用于上层中的预测单元。因此，可以避免合并信息的冗余编码。

根据第四示例，例如，介绍了将上层中的预测单元与下层中的相应预测单元合并的新的合并模式。因此，可以避免上层中的预测单元的运动向量信息的冗余编码。

本文主要描述的是其中多条信息如帧内预测信息和帧间预测信息被多路复用到编码流的报头并且被从编码侧发送给解码侧的示例。然而，对这些条信息进行传输的方法不局限于这种示例。例如，这些条的信息可以被作为与编码比特流相关联的单独数据而不是多路复用到编码比特流进行传输或记录。这里，术语“关联”意味着允许比特流(可以是图像的一部分，诸如片或块)中包括的图像和对应于当前图像的信息在解码时建立链接。也就是说，可以在不同于图像(或比特流)的传输路径上传输信息。还可以在不同于图像(或比特流)的记录介质(或同一记录介质中的不同记录区域)中记录信息。此外，信息和图像(或比特流)可以通过任意单元如多个帧、一个帧或帧内的部分来彼此关联。

以上参考附图对本公开内容的优选实施方式进行了描述，当然，本公开内容并不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现多种替换和修改。应该理解的是，这些替换和修改将自然地处于本公开内容的技术范围内。

另外，本技术还可以被配置如下。

(1)一种图像处理装置，包括：

信息获取部分，其获取设置信息以将运动向量设置给第二层中的第二预测单元，所述第二预测单元与包含第一层和比所述第一层高的所述第二层的可伸缩视频解码图像的所述第一层中的第一预测单元相对应，所述设置信息与设置给所述第一预测单元的运动向量有关；以及

运动向量设置部分，其利用所述信息获取部分获取的所述设置信息来将所述运动向量设置给所述第二预测单元。

(2)根据(1)所述的图像处理装置，

其中，所述设置信息包括预测器信息，所述预测器信息指示用于对所述第一预测单元的所述运动向量进行预测的预测器，并且

其中，所述运动向量设置部分利用所述预测器信息所指示的预测器来预测被设置给所述第二预测单元的运动向量。

(3)根据(1)所述的图像处理装置，

其中，所述设置信息包括预测器信息，所述预测器信息指示用于对所述第二预测单元的所述运动向量进行预测的预测器，并且

其中，所述预测器选自多个预测器候选，所述多个预测器候选包括基于设置给所述第一预测单元的运动向量的预测器候选。

(4)根据(3)所述的图像处理装置，其中，最小码号被分配给所述多个预测器候选中的基于设置给所述第一预测单元的运动向量的预测器候选。

(5)根据(2)至(4)中任一项所述的图像处理装置，

其中，所述信息获取部分还获取差运动向量信息，所述差运动向量信息指示设置给所述第二预测单元的运动向量和预测运动向量之间的差，并且

其中，所述运动向量设置部分将通过如下方式生成的运动向量设置给所述第二预测单元：将所述差运动向量信息所指示的所述差与利用所述预测器预测的预测运动向量相加。

(6)根据(1)所述的图像处理装置，

其中，所述设置信息包括合并信息，所述合并信息指示是否设置所述第一预测单元和与所述第一预测单元邻近的预测单元共同的运动向量，并且

其中，所述运动向量设置部分根据所述合并信息来设置所述第二预测单元和与所述第二预测单元邻近的预测单元共同的运动向量。

(7)根据(1)所述的图像处理装置，

其中，所述设置信息包括合并信息，所述合并信息指示是否设置所述第一预测单元和所述第二预测单元共同的运动向量，并且

其中，当所述合并信息指示设置所述第一预测单元和所述第二预测单元共同的运动向量时，所述运动向量设置部分将与所述第一预测单元共同的运动向量设置给所述第二预测单元。

(8)根据(3)、(4)和(7)中任一项所述的图像处理装置，其中，所述运动向量设置部分按照所述第一层和所述第二层之间的空间分辨率的比率来放大设置给所述第一预测单元的运动向量，然后针对所述第二预测单元进行运动向量设置过程。

(9)根据(8)所述的图像处理装置，其中，当放大设置给所述第一预测单元的运动向量时，所述运动向量设置部分按照所述运动向量的准确度来对所放大的运动向量进行舍入。

(10)根据(1)至(7)中任一项所述的图像处理装置，其中，所述第一层和所述第二层是具有彼此不同的空间分辨率的层。

(11)根据(1)至(7)中任一项所述的图像处理装置，其中，所述第一层和所述第二层是具有彼此不同的噪声比的层。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述第一预测单元是所述第一层中的预测单元，该预测单元具有与所述第二预测单元中的预定位置的像素相对应的像素。

(13)根据(1)至(11)中任一项所述的图像处理装置，其中，所述第一预测单元是所述第一层中与所述第二预测单元交叠的预测单元中具有最大交叠的预测单元。

(14)一种图像处理方法，包括：

获取设置信息以将运动向量设置给第二层中的第二预测单元，所述第二预测单元与包含第一层和比所述第一层高的第二层的可伸缩视频解码图像的所述第一层中的第一预测单元相对应，所述设置信息与设置给所述第一预测单元的运动向量有关；以及

利用所获取的设置信息来将所述运动向量设置给所述第二预测单元。

(15)一种图像处理装置，包括：

信息生成部分，其生成设置信息以将运动向量设置给第二层中的第二预测单元，所述第二预测单元与包含第一层和比所述第一层高的第二层的可伸缩视频解码图像的所述第一层中的第一预测单元相对应，所述设置信息与设置给所述第一预测单元的运动向量有关；以及

编码部分，其对所述信息生成部分生成的所述设置信息进行编码。

(16)一种图像处理方法，包括：

生成设置信息以将运动向量设置给第二层中的第二预测单元，所述第二预测单元与包含第一层和比所述第一层高的第二层的可伸缩视频解码图像的所述第一层中的第一预测单元相对应，所述设置信息与设置给所述第一预测单元的运动向量有关；以及

对所生成的设置信息进行编码。

附图标记列表

10图像编码装置(图像处理装置)

146，246，346，446信息生成部分

16编码部分

60图像解码装置(图像处理装置)

191，291，391，491信息获取部分

192，246，392，492运动向量设置部分