图像处理设备和方法与流程

本公开涉及一种图像处理设备和方法，并且特别地，涉及在可伸缩编码或多视图编码中能够使得视图的参考关系进行有效的改变的一种图像处理设备和方法。

背景技术：

近年，数字化地处理图像信息、并且着眼于信息的高效传送和累积，通过利用下述编码系统执行图像的压缩编码的装置变得普及：该编码系统使用图像信息所特有的冗余通过诸如离散余弦变换的正交变换以及运动补偿对图像进行压缩。编码系统的示例包括运动图像专家组(MPEG)、H.264以及MPEG-4部分10(先进视频编码，在下文中描述为AVC)。

当前，旨在从H.264/AVC起对编码效率进行进一步的改进，由作为ITU-T和ISO/IEC的联合标准化组织的联合协作组-视频编码(JCTVC)向前推进了被称为高效视频编码(HEVC)的编码系统的标准化。此外，作为其扩展，并行地实行了对关于多视图图像的编码的标准化，并且作为关于多视图图像的编码的草案发布了非专利文献1。

顺便提及，从按照优先级顺序在时间列表中列出的参考图像的头部起生成参考列表，参考列表是在其中按照优先级顺序列出用于对B图片进行解码的参考图像候选的列表。

在非专利文献1中，可以通过切片参数集(SPS)或切片头来切换是长期参考图像还是短期参考图像被添加到时间列表。

相反，在视频参数集(VPS)中限定层(视图)间的参考关系。其参考由VPS所指定的层总是被添加到时间列表。即，层间的参考图像可以仅通过VPS进行控制，该VPS仅通过序列传送一次。

因此，在非专利文献2中，提出了用于改变视图的参考关系的补充增强信息(SEI)。

引用列表

非专利文献

非专利文献1：Gerhard Tech，Krzysztof Wegner，Ying Chen，Miska Hannuksela，“MV-HEVC Draft Text2”，JCT3V-B1004，2012年11月7日

非专利文献2：Byeonghoon Choi，Jeonghoon Park，“View dependency change SEI message SEI for MV-HEVC”，JCT3V-B0063，2012年10月8日

技术实现要素：

发明要解决的问题

然而，在非专利文献2中所提出的是SEI，而SEI不能影响默认参考列表的生成。因此，为了改变特定视图的参考关系，需要描述所有视图的参考关系。

鉴于前述提出了本公开，并且本公开可以有效地改变可伸缩编码或多视图编码中视图的参考关系。

问题的解决方案

根据本公开的一个方面的图像处理设备包括：解码单元，被配置成对比特流进行解码以生成图像；预测单元，被配置成通过参考基于层参考图像信息所生成的参考图像的列表对由解码单元所生成的图像进行预测，层参考图像信息针对每层控制参考图像，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

以固定的间隔或以图片单位传送层参考图像信息。

层参考图像信息被设置到比特流的序列参数集或切片头。

图像处理设备还可以包括：参考列表生成单元，该参考列表生成单元被配置成基于层参考图像信息生成参考图像的列表。

关于L1方向，当将能够在层方向上参考的参考图像插入到参考图像的列表中时，参考列表生成单元与L0方向的情况相比可以反转能够在层方向上参考的参考图像的顺序，并且插入参考图像。

参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，以生成参考图像的列表。

关于L0方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之前的参考图像、时间上位于图像之后的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。

关于L1方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之后的参考图像、时间上位于图像之前的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。

层是视图。

根据本公开的一个方面的图像处理方法包括：通过图像处理设备，对比特流进行解码以生成图像；以及通过参考基于层参考图像信息所生成的参考图像的列表对所生成的图像进行预测，层参考图像信息针对每层控制参考图像，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

根据本公开的另一方面的图像处理设备包括：设置单元，被配置成设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；预测单元，被配置成通过参考基于由设置单元所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；编码单元，被配置成使用由预测单元所生成的预测图像对图像进行编码，以生成比特流；以及传送单元，被配置传送由编码单元所生成的比特流和由设置单元所设置的层参考图像信息。

传送单元可以以固定的间隔或以图片单位传送由设置单元所设置的层参考图像信息。

设置单元可以将层参考图像信息设置到比特流的序列参数集或切片头。

图像处理设备还可以包括：参考列表生成单元，被配置成基于由设置单元所设置的层参考图像信息生成参考图像的列表。

关于L1方向，当将能够在层方向上参考的参考图像插入到参考图像的列表中时，参考列表生成单元与L0方向的情况相比可以反转能够在层方向上参考的参考图像的顺序，并且插入参考图像。

参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，以生成参考图像的列表。

关于L0方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之前的参考图像、时间上位于图像之后的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。

关于L1方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之后的参考图像、时间上位于图像之前的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。

层是视图。

根据本公开的另一方面的图像处理方法包括：通过图像处理设备，设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；通过参考基于所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；使用所生成的预测图像对图像进行编码以生成比特流；以及传送所生成的比特流和所设置的层参考图像信息。

根据本公开的一个方面，对比特流进行解码并且生成图像。然后，通过参考基于层参考图像信息所生成的参考图像的列表，对所生成的图像进行预测，其中，层参考图像信息针对每层控制参考图像的添加，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

根据本公开的另一方面，设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像，并且通过参考基于所设置的层参考图像信息所生成的参考图像的列表生成预测图像。然后，使用所生成的预测图像执行编码并且生成比特流，以及传送所生成的比特流和所设置的层参考图像信息。

注意，以上所描述的图像处理设备可以是独立的设备，或可以是构成图像编码装置或图像解码装置的内部块。

发明的效果

根据本公开的一个方面，可以对图像进行解码。特别地，可以在可伸缩编码或多视图编码中有效地改变视图的参考关系。

根据本公开的另一方面，可以对图像进行编码。特别地，可以在可伸缩编码或多视图编码中有效地改变视图的参考关系。

附图说明

图1是示出了图像编码装置的原理配置示例的框图。

图2是示出了编码单元的配置示例的框图。

图3是用于描述关于参考图像的改变可能发生的情形的图。

图4是用于描述本技术与传统技术之间的比较的图。

图5是用于描述参数集的图。

图6是用于描述参考图像的结构的示例的图。

图7是示出了生成参考列表的传统方法的示例的图。

图8是示出了本技术的生成参考列表的方法的示例的图。

图9是示出了VPS的语法的示例的图。

图10是示出了在本技术中SPS扩展的语法的示例的图。

图11是示出了在本技术中切片头扩展的语法的示例的图。

图12是用于描述在本技术中视图间图像之中的布置顺序的图。

图13是示出了在本技术中改变视图间图像之中的布置顺序的方法的图。

图14是示出了图2的参考列表生成单元的配置示例的框图。

图15是用于描述图1的图像编码装置中的处理的流程的示例的流程图。

图16是用于描述编码处理的流程的示例的流程图。

图17是用于描述参考列表生成处理的流程的示例的流程图。

图18是示出了图像解码装置的原理配置示例的框图。

图19是示出了解码单元的配置示例的框图。

图20是示出了图19的参考列表生成单元的配置示例的框图。

图21是用于描述图18的图像解码装置的处理的流程的示例的流程图。

图22是用于描述解码处理的流程的示例的流程图。

图23是用于描述参考列表生成处理的流程的示例的流程图。

图24是示出了编码单元的另一配置示例的框图。

图25是示出了解码单元的另一配置示例的框图。

图26是示出了计算机的原理配置示例的框图。

图27是示出了电视机装置的示意性配置的示例的框图。

图28是示出了移动电话装置的示意性配置的示例的框图。

图29是示出了记录/再现装置的示意性配置的示例的框图。

图30是示出了成像装置的示意性配置的示例的框图。

图31是示出了视频集合的示意性配置的示例的框图。

图32是是出了视频处理器的示意性配置的示例的框图。

图33是示出了视频处理器的示意性配置的另一示例的框图。

具体实施方式

在下文中，将描述用于实施本公开的实施例(在下文中，被称为实施例)。注意，将按照下面的顺序给出说明。

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(AVC系统的编码单元和解码单元)

4.第四实施例(计算机)

5.应用示例

6.第五实施例(集合/单元/模块/处理器)

<第一实施例>

[可伸缩编码的说明]

诸如MPEG2和AVC的传统图像编码系统具有可伸缩功能。可伸缩编码是使得图像变为(按等级排列为)多个层并且对每层中的图像进行编码的系统。

在图像的等级排列中，基于预定的参数，一个图像被划分为多个图像(层)。基本上，每层由不同的数据所构成使得冗余度降低。例如，当一个图像被按等级排列为诸如基本层和增强层的两个层时，仅采用基本层的数据可以获得与原始图像相比较低质量图像。通过对基本层数据和增强层数据进行合成可以获得原始数据(即，高质量图像)。

通过图像的这样的等级排列，根据情形可以容易地获得具有各种质量的图像。例如，针对具有低处理能力的终端(诸如移动电话装置)，传送仅基本层的图像压缩信息，并且对具有低时间和空间分辨率的运动图像或具有差图像质量的运动图像进行再现。针对具有高处理能力的终端(诸如电视机或个人计算机)，除了基本层之外还传送增强层的图像压缩信息，并且对具有高时间和空间分辨率的运动图像或具有高图像质量的运动图像进行再现。以这种方式，根据终端或网络的能力的图像压缩信息可以从服务器被传送而不执行转码处理。

作为具有这样的可伸缩特性的参数，例如存在空间分辨率(空间可伸缩性)。在空间可伸缩性的情况下，每层中的分辨率不同。即，每个图片被按等级排列为基本层和增强层的两个层，基本层具有与原始图像相比较低的分辨率，通过将增强层与基本层的图像进行组合可以获得原始图像(原始空间分辨率)。当然，层的数量是示例，并且每个图片可以被等级排列化为任意数量的层。

此外，作为具有这样的可伸缩特性的参数，除了上述之外，还存在时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，每层中的帧率不同。即，每个图片被按等级排列为具有不同帧率的层。通过将具有高帧率的层加到具有低帧率的层可以获得具有较高帧率的运动图像，并且通过对所有的层相加可以获得原始运动图像(原始帧率)。层的数量是示例，并且图片可以被按等级排列为任意数量的层。

此外，作为具有这样的可伸缩特性的参数，除了上述之外，还存在信号噪声比(SNR)(SNR可伸缩性)。在SNR可伸缩性的情况下，每层中的SN比例不同。即，每个图片被按等级排列为基本层和增强层的两个层，基本层具有与原始图像相比较低的SNR，增强层可以通过与基本层的图像进行组合而获得原始图像(原始SNR)。即，在基本层图像压缩信息中，传送与低PSNR图像有关的信息。高PSNR图像可以通过将增强层图像压缩信息相加到基本层图像压缩信息而构建。当然，层的数量是示例，并且图片可以被按等级排列为任意数量的层。

具有可伸缩性特性的参数可以是除了上述示例之外的参数。例如，存在位深可伸缩性，其中，基本层由8位图像构成，而增强层被加到基本层以获得10位图像。

此外，存在色度可伸缩性，其中，基本层由为4：2：0格式的分量图像构成，而增强层被加到基本层以获得4：2：2格式的分量图像。

此外，作为具有可伸缩性特性的参数，存在多视图。在这种情况下，图片被按等级排列为具有互相不同视图的层。

在本实施例中所描述的层包括可伸缩性编码的空间、时间、SNR、位深、颜色、视图等。

注意，在本说明书中所使用的术语层包括以上所描述的可伸缩(按等级排列)编码的层，以及当考虑到多个视点的多视图时的每个视图。

在下文中，将使用视图作为示例给出说明。然而，通过采用其他层替换视图、本技术可以类似地应用到其他层。

[图像编码装置的配置示例]

图1示出了作为应用了本公开的图像处理设备的图像编码装置的实施例的配置。

图1的图像编码装置1包括VPS设置单元11、SPS设置单元12、切片头设置单元13、编码单元14以及传送单元15，并且按照HEVC系统对诸如捕获图像的图像进行编码。

具体地，与在之前步骤(未示出)中由用户等进行的编码有关的设置信息被输入到图像编码装置1的VPS设置单元11。VPS设置单元11基于在之前步骤(未示出)中用户的设置信息设置视频参数集(VPS)，并且将所设置的VPS连同设置信息一起提供给SPS设置单元12。

SPS设置单元12基于来自VPS设置单元11的设置信息，设置序列参数集(SPS)，并且将所设置的SPS连同VPS和设置信息一起提供给切片头设置单元13。

切片头设置单元13基于来自SPS设置单元12的设置信息设置切片头，并且将所设置的切片头连同VPS和SPS一起提供给编码单元14。注意，根据需要，VPS、SPS、切片头等可以在设置单元中被编码。

帧单位的捕获图像的多视图图像等作为输入信号被输入到编码单元14。编码单元14通过参考来自切片头设置单元13的VPS、SPS、切片头的数据头信息，按照HEVC系统对输入信号进行编码。然后，编码单元14根据作为编码的结果所获得的编码数据、VPS、SPS、切片头等生成编码流，并且将所生成的编码流提供给传送单元15。

传送单元15将从编码单元14所提供的编码流传送到以下所描述的图18的图像解码装置151。

注意，实际上，设置图片参数集(PPS)、针对每个序列指示与编码数据相对应的图像的特性(可用性)的视频可用性信息(VUI)、补充增强信息(SEI)等。然而，在图1的示例中省略了这些信息。

[编码单元的配置示例]

图2是示出了图1的编码单元14的配置示例的框图。编码单元14根据需要通过参考来自切片头设置单元13的每个数据头信息、按照HEVC系统对输入信号进行编码。即，在编码单元14中，按照编码单位(CU)执行处理。

在图2的示例中，编码单元14包括模拟/数字(A/D)转换器101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。此外，编码单元14包括逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器111、解码图片缓冲器112、选择单元113、帧内预测单元114、运动视差预测/补偿单元115、选择单元116以及速率控制单元117。

编码单元14还包括语法处理单元121、参考列表生成单元122、自适应偏移滤波器123以及自适应环路滤波器124。

A/D转换器101执行输入图像数据的A/D转换，将转换后的数据输出到画面重排缓冲器102，以及将数据存储在其中。

画面重排缓冲器102根据图片组(GOP)结构将所存储的按照显示顺序的帧的图像重排为用于编码的帧的顺序。画面重排缓冲器102将具有重排的帧的图像提供给语法处理单元121。

语法处理单元121顺序地确认从画面重排缓冲器102所读取的图像的数据，并且将从之前步骤(未示出)所提供的数据头信息插入到图像的数据。例如，数据头信息包括参照图1所描述的VPS、SPS、切片头等。

语法处理单元121将数据头信息等被插入到其中的图像提供给计算单元103、帧内预测单元114以及运动视差预测/补偿单元115。此外，语法处理单元121将VPS、SPS、切片头等的数据头信息提供给参考列表生成单元122。

计算单元103在从语法处理单元121所提供的图像中减去通过选择单元116从帧内预测单元114或运动视差预测/补偿单元115所提供的预测图像，并且将减法的差分信息输出到正交变换单元104。

例如，在要经受帧内编码的图像的情况下，计算单元103在从语法处理单元121所提供的图像中减去从帧内预测单元114所提供的预测图像。此外，例如，在要经受帧间编码的图像的情况下，计算单元103在从语法处理单元121所提供的图像中减去从运动视差预测/补偿单元115所提供的预测图像。

正交变换单元104对从计算单元103所提供的差分信息应用诸如离散余弦变换或Karhunen Loéve变换的正交变换，并且将正交变换的变换系数提供给量化单元105。

量化单元105对从正交变换单元104所输出的变换系数进行量化。量化单元105将量化的变换系数提供给无损编码单元106。

无损编码单元106对量化的变换系数应用无损编码，诸如可变长度编码或算术编码。

无损编码单元106从帧内预测单元104获取指示帧内预测模式的信息等，并且从运动视差预测/补偿单元115获取指示帧间预测模式的信息、运动向量信息等。

无损编码单元106对量化的变换系数进行编码，并且使得帧内预测模式信息、帧间预测模式信息、运动向量信息以及量化参数作为编码数据的数据头信息的一部分(执行复用)。无损编码单元106将通过编码所获得的编码数据提供给累积缓冲器107，并且将编码数据存储在其中。

例如，在无损编码单元106中，执行无损编码处理，诸如可变长度编码或算术编码。可变长度编码的示例包括上下文自适应可变长度编码(CAVLC)。算术编码的示例包括上下文自适应二进制算术编码(CABAC)。

累积缓冲器107暂时地存储从无损编码单元106所提供的编码数据，并且以预定的定时将编码数据作为编码图像输出到随后步骤的编码装置、记录装置(未示出)、传送路径等。

此外，在量化单元105中所量化的变换系数还被提供给逆量化单元108。逆量化单元108根据与由量化单元105进行的量化相对应的方法对量化的变换系数进行逆量化。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109根据与由正交变换单元104进行的正交变换处理相对应的方法对所提供的变换系数进行逆正交变换。逆正交变换后的输出(复原的差分信息)被提供给计算单元110。

计算单元110将通过选择单元116从帧内预测单元114或运动视差预测/补偿单元115所提供的预测图像相加到逆正交变换的结果(即，从逆正交变换单元109所提供的复原的差分信息)，并且获得局部解码图像(解码图像)。

例如，当差分信息对应于要经受帧内编码的图像时，计算单元110将从帧内预测单元114所提供的预测图像相加到差分信息。此外，例如，当差分信息对应于要经受帧间编码的图像时，计算单元110将从运动视差预测/补偿单元115所提供的预测图像相加到差分信息。

加法的结果被提供给去块滤波器111和解码图片缓冲器112。

去块滤波器111通过适当地执行去块滤波器处理移除解码图像的块失真。去块滤波器111将滤波器处理的结果提供给自适应偏移滤波器123。

自适应偏移滤波器123关于由去块滤波器111进行的自适应去块滤波器处理之后的图像执行主要移除振铃振荡(ringing)的自适应偏移滤波器(采样自适应偏移(SAO))处理。

具体地，自适应偏移滤波器123针对作为最大编码单位的每个最大编码单位(LCU)确定自适应偏移滤波器处理的类型，并且获得在自适应偏移滤波器处理中要使用的偏移。自适应偏移滤波器123使用所获得的偏移针对自适应去块滤波器处理之后的图像执行所确定的类型的自适应偏移滤波器处理。然后，自适应偏移滤波器123将自适应偏移滤波器处理之后的图像提供给自适应环路滤波器124。

此外，自适应偏移滤波器123包括存储偏移的缓冲器。自适应偏移滤波器123针对每个LCU确定在自适应去块滤波器处理中所使用的偏移是否已经被存储在缓冲器中。

当确定在自适应去块滤波器处理中所使用的偏移已经被存储在缓冲器中时，自适应偏移滤波器123将指示偏移是否被存储在缓冲器中的存储标志设置为指示偏移被存储在缓冲器中的值(在此，为1)。

然后，自适应偏移滤波器123针对每个LCU将被设置为1的存储标志、指示偏移在缓冲器中的存储位置的索引以及指示所执行的自适应偏移滤波器处理的类型的类型信息提供给无损编码单元106。

同时，当在自适应去块滤波器处理中所使用的偏移尚未被存储在缓冲器中时，自适应偏移滤波器123按顺序将偏移存储在缓冲器中。此外，自适应偏移滤波器123将存储标志设置为指示偏移尚未被存储在缓冲器中的值(在此，为0)。然后，自适应偏移滤波器123针对每个LCU将被设置为0的存储标志、偏移以及类型信息提供给无损编码单元106。

自适应环路滤波器124例如针对每个LCU，对从自适应偏移滤波器123所提供的自适应偏移滤波器处理之后的图像执行自适应环路滤波器(ALF)处理。作为自适应环路滤波器处理，例如，使用通过二维维纳(Wiener)滤波器进行的处理。显然地，可以使用除了维纳滤波器之外的滤波器。

具体地，自适应环路滤波器124针对每个LCU计算在自适应环路滤波器处理中要使用的滤波器系数，使得在作为从语法处理单元121所输出的图像的原始图像与自适应环路滤波器处理之后的图像之间的残差最小化。然后，自适应环路滤波器124针对每个LCU、使用所计算出的滤波器系数对自适应偏移滤波器处理之后的图像执行自适应环路滤波器处理。

自适应环路滤波器124将自适应环路滤波器处理之后的图像提供给解码图片缓冲器112。此外，自适应环路滤波器124将滤波器系数提供给无损编码单元106。

注意，在此，针对每个LCU执行自适应环路滤波器处理。然而，自适应环路滤波器处理的处理单位不限于LCU。注意，通过在自适应偏移滤波器123和自适应环路滤波器124中使用相同的处理单位，可以有效地执行处理。

解码图片缓冲器112以预定的定时将所累积的参考图像通过选择单元113输出到帧内预测单元114或运动视差预测/补偿单元115。

例如，在要经受帧内编码的图像的情况下，解码图片缓冲器112将参考图像通过选择单元113提供给帧内预测单元114。此外，例如，在要经受帧间编码的图像的情况下，解码图片缓冲器112将参考图像通过选择单元113提供给运动视差预测/补偿单元115。

当从解码图片缓冲器112所提供的参考图像是要经受帧内编码的图像时，选择单元113将参考图像提供给帧内预测单元114。此外，当从解码图片缓冲器112所提供的参考图像是要经受帧间编码的图像时，选择单元113将参考图像提供给运动视差预测/补偿单元115。

帧内预测单元114执行帧内预测(画面内预测)，其使用从语法处理单元121所提供的输入图像的画面中的像素值生成预测图像。帧内预测单元114在多个模式(帧内预测模式)中执行帧内预测。

帧内预测单元114在所有的帧内预测模式中生成预测图像，对每个预测图像进行评估，以及选择最佳模式。当选择了最佳帧内预测模式时，帧内预测单元114将在最佳模式中所生成的预测图像通过选择单元116提供给计算单元103和计算单元110。

此外，如上所述，帧内预测单元114适当地将诸如帧内预测模式信息的信息提供给无损编码单元106，帧内预测模式信息指示所采用的帧内预测模式。

运动视差预测/补偿单元115使用从语法处理单元121所提供的输入图像和通过选择单元113从解码图片缓冲器112所提供的参考图像，针对要经受帧间编码的图像执行运动视差预测。此时，运动视差预测/补偿单元115使用在由参考列表生成单元122所生成的参考列表中所指示的参考图像索引的参考图像。运动视差预测/补偿单元115根据所检测到的运动和视差向量执行运动视差补偿处理，以生成预测图像(帧间预测图像信息)。

运动视差预测/补偿单元115执行所有候选帧间预测模式的帧间预测处理，并且生成预测图像。运动视差预测/补偿单元115将所生成的预测图像通过选择单元116提供给计算单元103和计算单元110。

此外，运动视差预测/补偿单元115将帧间预测模式信息和运动向量信息提供给无损解编码单元106，帧间预测模式信息指示所采用的帧间预测模式，运动向量信息指示所计算出的运动向量。

在要经受帧内编码的图像的情况下，选择单元116将帧内预测单元114的输出提供给计算单元103和计算单元110，以及在要经受帧间编码的图像的情况下，选择单元116将运动视差预测/补偿单元115的输出提供给计算单元103和计算单元110。

速率控制单元117基于在累积缓冲器107中所累积的压缩图像控制量化单元105的量化操作的速率，以便不导致上溢或下溢。

参考列表生成单元122使用来自语法处理单元121的数据头信息和在解码图片缓冲器112中所累积的参考图像的信息(POC信息和视图信息)，生成在对当前图像进行预测中要由运动视差预测/补偿单元115所参考的参考列表。参考列表是能够在时间方向上参考的参考图像或在视图(层)方向上的参考图像的参考图像的列表(阵列)。

在参考列表的生成之前，参考列表生成单元122生成时间列表，该时间列表为在生成参考列表中所使用的列表。此时，参考列表生成单元122通过参考来自语法处理单元121的SPS或切片头将能够在视图方向上参考的参考图像插入到时间列表。

注意，能够在时间方向上参考的参考图像是能够在不同时间处参考的参考图像，以及在视图(层)方向上的参考图像的参考图像是能够在不同视图(层)中参考的参考图像。

然后，参考列表生成单元122基于所生成的时间列表生成参考列表。

[背景]

在MV-HEVC中，可以采用SPS或切片头(在切片头中所描述的参考图像标志)控制短期参考图像(短期图片)还是长期参考图像(长期图片)被添加到时间列表。

相反，在VPS中限定视图(层)间的参考关系。换言之，可以仅采用VPS执行视图间参考图像之间的控制。因此，根据VPS的当前限定，在VPS中指定其参考的层(视图)的图像被添加到时间列表。

例如，在图3的示例中，按照从左起的顺序示出了在POC＝t0、t1、t2的三个时间处的View_ID＝V0、V1、V2、V3、V4的五个视图的图像。在POC＝t0处，View_ID＝V2的图像与View_ID＝V0、V1、V3、V4的图像高度相关，因此在对View_ID＝V2的图像进行预测中，任意视图的参考图像可以被添加到默认参考列表。

然而，在POC＝t1处，View_ID＝V3、V4的图像与View_ID＝V2的图像较少相关。因此，仅View_ID＝V0、V1的图像期望被添加到默认参考列表。此外，在POC＝t2处，View_ID＝V0、V4的图像与View_ID＝V2的图像较少相关。因此，仅View_ID＝V1、V3的图像期望被添加到默认参考列表。

如上所述，可以存在下述情形：在该情形中，考虑到场景改变或GOP结构，期望限制被添加到默认参考列表的视图(层)。

[本技术与传统技术的概要之间的比较]

图4是用于传统技术的方法与本技术的方法之间的比较的图。

在图3所描述的情形中，在传统方法中，在POC＝t0处，View_ID＝V0、V1、V3、V4的图像被设置在VPS中作为参考图像并且被传送，如图4的示例所示。在POC＝t1处，View_ID＝V0、V1的图像被设置到VPS作为参考图像并且被传送。此外，在POC＝t2处，View_ID＝V1、V3的图像被设置到VPS作为参考图像并且被传送。以这种方式，为了改变参考图像，需要重置并且传送VPS。

在此，如图5所示，VPS是限定涵盖多个层的参数(例如，缓冲器信息或可伸缩性信息)的参数集，并且基本上在序列的头部处传送一次。

SPS是针对每层(视图)限定参数的参数集，并且基本上以GOP单位或以固定的间隔被传送。切片头(SH)针对每层(视图)限定参数，并且基本上以图片单位被传送。

因此，不期望频繁地重新发送VPS。因此，尽管层间的参考关系可以通过VPS而改变，但是仅针对该目的重新发送VPS是不现实的。此外，为了通过VPS改变一个视图的参考关系，需要描述整个视图的参考关系，并且开销较大。

相反，在SPS的情况下，可以以GOP单位或始终相对长期地改变层间的参考结构。在切片头的情况下，关于一个图片可以突发地改变层间的参考结构。

如上所述，在本技术中，在VPS中限定可以被参考的层，并且采用SPS或切片头执行实际参考控制。即，在本技术中，层参考图像信息被设置到SPS或切片头，该层参考图像信息针对每层控制在层方向上可参考的参考图像。

例如，在图4所示的本技术的情况下，在POC＝t0处，在VPS中，View_ID＝V0、V1、V3、V4的图像被设置为可以参考的层(视图)并且被传送，以及在SPS中，View_ID＝V0、V1、V3、V4的图像被设置为参考图像并且被传送。然后，在POC＝t1处，在SPS中，View_ID＝V0、V1的图像被设置为参考图像并且被传送。此外，在POC＝t2处，在SPS中，View_ID＝V1、V3的图像被设置为参考图像并且被传送。以这种方式，SPS(或切片头)被重置并且被传送。

这样做时，仅与默认参考列表高度相关的层(视图)间的参考图像可以有效地被添加，而无需重新发送VPS。作为结果，不需要传送改变参考列表的语法。因此，改进了编码效率。

注意，非专利文献2提出了用于改变视图的依赖关系的SEI。然而，其为SEI，因此SEI不能影响默认参考列表的生成。因此，为了改变特定视图的参考关系，需要描述所有视图的参考关系。

相反，在本技术中，采用SPS或切片头改变视图的参考关系。因此，该改变影响默认的生成，并且可以改进列表生成。

此外，因为针对每个视图独立地传送SPS，所以改变可以仅被应用到希望其参考关系发生改变的视图。

[参考图像的结构]

接下来，将参照图6描述按照HEVC系统的参考图像的结构。

在图6的示例中，从左侧起按照POC的顺序示出了：长期参考图像(长期：LT)、短期(之前)参考图像(当前之前的短期：STbC)、由C所指示的当前图像以及短期(之后)参考图像(当前之后的短期：STaC)。此外，从底部起按照视图(视差)方向的顺序示出了由C所指示的当前图像和视图间参考图像(视图间：IV)。注意，在各个参考图像中所示出的图代表在解码图片缓冲器112中的参考图像的阵列的索引。

在HEVC系统中，如图6所示的四种类型图像：长期参考图像、短期(之前)参考图像、短期(之后)参考图像以及视图间参考图像可以被用作在执行帧间预测中的参考图像的候选。

短期(之前)参考图像是在同一视图中在时间上位于由C所指示的当前图像之前的短期参考图像(具有较小的POC)。短期(之后)参考图像是在同一视图中在时间上位于当前图像之后的短期参考图像(具有较大的POC)。此外，长期参考图像是在同一视图中针对长期所指定的参考图像。视图间参考图像是具有同一时间的不同的视图的参考图像。

[生成传统参考列表的方法]

接下来，将参照图7描述生成HEVC系统的默认参考列表的方法。在图7的示例中，示出了在解码图片缓冲器112中的短期(之前)参考图像的列表(阵列)(RefPicSetStCurrBefore[i])、短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])、长期参考图像的列表(RefPicLtCurr[i])以及视图间参考图像的列表(RefPicSetIvCurr[i])。

在短期(之前)参考图像的列表和在短期(之后)参考图像的列表中，分别地排列有两个参考图像。在长期参考图像的列表中，排列有一个参考图像。在视图间参考图像的列表中，排列有四个参考图像。

关于短期参考图像，在切片头或参考图片集(RPS)的语法中，used_by_curr标志被设置到具有正在被参考的可能性的图像。RPS是用于针对在SPS中所包括的每个图片清楚地指示解码图片缓冲器的状态的语法。关于长期参考图像，在切片头或SPS的语法中，used_by_curr标志被设置到具有正在被参考的可能性的图像。仅具有为1的used_by_curr标志的图像被添加到在生成参考列表中要使用的时间列表中。在下文中，used_by_curr标志适当地被称为参考图像标志。

此外，在图7的示例中，示出了根据这些参考图像的列表所生成的L0(L0方向)的时间列表(RefPicListTemp0[rldx])和L1(L1方向)的时间列表(RefPicListTemp1[rldx])。

L0的时间列表(RefPicListTemp0[rldx])被生成为使得具有被设置为1的used_by_curr标志的图像按照短期(之前)参考图像、短期(之后)参考图像、长期参考图像以及视图间参考图像的顺序被添加。注意，used_by_curr标志未被设置到视图间参考图像。因此，关于视图间参考图像，在视图间参考图像的列表中所排列的所有图像被添加到时间列表。

即，L0的时间列表(RefPicListTemp0[rldx])按照索引0的短期(之前)参考图像、索引0的短期(之后)参考图像以及索引0至3的视图间参考图像的顺序被生成。

L1的时间列表(RefPicListTemp1[rldx])被生成为使得具有被设置为1的used_by_curr标志的图像按照短期(之后)参考图像、短期(之前)参考图像、长期参考图像以及视图间参考图像的顺序被添加。即，L1的时间列表(RefPicListTemp1[rldx])按照索引0的短期(之后)参考图像、索引0的短期(之前)参考图像以及索引0至3的视图间参考图像的顺序被生成。

在此，作为时间列表中的可参考图像的数量，在切片头或SPS的语法中设置num_ref_idx_l0_active_minus1和num_ref_idx_l1_minus1。从L0/L1的时间列表的头部起的、由这些num_ref_idx_l0_active_minus1和num_ref_idx_l1_minus1所限制的参考图像的数量被添加到参考列表，并且可以被用作参考图像。

例如，在num_ref_idx_l0_active_minus1为3的情况下，L0的时间列表中的头部(第一个)至第四个图像被添加至L0的参考列表，并且生成L0的参考列表。在这种情况下，按照索引0的短期(之前)参考图像、索引0的短期(之后)参考图像以及索引0和1的视图间参考图像的顺序生成L0的参考列表。

例如，在num_ref_idx_l1_active_minus1为3的情况下，L1的时间列表中的头部(第一个)至第四个图像被添加至L1的参考列表，并且生成L1的参考列表。在这种情况下，按照索引0的短期(之后)参考图像、索引0的短期(之前)参考图像以及索引0和1的视图间参考图像的顺序生成L1的参考列表。

在此，在视图间参考图像的列表中，索引2和3的视图间参考图像比索引0和1的视图间参考图像更高地相关，并且期望在时间列表中增加索引2和3的这些视图间参考图像的优先级。为了实现这点，需要传送参考列表改变的语法。

通过参考列表改变的语法的传送，如图的中部所示，在L0的时间列表(RefPicListTemp0[rldx])和L1的时间列表(RefPicListTemp1[rldx])中，可以使得索引2和3的视图间参考图像的优先级比索引0和1的视图间参考图像的优先级更高。

因此，按照索引0的短期(之前)参考图像、索引0的短期(之后)参考图像以及索引2和3的视图间参考图像的顺序，生成根据L0的时间列表所生成的L0的参考列表(RefPicList0[rldx])。

类似地，按照索引1的短期(之后)参考图像、索引0的短期(之前)参考图像以及索引2和3的视图间参考图像的顺序，生成根据L1的时间列表所生成的L1的参考列表(RefPicList1[rldx])。

如上所述，在HEVC系统中，为了改变参考列表中视图间参考图像的顺序，需要传送参考列表改变的语法。然而，通过语法传送改变命令，产生了额外的比特。

因此，在本技术中，关于视图间参考图像，在SPS或切片头中设置作为指示具有正在被参考的可能性的图像的信息(即，控制在层(视图)方向上可参考的参考图像的信息)的参考图像标志(used_by_curr标志)。

[本技术的生成参考列表的方法]

接下来，将参照图8描述本技术的生成默认参考列表的方法。在图8的示例中，示出了解码图片缓冲器112中的短期(之前)参考图像的列表(阵列)(RefPicSetStCurrBefore[i])、短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])、长期参考图像的列表(RefPicLtCurr[i])以及视图间参考图像的列表(RefPicSetIvCurr[i])。

在短期(之前)参考图像的列表和短期(之后)参考图像的列表中，分别地排列有两个参考图像。在长期参考图像的列表中，排列有一个参考图像。在视图间参考图像的列表中，排列有四个参考图像。

类似于参照图7的传统参考列表，关于短期参考图像，在切片头或RPS的语法中，used_by_curr标志被设置到具有正在被参考的可能性的图像。关于长期参考图像，在切片头或SPS的语法中，used_by_curr标志被设置到具有正在被参考的可能性的图像。然后，在本技术中，关于视图间参考图像，在切片头或SPS的语法中，used_by_curr标志被设置到正在被参考的图像。仅具有为1的used_by_curr标志的图像被添加到在生成参考列表中要被使用的时间列表中。

因此，按照索引0的短期(之前)参考图像、索引0的短期(之后)参考图像以及索引2和3的视图间参考图像的顺序，生成图8的示例中的L0的时间列表(RefPicListTemp0[rldx])。

类似地，按照索引0的短期(之后)参考图像、索引0的短期(之前)参考图像以及索引2和3的视图间参考图像的顺序，生成L1的时间列表(RefPicListTemp1[rldx])。

然后，在这种情况下，根据num_ref_idx_l0_active_minus1＝3，按照索引0的短期(之前)参考图像、索引0的短期(之后)参考图像以及索引2和3的视图间参考图像的顺序，生成L0的参考列表(RefPicListTemp1[rldx])。类似地，根据num_ref_idx_l1_active_minus1＝3，按照索引0的短期(之后)参考图像、索引0的短期(之前)参考图像以及索引2和3的视图间参考图像的顺序生成L1的参考列表(RefPicListTemp1[rldx])。

如上所述，根据本技术，要被添加到默认参考列表(时间列表)的视图间参考图像可以被设置在参考图像的列表中，因此不需要发送参考列表改变的语法。因此，可以改进编码效率。

[VPS的语法的示例]

图9是示出了MV-HEVC中的VPS的语法的示例的图。在各个行的左端的数字是针对说明所给出的行号。

在图9的示例中，在第10行中限定view_id[i]。在第12行中限定num_direct_ref_layers[i]。在num_direct_ref_layers[i]中，描述了可参考层的数量。

在第14行中限定ref_layer_id[i][j]。在ref_layer_id[i][j]中，可参考层ID由在第12行的num_direct_ref_layers[i]中所描述的数量描述。

即，ref_layer_id[i][j]替代LayerIdInterView[i]，并且相对应的视图间参考图像替代视图间参考图像列表RefPicSetIvCurr[i]。

[SPS扩展的语法的示例]

图10是示出了本技术的SPS扩展的语法的示例的图。在各个行的左端的数字是针对说明所给出的行号。

在图10的示例中，在第4行中限定ref_layer_modified_sps_flag。当ref_layer_modified_sps_flag为1时，在此SPS扩展中限定第7行的used_by_curr_pic_layer_sps_flag[i]。

used_by_curr_pic_layer_sps_flag[i]是视图间参考图像标志，其指示图9的第14行的ref_layer_id[i][j]，即，视图间参考图像列表RefPicSetIvCurr[i]中的视图间参考图像是否具有正在被参考的可能性。当used_by_curr_pic_layer_sps_flag[i]为1时，相对应的视图间参考图像被添加到时间列表(即，参考列表)。

[切片头扩展的语法的示例]

图11是示出了本技术的切片头扩展的语法的示例的图。在各个行的左端的数字是针对说明所给出的行号。

在图11的示例中，在第4行中限定ref_layer_modified_sps_flag。当ref_layer_modified_sps_flag为1时，在此SPS扩展中限定第7行的used_by_curr_pic_layer_sps_flag[i]。

used_by_curr_pic_layer_sps_flag[i]是如下视图间参考图像标志：其指示以上所述的图9的第14行的ref_layer_id[i][j]，即，视图间参考图像列表RefPicSetIvCurr[i]中的视图间参考图像是否具有正在被参考的可能性。当used_by_curr_pic_layer_sps_flag[i]为1时，相对应的视图间参考图像被添加到时间列表(即，参考列表)。

即，图10和图11所示的视图间参考图像标志是控制在层方向上可参考的参考图像的添加的层参考图像信息。

层参考图像信息被设置到SPS或切片头，并且被传送。然而，层参考图像信息可以被设置到其他语法，只要其他语法低于VPS即可。

注意，在以上的说明中，类似于传统参考列表，已经描述了下述示例：在该示例中，在L0和L1中视图间图像到参考列表(时间列表)的添加顺序相同。然而，可以在L0与L1之间改变顺序。

[视图间图像之中的布置]

接下来，将参照图12描述在本技术中的视图间图像之中的布置顺序。

在传统技术中，基于VPS的ref_layer_id[i][j]，适当的视图间参考图像按照j＝0、1、2、……的顺序被添加到参考列表(时间列表)。在L0与L1之间，此处理完全相同，因此在时间列表L0/L1中，视图间参考图像的布置顺序相同。

因此，在本技术中，按照ref_layer_id[i][j](j＝0、1、2、…)的顺序，视图间参考图像被添加到L0的时间列表。此外，按照ref_layer_id[i][j](j＝…、2、1、0)的顺序，视图间参考图像被添加到L1的时间列表。

具体地，如图12的左侧所示，假定当在view_id＝0、1、2、3的四个视图中对view_id＝2的视图图像进行编码时，在VPS中按照view_id＝1、0、3的顺序描述参考关系。

在这种情况下，在本技术中，如图12的右侧所示，在L0的时间列表中按照在VPS中所描述的view_id＝1、0、3的顺序布置视图间参考图像。此外，在L1的时间列表中，按照作为与在VPS中所描述的view_id相反的顺序的顺序＝3、0、1布置视图间参考图像。

这样做时，在L0/L1的时间列表中，当仅参考第ref_id＝(n+1)个图像时，即，当仅第ref_id＝(n+1)个图像被添加到参考列表时，在L0与L1之间可以参考不同的视图间参考图像。

具体地，在图12的示例中，在L0中第(N+1)个为view_id＝1的v1，而在L1中第(N+1)个为view_id＝3的v3。因此，第(n+1)个视图间参考图像可以在L0与L1之间改变。

如上所述，在L0/L1之间可以参考不同的视图间参考图像。因此，存在与使用相同图像的情况相比视差预测的性能变得更好的较高可能性，并且可以期望编码效率的改进。

注意，在非专利文献1的描述中，如图13的实线所示，对于L0未给予改变。然而，如图13的虚线所示，给予改变以使得视图间图像按照与L0相反的顺序被添加。

如在接下来的图14中所示地配置执行上述处理的图2的参考列表生成单元122。

[参考列表生成单元的配置示例]

图14是示出了执行上述处理的参考列表生成单元的配置示例的框图。

在图14的示例中，参考列表生成单元122包括参考图像设置单元131、时间列表生成单元132以及参考图像列表生成单元133。

参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的时间信息(即，POC信息)和被设置到来自语法处理单元121的切片头或RPS的短期参考图像的used_by_curr标志，设置短期(之前)参考图像，并且生成短期(之前)参考图像列表(RefPicSetStCurrBefore[i])。参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的时间信息和被设置到来自语法处理单元121的切片头或RPS的短期参考图像的used_by_curr标志，设置短期(之后)参考图像，并且生成短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])。

参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的时间信息和被设置到切片头或SPS的长期参考图像的used_by_curr标志，设置长期参考图像，并且生成长期参考图像列表(RefPicLtCurr[i])。参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的视图信息和被设置到切片头或SPS的视图间参考图像的used_by_curr标志，设置视图间参考图像(RefPicSetIvCurr[i])，并且生成列表。

时间列表生成单元132按照预定的顺序对由参考图像设置单元131所设置的列表进行组合，并且生成L0和L1的时间列表(RefPicListTemp0[rldx]和RefPicListTemp1[rldx])。注意，在L0的情况下，按照短期(之前)参考图像、短期(之后)参考图像、长期参考图像以及视图间参考图像的顺序对由参考图像设置单元131所设置的列表进行组合。此外，在L1的情况下，按照短期(之后)参考图像、短期(之前)参考图像、长期参考图像以及视图间参考图像的顺序对由参考图像设置单元131所设置的列表进行组合。

参考图像列表生成单元133参考从语法处理单元121所提供的切片头或SPS中所设置的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。参考图像列表生成单元133从由时间列表生成单元132所生成的L0/L1的时间列表中，提取并且添加由在num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1中所设置的数量的参考图像，以生成L0/L1的参考列表。

运动视差预测/补偿单元115参考由参考图像列表生成单元133所生成的L0/L1的参考列表。

[图像编码装置的处理的流程]

接下来，将参照图15的流程图描述由上述的图像编码装置1所执行的处理的流程。注意，在图15中，作为示例示出了视图间参考图像标志被设置到SPS的示例。

来自之前步骤(未示出)的用户的设置信息被输入到图像编码装置1的VPS设置单元11。

在步骤S11处，VPS设置单元11基于来自之前步骤(未示出)的设置信息设置VPS。VPS设置单元11将所设置的VPS连同设置信息一起提供给SPS设置单元12。

在步骤S12处，SPS设置单元12基于来自VPS设置单元11的设置信息，设置包括视图间参考图像标志的SPS。即，SPS设置单元12基于来自VPS设置单元11的设置信息设置SPS。此时，SPS设置单元12在SPS中如图10所示地设置视图间参考图像标志。

SPS设置单元12将所设置的SPS连同VPS和设置信息一起提供给切片头设置单元13。注意，VPS仅被设置到序列的头部。因此，SPS设置单元12将所设置的SPS连同设置信息一起，而不是序列的头部，提供给切片头设置单元13。之后同样适用。

在步骤S13处，切片头设置单元13基于来自SPS设置单元12的设置信息，设置切片头。切片头设置单元13将所设置的切片头连同VPS和SPS一起提供给编码单元14。

诸如以帧为单位的捕获图像等的多视图图像被输入到编码单位14作为输入信号。在步骤S14处，编码单元14通过参考数据头信息，诸如来自切片头设置单元13的VPS、PPS、切片头等，按照HEVC系统对输入信号进行编码。以下将参照图16描述编码处理的详情。

在步骤S14处，参考SPS的视图间参考图像标志并且生成参考列表，以及基于参考列表执行图像预测。此外，执行编码处理，并且根据作为编码处理的结果所获得的编码数据、VPS、SPS、切片头等生成编码流。所生成的编码流被提供给传送单元15。

在步骤S15处，传送单元15将从编码单元14所提供的编码流传送到以下描述的图18的图像解码装置151。

在步骤S16处，SPS设置单元12确定是否已经完成所有视图(层)的处理。当在步骤S16处确定已经完成所有视图(层)的处理时，终止图像编码装置1的处理。当在步骤S16处确定尚未完成所有层(视图)的处理时，处理返回到步骤S12，并且重复步骤S12和随后的步骤的处理。

[编码处理的流程]

接下来，将参照图16的流程图描述图15的步骤S14的编码处理的流程的示例。

在步骤S101处，A/D转换器101执行输入图像的A/D转换。在步骤S102处，画面重排缓冲器102存储经受A/D转换的图像，并且执行从显示顺序到编码顺序的图片的重排。

在步骤S103处，语法处理单元121顺序地确认从画面重排缓冲器102所读取的图像的数据，并且将诸如VPS、SPS(包括RPS)以及切片头的数据头信息插入到图像的数据。语法处理单元121将数据头信息等被插入到其中的图像提供给计算单元103、帧内预测单元114以及运动视差预测/补偿单元115。此外，语法处理单元121将诸如VPS、SPS(包括RPS)以及切片头的数据头信息提供给参考列表生成单元122。

在步骤S104处，计算单元103计算从语法处理单元121所提供的图像与预测图像之间的残差。在帧间预测的情况下，预测图像通过选择单元116从运动视差预测/补偿单元115被提供给计算单元103，而在帧内预测的情况下，预测图像通过选择单元116从帧内预测单元114被提供给计算单元103。

与原始图像数据的数据量相比，差分数据的数据量下降。因此，与如原样对数据进行编码的情况相比，可以压缩数据量。

在步骤S105处，正交变换单元104对通过步骤S104的处理所生成的差分信息进行正交变换。具体地，执行诸如离散余弦变换或Karhunen Loéve变换的正交变换，并且输出变换系数。

在步骤S106处，量化单元105对通过步骤S105的处理所获得的正交变换系数进行量化。

如下地对通过步骤S106的处理所量化的差分信息进行局部解码。即，在步骤S107处，逆量化单元108根据与量化单元105的特性相对应的特性，对通过步骤S106的处理所量化的并且所生成的正交变换系数(还可以被称为量化系数)进行逆正交变换。

在步骤S108处，逆正交变换单元109根据与正交变换单元104的特性相对应的特性，对通过步骤S107的处理所获得的正交变换系数进行逆正交变换。

在步骤S109处，计算单元110将预测图像相加到局部解码差分信息，并且生成局部解码图像(与对计算单元103的输入相对应的图像)。

在步骤S110处，去块滤波器111对从加法单元205所提供的图像执行滤波，并且移除块失真。去块滤波器111将作为滤波器处理的结果所获的图像提供给自适应偏移滤波器123。

在步骤S111处，自适应偏移滤波器123针对每个LCU、对从去块滤波器111所提供的图像执行自适应偏移滤波器处理。自适应偏移滤波器123将作为滤波器处理的结果所获得的图像提供给自适应环路滤波器124。此外，自适应偏移滤波器123针对每个LCU将存储标志、索引或偏移以及类型信息提供给无损编码单元106，作为偏移滤波器信息。

在步骤S112处，自适应环路滤波器124针对每个LCU、对从自适应偏移滤波器123所提供的图像执行自适应环路滤波器处理。自适应环路滤波器124将作为滤波器处理的结果所获得的图像提供给解码图片缓冲器112。此外，自适应环路滤波器124将在自适应环路滤波器处理中所使用的滤波器系数提供给无损编码单元106。

在步骤S113处，解码图片缓冲器112存储经受滤波器处理的图像。注意，未经受滤波器处理的图像也从计算单元110被提供给解码图片缓冲器112，并且被存储在其中。在解码图片缓冲器112中所累积的图像通过选择单元213被提供给运动视差预测/补偿单元115或帧内预测单元114，作为参考图像。

在步骤S114处，帧内预测单元114在帧内预测模式中执行帧内预测处理。

在步骤S115处，参考列表生成单元122生成在对当前图像进行预测中，要由运动视差预测/补偿单元115所参考的参考列表。以下将参照图17描述生成参考列表的处理的详情。

在步骤S115中，基于SPS的视图参考图像标志，生成在生成参考列表中要被使用的时间列表。然后，基于所生成的时间列表生成参考列表。即，基于视图参考图像标志生成参考列表。

在步骤S116处，运动视差预测/补偿单元115使用通过步骤S115的处理所生成的参考列表中所指示的参考图像索引的参考图像，执行帧间运动视差预测处理，该帧间运动视差预测处理在帧间预测模式中执行运动视差预测和运动视差补偿。

在步骤S117中，选择单元116基于从帧内预测单元114和运动视差预测/补偿单元115所输出的成本函数值，确定最佳预测模式。即，选择单元116选择由帧内预测单元114所生成的预测图像和由运动视差预测/补偿单元115所生成的预测图像中之一。

此外，指示选择了哪个预测图像的选择信息被提供给帧内预测单元114和运动视差预测/补偿单元115之中、从其选择了预测图像的一个。当选择了最佳帧内预测模式中的预测图像时，帧内预测单元114将指示最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元106。

当选择了最佳帧间预测模式中的预测图像时，运动视差预测/补偿单元115将指示最佳帧间预测模式的信息输出到无损编码单元106，以及根据需要将根据最佳帧间预测模式的信息输出到无损编码单元106。根据最佳帧间预测模式的信息的示例包括运动向量信息、视差向量信息、标志信息、参考帧信息。

在步骤S118处，无损编码单元106对通过步骤S106的处理所量化的变换系数进行编码。即，针对差分图像(在帧间预测的情况下的二次差分图像)执行诸如可变长度编码和算术编码的无损编码。

此外，无损编码单元106将与通过步骤S117的处理所选择的预测图像的预测模式有关的信息添加到通过对差分图像进行编码所获得的编码数据。即，无损编码单元106将从帧内预测单元114所提供的帧内预测模式信息、或从运动视差预测/补偿单元115所提供的根据最佳帧间预测模式的信息等添加到编码数据。

在步骤S119处，累积缓冲器107对从无损编码单元106所输出的编码数据进行累积。累积缓冲器107根据所累积的编码数据、VPS、SPS、切片头等生成编码流，并且将所生成的编码流提供给图1的传送单元15。

在步骤S120处，速率控制单元117基于通过步骤S119的处理在累积缓冲器107中所累积的压缩图像，控制量化单元105的量化操作的速率，使得不发生上溢或下溢。

当完成步骤S120的处理时，编码处理终止。

[参考列表生成处理的流程]

接下来，将参照图17的流程描述在图16的步骤S115处所执行的参考列表生成处理的流程的示例。注意，仅在解码图像(即，要预测的当前图像)是P图片或B图片的情况下，执行此处理。

在上述图16的步骤S103处，诸如解码图像的VPS、SPS(包括RPS)以及切片头的数据头信息从语法处理单元121被提供给参考列表生成单元122。短期参考图像的used_by_curr标志被设置到从语法处理单元121所提供的切片头或RPS。长期参考图像的used_by_curr标志被设置到切片头或SPS。此外，视图间参考图像的used_by_curr标志(视图间参考图像标志)在图15的步骤S12处被设置到切片头或SPS。

参考列表生成单元122的参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的时间信息(即，POC信息)以及切片头或RPS设置短期(之前)参考图像(STbC)，并且生成RefPicSetStCurrBefore[i]列表。然后，在步骤S131处，参考图像设置单元131将切片头或RPS中短期(之前)参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetStCurrBefore[i]中。

参考图像设置单元131通过参考参考图像的时间信息以及来自解码图片缓冲器112的切片头或RPS设置短期(之后)参考图像(STaC)，并且生成RefPicSetStCurrAfter[i]列表。在步骤S132处，参考图像设置单元131将在切片头或RPS中的短期(之后)参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetStCurrAfter[i]列表中。

参考图像设置单元131通过参考参考图像的时间信息以及来自解码图片缓冲器112的切片头和SPS设置长期参考图像(LT)，并且生成RefPicLtCurr[i]列表。在步骤S133处，参考图像设置单元131将切片头或SPS中的长期参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicLtCurr[i]列表中。

参考图像设置单元131通过参考来自解码图片缓冲器112的参考图像的视图信息、切片头、SPS以及VPS设置视图间参考图像，并且生成RefPicSetIvCurr[i]列表。在步骤S134处，参考图像设置单元131将在切片头或SPS中的视图间参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetIvCurr[i]列表中。

在步骤S135中，时间列表生成单元132按照STbC、STaC、LT以及IV的顺序对由参考图像设置单元131所设置的上述四种类型的列表进行组合，并且生成L0的时间列表(RefPicListTemp0[rldx])。

即，按照STbC、STaC、LT以及IV的顺序仅对在上述四种类型的列表中的used_by_curr标志为1的参考图像进行组合，并且生成L0的时间列表。

在步骤S136处，时间列表生成单元132按照STaC、STbC、LT以及IV的顺序对由参考图像设置单元131所设置的上述四种类型的列表进行组合，并且生成L1的时间列表(RefPicListTemp1[rldx])。

即，按照STaC、STbC、LT以及IV的顺序仅对used_by_curr标志为1的参考图像进行组合，并且生成L1的时间列表。注意，此时，如参照图12所描述地，参考图像可以按照与L0方向的顺序相反的顺序被添加。

num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1被设置到从语法处理单元121所提供的切片头或SPS。

在步骤S137处，参考图像列表生成单元133提取从L0的时间列表(RefPicListTemp0[rldx])的头部到num_ref_idx_l0_active_minus1+1的元素，并且生成L0的参考列表(RefPicList0[rldx])。

在步骤S138处，参考图像列表生成单元133提取从L1的时间列表(RefPicListTemp1[rldx])的头部到num_ref_idx_l1_active_minus1+1的元素，并且生成L1的参考列表(RefPicList1[rldx])。

如上所述，参考切片头或SPS中的视图间参考图像的参考图像标志(used_by_curr标志)并且插入视图间图像，以及生成默认参考列表。

<2.第二实施例>

[图像解码装置]

图18示出了作为应用了本公开的图像处理设备的图像解码装置的实施例。图18所示的图像解码装置151是与图1的图像编码装置1相对应的图像解码装置。

由图1的图像编码装置1所编码的编码流通过预定的传送路径被传送到与图像编码装置1相对应的图像解码装置51，并且按照HEVC系统等被解码。

图18的图像解码装置151包括接收单元161、VPS提取单元162、SPS提取单元163、切片头提取单元164以及解码单元165。

图像解码装置151的接收单元161接收从图1的图像编码装置1所传送的编码流，并且将编码流提供给VPS提取单元162。VPS提取单元162在从接收单元161所提供的编码流中提取VPS，并且将所提取的VPS和编码流提供给SPS提取单元163。

SPS提取单元163在从VPS提取单元162所提供的编码流中提取SPS，并且将所提取的SPS、VPS以及编码流提供给切片头提取单元164。切片头提取单元164在从SPS提取单元163所提供的编码流中提取切片头。此外，切片头提取单元164在从SPS提取单元163所提供的编码流中提取编码数据。切片头提取单元164将所提取的切片头和编码数据、SPS以及VPS提供给解码单元165。注意，VPS、SPS、切片头等可以根据需要在提取单元中被解码。

解码单元165根据需要通过参考数据头信息(诸如，从切片头提取单元164所提供的VPS、SPS以及切片头)按照HEVC系统对从切片头提取单元164所提供的编码数据进行解码。解码单元165将作为解码的结果所获得的解码图像提供给随后的步骤(未示出)的显示控制单元作为输出信号。

[解码单元的配置示例]

图19是示出了图18的解码单元165的配置示例的框图。

如图19所示，解码单元165包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块滤波器206、画面重排缓冲器207以及D/A转换器208。此外，解码单元165包括解码图片缓冲器209、选择单元210、帧内预测单元211、运动视差预测/补偿单元212以及选择单元213。

此外，解码单元165包括语法处理单元221、参考列表生成单元222、自适应偏移滤波器223以及自适应环路滤波器224。

累积缓冲器201对来自切片头提取单元164的编码数据进行累积。编码数据是由图像编码装置1所编码的数据。语法处理单元221以预定的定时获取从累积缓冲器201所读取的编码数据，以及诸如VPS、SPS和切片头的数据头信息，并且将所获取的数据头信息连同编码数据一起提供给无损解码单元202。此外，语法处理单元221将所获取的数据头信息等提供给参考列表生成单元222。

无损解码单元202按照与图2的无损编码单元106的编码系统相对应的系统，对来自语法处理单元221的编码数据进行解码。逆量化单元203按照与图2的量化单元105的量化系统相对应的系统，对由无损解码单元202所解码并且所获得的系数数据(量化系数)进行逆量化。即，逆量化单元203使用从图像编码装置1所提供的量化参数，通过与图2的逆量化单元108类似的方法，对量化系数进行逆量化。

逆量化单元203将逆量化的系数数据(即，正交变换系数)提供给逆正交变换单元204。逆正交变换单元204按照与图2的正交变换单元104的正交变换系统相对应的系统对正交变换系数进行逆正交变换，并且获得与经受图像编码装置1中的正交变换之前的残差数据相对应的解码残差数据。

通过逆正交变换所获得的解码残差数据被提供给计算单元205。此外，预测图像从帧内预测单元211或运动视差预测/补偿单元212通过选择单元213被提供给计算单元205。

计算单元205将解码残差数据和预测数据相加，并且获得与由图像编码装置1的计算单元103减去预测图像之前的图像数据相对应的解码图像数据。计算单元205将解码图像数据提供给去块滤波器206。

去块滤波器206通过适当地执行去块滤波器处理移除解码图像的块失真。去块滤波器206将作为去块滤波器处理的结果所获得的图像提供给自适应偏移滤波器223。

自适应偏移滤波器223包括缓冲器，在该缓冲器中按顺序存储有从无损解码单元202所提供的偏移。此外，自适应偏移滤波器223针对每个LCU、基于从无损解码单元202所提供的偏移滤波器信息，对在由去块滤波器206进行的自适应去块滤波器处理之后的图像执行自适应偏移滤波器处理。

具体地，当在偏移滤波器信息中所包括的存储标志为0时，自适应偏移滤波器223使用在偏移滤波器信息中所包括的偏移，针对每个LCU的去块滤波器处理之后的图像执行由类型信息所指示的类型的自适应偏移滤波器处理。

同时，当在偏移滤波器信息中所包括的存储标志为1时，自适应偏移滤波器223针对每个LCU的去块滤波器处理之后的图像，读取在由偏移滤波器信息中所包括的索引所指示的位置中所存储的偏移。然后，自适应偏移滤波器223使用所读取的偏移执行由类型信息所指示的类型的自适应偏移滤波器处理。自适应偏移滤波器223将自适应偏移滤波器处理之后的图像提供给自适应环路滤波器224。

自适应环路滤波器224使用从无损解码单元202所提供到滤波器系数，针对每个LCU对从自适应偏移滤波器223所提供的图像执行自适应环路滤波器处理。自适应环路滤波器处理224将作为滤波器处理的结果所获得的图像提供给画面重排缓冲器207。

画面重排缓冲器207执行图像的重排。即，由图2的画面重排缓冲器102针对编码顺序所重排的帧的顺序被重排为显示的原始顺序。D/A转换器208执行从画面重排缓冲器207所提供的图像的D/A转换，将转换后的图像输出到显示控制单元(未示出)，以及在显示器中显示图像。

去块滤波器206的输出还被提供给解码图片缓冲器209。

解码图片缓冲器209、选择单元210、帧内预测单元211、运动视差预测/补偿单元212以及选择单元213分别地对应于图像编码装置1的解码图片缓冲器112、选择单元113、帧内预测单元114、运动视差预测/补偿单元115以及选择单元116。

选择单元210从解码图片缓冲器209读取要经受帧间处理的图像和要被参考的图像，并且将图像提供给运动视差预测/补偿单元212。此外，选择单元210从解码图片缓冲器209读取在帧内预测中要使用的图像，并且将图像提供给帧内预测单元211。

从数据头信息所获得的指示帧内预测模式的信息等适当地从无损解码单元202被提供给帧内预测单元211。帧内预测单元211基于信息根据从解码图片缓冲器209所获得的参考图像生成预测图像，并且将所生成的预测图像提供给选择单元213。

从数据头信息所获得的信息(预测模式信息、运动向量信息、视差向量信息、各种类型的参数等)从无损解码单元202被提供给运动视差预测/补偿单元212。此外，由参考列表生成单元212所分配的参考图像索引被提供给运动视差预测/补偿单元212。

运动视差预测/补偿单元212基于从无损解码单元202所提供的信息和由参考列表生成单元222所生成的参考列表中所指示的参考图像索引，根据从解码图片缓冲器209所获得的参考图像生成预测图像。运动视差预测/补偿单元212将所生成的预测图像提供给选择单元213。

选择单元213选择由运动视差预测/补偿单元212或帧内预测单元211所生成的预测图像，并且将所选择的预测图像提供给计算单元205。

参考列表生成单元222被配置为基本上类似于图像编码装置1的参考列表生成单元122。参考列表生成单元222使用来自语法处理单元221的数据头信息和在解码图片缓冲器209中所累积的参考图像的信息(POC信息和视图信息)，生成在对当前图像进行预测中要由运动视差预测/补偿单元212所参考的参考列表。参考列表是在时间方向上可参考的参考图像和在视图(层)方向上的参考图像的参考图像的列表(阵列)。

在参考列表生成之前，参考列表生成单元222生成在生成参考列表中要使用的时间列表。此时，参考列表生成单元222通过参考来自语法处理单元221的SPS或切片头，将在视图方向上可参考的参考图像插入到时间列表。

然后，参考列表生成单元222基于所生成的时间列表生成参考列表。

[参考列表生成单元的配置示例]

图20是示出了图19的参考列表生成单元的配置示例的框图。

在图20的示例中，参考列表生成单元222包括参考图像设置单元231、时间列表生成单元232以及参考图像列表生成单元233。

参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的时间信息(即，POC信息)和被设置到来自语法处理单元221的切片头或RPS的短期参考图像的used_by_curr标志，设置短期(之前)参考图像，并且生成短期(之前)参考图像列表(RefPicSetStCurrBefore[i])。参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的时间信息和被设置到来自语法处理单元221的切片头或RPS的短期参考图像的used_by_curr标志，设置短期(之后)参考图像，并且生成短期(之后)参考图像列表(RefPicSetCurrAfter[i])。

参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的时间信息和被设置到切片头或SPS的长期参考图像的used_by_curr标志，设置长期参考图像，并且生成长期参考图像列表(RefPicLtCurr[i])。参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的视图信息和被设置到切片头或SPS的视图间参考图像的used_by_curr标志，设置视图间参考图像(RefPicSetIvCurr[i])，并且生成其列表。

时间列表生成单元232按照预定的顺序对由参考图像设置单元231所设置的列表进行组合，并且生成L0和L1的时间列表(RefPicListTemp0[rldx]和RefPicListTemp1[rldx])。注意，在L0的情况下，按照短期(之前)参考图像、短期(之后)参考图像、长期参考图像以及视图间参考图像的顺序，对由参考图像设置单元231所设置的列表进行组合。此外，在L1的情况下，按照短期(之后)参考图像、短期(之前)参考图像、长期参考图像以及视图间参考图像的顺序，对由参考图像设置单元231所设置的列表进行组合。

参考图像列表生成单元233参考被设置到从语法处理单元221所提供的切片头或SPS的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。参考图像列表生成单元233从由时间列表生成单元232所生成的L0/L1的时间列表提取并且添加在num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1中所设置的数量的参考图像，以生成L0/L1的参考列表。

运动视差预测/补偿单元212参考由参考图像列表生成单元233所生成的L0/L1的参考列表。

[解码装置的处理的流程]

接下来，将参照图21的流程图描述由以上所述的图像解码装置151所执行的处理的流程。注意，在图21的示例中，作为示例将示出视图间参考图像标志被设置到SPS的示例。

由图1的图像编码装置1所编码的编码流通过预定的传送路径被传送到与图像编码装置1相对应的图像解码装置151。

在步骤S161处，图像解码装置151的接收单元161接收从图1的图像编码装置1所传送的编码流，并且将编码流提供给VPS提取单元162。

在步骤S162处，VPS提取单元162在从接收单元161所提供的编码流中提取VPS。VPS提取单元162将所提取的VPS和编码流提供给SPS提取单元163。

在步骤S163处，SPS提取单元163在从VPS提取单元162所提供的编码流中提取包括视图间参考图像标志的SPS。即，SPS提取单元163在从VPS提取单元162所提供的编码流中提取SPS。此时，SPS提取单元163还提取在SPS中所包括的视图间参考图像标志。

SPS提取单元163将所提取的SPS和VPS以及编码流提供给切片头提取单元164。

在步骤S164处，切片头提取单元164在从SPS提取单元163所提供的编码流中提取切片头。此时，切片头提取单元164在从SPS提取单元163所提供的编码流中提取编码数据。切片头提取单元164将所提取的切片头和编码数据、SPS以及VPS提供给解码单元165。

在步骤S165处，解码单元165根据需要通过参考数据头信息(诸如从切片头提取单元164所提供的VPS、SPS以及切片头)，按照HEVC系统对从切片头提取单元164所提供的编码数据进行解码。将参照图22描述解码处理的详情。

在步骤S165处，对编码数据进行解码并且生成图像，参考SPS中的视图间参考图像标志并且生成参考列表，以及基于参考列表执行所生成的图像的预测。

解码单元165将作为解码的结果所获得的解码图像提供给随后的步骤(未示出)的显示控制单元作为输出信号。

在步骤S166处，SPS提取单元163确定是否已经完成了所有视图(层)的处理。当在步骤S166处确定已经完成了所有视图(层)的处理时，终止图像解码装置151的处理。当在步骤S166处确定尚未完成所有视图(层)的处理时，处理返回到步骤S163，并且重复步骤S163和随后的步骤的处理。

[解码处理的流程]

接下来，将参照图22的流程图描述图21的步骤S165处的解码处理的流程的示例。

当开始解码处理时，在步骤S201处，累积缓冲器201对所传送的编码数据进行累积。在步骤S202处，语法处理单元221以预定的定时获取从累积缓冲器201所读取的编码数据和数据头信息。语法处理单元221将所获取的数据头信息连同编码数据一起提供给无损解码单元202。此外，语法处理单元221将所获取的数据头信息(VPS、SPS(包括RPS)、以及切片头)提供给参考列表生成单元222。

在步骤S203处，无损解码单元202对从语法处理单元221所提供的编码数据进行解码。即，对由图2的无损编码单元106所编码的I图片、P图片以及B图片进行解码。

此时，从数据头信息获取运动向量信息、视差向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)以及标志和量化参数的信息。

当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，与预测模式信息相对应的运动向量信息被提供给运动视差预测/补偿单元212。

在步骤S204处，逆量化单元203对由无损解码单元202所解码的并且所获得的量化正交变换系数进行逆量化。在步骤S205处，逆正交变换单元204通过与图2的正交变换单元104相对应的方法、对由逆量化单元203所逆量化的并且所获得的正交变换系数进行逆正交变换。因此，对与图2的正交变换单元104的输入(计算单元103的输出)相对应的差分信息进行解码。

在步骤S206处，计算单元205将预测图像相加到通过步骤S205的处理所获得的差分信息。因此，对原始图像数据进行解码。

在步骤S207处，去块滤波器206对通过步骤S206的处理所获得的解码图像适当地进行滤波。因此，从解码图像中仅适当地移除块失真。去块滤波器206将作为滤波的结果所获得的图像提供给自适应偏移滤波器223。

在步骤S208处，自适应偏移滤波器223基于从无损解码单元202所提供的偏移滤波器信息，针对每个LCU对由去块滤波器206进行的去块滤波器处理之后的图像执行自适应偏移滤波器处理。自适应偏移滤波器223将自适应偏移滤波器处理之后的图像提供给自适应环路滤波器224。

在步骤S209处，自适应环路滤波器224使用从无损解码单元202所提供的滤波器系数，针对每个LCU对从自适应偏移滤波器223所提供的图像执行自适应环路滤波器处理。自适应环路滤波器224将作为滤波器处理的结果所获得的图像提供给解码图片缓冲器209和画面重排缓冲器207。

在步骤S210处，解码图片缓冲器209存储滤波后的解码图像。

在步骤S211处，参考列表生成单元222生成在对当前图像进行预测中要由运动视差预测/补偿单元212所参考的参考列表。以下将参照图23描述生成参考列表的处理的详情。

在步骤S211处，基于SPS的视图参考图像标志，生成在生成参考列表中要使用的时间列表。然后，基于所生成的时间列表生成参考列表。即，基于视图参考图像标志生成参考列表。

在步骤S212处，帧内预测单元211或运动视差预测/补偿单元212与从无损解码单元202所提供的预测模式信息相对应地执行每个图像的预测处理。

即，当从无损解码单元202提供帧内预测模式信息时，帧内预测单元211在帧内预测模式中执行帧内预测处理。此外，当从无损解码单元202提供帧间预测模式信息时，运动视差预测/补偿单元212使用通过步骤S211的处理所生成的参考列表中所指示的参考图像索引的参考图像，在帧间预测模式中执行运动视差预测补偿处理。

在步骤S213处，选择单元213选择预测图像。即，由帧内预测单元211所生成的预测图像或由运动视差预测/补偿单元212所生成的预测图像被提供给选择单元213。选择单元213选择从其提供了预测图像的一方，并且将预测图像提供给计算单元205。通过步骤S206的处理，该预测图像被相加到差分信息。

在步骤S214处，画面重排缓冲器207执行解码图像数据的帧的重排。即，由图像编码装置1的画面重排缓冲器102(图2)针对编码所重排的解码图像数据的帧的顺序被重排为显示的原始顺序。

在步骤S215处，D/A转换器208对解码图像数据执行D/A转换，解码图像数据的帧在画面重排缓冲器缓冲器207中被重排。解码图像数据通过显示控制单元(未示出)被输出到显示器，并且显示图像。当步骤S215的处理将完成时，解码处理终止。

[参考列表生成处理的流程]

接下来，将参照图23的流程图描述在图22的步骤S211处所执行的参考列表生成处理的流程。注意，仅在解码图像(即，要预测的当前图像)是P图片或B图片的情况下执行此处理。

在以上所描述的图22的步骤S203中，数据头信息，诸如解码图像的VPS、SPS(包括RPS)以及切片头从语法处理单元221被提供给参考列表生成单元222。短期参考图像的used_by_curr标志被设置到从语法处理单元221所提供的切片头或RPS。长期参考图像的used_by_curr标志被设置到切片头或SPS。此外，视图间参考图像的used_by_curr标志(视图间参考图像标志)在图15的步骤S12处被设置到切片头或SPS。

参考列表生成单元222的参考图像设置单元231通过参考来自解码图片缓冲器209的时间信息(即，POC信息)和切片头或RPS，设置短期(之前)参考图像(STbC)，并且生成RefPicSetStCurrBefore[i]列表。然后，在步骤S231处，参考图像设置单元231将在切片头或RPS中的短期(之前)参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetStCurrBefore[i]列表中。

参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的时间信息和切片头或RPS，设置短期(之后)参考图像(STaC)，并且生成RefPicSetStCurrAfter[i]列表。然后，在步骤S232处，参考图像设置单元231将在切片头或RPS中的短期(之后)参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetStCurAfter[i]列表中。

参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的时间信息和切片头或SPS，设置长期参考图像(LT)，并且生成RefPicLtCurr[i]列表。在步骤S233处，参考图像设置单元231将在切片头或RPS中的长期参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicLtCurr[i]列表中。

参考图像设置单元231通过参考来自解码图片缓冲器209的参考图像的视图信息、切片头、SPS以及VPS，设置视图间参考图像(IV)，并且生成RefPicSetIvCurr[i]。在步骤S234处，参考图像设置单元231将在切片头或SPS中的视图间参考图像的参考图像标志(used_by_curr标志)＝1的参考图像留在RefPicSetIvCurr[i]中。

在步骤S235处，时间列表生成单元232按照STbC、STaC、LT以及IV的顺序对由参考图像设置单元131所设置的上述四种类型的列表进行组合，并且生成L0的时间列表(RefPicListTemp0[rldx])。

即，按照STbC、STaC、LT以及IV的顺序仅对在上述四种类型的列表中具有为1的used_by_curr标志的参考图像进行组合，并且生成L0的时间列表。

在步骤S236处，时间列表生成单元132按照STaC、STbC、LT以及IV的顺序对由参考图像设置单元131所设置的上述四种类型的列表进行组合，并且生成L1的时间列表(RefPicListTemp1[rldx])。

即，按照STaC、STbC、LT以及IV的顺序仅对具有为1的used_by_curr标志的参考图像进行组合，并且生成L1的时间列表。注意，此时，如参照图12所描述的，按与L0方向的顺序相反的顺序添加参考图像。

num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1被设置到从语法处理单元221所提供的切片头或SPS。

在步骤S237处，参考图像列表生成单元233提取从L0的时间列表(RefPicListTemp0[rldx])的头部到num_ref_idx_l0_active_minus1+1的元素，并且生成L0的参考列表(RefPicList0[rIdx])。

在步骤S238处，参考图像列表生成单元233提取从L1的时间列表(RefPicListTemp1[rldx])的头部到num_ref_idx_l1_active_minus1+1的元素，并且生成L1的参考列表(RefPicList1[rIdx])。

如上所述，基于在切片头或SPS中的视图间参考图像的参考图像标志插入视图间参考图像，并且生成默认参考列表。

此外，虽然在以上描述中HEVC系统被用作基本编码系统，但是本技术是执行显示的技术并且不限于编码系统。因此，不仅HEVC系统可以应用到本技术，而且其他编码系统/解码系统也可以应用到本技术。例如，本技术可以被应用到基于以下所描述的AVC系统执行编码/解码处理的装置。

<3.第三实施例>

[编码单元的其他配置示例]

图24是示出了图1的编码单元14的另一配置示例的框图。图24的编码单元14与图2的编码单元14的不同之处在于：按照AVC系统执行编码处理。

采用相同的附图标记来标示图24所示的配置中与图2的配置相同的配置。适当地省略重复的说明。

图24的编码单元14包括A/D转换器101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。此外，图像编码装置1包括逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器111、解码图片缓冲器112、选择单元113、帧内预测单元114、运动视差预测/补偿单元115、选择单元116以及速率控制单元117。

编码单元14还包括语法处理单元121和参考列表生成单元122。

即，图24的编码单元14的配置与图2的编码单元14的配置的不同之处仅在于：移除了自适应偏移滤波器123和自适应环路滤波器124，并且代替于HEVC系统，无损编码单元106按照AVC系统执行编码。因此，在编码单元14中，代替于CU单位以块单位执行编码处理。

除了自适应偏移滤波器和自适应环路滤波器的参数之外，无损编码单元106的编码处理的对象基本上类似于图2的无损编码单元106的情况的对象。即，类似于图2的无损编码单元106，无损编码单元106从帧内预测单元114获取帧内预测模式信息。此外，无损编码单元106从运动视差预测/补偿单元115获取帧间预测模式信息、运动向量、用于识别参考图像的信息等。

类似于图2的无损编码单元106，无损编码单元106针对从量化单元105所提供的量化系数执行诸如可变长度编码(例如，CAVLC)或算术编码(例如，CABAC)的无损编码。

此外，类似于图2的无损编码单元106，无损编码单元106对量化的变换系数进行编码，并且使得帧内预测模式信息、帧间预测模式信息、运动向量信息以及量化参数作为编码数据的数据头信息的一部分(执行复用)。无损编码单元106将通过编码所获得的编码数据提供给累积缓冲器107，并且将编码数据累积在其中。

去块滤波器111通过对从加法单元110所提供的局部解码图像进行滤波来移除块失真。去块滤波器111将作为滤波的结果所获得的图像提供给解码图片缓冲器112，并且将图像累积在其中。

在解码图片缓冲器112中所累积的图像通过选择单元213被输出到帧内预测单元114或运动视差预测/补偿单元115作为参考图像。

本技术可以被应用到AVC系统中的图像编码装置。

[解码单元的另一配置示例]

图24是示出了图18的解码单元165的另一配置示例的框图。图24所示的解码单元165是与图19的解码单元165相对应的解码装置。图24的解码单元165与图19的解码单元165的不同之处仅在于：按照AVC系统执行解码处理。

采用相同的附图标记来标示图24所示的配置之中与图19的配置相同的配置。适当地省略重复的说明。

图24的解码单元165包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、加法单元205、去块滤波器206、画面重排缓冲器207、D/A转换器208、解码图片缓冲器209、选择单元210、帧内预测单元211、运动视差预测/补偿单元212以及选择单元213。

图24的解码单元165的配置与图19的解码单元165的配置的不同之处仅在于：移除了自适应偏移滤波器223和自适应环路滤波器224，并且代替于HEVC系统无损解码单元202按照AVC系统执行解码。因此，在解码单元165中，代替CU单位以块单位执行解码处理。

除了自适应偏移滤波器和自适应环路滤波器的参数之外，无损解码单元202的解码处理的对象基本上类似与图19的无损解码单元202的情况的对象。即，累积缓冲器201对所传送的编码数据进行累积。编码数据是由图24的编码单元14所编码的数据。

类似于图19的语法处理单元221，语法处理单元221以预定的定时在从累积缓冲器201所读取的编码数据中，获取序列参数集、图片参数集、切片头等，并且将所获取的数据头信息连同编码数据一起提供给无损解码单元202。此外，语法处理单元221将所获取的数据头信息提供给参考列表生成单元222。

此外，类似于图19的无损解码单元202，无损解码单元202通过将诸如可变长度解码或算术解码的无损解码应用到来自语法处理单元221的编码数据获得量化系数。无损解码单元202将量化系数提供给逆量化单元203。

去块滤波器206通过对从加法单元205所提供的图像进行滤波来移除块失真。去块滤波器206将作为滤波的结果所获得的图像提供给解码图片缓冲器209和画面重排缓冲器207。

本技术可以被应用到AVC系统中的图像解码装置。

注意，例如，类似于MPEG、H.26x，本公开可以被应用到当通过诸如卫星广播、有线电视、互联网或移动电话装置等的网络介质接收通过诸如离散余弦变换的正交变换和运动补偿所压缩的图像信息(比特流)时所使用的图像编码装置和图像解码装置。此外，本公开可以被应用到对在诸如光盘、磁盘或闪速存储器的存储介质上执行处理中所使用的图像编码装置和图像解码装置。此外，本公开可以被应用到在图像编码装置和图像解码装置中所包括的运动预测/补偿装置。

<4.第四实施例>

[计算机]

上述处理系列可以由硬件执行或由软件执行。当处理系列由软件执行时，构成软件的程序被安装到计算机。在此，计算机的示例包括在专用硬件中所包含的计算机，以及通过安装各种程序可以执行各种功能的通用个人计算机。

图26是示出了通过程序执行处理系列的计算机的硬件的配置示例的框图。

在计算机500中，中央处理器(CPU)501、只读存储器(ROM)502以及随机存取存储器(RAM)503通过总线504互相连接。

输入/输出接口505连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509以及驱动器510连接到输入/输出接口505。

输入单元506由键盘、鼠标、麦克风等构成。输出单元507由显示器、扬声器等构成。存储单元508由硬盘、非易失性存储器等构成。通信单元509由网络接口等构成。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质511。

在如上所述地配置的计算机中，CPU 501将在存储单元508中所存储的程序通过输入/输出接口505和总线504载入到RAM 503，并且执行程序，使得执行上述处理系列。

由计算机500(CPU 501)所执行的程序可以在作为封装介质的可移除介质511上被记录并提供。此外，可以通过诸如局域网、互联网或数字卫星广播的无线传输介质或有线传输介质提供程序。

在计算机中，可移除介质511安装到驱动器510，使得程序可以通过输入/输出接口505被安装到存储单元508。此外，程序可以由通信单元509通过有线传输介质或无线传输介质而接收，并且被安装到存储单元508。除了以上所述的方法之外，程序可以预先安装到ROM 502或存储单元508。

注意由计算机所执行的程序可以是根据在本说明书中所描述的顺序按照时间序列所处理的程序，或可以是并行地或在需要的定时(诸如调用时)所处理的程序。

此外，在本说明书中，描述在记录介质中所记录的程序的步骤不仅包括根据上述顺序按照时间序列方式所执行的处理，还包括并行地或以独立的方式(其不必按照时间序列方式所处理)所执行的处理。

此外，在本说明书中，系统代表由多个装置构成的整个设备。

此外，在以上说明中，作为一个装置(或一个处理单元)所描述的配置可以被划分，并且可以由多个装置(或处理单元)构成。与其相反，作为多个装置(或处理单元)所描述的配置可以整合并且构成一个装置(或一个处理单元)。此外，其他配置可以被添加到每个装置(或每个处理单元)的配置。此外，特定装置(或处理单元)的一部分可以被包括在其他装置(或其他处理单元)的配置中，只要作为整个系统的配置或操作基本上相同即可。即，本技术不限于上述的实施例，并且在不背离本技术的主旨的情况下可以进行各种修改。

根据上述实施例的图像编码装置和图像解码装置可以被应用到各种电子装置，诸如卫星广播、有线广播(诸如有线电视)、互联网上的分发，或通过蜂窝通信到终端的分发中的传送装置或接收装置，将图像记录到诸如光盘、磁盘或闪速存储器的介质的记录装置，或从存储介质对图像进行再现的再现装置。在下文中，将描述四个应用示例。

<5.应用示例>

[第一应用示例：电视机接收器]

图27示出了应用了以上实施例的电视机装置的示意性配置的示例。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901所接收的广播信号中提取期望的信道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调所获得的编码比特流输出到解复用器903。即，在电视机装置900中，调谐器902用作接收在其中图像被编码的编码流的传送机构。

解复用器903从编码比特流中分离出要观看的当前节目的视频流和音频流，并且将所分离的流输出到解码器904。此外，解复用器903从编码比特流中提取辅助数据，诸如电子节目指南(EPG)，并且将所提取的数据提供给控制单元910。注意，当编码比特流被加扰时，解复用器903可以执行解扰。

解码器904对从解复用器903所输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出到视频信号处理单元905。此外，解码器904将通过解码处理所生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905对从解码器904所输入的视频数据进行再现，以将视频显示在显示单元906中。此外，视频信号处理单元905可以将通过网络所提供的应用画面显示在显示单元906中。此外，视频信号处理单元905可以根据设置针对视频数据执行额外的处理，诸如噪声降低。此外，视频信号处理单元905可以生成图形用户界面(GUI)的图像、诸如菜单、按钮或光标，并且将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905所提供的驱动信号所驱动，并且显示单元906将视频或图像显示在显示装置(例如，液晶显示器、等离子显示器、有机电致发光显示器(OLED)(有机EL显示器)等)的视频画面上。

音频信号处理单元907针对从解码器904所输入的音频数据执行再现处理，诸如D/A转换和放大，并且通过扬声器908输出音频。此外，音频信号处理单元907可以针对音频数据执行额外的处理，诸如噪声降低。

外部接口909是用于将电视机装置900与外部装置或网络连接的接口。例如，通过外部接口909所接收到的视频流或音频流可以由解码器904所解码。即，在电视机装置900中，外部接口909还用作接收在其中图像被编码的编码流的传送结构。

控制单元910包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU所执行的程序、节目数据、EPG数据、通过网络所获取的数据等。例如，在存储器中所存储的程序由CPU在电视机装置900的启动时读取并且执行。CPU通过根据从用户接口911所输入的控制信号执行程序来控制电视机装置900的操作。

用户接口911与控制单元910连接。用户接口911包括例如用于用户对电视机装置900进行操作的按钮和开关、以及远程控制信号的接收单元。用户接口911通过构成元件检测用户的操作，以生成操作信号，并且将所生成的操作信号输出到控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910互相连接。

在如上所述地配置的电视机装置900中，解码器904具有根据实施例的图像解码装置的功能。因此，在电视机装置900中对图像进行解码时，可以有效地改变视图的参考关系。此外，可以改进在多视图编码中的编码效率。

[第二应用示例：移动电话装置]

图28示出了应用了实施例的移动电话装置的示意性配置的示例。移动电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930以及控制单元931互相连接。

移动电话装置920在包括语音呼叫模式、数据通信模式、捕获模式以及电视电话模式的各操作模式中，执行诸如音频信号的传送/接收、电子邮件或图像数据的传送/接收、图像的成像以及数据的记录的操作。

在语音呼叫模式中，由麦克风925所生成的模拟音频信号被提供给音频编解码器923。音频编解码923将模拟音频信号转换为音频数据，并且执行转换后的音频数据的A/D转换，以及对音频数据进行压缩。然后，音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，以生成传送信号。然后，通信单元922通过天线921将所生成的传送信号传送到基站(未示出)。此外，通信单元922对通过天线921所接收的无线信号进行放大并且执行频率转换，以获取接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行扩展并且执行D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且通过其输出音频。

此外，在数据通信模式中，例如，控制单元931根据用户通过操作单元932进行的操作生成构成电子邮件的字符数据。此外，控制单元931将字符显示在显示单元930中。此外，控制单元931根据通过操作单元932来自用户的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以生成传送信号。然后，通信单元922将所生成的传送信号通过天线921传送到基站(未示出)。此外，通信单元922对通过天线921所接收到的无线电信号进行放大并且执行频率转换，以获取接收信号。然后，通信单元922对接收信号进行解调和解码，以复原电子邮件数据，并且将所复原的电子邮件数据输出到控制单元931。控制单元931将电子邮件的内容显示在显示单元930中，并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括任意的可读/可写存储介质。例如，存储介质可以是内置类型的存储介质，诸如RAM或闪速存储器；或可以是外部安装类型的存储介质，诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储器卡。

此外，在捕获模式中，例如，摄像装置单元926使对象成像以生成图像数据，并且将所生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像装置单元926所输入的图像数据进行编码，并且将编码流存储在存储/再现单元929的存储介质中。

此外，在电视电话模式中，例如，复用/分离单元928将由图像处理单元927所编码的视频流和从音频编解码器923所输入的音频流进行复用，并且将复用流输出到通信单元922。通信单元922对流进行编码和调制以生成传送信号。然后，通信单元922将所生成的传送信号通过天线921传送到基站(未示出)。此外，通信单元922对通过天线921所接收的无线电信号进行放大并且执行频率转换，以获取接收信号。编码比特流被可以包括在传送信号和接收信号中。然后，通信单元922对接收信号进行解调和解码以复原流，并且将复原的流输出到复用/分离单元928。复用/分离单元928将来自输入流的视频流和音频流进行分离，并且将视频流输出到图像处理单元927而将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且由显示单元930显示图像系列。音频编解码器923对音频流进行扩展并且执行D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且通过其输出音频。

在如上所述地配置的移动电话装置920中，图像处理单元927具有根据实施例的图像编码装置和图像解码装置的功能。因此，当在移动电话装置920中对图像进行编码和解码时，在多视图编码中可以有效地改变视图的参考关系。此外，可以改进多视图编码中的编码效率。

[第三应用示例：记录/再现装置]

图29示出了应用了实施例的记录/再现装置的示意性配置的示例。记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且例如将编码数据记录在记录介质上。此外，记录/再现装置940可以对从其他装置所获取的音频数据和视频数据进行编码，并且例如将编码数据记录在记录介质中。此外，记录/再现装置940根据用户的指令将在记录介质中所记录的数据再现在例如监视器上或扬声器上。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)948、控制单元949以及用户接口950。

调谐器941从通过天线(未示出)所接收的广播信号中提取期望的信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调所获得的编码比特流输出到选择器946。即，在记录/再现装置940中，调谐器941用作传送机构。

外部接口942是用于将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口、或闪速存储器接口。例如，通过外部接口942所接收的视频数据和音频数据被输入到编码器943。即，在记录/再现装置940中，外部接口942用作传送机构。

当从外部接口942所输入的视频数据和音频数据未编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。

HDD 944将在其中诸如视频或音频的内容数据被压缩的编码比特流、各种程序以及其他数据记录在内部硬盘上。此外，在视频和音频的再现时，HDD 944从硬盘读取数据。

盘驱动器945执行到所安装的记录介质的数据记录，以及执行从所安装的记录介质的数据读取。安装到盘驱动器945的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或蓝光(注册商标)盘。

选择器946选择从调谐器941或编码器943所输入的编码流，并且在记录视频和音频时将所选择的编码比特流输出到HDD 944或盘驱动器945。此外，在再现视频和音频时，选择器946将从HDD 944或盘驱动器945所输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，以生成视频数据和音频数据。然后，解码器947将所生成的音频数据输出到OSD 948。此外，解码器904将所生成的音频数据输出到外部扬声器。

OSD 948对从解码器947所输入的视频数据进行再现以显示视频。此外，OSD 948可以将GUI的图像诸如菜单、按钮或光标叠加在要显示的视频上。

控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU所执行的程序、节目数据等。例如，在记录/再现装置940启动时，由CPU读取并且执行在存储器中所存储的程序。CPU例如通过根据从用户接口950所输入的操作信号执行程序，控制记录/再现装置940的操作。

用户接口950与控制单元949连接。用户接口950包括例如用于由用户对记录/再现装置940进行操作的按钮和开关，远程控制信号的接收单元等。用户接口950通过构成元件检测由用户进行的操作，以生成操作信号，并且将所生成的操作信号输出到控制单元949。

在如上所述地配置的记录/再现装置940中，编码器943具有根据实施例的图像编码装置的功能。此外，解码器947具有根据实施例的图像解码装置的功能。因此，当在记录/再现装置940中对图像进行编码和解码时，在多视图编码中可以有效地改变视图的参考关系。此外，可以改进多视图编码中的编码效率。

[第四应用示例：成像装置]

图30示出了应用了实施例的成像装置的示意性配置的示例。成像装置960使对象成像，生成图像，对图像数据进行编码，以及将图像数据记录在记录介质中。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971以及总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969以及控制单元970互相连接。

光学块961包括聚焦透镜、光阑机构等。光学块961将对象的光学图像聚焦在成像单元962的像表面上。成像单元962包括诸如电耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并且借助于光电转换将在成像表面上所聚焦的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963针对从成像单元962所输入的图像信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理单元963将摄像装置信号处理之后的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963所输入的图像数据进行编码，以生成编码数据。然后，图像处理单元964将所生成的编码数据输出到外部接口966或媒体驱动器968。此外，图像处理单元964对从外部接口966或媒体驱动器968所输入的编码数据进行解码，以生成图像数据。然后，图像处理单元964将所生成的图像数据输出到显示单元965。此外，图像处理单元964可以将从信号处理单元963所输入的图像数据输出到显示单元965，并且在其中显示图像数据。此外，图像处理单元964可以将从OSD 969所获取的显示数据叠加在要被输出到显示单元965的图像。

OSD 969生成GUI的图像，诸如菜单、按钮或光标，并且将所生成的图像输出到图像处理单元964。

外部接口966例如配置为USB输入/输出端子。例如，在打印图像时，外部接口966将成像装置960和打印机连接。此外，驱动器根据需要连接到外部接口966。例如，诸如磁盘或光盘的可移除介质被安装到驱动器，并且从可移除介质所读取的程序可以被安装到成像装置960。此外，外部接口966可以被配置为要连接到诸如LAN或互联网的网络的网络接口。即，在成像装置960中，外部接口966用作传输机构。

安装到媒体驱动器968的记录介质可以是例如任意可读/可写可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质以固定的方式安装到媒体驱动器968，并且可以构成诸如内置类型的硬盘驱动器或固态驱动器(SSD)的非便携式存储单元。

控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU所执行的程序、节目数据等。例如，在成像装置960启动时，由CPU读取并且执行在存储器中所存储的程序。CPU通过根据例如从用户接口971所输入的操作信号执行程序，控制成像装置960的操作。

用户接口971与控制单元970连接。用户接口971包括例如用于由用户对成像装置960进行操作的按钮和开关。用户接口971通过构成元件检测由用户进行的操作，以生成操作信号，并且将所生成的操作信号输出到控制单元970。

在如上所述地配置的成像装置960中，图像处理单元964具有根据实施例的图像编码装置和图像解码装置的功能。因此，当在成像装置960中对图像进行编码和解码时，在多视图编码中可以有效地改变视图的参考关系。此外，可以改进多视图编码中的编码效率。

<6.第五实施例>

[实施的其他示例]

已经描述了应用了本技术的装置和系统的示例。然而，本技术不限于此，并且本技术可以实施为在这样的装置或构成系统的装置中所包含的任何配置，诸如作为系统大规模集成(LSI)的处理器、使用多个处理器的模块、使用多个模块的单元、在其中其他功能被添加到单元的集合等(即，装置的配置的一部分)。

[视频集合]

将参照图31描述本技术被实施为集合的情况的示例。图31示出了应用了本技术的视频集合的示意性配置的示例。

近年，电子装置的多功能化取得了进展。当在开发或制造电子装置中，针对出售或分发实现配置的一部分时，不仅将配置实现为具有一个功能的配置的情况，而且对具有相关的功能的多个配置进行组合以及将配置实现为具有多个功能的一个集合的情况变得普遍。

图31所示的视频集合1300是多功能化的配置，并且是具有与图像的编码和解码(可以是编码和解码两者，或编码和解码中之一)相关的功能的装置与具有与该功能相关的其他功能的装置的组合。

如图31所示，视频集合1300包括诸如视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314的模块组，以及诸如、连通器1321、摄像装置1322以及传感器1323的具有相关功能的装置。

模块是具有紧密结合功能的部分，其中，互相相关的若干部分功能被组合到一起。虽然特定的物理配置是任意的，但是例如可以考虑下述模块：在该模块中，具有各自功能的多个处理器、诸如电阻和电容器的电子电路元件以及其他装置被布置并且集成在电路板上。此外，可以考虑将其他模块、处理器等与模块进行组合以形成新的模块。

在图31的示例中，视频模块1311是具有与图像处理相关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

处理器是其中具有预定的功能的配置通过芯片上系统(SoC)被集成到半导体芯片上的处理器，并且例如被称为系统大规模集成(LSI)。具有预定的功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM以及使用其所执行的程序(软件配置)，或可以是CPU、ROM、RAM与程序的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，并且功能的一部分可以由逻辑电路(硬件配置)所实现，并且其他功能可以由在CPU中所执行的程序(软件配置)所实现。

图31的应用处理器1331是执行与图像处理相关的应用的处理器。在应用处理器1331中所执行的应用不仅执行计算处理，而且还根据需要控制诸如视频处理器1332的视频模块1311的内部和外部的配置，以为了实现预定的功能。

视频处理器1332是具有与图像的编码/解码(编码和解码两者，或编码和解码中之一)有关的功能的处理器。

宽带调制解调器1333是执行与无线宽带通信或有线宽带通信(或无线宽带通信和有线宽带通信两者)有关的处理的处理器(或模块)，该处理是通过诸如互联网或公众电话网络的宽带线路执行的。例如，宽带调制解调器1333对要传送的数据(数字信号)进行调制并且转换为模拟信号，以及对所接收的模拟信号进行解调并且转换为数据(数字信号)。例如，宽带调制解调器1333可以执行诸如由视频处理器1332所处理的图像数据、作为编码图像数据的流、应用程序或设置数据的任何信息的数字化调制/解调。

RF模块1334是针对通过天线所接收/所传送的射频(RF)信号执行频率转换、调制/解调、放大、滤波器处理等的模块。例如，RF模块1334针对由宽带调制解调器1333所生成的基带信号执行频率转换等，以生成RF信号。此外，例如，RF模块1334针对通过前端模块1314所接收的RF信号执行频率转换等，以生成基带信号。

注意，如图31中由点线1341所示地，应用处理器1331和视频处理器1332可以整合并且被配置为一个处理器。

外部存储器1312是在视频模块1311外部所提供的模块，并且包括由视频模块1311所使用的存储装置。虽然外部存储器1312的存储装置可以由任何物理配置所实现，但是期望采用相对便宜、大容量的半导体存储器诸如动态随机存取存储器(DRAM)来实现存储装置，这是因为一般地存储装置通常被用来存储大体积数据，诸如以帧单位的图像数据。

电力管理模块1313管理并且控制对视频模块1311(视频模块1311中的每个配置)的供电。

前端模块1314是为RF模块1334提供前端功能(天线侧传送/接收端电路)的模块。如图31所示，前端模块1314例如包括天线单元1351、滤波器1352以及放大单元1353。

天线单元1351包括传送/接收无线电信号的天线、及其周边配置。天线单元1351将从放大单元1353所提供的信号作为无线电信号传送，并且将所接收的无线电信号提供给滤波器1352作为电信号(RF信号)。滤波器1352针对通过天线单元1351所接收的RF信号执行滤波器处理等，并且将处理后的RF信号提供给RF模块1334。放大单元1353对从RF模块1334所提供的RF信号进行放大，并且将放大后的信号提供给天线单元1351。

连通器1321是具有与到外部的连接有关的功能的模块。连通器1321的物理配置是任意的。例如，连通器1321包括具有除了由宽带调制解调器1333所支持的通信标准之外的通信功能的配置、外部输入/输出端子等。

例如，连通器1321可以包括具有遵守无线通信标准(诸如蓝牙(注册商标)、IEEE802.11(例如，Wi-Fi(无线保真，注册商标))、近场通信(NFC)或红外数据关联(IrDA))的通信功能的模块，以及传送/接收遵守标准的信号的天线。此外，例如，连通器1321可以包括具有遵守有线通信标准(诸如通用串行总线(USB)、或高清晰度多媒体接口(HDMI(注册商标))的通信功能的模块，以及遵守该标准的终端。此外，例如，连通器1321可以具有传送诸如模拟输入/输出端子的其他数据(信号)的功能。

注意，连通器1321可以包括数据(信号)的传送目的地的装置。例如，连通器1321可以包括执行从记录介质读取数据以及将数据写入记录介质的驱动器(不仅包括用于可移除介质的驱动器、而且还包括硬盘、固态驱动器(SSD))、网络附属存储(NAS)等)，记录介质诸如磁盘、光盘、磁光盘、或半导体存储器。此外，连通器1321可以包括图像或音频的输出装置(监视器或扬声器)。

摄像装置1322是具有使对象成像以获得对象的图像数据的功能的模块。通过摄像装置1322的成像所获得的图像数据被提供给视频处理器1332并且被编码。

传感器1323是具有下述任意传感器功能的模块：诸如，音频传感器、超声传感器、光学传感器、亮度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、撞击传感器或温度传感器。由传感器1323所检测到的数据被提供给应用处理器1331，并且由应用等所使用。

以上作为模块所描述的配置可以实现为处理器。相反，作为处理器所描述的配置可以实现为模块。

在具有上述配置的视频集合1300中，本技术可以被应用到以下所述的视频处理器1332。因此，视频集合1300可以被实现为应用了本技术的集合。

[视频处理器的配置示例]

图32示出了应用了本技术的视频处理器1332(图31)的示意性配置的示例。

在图32的示例中，视频处理器1332具有接收视频信号和音频信号的输入和按照预定的系统对信号进行编码的功能、对编码视频数据和音频数据进行解码的功能、以及对视频信号和音频信号进行再现和输出的功能。

如图32所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。

视频输入处理单元1401获取从连通器1321(图31)等所输入的视频信号，并且将视频信号转换为数字图像数据。第一图像放大/缩小单元1402针对图像数据执行图像的格式转换以及放大/缩小处理。第二图像放大/缩小单元1403针对图像数据、通过视频输出处理单元140根据输出目的地的格式执行图像的放大/缩小处理，并且类似于第一图像放大/缩小单元1402执行图像的格式转换以及放大/缩小处理。视频输出处理单元1404针对图像数据执行格式转换和到模拟信号的转换，并且将转换后的信号输出到连通器1321(图31)等，作为再现的视频信号。

帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407共同地使用的图像数据存储器。帧存储器1405被实现为半导体存储器，诸如DRAM。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据被写入访问管理表格1406A的对帧存储器1405的访问日程来控制写入到帧存储器1405/从帧存储器1405的读取的访问。访问管理表格1406A由存储器控制单元1406根据在编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等中所执行的处理而更新。

编码/解码引擎1407执行图像数据的编码处理、和作为编码图像数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405所读取的图像数据进行编码，并且将编码图像数据顺序地写入视频ES缓冲器1408A作为视频流。此外，例如，编码/解码引擎1407从视频ES缓冲器1408B顺序地读取视频流并且对视频流进行解码，以及将解码数据顺序地写入到帧存储器1405作为图像数据。在编码和解码中，编码/解码引擎1407使用帧存储器1405作为工作区域。此外，当每个宏块的处理开始时，编码/解码引擎1407将同步信号输出到存储器控制单元1406。

视频ES缓冲器1408A对由编码/解码引擎1407所生成的视频流进行缓冲，并且将视频流输提供给复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413所提供的视频流进行缓冲，并且将视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410所生成的音频流进行缓冲，并且将音频流提供给复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413所提供的音频流进行缓冲，并且将音频流提供给音频解码器1411。

音频编码器1410对从连通器1321(图31)所输入的音频信号等数字地进行转换，并且按照诸如MPEG音频系统或音频编码编号3(AC3)系统的预定的系统对所转换的数据进行编码。音频编码器1410将作为编码音频信号的数据的音频流顺序地写入到音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B所提供的音频流进行解码，执行到模拟信号的转换，以及将模拟信号提供给连通器1321(图31)等作为再现的音频信号。

复用器(MUX)1412对视频流和音频流进行复用。复用的方法(即，通过复用所生成的比特流的格式)是任意的。此外，在复用中，复用器(MUX)1412可以将预定的数据头信息等添加到比特流。即，复用器(MUX)1412可以通过复用对流的格式进行转换。例如，复用器(MUX)1412通过对视频流和音频流进行复用，将视频流和音频流转换为传送流，传送流为按照传送格式的比特流。此外，例如，复用器(MUX)1412通过对视频流和音频流进行复用，将视频流和音频流转换为按照记录格式的数据(文件数据)。

解复用器(DMUX)1413根据与由复用器(MUX)1412进行复用相对应的方法，对作为复用后的视频流和音频流的比特流进行解复用。即，复用器(DMUX)1413在从流缓冲器1414所读取的比特流中提取视频流和音频流(分离视频流和音频流)。即，解复用器(DMUX)1413可以通过解复用对流的格式进行转换(由复用器(MUX)1412进行的转换的解复用)。例如，解复用器(DMUX)1413通过流缓冲器1414获取从连通器1321、宽带调制解调器1333(两者均在图31中)等所提供的传送流，并且对传送流进行解复用，从而将传送流转换为视频流和音频流。此外，例如，解复用器(DMUX)1413通过流缓冲器1414获取由连通器1321(图31)从各种记录介质所读取的文件数据，并且对文件数据进行解复用，从而将文件数据转换为视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412所提供的传送流进行缓冲，并且例如以预定的定时或基于来自外部的请求等，将传送流提供给连通器1321、宽带调制解调器1333(两者均在图31中)等。

此外，例如，流缓冲器1414对从复用器(MUX)1412所提供的文件数据进行缓冲，以预定的定时或基于来自外部的请求等将文件数据提供给连通器1321(图31)等，以及将文件数据记录在各种记录介质中。

此外，流缓冲器1414对通过连通器1321、宽带调制解调器1333(两者均在图31中)等所获取的传送流进行缓冲，并且以预定的定时或基于来自外部的请求等将传送流提供给解复用器(DMUX)1413。

此外，流缓冲器1414将从各种记录介质所读取的文件数据缓冲在连通器1321(图31)等中，并且以预定的定时或基于来自外部的请求等将文件数据提供给解复用器(DMUX)1413。

接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，从连通器1321(图31)等输入到视频处理器1332的视频信号在视频输入处理单元1401中按照诸如4：2：2的Y/Cb/Cr系统的预定的系统被转换为数字化图像数据，并且被顺序地写入到帧存储器1405。数字化图像数据被读取到第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，执行到诸如4：2：0的Y/Cb/Cr格式的预定的格式的格式转换和放大/缩小处理，以及转换后的图像数据再次被写入到帧存储器1405。此图像数据由编码/解码引擎1407所编码，并且被写入到视频ES缓冲器1408A作为视频流。

此外，从连通器1321(图31)等输入到视频处理器1332的音频信号由音频编码器1410编码，并且被写入到音频ES缓冲器1409A作为音频流。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流被读取到复用器(MUX)1412并且被复用，以及被转换为传送流、文件数据等。由复用器(MUX)1412所生成的传送流被缓冲在流缓冲器1414中，然后通过连通器1321、宽带调制解调器1333(两者均在图31中)等被输出到外部网络。此外，由复用器(MUX)1412所生成的文件数据由流缓冲器1414所缓冲，然后被输出到连通器1321(图31)等，以及被记录在各种记录介质中。

此外，例如，通过连通器1321、宽带调制解调器133(两者均在图31中)等从外部网络被输入到视频处理器1332的传送流被缓冲在流缓冲器1414中，然后由解复用器(DMUX)1413解复用。此外，例如，从在连通器1321(图31)中的各种记录介质中所读取的并且被输入到视频处理器1332的文件数据被缓冲到流缓冲器1414中，然后由解复用器(DMUX)1413解复用。即，被输入到视频处理器1332的传送流或文件数据由解复用器(DMUX)1413分离为视频流和音频流。

音频流通过音频ES缓冲器1409B被提供给音频解码器1411并且被解码，以及对音频信号进行再现。此外，视频流被写入到视频ES缓冲器1408B，然后由编码/解码引擎1407顺序地读取和解码，以及被写入到帧存储器1405。解码图像数据经受由第二图像放大/缩小单元1403所进行的放大/缩小处理，并且被写入到帧存储器1405。然后，解码图像数据由视频输出处理单元1404所读取，被转换为诸如4：2：2的Y/Cb/Cr系统的预定的格式，以及被转换为模拟信号，并且对视频信号进行再现和输出。

当本技术被应用到如上所述地配置的视频处理器1332时，根据上述实施例的本技术可以被应用到编码/解码引擎1407。即，例如，编码/解码引擎1407可以具有根据第一实施例的图像编码装置1(图1)和根据第二实施例的图像解码装置151(图18)的配置。这样做时，视频处理器1332可以获得与参照图1至图23所描述的效果类似的效果。

注意，在编码/解码引擎1407中，本技术(即，根据实施例的图像编码装置和图像解码装置的功能)可以由诸如逻辑电路的硬件实现，可以由诸如所包含的程序的软件实现，或可以由硬件和软件两者实现。

[视频处理器的另一配置示例]

图33示出了应用了本技术的视频处理器1332(图31)的示意性配置的另一示例。在图33的示例中，视频处理器1332具有按照预定的系统对视频数据进行编码/解码的功能。

具体地，如图33所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511控制视频处理器1332中各个处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514以及编解码器引擎1516)的操作。

如图33所示，控制单元1511包括例如主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行程序等以用于控制视频处理器1332中的处理单元的操作。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给各个处理单元(即，对各个处理单元的操作进行操作)。子CPU 1532发挥主CPU 1531的辅助角色。例如，子CPU 1532执行由主CPU 1531所执行的程序的子处理、子例程等。系统控制器1533控制主CPU 1531和子CPU 1532的操作，诸如指定由主CPU 1531和子CPU 1532所执行的程序。

显示接口1512在控制单元1511的控制之下将图像数据输出到连通器1321(图31)等。显示接口1512将数字化数据的图像数据转换为模拟信号，并且将图像数据作为再现的视频信号输出到连通器1321(图31)的监视器装置等，或如原样的输出数字化数据的图像数据。

显示引擎1513在控制单元1511的控制之下，针对图像数据执行各种类型的转换处理，诸如格式转换、尺寸转换以及色域转换，使得图像数据遵守在其上显示图像的监视器装置的硬件规格。

图像处理引擎1514在控制单元1511的控制之下，将诸如滤波器处理的预定的图像处理应用到图像数据，以用于改进图像质量。

内部存储器1515是在视频处理器1332内部所设置的存储器，其由显示引擎1513、图像处理引擎1514以编解码器引擎1516共同地使用。内部存储器1515被用于例如在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间所执行的数据交换。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516所提供的数据，并且根据需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何存储装置实现。然而，内部存储器1515期望由诸如静态随机存取存储器(SRAM)的具有相对小的容量(例如，与外部存储器1312相比)、但具有高响应速度的半导体存储器实现，这是因为一般地内部存储器1515通常被用于存储诸如以块单位的图像数据或参数的小容量数据。

编解码器引擎1516执行与图像数据的编码和解码相关的处理。由编解码器引擎1516所支持的编码/解码的系统是任意的，并且可以采用一个系统或多个系统。例如，编解码器引擎1516可以包括多个编码/解码系统的编解码器功能，并且可以在从多个系统之中所选择的系统中执行图像数据的编码或编码数据的解码。

在图33所示的示例中，编解码器引擎1516包括例如，MPEG-2视频1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为与编解码器有关的处理的功能块。

MPEG-2视频1541是按照MEPG-2系统对图像数据进行编码/解码的功能块。AVC/H.264 1542是按照AVC系统对图像数据进行编码/解码的功能块。HEVC/H.265 1543是按照HEVC系统对图像数据进行编码/解码的功能块。HEVC/H.265(可伸缩)1544是按照HEVC系统对图像数据进行可伸缩编码/可伸缩解码的功能块。HEVC/H.265(多视图)1545是按照HEVC系统对图像数据进行多视图编码/多视图解码的功能块。

MPEG-DASH 1551是按照MPEG-DASH(经由HTTP进行的MPEG-动态自适应流传送)系统传送/接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)执行视频的流传送的技术，并且具有下述特性：以区段单位从预先准备的互相不同的分辨率等的多个编码数据中选择并且传送适当的编码数据。MPEG-DASH 1551执行遵守标准的流的生成和流的传送控制，以及使用MPEG-2视频1541至HEVC/H.265(多视图)1545以用于图像数据的编码/解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516所提供的数据通过存储器接口1517被提供给外部存储器1312。此外，从外部存储器1312所读取的数据通过存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用器/解复用器(MUX DMUX)1518对与图像有关的各种类型的数据，诸如编码数据的比特、图像数据、视频信号等进行复用/解复用。复用/解复用的方法是任意的。例如，在复用中，复用器/解复用器(MUX DMUX)1518不仅可以将多个数据组合在一起，还可以将预定的数据头信息添加到数据。此外，在解复用中，复用器/解复用器(MUX DMUX)1518不仅可以将一个数据划分为多个数据，还可以将预定的数据头信息添加到每个划分后的数据。即，复用器/解复用器(MUX DMUX)1518可以通过复用/解复用对数据的格式进行转换。例如，复用器/解复用器(MUX DMUX)1518通过对比特流进行复用，可以将比特流转换为作为按照传送格式的比特流的传送流或按照记录文件格式的数据(文件数据)。显然地，可以通过解复用执行逆变换。

网络接口1519是例如用于宽带调制解调器1333、连通器1321(两者均在图31中)等的接口。视频接口1520是例如用于连通器1321、摄像装置1322(两者均在图31中)等的接口。

接下来，将描述视频处理器1332的操作的示例。例如，当通过连通器1321、宽带调制解调器1333(两者均在图31中)等从外部网络接收传送流时，传送流通过网络接口1519被提供给复用器/解复用器(MUX DMUX)1518并且被解复用，以及由编解码器引擎1516解码。通过编解码器引擎1516的解码所获得的图像数据经受由图像处理引擎1514进行的预定的图像处理、经受由显示引擎1513进行的预定的转换以及通过显示接口1512被提供给连通器1321(图31)等，并且例如其图像被显示在监视器上。此外，例如，通过编解码器引擎1516的解码所获得的图像数据由编解码器引擎1516再次编码，由复用器/解复用器(MUX DMUX)1518复用以及被转换为文件数据，通过视频接口1520被输出到连通器1321(图31)等，以及被记录在各种记录介质上。

此外，例如，作为通过连通器1321(图31)等从记录介质(未示出)所读取的编码图像数据的编码数据的文件数据通过视频接口1520被提供给复用器/解复用器(MUX DMUX)1518并且被解复用，以及由编解码器引擎1516解码。通过编解码器引擎1516的解码所获得的图像数据经受由图像处理引擎1514进行的预定的图像处理、经受由显示引擎1513进行的预定的转换，以及通过显示接口1512被提供给连通器1321(图31)等，并且其图像被显示在监视器上。此外，例如，通过编解码器引擎1516的解码所获得的图像数据由编解码器引擎1516再次编码，由复用器/解复用器(MUX DMUX)1518复用，被转换为传送流，通过网络接口1519被提供给连通器1321或宽带调制解调器1333(两者均在图31中)，以及被传送到另一装置(未示出)。

注意，例如，使用内部存储器1515和外部存储器1312在视频处理器1322中的处理单元之间执行图像数据和其他数据的交换。此外，电力管理模块1313控制例如对控制单元1511的供电。

当本技术应用到如上所述地配置的视频处理器1332时，根据实施例的本技术可以被应用到编解码器引擎1516。即，例如，编解码器引擎1516可以具有实现根据第一实施例的图像编码装置1(图1)和根据第二实施例的图像解码装置151(图18)的功能块。这样做时，视频处理器1332可以获得与参照图1至图23所描述的效果类似的效果。

注意，在编解码器引擎1516中，本技术(即，根据实施例的图像编码装置和图像解码装置的功能)可以由诸如逻辑电路的硬件实现，可以由诸如所包含的程序的软件所实现，或可以由硬件和软件两者所实现。

已经描述了视频处理器1332的配置的两个示例。然而，视频处理器1332的配置是任意的，并且可以是上述两个示例之外的配置。此外，视频处理器1332可以由一个半导体芯片构成，或可以由多个半导体芯片构成。例如，视频处理器1332可以是其中堆叠有多个半导体的三维堆叠的LSI。此外，视频处理器1332可以由多个LSI实现。

[到装置的应用示例]

视频集合1300可以并入对图像数据进行处理的各种装置。例如，视频集合1300可以并入电视机装置900(图27)、移动电话装置920(图28)、记录/再现装置940(图29)、成像装置960(图30)等。通过视频集合1300的实现，装置可以获得与参照图1至图23所描述的效果类似的效果。

注意，即使视频集合1300的配置的一部分也可以被实现为应用了本技术的配置，只要该配置包括视频处理器1332即可。例如，仅视频处理器1332可以被实现为应用了本技术的视频处理器。此外，例如，由点线1341所示出的处理器、视频模块1311等可以被实现为应用了本技术的处理器、模块等。此外，例如，对视频模块1311、外部存储器1312、电力管理模块1313、以及前端模块1314进行组合，并且可以实现为应用了本技术的视频单元1361。在任何情况下，可以获得与参照图1至图23所描述的效果类似的效果。

即，类似于视频集合1300的情况，任何配置可以被并入对图像数据进行处理的各种装置，只要该配置包括视频处理器1332即可。例如，视频处理器1332、由点线1341所示出的处理器、视频模块1311或视频单元1361可以被并入到电视机装置900(图27)、移动电话装置920(图28)、记录/再现装置940(图29)、成像装置960(图30)等。然后，通过应用了本技术的任何配置的任何的并入，类似于视频集合1300的情况，装置可以获得与参照图1至图23所描述的效果类似的效果。

注意，在本说明书中，描述了如下示例：诸如参考图像标记、VPS、SPS以及切片头的各种类型的信息被复用到编码流，并且从编码侧被传送到解码侧。然而，传送这些类型的信息的技术不限于示例。例如，这些类型的信息可以作为与编码比特流相关联的独立数据而被传送和记录，而不被复用到编码比特流。在此，术语“相关联”意味着使得在比特流中所包括的图像(或可以是诸如切片或块的图像的一部分)和与图像相对应的信息在解码时能够相链接。即，信息可以在与图像(或比特流)不同的传送路径上被传送。此外，信息可以被记录在与图像(或比特流)不同的记录介质(或同一记录介质的不同记录区域)上。此外，信息和图像(或比特流)可以以任意单位，诸如多个帧、一个帧或帧的一部分而彼此相关联。

如上所述，参照附图详细地描述的本公开的优选实施例。然而，本公开不限于这些实施例。对于本公开所属领域的普通技术人员明显的是，在权利要求所描述的技术构思的范围内，可以实现各种修改例和改进示例。要理解的是，这些修改例和改进示例自然地属于本公开的技术范围。

注意，本技术还可以采用下面的配置。

(1)一种图像处理设备，包括：

解码单元，被配置成对比特流进行解码以生成图像；以及

预测单元，被配置成通过参考基于层参考图像信息所生成的参考图像的列表对由所述解码单元所生成的图像进行预测，所述层参考图像信息针对每层控制参考图像，所述参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

(2)根据(1)所述的图像处理设备，其中，以固定的间隔或以图片单位传送所述层参考图像信息。

(3)根据(1)或(2)所述的图像处理设备，其中，所述层参考图像信息被设置到所述比特流的序列参数集或切片头。

(4)根据(1)至(3)中任一项所述的图像处理设备，还包括：

参考列表生成单元，被配置成基于所述层参考图像信息生成所述参考图像的列表。

(5)根据(4)所述的图像处理设备，其中，关于L1方向，当将能够在层方向上参考的参考图像插入到所述参考图像的列表中时，所述参考列表生成单元与L0方向的情况相比反转能够在所述层方向上参考的参考图像的顺序，并且插入所述参考图像。

(6)根据(4)所述的图像处理设备，其中，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，以生成所述参考图像的列表。

(7)根据(4)所述的图像处理设备，其中，关于L0方向，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，并且按照时间上位于所述图像之前的参考图像、时间上位于所述图像之后的参考图像、长期参考图像以及能够在所述层方向上参考的参考图像的顺序对参考图像进行组合，以生成所述参考图像的列表。

(8)根据(4)所述的图像处理设备，其中，关于L1方向，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，并且按照时间上位于所述图像之后的参考图像、时间上位于所述图像之前的参考图像、长期参考图像以及能够在所述层方向上参考的参考图像的顺序对参考图像进行组合，以生成所述参考图像的列表。

(9)根据(1)至(7)中任一项所述的图像处理设备，其中，所述层是视图。

(10)一种图像处理方法，包括：

通过图像处理设备，

对比特流进行解码以生成图像；以及

通过参考基于层参考图像信息所生成的参考图像的列表对所生成的图像进行预测，所述层参考图像信息针对每层控制参考图像，所述参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

(11)一种图像处理设备，包括：

设置单元，被配置成设置层参考图像信息，所述层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；

预测单元，被配置成通过参考基于由所述设置单元所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；

编码单元，被配置成使用由所述预测单元所生成的预测图像对所述图像进行编码，以生成比特流；以及

传送单元，被配置成传送由所述编码单元所生成的比特流和由所述设置单元所设置的层参考图像信息。

(12)根据(11)所述的图像处理设备，其中，所述传送单元以固定的间隔或以图片单位传送由所述设置单元所设置的层参考图像信息。

(13)根据(11)或(12)所述的图像处理设备，其中，所述设置单元将所述层参考图像信息设置到所述比特流的序列参数集或切片头。

(14)根据(11)至(13)中任一项所述的图像处理设备，还包括：

参考列表生成单元，被配置成基于由所述设置单元所设置的层参考图像信息生成所述参考图像的列表。

(15)根据(14)所述的图像处理设备，其中，关于L1方向，当将能够在层方向上参考的参考图像插入到所述参考图像的列表中时，所述参考列表生成单元与L0方向的情况相比反转能够在所述层方向上参考的参考图像的顺序，并且插入所述参考图像。

(16)根据(14)所述的图像处理设备，其中，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，以生成所述参考图像的列表。

(17)根据(14)所述的图像处理设备，其中，关于L0方向，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，并且按照时间上位于所述图像之前的参考图像、时间上位于所述图像之后的参考图像、长期参考图像以及能够在所述层方向上参考的参考图像的顺序对参考图像进行组合，以生成所述参考图像的列表。

(18)根据(14)所述的图像处理设备，其中，关于L1方向，所述参考列表生成单元添加能够在层方向上参考的参考图像之中、所述层参考图像信息指示1的参考图像，并且按照时间上位于所述图像之后的参考图像、时间上位于所述图像之前的参考图像、长期参考图像以及能够在所述层方向上参考的参考图像的顺序对参考图像进行组合，以生成所述参考图像的列表。

(19)根据(11)至(18)中任一项所述的图像处理设备，所述层是视图。

(20)一种图像处理方法，包括：

通过图像处理设备，

设置层参考图像信息，所述层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；

通过参考基于所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；

使用所生成的预测图像对所述图像进行编码以生成比特流；以及

传送所生成的比特流和所设置的层参考图像信息。

参考标记列表

1 编码装置

11 VPS设置单元

12 SPS设置单元

13 切片头设置单元

14 编码单元

15 传送单元

106 无损编码单元

115 运动视差预测/补偿单元

121 语法处理单元

122 参考列表生成单元

131 参考图像设置单元

132 时间列表生成单元

133 参考图像列表生成单元

151 解码装置

161 接收单元

162 VPS提取单元

163 SPS提取单元

164 切片头提取单元

165 解码单元

202 无损解码单元

212 运动视差预测/补偿单元

221 语法处理单元

222 参考列表生成单元

231 参考图像设置单元

232 时间列表生成单元

233 参考图像列表生成单元