图像处理装置及方法与流程

本公开内容涉及图像处理装置和图像处理方法，具体地，涉及能够提高多视点编码中的编码效率的图像处理装置和图像处理方法。

背景技术：

近年来，图像信息被处理为数字数据，并且为了此时高效地传输和累积信息的目的，广泛使用采用以下编码系统对图像进行压缩和编码的装置：该编码系统通过使用图像信息特有的冗余，经由正交变换(如离散余弦变换)和运动补偿来压缩图像信息。作为这样的编码系统的示例，存在MPEG(运动图片专家组)、H.264、MPEG-4部分10(高级视频编码，在下文中被称作AVC)等。

目前，为了将编码效率进一步提高为高于H.264/AVC的编码效率的目的，联合合作组-视频编码(JCTVC)已改进了被称作高效视频编码(HEVC)的编码系统的标准化，其中联合合作组-视频编码(JCTVC)是ITU-T和ISO/IEC的联合标准化组织。另外，作为其扩展，与此同时改进了多视点图像的编码的标准化，并且作为对多视点图像进行编码的草案，已经发表了非专利文献1。

同时，从作为临时列表的时间列表中的按优先顺序排列的参考图像的开头起，依次生成作为下述列表的参考列表：在该列表中，被用于对B图片进行解码的参考图像的候选按优先顺序排列。

在非专利文献1中，生成时间列表，使得在按时间方向部署的参考图像之后，布置按视图方向部署的参考图像。从而，为了在时间列表内提高按视图方向部署的参考图像的优先顺序，除非使用参考列表命令，否则难以将按视图方向部署的参考图像布置在参考列表中，并且因此，难以参考按视图方向部署的参考图像。

从而，在非专利文献2中，提出了当生成时间列表时使用片报头发送用于指定以下位置的信息：在该位置处，将按视图方向部署的参考图像插入按时间方向部署的多个参考图像当中。因此，在考虑到视图方向相关性的情况下，可以在时间列表中的优选位置处插入按视图方向部署的参考图像。

引用列表

非专利文献

非专利文献1：Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,"MV-HEVC Draft Text2",JCT3V-B1004,2012年11月7日

非专利文献2：Li Zhang,Ying Chen,Jewon Kang,"AHG5:MV-Hevc software for HTM",JCT3V-B0046,2012年10月7日

技术实现要素：

发明要解决的问题

然而，在非专利文献2中公开的技术中，当不需要改变按视图方向部署的参考图像在时间列表中的插入位置时，也需要发送片报头，并且存在以下编码效率会降低的担忧。

本公开内容考虑到这样的情况，并且能够提高分层编码或多视点编码中的编码效率。

问题的解决方案

根据本公开内容的一个方面，提供了一种图像处理装置，包括：解码单元，其通过对比特流进行解码来生成当前图像；参考列表设置单元，其通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对由所述解码单元生成的当前图像进行预测时参考的参考列表；以及预测单元，其通过参考由所述参考列表设置单元设置的参考列表，来对由所述解码单元生成的当前图像进行预测，其中，所述参考列表设置单元在不使用关于插入位置的任何另外发送的语法的情况下，通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之前的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之后的参考图像的顺序，在方向L0上布置图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之后的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之前的参考图像的顺序，在方向L1上布置图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：交替地布置所述能够按时间方向被参考的参考图像和所述能够按层方向被参考的参考图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L0上，交替地布置按照在时间上位于所述当前图像之前的参考图像和在时间上位于所述当前图像之后的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L1上，交替地布置按照在时间上位于所述当前图像之后的参考图像和在时间上位于所述当前图像之前的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L1上插入所述能够按层方向被参考的参考图像，其中所述能够按层方向被参考的参考图像的顺序与方向L0的情况下的该顺序相反。

上述参考列表设置单元可以包括：时间列表设置单元，其在不使用关于插入位置的任何另外发送的语法的情况下，通过将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间来设置时间列表，所述时间列表是用于设置所述参考列表的临时列表；以及参考图像列表设置单元，其基于由所述时间列表设置单元设置的时间列表，来设置所述参考列表。

根据本公开内容的一个方面，提供了一种在图像处理装置中实现的图像处理方法。该图像处理方法包括：通过对比特流进行解码来生成当前图像；通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对所生成的当前图像进行预测时参考的参考列表；以及通过参考所设置的参考列表来对所生成的当前图像进行预测，其中，在不使用关于插入位置的任何另外发送的语法的情况下，通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

根据本公开内容的另一方面，提供了一种图像处理装置，包括：参考列表设置单元，其通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对当前图像进行预测时参考的参考列表；预测单元，其通过参考由所述参考列表设置单元设置的参考列表对所述当前图像进行预测；以及编码单元，其通过使用由所述预测单元预测的当前图像执行编码来生成比特流，其中，所述参考列表设置单元在不使用关于插入位置的任何另外的语法的情况下，通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之前的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之后的参考图像的顺序，在方向L0上布置图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之后的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之前的参考图像的顺序，在方向L1上布置图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：交替地布置所述能够按时间方向被参考的参考图像和所述能够按层方向被参考的参考图像。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L0上，交替地布置按照在时间上位于所述当前图像之前的参考图像和在时间上位于所述当前图像之后的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L1上，交替地布置按照在时间上位于所述当前图像之后的参考图像和在时间上位于所述当前图像之前的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

上述参考列表设置单元可以通过下述方式来设置所述参考列表：在方向L1上插入所述能够按层方向被参考的参考图像，其中所述能够按层方向被参考的参考图像的顺序与方向L0的情况下的该顺序相反。

上述参考列表设置单元可以包括：时间列表设置单元，其在不使用关于插入位置的任何另外的语法的情况下，通过将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间来设置时间列表，所述时间列表是用于设置所述参考列表的临时列表；以及参考图像列表设置单元，其基于由所述时间列表设置单元设置的时间列表来设置所述参考列表。

根据本公开内容的另一方面，提供了一种在图像处理装置中实现的图像处理方法。该图像处理方法包括：通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间来设置当对当前图像进行预测时参考的参考列表；通过参照所设置的参考列表来对所述当前图像进行预测；以及通过使用所预测的当前图像执行编码来生成比特流，其中，在不使用关于插入位置的任何另外的语法的情况下，通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

根据本公开内容的一个方面，通过对比特流进行解码来生成图像，并且通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对所生成的图像进行预测时参考的参考列表。然后，通过参考所设置的参考列表对所生成的图像进行预测。

根据本公开内容的另一方面，通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对图像进行预测时参考的参考列表。然后，通过参考所设置的参考列表对该图像进行预测，并且通过使用所预测的图像执行编码来生成比特流。

在此，上述图像处理装置可以是独立的装置或者配置一个图像编码装置或图像解码装置的内部块。

发明的效果

根据本公开内容的一个方面，可以对图像进行解码。具体地，可以提高编码效率。

根据本公开内容的另一方面，可以对图像进行编码。具体地，可以提高编码效率。

附图说明

图1是示出了图像编码装置的主要配置的示例的框图。

图2是示出了参考图像的结构的示例的说明图。

图3是示出了生成参考列表的常规方法的示例的图。

图4是示出了生成参考列表的常规方法的另一示例的图。

图5是示出了根据本技术的生成参考列表的方法的示例的图。

图6是示出了根据本技术的生成参考列表的方法的另一示例的图。

图7是示出了本技术与常规技术之间的比较的图。

图8是示出了根据本技术的视图间图像的布置顺序的图。

图9是示出了根据本技术的改变视图间图像的布置顺序的方法的图。

图10是示出了图1中示出的参考列表生成单元的配置的示例的框图。

图11是示出了编码处理的流程的示例的流程图。

图12是示出了参考列表生成处理的流程的示例的流程图。

图13是示出了参考列表生成处理的流程的另一示例的流程图。

图14是示出了图像解码装置的主要配置的示例的框图。

图15是示出了图14中示出的参考列表生成单元的配置的示例的框图。

图16是示出了解码处理的过程的示例的流程图。

图17是示出了参考列表生成处理的流程的示例的流程图。

图18是示出了参考列表生成处理的流程的另一示例的流程图。

图19是示出了图像编码装置的主要配置的另一示例的框图。

图20是示出了图像解码装置的主要配置的另一示例的框图。

图21是示出了计算机的主要配置的示例的框图。

图22是示出了电视设备的示意性配置的示例的框图。

图23是示出了移动电话的示意性配置的示例的框图。

图24是示出了记录/再现设备的示意性配置的示例的框图。

图25是示出了成像设备的示意性配置的示例的框图。

图26是示出了视频机组(set)的示意性配置的示例的框图。

图27是示出了视频处理器的示意性配置的示例的框图。

图28是示出了视频处理器的示意性配置的另一示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的实施例(在下文中，被称作实施例)。将按照下面的顺序给出描述。

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(AVC系统的图像编码装置和图像解码装置)

4.第四实施例(计算机)

5.应用示例

6.第五实施例(机组/单元/模块/处理器)

<1.第一实施例>

[分层编码的描述]

到目前为止所描述的图像编码系统(如MPEG2和AVC)具有可伸缩性功能。可伸缩编码(分层编码)是以下系统：在该系统中，通过多个层(分层化)来配置图像，并且对于每个层执行编码。

在对图像进行分层时，通过参考预定参数将一个图像划分成多个图像(层)。基本上，每个层由差分数据配置，以便减少冗余。例如，在将一个图像分层为包括基本层和增强层的两个层的情况下，通过仅使用基本层的数据来获得质量低于原始图像的图像，并且通过将基本层的数据与增强层的数据组合来获得原始图像(即，高质量图像)。

通过以这种方式对图像进行分层，可以根据情形容易地获得各种质量的图像。例如，如在下述情况下，可以从服务器发送根据终端或网络的能力的图像压缩信息而无需执行转码处理：在该情况中，仅将基本层的图像压缩信息发送至处理能力低的终端(如移动电话)，并且再现空间/时间分辨率低或图像质量低的运动图像，而将除基本层之外的增强层的图像压缩信息也发送至处理能力高的终端(如电视机组或个人计算机)，并且再现空间/时间分辨率高或图像质量高的运动图像。

作为使能这样的可伸缩性的参数，例如，存在空间分辨率(空间可伸缩性)。在该空间可伸缩性的情况下，分辨率对于每个层而言不同。即，将每个图片分层成两个层级，即空间分辨率低于原始图像的基本层以及可以用于通过与基本层的图像组合来获得原始图像(原始空间分辨率)的增强层。明显的是，层级的数量是示例，并且可以将图片分层成任意数量的层级。

作为具有这样的可伸缩性的另一参数，例如，存在时间分辨率(时间可伸缩性)。在该时间可伸缩性的情况下，帧速率对于每个层而言不同。即，在这种情况下，由于将图像分层成帧速率互不相同的层，所以通过将帧速率高的层与帧速率低的层相加，可以获得帧速率较高的运动图像，并且通过将所有层相加，可以获得原始运动图像(原始帧速率)。在此，层级的数量是示例，并且可以将图像分层成任意数量的层级。

另外，作为使能这样的可伸缩性的另一参数，例如，可以应用信噪比(SNR)(SNR可伸缩性)。在该SNR可伸缩性的情况下，SN比率对于每个层而言不同。即，将每个图片分层成两个层级，包括SNR低于原始图像的基本层以及能够通过与基本层的图像组合来获得原始图像(原始SNR)的增强层。即，在基本层图像压缩信息中，发送与PSNR低的图像有关的信息，并且通过将增强层图像压缩信息与基本层图像压缩信息相加，可以重建PSNR高的图像。明显的是，层级的数量是示例，并且可以将图像分层成任意数量的层级。

明显的是，具有可伸缩性的参数可以不同于上述示例的参数。例如，存在位深可伸缩性，其中，基本层由8位图像配置，并且通过将增强层与基本层相加来获得10位的图像。

另外，存在色度可伸缩性，其中，基本层由4:2:0格式的分量图像配置，并且通过将增强层与基本层相加来获得4:2:2格式的分量图像。

此外，作为使能可伸缩性的参数，存在多视图。在这种情况下，每个图片被分层成互不相同的视图(视点)的层。

在该实施例中描述的层包括上述的可伸缩性编码的空间、时间、SNR、位深、颜色、视图等。

在该说明书中使用的术语“层”包括上述可伸缩(分层)编码的每个层以及在考虑多视点的多视图时的每个视图。

在下文中，虽然将会描述作为示例的视图，但是通过使用另外的层来替代视图，可以类似地将本技术应用于上述其他层。

[图像编码装置的配置示例]

图1示出了作为应用本公开内容的图像处理装置的、根据实施例的图像编码装置的配置。

图1中示出的图像编码装置100通过使用预测处理对图像数据进行编码。在此，使用例如HEVC系统等作为编码系统。即，图像编码装置100以CU(编码单元)为单位执行处理。

在图1中示出的示例中，图像编码装置100包括：A/D(模拟/数字)转换器101；画面重排缓冲器102；计算单元103；正交变换单元104；量化单元105；无损编码单元106；以及累积缓冲器107。另外，图像编码装置100包括：逆量化单元108；逆正交变换单元109；计算单元110；去块滤波器111；解码图片缓冲器112；选择单元113；帧内预测单元114；运动视差预测/补偿单元115；选择单元116；以及速率控制单元117。

此外，图像编码装置100包括：语法处理单元121；参考列表生成单元122；自适应偏移滤波器123；以及自适应环路滤波器124。

A/D转换器101执行输入图像数据的A/D转换，并且将得到的图像数据输出至画面重排缓冲器102，以将图像数据存储在画面重排缓冲器102中。

画面重排缓冲器102将所存储的、处于显示帧顺序的图像重排成处于用于根据图片组(GOP)进行编码的帧顺序。画面重排缓冲器102还将帧顺序已被重排的图像提供给语法处理单元121。

语法处理单元121依次检查从画面重排缓冲器102读取的图像的数据，并且将从图中未示出的先前级提供的报头信息插入到图像的数据中。报头信息例如包括视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)等。另外，语法处理单元121将片报头(SH)添加至片的开头。

语法处理单元121将插入了报头信息等的图像提供给计算单元103、帧内预测单元114和运动视差预测/补偿单元115。另外，语法处理单元121将每个报头信息和诸如片报头的信息提供给参考列表生成单元122。

计算单元103将通过选择单元116从自语法处理单元121提供的图像中减去自帧内预测单元114或运动视差预测/补偿单元115提供的预测图像，并且将其差分信息输出至正交变换单元104。

例如，在进行帧内编码的图像的情况下，计算单元103将从自语法处理单元121提供的图像中减去自帧内预测单元114提供的预测图像。另一方面，例如，在进行帧间编码的图像的情况下，计算单元103将从自语法处理单元121提供的图像中减去自运动视差预测/补偿单元115提供的预测图像。

正交变换单元104对从计算单元103提供的差分信息执行正交变换(如离散余弦变换或卡洛变换)，并且将其变换系数提供给量化单元105。

量化单元105执行从正交变换单元104输出的变换系数的量化。量化单元105将经量化的变换系数提供给无损编码单元106。

无损编码单元106对于经量化的变换系数执行无损编码，如可变长度编码或算术编码。

无损编码单元106从帧内预测单元114获得表示帧内预测模式的信息等，并且从运动视差预测/补偿单元115获得表示帧间预测模式的信息、运动矢量信息等。

无损编码单元106对经量化的变换系数进行编码，并且将帧内预测模式信息、帧间预测模式信息、运动矢量信息和量化参数设置为编码数据的报头信息的一部分(复用)。无损编码单元106将通过编码处理获得的编码数据提供给累积缓冲器107，以便将编码数据累积在累积缓冲器107中。

例如，无损编码单元106执行无损编码处理，如可变长度编码处理或算术编码处理。作为可变长度编码，例如，存在上下文自适应可变长度编码(CAVLC)等。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)等。

累积缓冲器107临时存储从无损编码单元106提供的编码数据，并且例如在预定定时将所存储的编码数据作为已经编码的编码数据输出至图中未示出的、部署在后一级上的图像解码装置、记录装置、传输线等。

另外，由量化单元105量化的变换系数还被提供给逆量化单元108。逆量化单元108通过使用与由量化单元105执行的量化处理对应的方法，对经量化的变换系数进行逆量化。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109通过使用与由正交变换单元104执行的正交变换处理对应的方法，执行所提供的变换系数的逆正交变换。已被执行了逆正交变换的输出(恢复的差分信息)被提供给计算单元110。

计算单元110将通过选择单元116从帧内预测单元114或运动视差预测/补偿单元115提供的预测图像与从逆正交变换单元109提供的逆正交变换的结果(即，经恢复的差分信息)相加，从而获得局部解码图像(解码图像)。

例如，在差分信息对应于被执行帧内编码处理的图像的情况下，计算单元110将从帧内预测单元114提供的预测图像与该差分信息相加。另外，例如，在差分信息对应于被执行帧间编码处理的图像的情况下，计算单元110将从运动视差预测/补偿单元115提供的预测图像与该差分信息相加。

相加的结果被提供给去块滤波器111和解码图片缓冲器112。

去块滤波器111适当地执行去块滤波处理，从而消除解码图像的块失真。去块滤波器111将滤波处理的结果提供给自适应偏移滤波器123。

自适应偏移滤波器123执行自适应偏移滤波(ASO：样本自适应偏移)处理，其主要为去块滤波器111执行的去块滤波处理之后的图像消除振铃(ringing)。

如更详细地描述的，自适应偏移滤波器123针对每个最大编码单元(LCU)确定自适应偏移滤波处理的类型，并且获得在自适应偏移滤波处理中使用的偏移，其中，最大编码单元(LCU)是最大的编码单元。自适应偏移滤波器123通过使用所获得的偏移对自适应去块滤波处理之后的图像执行所确定的类型的自适应偏移滤波处理。然后，自适应偏移滤波器123将自适应偏移滤波处理之后的图像提供给自适应环路滤波器124。

另外，自适应偏移滤波器123包括用于存储偏移的缓冲器。自适应偏移滤波器123针对每个LCU确定自适应去块滤波处理中使用的偏移是否已经被存储在缓冲器中。

在确定自适应去块滤波处理中使用的偏移已经被存储在缓冲器中的情况下，自适应偏移滤波器123将表示偏移是否被存储在缓冲器中的存储标志设置成表示偏移被存储在缓冲器中的值(在此为“1”)。

然后，自适应偏移滤波器123针对每个LCU将被设置成“1”的存储标志、表示该偏移在缓冲器中的存储位置的索引、以及表示所执行的自适应偏移滤波处理的类型的类型信息提供给无损编码单元106。

另一方面，在确定自适应去块滤波处理中使用的偏移还未被存储在缓冲器中的情况下，自适应偏移滤波器123将偏移依次存储在缓冲器中。另外，自适应偏移滤波器123将存储标志设置成表示该偏移未被存储在缓冲器中的值(在此为“0”)。然后，自适应偏移滤波器123针对每个LCU将被设置成“0”的存储标志、偏移以及类型信息提供给无损编码单元106。

自适应环路滤波器124针对每个LCU对例如从自适应偏移滤波器123提供的、自适应偏移滤波处理之后的图像执行自适应环路滤波(ALF)处理。例如，使用利用二维维纳滤波器的处理作为自适应环路滤波处理。明显的是，可以使用除了维纳滤波器以外的滤波器。

更具体地，自适应环路滤波器124针对每个LCU计算在自适应环路滤波处理中使用的滤波器系数，使得作为从语法处理单元121输出的图像的原始图像与自适应环路滤波处理之后的图像之间的残差最小。然后，自适应环路滤波器124针对每个LCU对于自适应偏移滤波处理之后的图像通过使用所计算的滤波器系数而执行自适应环路滤波处理。

自适应环路滤波器124将自适应环路滤波处理之后的图像提供给解码图片缓冲器112。另外，自适应环路滤波器124将滤波器系数提供给无损编码单元106。

在此，对于每个LCU执行自适应环路滤波处理，自适应环路滤波处理的处理单位不限于LCU。然而，通过使自适应偏移滤波器123和自适应环路滤波器124的处理单位相匹配，可以有效地执行处理。

解码图片缓冲器112在预定定时处将累计的参考图像通过选择单元113输出至帧内预测单元114或运动视差预测/补偿单元115。

例如，在执行帧内编码的图像的情况下，解码图片缓冲器112通过选择单元113将参考图像提供给帧内预测单元114。另一方面，例如，在执行帧间编码的情况下，解码图片缓冲器112通过选择单元113将参考图像提供给运动视差预测/补偿单元115。

在从解码图片缓冲器112提供的参考图像是执行帧内编码的图像的情况下，选择单元113将参考图像提供给帧内预测单元114。另一方面，在从解码图片缓冲器112提供的参考图像是执行帧间编码的图像的情况下，选择单元113将参考图像提供给运动视差预测/补偿单元115。

帧内预测单元114通过使用从语法处理单元121提供的输入图像的画面中像素值，来执行用于生成预测图像的帧内预测(画面中预测)。帧内预测单元114在多种模式(帧内预测模式)下执行帧内预测。

帧内预测单元114在所有帧内预测模式下生成预测图像，对每个预测图像进行评估，并且选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114通过选择单元116将在最佳模式下生成的预测图像提供给计算单元103或计算单元110。

另外，如上所述，帧内预测单元114将例如表示所使用的帧内预测模式的帧内预测模式信息的信息适当地提供给无损编码单元106。

运动视差预测/补偿单元115通过使用从语法处理单元121提供的输入图像以及经由选择单元113从解码图片缓冲器112提供的参考图像，对于执行帧间编码的图像执行运动视差预测。此时，运动视差预测/补偿单元115使用在由参考列表生成单元122生成的参考列表中所表示的参考图像索引的参考图像。运动视差预测/补偿单元115根据所检测的运动视差矢量来执行运动视差补偿处理，从而生成预测图像(帧间预测图像信息)。

运动视差预测/补偿单元115执行作为候选的所有帧间预测模式中的每种帧间预测模式的帧间预测处理，从而生成预测图像。运动视差预测/补偿单元115通过选择单元116将所生成的预测图像提供给计算单元103或计算单元110。

另外，运动视差预测/补偿单元115将表示所使用的帧间预测模式的帧间预测模式信息和表示所计算的运动矢量的运动矢量信息提供给无损编码单元106。

在执行帧内编码的图像的情况下，选择单元116将帧内预测单元114的输出提供给计算单元103或计算单元110，并且在执行帧间编码的图像的情况下，选择单元116将运动视差预测/补偿单元115的输出提供给计算单元103或计算单元110。

速率控制单元117基于存储在累积缓冲器107中的压缩图像来控制量化单元105的量化操作的速率，使得不出现上溢或下溢。

参考列表生成单元122通过使用累积在解码图片缓冲器112中的参考图像的信息(POC信息和视图信息)，来生成当运动视差预测/补偿单元115对当前图像进行预测时参考的参考列表。此时，参考列表生成单元122通过将能够按视图方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间来生成参考列表。

即，参考列表生成单元122通过将能够按视图方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间来生成时间列表，该时间列表是当生成参考列表时使用的临时列表。然后，参考列表生成单元122基于所生成的时间列表来生成参考列表。

在此，能够按时间方向被参考的参考图像是可以在不同的时间点被参考的参考图像，而可以按视图(层)方向被参考的参考图像是可以在不同视图(层)被参考的参考图像。

[参考图像的结构]

接下来，将参照图2对根据HEVC系统的参考图像的结构进行描述。

在图2中示出的示例中，从左侧起按照POC的顺序，示出了长期(LT)参考图像、短期(之前)参考图像(在当前之前的短期：STbC)、在其中表示“C”的当前图像、以及短期(之后)参考图像(在当前之后的短期：STaC)。另外，从下侧起按照视图(视差)方向的顺序，示出了在其中表示“C”的当前图像以及视图间(IV)参考图像。另外，每个参考图像中表示的数字表示了每个参考图像在解码图片缓冲器112中的布置索引。

在HEVC系统中，当执行帧间预测时，可以将以下四种类型的图像设置为参考图像的候选：这四种类型的图像包括图2中示出的长期参考图像、短期(之前)参考图像、短期(之后)参考图像和视图间参考图像。

短期(之前)参考图像是在同一视图内在时间上位于在其中表示“C”的当前图像之前(POC较小)的短期参考图像，并且短期(之后)参考图像是在同一视图内在时间上位于当前图像之后(POC较大)的短期参考图像。另外，长期参考图像是在同一视图内被指定为长期的参考图像的参考图像。视图间参考图像是同一时间处不同视图的参考图像。

[生成参考列表的常规方法1]

接下来，将参照图3描述作为常规方法1的、用于生成HEVC系统的默认参考列表的方法。在图3中示出的示例中，作为参考四个参考图像的示例，示出了解码图片缓冲器112中的短期(之前)参考图像的列表(布置)(RefPicSetStCurrBefore[i])、短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])、长期参考图像的列表(RefPicSetLtCurr[i])和视图间参考图像的列表(RefPicSetIvCurr[i])(i:索引＝0至3)。

对于短期参考图像，在片报头或RPS(参考图片集合)的语法中，为具有被参考的可能性的每个图像设置标志used_by_curr。RPS是下述语法：该语法被用于对于包括在SPS中的每个图片清楚地表示解码图片缓冲器的状态。对于长期参考图像，在片报头或SPS的语法中，为具有被参考的可能性的每个图像设置标志used_by_curr。仅将其标志used_by_curr是“1”的每个图像添加至时间列表，该时间列表是当生成参考列表时使用的临时列表。另外，由于没有为视图间参考图像设置标志used_by_curr，所以将布置在视图间参考图像的列表中的所有视图间参考图像添加至时间列表。

在图3中表示的示例中，示出了根据参考图像的这样的列表而生成的L0(方向L0)的时间列表(RefPicListTemp0[rIdx])和L1(方向L1)的时间列表(RefPicListTemp1[rIdx])。

通过下述方式来生成L0的时间列表(RefPicListTemp0[rIdx])：按照短期(之前)参考图像、短期(之后)参考图像、长期参考图像和视图间参考图像的顺序，添加标志used_by_curr被设置成“1”的图像。因此，按照索引“0”和“1”的短期(之前)参考图像、索引“0”和“1”的短期(之后)参考图像、索引“0”的长期参考图像、以及索引“0”至“3”的视图间参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

通过下述方式来生成L1的时间列表(RefPicListTemp1[rIdx])：按照短期(之后)参考图像、短期(之前)参考图像、长期参考图像和视图间参考图像的顺序，添加标志used_by_curr被设置成“1”的图像。因此，按照索引“0”和“1”的短期(之后)参考图像、索引“0”和“1”的短期(之前)参考图像、索引“0”的长期参考图像、以及索引“0”至“3”的视图间参考图像的顺序，生成L1的时间列表(RefPicListTemp1[rIdx])。

另外，在图3中表示的示例中，示出了基于L0的时间列表生成的L0的参考列表(RefPicList0[rIdx])和基于L1的时间列表生成的L1的参考列表(RefPicList1[rIdx])。

在此，作为片报头或SPS的语法，在时间列表中，设置num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1作为可参考图像的数量。从L0/L1的时间列表的开头开始，由此限制参考图像的数量，并且，仅参考图像被添加至参考列表并且可以被用作参考图像。

例如，在num_ref_idx_l0_active_minus1为4的情况下，将L0的时间列表的开头(从左侧起的第一个)至第五个的图像添加至L0的参考列表(RefPicList0[rIdx])，从而生成L0的参考列表。在图3中示出的示例的情况下，按照索引“0”和“1”的短期(之前)参考图像、索引“0”和“1”的短期(之后)参考图像、以及索引“0”的长期参考图像的顺序，生成L0的参考列表。

例如，在num_ref_idx_l1_active_minus1为3的情况下，将L1的时间列表的开头至第四个的图像添加至L1的参考列表(RefPicList1[rIdx])，从而生成L1的参考列表。在图3中示出的示例的情况下，按照索引“0”和“1”的短期(之后)参考图像、以及索引“0”和“1”的短期(之前)参考图像的顺序，生成L1的参考列表。

如上所述，根据HEVC系统，生成时间列表，使得在按时间方向部署的参考图像之后布置按视图方向部署的图像。从而，难以将按视图方向部署的参考图像布置在参考列表中。

另外，根据HEVC系统，定义参考列表的变化命令，并且通过发送变化命令，可以将在时间列表中自由地重排的图像插入到参考列表中。因此，按视图方向部署的参考图像可以被参考。然而，由于在语法中发送变化命令，所以生成了另外的位。

即，在上述方法的情况下，虽然当时间相关性极其高于视图相关性时不存在问题，但是，在一般序列中，视图之间的相关性并不显著地低，从而必需使用参考列表命令用于执行视差预测。

从而，在非专利文献2中，已经提出了当生成时间列表时，使用片报头发送用于指定以下位置的信息：在该位置处，要将按视图方向部署的参考图像插入按时间方向部署的多个参考图像当中。

[生成参考列表的常规方法2]

接下来，将参照图4描述作为常规方法2的、非专利文献2中描述的用于生成默认参考列表的方法。在图4中，仅描述L0的示例。

根据非专利文献2中描述的方法，直到生成时间列表为止，该处理类似于HEVC系统的处理，并且在此将不会给出其重复描述。

即，类似于HEVC系统，通过下述方式来生成L0的时间列表(RefPicListTemp0[rIdx])：按照短期(之前)参考图像、短期(之后)参考图像、长期参考图像和视图间参考图像的顺序，添加标志used_by_curr被设置成“1”的图像。因此，按照索引“0”和“1”的短期(之前)参考图像、索引“0”和“1”的短期(之后)参考图像、索引“0”的长期参考图像、以及索引“0”至“3”的视图间参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在此，在非专利文献2中描述的方法的情况下，在片报头扩展中设置视图间参考图像被插入时间列表中的位置(inter_view_ref_start_position)，并发送该位置。

例如，根据位置inter_view_ref_start_position，如由箭头P1表示的，指定从时间列表的开头(第一个)起的第二位置。在这样的情况下，按照索引“0”的短期(之前)参考图像、索引“0”至“3”的视图间参考图像、索引“1”的短期(之前)参考图像、索引“0”和“1”的短期(之后)参考图像、以及索引“0”的长期参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在这样的情况下，按照索引“0”的短期(之前)参考图像和索引“0”至“3”的视图间参考图像的顺序，根据num_ref_idx_l0_active_minus1＝4来生成L0的参考列表。

另外，例如，根据位置inter_view_ref_start_position，如由箭头P2表示的，指定从时间列表的开头(第一个)起的第三位置。在这样的情况下，按照索引“0”和“1”的短期(之前)参考图像、索引“0”至“3”的视图间参考图像、索引“0”和“1”的短期(之后)参考图像、以及索引“0”的长期参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在这样的情况下，按照索引“0”和“1”的短期(之前)参考图像和索引“0”至“2”的视图间参考图像的顺序，根据num_ref_idx_l0_active_minus1＝4来生成L0的参考列表。

另外，例如，根据位置inter_view_ref_start_position，如由箭头P3表示的，指定从时间列表的开头(第一个)起的第四位置。在这样的情况下，按照索引“0”和“1”的短期(之前)参考图像、索引“0”的短期(之后)参考图像、索引“0”至“3”的视图间参考图像、索引“1”的短期(之后)参考图像、以及索引“0”的长期参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在这样的情况下，按照索引“0”和“1”的短期(之前)参考图像、索引“0”的短期(之后)参考图像、以及索引“0”至“1”的视图间参考图像的顺序，根据num_ref_idx_l0_active_minus1＝4来生成L0的参考列表。

如上所述，根据非专利文献2中公开的方法，在片报头扩展中，在语法中发送视图间参考图像被插入时间列表中的位置。因此，在考虑到视图相关性的情况下，可以将视图间参考图像插入在时间列表中的优选位置处。

然而，在非专利文献2中公开的方法的情况下，当不需要移动视图间参考图像时，也需要发送语法。

另外，在这样的情况下，立即将多个视图间参考图像插入到在语法中设置的位置。因此，在时间列表中，当期望混合视图间参考图像和短期参考图像或长期参考图像时，需要发送参考列表变化命令。

从而，根据本技术，通过将能够按视图方向被参考的参考图像插入能够按时间方向被参考的多个参考图像当中来生成临时列表。

[根据本技术1的生成参考列表的方法]

接下来，将参照图5对根据本技术1的生成参考列表的方法进行描述。在图5中示出的示例中，作为参考四个参考图像的示例，示出了解码图片缓冲器112中的短期(之前)参考图像的列表(布置)(RefPicSetStCurrBefore[i])、短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])、长期参考图像的列表(RefPicSetLtCurr[i])和视图间参考图像的列表(RefPicSetIvCurr[i])(i:索引＝0至3)。

根据本技术1，按照索引“0”和“1”的短期(之前)参考图像、索引“0”至“3”的视图间参考图像、索引“0”和“1”的短期(之后)参考图像、以及索引“0”的长期参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在这样的情况下，按照索引“0”和“1”的短期(之前)参考图像和索引“0”至“2”的视图间参考图像的顺序，根据num_ref_idx_l0_active_minus1＝4来生成L0的参考列表。

根据本技术1，按照索引“0”和“1”的短期(之后)参考图像、索引“0”至“3”的视图间参考图像、索引“0”和“1”的短期(之前)参考图像、以及索引“0”的长期参考图像的顺序，生成L1的时间列表(RefPicListTemp1[rIdx])。

在这样的情况下，按照索引“0”和“1”的短期(之后)参考图像以及索引“0”和“1”的视图间参考图像的顺序，根据num_ref_idx_l0_active_minus1＝3来生成L1的参考列表。

如上所述，根据本技术1的方法，在时间列表的生成中，将视图间图像插入在短期(之前)参考图像与短期(之后)参考图像之间。

由于这是默认处理，所以不需要发送另外的语法。另外，由于短期(之后)参考图像在L1中以最高优先级进入该列表，所以通过在L0中在短期(之后)参考图像之前插入视图间参考图像，可以避免在L0/L1中重复使用短期(之后)参考图像。

然而，在L0的情况下，当短期(之前)参考图像的数量大时，存在没有进入参考列表的视图间图像。关于这一点，可以通过使用RPS来限制短期(之前)参考图像的数量。另外，在L1的情况下，虽然作为目标的短期参考图像的顺序是相反的，但是可以类似地描述该处理。

另外，在短期(之前/之后)参考图像之后，立即插入多个视图间参考图像。从而，在时间列表中，当期望混合视图间参考图像和短期参考图像或长期参考图像时，需要发送参考列表变化命令。

在时间相关性极其高于视图之间的相关性的情况下，存在编码效率会降低的担忧。

[根据本技术2的生成参考列表的方法]

另外，将参照图6对根据本技术2的生成参考列表的方法进行描述。在图6中示出的示例中，作为参考四个参考图像的示例，示出了解码图片缓冲器112中的短期(之前)参考图像的列表(布置)(RefPicSetStCurrBefore[i])、短期(之后)参考图像的列表(RefPicSetStCurrAfter[i])、长期参考图像的列表(RefPicSetLtCurr[i])和视图间参考图像的列表(RefPicSetIvCurr[i])(i:索引＝0至3)。

根据本技术2，按照索引“0”的短期(之前)参考图像、索引“0”的视图间参考图像、索引“1”的短期(之前)参考图像、索引“1”的视图间参考图像、索引“0”的短期(之后)参考图像、索引“2”的视图间参考图像、索引“1”的短期(之后)参考图像、索引“3”的视图间参考图像、以及索引“0”的长期参考图像的顺序，生成L0的时间列表(RefPicListTemp0[rIdx])。

在这样的情况下，按照索引“0”的短期(之前)参考图像、索引“0”的视图间参考图像、索引“1”的短期(之前)参考图像、索引“1”的视图间参考图像、以及索引“0”的短期(之后)参考图像的顺序，根据num_ref_idx_l0_active_minus1＝4来生成L0的参考列表。

另外，根据本技术2，按照索引“0”的短期(之后)参考图像、索引“0”的视图间参考图像、索引“1”的短期(之后)参考图像、索引“1”的视图间参考图像、索引“0”的短期(之前)参考图像、索引“2”的视图间参考图像、索引“1”的短期(之前)参考图像、索引“3”的视图间参考图像、以及索引“0”的长期参考图像的顺序，生成L1的时间列表(RefPicListTemp1[rIdx])。

在这样的情况下，按照索引“0”的短期(之后)参考图像、索引“0”的视图间参考图像、索引“1”的短期(之后)参考图像、以及索引“1”的视图间参考图像的顺序，根据num_ref_idx_l1_active_minus1＝3来生成L1的参考列表。

如上所述，根据本技术2的方法，在时间列表的生成中，交替地布置按时间方向部署的参考图像和按视图方向部署的参考图像。

当时间相关性的高度和视图之间的相关性的高度交替地排成一行时，形成具有高参考效率的布置。另外，在L0的情况下，甚至当短期(之前)参考图像的数量大时，也容易默认地将视图间参考图像添加至参考列表。另外，由于这是默认的处理，所以不需要发送另外的语法。

然而，在时间相关性极其高于视图之间的相关性的情况下，存在编码效率降低的担忧。

[常规技术与本技术之间的比较]

在图7中表示的示例中，示出了将上述常规方法与根据本技术的方法进行比较的表格。

相对于常规技术1，本技术1具有两个优点。第一个优点是：对于视图间相关性高的序列(一般情况)，可以提高编码效率。视图间相关性表示视图间图像之间的相关性。第二个优点是：当短期(之前)参考图像(STbC)和短期(之后)参考图像(STaC)的数量小时，可以在整个参考列表L0/L1中增加独特的图片的数量。

相对于常规技术2，本技术1具有两个优点。第一个优点是：不需要发送另外的语法。第二个优点是：由于不重排时间列表，所以处理量小。

相对于常规技术1，本技术2具有两个优点。第一个优点是：当交替地排列时间相关性和视图间相关性时，可以提高编码效率。在此，时间相关性是不同时间点间的图像之间的相关性。视图间相关性是视图间图像之间的相关性。第二个优点是：在最差的情况下，也可以在从参考列表的开头起的第二位置处布置视图间参考图像。

相对于常规技术2，本技术2具有两个优点。第一个优点是：不需要发送另外的语法。第二个优点是：当交替地排列时间相关性和视图间相关性时，可以提高编码效率。

另外，将对本技术1和本技术2进行相互比较。

相对于本技术1，本技术2具有两个优点。第一个优点是：当交替地排列时间相关性和视图间相关性时，可以提高编码效率。第二个优点是：在最差的情况下，也可以在从参考列表的开头起的第二位置处布置视图间参考图像。

在上面给出的描述中，类似于常规情况，虽然已经描述了视图间图像被添加至参考列表(时间列表)的顺序对于L0和L1而言相同的示例，但是可以在L0和L1之间改变顺序。

[视图间图像之间的排列]

接下来，将参照图8对根据本技术的视图间图像之间的排列顺序进行描述。

通常，基于VPS(视频参数集合)的ref_layer_id[i][j]而按照j＝0、1、2、…的顺序将对应的视图间参考图像添加至参考列表(时间列表)。该处理在L0与L1之间完全相同，并且在L0/L1的时间列表中，视图间参考图像被排列的顺序是相同的。

从而，根据该技术，按照ref_layer_id[i][j](在此，j＝0、1、2、…)的顺序将视图间参考图像添加至L0的时间列表。另外，按照ref_layer_id[i][j](在此，j＝…、2、1、0)的顺序将视图间参考图像添加至L1的时间列表。

更具体地，如图8中的左侧所示，例如，在view_id＝0、1、2和3的四个视图当中的view_id＝2的视图图像要被编码的情况下，假定按照VPS中的view_id＝1、0、和3的顺序来描述参考关系。

在这种情况下，根据本技术，如图8中的右侧所示，在L0的时间列表中，按照在VPS中描述的view_id＝1、0、和3的顺序来排列视图间参考图像。另外，在L1的时间列表中，按照作为VPS中描述的view_id的相反顺序的view_id＝3、0、和1的顺序来排列视图间参考图像。

通过这样进行配置，在L0/L1的时间列表中，在仅直到第(ref_id＝n+1)个图像被参考的情况下，即，在将仅直到第(ref_id＝n+1)个图像添加至参考列表的情况下，可以在L0和L1中参考不同的视图间参考图像。

更具体地，在图8中示出的示例中，在L0中第(n+1)个视图间参考图像是view_id＝1的视图间参考图像v1，并且在L1中第(n+1)个视图间参考图像是view_id＝3的视图间参考图像v3，从而，在L0和L1之间第(n+1)个视图间参考图像可以改变。

以这种方式，由于可以在L0和L1中参考不同的视图间参考图像，所以与参考同一图像的情况的性能相比，具有以下高可能性：具有较高的视差预测性能，并且可以预期提高编码效率。

在图8中表示的示例中，类似于图3中表示的常规示例，虽然示出了在按时间方向部署的参考图像之后添加按视图方向部署的参考图像的示例，但是也可以利用上面参照图5和图6描述的本技术的情况的视图间参考图像的顺序。

在应用本技术的情况下，根据非专利文献1中公开的技术，如由图9中的实线表示的，对于L0不存在变化，如由图9中示出的虚线表示的，视图间图像变成按L0的相反顺序被添加。

图1中示出的执行上述处理的参考列表生成单元122如下面的图10中所示那样被配置。

[参考列表生成单元的配置示例]

图10是示出了执行上述处理的参考列表生成单元的配置的示例的框图。

在图10中示出的示例中，参考列表生成单元122被配置成包括：参考图像设置单元131；时间列表生成单元132；和参考图像列表生成单元133。

参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息(即，POC信息)以及从语法处理单元121提供的片报头或RPS中所设置的短期参考图像的标志used_by_curr来设置短期(之前)参考图像，并且生成短期(之前)参考图像列表(RefPicSetStCurrBefore[i])。另外，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及从语法处理单元121提供的片报头或RPS中所设置的短期参考图像的标志used_by_curr来设置短期(之后)参考图像，并且生成短期(之后)参考图像列表(RefPicSetStCurrAfter[i])。

参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及从解码图片缓冲器112提供的片报头或SPS中所设置的长期参考图像的标志used_by_curr来设置长期参考图像，并且生成长期参考图像列表(RefPicSetLtCurr[i])。另外，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的视图信息来设置视图间参考图像(RefPicSetIvCurr[i])，并且生成其列表。

时间列表生成单元132根据上述本技术按照预定顺序对由参考图像设置单元131设置的列表进行组合，从而生成L0和L1的时间列表(RefPicListTemp0[rIdx]和RefPicListTemp1[rIdx])。

参考图像列表生成单元133参考从语法处理单元121提供的片报头或SPS中所设置的数字num_ref_idx_l0_active_minus1和数字num_ref_idx_l1_active_minus1。参考图像列表生成单元133从时间列表生成单元132所生成的L0/L1的时间列表中提取与数字num_ref_idx_l0_active_minus1和数字num_ref_idx_l1_active_minus1对应的参考图像，并添加所提取的参考图像，从而生成L0/L1的参考列表。

由参考图像列表生成单元133生成的L0/L1的参考列表被运动视差预测/补偿单元115所参考。

[编码处理的流程]

接下来，将对由上述图像编码装置100执行的每个处理的流程进行描述。首先，将参照图11中表示的流程图来描述编码处理的流程的示例。

在步骤S101中，A/D转换器101执行输入图像的A/D转换。在步骤S102中，画面重排缓冲器102存储从模拟转换至数字的图像，并且将图像从图片显示顺序重排成编码顺序。

在步骤S103中，语法处理单元121依次检查从画面重排缓冲器102读取的图像的数据，并且将报头信息插入到每个图像的数据。语法处理单元121将插入了报头信息等的图像提供给计算单元103、帧内预测单元114和运动视差预测/补偿单元115。另外，语法处理单元121将诸如VPS、SPS(包括RPS)和片报头的信息提供给参考列表生成单元122。

在步骤S104，计算单元103计算从语法处理单元121提供的图像与预测图像之间的差异。通过选择单元116而在帧间预测的情况下从运动视差预测/补偿单元115将预测图像提供给计算单元103，或者在帧内预测的情况下从帧内预测单元114提供预测图像。

差分数据的数据量小于原始图像数据的数据量。因此，与直接对图像进行编码的情况相比，可以更大程度地压缩数据量。

在步骤S105中，正交变换单元104执行通过步骤S104的处理所生成的差分信息的正交变换。更具体地，执行诸如离散余弦变换和卡洛变换的正交变换，并且输出变换系数。

在步骤S106中，量化单元105对通过步骤S105的处理所获得的正交变换系数进行量化。

通过步骤S106的处理而量化的差分信息如下所述被局部解码。在步骤S107中，逆量化单元108根据与量化单元105的特性对应的特性，对通过步骤S106的处理生成的、经量化的正交变换系数(也被称为量化系数)进行逆量化。

在步骤S108中，逆正交变换单元109根据与正交变换单元104的特性对应的特性，对通过步骤S107的处理所获得的正交变换系数进行逆正交变换。

在步骤S109中，计算单元110将预测图像与局部解码的差分信息相加，从而生成局部解码图像(与至计算单元103的输入对应的图像)

在步骤S110中，去块滤波器111对从计算单元110提供的图像进行滤波，从而消除块失真。然后，去块滤波器111将由此获得的图像提供给自适应偏移滤波器123。

在步骤S111中，自适应偏移滤波器123针对每个LCU对于从去块滤波器111提供的图像执行自适应偏移滤波处理。自适应偏移滤波器123将由此获得的图像提供给自适应环路滤波器124。另外，自适应偏移滤波器123针对每个LCU将存储标志、索引或偏移、以及类型信息作为偏移滤波器信息提供给无损编码单元106。

在步骤S112中，自适应环路滤波器124针对每个LCU对于从自适应偏移滤波器123提供的图像执行自适应环路滤波处理。自适应环路滤波器124将由此获得的图像提供给解码图片缓冲器112。另外，自适应环路滤波器124将在自适应环路滤波处理中使用的滤波器系数提供给无损编码单元106。

在步骤S113中，解码图片缓冲器112存储已经执行了滤波处理的图像。另外，尚未执行滤波处理的图像也从计算单元110被提供给解码图片缓冲器112，并且被存储在解码图片缓冲器112中。通过选择单元113将累积在解码图片缓冲器112中的图像作为参考图像提供给运动视差预测/补偿单元115或帧内预测单元114。

在步骤S114中，帧内预测单元114执行帧内预测模式的帧内预测处理。

在步骤S115中，参考列表生成单元122生成当运动视差预测/补偿单元115对当前图像进行预测时参考的参考列表。稍后将参照图12详细描述生成该参考列表的处理。

通过步骤S115的处理，通过将能够按视图方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像当中来生成时间列表，该时间列表是当生成参考列表时使用的临时列表。然后，基于所生成的时间列表来生成参考列表。

在步骤S116中，运动视差预测/补偿单元115通过使用由通过步骤S115的处理生成的参考列表所表示的参考图像索引的参考图像来执行帧间运动视差预测处理，在该帧间运动视差预测处理中，执行帧间预测模式的运动视差预测或运动视差补偿。

在步骤S117中，选择单元116基于从帧内预测单元114和运动视差预测/补偿单元115输出的成本函数值来确定最佳预测模式。即，选择单元116选择由帧内预测单元114生成的预测图像或者由运动视差预测/补偿单元115生成的预测图像。

另外，用于表示选择哪个预测图像的选择信息被提供给其预测图像已经被选择的帧内预测单元114或运动视差预测/补偿单元115。在选择最佳帧内预测模式的预测图像的情况下，帧内预测单元114将表示最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元106。

在选择最佳帧间预测模式的预测图像的情况下，运动视差预测/补偿单元115将表示最佳帧间预测模式的信息输出至无损编码单元106，并且在必要时将根据最佳帧间预测模式的信息输出至无损编码单元106。作为根据最佳帧间预测模式的信息，可以提供运动矢量信息、视差矢量信息、标志信息、参考帧信息等。

在步骤S118中，无损编码单元106对通过步骤S106的处理而量化的变换系数进行编码。即，对于差分图像(在帧间预测的情况下，为二次差分图像)，执行诸如可变长度编码或算术编码的无损编码。

另外，无损编码单元106将与通过步骤S117的处理所选择的预测图像的预测模式有关的信息添加到通过对差分图像进行编码而获得的编码数据。即，无损编码单元106将从帧内预测单元114提供的帧内预测模式信息、从运动视差预测/补偿单元115提供的根据最佳帧间预测模式的信息等添加到编码数据。

在步骤S119中，累积缓冲器107累积从无损编码单元106输出的编码数据。累积在累积缓冲器107中的编码数据被适当地读取，并且通过传输线被发送至解码侧。

在步骤S120中，速率控制单元117基于通过步骤S119的处理而累积在累积缓冲器107中的压缩图像，对由量化单元105执行的量化操作的速率进行控制，使得不出现上溢或下溢。

当步骤S120的处理结束时，编码处理结束。

[参考列表生成处理的流程]

接下来，将参照图12中表示的流程图，对在图11中表示的步骤S115中执行的参考列表生成处理的流程的示例进行描述。通过执行该处理，生成上面参照图5所描述的根据本技术1的参考列表。仅在解码图像(即，供预测的当前图像)是P图片或B图片的情况下执行该处理。

在上述图11中表示的步骤S103中，将诸如解码图像的VPS、SPS(包括RPS)和片报头的信息从语法处理单元121提供给参考列表生成单元122。在从语法处理单元121提供的片报头或RPS中设置短期参考图像的标志used_by_curr。在片报头或SPS中设置长期参考图像的标志used_by_curr。

在步骤S131中，参考列表生成单元122的参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息(即，POC信息)以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之前)参考图像(STbC)，并且生成列表RefPicSetStCurrBefore[i]。

在步骤S132中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之后)参考图像(STaC)，并且生成列表RefPicSetStCurrAfter[i]。

在步骤S133中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及片报头或SPS的长期参考图像的标志used_by_curr来设置长期参考图像(LT)，并且生成列表RefPicSetLtCurr[i]。

在步骤S134中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的视图信息来设置视图间参考图像(IV)，并且生成列表RefPicSetIvCurr[i]。

在步骤S135中，时间列表生成单元132按照STbC、IV、STaC和LT的顺序，对由参考图像设置单元131设置的四种类型的列表进行组合，从而生成L0的时间列表(RefPicListTemp0[rIdx])。

即，仅上述四种类型的列表中其标志used_by_curr为“1”的参考图像被按照STbC、IV、STaC和LT的顺序进行组合，从而生成L0的时间列表。另外，此时，添加所有的视图间参考图像(IV)。

在步骤S136中，时间列表生成单元132按照STaC、IV、STbC和LT的顺序，对由参考图像设置单元131设置的四种类型的列表进行组合，从而生成L1的时间列表(RefPicListTemp1[rIdx])。

即，仅其标志used_by_curr为“1”的参考图像被按照STaC、IV、STbC和LT的顺序进行组合，从而生成L1的时间列表。另外，此时，虽然添加所有的视图间参考图像(IV)，但是如上面参考图8所描述的，该顺序可以被配置成方向L0的顺序的相反顺序。

在从语法处理单元121提供的片报头或SPS中设置数字num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步骤S137中，参考图像列表生成单元133提取L0的时间列表(RefPicListTemp0[rIdx])中的第一个至第(num_ref_idx_l0_active_minus1+1)个元素，并且生成L0的参考列表(RefPicList0[rIdx])。

在步骤S138中，参考图像列表生成单元133提取L1的时间列表(RefPicListTemp1[rIdx])中的第一个至第(num_ref_idx_l1_active_minus1+1)个元素，并且生成L1的参考列表(RefPicList1[rIdx])。

如上所述，在短期(之前)参考图像与短期(之后)参考图像之间插入视图间图像，从而生成上面参照图5所描述的参考列表。

[参考列表生成处理的另一流程]

接下来，将参照图13中表示的流程图，对在图11中表示的步骤S115中执行的参考列表生成处理的流程的示例进行描述。通过执行该处理，生成上面参照图6所描述的根据本技术2的参考列表。仅在解码图像(即，供预测的当前图像)是P图片或B图片的情况下执行该处理。

在上述图11中表示的步骤S103中，将诸如解码图像的VPS、SPS(包括RPS)和片报头的信息从语法处理单元121提供给参考列表生成单元122。在从语法处理单元121提供的片报头或RPS中设置短期参考图像的标志used_by_curr。在片报头或SPS中设置长期参考图像的标志used_by_curr。

在步骤S151中，参考列表生成单元122的参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息(即，POC信息)以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之前)参考图像(STbC)，并且生成列表RefPicSetStCurrBefore[i]。

在步骤S152中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之后)参考图像(STaC)，并且生成列表RefPicSetStCurrAfter[i]。

在步骤S153中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的时间信息以及片报头或SPS的长期参考图像的标志used_by_curr来设置长期参考图像(LT)，并且生成列表RefPicSetLtCurr[i]。

在步骤S154中，参考图像设置单元131通过参考从解码图片缓冲器112提供的参考图像的视图信息来设置视图间参考图像(IV)，并且生成列表RefPicSetIvCurr[i]。

在步骤S155中，时间列表生成单元132生成两个列表，包括通过将参考图像设置单元131所设置的三个列表STbC、STaC和LT依次组合而获得的列表1以及由IV配置的列表2。即，按照STbC、STaC和LT的顺序仅对标志used_by_curr为“1”的参考图像进行组合，从而生成列表1。另外，通过将列表RefPicSetIvCurr[i]的所有IV添加至列表来生成列表2。

在步骤S156中，时间列表生成单元132从步骤S155中所生成的列表1和列表2中的每个的开头起提取一个元素，并且交替地排列所提取的元素，从而生成L0的时间列表(RefPicListTemp0[rIdx])。

在步骤S157中，时间列表生成单元132生成两个列表，包括包括通过将参考图像设置单元131所设置的三个列表STaC、STbC和LT依次组合而获得的列表11以及由IV配置的列表12。即，按照STaC、STbC和LT的顺序仅对标志used_by_curr为“1”的参考图像进行组合，从而生成列表11。另外，虽然通过添加列表RefPicSetIvCurr[i]的所有IV来生成列表12，但是此时，如上面参照图8所描述的，可以按照下述顺序来添加视图间参考图像：该顺序为方向L0的顺序的相反顺序。

在步骤S158中，时间列表生成单元132从步骤S155中所生成的列表11和列表12中的每个的开头起提取一个元素，并且交替地排列所提取的元素，从而生成L1的时间列表(RefPicListTemp1[rIdx])。

在从语法处理单元121提供的片报头或SPS中设置数字num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步骤S159中，参考图像列表生成单元133提取L0的时间列表(RefPicListTemp0[rIdx])的第一个至第(num_ref_idx_l0_active_minus1+1)个元素，并且生成L0的参考列表(RefPicList0[rIdx])。

在步骤S160中，参考图像列表生成单元133提取L1的时间列表(RefPicListTemp1[rIdx])的第一个至第(num_ref_idx_l1_active_minus1+1)个元素，并且生成L1的参考列表(RefPicList1[rIdx])。

如上所述，在时间列表的生成中，交替地布置按时间方向部署的参考图像和按视图方向部署的参考图像，从而生成上面参照图6所描述的参考列表。

另外，虽然在上面给出的描述中描述了两种类型的参考列表的示例，但是例如，可以进行配置，使得编码侧将用于表示所选择的参考列表的、一位的参考列表选择标志发送至解码侧，并且在解码侧生成根据该参考列表选择标志的参考列表。该参考列表选择标志例如可以被配置成针对每个片被发送。

例如，如上面参照图7所描述的，更适当的列表取决于序列中的时间相关度或视图间相关度而是不同的。从而，通过以这种方式发送参考列表选择标志，例如，与如非专利文献2中公开的每次发送语法的情况或使用图像来发送变化命令的情况相比，编码效率可以提高得更多。

<2.第二实施例>

[图像解码装置]

图14示出了作为应用本公开内容的图像处理装置的、根据实施例的图像解码装置的配置。图14中示出的图像解码装置200是与图1中示出的图像编码装置100对应的解码装置。

由图像编码装置100编码的编码数据被假定成通过预定传输线被发送至与图像编码装置100对应的图像解码装置200，并且通过使用HEVC系统等被解码。

如图14中所示，图像解码装置200包括：累积缓冲器201；无损解码单元202；逆量化单元203；逆正交变换单元204；计算单元205；去块滤波器206；画面重排缓冲器207；以及D/A转换器208。另外，图像解码装置200包括：解码图片缓冲器209；选择单元210；帧内预测单元211；运动视差预测/补偿单元212；以及选择单元213。

此外，图像解码装置200包括：语法处理单元221；参考列表生成单元222；自适应偏移滤波器223；以及自适应环路滤波器224。

累积缓冲器201累积被发送的编码数据。该编码数据由图像编码装置100编码。语法处理单元221从在预定定时处自累积缓冲器201读取的编码数据获得VPS、SPS、片报头等，并且将已经获得的每个报头信息连同编码数据一起提供给无损解码单元202。另外，语法处理单元221将已经获得的报头信息等提供给参考列表生成单元222。

无损解码单元202通过使用与图1中示出的无损编码单元106的编码系统对应的系统，对从语法处理单元221提供的编码数据进行解码。逆量化单元203通过使用与图1中示出的量化单元105的量化系统对应的系统，对通过由无损解码单元202执行的解码处理所获得的系数数据(量化系数)执行逆量化。即，逆量化单元203通过使用与图1中示出的逆量化单元108的方法类似的方法、通过使用从图像编码装置100提供的量化参数来对量化系数进行逆量化。

逆量化单元203将系数数据(即，已被执行逆量化处理的正交变换系数)提供给逆正交变换单元204。逆正交变换单元204通过使用与图1中示出的正交变换单元104的正交变换系统对应的系统来执行正交变换系数的逆正交变换，从而获得与在图像编码装置100执行的正交变换处理之前的残差数据对应的解码残差数据。

将通过逆正交变换获得的解码残差数据提供给计算单元205。另外，通过选择单元213将预测图像从帧内预测单元211或运动视差预测/补偿单元212提供给计算单元205。

计算单元205将解码残差数据与预测图像相加，从而获得与在图像编码装置100的计算单元103执行的预测图像的减法之前的图像数据对应的解码图像数据。计算单元205将解码图像数据提供给去块滤波器206。

去块滤波器206适当地执行去块滤波处理，从而消除解码图像的块失真。去块滤波器206将由此获得的图像提供给自适应偏移滤波器223。

自适应偏移滤波器223包括用于依次存储从语法处理单元221提供的偏移的缓冲器。另外，自适应偏移滤波器223针对每个LCU、基于从语法处理单元221提供的偏移滤波器信息、对去块滤波器206执行的自适应去块滤波处理之后的图像执行自适应偏移滤波处理。

更具体地，在包括在偏移滤波器信息中的存储标志是“0”的情况下，自适应偏移滤波器223通过使用包括在偏移滤波器信息中的偏移，对于以LCU为单位执行去块滤波处理之后的图像来执行由类型信息表示的类型的自适应偏移滤波处理。

另一方面，在包括在偏移滤波器信息中的存储标志是“1”的情况下，自适应偏移滤波器223针对以LCU为单位执行去块滤波处理之后的图像读取下述偏移：该偏移存储在由包括在偏移滤波器信息中的索引所表示的位置处。然后，自适应偏移滤波器223通过使用所读取的偏移来执行由类型信息表示的类型的自适应偏移滤波处理。自适应偏移滤波器223将自适应偏移滤波处理之后的图像提供给自适应环路滤波器224。

自适应环路滤波器224通过使用从语法处理单元221提供的滤波器系数，针对每个LCU对于从自适应偏移滤波器223提供的图像执行自适应环路滤波处理。自适应环路滤波器224将由此获得的图像提供给画面重排缓冲器207。

画面重排缓冲器207执行画面重排处理。即，由图1中示出的画面重排缓冲器102针对编码顺序而重排的帧顺序被重排成原始显示顺序。D/A转换器208对于从画面重排缓冲器207提供的图像执行D/A转换，并且将经转换的图像输出给图中未示出的显示器，以便在显示器上进行显示。

另外，自适应环路滤波器224的输出被提供给解码图片缓冲器209。

解码图片缓冲器209、选择单元210、帧内预测单元211、运动视差预测/补偿单元212和选择单元213分别对应于图像编码装置100的解码图片缓冲器112、选择单元113、帧内预测单元114、运动视差预测/补偿单元115和选择单元116。

选择单元210从解码图片缓冲器209读取对其执行帧间处理的图像和参考图像，并且将所读取的图像提供给运动视差预测/补偿单元212。另外，选择单元210从解码图片缓冲器209读取被用于帧内预测的图像，并且将所读取的图像提供给帧内预测单元211。

从报头信息获得的表示帧内预测模式的信息等被适当地从无损解码单元202提供给帧内预测单元211。帧内预测单元211基于该信息根据从解码图片缓冲器209获得的参考图像来生成预测图像，并且将所生成的预测图像提供给选择单元213。

从报头信息获得的信息(预测模式信息、运动矢量信息、视差矢量信息、各种参数等)被从无损解码单元202提供给运动视差预测/补偿单元212。另外，由参考列表生成单元222分配的参考图像索引被提供给运动视差预测/补偿单元212。

运动视差预测/补偿单元212基于从无损解码单元202提供的这样的信息、以及在参考列表生成单元222生成的参考列表中所表示的参考图像索引，根据从解码图片缓冲器209获得的参考图像来生成预测图像。运动视差预测/补偿单元212将所生成的预测图像提供给选择单元213。

选择单元213选择由运动视差预测/补偿单元212或帧内预测单元211生成的预测图像，并且将所选择的预测图像提供给计算单元205。

参考列表生成单元222基本上被配置成类似于图像编码装置100的参考列表生成单元122。参考列表生成单元222通过使用累积在解码图片缓冲器209中的参考图像的信息(POC信息或视图信息)，来生成当运动视差预测/补偿单元212对当前图像进行预测时参考的参考列表。此时，参考列表生成单元122通过将能够按视图方向被参考的参考图像插入能够按时间方向被参考的多个参考图像当中来生成参考列表。

即，参考列表生成单元222通过将能够按视图方向被参考的参考图像插入能够按时间方向被参考的多个参考图像当中而生成时间列表，该时间列表是当生成参考列表时使用的临时列表。然后，参考列表生成单元222基于所生成的时间列表来生成参考列表。

[参考列表生成单元的配置示例]

图15是示出了图14中示出的参考列表生成单元的配置示例的框图。

在图15中示出的示例中，参考列表生成单元222被配置成包括：参考图像设置单元231；时间列表生成单元232；以及参考图像列表生成单元233。

参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息(即，POC信息)以及在从语法处理单元221提供的片报头或RPS中设置的短期参考图像的标志used_by_curr来设置短期(之前)参考图像，并且生成短期(之前)参考图像列表(RefPicSetStCurrBefore[i])。参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息以及在从语法处理单元221提供的片报头或RPS中设置的短期参考图像的标志used_by_curr来设置短期(之后)参考图像，并且生成短期(之后)参考图像列表(RefPicSetStCurrAfter[i])。

参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息以及在片报头或SPS中设置的长期参考图像的标志used_by_curr来设置长期参考图像，并且生成长期参考图像列表(RefPicSetLtCurr[i])。参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的视图信息来设置视图间参考图像(RefPicSetIvCurr[i])，并且生成其列表。

时间列表生成单元232根据上述本技术按预定顺序对由参考图像设置单元231设置的列表进行组合，从而生成L0和L1的时间列表(RefPicListTemp0[rIdx]和RefPicListTemp1[rIdx])。

参考图像列表生成单元233参考在从语法处理单元221提供的片报头或SPS中设置的数字num_ref_idx_l0_active_minus1和数字num_ref_idx_l1_active_minus1。参考图像列表生成单元233从由时间列表生成单元232生成的L0/L1的时间列表提取与数字num_ref_idx_l0_active_minus1和数字num_ref_idx_l1_active_minus1对应的参考图像，并添加所提取的参考图像，从而生成L0/L1的参考列表。

由参考图像列表生成单元233生成的L0/L1的参考列表被运动视差预测/补偿单元212所参考。

[解码处理的流程]

接下来，将描述由上述图像解码装置200执行的每个处理的流程。首先，将参照图16中表示的流程图来描述解码处理的流程的示例。

当解码处理开始时，在步骤S201中，累积缓冲器201累积被发送至累积缓冲器201的编码数据。在步骤S202中，语法处理单元221从在预定定时处从累积缓冲器201读取的编码数据获得报头信息。语法处理单元221将每个获得的报头信息连同编码数据一起提供给无损解码单元202。另外，语法处理单元221将所获得的报头信息(包括VPS、SPS(包括RPS)和片报头)等提供给参考列表生成单元222。

在步骤S203中，无损解码单元202对从语法处理单元221提供的编码数据进行解码。即，对由图1中示出的无损编码单元106编码的I图片、P图片和B图片进行解码。

此时，从每个报头信息获得运动矢量信息、视差矢量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)、标志、量化参数等的信息。

在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测单元211。在预测模式信息是帧间预测模式信息的情况下，预测模式信息和对应的运动矢量信息被提供给运动视差预测/补偿单元212。

在步骤S204中，逆量化单元203对通过由无损解码单元202执行的解码处理所获得的、经量化的正交变换系数进行逆量化。在步骤S205中，逆正交变换单元204通过使用与图1中示出的正交变换单元104对应的方法，对于通过由逆量化单元203执行的逆量化处理所获得的正交变换系数执行逆正交变换。以这种方式，与图1中示出的正交变换单元104的输入(计算单元103的输出)对应的差分信息被解码。

在步骤S206中，计算单元205将预测图像与通过步骤S205的处理所获得的差分信息相加。因此，正交图像数据被解码。

在步骤S207中，去块滤波器206对通过步骤S206的处理所获得的解码图像适当地进行滤波。因此，从解码图像适当地消除了块失真。去块滤波器206将由此获得的图像提供给自适应偏移滤波器223。

在步骤S208中，自适应偏移滤波器223基于从语法处理单元221提供的偏移滤波器信息，针对每个LCU对于由去块滤波器206执行的去块滤波处理之后的图像进行自适应偏移滤波处理。自适应偏移滤波器223将自适应偏移滤波处理之后的图像提供给自适应环路滤波器224。

在步骤S209中，自适应环路滤波器224通过使用从语法处理单元221提供的滤波器系数，针对每个LCU对于从自适应偏移滤波器223提供的图像执行自适应环路滤波处理。自适应环路滤波器224将由此获得的图像提供给解码图片缓冲器209和画面重排缓冲器207。

在步骤S210中，解码图片缓冲器209存储经滤波的解码图像。

在步骤S211中，参考列表生成单元222生成当运动视差预测/补偿单元212对当前图像进行预测时要参考的参考列表。稍后将参照图17详细描述生成参考列表的该处理。

通过步骤S211的处理，通过将能够按视图方向被参考的参考图像插入能够按时间方向被参考的多个参考图像当中来生成时间列表，该时间列表是当生成参考列表时使用的临时列表。然后，基于所生成的时间列表，生成参考列表。

在步骤S212中，帧内预测单元211或运动视差预测/补偿单元212根据从无损解码单元202提供的预测模式信息来执行每个图像的预测处理。

即，在从无损解码单元202提供帧内预测模式信息的情况下，帧内预测单元211执行帧内预测模式的帧内预测处理。另一方面，在从无损解码单元202提供帧间预测模式信息的情况下，运动视差预测/补偿单元212通过使用由通过步骤S211的处理生成的参考列表所表示的参考图像索引的参考图像，来执行帧间预测模式的运动视差预测/补偿处理。

在步骤S213中，选择单元213选择预测图像。即，由帧内预测单元211生成的预测图像或由运动视差预测/补偿单元212生成的预测图像被提供给选择单元213。选择单元213选择预测图像被提供至的那一侧，并且将预测图像提供给计算单元205。该预测图像通过步骤S206的处理而与差分信息相加。

在步骤S214中，画面重排缓冲器207对解码图像数据的帧进行重排。即，由图像编码装置100的画面重排缓冲器102(图1)为编码而重排的、解码图像数据的帧顺序被按照原始显示顺序重排。

在步骤S215中，D/A转换器208执行其帧由画面重排缓冲器207重排的解码图像数据的D/A转换。该解码图像数据被输出至图中未示出的显示器，从而显示相应的图像。当步骤S215的处理结束时，解码处理结束。

[参考列表生成处理的流程]

接下来，将参照图17中示出的流程图，对在图16中表示的步骤S211中执行的参考列表生成处理的流程的示例进行描述。另外，通过执行该处理，生成上面参照图5所描述的根据本技术1的参考列表。仅在解码图像(即，供预测的当前图像)是P图片或B图片的情况下，执行该处理。

在上述图16中表示的步骤S203中，将诸如解码图像的VPS、SPS(包括RPS)和片报头的信息从语法处理单元221提供给参考列表生成单元222。在从语法处理单元221提供的片报头或RPS中设置短期参考图像的标志used_by_curr。在片报头或SPS中设置长期参考图像的标志used_by_curr。

在步骤S231中，参考列表生成单元222的参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息(即，POC信息)以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之前)参考图像(STbC)，并且生成列表RefPicSetStCurrBefore[i]。

在步骤S232中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之后)参考图像(STaC)，并且生成列表RefPicSetStCurrAfter[i]。

在步骤S233中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息(即，POC信息)以及片报头或SPS的长期参考图像的标志used_by_curr来设置长期参考图像(RefPicSetLtCurr[i]：LT)，并且生成列表RefPicSetLtCurr[i]。

在步骤S234中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的视图信息来设置视图间参考图像(IV)，并且生成列表RefPicSetIvCurr[i]。

在步骤S235中，时间列表生成单元232按照STbC、IV、STaC和LT的顺序对由参考图像设置单元231设置的四种类型的列表进行组合，从而生成L0的时间列表(RefPicListTemp0[rIdx])。

即，上述四种类型的列表中的仅标志used_by_curr为“1”的参考图像按照STbC、IV、STaC和LT的顺序被组合，从而生成L0的时间列表。另外，此时，添加所有的视图间参考图像(IV)。

在步骤S236中，时间列表生成单元232按照STaC、IV、STbC和LT的顺序对由参考图像设置单元231设置的四种类型的列表进行组合，从而生成L1的时间列表(RefPicListTemp1[rIdx])。

即，仅其标志used_by_curr为“1”的参考图像按照STaC、IV、STbC和LT的顺序被组合，从而生成L1的时间列表。另外，此时，当添加所有的视图间参考图像(IV)时，如上面参照图8所描述的，该顺序可以被配置成方向L0的顺序的相反顺序。

在从语法处理单元221提供的片报头或SPS中设置数字num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步骤S237中，参考图像列表生成单元233提取L0的时间列表(RefPicListTemp0[rIdx])的第一个至第(num_ref_idx_l0_active_minus1+1)个元素，并且生成L0的参考列表(RefPicList0[rIdx])。

在步骤S238中，参考图像列表生成单元233提取L1的时间列表(RefPicListTemp1[rIdx])的第一个至第(num_ref_idx_l1_active_minus1+1)个元素，并且生成L1的参考列表(RefPicList1[rIdx])。

如上所述，视图间图像被插入在短期(之前)参考图像与短期(之后)参考图像之间，从而生成上面参照图5所描述的参考列表。

[参考列表生成处理的另一流程]

接下来，将参照图18中表示的流程图，对在图16中表示的步骤S211中执行的参考列表生成处理的流程的示例进行描述。通过执行该处理，生成上面参照图6所描述的根据本技术2的参考列表。仅在解码图像(即，供预测的当前图像)是P图片或B图片的情况下，执行该处理。

在上述图16中表示的步骤S203中，将例如解码图像的VPS、SPS(包括RPS)和片报头的信息从语法处理单元221提供给参考列表生成单元222。在从语法处理单元221提供的片报头或RPS中设置短期参考图像的标志used_by_curr。在片报头或SPS中设置长期参考图像的标志used_by_curr。

在步骤S251中，参考列表生成单元222的参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息(即，POC信息)以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之前)参考图像(STbC)，并且生成列表RefPicSetStCurrBefore[i]。

在步骤S252中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息以及片报头或RPS的短期参考图像的标志used_by_curr来设置短期(之后)参考图像(STaC)，并且生成列表RefPicSetStCurrAfter[i]。

在步骤S253中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的时间信息以及片报头或SPS的长期参考图像的标志used_by_curr来设置长期参考图像(LT)，并且生成列表RefPicSetLtCurr[i]。

在步骤S254中，参考图像设置单元231通过参考从解码图片缓冲器209提供的参考图像的视图信息来设置视图间参考图像(IV)，并且生成列表RefPicSetIvCurr[i]。

在步骤S255中，时间列表生成单元232生成两个列表，包括通过将由参考图像设置单元231设置的三个列表STbC、STaC和LT依次组合获得的列表1以及由IV配置的列表2。即，按照STbC、STaC和LT的顺序仅对标志used_by_curr为“1”的参考图像进行组合，从而生成列表1。另外，通过将列表RefPicSetIvCurr[i]的所有IV添加至列表来生成列表2。

在步骤S256中，时间列表生成单元232从步骤S255中生成的列表1和列表2中的每个的开头起提取一个元素，并且交替地排列所提取的元素，从而生成L0的时间列表(RefPicListTemp0[rIdx])。

在步骤S257中，时间列表生成单元232生成两个列表，包括包括通过将由参考图像设置单元231设置的三个列表STaC、STbC和LT依次组合获得的列表11以及由IV配置的列表12。即，按照STaC、STbC和LT的顺序仅对标志used_by_curr为“1”的参考图像进行组合，从而生成列表11。另外，虽然通过添加列表RefPicSetIvCurr[i]的所有IV来生成列表12，但是此时，如上面参照图8所描述的，可以按照下述顺序来添加视图间参考图像：该顺序为方向L0的顺序的相反顺序。

在步骤S258中，时间列表生成单元232从在步骤S255中生成的列表11和列表12中的每个的开头起提取一个元素，并且交替地排列所提取的元素，从而生成L1的时间列表(RefPicListTemp1[rIdx])。

在从语法处理单元221提供的片报头或SPS中设置数字num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步骤S259中，参考图像列表生成单元233提取L0的时间列表(RefPicListTemp0[rIdx])的第一个至第(num_ref_idx_l0_active_minus1+1)个元素，并且生成L0的参考列表(RefPicList0[rIdx])。

在步骤S260中，参考图像列表生成单元233提取L1的时间列表(RefPicListTemp1[rIdx])的第一个至第(num_ref_idx_l1_active_minus1+1)个元素，并且生成L1的参考列表(RefPicList1[rIdx])。

如上所述，在时间列表的生成中，交替地布置按时间方向部署的参考图像和按视图方向部署的参考图像，从而生成上面参照图6所描述的参考列表。

另外，在上面给出的描述中，作为编码系统，虽然HEVC系统被用作基础，但是本技术是在执行显示时的技术，而不限于特定编码系统。从而，本技术不限于HEVC系统，而是可以使用任何其他编码系统/解码系统。例如，本技术也可以应用于下述装置：该装置执行编码/解码处理，其以下文将描述的AVC系统作为其基础。

<3.第三实施例>

[图像编码装置的另一配置]

图19示出了作为应用本公开内容的图像处理装置的、根据另一实施例的图像编码装置的配置。图19中表示的图像编码装置300与图1中表示的图像编码装置100的不同仅在于：执行使用AVC系统的编码处理。

在图19中，相同的附图标记被分配给与图1中示出的配置相同的配置。从而，适当地不给出其重复描述。

图19中示出的图像编码装置300包括：A/D(模拟/数字)转换器101；画面重排缓冲器102；计算单元103；正交变换单元104；量化单元105；无损编码单元106；以及累积缓冲器107。另外，图像编码装置100包括：逆量化单元108；逆正交变换单元109；计算单元110；去块滤波器111；解码图片缓冲器112；选择单元113；帧内预测单元114；运动视差预测/补偿单元115；选择单元116；以及速率控制单元117。

此外，图像编码装置100包括：语法处理单元121；以及参考列表生成单元122。

即，图19中示出的图像编码装置300的配置与图1中示出的图像编码装置100的配置不同仅在于：不包括自适应偏移滤波器123和自适应环路滤波器124，并且无损编码单元106不是通过使用HEVC系统而是通过使用AVC系统来执行编码。从而，图像编码装置300不是以CU为单位而是以块为单位执行编码处理。

除了自适应偏移滤波器和自适应环路滤波器的参数以外，由无损编码单元106执行的编码处理的目标与图1中示出的无损编码单元106的目标基本上相同。即，类似于图1中示出的无损编码单元106，无损编码单元106从帧内预测单元114获得帧内预测模式信息。另外，无损编码单元106从运动视差预测/补偿单元115获得帧间预测模式信息、运动矢量、指定参考图像的信息等。

类似于图1中示出的无损编码单元106，无损编码单元106对于从量化单元105提供的、经量化的系数执行无损编码处理，如可变长度编码处理(例如，CAVLC)或算术编码处理(例如，CABAC)。

类似于图1中示出的无损编码单元106，无损编码单元106对经量化的变换系数进行编码，并且设置帧内预测模式信息、帧间预测模式信息、运动矢量信息和量化参数作为编码数据的报头信息的一部分(复用)。无损编码单元106将通过编码处理所获得的编码数据提供给累积缓冲器107，以便累积在累积缓冲器107中。

去块滤波器111对从计算单元110提供的局部解码图像进行滤波，从而消除块失真。去块滤波器111将由此获得的图像提供给解码图片缓冲器112，以便累积在解码图片缓冲器112中。

通过选择单元113将累积在解码图片缓冲器112中的图像作为参考图像输出至帧内预测单元114或运动视差预测/补偿单元115。

本技术可以应用于使用AVC系统的这样的图像编码装置。

[解码单元的另一配置示例]

图20示出了作为应用本公开内容的图像处理装置的、根据另一实施例的图像解码装置的配置。图20中示出的图像解码装置350是与图19中示出的图像编码装置300对应的解码装置。图20中表示的图像解码装置350与图14中示出的图像解码装置200的不同仅在于：使用AVC系统执行解码处理。

在图20中，相同的附图标记被分配给与图14中示出的配置相同的配置。从而，适当地不给出其重复描述。

图20中示出的图像解码装置350包括：累积缓冲器201；无损解码单元202；逆量化单元203；逆正交变换单元204；计算单元205；去块滤波器206；画面重排缓冲器207；D/A转换器208；解码图片缓冲器209；选择单元210；帧内预测单元211；运动视差预测/补偿单元212；以及选择单元213。

图20中示出的图像解码装置350的配置与图14中示出的图像解码装置200的配置不同仅在于：不包括自适应偏移滤波器223和自适应环路滤波器224，并且无损解码单元202不是通过使用HEVC系统而是通过使用AVC系统来执行解码处理。从而，图像解码装置350不是以CU为单位而是以块为单位来执行解码处理。

除了自适应偏移滤波器和自适应环路滤波器的参数以外，由无损解码单元202执行的解码处理的目标与图14中示出的无损解码单元202的目标基本上相同。即，累积缓冲器201累积已经被发送至累积缓冲器201的编码数据。该编码数据是由图像编码装置300编码的。

类似于图14中示出的语法处理单元221，语法处理单元221从在预定定时处自累积缓冲器201读取的编码数据获得序列参数集合、图片参数集合、片报头等，并且将已经获得的每个报头信息连同编码数据一起提供给无损解码单元202。另外，语法处理单元221将已经获得的报头信息等提供给参考列表生成单元222。

另外，类似于图14中示出的无损解码单元202，无损解码单元202对于从语法处理单元221提供的编码数据执行无损解码处理，如可变长度解码处理或算术解码处理，从而获得经量化的系数。无损解码单元202将经量化的系数提供给逆量化单元203。

去块滤波器206对于从计算单元205提供的图像执行滤波，从而消除块失真。然后，去块滤波器206将由此获得的图像提供给解码图片缓冲器209和画面重排缓冲器207。

本技术还可以应用于使用AVC系统的这样的图像解码装置。

另外，本公开内容例如可以应用于下述图像编码装置和图像解码装置：当通过网络介质(如卫星广播、有线电视、因特网或移动电话)接收使用正交变换(如离散余弦变换)和运动补偿压缩的图像信息(比特流)(如MPEG、H.26x等)时，使用该图像编码装置和该图像解码装置。另外，本公开内容可以应用于当在存储介质(如光盘、磁盘或闪存)上处理信息时所使用的图像编码装置和图像解码装置。此外，本公开内容还可以应用于被包括在上述图像编码装置和图像解码装置中的运动预测/补偿装置等。

<4.第四实施例>

[计算机]

上述一系列处理可以由硬件或软件执行。在一系列处理由软件执行的情况下，配置该软件的程序被安装至计算机。在此，计算机包括内置到专用硬件中的计算机以及通过安装各种程序而能够执行各种功能的计算机(如通用计算机)等。

图21是示出了根据程序执行上述一系列处理的计算机的硬件配置示例的框图。

在计算机500中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504相互连接。

另外，输入/输出接口510连接至总线504。输入单元511、输出单元512、存储单元513、通信单元514和驱动器515连接至输入/输出接口510。

输入单元511由键盘、鼠标、麦克风等配置。输出单元512由显示器、扬声器等配置。存储单元513由硬盘、非易失性存储器等配置。通信单元514由网络接口等配置。驱动器515驱动可移动介质521，如磁盘、光盘、磁光盘或半导体存储器。

在如上述配置的计算机中，CPU 501例如通过经由输入/输出接口510和总线504将存储在存储单元513中的程序加载到RAM 503中并且执行该程序来执行上述一系列处理。

由计算机500(CPU 501)执行的程序例如可以通过被记录在作为封装介质等的可移动介质521上而被提供。另外，可以通过有线或无线传输介质(如局域网、因特网或数字卫星广播等)来提供程序。

在该计算机中，程序可以通过将可移动介质521加载至驱动器515中而通过输入/输出接口510被安装至存储单元513。此外，程序可以通过有线或无线传输介质而由通信单元514所接收，并且被安装至存储单元513。另外，程序可以被预先安装至ROM 502或存储单元513。

另外，由计算机执行的程序可以是根据在此所描述的次序按时间顺序执行处理的程序，或者可以是以并行方式或在必要的定时(如调用程序时)执行处理的程序。

此外，在该说明书中，描述被记录在记录介质上的程序的步骤不仅包括根据所描述的次序按时间顺序被执行的处理，而且还包括不一定按时间顺序处理而以并行方式或彼此独立的方式被执行的处理。

另外，在该说明书中，系统表示由多个装置(设备)配置的整体设备。

此外，在上面被描述为一个装置(或一个处理单元)的配置可以被划分以便被配置为多个装置(或处理单元)。相对地，在上面被描述为多个装置(或处理单元)的配置可以被布置成被配置为一个装置(或一个处理单元)。另外，可以给每个装置(或每个处理单元)的配置添加上面未描述的配置。此外，只要系统的整体配置和整体操作基本上相同，则特定装置(或特定处理单元)的配置的一部分可以被配置成被包括在另一装置(或另一处理单元)的配置中。即，本技术不限于上述实施例，而是可以在不偏离本技术的概念的范围内进行各种变化。

根据上述实施例的图像编码装置和图像解码装置可以应用于各种电子设备，这些电子设备例如：用于诸如卫星广播或有线电视的有线广播、因特网上的传输、或通过蜂窝通信到终端的传输等的发送器或接收器；用于在介质(如光盘、磁盘或闪存)上记录图像的记录装置；或者用于从存储介质再现图像的再现装置。在下文中，将描述四个应用示例。

<5.应用示例>

[第一应用示例：电视接收器]

图22示出了应用上述实施例的电视设备的示意性配置示例。电视设备900包括：天线901；调谐器902；解复用器903；解码器904；视频信号处理单元905；显示单元906；音频信号处理单元907；扬声器908；外部接口909；控制单元910；用户接口911；以及总线912。

调谐器902从通过天线901接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调而获得的编码比特流输出至解复用器903。即，调谐器902用作电视设备900的、用于接收编码图像的编码流的传输装置。

解复用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将每个分离流输出至解码器904。另外，解复用器903还从编码比特流提取辅助数据(如EPG(电子节目指南))，并且将所提取的数据提供给控制单元910。此外，在编码比特流被加扰的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。另外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且使显示单元906显示视频。视频信号处理单元905还可以使显示单元906显示通过网络提供的应用画面。另外，视频信号处理单元905可以根据设置对视频数据执行另外的处理，如去噪。此外，视频信号处理单元905可以生成GUI(图形用户界面)图像(如菜单、按钮或光标)，并且将所生成的图像叠加在输出图像上。

显示单元906根据从视频信号处理单元905提供的驱动信号被驱动，以便在显示装置(例如，液晶显示器、等离子体显示器、OELD(有机电致发光显示器(有机EL显示器)等)的视频画面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理(如D/A转换和放大)，并且使扬声器908输出音频。另外，音频信号处理单元907可以对音频数据执行另外的处理，如去噪。

外部接口909是用于将电视设备900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。即，外部接口909还用作电视设备900的、用于接收编码图像的编码流的传输装置。

控制单元910包括例如CPU的处理器以及例如RAM或ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、通过网络所获得的数据等。存储在存储器中的程序例如在电视设备900启动时由CPU读取，并且被执行。CPU例如根据从用户接口911输入的操作信号通过执行该程序来控制电视设备900的操作。

用户接口911连接至控制单元910。用户接口911例如包括用于供用户操作电视设备900的按钮和开关、用于远程控制信号的接收单元等。用户接口911通过这些部件来检测用户操作，生成操作信号，并且将所生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

在以该方式配置的电视设备900中，解码器904具有根据上述实施例的图像解码装置的功能。因此，当在电视设备900中对图像进行解码时，可以提高多视点编码处理的编码效率。

[第二应用示例：移动电话]

图23示出了应用上述实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932、以及总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931相互连接。

移动电话920执行操作，诸如在包括语音呼叫模式、数据通信模式、成像模式和电视电话模式的各种操作模式下的音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获和数据的记录。

在语音呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，执行经转换的音频数据的A/D转换，并且压缩音频数据。然后，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送至基站(图中未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大并且执行无线信号的频率转换，从而获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923执行音频数据的解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以使音频被输出。

在数据通信模式下，例如，控制单元931根据通过操作单元932进行的用户操作来生成配置电子邮件的字符数据。另外，控制单元931使显示单元930显示字符。另外，控制单元931根据通过操作单元932来自用户的传输指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，从而生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送至基站(图中未示出)。另外，通信单元922执行通过天线921接收的无线信号的放大和频率转换，从而获得接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将已恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，并且将电子邮件数据存储在记录/再现单元929的记录介质上。

记录/再现单元929包括任意的可读且可写的存储介质。例如，存储介质可以是内置存储介质(如RAM或闪存)，或者可以是外部安装式存储介质(如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡)。

在成像模式下，例如，摄像单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像单元926输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的记录介质上。

另外，在电视电话模式下，例如，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将所得到的复用流输出至通信单元922。通信单元922对该流进行编码和调制，从而生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送至基站(图中未示出)。另外，通信单元922执行通过天线921接收的无线信号的放大和频率转换，从而获得接收信号。获得了传输信号和接收信号，在传输信号和接收信号中包括编码比特流。然后，通信单元922通过对接收信号进行解调和解码来恢复该流，并且将所恢复的流输出至复用/分离单元928。复用/分离单元928从输入流分离视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以使音频被输出。

在以该方式配置的移动电话920中，图像处理单元927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当在移动电话920中对图像进行编码和解码时，可以提高多视点编码处理的编码效率。

[第三应用示例：记录/再现设备]

图24是示出了应用上述实施例的记录/再现设备的示意性配置的示例的框图。记录/再现设备940例如对接收的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在记录介质上。另外，记录/再现设备940例如可以对从另外的装置获得的音频数据和视频数据进行编码，并且将编码数据记录在记录介质上。此外，记录/再现设备940例如根据用户指令使用监视器和扬声器来再现记录在记录介质上的数据。此时，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括：调谐器941；外部接口单元942；编码器943；硬盘驱动器(HDD)单元944；盘驱动器945；选择器946；解码器947；屏幕上显示(OSD)单元948；控制单元949；以及用户接口单元950。

调谐器941从通过天线(图中未示出)接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调处理所获得的编码比特流输出至选择器946。即，调谐器941用作记录/再现设备940的传输装置。

外部接口单元942是用于将记录/再现设备940与外部装置或网络连接的接口。外部接口单元942例如可以是IEEE 1394接口、网络接口、USB接口或闪存接口等。例如，通过外部接口单元942接收的视频数据和音频数据被输入至编码器943。即，外部接口单元942用作记录/再现设备940的传输装置。

在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。

HDD单元944将其中内容数据(如视频和音频)被压缩的编码比特流、各种程序和其他数据记录在内部硬盘中。当再现视频和音频时，HDD单元944从硬盘读取其数据。

盘驱动器945将数据记录在加载的记录介质上以及从加载的记录介质读取数据。加载至盘驱动器945中的记录介质例如可以是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、或蓝光(注册商标)盘等。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至HDD单元944或盘驱动器945。另外，当再现视频和音频时，选择器946将从HDD单元944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码，以生成视频数据和音频数据。此外，解码器947将所生成的视频数据输出至OSD单元948。此外，解码器904将所生成的音频数据输出至外部扬声器。

OSD单元948再现从解码器947输入的视频数据，从而显示视频。OSD单元948可以将GUI图像(如菜单、按钮、光标等)叠加在显示的视频上。

控制单元949包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在记录/再现设备940启动时，存储在存储器中的程序由CPU读取并执行。CPU例如根据从用户接口单元950输入的操作信号，通过执行该程序来控制记录/再现设备940的操作。

用户接口单元950连接至控制单元949。用户接口单元950例如包括用于供用户操作记录/再现设备940的按钮和开关以及用于远程控制信号的接收单元等。用户接口单元950通过这些组成元件来检测用户操作以生成操作信号，并且将所生成的操作信号输出至控制单元949。

在以这种方式配置的记录/再现设备940中，编码器943具有根据上述实施例的图像编码装置的功能。另外，解码器947具有根据上述实施例的图像解码装置的功能。因此，当在记录/再现设备940中对图像进行编码或解码时，可以提高多视点编码处理的编码效率。

[第四应用示例：成像设备]

图25示出了应用上述实施例的成像设备的示意性配置的示例。成像设备960对对象进行成像以生成图像，对图像数据进行编码，并且将编码图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971、以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。

光学块961包括聚焦透镜、光圈机制等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器(如电荷藕合器件(CCD)和互补金属氧化物半导体(CMOS))，并且通过光电转换而将在成像表面上形成的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像信号处理，如拐点校正、伽马校正、色彩校正等。信号处理单元963将摄像信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。另外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。此外，图像处理单元964可以将从OSD 969获得的用于显示的数据叠加在输出至显示单元965的图像上。

OSD 969例如生成GUI图像(如菜单、按钮或、光标等)，并且将所生成的图像输出至图像处理单元964。

外部接口966例如被配置为USB输入/输出终端。例如，当打印图像时，外部接口966将成像设备960与打印机连接。另外，如果需要，驱动器被连接至外部接口966。将可移动介质(如磁盘或光盘)加载至驱动器中，并且从可移动介质读取的程序可以被安装至成像设备960。此外，外部接口966可以被配置为与网络(如LAN、因特网等)连接的网络接口。即，外部接口966用作成像设备960的传输装置。

加载至介质驱动器968中的记录介质例如可以是任意可读/可写的可移动介质，如磁盘、磁光盘、光盘或半导体存储器。另外，可以进行配置，使得记录介质被固定安装至介质驱动器968，以配置非便携式存储单元(如内置硬盘驱动器或固态驱动器(SSD))。

控制单元970包括例如CPU的处理器以及例如RAM或ROM的存储器。存储器存储由CPU执行的程序、程序数据等。在例如成像设备960启动时，存储在存储器中的程序由CPU读取，并且被执行。CPU例如根据从用户接口971输入的操作信号，通过执行该程序来控制成像设备960的操作。

用户接口971连接至控制单元970。用户接口971例如包括供用户操作成像设备960的按钮、开关等。用户接口971通过这些组成元件来检测用户操作以生成操作信号，并且将所生成的操作信号输出至控制单元970。

在以该方式配置的成像设备960中，图像处理单元964具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当在成像设备960中对图像进行编码或解码时，可以提高多视点编码处理的编码效率。

<6.第五实施例>

[其他示例]

在上面给出的描述中，虽然已经描述了应用本技术的装置和系统等的示例，但是本技术不限于此。因此，本技术可以被应用为所有以下配置：这些配置被安装至用于配置这样的装置或系统的装置，例如，如系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或通过将其他功能添加至该单元所获得的机组等(即，装置的配置的一部分)。

[视频机组]

将参照图26对本技术被应用为机组的情况的示例进行描述。图26示出了应用本技术的视频机组的示意性配置的示例。

最近，电子装置的多个功能的实现正在进展中，并且在其开发或制造中，在提供配置的一部分用于销售、供应等的情况下，不仅存在具有一个功能的配置被应用的情况，而且还存在通过将具有相关功能的多个配置进行组合而获得的、具有多个功能的一个机组被应用的情况，而该情况是广泛使用的。

图26中示出的视频机组1300具有这样的多功能配置，并且是通过将具有与图像编码或图像解码(其中任一个或两者)相关的功能的装置与具有与该功能相关的其他功能的装置组合来获得的。

如图26中所示，视频机组1300包括：模块组，包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等；以及具有连接装置1321、摄像装置1322、传感器1323等的相关功能的装置。

通过将彼此有关的几个部件功能布置在一起，将模块形成为具有具有统一性的功能的部件。虽然具体的物理配置是任意的，但是例如可以考虑通过下述方式而获得的模块：将各自具有功能的多个处理器、诸如电阻器或电容器的电子电路部件、以及其他装置等布置在布线板等上，以便被集成在一起。另外，可以考虑通过将一个模块与其他模块、处理器等组合来形成新的模块。

在图26中示出的示例中，视频模块1311是通过将具有与图像处理有关的功能的配置进行组合来获得的，并且包括：应用处理器；视频处理器；宽带调制解调器1333；以及RF模块1334。

处理器是通过将具有预定功能的配置集成在半导体芯片(如片上系统(SoC))上来获得的，并且例如，还存在被称作系统大规模集成(LSI)等的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)、包括CPU、ROM、RAM等以及使用他们执行的程序(软件配置)的配置、或将上述两个配置组合的配置。例如，可以进行配置，使得处理器包括逻辑电路、CPU、ROM、RAM等，一些功能由逻辑电路(硬件配置)来实现，而其他功能由CPU执行的程序(软件配置)来实现。

图26中示出的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，由应用处理器1331执行的应用程序可以不仅执行计算处理，而且当需要时还控制视频模块1311的内部和外部的配置(如视频处理器1332)。

视频处理器1332是具有与图像编码和图像解码(其中之一或其两者)有关的功能的处理器。

宽带调制解调器1333是下述的处理器(或模块)：其执行与通过宽带线(如因特网或公共电话网络)执行的有线或无线(或其两者)宽带通信有关的处理。例如，宽带调制解调器1333通过数字调制等将待传输的数据(数字信号)转换成模拟信号，或对所接收的模拟信号进行解调以便将其转换成数据(数字信号)。例如，宽带调制解调器1333可以执行任意信息的数字调制/解调，该信息诸如由视频处理器1332处理的图像数据、其中将图像数据编码的流、应用程序、设置数据等。

RF模块1334是对于通过天线发送/接收的RF(射频)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对于由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。另外，例如，RF模块1334通过对于经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。

另外，如由图26中的虚线1341表示的，应用处理器1331和视频处理器1332可以被集成，以便被配置为一个处理器。

外部存储器1312是下述模块：其被部署在视频模块1311外部，并且包括由视频模块1311使用的存储装置。外部存储器1312的存储装置可以由特定物理配置来实现。然而，通常，由于存储装置常常用于存储大容量的数据(如以帧为单位配置的图像数据)，所以存储装置优选地由以相对低的成本具有大容量的半导体存储器(如动态随机存取存储器(DRAM))来实现。

电力管理模块1313管理和控制对视频模块1311(视频模块1311内的每个配置)的供电。

前端模块1314是给RF模块1334提供前端功能(天线侧的发送/接收端电路)的模块。如图26中所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括用于发送/接收无线信号的天线以及其外围配置。天线单元1351发送从放大单元1353提供的信号作为无线信号，并且将所接收的无线信号提供给滤波器1352作为电子信号(RF信号)。滤波器1352对于通过天线单元1351接收的RF信号执行滤波处理等，并且将该处理之后的RF信号提供给RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将经放大的RF信号提供给天线单元1351。

连接装置1321是具有与和外部的连接有关的功能的模块。连接装置1321的物理配置是任意的。例如，连接装置1321包括具有除了宽带调制解调器1333所对应的通信规范以外的通信功能的配置、外部输入/输出端子等。

例如，连接装置1321可以被配置成包括：具有与无线电通信规范兼容的通信功能的模块，其中无线电通信规范诸如蓝牙(注册商标)、IEEE802.11(例如，无线保真度(Wi-Fi；注册商标))、近场通信(NFC)和红外线数据协会(IrDA)；以及发送/接收与这些规范兼容的信号的天线。另外，例如，连接装置1321可以被配置成包括：具有与有线通信规范兼容的通信功能的模块，其中有线通信规范诸如通用串行总线(USB)和高清晰度多媒体接口(注册商标)(HDMI)；以及与这些规范兼容的端子。此外，例如，连接装置1321可以被配置成具有模拟输入/输出端子等的另外的数据(信号)传输功能等。

另外，连接装置1321可以被配置成包括作为数据(信号)的传输目的地的装置。例如，连接装置1321可以被配置成包括对于记录介质(如磁盘、光盘、磁光盘或半导体存储器)执行数据读取或数据写入的驱动器(不仅包括可移动介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络附加存储装置(NAS)等)。此外，连接装置1321可以被配置成包括图像或音频的输出装置(监视器、扬声器等)。

摄像装置1322是具有用于通过对对象进行成像来获得该对象的图像数据的功能的模块。通过由摄像装置1322执行的成像处理而获得的图像数据例如被提供给视频处理器1332，并且被编码。

传感器1323是具有任意传感器(如音频传感器、超声波传感器、光学传感器、照明传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器或温度传感器)的功能的模块。由传感器1323检测到的数据例如被提供给应用处理器1331，并且由应用等使用。

在上面给出的描述中，被描述为模块的每个配置可以由处理器来实现，并且被描述为处理器的每个配置可以由模块来实现。

如下文将描述的，本技术可以应用于具有上述配置的视频机组1300的视频处理器1332。因此，视频机组1300可以被配置为应用本技术的机组。

[视频处理器的配置示例]

图27示出了应用本技术的视频处理器1332(图26)的示意性配置的示例。

在图27中示出的示例中，视频处理器1332具有用于接收视频信号和音频信号的输入并且根据预定系统对所接收的信号进行编码的功能、以及用于对编码视频数据和编码音频数据进行解码并且再现和输出视频信号和音频信号的功能。

如图27中所示，视频处理器1332包括：视频输入处理单元1401；第一图像放大/减小单元1402；第二图像放大/减小单元1403；视频输出处理单元1404；帧存储器1405；以及存储器控制单元1406。另外，视频处理器1332包括：编码/解码引擎1407；视频基本流(ES)缓冲器1408A和1408B；以及音频ES缓冲器1409A和1409B。另外，视频处理器1332包括：音频编码器1410；音频解码器1411；复用器(MUX)1412；解复用器(DMUX)1413；以及流缓冲器1414。

视频输入处理单元1401例如获得从连接装置1321(图26)等输入的视频信号，并且将所获得的视频信号转换成数字图像数据。第一图像放大/减小单元1402对于图像数据执行格式转换和图像放大/减小处理。第二图像放大/减小单元1403根据通过视频输出处理单元1404的输出目的地的格式对于图像数据执行图像放大/减小处理，或者执行与第一图像放大/减小单元1402类似的格式转换、图像放大/减小处理等。视频输出处理单元1404对于图像数据执行格式转换、到模拟信号的转换等，并且将所得到的信号作为再现的视频信号例如输出至连接装置1321(图26)等。

帧存储器1405是由视频输入处理单元1401、第一图像放大/减小单元1402、第二图像放大/减小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的、用于图像数据的存储器。帧存储器1405被实现为半导体存储器(如DRAM)。

存储器控制单元1406接收从编码/解码引擎1407提供的同步信号，并且根据被写入存取管理表格1406A的、帧存储器1405的存取调度来控制到帧存储器1405的存取，以用于写入/读取。存取管理表格1406A由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/减小单元1402、第二图像放大/减小单元1403等执行的处理来更新。

编码/解码引擎1407执行图像数据的编码处理，并且执行通过对图像数据进行编码所获得的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将所读取的图像数据作为视频流依次写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407从视频ES缓冲器1408B依次读取视频流，对所读取的视频流进行解码，并且将解码视频流作为图像数据依次写入帧存储器1405。编码/解码引擎1407在这样的编码或解码处理中使用帧存储器1405作为工作区。另外，编码/解码引擎1407例如在开始每个宏块的处理时将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A缓冲由编码/解码引擎1407生成的视频流，并且将该视频流提供给复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX)1413提供的视频流，并且将该视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲由音频编码器1410生成的音频流，并且将该音频流提供给复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413提供的音频流，并且将该音频流提供给音频解码器1411。

音频编码器1410例如将例如从连接装置1321(图26)等输入的音频信号转换成数字信号，并且根据预定系统(如MPEG音频系统或音频编码3(AC3)系统)对转换后的音频信号进行编码。音频编码器1410将作为通过对音频信号进行编码所获得的数据的音频流依次写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行解码音频流到例如模拟信号的转换等，并且例如将转换后的信号作为再现的音频信号提供给连接装置1321(图26)等。

复用器(MUX)1412将视频流与音频流复用。复用方法(即，通过复用生成的比特流的格式)是任意的。另外，在复用时，复用器(MUX)1412可以将预定报头信息等添加至比特流。即，复用器(MUX)1412可以通过复用处理来转换流的格式。例如，通过将视频流与音频流复用，复用器(MUX)1412将视频流和音频流转换成作为具有用于传输的格式的比特流的传送流。另外，例如，通过将视频流与音频流复用，复用器(MUX)1412将视频流和音频流转换成具有用于记录的格式的数据(文件数据)。

解复用器(DMUX)1413使用与由复用器(MUX)1412执行的复用处理对应的方法，对将视频流和音频流复用的比特流进行解复用。即，解复用器(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(视频流和音频流被分离)。即，解复用器(DMUX)1413可以通过解复用处理对流的格式进行转换(由复用器(MUX)1412执行的转换的逆转换)。例如，解复用器(DMUX)1413通过流缓冲器1414获得例如从连接装置1321(图26)、宽带调制解调器1333等(图26)提供的传送流，并且对所获得的传送流进行解复用，从而将传送流转换成视频流和音频流。另外，例如，解复用器(DMUX)1413通过流缓冲器1414获得例如通过连接装置1321(图26)从各种记录介质读取的文件数据，并且对所获得的文件数据进行解复用，从而将文件数据转换成视频流和音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用器(MUX)1412提供的传送流，并且在预定定时处或基于从外部发送的请求，将该传送流提供给例如连接装置1321(图26)、宽带调制解调器1333(图26)等。

另外，例如，流缓冲器1414缓冲从复用器(MUX)1412提供的文件数据，并且在预定定时处或基于从外部发送的请求，将文件数据提供给例如连接装置1321(图26)等，以便将其记录在各种记录介质中的任一种介质中。

此外，流缓冲器1414缓冲例如通过连接装置1321(图26)、宽带调制解调器1333(图26)等获得的传送流，并且在预定定时处或基于来自外部的请求等将传送流提供给解复用器(DMUX)1413。

另外，流缓冲器1414缓冲例如通过连接装置1321(图26)等从各种记录介质读取的文件数据，并且在预定定时处或基于来自外部的请求等将文件数据提供给解复用器(DMUX)1413。

接下来，将对具有这样的配置的视频处理器1332的操作的示例进行描述。例如，从连接装置1321(图26)等输入至视频处理器1332的视频信号由视频输入处理单元1401根据预定系统(如4:2:2Y/Cb/Cr系统)转换成数字图像数据，并且被依次写入帧存储器1405。该数字图像数据由第一图像放大/减小单元1402或第二图像放大/减小单元1403读取，并且对于数字图像数据执行到预定系统(如4:2:0Y/Cb/Cr系统等)的格式转换以及放大/减小处理，并且再次将处理后的数字图像数据写入帧存储器1405。该图像数据由编码/解码引擎1407编码，并且作为视频流被写入视频ES缓冲器1408A。

另外，从连接装置1321(图26)等输入至视频处理器1332的音频信号由音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A。

存储在视频ES缓冲器1408A中的视频流和存储在音频ES缓冲器1409A中的音频流由复用器(MUX)1412读取，被复用，并且被转换成传送流、文件数据等。由复用器(MUX)1412生成的传送流被缓冲至流缓冲器1414中，然后通过例如连接装置1321(图26)、宽带调制解调器1333(图26)等被输出至外部网络。另外，由复用器(MUX)1412生成的文件数据被缓冲至流缓冲器1414中，然后被输出至例如连接装置1321(图26)等，并且被记录在各种记录介质中的任一种记录介质中。

另外，通过例如连接装置1321(图26)、宽带调制解调器1333(图26)等从外部网络输入至视频处理器1332的传送流被缓冲至流缓冲器1414中，然后由解复用器(DMUX)1413解复用。另外，通过例如连接装置1321(图26)等从各种记录介质中的任一种记录介质读取的、并被输入至视频处理器1332的文件数据被缓冲至流缓冲器1414中，然后由解复用器(DMUX)1413解复用。即，输入至视频处理器1332的传送流或文件数据被解复用器(DMUX)1413分离成视频流和音频流。

音频流通过音频ES缓冲器1409B被提供给音频解码器1411并且被解码，并且音频信号被再现。另外，视频流被写入视频ES缓冲器1408B，然后由编码/解码引擎1407依次读取，被解码并且被写入帧存储器1405。解码图像数据被处理以被第二图像放大/减小单元1403放大或减小，并且被写入帧存储器1405。然后，解码图像数据由视频输出处理单元1404读取，使得格式转换成预定系统(如4:2:2Y/Cb/Cr系统)，并且进一步被转换成模拟信号，并且再现和输出视频信号。

在为这样配置的视频处理器1332应用本技术的情况下，根据上述每个实施例的本技术可以应用于编码/解码引擎1407。即，例如，编码/解码引擎1407可以被配置成具有根据第一实施例的图像编码装置100(图1)和根据第二实施例的图像解码装置200(图14)的功能。另外，例如，编码/解码引擎1407可以被配置成具有根据第三实施例的图像编码装置300(图19)和图像解码装置350(图20)的功能。此外，例如，编码/解码引擎1407可以被配置成具有根据第二实施例的图像编码装置200(图14)和图像解码装置350(图20)的功能。通过这样进行配置，视频处理器1332可以获得与上面参照图1至图18所描述的优点相同的优点。

另外，在编码/解码引擎1407中，本技术(即，根据上述每个实施例的图像编码装置和图像解码装置的功能)可以由硬件(如逻辑电路)来实现，可以由软件(如内置程序)来实现，或者可以由硬件和软件两者来实现。

[视频处理器的另一配置示例]

图28是示出了应用本技术的视频处理器1332(图26)的示意性配置的另一示例的图。在图28中示出的示例的情况下，视频处理器1332具有用于根据预定系统对视频数据进行编码/解码的功能。

更具体地，如图28中所示，视频处理器1332包括：控制单元1511；显示接口1512；显示引擎1513；图像处理引擎1514；以及内部存储器1515。另外，视频处理器1332包括：编解码器引擎1516；存储器接口1517；复用器/解复用器(MUX DMUX)1518；网络接口1519；以及视频接口1520。

控制单元1511对布置在视频处理器1332内的处理单元(如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作进行控制。

如图28中所示，控制单元1511例如包括主CPU 1531、辅助CPU 1532和系统控制器1533。主CPU 1531执行程序，该程序用于对部署在视频处理器1332内的每个处理单元的操作进行控制。主CPU 1531根据该程序等生成控制信号，并且将控制信号提供给每个处理单元(即，控制每个处理单元的操作)。辅助CPU 1532实现主CPU 1531的辅助作用。例如，辅助CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和辅助CPU 1532的操作，如待由主CPU 1531和辅助CPU 1532执行的程序的指定。

显示接口1512在控制单元1511的控制下，将图像数据输出至例如连接装置1321(图26)等。例如，显示接口1512将作为数字数据的图像数据转换成模拟信号，并且将图像数据输出至连接装置1321(图26)的监视装置等，作为作为数字数据的图像数据或再现的视频信号。

显示引擎1513在控制单元1511的控制下，对于图像数据执行各种转换处理(如格式转换、尺寸转换和色域转换)，以便使其适应用于显示图像等的监视装置的硬件规范。

图像处理引擎1514在控制单元1511的控制下，对于图像数据执行预定图像处理，如用于提高图像质量的滤波处理等。

内部存储器1515是由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的、部署在视频处理器1332内部的存储器。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间执行的数据交换。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且当需要时(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。虽然该内部存储器1515可以由任意存储装置来实现，但是一般地，内部存储器1515常常用于存储小容量的数据(如以块或参数为单位配置的图像数据)，并且因此，内部存储器1515优选地由相对小容量(例如，与外部存储器1312相比)且高响应速度的半导体存储器(如SRAM(静态随机存取存储器))来实现。

编解码器引擎1516执行与编码或解码图像数据有关的处理。编解码器引擎1516对应的编码/解码系统是任意的，并且其数量可以是一个或两个或更多个。例如，编解码器引擎1516可以包括多个编码/解码系统的编解码器功能，并且通过使用多个编码/解码系统中的所选择的一个来执行图像数据的编码或编码数据的解码。

在图28中所示的示例中，编解码器引擎1516例如包括MPEG-2视频1514、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545、以及MPEG-DASH 1551作为与编解码器有关的处理的功能块。

MPEG-2视频1514是用于根据MPEG-2系统对图像数据进行编码或解码的功能块。AVC/H.2641542是用于根据AVC系统对图像数据进行编码或解码的功能块。另外，HEVC/H.2651543是用于根据HEVC系统对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544是用于根据HEVC系统对图像数据进行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是用于根据HEVC系统对图像数据进行多视点编码或多视点解码的功能块。

MPEG-DASH 1551是用于根据HTTP(MPEG-DASH)系统上的MPEG-动态自适应流送来发送/接收图像数据的功能块。MPEG-DASH是用于通过使用超文本传输协议(HTTP)来流送视频的技术，并且具有以下特征：从以段为单位预先准备的、分辨率等互不相同的多片编码数据中选择一片编码数据，并且发送该片编码数据。MPEG-DASH 1551执行与规范兼容的流的生成、流的传输控制等，并且为了对图像数据进行编码/解码，使用上述MPEG-2视频1514或HEVC/H.265(多视图)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517被提供给外部存储器1312。另外，从外部存储器1312读取的数据通过存储器外部接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用器/解复用器(MUX DMUX)1518对与图像有关的各种类型的数据(如编码数据的比特流、图像数据或视频信号)进行复用或解复用。复用/解复用方法是任意的。例如，在复用处理时，复用器/解复用器(MUX DMUX)1518不仅可以将多片数据布置成一片，而且还可以将预定的报头信息等添加至数据。另外，在解复用处理时，复用器/解复用器(MUX DMUX)1518不仅可以将一片数据划分成多个部分，而且还可以将预定的报头信息等添加至所划分的数据。即，复用器/解复用器(MUX DMUX)1518可以通过复用/解复用处理对数据的格式进行转换。例如，复用器/解复用器(MUX DMUX)1518可以通过对比特流进行复用而将比特流转换成作为用于传输的格式下的比特流的传送流或者用于记录的文件格式下的数据(文件数据)。明显的是，可以通过解复用处理来执行逆变换。

网络接口1519是诸如宽带调制解调器1333(图26)或连接装置1321(图26)的专用接口。视频接口1520是诸如连接装置1321(图26)或摄像装置1322(图26)的专用接口。

接下来，将对这样的视频处理器1332的操作的示例进行描述。例如，当通过例如连接装置1321(图26)、宽带调制解调器1333(图26)等从外部网络接收传送流时，传送流通过网络接口1519被提供给复用器/解复用器(MUX DMUX)1518，被解复用，并且被编解码器引擎1516解码。对于通过由编解码器引擎1516执行的解码处理而获得的图像数据，例如，由图像处理引擎1514执行预定图像处理，并且由显示引擎1513执行预定转换，通过显示接口1512将得到的图像数据提供给例如连接装置1321(图26)等，并且在监视器上显示图像。另外，例如，通过由编解码器引擎1516执行的解码处理而获得的图像数据被编解码器引擎1516重新编码，被复用器/解复用器(MUX DMUX)1518复用，被转换成文件数据，通过视频接口1520被输出至例如连接装置1321(图26)等，并且被记录在各种记录介质中的任一种记录介质上。

另外，例如，通过对由连接装置1321(图26)等从图中未示出的记录介质读取的图像数据进行编码而获得的编码数据的文件数据通过视频接口1520被提供给复用器/解复用器(MUX DMUX)1518，被解复用，并且被编解码器引擎1516解码。对于通过由编解码器引擎1516执行的解码处理而获得的图像数据，由图像处理引擎1514执行预定图像处理，并且由显示引擎1513执行预定转换，并且将所得到的图像数据通过显示接口1512提供给例如连接装置1321(图26)，并且在监视器上显示图像。此外，例如，通过由编解码器引擎1516执行的解码处理而获得的图像数据被编解码器引擎1516重新编码，被复用器/解复用器(MUX DMUX)1518复用，被转换成传送流，通过网络接口1519被提供给例如连接装置1321(图26)、宽带调制解调器1333(图26)等，并且被发送至图中未示出的其他装置。

另外，例如，使用内部存储器1515或外部存储器1312来执行部署在视频处理器1332内的处理单元之间的图像数据或其他数据的交换。另外，电力管理模块1313例如控制对控制单元1511的供电。

在本技术应用于这样配置的视频处理器1332的情况下，根据上述每种实施例的本技术可以应用于编解码器引擎1516。即，例如，编解码器引擎1516可以被配置成包括下述功能块，这些功能块实现根据第一实施例的图像编码装置100(图1)和根据第二实施例的图像解码装置(图14)。另外，例如，编解码器引擎1516可以被配置成包括下述功能块，这些功能块实现根据第三实施例的图像编码装置300(图19)和图像解码装置350(图20)。通过这样进行配置，视频处理器1332可以获得与上面参考图1至图18所描述的优点相同的优点。

另外，在编解码器引擎1516中，本技术(即，根据上述每种实施例的图像编码装置和图像解码装置的功能)可以由硬件(如逻辑电路)来实现，可以由软件(如内置程序)来实现，或者可以由硬件和软件两者来实现。

如上所述，虽然作为示例描述了视频处理器1332的两种配置，但是视频处理器1332的配置是任意的，并且可以具有除了上述两种配置以外的配置。另外，该视频处理器1332可以由一个半导体芯片或多个半导体芯片配置。例如，视频处理器1332可以由将多个半导体层压的三维层压LSI来配置。另外，视频处理器1332可以由多个LSI来实现。

[装置的应用的示例]

视频机组1300可以内置在用于处理图像数据的各种装置中。例如，视频机组1300可以内置在电视设备900(图22)、移动电话920(图23)、记录/再现设备940(图24)、成像设备960(图25)等中。通过在其中建立视频机组1300，装置可以获得与上面参照图1至图18所描述的优点相同的优点。

另外，在其中包括视频处理器1332的情况下，上述视频机组1300的配置中的一些配置可以是应用本技术的配置。例如，可以仅将视频处理器1332配置为应用本技术的视频处理器。另外，例如，如上所述，由虚线1341表示的处理器、视频模块1311等可以被配置为应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314可以被组合，以便被配置为应用本技术的视频单元1361。在上述配置中的任意配置中，可以获得与上面参照图1至图18所描述的优点相同的优点。

即，类似于视频机组1300的情况，包括视频处理器1332的任意配置可以内置在用于处理图像数据的各种装置中。例如，视频处理器1332、由虚线1341表示的处理器、视频模块1311、或视频单元1361可以内置在电视设备900(图22)、移动电话920(图23)、记录/再现设备940(图24)、成像设备960(图25)等中。通过建立应用本技术的任意配置，类似于视频机组1300的情况，装置可以获得与上面参照图1至图18所描述的优点相同的优点。

在本说明书中，已将描述了各种类型的信息(如参考列表选择标志)在编码流中被复用中并且被从编码侧发送至解码侧的示例。然而，用于发送这样的信息的技术不限于这样的技术。例如，这样的信息可以被发送或记录为与编码比特流相关联的单独数据，而没有在编码流中被复用。在此，术语“相关联”表示的是，包括在比特流中的图像(其可以是图像的一部分，如片、块等)以及与该图像对应的信息可以在对图像和信息进行解码时被相互联系。即，可以在与图像(或比特流)的传输线不同的传输线中发送信息。另外，可以将信息记录在与图像(或比特流)的记录介质不同的记录介质(或同一记录介质的不同记录区域)上。此外，信息和图像(或比特流)例如可以以任意部分(如多个帧、一个帧、或帧的一部分)为单位相互关联。

尽管参照附图详细描述了本公开内容的优选实施例，但是本公开内容的技术范围不限于这样的示例。明显的是，在权利要求中描述的技术思想的范围内，本公开内容的技术领域中的普通技术人员可以设想各种变化或修改，并且当然应当理解，这样的变化和修改属于本公开内容的技术范围。

另外，本技术可以利用如下面所描述的配置。

(1)一种图像处理装置，包括：

解码单元，其通过对比特流进行解码来生成当前图像；

参考列表设置单元，其通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对由所述解码单元生成的当前图像进行预测时参考的参考列表；以及

预测单元，其通过参考由所述参考列表设置单元设置的参考列表，来对由所述解码单元生成的当前图像进行预测。

(2)根据(1)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

(3)根据(2)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之前的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之后的参考图像的顺序，在方向L0上布置图像。

(4)根据(2)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之后的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之前的参考图像的顺序，在方向L1上布置图像。

(5)根据(1)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：交替地布置所述能够按时间方向被参考的参考图像和所述能够按层方向被参考的参考图像。

(6)根据(5)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L0上，交替地布置按照在时间上位于所述当前图像之前的参考图像和在时间上位于所述当前图像之后的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

(7)根据(5)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L1上，交替地布置按照在时间上位于所述当前图像之后的参考图像和在时间上位于所述当前图像之前的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L1上插入所述能够按层方向被参考的参考图像，其中所述能够按层方向被参考的参考图像的顺序与方向L0的情况下的该顺序相反。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述参考列表设置单元包括：

时间列表设置单元，其通过将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像之间来设置时间列表，所述时间列表是用于设置所述参考列表的临时列表；以及

参考图像列表设置单元，其基于由所述时间列表设置单元设置的时间列表，来设置所述参考列表。

(10)一种在图像处理装置中实现的图像处理方法，所述图像处理方法包括：

通过对比特流进行解码来生成当前图像；

通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对所生成的当前图像进行预测时参考的参考列表；以及

通过参考所设置的参考列表来对所生成的当前图像进行预测。

(11)一种图像处理装置，包括：

参考列表设置单元，其通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间，来设置当对当前图像进行预测时参考的参考列表；

预测单元，其通过参考由所述参考列表设置单元设置的参考列表对所述当前图像进行预测；以及

编码单元，其通过使用由所述预测单元预测的当前图像执行编码来生成比特流。

(12)根据(11)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像当中的在时间上位于所述当前图像之前的参考图像与在时间上位于所述当前图像之后的参考图像之间。

(13)根据(12)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之前的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之后的参考图像的顺序，在方向L0上布置图像。

(14)根据(12)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：按照在时间上位于所述当前图像之后的参考图像、所述能够按层方向被参考的参考图像、以及在时间上位于所述当前图像之前的参考图像的顺序，在方向L1上布置图像。

(15)根据(11)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：交替地布置所述能够按时间方向被参考的参考图像和所述能够按层方向被参考的参考图像。

(16)根据(15所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L0上，交替地布置按照在时间上位于所述当前图像之前的参考图像和在时间上位于所述当前图像之后的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

(17)根据(15)所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L1上，交替地布置按照在时间上位于所述当前图像之后的参考图像和在时间上位于所述当前图像之前的参考图像的顺序设置的、所述能够按时间方向被参考的参考图像的列表的元素以及由所述能够按层方向被参考的参考图像构成的、所述能够按层方向被参考的参考图像的列表的元素。

(18)根据(11)至(17)中任一项所述的图像处理装置，其中，所述参考列表设置单元通过下述方式来设置所述参考列表：在方向L1上插入所述能够按层方向被参考的参考图像，其中所述能够按层方向被参考的参考图像的顺序与方向L0的情况下的该顺序相反。

(19)根据(11)至(18)中任一项所述的图像处理装置，其中，所述参考列表设置单元包括：

时间列表设置单元，其通过将所述能够按层方向被参考的参考图像插入在所述能够按时间方向被参考的多个参考图像之间来设置时间列表，所述时间列表是用于设置所述参考列表的临时列表；以及

参考图像列表设置单元，其基于由所述时间列表设置单元设置的时间列表来设置所述参考列表。

(20)一种在图像处理装置中实现的图像处理方法，所述图像处理方法包括：

通过将能够按层方向被参考的参考图像插入在能够按时间方向被参考的多个参考图像之间来设置当对当前图像进行预测时参考的参考列表；

通过参照所设置的参考列表来对所述当前图像进行预测；以及

通过使用所预测的当前图像执行编码来生成比特流。

附图标记列表

100 图像编码装置

106 无损编码单元

115 运动视差预测/补偿单元

121 语法处理单元

122 参考列表生成单元

131 参考图像设置单元

132 时间列表生成单元

133 参考图像列表生成单元

200 图像解码装置

202 无损解码单元

212 运动视差预测/补偿单元

221 语法处理单元

222 参考列表生成单元

231 参考图像设置单元

232 时间列表生成单元

233 参考图像列表生成单元

300 图像编码装置

350 图像解码装置