编码设备和编码方法

编码设备和编码方法
【专利摘要】本技术涉及一种能够减小与指定参考图像的信息相关的信息的数量的编码设备和编码方法。编码单元利用参考图像，生成预测图像。传输单元在当前编码图像是GOP(图像组)的除第1图像外的图像的情况下，传送inter_ref_pic_set_prediction_flag，inter_ref_pic_set_prediction_flag表示指定在先图像的参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序，在当前编码图像之前的图像。例如，本技术可适用于HEVC(高效视频编码)方式的编码设备。
【专利说明】编码设备和编码方法

【技术领域】
[0001]本技术涉及编码设备和编码方法，更具体地，涉及能够减小与指定参考图像的信息有关的信息的数量的编码设备和编码方法。

【背景技术】
[0002]最近，图像信息是作为数字数据处理的，此时，为了高效率地传送和存储信息，符合通过利用为图像信息特有的冗余而进行诸如离散余弦变换之类的正交变换，和利用运动补偿的压缩的MPEG (运动图像专家组阶段)等方式的设备被广泛用于广播站等中的信息传送，和一般家庭中的信息接收。
[0003]特别地，MPEG2(IS0/IEC 13818-2)方式被定义为通用图像编码方式，目前作为覆盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准，广泛用于专业用途和消费用途的各种应用。通过利用MPEG2方式,例如，分配在720X480像素的标准分辨率的隔行扫描图像情况下的4-8Mbps的代码量(比特率)，和在1920X 1088像素的高清晰度的隔行扫描图像情况下的18-22Mbps的代码量，从而能够实现高压缩率和改善的图像质量。
[0004]MPEG2把高图像质量编码作为目标，高图像质量编码主要适合于广播,但是不对应于代码量(比特率)比MPEGl的代码量(比特率)低的编码方式，换句话说，压缩率更高的编码方式。随着移动终端的普及，预测未来对这种编码方式的需求会增大，响应于此，进行了 MPEG4编码方式的标准化。与MPEG4的图像编码方式相关，在1998年12月，一种规范被批准为国际标准IS0/IEC 14496-2。
[0005]另外，最近，对用于电视会议的图像编码来说，H.26L(ITU-T Q6/16 VCEG)的标准化正在进行中。尽管H.26L需要比诸如MEPG2或MPEG4之类的常规编码方式大的编码和解码计算量，不过，已知可实现更高的编码效率。
[0006]此外，目前，作为MPEG4的活动的一部分，作为增强压缩视频编码联合模式，正在进行基于H.26L的、包括在H.26L中不支持的功能并且实现更高编码效率的规范的标准化。这种标准化是在2003年3月，基于H.264和MPEG-4 Part 10 (AVC (高级视频编码))的名称被国际标准化的。
[0007]另外，在2005年2月，完成了包括作为扩展的为业务所需的称为RGB，4:2:2或4:4:4的编码工具，和在MPEG-2中定义的8X8 DCT和量化矩阵的FRExt (保真度范围扩展)的标准化。因而，AVC变成也能够改进地表现包含在电影中的影片噪声的编码方式，是一种其中用于诸如蓝光(注册商标)光盘之类的各种应用的方式。
[0008]然而,近来,对为压缩约4000X2000像素(为高视觉图像(high vis1n image)的4倍)的图像，和在诸如因特网之类的传输容量有限的环境中传送高视觉图像所需的更高压缩率编码的需求已增大。因此，在ITU-T领导下的VCEG(视频编码专家组)中，持续不断地进行了关于改善编码效率的检讨。
[0009]同时，在HEVC(高效视频编码)方式中，在SPS(序列参数集)中包含用于识别指定解码设备中的参考图像的参考图像指定信息的短期参考画面集(下面称为RPS)(例如，参见非专利文献I)。
[0010]图1是图解说明RPS的语法的例子的示图。
[0011]如在图1中的第2行中图解所示，在RPS中，包含inter_ref_pic_set_predict1n_flag。这里，inter_ref_pic_set_predict1n_flag 是表不指定在先图像的参考图像的参考图像指定信息是否被用作当前编码图像的参考图像指定信息的参考信息，所述在先图像是当前编码图像的GOP(画面组)内，按照编码顺序在当前编码图像之前的图像。
[0012]这里，inter_ref_pic_set_predict1n_flag在它表示指定在先图像的参考图像的参考图像指定信息被用作当前编码图像的参考图像指定信息的情况下，为“ 1”，而在它表示指定在先图像的参考图像的参考图像指定信息不用作当前编码图像的参考图像指定信息的情况下，为“O”。
[0013]如在图1 的第 3 行和第 4 行中所示,在 inter_ref_pic_set_predict1n_flag 为“I”的情况下，在RPS中包括为指定在先图像的在先图像指定信息的delta_idx_minusl。更具体地,delta_idx_minusl具有从通过从当前编码图像的编码号(编码顺序)中减去在先图像的编码号而获得的值中，减去I获得的值。这里，编码号是按照编码顺序，从小值开始，分配给GOP内的各个图像的编号。
[0014]另夕卜，如在图1中的第13行-第23行中图解所示，在inter_ref_pic_set_predict1n_flag为“O”的情况下,在RPS中包含参数图像指定信息。
[0015]图2 是图解说明 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 的例子的示图。
[0016]在图2中图解所示的例子中，其编码号为N的当前编码图像的参考图像指定信息和按照编码顺序在当前编码图像之前的其编码号为“N-1”的在先图像的参考图像指定信息相同。
[0017]这种情况下，inter_ref_pic_set_predict1n_flag被设定成“I”,表示指定在先图像的信息的参考图像被用作指定当前编码图像的信息的参考图像。另外，delta_idx_minusl被设定成通过从作为当前编码图像的编码号的“N”中减去作为在先图像的编码号的“N-1”，随后从通过所述减法获得的值“I”中，再减去I而获得的“O”。
[0018]引文列表
[0019]非专利文献
[0020]非专利文献1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, “High efficiency video coding (HEVC) text specificat1ndraft 7”，JCTVC-11003_d4, 2012.4.27-5.7。


【发明内容】

[0021]然而，与诸如RPS之类的参考图像指定信息相关的信息的数量未被充分减少。
[0022]考虑到这种状况，发明了本技术，本技术能够减少与指定参考图像的信息相关的信息的数量。
[0023]按照本技术的一个方面，提供一种编码设备，包括:预测图像生成单元，所述预测图像生成单元被配置成利用参考图像，生成预测图像；和传输单元，所述传输单元被配置成在当前编码图像是GOP(图像组)的除第I图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
[0024]按照本技术的另一个方面的编码方法对应于按照本技术的所述一个方面的编码设备。
[0025]按照本技术的所述一个方面，利用参考图像，生成预测图像；在当前编码图像是GOP(图像组)的除第I图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
[0026]另外，通过使计算机执行程序，可以实现按照本技术的所述一个方面的编码设备。
[0027]此外，为了实现按照本技术的所述一个方面的编码设备，通过经传输介质传送，或者被记录在记录介质上，可以提供由计算机执行的程序。
[0028]按照本技术，能够减小与指定参考图像的信息相关的信息的数量。

【专利附图】

【附图说明】
[0029]图1是图解说明RPS的语法的例子的示图。
[0030]图2 是图解说明 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 的例子的示图。
[0031]图3是图解说明按照第一实施例的本技术适用于的编码设备的结构例子的方框图。
[0032]图4是图解说明图3中图解所示的编码单元的结构例子的方框图。
[0033]图5是图解说明由图3中图解所示的设定单元12设定的SPS的语法的例子的示图。
[0034]图6是图解说明RPS的语法的例子的示图。
[0035]图7是图解说明由图3中图解所示的设定单元12设定的RPS的信息量的示图。
[0036]图8是图解说明常规RPS的信息量的示图。
[0037]图9是图解说明切片头部的语法的例子的示图。
[0038]图10是图解说明由图3中图解所示的编码设备进行的生成处理的流程图。
[0039]图11是详细图解说明图10中图解所示的RPS设定处理的流程图。
[0040]图12是详细图解说明图10中图解所不的编码处理的流程图。
[0041]图13是详细图解说明图10中图解所不的编码处理的流程图。
[0042]图14是详细图解说明图12中图解所不的RPS索引确定处理的流程图。
[0043]图15是图解说明按照第一实施例的本技术适用于的解码设备的结构例子的方框图。
[0044]图16是图解说明图15中图解所示的解码单元的结构例子的方框图。
[0045]图17是图解说明图15中图解所示的解码设备进行的接收处理的流程图。
[0046]图18是详细图解说明图17中图解所示的RPS设定处理的流程图。
[0047]图19是详细图解说明图17中图解所不的解码处理的流程图。
[0048]图20是图解说明按照第二实施例的本技术适用于的编码设备的结构例子的方框图。
[0049]图21是图解说明由图20中图解所示的设定单元设定的SPS的语法的例子的示图。
[0050]图22是图解说明图21中图解所示的RPS的语法的例子的示图。
[0051]图23是图解说明由图20中图解所示的设定单元设定的RPS的信息量的示图。
[0052]图24是图解说明由图20中图解所示的设定单元设定的RPS的信息量的示图。
[0053]图25是图解说明常规RPS的信息量的示图。
[0054]图26是详细图解说明图20中图解所示的编码设备进行的RPS设定处理的流程图。
[0055]图27是图解说明按照第二实施例的本技术适用于的解码设备的结构例子的方框图。
[0056]图28是详细图解说明图27中图解所示的解码设备进行的RPS设定处理的流程图。
[0057]图29是图解说明按照第三实施例的本技术适用于的编码设备的结构例子的方框图。
[0058]图30是图解说明由图29中图解所示的设定单元设定的SPS的语法的例子的示图。
[0059]图31是图30中图解所示的RPS的语法的例子的示图。
[0060]图32是图解说明由图29中图解所示的设定单元设定的RPS的信息量的示图。
[0061]图33是详细图解说明图29中图解所示的编码设备进行的RPS设定处理的流程图。
[0062]图34是图解说明按照第三实施例的本技术适用于的解码设备的结构例子的方框图。
[0063]图35是详细图解说明图34中图解所示的解码设备进行的RPS设定处理的流程图。
[0064]图36是图解说明按照第四实施例的本技术适用于的编码设备的结构例子的方框图。
[0065]图37是图解说明图36中图解所示的编码单元的结构例子的方框图。
[0066]图38是图解说明由图36中图解所示的设定单元设定的PPS的语法的例子的示图。
[0067]图39是图解说明由图36中图解所示的设定单元设定的PPS的语法的例子的示图。
[0068]图40是图解说明常规HEVC系统中的PPS的语法的例子的示图。
[0069]图41是图解说明常规HEVC系统中的PPS的语法的例子的示图。
[0070]图42是图解说明由图37中图解所示的无损编码单元增加的切片头部的语法的例子的不图。
[0071]图43是图解说明由图37中图解所示的无损编码单元增加的切片头部的语法的例子的不图。
[0072]图44是图解说明由图37中图解所示的无损编码单元增加的切片头部的语法的例子的不图。
[0073]图45是图解说明常规HEVC系统中的切片头部的语法的例子的示图。
[0074]图46是图解说明常规HEVC系统中的切片头部的语法的例子的示图。
[0075]图47是图解说明常规HEVC系统中的切片头部的语法的例子的示图。
[0076]图48是图解说明图36中图解所示的编码设备进行的生成处理的流程图。
[0077]图49是详细图解说明图48中图解所不的编码处理的流程图。
[0078]图50是详细图解说明图48中图解所不的编码处理的流程图。
[0079]图51是详细图解说明图48中图解所示的PPS设定处理的流程图。
[0080]图52是图解说明按照第四实施例的本技术适用于的解码设备的结构例子的方框图。
[0081]图53是图解说明图52中图解所示的解码单元的结构例子的方框图。
[0082]图54是图解说明图52中图解所示的解码设备进行的接收处理的流程图。
[0083]图55是详细图解说明图54中图解所示的解码处理的流程图。
[0084]图56是图解说明多视点图像编码系统的例子的不图。
[0085]图57是图解说明本技术适用于的多视点图像编码设备的主要结构的例子的示图。
[0086]图58是图解说明本技术适用于的多视点图像解码设备的主要结构的例子的示图。
[0087]图59是图解说明分层图像编码系统的例子的示图。
[0088]图60是图解说明本技术适用于的分层图像编码设备的主要结构的例子的示图。
[0089]图61是图解说明本技术适用于的分层图像解码设备的主要结构的例子的示图。
[0090]图62是图解说明计算机的硬件结构的例子的方框图。
[0091]图63是图解说明本技术适用于的电视机的示意结构的例子的示图。
[0092]图64是图解说明本技术适用于的移动电话机的示意结构的例子的示图。
[0093]图65是图解说明本技术适用于的记录和再现设备的示意结构的例子的示图。
[0094]图66是图解说明本技术适用于的成像设备的示意结构的例子的示图。
[0095]图67是图解说明可缩放编码的使用例子的方框图。
[0096]图68是图解说明可缩放编码的再一个使用例子的方框图。
[0097]图69是图解说明可缩放编码的另一个使用例子的方框图。
[0098]图70是图解说明本技术适用于的视频机组的示意结构的例子的示图。
[0099]图71是图解说明本技术适用于的视频处理器的示意结构的例子的示图。
[0100]图72是图解说明本技术适用于的视频处理器的示意结构的另一个例子的示图。

【具体实施方式】
[0101]〈第一实施例〉
[0102](按照第一实施例的编码设备的结构例子)
[0103]图3是图解所示按照第一实施例的本技术适用于的编码设备的结构例子的方框图。
[0104]图3中图解所示的编码设备10由编码单元11、设定单元12和传输单元13构成，并按照HEVC方式对图像编码。
[0105]更具体地，以帧为单位构成的图像作为输入信号，被输入编码设备10的编码单元
11。编码单元11通过参考从设定单元12供给的RPS，按照HEVC方式对输入信号编码，随后把通过编码获得的编码数据提供给设定单元12。
[0106]设定单兀12设定不包括inter_ref_pic_set_predict1n_flag,但是包括参考图像指定信息的RPS,和包括inter_ref_pic_set_predict1n_flag和参考图像指定信息或delta_idx_minusl的RPS。设定单元12向各个RPS分配作为指定RPS(参考图像信息)的参考图像信息指定信息的索引。这里，假定“O”被设定成不包括inter_ref_pic_set_predict1n_flag,但是包括参考图像指定信息的RPS的索引。
[0107]设定单元12把已被赋予索引的RPS提供给编码单元11。设定单元12设定包含RPS的SPS，PPS (画面参数集)等。
[0108]设定单元12根据设定的SPS和PPS，和从编码单元11供给的编码数据，生成编码流。设定单元12把编码流提供给传输单元13。
[0109]传输单元13把从设定单元12供给的编码流传送给后面说明的解码设备。
[0110](编码单元的结构例子)
[0111]图4是图解说明图3中图解所示的编码单元11的结构例子的方框图。
[0112]图4中图解所示的编码单元11包括:A/D转换器31 ;屏幕重排缓冲器32 ;计算单元33 ;正交变换单元34 ;量化单元35 ;无损编码单元36 ;累积缓冲器37 ;逆量化单元38 ；逆正交变换单元39 ;加法单元40 ;解块滤波器41 ；自适应偏移滤波器42 ；自适应环路滤波器43 ;帧存储器44 ;开关45 ;帧内预测单元46 ;运动预测/补偿单元47 ;预测图像选择单元48 ;参考图像设定单元49 ;和速率控制单元50。
[0113]更具体地，编码单元11的A/D转换器31进行作为输入信号输入的以帧为单位的图像的A/D转换，并把转换后的图像输出给屏幕重排缓冲器32，以便保存在其中。屏幕重排缓冲器32按照编码顺序，根据GOP结构，重排保存的按照显示顺序的以帧为单位的图像，并把重排的图像输出给计算单元33、帧内预测单元46和运动预测/补偿单元47。
[0114]计算单元33充当编码单元，并通过计算从预测图像选择单元48供给的预测图像，和从屏幕重排缓冲器32输出的当前编码图像之间的差分，进行编码。更具体地，计算单元33通过从输出自屏幕重排缓冲器32的当前编码图像中，减去从预测图像选择单元48供给的预测图像，进行编码。计算单元33把作为其结果而获得的图像作为残差信息，输出给正交变换单元34。另外，在未从预测图像选择单元48供给预测图像的情况下，计算单元33把从屏幕重排缓冲器32读取的图像作为残差信息，直接输出给正交变换单元34。
[0115]正交变换单元34进行从计算单元33输出的残差信息的正交变换，从而生成正交变换系数。正交变换单元34把生成的正交变换系数提供给量化单元35。
[0116]量化单元35通过利用从速率控制单元50供给的量化参数，进行从正交变换单元34供给的正交变换系数的量化。量化单元35把作为其结果而获得的系数输入无损编码单元36。
[0117]无损编码单元36从帧内预测单元46，获得表示最佳帧内预测模式的信息(下面称为帧内预测模式信息)。另外，无损编码单元36从运动预测/补偿单元47，获得表示最佳帧间预测模式、运动向量等的信息(下面称为帧间预测模式信息)。另外，无损编码单元36从参考图像设定单元49，获得RPS的索引、RPS等，并从速率控制单元50获得量化参数。
[0118]另外，无损编码单元36从自适应偏移滤波器42获得作为偏移滤波信息的存储标记、索引或偏移量、和种类信息，并从自适应环路滤波器43，获得滤波系数。
[0119]无损编码单元36对从量化单元35供给的量化系数进行无损编码，比如变长编码(例如，CAVLC (上下文自适应变长编码)等)，或者算术编码(例如，CABAC (上下文自适应二进制算术编码)。
[0120]另外，无损编码单元36进行诸如帧内预测模式信息或帧间预测模式信息、运动向量、RPS的索引或者RPS之类的量化参数、偏移滤波信息和滤波系数的无损编码，作为与编码相关的编码信息。无损编码单元36把按照无损方式编码的编码信息和系数，作为编码数据提供给累积缓冲器37，以便保存在其中。另外，按照无损方式编码的编码信息可被视为按照无损方式编码的系数的头部信息(切片头部)。
[0121]累积缓冲器37临时保存从无损编码单元36供给的编码数据。另外，累积缓冲器37把保存的编码数据提供给图3中图解所示的设定单元12。
[0122]另外，从量化单元35输出的量化系数还被输入逆量化单元38。逆量化单元38通过利用从速率控制单元50供给的量化参数，进行由量化单元35量化的系数的逆量化，并把作为其结果获得的正交变换系数提供给逆正交变换单元39。
[0123]逆正交变换单元39进行从逆量化单元38供给的正交变换系数的逆正交变换。逆正交变换单元39把通过逆正交变换获得的残差信息，提供给加法单元40。
[0124]加法单元40相加从逆正交变换单元39供给的残差信息，和从预测图像选择单元48供给的预测图像，从而获得已被局部解码的图像。另外，在未从预测图像选择单元48供给预测图像的情况下，加法单元40把从逆正交变换单元39供给的残差信息设定成局部解码图像。加法单元40把局部解码图像提供给解块滤波器41，并把局部解码图像提供给帧存储器44，以便保存在其中。
[0125]解块滤波器41对从加法单元40供给的局部解码图像进行消除块失真的自适应解块滤波处理，并把作为其结果获得的图像提供给自适应偏移滤波器42。
[0126]自适应偏移滤波器42对在解块滤波器41进行的自适应解块滤波处理之后的图像，进行主要消除图像的振影(ringing)的自适应偏移滤波(SA0:采样点自适应偏移)处理。
[0127]更具体地，自适应偏移滤波器42确定对于作为最大编码单元的各个IXU (最大编码单元)的自适应偏移滤波处理的种类，并获得在自适应偏移滤波处理中使用的偏移量。自适应偏移滤波器42利用获得的偏移量，对自适应解块滤波处理之后的图像，进行确定种类的自适应偏移滤波处理。随后，自适应偏移滤波器42把自适应偏移滤波处理之后的图像提供给自适应环路滤波器43。
[0128]另外，自适应偏移滤波器42具有其中保存偏移量的缓冲器。对于每个LCU，自适应偏移滤波器42判定用于自适应解块滤波处理的偏移量是否已被保存在所述缓冲器中。
[0129]在判定用于自适应解块滤波处理的偏移量已被保存在所述缓冲器中的情况下，自适应偏移滤波器42把表示偏移量是否被保存在缓冲器中的存储标记，设定成表示所述偏移量被保存在缓冲器中的值(这里，“I”)。
[0130]随后，对于各个IXU，自适应偏移滤波器42把设定成“I”的存储标记、表示偏移量在缓冲器中的存储位置的索引、和表示已进行的自适应偏移滤波处理的种类的种类信息，提供给无损编码单元36。
[0131]另一方面，在用于自适应解块滤波处理的偏移量未被保存在所述缓冲器中的情况下，自适应偏移滤波器42把偏移量顺序保存在缓冲器中。另外，自适应偏移滤波器42把存储标记设定成表示偏移量未被保存在缓冲器中的值(这里，“O”)。随后，对于各个IXU，自适应偏移滤波器42把设定成“O”的存储标记、偏移量和种类信息提供给无损编码单元36。
[0132]对于各个IXU，自适应环路滤波器43对从自适应偏移滤波器42供给的在自适应偏移滤波处理之后的图像，进行例如自适应环路滤波(ALF:自适应环路滤波)处理。例如，作为自适应环路滤波处理，使用利用二维Wiener滤波器的处理。显然可以使用除Wiener滤波器外的滤波器。
[0133]更具体地，对于各个IXU，自适应环路滤波器43计算在自适应环路滤波处理中使用的滤波系数，以致使作为从屏幕重排缓冲器32输出的图像的原始图像，和自适应环路滤波处理之后的图像之间的残差降至最小。随后，对于各个LCU，自适应环路滤波器43通过利用计算的滤波系数，对在自适应偏移滤波处理之后的图像，进行自适应环路滤波处理。
[0134]自适应环路滤波器43把自适应环路滤波处理之后的图像提供给帧存储器44。另夕卜，自适应环路滤波器43把滤波系数提供给无损编码单元36。
[0135]这里，尽管假定对各个IXU进行自适应环路滤波处理，不过，自适应环路滤波处理的处理单位并不局限于IXU。然而，通过相互匹配自适应偏移滤波器42和自适应环路滤波器43的处理单位，可以高效地进行处理。
[0136]帧存储器44保存从自适应环路滤波器43供给的图像，和从加法单元40供给的图像。保存在帧存储器44中的图像通过开关45，被输出给帧内预测单元46或运动预测/补偿单元47，作为参考图像。
[0137]帧内预测单元46通过利用经开关45从帧存储器44读取的参考图像，进行作为候选者的所有帧内预测模式的帧内预测处理。
[0138]另外，帧内预测单元46根据从屏幕重排缓冲器32读取的图像，和通过帧内预测处理生成的预测图像，计算作为候选者的所有帧内预测模式的成本函数值(后面详细说明)。随后，帧内预测单元46把其成本函数值最小的帧内预测模式，确定为最佳帧内预测模式。
[0139]帧内预测单元46把按照最佳帧内预测模式生成的预测图像，和对应的成本函数值提供给预测图像选择单元48。在从预测图像选择单元48向帧内预测单元46告知按照最佳帧内预测模式生成的预测图像的选择的情况下，帧内预测单元46把帧内预测模式信息提供给无损编码单元36。
[0140]成本函数值也被称为RD (速率失真)成本，并且如在作为按照H.264/AVC方式的参考软件的JM(联合模型)中定义的那样，是根据高复杂度模式和低复杂度模式之一的技术计算的。
[0141]更具体地，在采用高复杂度模式作为计算成本函数值的技术的情况下，对于作为候选者的所有预测模式，临时进行解码，并对于各种预测模式，计算用下式(I)表示的成本函数值。
[0142]成本(模式)=D+λ.R...(I)
[0143]这里，D是原始图像和解码图像之间的差分(失真)，R是还包括正交变换的系数的生成编码量，λ是作为量化参数QP的函数给出的拉格朗日乘数。
[0144]另一方面，在采用低复杂度模式作为计算成本函数值的技术的情况下，对于作为候选者的所有预测模式中的每个进行预测图像的生成和编码信息的编码量的计算，并对于各种预测模式计算用下式(2)表示的成本函数。
[0145]成本(模式)=D+QPtoQuant(QP).Header_Bit...(2)
[0146]这里，D是原始图像和解码图像之间的差分(失真)，Header_Bit是编码/[目息的编码量，QPtoQuant是作为量化参数QP的函数给出的函数。
[0147]在低复杂度模式下，对于所有预测模式，可以只生成预测图像，不必生成解码图像，从而计算量较小。
[0148]运动预测/补偿单元47进行作为候选者的所有帧间预测模式的运动预测/补偿处理。更具体地，运动预测/补偿单元47根据从屏幕重排缓冲器32供给的图像，和通过开关45从帧存储器44读取的参考图像，检测作为候选者的所有帧间预测模式的运动向量。随后，运动预测/补偿单元47起预测图像生成单元的作用，并通过根据运动向量进行参考图像的补偿处理来生成预测图像。
[0149]此时，运动预测/补偿单元47根据从屏幕重排缓冲器32供给的图像，和预测图像，计算作为候选者的所有帧间预测模式的成本函数值，把其成本函数值最小的帧间预测模式确定为最佳帧间预测模式。随后，运动预测/补偿单元47把最佳帧间预测模式的成本函数值，和对应的预测图像提供给预测图像选择单元48。另外，当从预测图像选择单元48向运动预测/补偿单元47告知按最佳帧间预测模式生成的预测图像的选择时，运动预测/补偿单元47把帧间预测模式信息，对应的运动向量等输出给无损编码单元36，并把参考图像指定信息输出给参考图像设定单元49。
[0150]预测图像选择单元48根据从帧内预测单元46和运动预测/补偿单元47供给的成本函数值，把其对应成本函数值较小的最佳帧内预测模式和最佳帧间预测模式之一，确定为最佳预测模式。随后，预测图像选择单元48把最佳预测模式的预测图像提供给计算单元33和加法单元40。另外，预测图像选择单元48把最佳预测模式的预测图像的选择，告知帧内预测单元46或者运动预测/补偿单元47。
[0151]参考图像设定单元49对应于GOP地保持从运动预测/补偿单元47供给的参考图像指定信息。在当前编码图像是GOP的第I图像的情况下，参考图像设定单元49把作为RPS的索引的“0”，和表示当前编码图像的RPS是包含在SPS中的RPS的RPS标记提供给无损编码单元36。
[0152]另一方面，在当前编码图像是GOP的除第I图像外的图像的情况下，参考图像设定单元49相互比较保持的在先图像的参考图像指定信息，和当前编码图像的参考图像指定信息，并根据比较结果，确定 inter_ref_pic_set_predict1n_f lag 和 delta_idx_minusl。随后，参考图像设定单元49设定包括确定的inter_ref_pic_set_predict1n_flag,和当前编码图像的参考图像指定信息或delta_idX_minusl的RPS，作为当前编码图像的RPS。
[0153]随后，在从设定单元12供给与当前编码图像的RPS相同的RPS的情况下，参考图像设定单元49把RPS的索引，和表示当前编码图像的RPS是包含在SPS中的RPS的RPS标记提供给无损编码单元36。另一方面，在未从设定单元12供给与当前编码图像的RPS相同的RPS的情况下，参考图像设定单元49把当前编码图像的RPS，和表示当前编码图像的RPS不是包含在SPS中的RPS的RPS标记提供给无损编码单元36。
[0154]速率控制单元50根据保存在累积缓冲器37中的编码数据，确定量化单元35使用的量化参数，以致不会发生上溢或下溢。速率控制单元50把确定的量化参数提供给量化单元35、无损编码单元36和逆量化单元38。
[0155](SPS的语法的例子)
[0156]图5是图解说明由图3中图解所示的设定单元12设定的SPS的语法的例子的示图。
[0157]如在图5中的第18行中图解所示，各个索引⑴的RPS包含在SPS中。
[0158](RPS的语法的例子)
[0159]图6是图解说明RPS的语法的例子的示图。
[0160]尽管未在图中图不，不过，图6中图解说明的弟6彳丁和后续各彳丁的说明与图1中图解所示的第3行和后续各行的说明相同。
[0161]如在图6中的第2行和第3行中图解所示，在其索引(idx)为O的RPS中，不包括inter_ref_pic_set_predict1n_flag,但是包括当 inter_ref_pic_set_predict1n_flag为“O”时包含的参考图像指定信息。
[0162]另一方面，如在第4行和第5中图解所示，在其索引(idx)不同于“O”的RPS中，包含 inter_ref_pic_set_predict1n_flag0 随后，在 inter_ref_pic_set_predict1n_flag为“O”的情况下,包含参考图像指定信息。另一方面,在inter_ref_pic_set_predict1n_flag 为 “I” 的情况下，包含 delta_idx_minusl。
[0163](本技术的优点的说明)
[0164]图7是图解说明由图3中图解所示的设定单元12设定的RPS的信息量的示图，图8是图解说明常规RPS的信息量的示图。
[0165]在图7和8中图解所示的例子中，GOP内从开始起的第2画面和第8画面的参考图像指定信息都与按照编码顺序的前一个画面的参考图像指定信息相同。
[0166]这种情况下，如图7中图解所示，设定单元12设定GOP的第I画面的参考图像指定信息，作为其索引为“O”的RPS。另外，作为其索引为“I”的RPS，设定单元12设定作为inter_ref_pic_set_predict1n_flag 的 “I”，并设定作为 delta_idx_minusl 的 “O”。从而，GOP的第I画面的RPS的索引被设定为“0”，第2画面和第8画面的RPS的索引被设定为 “I，，。
[0167]相反，如图8中图解所示，在常规情况下，例如，作为其索引为“O”的RPS，设定作为inter_ref_pic_set_predict1n_flag的“O”,和GOP的第I画面的参考图像指定信息。另夕卜，类似于设定单元12的情况，设定其索引为“I”的RPS。从而，GOP的第I画面的索引被设定为“0”，第2画面和第8画面的RPS的索引被设定为“I”。
[0168]如上，设定单元不设定作为用作第I画面的RPS的其索引为“O”的RPS的inter_ref_pic_set_predict1n_flag。换句话说，由于GOP的第I画面不具有就编码顺序来说的任何在先画面，因此inter_ref_pic_set_predict1n_flag必定为“O”。因而，设定单元12不设定作为用作第I画面的RPS的其索引为“O”的RPS的inter_ref_pic_set_predict1n_flag,而是由于 inter_ref_pic_set_predict1n_flag 为 “O”，只设定参考图像指定信息。结果，与常规情况相比，RPS的信息量能够减少与第I画面的inter_ref_pic_set_predict1n_flag 对应的数量。
[0169](切片头部的语法的例子)
[0170]图9是图解说明切片头部的语法的例子的示图。
[0171]如在图9中的第5行中图解所示，在切片头部中，包含对应系数的RPS标记(short_term_ref_pic_set_sps_flag)。另外，如在图9中的第6行和第I行中图解所示，当RPS标记为“O”，表示当前编码图像的RPS不是包含在SPS中的RPS时，在切片头部中，包含对应系数的 RPS,作为 short_term_ref_pic_set (num_short_term_ref_pic_sets)。
[0172]另一方面，如在图9中的第8行和第9行中图解所示，当RPS标记为“1”，表示当前编码图像的RPS是包含在SPS中的RPS时，在切片头部中，包含对应系数的RPS的索引，作为 short_term_ref_pic_set_idx(num_short_term_ref_pic_sets)。
[0173](编码设备的处理的说明)
[0174]图10是图解所示由图3中图解所示的编码设备10进行的生成处理的流程图。
[0175]在图10中图解所示的步骤S11，编码设备10的设定单元12进行设定RPS的RPS设定处理。该RPS设定处理将在后面参考后面说明的图11详细说明。在步骤S12，编码单元11进行按照HEVC方式，对作为输入信号，从外部输入的以帧为单位构成的图像编码的编码处理。该编码处理将在后面参考后面说明的图12和13详细说明。
[0176]在步骤S13，设定单元12设定包括被赋予索引的RPS的SPS。在步骤S14，设定单元12设定PPS。在步骤S15，设定单元12根据设定的SPS和PPS，和从编码单元12供给的编码数据，生成编码流。设定单元12把编码流提供给传输单元13。
[0177]在步骤S16，传输单元13把从设定单元12供给的编码流，传送给后面说明的解码设备，然后结束处理。
[0178]图11是详细图解说明在图10中图解所示的步骤Sll中表示的RPS设定处理的流程图。
[0179]在图11中图解所示的步骤S21，设定单元12把RPS的索引i设定为“O”。在步骤S22，判定RPS的索引i是否为“O”。当在步骤S22，RPS的索引i被判定为“O”时，在步骤S23,设定单元12把inter_ref_pic_set_predict1n_flag设定为“O”,然后处理进入步骤S25。
[0180]另一方面，当在步骤S22，RPS的索引i被判定不为“O”时，在步骤S24，设定单元12把索引i的RPS设定为inter_ref_pic_set_predict1n_flag,然后处理进入步骤S25。
[0181]在步骤S25,设定单兀 12 判定 inter_ref_pic_set_predict1n_f lag 是否为“ I ”。当在步骤S25,判定inter_ref_pic_set_predict1n_f lag为“I”时，在步骤S26,设定单兀12设定delta_idx_minusl,作为索引i的RPS,然后处理进入步骤S28。
[0182]另一方面，当在步骤S25,判定 inter_ref_pic_set_predict1n_f lag 不为“ I ”时，换句话说，当inter_ref_pic_set_predict1n_flag为“O”时,在步骤S27,设定单元12设定参考图像指定信息，然后处理进入步骤S28。
[0183]在步骤S28，设定单元12把索引i递增I。在步骤S29，设定单元12判定索引i是否等于或大于包含在SPS中的RPS的数目num_short_term_ref_pic_sets。
[0184]当在步骤S29,判定索引i不等于或大于数目num_short_term_ref_pic_sets时，处理返回步骤S22，重复步骤S22-S29的处理，直到索引i等于或大于数目num_Short_term_ref_pic_sets 为止。
[0185]另一方面，当在步骤S29,判定索引i等于或大于数目num_short_term_ref_pic_sets时，处理返回图10中图解所示的步骤S11，然后进入步骤S12。
[0186]图12和13表示详细图解说明在图10中图解所示的步骤S12的编码处理的流程图。
[0187]在图12中图解所示的步骤S31，编码单元11的A/D转换器31进行作为输入信号输入的以帧为单位的图像的A/D转换，然后把转换后的图像输出给屏幕重排缓冲器32，以便保存在其中。
[0188]在步骤S32，屏幕重排缓冲器32依据GOP的结构，按编码顺序，重排按显示顺序排列的保存的各帧图像。屏幕重排缓冲器32把重排后的以帧为单位构成的图像提供给计算单元33、巾贞内预测单元46和运动预测/补偿单元47。
[0189]在步骤S33，帧内预测单元46进行作为候选者的所有帧内预测模式的帧内预测处理。另外，帧内预测单元46根据从屏幕重排缓冲器32读取的图像，和通过帧内预测处理生成的预测图像，计算作为候选者的所有帧内预测模式的成本函数值。随后，帧内预测单元46把其成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元46把按照最佳帧内预测模式生成的预测图像，和对应的成本函数值提供给预测图像选择单元48。
[0190]另外，运动预测/补偿单元47进行作为候选者的所有帧间预测模式的运动预测/补偿处理。此外，运动预测/补偿单元47根据从屏幕重排缓冲器32供给的图像，和预测图像，计算作为候选者的所有帧间预测模式的成本函数值，并把其成本函数值最小的帧间预测模式确定为最佳帧间预测模式。随后，运动预测/补偿单元47把最佳帧间预测模式的成本函数值，和对应的预测图像提供给预测图像选择单元48。
[0191]在步骤S34，预测图像选择单元48根据在步骤S33的处理中，从帧内预测单元46和运动预测/补偿单元47供给的成本函数值，把其成本函数值最小的最佳帧内预测模式和最佳帧间预测模式之一，确定为最佳预测模式。随后，预测图像选择单元48把最佳预测模式的预测图像提供给计算单元33和加法单元40。
[0192]在步骤S35，预测图像选择单元48判定最佳预测模式是否是最佳帧间预测模式。当在步骤S35，判定最佳预测模式是最佳帧间预测模式时，预测图像选择单元48把按最佳帧间预测模式生成的预测图像的选择，告知运动预测/补偿单元47。
[0193]随后，在步骤S36，运动预测/补偿单元47把帧间预测模式信息和对应的运动向量，提供给无损编码单元36。运动预测/补偿单元47把参考图像指定信息提供给参考图像设定单元49。
[0194]在步骤S37，参考图像设定单元49进行确定RPS的索引的RPS索引确定处理。该RPS索引确定处理将在后面参考后面说明的图14详细说明。
[0195]另一方面，在步骤S35，当判定最佳预测模式不是最佳帧间预测模式时，换句话说，当最佳预测模式是最佳帧内预测模式时，预测图像选择单元48把按最佳帧内预测模式生成的预测图像的选择，告知帧内预测单元46。随后，在步骤S38，帧内预测单元46把帧内预测模式信息提供给无损编码单元36，然后处理进入步骤S39。
[0196]在步骤S39，计算单元33从供给自屏幕重排缓冲器32的图像中，减去从预测图像选择单元48供给的预测图像，从而进行编码。计算单元33把作为其结果获得的图像，作为残差信息输出给正交变换单元34。
[0197]在步骤S40，正交变换单元34对从计算单元33输出的残差信息进行正交变换，并把作为其结果获得的正交变换系统提供给量化单元35。
[0198]在步骤S41，量化单元35通过利用从速率控制单元50供给的量化参数，量化从正交变换单元34供给的系数。量化系数被输入无损编码单元36和逆量化单元38。
[0199]在图13中图解所示的步骤S42，逆量化单元38通过利用从速率控制单元50供给的量化参数，进行从量化单元35供给的量化系数的逆量化，并把作为其结果获得的正交变换系数提供给逆正交变换单元39。
[0200]在步骤S43，逆正交变换单元39对从逆量化单元38供给的正交变换系数进行逆正交变换，并把作为其结果获得的残差信息提供给加法单元40。
[0201]在步骤S44，加法单元40相加从逆正交变换单元39供给的残差信息，和从预测图像选择单元48供给的预测图像，从而获得局部解码图像。加法单元40把获得的图像提供给解块滤波器41和帧存储器44。
[0202]在步骤S45，解块滤波器41对从加法单元40供给的局部解码图像进行解块滤波处理。解块滤波器41把作为其结果获得的图像提供给自适应偏移滤波器42。
[0203]在步骤S46，对于每个IXU，自适应偏移滤波器42对从解块滤波器41供给的图像，进行自适应偏移滤波处理。自适应偏移滤波器42把作为其结果获得的图像提供给自适应环路滤波器43。另外，对于各个LCU，自适应偏移滤波器42把存储标记、索引或偏移量、和种类信息，作为偏移滤波信息提供给无损编码单元36。
[0204]在步骤S47，对于各个IXU，自适应环路滤波器43对从自适应偏移滤波器42供给的图像，进行自适应环路滤波处理。自适应环路滤波器43把作为其结果获得的图像提供给帧存储器44。另外，自适应环路滤波器43把在自适应环路滤波处理中使用的滤波系数提供给无损编码单元36。
[0205]在步骤S48，帧存储器44保存从自适应环路滤波器43供给的图像，和从加法单元40供给的图像。保存在帧存储器44中的图像通过开关45，被输出给帧内预测单元46或运动预测/补偿单元47，作为参考图像。
[0206]在步骤S49，无损编码单元36对从速率控制单元50供给的量化参数、偏移滤波信息和滤波系数，比如帧内预测模式信息或帧间预测模式信息、运动向量、RPS的索引或RPS等，进行无损编码，作为编码信息。
[0207]在步骤S50，无损编码单元36对从量化单元35供给的量化系数进行无损编码。随后，无损编码单元36根据在步骤S49中，按照无损方式编码的编码信息和系数，生成编码数据。
[0208]在步骤S51，累积缓冲器37临时保存从无损编码单元36供给的编码数据。
[0209]在步骤S52，速率控制单元50根据保存在累积缓冲器37中的编码数据，确定量化单元35使用的量化参数，以致不发生上溢或下溢。速率控制单元50把确定的量化参数提供给量化单元35、无损编码单元36和逆量化单元38。
[0210]在步骤S53，累积缓冲器37把保存的编码数据输出给图3中图解所示的设定单元12。
[0211]在图12和13中图解所示的编码处理中，为了简化说明，尽管帧内预测处理和运动预测/补偿处理两者被配置成是持续不断地进行的，不过，实际上，可按照画面种类等，只进行其中之一。
[0212]图14是详细图解说明在图12中图解所示的步骤S37中表示的RPS索引确定处理的流程图。
[0213]在图14中图解所示的步骤S71，参考图像设定单元49对应于GOP地保持从运动预测/补偿单元47供给的参考图像指定信息。在步骤S72，参考图像设定单元49确定当前编码图像是否是GPS的第I图像。
[0214]当在步骤S72，确定当前编码图像是GOP中的第I图像时，在步骤S73，参考图像设定单元49把RPS标记设定为“I”。在步骤S74，参考图像设定单元49把RPS的索引设定为“0”，然后处理进入步骤S79。
[0215]另一方面，当在步骤S72，确定当前编码图像是GOP中的除第I图像外的图像时，在步骤S75，参考图像设定单元49生成当前编码图像的RPS。
[0216]更具体地，参考图像设定单元49判定保持的在先图像的参考图像指定信息和当前编码图像的参考图像指定信息是否相同。当判定保持的在先图像的参考图像指定信息和当前编码图像的参考图像指定信息相同时，参考图像设定单元49生成当前编码图像的RPS,该 RPS 包含作为 inter_ref_pic_set_predict1n_flag 的 “I”，并包含 delta_idx_minuslo
[0217]另一方面，当判定保持的在先图像的参考图像指定信息和当前编码图像的参考图像指定信息不相同时，参考图像设定单元49生成包含作为inter_ref_pic_set_predict1n_flag的“O”的当前编码图像的RPS。
[0218]在步骤S76，参考图像设定单元49判定当前编码图像的RPS是否和包含在从设定单元12供给的SPS中的RPS相同。当在步骤S76，判定当前编码图像的RPS和包含在SPS中的RPS相同时，在步骤S77，参考图像设定单元49把RPS标记设定为“ I ”。
[0219]在步骤S78，参考图像设定单元49识别与当前编码图像的RPS相同的包含在SPS中的RPS的索引，然后处理进入步骤S79。在步骤S79，参考图像设定单元49把在步骤S73或步骤S77中设定的RPS标记，和在步骤S74中设定的RPS的索引，或者在步骤S78中识别的RPS的索引提供给无损编码单元36。随后，处理返回图12中图解所示的步骤S37，然后处理进入步骤S39。
[0220]另一方面，当在步骤S76，判定当前编码图像的RPS和包含在SPS中的RPS不同时，参考图像设定单元49把RPS标记设定为“O”。在步骤S81，参考图像设定单元49把在步骤S80中设定的RPS标记，和在步骤S75中生成的RPS提供给无损编码单元36。随后，处理返回图12中图解所示的步骤S37，然后处理进入步骤S39。
[0221]如上，在当前编码图像是GOP内的除第I图像外的图像的情况下，编码设备10传送inter_ref_pic_set_predict1n_flag。换句话说，在当前编码图像是GOP的第I图像时，编码设备10不传送inter_ref_pic_set_predict1n_flag。因而,与参考图像指定信息相关的RPS的信息量可被减少与GOP的第I图像的inter_ref_pic_set_predict1n_flag对应的数量。
[0222](按照第一实施例的解码设备的结构例子)
[0223]图15是图解说明按照第一实施例的本技术适用于的，解码从图3中图解所示的编码设备10传送的编码流的解码设备的结构例子的方框图。
[0224]图15中图解所示的解码设备110由接收单元111、提取单元112和解码单元113构成。
[0225]解码设备110的接收单元111接收从图3中图解所示的编码设备10传送的编码流，并把接收的编码流提供给提取单元112。
[0226]提取单元112从供给自接收单元111的编码流中，提取SPS、PPS、编码数据等。提取单元112把编码数据供给解码单元113。另外，提取单元112根据SPS，获得各个SPS的inter_ref_pic_set_predict1n_flag,和 delta_idx_minusl 或参考图像指定信息，并把获得的信息提供给解码单元113。另外，必要时，提取单元112把包含在SPS中的除RPS外的信息，PPS等，提供给解码单元113。
[0227]根据从提取单元112 供给的各个 RPS 的 inter_ref_pic_set_predict1n_flag 和delta_idx_minusl或参考图像指定信息,解码单元113按照HEVC方式，解码从提取单元112供给的编码数据。此时，必要时，解码单元113参考包含在SPS中的除RPS外的信息，PPS等。解码单元113输出通过解码获得的图像，作为输出信号。
[0228](解码单元的结构例子)
[0229]图16是图解说明在图15中图解所示的解码单元13的结构例子的方框图。
[0230]图16中图解所示的解码单元113由以下组件构成:累积缓冲器131 ;无损解码单元132 ;逆量化单元133 ;逆正交变换单元134 ;加法单元135 ;解块滤波器136 ；自适应偏移滤波器137 ；自适应环路滤波器138 ;屏幕重排缓冲器139 ;D/A转换器140 ;帧存储器141 ；开关142 ;帧内预测单元143 ;参考图像设定单元144 ;运动补偿单元145 ;和开关146。
[0231]解码单元113的累积缓冲器131从图15中图解所示的提取单元112接收编码数据，并保存接收的编码数据。累积缓冲器131把保存的编码数据提供给无损解码单元132。
[0232]无损解码单元132对从累积缓冲器131供给的编码数据，进行诸如变长解码或算术解码之类的无损解码，从而获得量化系数和编码信息。无损解码单元132把量化系数提供给逆量化单元133。另外，无损解码单元132把帧内预测模式信息等，作为编码信息提供给帧内预测单元143，并把运动向量、帧间预测模式信息等提供给运动补偿单元145。无损解码单元132把RPS标记和RPS的索引或者RPS，作为编码信息提供给参考图像设定单元
144。
[0233]另外，无损解码单元132把帧内预测模式信息或帧间预测模式信息，作为编码信息提供给开关146。无损解码单元132把偏移滤波信息，作为编码信息提供给自适应偏移滤波器137，并把滤波系数提供给自适应环路滤波器138。
[0234]逆量化单元133、逆正交变换单元134、加法单元135、解块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元13和运动补偿单元145进行和图4中图解所示的逆量化单元38、逆正交变换单元39、加法单元40、解块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46和运动预测/补偿单元47的处理类似的处理，从而图像被解码。
[0235]更具体地，逆量化单元133进行从无损解码单元132供给的量化系数的逆量化，并把作为其结果获得的正交变换系数提供给逆正交变换单元134。
[0236]逆正交变换单元134对从逆量化单元133供给的正交变换系数，进行逆正交变换。逆正交变换单元134把通过逆正交变换获得的残差信息提供给加法单元135。
[0237]加法单元135充当解码单元，并通过相加作为当前解码图像，从逆正交变换单元134供给的残差信息，和从开关146供给的预测图像，来进行解码。加法单元135把通过解码获得的图像提供给解块滤波器136和帧存储器141。另外，当未从开关146供给预测图像时，加法单元135把作为从逆正交变换单元134供给的残差信息的图像提供给解块滤波器136，作为通过解码获得的图像，并把该图像提供给帧存储器141，以便保存在其中。
[0238]解块滤波器136对从加法单元135供给的图像，进行自适应解块滤波处理，并把作为其结果获得的图像，提供给自适应偏移滤波器137。
[0239]自适应偏移滤波器137具有顺序保存从无损解码单元132供给的偏移量的缓冲器。另外，自适应偏移滤波器137根据从无损解码单元132供给的偏移滤波信息，对在解块滤波器136进行的自适应解块滤波处理之后的图像，各个IXU地进行自适应偏移滤波处理。
[0240]更具体地，当包含在偏移滤波信息中的存储标记为“O”时，自适应偏移滤波器137通过利用包含在偏移滤波信息中的偏移量，对在以LCU为单位进行的解块滤波处理之后的图像，进行由种类信息表示的种类的自适应偏移滤波处理。
[0241]另一方面，当包含在偏移滤波信息中的存储标记为“I”时，自适应偏移滤波器137对于在以LCU为单位进行的解块滤波处理之后的图像，读取保存在由包含在偏移滤波信息中的索引表示的位置的偏移。随后，自适应偏移滤波器137通过利用读取的偏移，进行由种类信息表示的种类的自适应偏移滤波处理。自适应偏移滤波器137把自适应偏移滤波处理之后的图像提供给自适应环路滤波器138。
[0242]自适应环路滤波器138通过利用从无损解码单元132供给的滤波系数，对从自适应偏移滤波器137供给的图像，各个IXU地进行自适应环路滤波处理。自适应环路滤波器138把作为其结果获得的图像提供给帧存储器141和屏幕重排缓冲器139。
[0243]屏幕重排缓冲器139以帧为单位地保存从自适应环路滤波器138供给的图像。屏幕重排缓冲器139按照原始顺序，重排按照编码顺序排列的以帧为单位的存储图像，并把重排的图像提供给D/A转换器140。
[0244]D/A转换器140进行从屏幕重排缓冲器139供给的以帧为单位构成的图像的D/A转换，并输出转换后的图像，作为输出信号。帧存储器141保存从自适应环路滤波器138供给的图像，和从加法单元135供给的图像。保存在帧存储器141中的图像被读取，作为参考图像，并通过开关142被提供给运动补偿单元145或者帧内预测单元143。
[0245]帧内预测单元143通过利用经开关142，从帧存储器141读取的参考图像，进行由从无损解码单元132供给的帧内预测模式信息表示的帧内预测模式的帧内预测处理。帧内预测单元143把作为其结果生成的预测图像提供给开关146。
[0246]参考图像设定单元144保持从图15中图解所示的提取单元112供给的各个RPS的 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 或参考图像指定信息，作为RPS信息。另外，参考图像设定单元144根据从无损解码单元132供给的RPS标记和RPS的索引或RPS，以及各个RPS的RPS信息，生成当前解码图像的参考图像指定信息。参考图像设定单元144把生成的参考图像指定信息提供给运动补偿单元145，并保持参考图像指定信息。
[0247]运动补偿单元145根据从参考图像设定单元144供给的参考图像指定信息，通过开关142，从帧存储器141中读取由参考图像指定信息指定的参考图像。运动补偿单元145充当预测图像生成单元，通过利用运动向量和参考图像，进行由帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元145把作为其结果生成的预测图像提供给开关146。
[0248]当从无损解码单元132供给帧内预测模式信息时，开关146把从帧内预测单元143供给的预测图像提供给加法单元135。另一方面，当从无损解码单元132供给帧间预测模式信息时，开关146把从运动补偿单元145供给的预测图像提供给加法单元135。
[0249](解码设备的处理的说明)
[0250]图17是图解说明由图15中图解所示的解码设备110进行的接收处理的流程图。
[0251]在图17中图解所示的步骤S111，解码设备110的接收单元111接收从图3中图解所示的编码设备10传送的编码流，并把接收的编码流提供给提取单元112。
[0252]在步骤S112，提取单元112从供给自接收单元111的编码流中，提取SPS、PPS、编码数据等。提取单元112把编码数据提供给解码单元113。另外，必要时，提取单元112把包含在SPS中的除RPS外的信息，PPS等提供给解码单元113。
[0253]在步骤S113，提取单元112根据SPS，获得各个RPS的inter_ref_pic_set_predict1n_flag,和delta_idx_minusl或参考图像指定信息,作为RPS信息，并把获得的信息提供给解码单元113。
[0254]在步骤SI 14，解码单元113进行根据从提取单元112供给的各个RPS的RPS信息，按照HEVC方式，对从提取单元112供给的编码数据解码的解码处理。该解码处理将参考后面说明的图19，详细说明。随后，处理结束。
[0255]图18是详细图解说明在图17中图解所示的步骤S113中表示的RPS设定处理的流程图。
[0256]在图18中图解所示的步骤S120，提取单元112获得包含在SPS(图5)中的num_short_term_ref_pic_setso在步骤S121,提取单元112把与生成的RPS信息对应的RPS的索引i设定为“O”。在步骤S122，判定RPS的索引i是否为“O”。
[0257]当在步骤S122，判定索引i为“O”时，在步骤S123，提取单元112把包含在索引i的RPS的RPS信息中的inter_ref_pic_set_predict1n_flag设定为“O”,然后处理进入步骤 S125。
[0258]另一方面，当在步骤S122，判定索引i不为“O”时，在步骤S124，提取单元112获得包括在包含于SPS中的索引i的RPS中的inter_ref_pic_set_predict1n_flag。随后，提取单元112设定获得的inter_ref_pic_set_predict1n_flag,作为包含在索引i的RPS的 RPS 信息中的 inter_ref_pic_set_predict1n_flag,然后处理进入步骤 S125。
[0259]在步骤S125,提取单兀 112 判定 inter_ref_pic_set_predict1n_flag 是否为“ I ”。当在步骤 S125,判定 inter_ref_pic_set_predict1n_f lag 为“ I ”时，在步骤 S126,提取单元112获得包括在包含于SPS中的索引i的RPS中的delta_idx_minusl。随后，提取单元112设定获得的delta_idx_minusl,作为包含在索引i的RPS的RPS信息中的delta_idx_minusl,然后处理进入步骤S128。
[0260]另一方面，当在步骤S125,判定 inter_ref_pic_set_predict1n_flag 不为 “ I”时，在步骤S127，提取单元112获得包括在包含于SPS中的索引i的RPS中的参考图像指定信息。随后，提取单元112设定获得的参考图像指定信息，作为包含在索引i的RPS的RPS信息中的参考图像指定信息，然后处理进入步骤S128。
[0261]在步骤S128，提取单元112把索引i加I。在步骤S129，提取单元112判定索引i是否等于或大于在步骤S120中获得的num_short_term_ref_pic_sets。
[0262]当在步骤S129,判定索引i不等于或大于num_short_term_ref_pic_sets时,处理返回步骤S122,重复步骤S122-S129的处理,直到索引i等于或大于num_short_term_ref_pic_sets 为止。
[0263]另一方面，当在步骤S129,判定索引i等于或大于num_short_term_ref_pic_sets时，在步骤S130,提取单元112供给其数目为设定的num_short_term_ref_pic_sets的RPS的RPS信息。随后，处理返回图17中图解所示的步骤S113，然后处理进入步骤S114。
[0264]图19是详细图解说明在图17中图解所示的步骤S114中表示的解码处理的流程图。
[0265]在图19中图解所示的步骤S131，解码单元113的累积缓冲器131从图15中图解所示的提取单元112，接收以帧为单位构成的编码数据，并保存接收的编码数据。累积缓冲器131把保存的编码数据提供给无损解码单元132。
[0266]在步骤S132，无损解码单元132进行从累积缓冲器131供给的编码数据的无损解码，从而获得量化系数和编码信息。无损解码单元132把量化系数提供给逆量化单元133。另外，无损解码单元132把帧内预测模式信息等，作为编码信息提供给帧内预测单元143，并把运动向量、帧间预测模式信息、RPS标记、RPS的索引或RPS等，提供给运动补偿单元
145。
[0267]另外，无损解码单元132把帧间预测模式信息或帧内预测模式信息，作为编码信息提供给开关146。无损解码单元132把偏移滤波信息作为编码信息提供给自适应偏移滤波器137，并把滤波系数提供给自适应环路滤波器138。
[0268]在步骤S133，逆量化单元133进行从无损解码单元132供给的量化系数的逆量化，并把作为其结果获得的正交变换系数提供给逆正交变换单元134。
[0269]在步骤S134，运动补偿单元145判定是否从无损解码单元132供给了帧间预测模式信息。当在步骤S134，判定供给了帧间预测模式信息时，处理进入步骤S135。
[0270]在步骤S135，参考图像设定单元144根据从提取单元112供给的各个RPS的RPS信息，和从无损解码单元132供给的RPS标记和RPS的索引或RPS，生成当前解码图像的参考图像指定信息，并保持生成的参考图像指定信息。
[0271]更具体地，参考图像设定单元144保持从提取单元112供给的各个RPS的RPS信息。当RPS标记为“ I”时，参考图像设定单元144读取包含在保持的RPS信息中的RPS的索引RPS信息。随后，当包含在读取的RPS信息中的inter_ref_pic_set_predict1n_flag为“O”时，参考图像设定单元144生成包含在RPS信息中的参考图像指定信息，作为当前解码图像的参考图像指定信息，并保持生成的参考图像指定信息。
[0272]另一方面，当inter_ref_pic_set_predict1n_f lag 为“ I ”时，参考图像设定单兀144从保持的参考图像指定信息之中，读取由包含在RPS信息中的delta_idX_minusl指定的在先图像的参考图像指定信息。随后，参考图像设定单元144生成并保持读取的在先图像的参考图像指定信息，作为当前解码图像的参考图像指定信息。
[0273]另外，当RPS标记为“0”，并且包含在和RPS标记一起从无损解码单元132供给的RPS中的inter_ref_pic_set_predict1n_flag为“O”时，参考图像设定单兀144生成包含在RPS中的参考图像指定信息，作为当前解码图像的参考图像指定信息，并保持生成的参考图像指定信息。另一方面，当inter_ref_pic_set_predict1n_flag为“I”时,参考图像设定单元144从保持的参考图像指定信息中，读取利用包含在RPS中的delta_idx_minusl指定的在先图像的参考图像指定信息。随后，参考图像设定单元144生成读取的在先图像的参考图像指定信息，作为当前解码图像的参考图像指定信息，并保持生成的参考图像指定信息。
[0274]在步骤S136，运动补偿单元145根据从参考图像设定单元144供给的参考图像指定信息，读取参考图像，并通过利用运动向量和参考图像，进行由帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元145把作为其结果生成的预测图像，通过开关146提供给加法单元135，然后处理进入步骤S138。
[0275]另一方面，当在步骤S134中，判定未供给帧间预测模式信息时，换句话说，当向帧内预测单元143供给帧内预测模式信息时，处理进入步骤S137。
[0276]在步骤S137，帧内预测单元143通过利用经开关142从帧存储器141读取的参考图像，进行由帧内预测模式信息表示的帧内预测模式的帧内预测处理。帧内预测单元143通过开关146，把通过帧内预测处理生成的预测图像提供给加法单元135，随后处理进入步骤 S138。
[0277]在步骤S138，逆正交变换单元134对从逆量化单元133供给的正交变换系数，进行逆正交变换，并把作为其结果获得的残差信息提供给加法单元135。
[0278]在步骤S139，加法单元135相加从逆正交变换单元134供给的残差信息，和从开关146供给的预测图像。加法单元135把作为其结果获得的图像提供给解块滤波器136，并把获得的图像提供给帧存储器141。
[0279]在步骤S140，解块滤波器136对从加法单元135供给的图像，进行解块滤波处理，从而消除块失真。解块滤波器136把作为其结果获得的图像提供给自适应偏移滤波器137。
[0280]在步骤S141，自适应偏移滤波器137根据从无损解码单元132供给的偏移滤波信息，对在解块滤波器136进行的解块滤波处理之后的图像，各个IXU地进行自适应偏移滤波处理。自适应偏移滤波器137把自适应偏移滤波处理之后的图像提供给自适应环路滤波器138。
[0281]在步骤S142，自适应环路滤波器138通过利用从无损解码单元132供给的滤波系数，对从自适应偏移滤波器137供给的图像，各个IXU地进行自适应环路滤波处理。自适应环路滤波器138把作为其结果获得的图像提供给帧存储器141和屏幕重排缓冲器139。
[0282]在步骤S143，帧存储器141保存从加法单元135供给的图像，和从自适应环路滤波器138供给的图像。保存在帧存储器141中的图像通过开关142，被提供给运动补偿单元145或者帧内预测单元143，作为参考图像。
[0283]在步骤S144，屏幕重排缓冲器139以帧为单位，保存从自适应环路滤波器138供给的图像，并按照原始显示顺序，重排保存的按照编码顺序、以帧为单位构成的图像，然后把重排的图像提供给D/A转换器140。
[0284]在步骤S145，D/A转换器140对从屏幕重排缓冲器139供给的以帧为单位构成的图像，进行D/A转换，并输出转换后的图像作为输出信号。随后，处理返回图17中图解所示的步骤SI 14，然后处理结束。
[0285]如上，解码设备110接收当当前编码图像是GOP的除第I图像外的图像时传送的inter_ref_pic_set_predict1n_flag0 当收至丨J inter_ref_pic_set_predict1n_flag 时，解码设备110根据inter_ref_pic_set_predict1n_flag,生成当前解码图像的参考图像指定信息。另一方面，当未收到inter_ref_pic_set_predict1n_flag时,解码设备110根据作为inter_ref_pic_set_predict1n_flag的“O”,生成当前解码图像的参考图像指定信息。
[0286]结果，解码设备110能够解码其中RPS的信息量被减少与GOP的第I图像的inter_ref_pic_set_predict1n_flag 对应的数量的编码流。
[0287]<第二实施例>
[0288](按照第二实施例的编码设备的结构例子)
[0289]图20是图解说明按照第二实施例的本技术适用于的编码设备的结构例子的方框图。
[0290]这里，向图20中图解所示的与图3中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0291]图20中图解所示的编码设备150的结构和图3中图解所示的编码设备10的结构的不同之处在于设置设定单元151，而不是设定单元12。编码设备150设定SPS，以致可以GOP 为单位，共享 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl。
[0292]更具体地，必要时，设定单兀151设定包含inter_ref_pic_set_predict1n_flag、delta_idx_minusl、参考图像指定信息等的RPS,并向各个RPS赋予索引。设定单元151把被赋予索引的RPS提供给编码单元11。另外，设定单元151设定包括表示在RPS和GOP内的所有画面中，inter_ref_pic_set_predict1n_flag是否为“O”的不可参考信息，并且必要时，包含为GOP内的所有画面共有的delta_idx_minusl的SPS。设定单元151设定PPS等。
[0293]另外，类似于图3中图解所示的设定单元12，设定单元151根据已设定的SPS和PPS,以及从编码单元11供给的编码数据，生成编码流。类似于设定单元12，设定单元151把编码流提供给传输单元13。
[0294](SPS的语法的例子)
[0295]图21是图解说明由图20中图解所示的设定单元151设定的SPS的语法的例子的示图。
[0296]如在图21中的第4行中图解所示，在SPS中包括不可参考信息(disable_rps_predict1n_flag)。另外，如在第5行和第6行中图解所示，当不可参考信息为不表示在GOP内的所有画面内inter_ref_pic_set_predict1n_flag为“O”的“O”时,在SPS中包括表不在GOP内的所有画面内delta_idx_minusl是否相同的一致信息(unified_rps_predict1n_control_present_flag)。
[0297]此外，如在第7行和第8行中图解所示，当一致信息为“ I ”，表示在GOP内的所有画面内delta_idx_minusl相同时,在SPS中包括是为GOP内的所有画面共有的delta_idx_minusl的unified_delta_idx_minusl。另外，如在第11行中图解所示，各个索引(i)的RPS被包含在SPS中。
[0298](RPS的语法的例子)
[0299]图22是图解说明RPS的语法的例子的示图。
[0300]图22中图解所示的第11行和后续各行的说明与在图1中图解所示的第5行和后续各行的说明相同。
[0301]如在图22中的第2行和第3行中图解所示，当disable_rps_predict1n_flag为“I” 时，在 RPS 中，不包括 inter_ref_pic_set_predict1n_flag,但是包括当 inter_ref_pic_set_predict1n_flag为“O”时包含的参考图像指定信息。
[0302]另一方面,如在第4行和第5行中图解所示，当disable_rps_predict1n_flag为“O”时,在 RPS 中，包含 inter_ref_pic_set_predict1n_flag。另外，如在第 6 行-第 8 行中图角军所不，当 inter_ref_pic_set_predict1n_flag 和 unified_rps_predict1n_control_present_flag 分别为 “ I” 时，在 RPS 中，不包括 delta_idx_minusl, delta_idx_minusl 是unified_delta_idx_minusl ο
[0303]此外，如在第9行和第10行中图解所示，在inter_ref_pic_set_predict1n_flag为“ I ”，并且 unified_rps_predict1n_control_present_f lag 为“O”的情况下，在 RPS 中包括 delta_idx_minuslο
[0304](本技术的优点的说明)
[0305]图23和24是图解说明由图20中图解所示的设定单元151设定的RPS的信息量的示图，图25是图解说明常规RPS的信息量的示图。
[0306]在图23中图解所示的例子中，GOP内从开始起的第2画面和第8画面中每个的参考图像指定信息都与按照编码顺序的相应前一个画面的参考图像指定信息相同。
[0307]这种情况下，如图23中图解所示，设定单元151设定“0”，作为disable_rps_predict1n_flag,并设定 “1，，，作为 unified_rps_predict1n_control_present_flag。另夕卜，设定单兀 151 设定 “O”,作为 unified_delta_idx_minusl。
[0308]此外，例如，作为其索引为“O”的RPS，设定单元151设定作为inter_ref_pic_set_predict1n_flag的“0”，并设定GOP的第I画面的参考图像指定信息。另外，作为其索引为 “I” 的 RPS,设定单元 151 设定作为 inter_ref_pic_set_predict1n_flag 的 “I”。从而，GOP的第I画面的RPS的索引被设定为“0”，第2画面和第8画面的RPS的索引被设定为 “I，，。
[0309]如上，设定单元151把为GOP内的所有画面共有的delta_idx_minusl设定为unified_delta_idx_minuslο 因而，设定单兀 151 能够以 GOP 为单位，设定 delta_idx_minusl。
[0310]另外，在图24和25中图解所示的例子中，GOP内的所有画面的参考图像指定信息不与按照编码顺序的相应前一个画面的参考图像指定信息相同。
[0311]这种情况下，如图24中图解所示，设定单元151设定“I”作为disable_rps_predict1n_flag，并且作为对应于GOP内的各个画面的RPS，设定该画面的参考图像指定信息。相反，在常规情况下，如图25中图解所示，作为对应于GOP内的各个画面的RPS，“0”被设定为inter_ref_pic_set_predict1n_flag,并设定该画面的参考图像指定信息。
[0312]如上，设定单元151把作为GOP内的所有画面共有的inter—ref—pic—set—predict1n_flag 的 “0” 设定为 disable—rps—predict1n_flag。从而，在 disable—rps_predict1n—flag为“I”的情况下，与常规情况相比，RPS的信息量可被减少与inter—ref—pic—set—predict1n—flag 对应的数量。
[0313](编码设备的处理的说明)
[0314]除了 RPS设定处理之外，由图20中图解所示的编码设备150进行的生成处理和图10中图解所示的生成处理相同，从而下面只说明RPS设定处理。
[0315]图26是详细图解说明由编码设备150的设定单元151进行的RPS设定处理的流程图。
[0316]在图26中图解所示的步骤S161中，设定单元151设定作为SPS的disable—rps—predict1n—flag。在步骤 S162，设定单兀 151 判定 disable—rps—predict1n—flag 是否为“I”。当在步骤 S162，判定 disable—rps—predict1n—flag 不为 “I” 时，在步骤 S163，设定单兀 151 设定作为 SPS 的 unified—rps—predict1n_control—present_flag。
[0317]在步骤S164，设定单兀 151 判定 unified—rps—predict1n—control—present—flag是否为 “ I ”。当在步骤 S164，判定 unified—rps—predict1n—control—present—flag 为 “ I ”时，在步骤S165，设定单元151设定作为SPS的unified—delta—idx—minusl，然后处理进入步骤S166。
[0318]当在步骤S162，判定disable—rps—predict1n—flag为“I”时，或者当在步骤S164，判定 unified—rps—predict1n—control—present—flag 为“0”时，处理进入步骤 S166。
[0319]在步骤S166，设定单元151把RPS的索引i设定为“O”。在步骤S167，设定单兀 151 判定 disable—rps—predict1n—flag 是否为 “I”。当在步骤 S167，判定 disable—rps—predict1n—flag 为 “I” 时，在步骤 S168，设定单兀 151 把 inter—ref—pic—set—predict1n—flag设定为“0”，然后处理进入步骤S170。
[0320]另一方面，当在步骤S167，判定 disable—rps—predict1n—flag 不为 “I” 时，在步骤 S169，设定单兀 151 设定作为索引 i 的 RPS 的 inter—ref—pic—set—predict1n—flag，处理进入步骤S170。
[0321]在步骤S170，设定单兀 151 判定 inter—ref—pic—set—predict1n—flag 是否为“I”。当在步骤 S170，判定 inter—ref—pic—set—predict1n—flag 为 “I” 时，在步骤 S171，设定单兀 151 判定 unified—rps—predict1n—control—present—flag 是否为 “I”。
[0322]当在步骤S171，判定 unified—rps—predict1n—control—present—flag 为 “I，，时，处理进入步骤S174。另一方面，当在步骤S171，判定unified—rps—predict1n—control—present—flag不为“I”时，在步骤S172，设定单元151设定delta—idx—minusl，作为索引i的RPS，然后处理进入步骤S174。
[0323]另外，当在步骤S170，判定 inter—ref—pic—set—predict1n—flag 不为 “I” 时，在步骤S173，设定单元151设定参考图像指定信息，作为索引i的RPS，然后处理进入步骤S174。
[0324]在步骤S174，设定单元151把索引i加I。在步骤S175，设定单元151判定索引i是否等于或大于包括在SPS中的RPS的数目num—short—term—ref—pic—sets。
[0325]当在步骤S175，判定索引i不等于或大于num—short—term—ref—pic—sets时，处理返回步骤S167,重复步骤S167-S175的处理,直到索引i等于或大于数目num_short_term_ref_pic_sets 为止。
[0326]另一方面，当在步骤S175,判定索引 i 为 num_short_term_ref_pic_sets 时，RPS设定处理结束。
[0327]如上，由于编码设备150 设定 disable_rps_predict1n_flag,当 disable_rps_predict1n_flag为“I”时，与常规情况相比，与参考图像指定信息相关的RPS的信息量可被减少对应于inter_ref_pic_set_predict1n_flag的数量。另外,可以GOP为单位,设定inter_ref_pic_set_predict1n_flag0
[0328]此外，由于编码设备150把为GOP内的所有画面共有的delta_idx_minusl设定为unified_delta_idx_minusl,因此能够以 GOP 为单位，设定 delta_idx_minusl。
[0329](按照第二实施例的解码设备的结构例子)
[0330]图27是图解说明按照第二实施例的本技术适用于的，解码从图20中图解所示的编码设备150传送的编码流的解码设备的结构例子的方框图。
[0331]这里，向图27中图解所示的与图15中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0332]图27中图解所示的解码设备170的结构和图15中图解所示的解码设备110的结构的不同之处在于设置提取单元171，而不是提取单元112。解码设备170根据图21中图解所示的SPS，设定各个RPS的RPS信息。
[0333]更具体地，类似于在图15中图解所示的提取单元112，解码设备170的提取单元171从供给自接收单元111的编码流中，提取SPS、PPS、编码数据等。类似于提取单元112，提取单元171把编码数据提供给解码单元113。另外，根据在图21中图解所示的SPS，提取单元171获得各个RPS的RPS信息，并把获得的RPS信息提供给解码单元113。此外，类似于提取单元112，必要时，提取单元171还把包含在SPS中的除RPS外的信息，PPS等提供给解码单元113。
[0334](解码设备的处理的说明)
[0335]除了 RPS设定处理之外，图27中图解所示的解码设备170进行的接收处理和图17中图解所示的接收处理相同，从而，下面只说明RPS设定处理。
[0336]图28是详细图解说明由图27中图解所示的解码设备170进行的RPS设定处理的流程图。
[0337]在图28中图解所示的步骤S191，提取单元171获得包含在SPS(图21)中的num_short_term_ref_pic_sets0 在步骤 S192,提取单兀 171 获得包含在 SPS 中的 disable_rps_predict1n_flag。在步骤 S193,提取单兀 171 判定获得的 disable_rps_predict1n_flag是否为“I”。
[0338]当在步骤S193 中，判定 disable_rps_predict1n_f lag 不为“ I ”时，在步骤 S194,提取单兀 171 获得包含在 SPS 中的 unified_rps_predict1n_control_present_f lag。在步骤 S195,提取单兀 171 判定获得的 unified_rps_predict1n_control_present_f lag 是否为“I”。
[0339]当在步骤S195,判定 unified_rps_predict1n_control_present_f lag 为 “ I，，时，提取单元171获得包含在SPS中的unified_delta_idx_minusl,然后处理进入步骤S197。
[0340]另一方面，当在步骤S195,判定unified_delta_idx_minusl不为“I”时,处理进入步骤S197。另外，当在步骤S193,判定disable_rps_predict1n_flag为I时，处理进入步骤 S197。
[0341]在步骤S197，提取单元171把与生成的RPS信息对应的RPS的索引i设定为“O”。在步骤S198,提取单元171判定在步骤S192获得的disable_rps_predict1n_f lag是否为“I”。
[0342]当在步骤S198,判定 disable_rps_predict1n_flag 为“I”时,在步骤 S199,提取单元171把包含在索引i的RPS的RPS信息中的inter_ref_pic_set_predict1n_flag设定为“O”，然后处理进入步骤S201。
[0343]另一方面，当在步骤S198 中，判定 disable_rps_predict1n_flag 不为“I”时，在步骤S200，提取单元171获得包括在包含于SPS中的索引i的RPS中的inter_ref_pic_set_predict1n_flag。随后，提取单兀 171 把获得的 inter_ref_pic_set_predict1n_flag 设定为包含在索引 i 的 RPS 的 RPS 信息中的 inter_ref_pic_set_predict1n_flag,然后处理进入步骤S201。
[0344]在步骤S201,提取单兀 171 判定 inter_ref_pic_set_predict1n_flag 是否为“ I ”。当在步骤 S201,判定 inter_ref_pic_set_predict1n_f lag 为 “ I ” 时，在步骤 S202,提取单兀 171 判定在步骤 S194 获得的 unified_rps_predict1n_control_present_f lag 是否为“I”。
[0345]当在步骤S202,判定 unified_rps_predict1n_control_present_flag 为 “I，，时，处理进入步骤S203。在步骤S203，提取单元171把在步骤S196获得的unified_delta_idx_minusl,设定为包含在索引i的RPS的RPS信息中的unified_delta_idx_minusl,然后处理进入步骤S206。
[0346]另一方面，当在步骤S202,判定 unified_rps_predict1n_control_present_f lag不为“I”时，在步骤S204，提取单元171获得包括在包含于SPS中的索引i的RPS中的delta_idx_minuslo随后,提取单元171把获得的delta_idx_minusl设定为包含在索引i的RPS的RPS信息中的delta_idx_minusl，然后处理进入步骤S206。
[0347]另一方面，当在步骤S201,判定 inter_ref_pic_set_predict1n_flag 不为 “ I”时，在步骤S205，提取单元171获得包括在包含于SPS中的索引i的RPS中的参考图像指定信息。随后，提取单元171把获得的参考图像指定信息设定成包含在索引i的RPS的RPS信息中的参考图像指定信息，然后处理进入步骤S206。
[0348]步骤S206-S208的处理和图18中图解所示的步骤S128-S130的处理相似，从而省略其说明。
[0349]如上，解码设备170 接收 disable_rps_predict1n_flag,并根据 disable—rps_predict1n_flag,生成当前解码图像的参考图像指定信息。结果,在disable_rps_predict1n_flag为“I”的情况下，解码设备170能够解码其中RPS的信息量被减少与inter_ref_pic_set_predict1n_flag 对应的数量的编码流。
[0350]另外，解码设备170接收为GOP内的所有画面共有的delta_idx_minusl，作为unified_delta_idx_minusl,并根据 unified_delta_idx_minusl,生成当前解码图像的参考图像指定信息。结果，解码设备170能够解码其中以GOP为单位来设定delta_idx_minusl的编码流。
[0351]〈第三实施例〉
[0352](按照第三实施例的编码设备的结构例子)
[0353]图29是图解说明按照第三实施例的本技术适用于的编码设备的结构例子的方框图。
[0354]这里，向图29中图解所示的与图3中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0355]图29中图解所示的编码设备190的结构和图3中图解所示的编码设备10的结构的不同之处在于设置设定单元191，而不是设定单元12。编码设备190是通过结合图3中图解所示的编码设备10和图20中图解所示的编码设备150获得的。
[0356]更具体地，编码设备190的设定单元191设定包括不包含inter_ref_pic_set_predict1n_flag,但是包含参考图像指定信息的PRS,和必要时，包括inter_ref_pic_set_predict1n_flag、delta_idx_minusl、参考图像指定信息等的RPS的RPS。另外，设定单元191向各个RPS赋予索引。这里，作为不包括inter_ref_pic_set_predict1n_flag,但是包括参考图像指定信息的RPS的索引，赋予“O”。
[0357]设定单元191把被赋予索引的RPS提供给编码单元11。另外，设定单元191设定包括 RPS 和 disable_rps_p;redict1n_flag,必要时，包括 unified_rps_predict1n_control_present_flag 和 unified_delta_idx_minusl 的 SPS。设定单兀 191 设定 PPS 等。
[0358]另外，类似于图3中图解所示的设定单元12，设定单元191根据设定的SPS和PPS，以及从编码单元11供给的编码数据，生成编码流。类似于设定单元12，设定单元191把编码流提供给传输单元13。
[0359](SPS的语法的例子)
[0360]图30是图解说明由图29中图解所示的设定单元191设定的SPS的语法的例子的示图。
[0361]图30中图解所示的结构和图21中图解所示的结构相同，从而省略其说明。
[0362](RPS的语法的例子)
[0363]图31是图解说明RPS的语法的例子的示图。
[0364]尽管未在图中图示，不过，图31中图解所示的第11行和后续各行的说明与在图1中图解所示的第5行和后续各行的说明相同。
[0365]如在图31中图解所示的第2行和第3行中图解所示，当索引(idx)为“O”时，或者当 disable_rps_predict1n_flag 为 “ I ” 时，在 RPS 中，不包含 inter_ref_pic_set_predict1n_flag,但是包含当 inter_ref_pic_set_predict1n_flag 为“O”时包含的参考图像指定信息。
[0366]第4行-第10行的说明与图22中图解所示的第4行-第10行的说明相同，从而省略其说明。
[0367](本技术的优点的说明)
[0368]图32是图解说明由图29中图解所示的设定单元191设定的RPS的信息量的示图。
[0369]在图32中图解所示的例子中，GOP内从开始起的第2画面和第8画面的参考图像指定信息与按照编码顺序的前一个画面的参考图像指定信息相同。
[0370]这种情况下，如图32中图解所示，设定单元191设定“0”，作为disable_rps_predict1n_flag,并设定 “1，，，作为 unified_rps_predict1n_control_present_flag。另夕卜，设定单兀 191 设定 “O”,作为 unified_delta_idx_minusl。
[0371]此外，例如，设定单元191把GOP的第I画面的参考图像指定信息设定为其索引为“O”的 RPS。另外，设定单元 191 把作为 inter_ref_pic_set_predict1n_flag 的“I”设定为其索引为“I”的RPS0从而，GOP的第I画面的RPS的索引被设定为“0”，第2画面和第8画面的RPS的索引被设定为“I”。
[0372]如上，设定单元191 不把 inter_ref_pic_set_predict1n_flag 设定为用作第 I画面的RPS的其索引为“O”的RPS。因而，与图8中图解所示的常规情况相比，RPS的信息量可被减少与第I画面的inter_ref_pic_set_predict1n_flag对应的数量。
[0373]另外，设定单元191把为GOP内的所有画面共有的delta_idx_minusl设定为unified_delta_idx_minusl ο 从而，能够以 GOP 为单位，设定 delta_idx_minusl。
[0374]尽管未在图中图示，不过，设定单元191把作为GOP内的所有画面共有的inter_ref_pic_set_predict1n_flag 的 “O” 设定为 disable_rps_predict1n_flag。因而，当disable_rps_predict1n_flag为“I”时,与常规情况相比，RPS的信息量也可被减少与除第I画面外的画面的inter_ref_pic_set_predict1n_flag对应的数量。
[0375](编码设备的处理的说明)
[0376]除了 RPS设定处理之外，由图29中图解所示的编码设备190进行的生成处理和图10中图解所示的生成处理相同，从而下面只说明RPS设定处理。
[0377]图33是图解说明由编码设备190的设定单元191进行的RPS设定处理的流程图。
[0378]图33中图解所示的步骤S221-S226的处理和图26中图解所示的步骤S161-S166的处理相似，从而省略其说明。
[0379]在步骤S227,设定单元 191 判定 disable_rps_predict1n_f lag 是否为“ I ”,或者索引i是否为“O”。当在步骤S227,判定disable_rps_predict1n_flag为“I”或索引i为“O”时,处理进入步骤S228。另一方面，当在步骤S227,判定disable_rps_predict1n_flag不为“1”，并且索引i不为“O”时，处理进入步骤S229。
[0380]步骤S228-S235的处理和图26中图解所示的步骤S168-S175的处理相似，从而省略其说明。
[0381](按照第三实施例的解码设备的结构例子)
[0382]图34是图解说明按照第三实施例的本技术适用于的，解码从图29中图解所示的编码设备190传送的编码流的解码设备的结构例子的方框图。
[0383]这里，向图34中图解所示的与图15中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0384]图34中图解所示的解码设备210的结构和图15中图解所示的解码设备110的结构的不同之处在于设置提取单元211，而不是提取单元112。解码设备210根据图30中图解所示的包括图31中图示的RPS的SPS，设定各个RPS的RPS信息。
[0385]更具体地，类似于图15中图解所示的提取单元112，解码设备210的提取单元211从供给自接收单元111的编码流中，提取SPS、PPS、编码数据等。类似于提取单元112，提取单元211把编码数据提供给解码单元113。另外，提取单元211根据图30中图解所示的包括图31中图示的RPS的SPS，获得各个RPS的RPS信息，并把获得的RPS信息提供给解码单元113。此外，类似于提取单元112，必要时，提取单元211还把包含在SPS中的除RPS外的信息、PPS等提供给解码单元113。
[0386](解码设备的处理的说明)
[0387]除了 RPS设定处理之外，由图34中图解所示的解码设备210进行的接收处理和图17中图解所示的接收处理相同，从而，下面只说明RPS设定处理。
[0388]图35是详细图解说明由图34中图解所示的解码设备210进行的RPS设定处理的流程图。
[0389]图35中图解所示的步骤S251-S257的处理和图28中图解所示的步骤S191-S197的处理相似，从而省略其说明。
[0390]在步骤S258,提取单元211判定在步骤S252中获得的disable_rps_predict1n_flag是否为“ I ”，或者索引i是否为“O”。
[0391]当在步骤S258,判定 disable_rps_predict1n_flag 为“ I”,或者索引 i 为“O”时，处理进入步骤S259。另一方面，当在步骤S258中，判定disable_rps_predict1n_flag不为“1”，并且索引i不为“O”时，处理进入步骤S260。
[0392]步骤S259-S268的处理和图28中图解所示的步骤S199-S208的处理相似，从而省略其说明。
[0393]〈第四实施例〉
[0394](按照第四实施例的编码设备的结构例子)
[0395]图36是图解说明按照第四实施例的本技术适用于的编码设备的结构例子的方框图。
[0396]这里，向图36中图解所示的与图3中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0397]图36中图解所示的编码设备230的结构和图3中图解所示的编码设备10的结构的不同之处在于设置编码单元231，而不是编码单元11，设置设定单元232，而不是设定单元12。按照画面内的切片的种类，编码设备230不设定对切片的种类来说不必要的与参考图像相关的信息。
[0398]更具体地，以帧为单位构成的图像作为输入信号，被输入编码设备230的编码单元231。编码单元231通过参考从设定单元232供给的RPS、PPS等，按照HEVC方式，对输入信号编码。此时，在必要时，编码单元231对帧间预测中的参考图像进行加权预测(加权预测)。
[0399]这里，加权预测是通过对参考图像加权，生成预测图像的处理。更具体地，例如，在按照编码顺序在当前编码帧X之前的两帧Y1和Ytl的解码图像被用作参考图像的情况下，在加权预测中，利用下式(3)，获得帧X的预测图像X’。
[0400]X，= W0 X Yq+W0 X Y^d...(3)
[0401]这里，在式(3)中，是加权系数，d是偏移值。这些加权系数和偏移值是包含在编码流中地传送的。
[0402]通过进行加权预测，即使归因于淡入、淡出、交叉衰落等，在参考图像和当前编码图像之间，出现亮度的变化的情况下，也能够减小预测图像和当前编码图像之间的差分。结果，能够改善编码效率。
[0403]相反，在不进行加权预测的情况下，归因于淡入、淡出、交叉衰落等，在参考图像和当前编码图像之间出现的亮度的变化直接变成预测图像和当前编码图像之间的差分，从而降低编码效率。
[0404]编码单元231把通过编码处理获得的编码数据提供给设定单元232。
[0405]类似于图3中图解所示的设定单元12,设定单元232设定不包括inter_ref_pic_set_predict1n_flag,但是包括参考图像指定信息的RPS,和包括inter_ref_pic_set_predict1n_flag及参考图像指定信息或者delta_idx_minusl的RPS。类似于设定单元12，设定单元232向各个RPS赋予索引。
[0406]设定单元232设定包括RPS的SPS、PPS等。设定单元232把被赋予索引的RPS，以及PPS提供给编码单元231。设定单元232根据设定的SPS和PPS，以及从编码单元231供给的编码数据，生成编码流。设定单元232把编码流提供给传输单元13。
[0407](编码设备的结构例子)
[0408]图37是图解所示在图36中图解所示的编码单元231的结构例子的方框图。
[0409]这里，向图37中图解所示的与图4中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0410]图37中图解所示的编码单元231的结构和图4中图解所示的编码单元11的结构的不同之处在于设置运动预测/补偿单元251，而不是运动预测/补偿单元47，设置无损编码单元252，而不是无损编码单元36。
[0411]根据从图36中图解所示的设定单元232供给的PPS，运动预测/补偿单元251利用作为候选者的所有帧间预测模式的加权预测，进行运动预测/补偿处理。更具体地，运动预测/补偿单元251根据从屏幕重排缓冲器32供给的图像，和通过开关45从帧存储器44读取的参考图像，检测作为候选者的所有帧间预测模式的运动向量。随后，运动预测/补偿单元251根据检测的运动向量，对参考图像进行补偿处理。
[0412]随后，运动预测/补偿单元251计算由加权预测中的加权系数和偏移值构成的加权信息。运动预测/补偿单元251起生成单元的作用，并根据计算的加权信息，对补偿处理之后的参考图像进行加权预测，从而生成预测图像。
[0413]此时，类似于图4中图解所示的运动预测/补偿单元47，运动预测/补偿单元251根据从屏幕重排缓冲器32供给的图像，和预测图像，计算作为候选者的所有帧间预测模式的成本函数值。随后，类似于运动预测/补偿单元47，运动预测/补偿单元251把其成本函数值最小的帧间预测模式，确定为最佳帧间预测模式。
[0414]随后，类似于运动预测/补偿单元47，运动预测/补偿单元251把最佳帧间预测的成本函数值和对应的预测图像提供给预测图像选择单元48。另外，在从预测图像选择单元48向运动预测/补偿单元251告知按照最佳帧间预测模式生成的预测图像的选择的情况下，运动预测/补偿单元251把帧间预测模式信息，对应的运动向量，加权信息等，输出给无损编码单元252。另外，运动预测/补偿单元251把参考图像指定信息输出给参考图像设定单元49。
[0415]无损编码单元252根据从图36中图解所示的设定单元232供给的PPS，生成表示当前编码图像的切片的种类的切片种类。另外，类似于图4中图解所示的无损编码单元36，无损编码单元252从帧内预测单元46，获得帧内预测模式信息。此外，无损编码单元252从运动预测/补偿单元251，获得帧间预测模式信息、运动向量、加权信息等。另外，类似于无损编码单元36，无损编码单元252从参考图像设定单元49，获得RPS的索引或者RPS等，并从速率控制单元50获得量化参数。
[0416]另外，类似于无损编码单元36，无损编码单元252从自适应偏移滤波器42，获得存储标记、索引或偏移量和种类信息，作为偏移滤波信息，并从自适应环路滤波器43获得滤波系数。
[0417]类似于无损编码单元36，无损编码单元252进行从量化单元35供给的量化系数的无损编码。另外，无损编码单元252进行量化参数、偏移滤波信息和滤波系数，比如切片种类、巾贞内预测模式信息或帧间预测模式信息、运动向量、加权信息、和RPS的索引或RPS的无损编码，作为编码信息。
[0418]无损编码单元252把按照无损方式编码的编码信息，作为切片头部加入按照无损方式编码的系数中，从而生成编码数据。无损编码单元252把编码数据提供给累积缓冲器37，以便保存在其中。
[0419](PPS的语法的例子)
[0420]图38和39是图解说明由图36中图解所示的设定单元232设定的PPS的语法的例子的示图。图40和41是图解说明常规HEVC方式中的PPS的语法的例子的示图。
[0421]如在图38中的第6行中图解所示，在由设定单元232设定的PPS中，包含表示对应画面内的所有切片的种类是否相同的统一标记unified_slice_type_flag。另外,如在第7行和第8行中图解所示，在统一标记为“ I ”的情况下，在PPS中，包含表示对应画面内的所有切片的种类是否是I切片的I标记(all_intra_slice_flag)。
[0422]另外，如在第9行和第10行中图解所示，在I标记不为“I”的情况下，换句话说，在画面内包含P切片或B切片的情况下，在PPS中，包含表示在对应画面内，是否存在B切片的 B-not-present 标记 no_b_slice_flag。
[0423]如在第11行和第12行中所示，在I标记不为“I”的情况下，在PPS中，包含RPSLO数 num_ref_idx_10_default_active_minusl,作为与参考图像相关的信息，RPSLO 数 num_ref_idx_10_default_active_minusl是利用其显示时间比对应画面的显示时间早的参考图像的前向预测(L0预测)中的RPS的最大数。
[0424]如在第13行和第14中图解所示，在B-not-present标记为“O”的情况下，换句话说，在画面内包含B切片的情况下,在PPS中，包括RPSLl数(num_ref_idx_ll_default_active_minusl),作为与参考图像相关的信息，RPSLl 数(num_ref_idx_ll_default_active_minusI)是利用其显示时间比对应画面的显示时间晚的参考图像的后向预测(LI预测)中的RPS的最大数。
[0425]如在第25行和第26行中图解所示，在I标记不为“I”的情况下，在PPS中，包含P预测标记weighted_pred_flag,作为与参考图像相关的信息,P预测标记weighted_pred_flag表示对于P切片，是否进行加权预测。另外，在B-not-present标记不为“I”的情况下,在PPS中，包含B预测标记weighted_bipred_f lag,作为与参考图像相关的信息,B预测标记weighted_bipred_flag表示对于B切片，是否进行加权预测。
[0426]如上，在图38和39中图解所示的PPS中，在对应画面只由I切片构成的情况下，不设定RPSLO数、RPSLl数、P预测标记和B预测标记。另外，在对应画面包括除I切片外的切片的情况下，不设定RPSLl数和B预测标记。因而，与不管画面内的切片的种类而对于所有画面都设定RPSLO数、RPSLl数、P预测标记和B预测标记的情况相比，能够改善编码效率。
[0427]另外，在解码设备中，在画面只由I切片构成的情况下，RPSLO数和RPSLl数被识别成“0”，并且，在画面包括除I切片外的切片的情况下，RPSLl数被识别成“O”。
[0428]相反，在图40和41中图解所示的常规HEVC方式的PPS中，如在图40的第6行、第7行、第17行和第18行中图解所示，不管画面内的切片的种类，设定RPSLO数、RPSLl数、P预测标记和B预测标记。
[0429]另外，在画面只由B切片构成的情况下，P预测标记可以不被设定。
[0430](切片头部的语法的例子)
[0431]图42-44是图解说明由图37中图解所示的无损编码单元252增加的切片头部的语法的例子的示图。另外，图45-47是图解说明常规的HEVC方式中的切片头部的语法的例子的不图。
[0432]如在图42的第2行中图解所示，在无损编码单元252增加的切片头部中，包含表示对应切片是否是画面内的第一切片的第一标记first_slice_in_pic_flag。另外,如在第11行和第12行中图解所示，当统一标记为“0”，或者当统一标记为“1”，并且第一标记为“O”时，在切片头部中，包含对应切片的切片种类sliCe_type。
[0433]换句话说，在图42-44中图解所示的切片头部中，当画面内的切片的种类不相同时，或者当画面内的切片的种类相同并且对应切片是画面内的第一切片时，设定切片种类。
[0434]然而，在图42-44中图解所示的切片头部中，当画面内的切片的种类相同，但是对应切片是画面内的除第一切片外的切片时，不设定切片种类。在这种情况下，包含在切片头部中的切片种类被视为除第一切片外的切片的切片种类。
[0435]因而，与不管画面内的所有切片的切片种类是否相同，都设定所有切片的切片种类的情况相比，能够改善编码效率。
[0436]相反，在图45-47中图解所示的常规HEVC方式的切片头部中，如在图45中的第11行中图解所示，不管画面内的所有切片的切片种类是否相同，都设定所有切片的切片种类。
[0437](编码设备的处理的说明)
[0438]图48是图解说明由图36中图解所示的编码设备230进行的生成处理的流程图。
[0439]在图48中图解所示的步骤S281，编码设备230的设定单元232进行图11中图解所示的RPS设定处理。在步骤S282，编码单元231按照HEVC方式，进行对作为输入信号从外部输入的以帧为单位构成的图像编码的编码处理。该编码处理将在后面参考后面说明的图49和50详细说明。
[0440]在步骤S283，设定单元232设定包括将被赋予索引的RPS的SPS。在步骤S284，设定单元232进行设定PPS的PPS设定处理。该PPS设定处理将在后面参考后面说明的图51详细说明。
[0441]步骤S285和S286的处理和图10中图解所示的步骤S15和S16的处理相似，从而省略其说明。
[0442]图49和50表示详细图解说明图48中图解所示的步骤S282的编码处理的流程图。
[0443]图49中图解所示的步骤S301和S302的处理和图12中图解所示的步骤S31和S32的处理相似，从而省略其说明。
[0444]在步骤S303，运动预测/补偿单元251根据包含在从图36中图解所示的设定单元232供给的PPS中的P预测标记或B预测标记，判定是否进行加权预测。
[0445]更具体地，在当前编码图像是P切片的情况下，当P预测标记为“I”时，运动预测/补偿单元251判定进行加权预测。另外，在当前编码图像是B切片的情况下，当B预测标记为“I”时，运动预测/补偿单元251判定进行加权预测。此外，在当前编码图像是I切片的情况下，步骤S303的处理被跳过，处理随后进入步骤S304。
[0446]当在步骤S303，判定要进行加权预测时，在步骤S304，帧内预测单元46进行作为候选者的所有帧内预测模式的帧内预测处理。另外，帧内预测单元46根据从屏幕重排缓冲器32读取的图像，和通过帧内预测处理生成的预测图像，计算作为候选者的所有帧内预测模式的成本函数值。随后，帧内预测单元46把其成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元46把按照最佳帧内预测模式生成的预测图像，和对应的成本函数值提供给预测图像选择单元48。
[0447]另外，运动预测/补偿单元251利用作为候选者的所有帧间预测模式的加权预测，进行运动预测/补偿处理。另外，运动预测/补偿单元251根据从屏幕重排缓冲器32供给的图像，和预测图像，计算作为候选者的所有帧间预测模式的成本函数值，并把其成本函数值最小的帧间预测模式确定为最佳帧间预测模式。随后，运动预测/补偿单元251把最佳帧间预测模式的成本函数值，和对应的预测图像提供给预测图像选择单元48。
[0448]然而，在当前编码图像为I切片的情况下，不进行运动预测/补偿处理。在步骤S304的处理之后，处理进入步骤S306。
[0449]另一方面，当在步骤S303，判定不进行加权预测的情况下，在步骤S305，帧内预测单元46进行和步骤S304相同的处理。
[0450]另外，运动预测/补偿单元251进行作为候选者的所有帧间预测模式的运动预测/补偿处理。此外，运动预测/补偿单元251根据从屏幕重排缓冲器32供给的图像，和预测图像，计算作为候选者的所有帧间预测模式的成本函数值，并把其成本函数值最小的帧间预测模式确定为最佳帧间预测模式。随后，运动预测/补偿单元251把最佳帧间预测模式的成本函数值和对应的预测图像提供给预测图像选择单元48。随后，处理进入步骤S306。
[0451]步骤S306-S308的处理和图12中图解所示的步骤S34-S36的处理相似，从而省略其说明。
[0452]在步骤S308的处理之后，在步骤S309，运动预测/补偿单元251判定在运动预测/补偿处理中，是否进行了加权预测。当在步骤S309中，判定在运动预测/补偿处理中，进行了加权预测时，在步骤S310，运动预测/补偿单元251把加权预测的加权信息提供给无损编码单元252。随后，处理进入步骤S311。
[0453]步骤S311-S322的处理与图12和13中图解所示的步骤S37-S48的处理相似，从而省略其说明。
[0454]在图50中图解所示的步骤S323中，无损编码单元252判定包含在从图36中图解所示的设定单元232供给的PPS中的统一标记是否为“0”，或者所述统一标记和第一标记是否为“I”。
[0455]当在步骤S323，判定统一标记为“0”，或者所述统一标记和第一标记为“I”时，在步骤S324，无损编码单元252生成当前编码图像的切片种类。随后，处理进入步骤S325。
[0456]另一方面，当在步骤S323，判定统一标记不为“0”，并且统一标记和第一标记不为“ I”时，处理进入步骤S325。
[0457]在步骤S325，无损编码单元252进行从速率控制单元50供给的量化参数、偏移滤波信息和滤波系数，比如切片种类、帧内预测模式信息或帧间预测模式信息、运动向量、力口权信息、和RPS的索引或者RPS的无损编码，作为编码信息。
[0458]步骤S326-S329的处理和图13中图解所示的步骤S50-S53的处理相似，从而省略其说明。
[0459]图51是详细图解说明在图48中图解所示的步骤S284的PPS设定处理的流程图。该PPS设定处理是以画面为单位进行的。
[0460]在图51中图解所示的步骤S331，设定单元232判定画面内的所有切片的种类是否相同。当在步骤S331，判定画面内的所有切片的种类相同时，在步骤S332，设定单元232把统一标记设定为“ I ”，并把设定的统一标记包含在PPS中。
[0461]在步骤S333，设定单元232判定画面内的所有切片的种类是否都是I切片。当在步骤S333，判定画面内的所有切片的种类都是I切片时，在步骤S334，设定单元232把I标记设定为“1”，然后把设定的I标记包含在PPS中，处理进入步骤S337。
[0462]另一方面，当在步骤S333，判定画面内的所有切片的种类不是I切片时，在步骤S335，设定单元232把I标记设定为“O”，然后把设定的I标记包含在PPS中，处理进入步骤S337。
[0463]另一方面，当在步骤S331，判定画面内的所有切片的种类不相同时，在步骤S336，设定单元232把I标记设定为“O”，然后把设定的I标记包含在PPS中，处理进入步骤S337。
[0464]在步骤S337，设定单元232判定I标记是否为“I”。当在步骤S337，判定I标记不为“ I”时，在步骤S338，设定单元232设定包含在PPS中的RPSLO数和P预测标记，并把设定的RPSLO数和P预测标记包含在PPS中。
[0465]在步骤S339，设定单元232判定在画面内，是否包含B切片。当在步骤S339，判定在画面内包含B切片时，在步骤S340，设定单元232把包含在PPS中的B-not-present标记设定为“0”，并把设定的标记包含在PPS中。在步骤S341，设定单元232设定包含在PPS中的RPSLl数和B预测标记，并把设定的RPSLl数和B预测标记包含在PPS中。随后，处理返回图48中图解所示的步骤S284，然后进入到步骤S285。
[0466]另一方面，当在步骤S339，判定在画面内不包含B切片时，在步骤S342，设定单元232把B-not-present标记设定为“1”，并把设定的标记包含在PPS中。随后，处理返回图48中图解所示的步骤S284，然后进入到步骤S285。
[0467]另外，当在步骤S337，判定I标记为“I”时，处理返回图48中图解所示的步骤S284，然后进入到步骤S285。
[0468]如上所述，由于编码设备230按照画面内的切片的种类，设定与参考图像相关的信息，因此与参考图像相关的信息的数量被减少，从而能够改善编码效率。另外，由于编码设备230取决于画面内的所有切片的种类是否相同，来设定切片种类，因此切片种类的信息的数量被减少，从而能够改善编码效率。
[0469](按照第四实施例的解码设备的结构例子)
[0470]图52是图解说明按照第四实施例的本技术适用于的，解码从图36中图解所示的编码设备230传送的编码流的解码设备的结构例子的方框图。
[0471]这里，向图52中图解所示的与图15中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0472]图52中图解所示的解码设备270的结构和图15中图解所示的结构的不同之处在于设置解码单元271，而不是解码单元113。必要时，解码设备270在进行运动补偿处理时，进行加权预测。
[0473]更具体地，解码设备270的解码单元271根据从提取单元112供给的各个RPS的inter_ref_pic_set_predict1n_flag,和 delta_idx_minusl 或参考图像指定信息，按照HEVC方式，解码从提取单元112供给的编码数据。此时，必要时，解码单元271参考包含在SPS中的除RPS外的信息，PPS等。另外，必要时，解码单元271在进行运动补偿处理时，进行加权预测。解码单元271作为输出信号地输出通过解码获得的图像。
[0474](解码单元的结构例子)
[0475]图53是图解说明在图52中图解所示的解码单元271的结构例子的方框图。
[0476]这里，向图53中图解所示的与图16中图示的结构相同的每个结构赋予相同的附图标记，并省略其重复的说明。
[0477]图53中图解所示的解码单元271的结构和图16中图解所示的结构的不同之处在于设置无损解码单元291，而不是无损解码单元132，另外设置运动补偿单元292，而不是运动补偿单元145。
[0478]类似于图16中图解所示的无损解码单元132，解码单元271的无损解码单元291对从累积缓冲器131供给的编码数据，进行无损解码，从而获得量化系数和编码信息。类似于无损解码单元132，无损解码单元291把量化系数提供给逆量化单元133。另外，无损解码单元291把作为编码信息的帧内预测模式信息等，提供给帧内预测单元143，并把运动向量、帧间预测模式信息、加权信息等提供给运动补偿单元292。类似于无损解码单元132，无损解码单元291把作为编码信息的RPS的RPS标记和索引，或者RPS，提供给参考图像设定单元144。
[0479]另外，类似于无损解码单元132，无损解码单元291把作为编码信息的帧内预测模式信息或者帧间预测模式信息提供给开关146。类似于无损解码单元132，无损解码单元291把作为编码信息的偏移滤波信息提供给自适应偏移滤波器137，并把滤波系数提供给自适应环路滤波器138。
[0480]类似于图16中图解所示的运动补偿单元145，运动补偿单元292根据从参考图像设定单元144供给的参考图像指定信息，通过开关142，从帧存储器141读取由参考图像指定信息指定的参考图像。
[0481 ] 另外，类似于图37中图解所示的运动预测/补偿单元251，运动补偿单元292根据包含在从提取单元112供给的PPS中的P预测标记或B预测标记，判定是否进行加权预测。
[0482]运动补偿单元292充当生成单元，在判定要进行加权预测的情况下，通过利用运动向量和参考图像，进行利用由帧间预测模式信息表示的最佳帧间预测模式的加权预测的运动补偿处理。此时，当必要时，运动补偿单元292在当前编码图像的切片是P切片的情况下，参考RPSLO数，而在当前编码图像的切片是B切片的情况下，参考RPSLO数和RPSLl数。
[0483]另一方面，在判定将不进行加权预测的情况下，类似于运动补偿单元145，运动补偿单元292进行最佳帧间预测模式的运动补偿处理。运动补偿单元292把作为其结果生成的预测图像提供给开关146。
[0484](解码设备的处理的说明)
[0485]图54是图解说明由图52中图解所示的解码设备270进行的接收处理的流程图。
[0486]图54中图解所示的步骤S351-S353的处理类似于在图17中图解所示的步骤SI I 1-Sl 13的处理，从而省略其说明。
[0487]在步骤S354，解码单元271根据从提取单元112供给的每个RPS的RPS信息和PPS，进行解码处理。该解码处理将参考后面说明的图55详细说明。随后，处理结束。
[0488]图55是详细图解说明在图54中图解所示的步骤S354的解码处理的流程图。
[0489]在图55中图解所示的步骤S361，解码单元271的累积缓冲器131从图52中图解所示的提取单元112，接收以帧为单位构成的编码数据，并保存接收的编码数据。累积缓冲器131把保存的编码数据提供给无损解码单元291。
[0490]在步骤S362，无损解码单元291进行从累积缓冲器131供给的编码数据的无损解码，从而获得量化系数和编码信息。无损解码单元291把量化系数提供给逆量化单元133。另外，无损解码单元291把作为编码信息的帧内预测模式信息等，提供给帧内预测单元143，并把运动向量、帧间预测模式信息、加权信息、RPS标记、RPS的索引或者RPS等提供给运动补偿单元292。
[0491]另外，无损解码单元291把作为编码信息的帧内预测模式信息或者帧间预测模式信息提供给开关146。无损解码单元291把作为编码信息的偏移滤波信息提供给自适应偏移滤波器137，并把滤波系数提供给自适应环路滤波器138。
[0492]步骤S363-S365的处理类似于在图19中图解所示的步骤S133-S135的处理，从而省略其说明。在步骤S366，类似于图37中图解所示的运动预测/补偿单元251，运动补偿单元292根据包含在从图52中图解所示的提取单元112供给的PPS中的P预测标记或B预测标记，判定是否进行加权预测。
[0493]当在步骤S366中，判定要进行加权预测时，运动补偿单元292根据从参考图像设定单元144供给的参考图像指定信息，读取参考图像，并通过利用运动向量和参考图像，进行利用由帧间预测模式信息表示的最佳帧间预测模式的加权预测的运动补偿处理。
[0494]此时，当必要时，运动补偿单元292在当前编码图像的切片是P切片的情况下，参考RPSLO数，并在当前编码图像的切片是B切片的情况下，参考RPSLO数和RPSLl数。运动补偿单元292把作为其结果生成的预测图像，通过开关146提供给加法单元135，然后处理进入步骤S370。
[0495]另一方面，当在步骤S366中，判定将不进行加权预测时，在步骤S368，运动补偿单元292根据从参考图像设定单元144供给的参考图像指定信息，读取参考图像，并通过利用运动向量和参考图像，进行用帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元292把作为其结果生成的预测图像，通过开关146提供给加法单元135，然后处理进入步骤S370。
[0496]步骤S369-S377的处理类似于图19中图解所示的步骤S137-S145的处理，从而省略其说明。
[0497]如上，通过按照画面内的切片的种类设定与参考图像相关的信息，解码设备270能够解码具有改进的编码效率的编码流。
[0498]另外，在第四实施例中，尽管与参考图像相关的信息被描述成RPSLO数，RPSLl数，P预测标记和B预测标记，不过，本技术并不局限于此。
[0499]<对多视点图像编码/多视点图像解码的应用>
[0500]上述一系列处理可以应用于多视点图像编码和多视点图像解码。图56是图解说明多视点图像编码系统的例子的示图。
[0501]如图56中图解所示，多视点图像包括多个视点的图像，所述多个视点之中的预定视点的图像被指定为基本视图的图像。除基本视图的图像之外的各个视点的图像被视为非基本视图的图像。
[0502]在进行如图56中图解所示的多视点图像编码的情况下，对于各个视图(相同视图)，可以获得量化参数之间的差分。
[0503](I)基本视图:
[0504](1-1) dQP (基本视图)=Current_CU_QP (基本视图)_LCU_QP (基本视图)
[0505](1-2) dQP (基本视图)=Current_CU_QP (基本视图)-Previsous_CU_QP (基本视图)
[0506](1-3) dQP (基本视图)=Current_CU_QP (基本视图)_Slice_QP (基本视图)
[0507](2)非基本视图:
[0508](2-1) dQP (非基本视图)=Current_CU_QP (非基本视图)_LCU_QP (非基本视图)
[0509](2-2) dQP (非基本视图)=CurrentQP (非基本视图)-PrevisousQP (非基本视图)
[0510](2-3) dQP (非基本视图)=Current_CU_QP (非基本视图)_Slice_QP (非基本视图)
[0511]在进行多视点图像编码的情况下，对于各个视图(不同的视图)，可以获得量化参数之间的差分。
[0512](3)基本视图/非基本视图:
[0513](3_l)dQP(视图间)=Slice_QP(基本视图)_Slice_QP(非基本视图)
[0514](3-2) dQP (视图间)=LCU_QP (基本视图)_LCU_QP (非基本视图)
[0515](4)非基本视图/非基本视图:
[0516](4_l)dQP(视图间)=Slice_QP(非基本视图1)_Slice_QP(非基本视图 j)
[0517](4-2) dQP (视图间)=LCU_QP (非基本视图1) _LCU_QP (非基本视图j)
[0518]在这种情况下，可以组合地使用上面说明的⑴-⑷。例如，在非基本视图中，可以考虑在切片水平，获得基本视图和非基本视图的量化参数之间的差分的技术(组合3-1和2-3)，和在LCU水平，获得基本视图和非基本视图的量化参数之间的差分的技术(组合3-2和2-1)。这样，通过重复应用所述差分，在进行多视点编码的情况下，也能够提高编码效率。
[0519]类似于上述技术，对于上面说明的各个dQP，可以设定用于识别是否存在具有除“O”以外的值的dQP的标记。
[0520]<多视点图像编码设备>
[0521]图57是图解说明进行上述多视点图像编码的多视点图像编码设备的示图。如图57中图解所示，多视点图像编码设备600包括编码单元601、编码单元602和复用器603。
[0522]编码单元601编码基本视图图像，从而生成基本视图图像编码流。另外，编码单元602编码非基本视图图像，从而生成非基本视图图像编码流。复用器603复用由编码单元601生成的基本视图图像编码流，和由编码单元602生成的非基本视图图像编码流，从而生成多视点图像编码流。
[0523]编码设备10 (150和190)可适用于此多视点图像编码设备600的编码单元601和编码单元602。在这种情况下，多视点图像编码设备600设定由编码单元601设定的量化参数和由编码单元602设定的量化参数之间的差分，并传送设定的差分。
[0524]<多视点图像解码设备>
[0525]图58是图解说明进行上述多视点图像解码的多视点图像解码设备的示图。如图58中图解所示，多视点图像解码设备610包括分用器611、解码单元612和解码单元613。
[0526]分用器611分用通过复用基本视图图像编码流和非基本视图图像编码流而获得的多视点图像编码流，从而提取基本视图图像编码流和非基本视图图像编码流。解码单元612解码分用器611提取的基本视图图像编码流，从而获得基本视图图像。解码单元613解码分用器611提取的非基本视图图像编码流，从而获得非基本视图图像。
[0527]解码设备110(170和210)可适用于此多视点图像解码设备610的解码单元612和解码单元613。在这种情况下，多视点图像解码设备610根据编码单元601设定的量化参数和编码单元602设定的量化参数之间的差分，设定量化参数，并进行逆量化。
[0528]<对分层图像编码/分层图像解码的应用>
[0529]上述一系列处理可适用于分层图像编码和分层图像解码。图59是图解说明分层图像编码方式的例子的示图。
[0530]如图59中图解所示，分层图像包括多个层次(分辨率)的图像，所述多个分辨率之中的预定层次的图像被指定为基本层的图像。除基本层的图像之外的各个层次的图像被视为非基本层的图像。
[0531]在进行如图59中图解所示的分层图像编码(空间可缩放性)的情况下，在各层(相同层)中，可以获得量化参数之间的差分。
[0532](I)基本层:
[0533](1-1) dQP (基本层)=Current_CU_QP (基本层)_LCU_QP (基本层)
[0534](1-2) dQP (基本层)=Current_CU_QP (基本层)-Previsous_CU_QP (基本层)
[0535](1-3) dQP (基本层)=Current_CU_QP (基本层)_Slice_QP (基本层)
[0536](2)非基本层
[0537](2-1) dQP (非基本层)=Current_CU_QP (非基本层)_LCU_QP (非基本层)
[0538](2-2) dQP (非基本层)=CurrentQP (非基本层)-PrevisousQP (非基本层)
[0539](2-3) dQP (非基本层)=Current_CU_QP (非基本层)_Slice_QP (非基本层)
[0540]在进行分层编码的情况下，在各层(不同层)中，可以获得量化参数之间的差分。
[0541](3)基本层/非基本层:
[0542](3_l)dQP(层间)=Slice_QP(基本层)_Slice_QP(非基本层)
[0543](3-2) dQP (层间)=LCU_QP (基本层)_LCU_QP (非基本层)
[0544](4)非基本层/非基本层
[0545](4-1) dQP (层间)=Slice_QP (非基本层 i) _Slice_QP (非基本层 j)
[0546](4-2) dQP (层间)=LCU_QP (非基本层 i) _LCU_QP (非基本层 j)
[0547]在这种情况下，可以组合地使用上面说明的(1)-(4)。例如，在非基本层中，可以考虑在切片水平，获得基本层和非基本层的量化参数之间的差分的技术(组合3-1和2-3)，和在LCU水平，获得基本层和非基本层的量化参数之间的差分的技术(组合3-2和2-1)。这样，通过重复应用所述差分，在进行分层编码的情况下，也能够提高编码效率。
[0548]类似于上述技术，对于上面说明的各个dQP，可以设定用于识别是否存在具有除“O”以外的值的dQP的标记。
[0549]<分层图像编码设备>
[0550]图60是图解说明进行上面说明的分层图像编码的分层图像编码设备的示图。如图60中图解所示，分层图像编码设备620包括编码单元621、编码单元622和复用器623。
[0551]编码单元621编码基本层图像，从而生成基本层图像编码流。另外，编码单元622编码非基本层图像，从而生成非基本层图像编码流。复用器623复用由编码单元621生成的基本层图像编码流，和由编码单元622生成的非基本层图像编码流，从而生成分层图像编码流。
[0552]编码设备10 (150和190)可适用于这种分层图像编码设备620的编码单元621和编码单元622。在这种情况下，分层图像编码设备620设定由编码单元621设定的量化参数和由编码单元622设定的量化参数之间的差分，并传送设定的差分。
[0553]<分层图像解码设备>
[0554]图61是图解说明进行上面说明的分层图像解码的分层图像解码设备的示图。如图61中图解所示，分层图像解码设备630包括分用器631、解码单元632和解码单元633。
[0555]分用器631分用通过复用基本层图像编码流和非基本层图像编码流而获得的分层图像编码流，从而提取基本层图像编码流和非基本层图像编码流。解码单元632解码分用器631提取的基本层图像编码流，从而获得基本层图像。解码单元633解码分用器631提取的非基本层图像编码流，从而获得非基本层图像。
[0556]解码设备110(170和210)可适用于这种分层图像解码设备630的解码单元632和解码单元633。在这种情况下，分层图像解码设备630根据编码单元621设定的量化参数和编码单元622设定的量化参数之间的差分，设定量化参数，并进行逆量化。
[0557]〈本技术适用于的计算机的说明〉
[0558]上述一系列处理可用硬件或者软件执行。在用软件执行所述一系列处理的情况下，构成所述软件的程序被安装到计算机。这里，计算机包括内置到专用硬件中的计算机，通过安装各种程序，能够执行各种功能的计算机，比如通用计算机，等等。
[0559]图62是图解说明按照程序，执行上述一系列处理的计算机的硬件结构的例子的方框图。
[0560]在计算机中，CPU (中央处理器)801、R0M (只读存储器)802和RAM (随机存取存储器)803通过总线804互连。
[0561]另外，输入/输出接口 805连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接到输入/输出接口 805。
[0562]输入单元806由键盘、鼠标、麦克风等构成。输出单元807由显示器、扬声器等构成。存储单元808由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动可拆卸介质811，比如磁盘、光盘、磁光盘或半导体盘。
[0563]在如上所述构成的计算机中，CPU 801通过经输入/输出接口 805和总线804，把保存在存储单元808中的程序载入RAM 803中，并执行所述程序，进行上面说明的一系列处理。
[0564]通过把程序记录在作为套装介质的可拆卸介质811上，可提供由计算机(CPU801)执行的程序。另外，可通过有线或无线传输介质，比如局域网、因特网或数字卫星广播，提供所述程序。
[0565]在计算机中，通过把可拆卸介质811放入驱动器810中，可通过输入/输出接口805，把程序安装到存储单元808中。另外，程序可通过有线或无线传输介质，被通信单元809接收，并安装到存储单元808中。此外，程序可被预先安装到ROM 802或者存储单元808。
[0566]另外，计算机执行的程序可以是按照这里说明的顺序，时序地进行处理的程序，或者可以是并行地，或者在必要时，比如当程序被调用时，进行处理的程序。
[0567]<电视机的结构例子>
[0568]图63图解说明本技术适用于的电视机的示意结构。电视机900包括:天线901 ;调谐器902 ;分用器903 ;解码器904 ;视频信号处理单元905 ;显示单元906 ;音频信号处理单元907 ;扬声器908和外部接口单元909。另外，电视机900包括控制单元910、用户接口单兀911等。
[0569]调谐器902从通过天线901接收的广播波信号中，选择期望的频道，进行解调，随后把获得的编码比特流输出给分用器903。
[0570]分用器903从编码比特流中，提取作为观看目标的节目的视频或音频的分组，并把提取的分组的数据输出给解码器904。另外，分用器903把诸如EPG(电子节目指南)之类的数据分组提供给控制单元910。此外，在进行加扰的情况下，利用分用器等解除加扰。
[0571]解码器904进行分组的解码处理，把通过解码处理产生的视频数据输出给视频信号处理单元905，把音频数据输出给音频信号处理单元907。
[0572]视频信号处理单元905对视频数据进行噪声消除、与用户设定相应的视频处理等。视频信号处理单元905生成将被显示在显示单元906上的节目的视频数据，与基于通过网络提供的应用的处理相应的图像数据等。另外，视频信号处理单元905生成用于显示菜单屏幕，比如项目选择屏幕等的视频数据，并把生成的视频数据重叠在节目的视频数据上。视频信号处理单元905根据如上生成的视频数据生成驱动信号，并驱动显示单元906。
[0573]显示单元906根据从视频信号处理单元905供给的驱动信号，驱动显示设备(例如，液晶显示设备等)，从而显示节目的视频等。
[0574]音频信号处理单元907对音频数据进行诸如噪声消除之类的预定处理，进行在该处理之后的音频数据的D/A转换处理，或者音频数据的放大处理，并把结果数据提供给扬声器908，从而进行音频输出。
[0575]外部接口单元909是用于连接到外部设备或网络的接口，并传送/接收诸如视频数据或音频数据之类的数据。
[0576]用户接口单元911连接到控制单元910。用户接口 911由操作开关、遥控信号接收单元等构成，并把与用户操作相应的操作信号提供给控制单元910。
[0577]控制单元910由CPU(中央处理器)、存储器等构成。存储器保存由CPU执行的程序，为CPU执行的处理所必需的各种数据，EPG数据，通过网络获得的数据等等。保存在存储器中的程序由CPU在预定定时，比如启动电视机900时读取和执行。通过执行程序，CPU进行各个单元的控制，以致电视机900按照用户操作工作。
[0578]另外，在电视机900中，为了把调谐器902、分用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910，布置有总线912。
[0579]在按照这种方式构成的电视机中，在解码器904中实现按照本申请的解码设备(解码方法)的功能。从而，其中与指定参考图像的信息相关的信息的数量被减小的编码流能够被解码。
[0580]<移动电话机的结构例子>
[0581]图64图解说明本技术适用于的移动电话机的示意结构。移动电话机920包括:通信单元922 ;音频编解码器923 ;相机单元926 ;图像处理单元927 ;复用/分用单元928 ;记录/再现单元929 ;显示单元930和控制单元931。这些单元通过总线933互连。
[0582]另外，天线921连接到通信单元922，扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。
[0583]移动电话机920按各种模式，比如语音通话模式和数据通信模式，进行诸如音频信号的传输和接收、电子邮件和图像数据的传输和接收、图像拍摄和数据记录之类的各种操作。
[0584]在语音通话模式下，麦克风925产生的音频信号被音频编解码器923转换成音频数据或者被压缩，作为结果的信号被提供给通信单元922。通信单元922对音频数据进行调制处理、频率变换处理等，从而生成传输信号。另外，通信单元922把传输信号提供给天线921，以便被传送给图中未图解所示的基站。此外，通信单元922对利用天线921接收的接收信号，进行放大处理、频率变换处理、解调处理等，并把获得的音频数据提供给音频编解码器923。音频编解码器923进行音频数据的数据解压缩，把音频数据转换成模拟音频信号，并把结果信号输出给扬声器924。
[0585]另外，在数据通信模式下，当传送邮件时，控制单元931接收利用对操作单元932的操作而输入的字符数据，并把输入的字符显示在显示单元930上。此外，控制单元931根据来自操作单元932的用户指令，生成邮件数据，并把生成的邮件数据提供给通信单元922。通信单元922对邮件数据进行调制处理、频率变换处理等，然后从天线921传送获得的传输信号。另外，通信单元922对通过天线921接收的接收信号，进行放大处理、频率变换处理、解调处理等，从而恢复邮件数据。所述邮件数据被提供给显示单元930，从而显示邮件的内容。
[0586]另外，移动电话机920可利用记录/再现单元929，把接收的邮件数据保存在存储介质中。存储介质可以是任意可重写存储介质。例如，存储介质是诸如RAM或内置式闪存之类的半导体存储器、硬盘、磁盘、磁光盘、光盘、或者诸如USB存储器或存储卡之类的可拆卸介质。
[0587]在数据通信模式下，当传送图像数据时，利用相机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927进行图像数据的编码处理，从而生成编码数据。
[0588]复用/分用单元928按照预定方式，复用由图像处理单元927生成的编码数据和从音频编解码器923供给的音频数据，并把复用的数据提供给通信单元922。通信单元922进行复用数据的调制处理、频率变换处理等，然后从天线921传送获得的传输信号。另外，通信单元922对利用天线921接收的接收信号，进行放大处理、频率变换处理、解调处理等，从而恢复复用数据。所述复用数据被提供给复用/分用单元928。复用/分用单元928分离复用数据，把编码数据提供给图像处理器927，并把音频数据提供给音频编解码器923。图像处理器927进行编码数据的解码处理，从而生成图像数据。图像数据被提供给显示单元930，从而接收的图像被显示。音频编解码器923把音频数据转换成模拟音频信号，并把转换的模拟音频信号提供给扬声器924，从而输出接收的音频。
[0589]在按照这种方式构成的移动电话机设备中，在图像处理单元927中实现按照本申请的编码设备和解码设备(编码方法和解码方法)的功能。因而，其中与指定参考图像的信息相关的信息的数量被减小的编码流能够被解码。
[0590]<记录和再现设备的结构例子>
[0591]图65图解说明本技术适用于的记录和再现设备的示意结构。例如，记录和再现设备940把接收的广播节目的音频数据和视频数据记录在记录介质上，并在与用户的指令相应的定时，把记录的数据提供给用户。另外，例如，记录和再现设备940可从另一个设备获得音频数据和视频数据，并把音频数据和视频数据记录在记录介质上。此外，记录和再现设备940解码并输出记录在记录介质上的音频数据和视频数据，从而在监视器等中，能够进行图像的显示或音频的输出。
[0592]记录和再现设备940包括:调谐器941 ;外部接口单元942 ;编码器943 ;HDD (硬盘驱动器)单元944 ;光盘驱动器945 ;选择器946 ;解码器947 ；0SD (屏上显示器)单元948 ；控制单元949 ;和用户接口单元950。
[0593]调谐器941从通过图中未图示的天线接收的广播信号中，选择期望的频道。调谐器941把通过解调期望频道的接收信号而获得的编码比特流输出给选择器946。
[0594]外部接口单元942由IEEE 1394接口、网络接口单元、USB接口、闪存接口等至少之一构成。外部接口单元942是连接到外部设备、网络、存储卡等的接口，进行待记录的视频数据、音频数据等的数据接收。
[0595]当从外部接口单元942供给的视频数据和音频数据未被编码时，编码器943按照预定方式，对所述视频数据和音频数据编码，随后把编码比特流输出给选择器946。
[0596]HDD单元944把诸如视频和音频、各种程序、其它数据之类的内容数据记录在内置硬盘上，并在再现时之际等等，从硬盘读取记录的数据。
[0597]光盘驱动器945对装入的光盘进行信号记录和信号再现。光盘例如是DVD光盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW 等)，蓝光(注册商标)光盘等。
[0598]当记录视频或音频时，选择器946选择从调谐器941或编码器943供给的编码比特流，并把选择的编码比特流输出给HDD单元944和光盘驱动器945之一。另外，当再现视频或音频时，选择器946把从HDD单元944或光盘驱动器945输出的编码比特流提供给解码器947。
[0599]解码器947进行编码比特流的解码处理。解码器947把通过进行解码处理生成的视频数据提供给OSD单元948。另外，解码器947输出通过进行解码处理生成的音频数据。
[0600]OSD单元948生成用于显示菜单屏幕，比如项目选择菜单等的视频数据，并且输出生成的视频数据，以致与从解码器947输出的视频数据重叠。
[0601]用户接口单元950连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等构成，并把与用户操作相应的操作信号提供给控制单元949。
[0602]控制单元949是通过利用CPU、存储器等构成的。存储器保存由CPU执行的程序，和为CPU进行的处理所必需的各种数据。保存在存储器中的程序由CPU在预定定时，比如启动记录和再现设备940时读取和执行。CPU执行程序，从而进行各个单元的控制，以致记录和再现设备940按照用户操作工作。
[0603]在按照这种方式构成的记录和再现设备中，在解码器947中实现按照本申请的解码设备(解码方法)的功能。从而，其中与指定参考图像的信息相关的信息的数量被减小的编码流能够被解码。
[0604]<成像设备的结构例子>
[0605]图66是图解说明本技术适用于的成像设备的示意结构的例子的示图。成像设备960对被摄物体进行成像，并把被摄物体的图像显示在显示单元上，或者把被摄物体的图像作为图像数据，记录在记录介质上。
[0606]成像设备960包括:光学部件961 ;成像单元962 ;照相机信号处理单元963 ；图像数据处理单元964 ;显示单元965 ;外部接口单元966 ;存储单元967 ;介质驱动器968 ；0SD单元969 ;和控制单元970。另外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972互连。
[0607]通过利用聚焦透镜、光圈机构等，构成光学部件961。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962是通过利用CXD或CMOS图像传感器构成的，通过光电转换生成与光图像相应的电信号，并把生成的电信号提供给信号处理单元963。
[0608]照相机信号处理单元963对从成像单元962供给的图像信号进行各种照相机信号处理，比如拐点校正、Y校正和颜色校正。照相机信号处理单元963把照相机信号处理之后的图像数据提供给图像数据处理单元964。
[0609]图像数据处理单元964进行从照相机信号处理单元963供给的图像数据的编码处理。图像数据处理单元964把通过进行编码处理生成的编码数据提供给外部接口单元966或介质驱动器968。另外，图像数据处理单元964进行从外部接口单元966或介质驱动器968供给的编码数据的解码处理。图像数据处理单元964把通过进行解码处理生成的图像数据提供给显示单元965。另外，图像数据处理单元964进行把从照相机信号处理单元963提供的图像数据供给显示单元965的处理，并把从OSD单元969获得的显示数据与图像数据叠加地提供给显示单元965。
[0610]OSD单元969生成诸如由符号、字符或图形构成的菜单屏幕或图标之类的显示数据，并把生成的显示数据输出给图像数据处理单元964。
[0611]外部接口单元966例如由USB输入/输出端子等构成，并在打印图像的情况下，连接到打印机。另外，必要时，驱动器被连接到外部接口单元966，适当地放入可拆卸介质，比如磁盘或光盘，并在必要时，安装从可拆卸介质读取的计算机程序。此外，外部接口单元966包括连接到预定网络，比如LAN或因特网的网络接口。例如，按照来自用户接口单元971的指令，控制单元970可从介质驱动器968读取编码数据，把读取的编码数据从外部接口单元968提供给通过网络连接的另一个设备。另外，控制单元970可通过外部接口单元966，获得通过网络从另一个设备供给的编码数据或图像数据，并把获得的数据提供给图像数据处理单元964。
[0612]作为由介质驱动器968驱动的记录介质，例如，使用任意可读/可写的可拆卸介质，比如磁盘、磁光盘、光盘或半导体存储器。另外，作为可拆卸介质的记录介质的种类是任意的，从而可以是磁带设备、磁盘或存储卡。此外，非接触式IC(集成电路)卡等可以用作记录介质。
[0613]另外,通过把介质驱动器968和记录介质结合在一起,例如，记录介质可由诸如内置式硬盘驱动器或SSD(固态驱动器)之类的不可便携记录介质构成。
[0614]控制单元970是通过利用CPU构成的。存储单元967保存由控制单元970执行的程序，为控制单元970进行的处理所必需的各种数据等。保存在存储单元967中的程序由控制单元970在预定定时，比如启动成像设备960时读取和执行。控制单元970执行程序，从而进行各个单元的控制，以致成像设备960按照用户操作工作。
[0615]在按照这种方式构成的成像设备中，在图像数据处理单元964中实现按照本申请的编码设备和解码设备(编码方法和解码方法)的功能。从而，能够减少与指定参考图像的信息相关的信息的数量。另外，其中与指定参考图像的信息相关的信息的数量被减小的编码流能够被解码。
[0616]〈分层编码的应用例子〉
[0617](第一系统)
[0618]下面说明分层编码(可缩放地编码)的可缩放编码数据的具体使用例子。和图67中图解所示的例子中一样，可缩放编码例如用于选择待传送的数据。
[0619]在图67中图解所示的数据传输系统1000中，分发服务器1002读取保存在可缩放编码数据存储单元1001中的可缩放编码数据，并经网络1003，把读取的可缩放编码数据分发给终端设备，比如个人计算机1004、AV设备1005、平板设备1006或移动电话机1007。
[0620]此时，分发服务器1002按照终端设备的能力、通信环境等，选择并传送具有适当质量的编码数据。即使当分发服务器1002传送质量不必要地高的数据时，在终端设备中也不能获得高质量图像，并且存在可能导致延迟或上溢的发生的顾虑。另外，存在会不必要地占据通信带宽，或者会不必要地增大终端设备的负荷的顾虑。相反，当分发服务器1002传送质量不必要地低的数据时，存在在终端设备中不能获得具有足够画质的图像的顾虑。从而，分发服务器1002适当地读取和传送保存在可缩放编码数据单元1001中的可缩放编码数据，作为具有适合于终端设备的能力、通信环境等的质量的编码数据。
[0621]例如，假定可缩放编码数据存储单元1001保存按照可缩放方式编码的可缩放编码数据(BL+EL) 1011。该可缩放编码数据(BL+EL) 1011是包括基本层和增强层的编码数据，并且是通过解码可缩放编码数据能够从其获得基本层的图像和增强层的图像的数据。
[0622]分发服务器1002按照传送数据的终端的能力、通信环境等，选择适当层，并读取该层的数据。例如，对于具有高处理能力的个人计算机1004或平板设备1006，分发服务器1002从可缩放编码数据存储单元1001，读取高质量的可缩放编码数据(BL+EL) 1011，并原样传送该可缩放编码数据。相反，例如，对于具有低处理能力的AV设备1005和移动电话机1007，分发服务器1002从可缩放编码数据(BL+EL)1011中，提取基本层的数据，并传送内容和可缩放编码数据(BL+EL) 1011相同、但是质量比可缩放编码数据(BL+EL)低的可缩放编码数据(BL) 1012。
[0623]如上所述，通过利用可缩放编码数据，能够容易地调整数据量。从而，能够抑制延迟或上溢的发生，并且能够抑制终端设备或通信介质的负荷的不必要增大。另外，在可缩放编码数据(BL+EL)1011中，由于各层之间的冗余被减小，因此与各层的编码数据被配置成单独数据的情况相比，数据量可被减小。因而，能够更有效地利用可缩放编码数据存储单元1001的存储区。
[0624]另外，类似于个人计算机1004和移动电话机1007，各种设备可用作终端设备，从而，终端设备的硬件的能力随设备而不同。此外，由于存在由终端设备执行的各种应用程序，因此存在软件的各种能力。另外，作为充当通信介质的网络1003，可以应用所有通信线路网任意之一，包括有线和/或无线网络，比如因特网和LAN(局域网)，从而数据传输能力不同。此外，存在数据传输能力会按照其它通信等而变化的顾虑。
[0625]从而，在开始数据传输之前，分发服务器1002可以与作为数据的传输目的地的终端设备通信，以便获得关于该终端设备的能力的信息，比如所述终端设备的硬件能力，和所述终端设备执行的应用(软件)的能力，以及关于通信环境的信息，比如网络1003的可用带宽等。另外，分发服务器1002可被配置成根据这里获得的信息，选择适当的层。
[0626]另外，层的提取可由终端设备进行。例如，个人计算机1004可解码传送的可缩放编码数据(BL+EL) 1011，并显示基本层的图像或增强层的图像。此外，例如，个人计算机1004可从传送的可缩放编码数据(BL+EL)1011中，提取基本层的可缩放编码数据(BL) 1012，保存提取的可缩放编码数据，把提取的可缩放编码数据传送给另一个设备，或者解码提取的可缩放编码数据，从而显示基本层的图像。
[0627]这里，显然可缩放编码数据存储单元1001，分发服务器1002，网络1003和终端设备的数目都是任意的。在上面的说明中，尽管说明了其中分发服务器1002向终端设备传送数据的例子，不过使用例子并不局限于此。数据传输系统1000可以应用于任何系统，只要当向终端设备传送按可缩放方式编码的编码数据时，所述系统按照终端设备的能力、通信环境等，选择适当层，并传送选择的层即可。
[0628](第二系统)
[0629]另外，如图68中图解所示的例子中一样，可缩放编码用于经多种通信介质的传输。
[0630]在图68中图解所示的数据传输系统1100中，广播站1101通过地面广播1111，传送基本层的可缩放编码数据(BL) 1121。另外，广播站1101通过由有线和/或无线通信网络构成的任意网络1112，传送增强层的可缩放编码数据(EL) 1122(例如，数据被分包和传送)。
[0631]终端设备1102具有接收由广播站1101广播的地面广播1111的功能，并接收通过地面广播1111传送的基本层的可缩放编码数据(BL)1121。另外，终端设备1102还具有通过网络1112进行通信的通信功能，并接收通过网络1112传送的增强层的可缩放编码数据(EL)1122。
[0632]终端设备1102例如按照用户指令等，通过解码经地面广播1111获得的基本层的可缩放编码数据(BL) 1121，获得基本层的图像，保存获得的可缩放编码数据，或者把获得的可缩放编码数据传送给另一个设备。
[0633]另外，终端设备1102例如按照用户指令等，组合通过地面广播1111获得的基本层的可缩放编码数据(BL) 1121和通过网络1112获得的增强层的可缩放编码数据(EL) 1122，从而获得可缩放编码数据(BL+EL)，解码所述可缩放编码数据，以获得增强层的图像，保存获得的可缩放编码数据，或者把可缩放编码数据传送给另一个设备。
[0634]如上所述，可以经对每层来说不同的通信介质，传送可缩放编码数据。从而，可以分散负荷，并且能够抑制延迟或上溢的发生。
[0635]另外，取决于状况，用于传输的通信介质可被配置为针对每一层进行选择。例如，可配置为通过具有较大带宽的通信介质，传送数据量较大的基本层的可缩放编码数据(BL) 1121，可通过带宽较窄的通信介质，传送数据量较小的增强层的可缩放编码数据(EL)1122。另外，例如，按照网络1112的可用带宽，经其传送增强层的可缩放编码数据(EL) 1122的通信介质可被配置为在网络1112和地面广播1111之间切换。这类似地适用于任意层的数据。
[0636]通过如此进行控制，能够进一步抑制数据传输负荷的增大。
[0637]这里，层数是任意的，用于传输的通信介质的数目也是任意的。另外，作为数据的分发目的地的终端设备1102的数目也是任意的。此外，在上面的说明中，尽管举例说明了从广播站1101进行广播的例子，不过使用例子并不局限于此。数据传输系统1100可应用于任何系统，只要所述系统以层为单位，把可扩展地编码的编码数据分成多个部分，并通过多条线路传送分割的数据即可。
[0638](第三系统)
[0639]另外，如图69中图解所示的例子中一样，可缩放编码数据也用于保存编码数据。
[0640]在图69中图解所示的成像系统1200中，成像设备1201进行通过对被摄物体1211成像而获得的图像数据的可缩放编码，并把作为结果的图像数据作为可缩放编码数据(BL+EL) 1221，提供给可缩放编码数据存储设备1202。
[0641]可缩放编码数据存储设备1202以与状况相应的质量，保存从成像设备1201供给的可缩放编码数据(BL+EL)1221。例如在正常时，可缩放编码数据存储设备1202从可缩放编码数据(BL+EL)1221中，提取基本层的数据，并保存提取的数据，作为质量低、并且数据量小的基本层的可缩放编码数据(BL) 1222。相反，例如在关注时，可缩放编码数据存储设备1202原样保存质量高、且数据量大的可缩放编码数据(BL+EL) 1221。
[0642]这样，可缩放编码数据存储设备1202可以只有当必需时，才高画质地保存图像。从而，能够抑制数据量的增大，同时抑制由图像质量的降低引起的图像价值的降低，由此能够提高存储区的使用效率。
[0643]例如，假定成像设备1201是监控相机。在监控对象(例如入侵者)未出现在拍摄的图像中(正常时)的情况下，拍摄图像的内容不重要的可能性高，从而，优先考虑数据量的降低，从而低质量地保存图像数据(可缩放编码数据)。相反，在监控对象作为被摄物体1211，出现在拍摄的图像中(关注时)的情况下，拍摄图像的内容重要的可能性高，从而，优先考虑图像质量，从而高质量地保存图像数据(可缩放编码数据)。
[0644]这里，通过利用可缩放编码数据存储设备1202分析图像，可以判定是正常时还是关注时。另外，可以配置成判定处理由成像设备1201进行，判定结果被传送给可缩放编码数据存储设备1202。
[0645]这里，判定正常时或关注时的判定标准是任意标准，作为判定标准的图像的内容是任意内容。另外，除图像的内容之外的条件可被设定成判定标准。例如，可以按照记录语音的大小、波形等，改变判定，可以每隔预定时间改变判定，或者可以按照从外部供给的指令(比如用户指令)改变判定。
[0646]另外，在上面的说明中，尽管说明了其中进行正常时和关注时两种状态之间的切换的例子，不过，状态的数目是任意的。从而，例如，可以配置成以致在3种或者更多种状态，包括正常时，弱关注时，关注时和强关注时之间进行切换。然而，在其间进行切换的状态的上限数取决于可缩放编码数据的层数。
[0647]此外，成像设备1201可被配置成按照状态，确定可缩放编码的层数。例如，正常时，成像设备1201可被配置成生成质量低、并且数据量小的基本层的可缩放编码数据(BL) 1222，并把生成的可缩放编码数据提供给可缩放编码数据存储设备1202。另外，例如，关注时,成像设备1201可生成质量高、并且数据量大的基本层的可缩放编码数据(BL+EL) 1221，并把生成的可缩放编码数据提供给可缩放编码数据存储设备1202。
[0648]在上面的说明中，尽管举例说明了监控相机，不过，这种成像系统1200的应用是任意的，并不局限于监控相机。
[0649]这里，IXU是具有最大大小的⑶(编码单元)，CTU (编码树单元)是包括IXU的CTB (编码树块)和在LCU基础(级)进行处理时的参数的单元。另外，构成CTU的CU是包括CB (编码块)和在CU基础(级)进行处理时的参数的单元。
[0650]<其它例子>
[0651]尽管上面说明了本技术适用于的设备、系统等的例子，不过，本技术并不局限于此。从而，可以按安装到所述设备，或者构成所述系统的设备的所有结构，例如，作为系统LSI (大规模集成)等的处理器，利用多个处理器等的模块，利用多个模块等的单元，或者通过向所述单元增加其它功能而获得的机组等(换句话说，设备的一部分的结构)的形式，应用本技术。
[0652](视频机组的结构例子)
[0653]下面参考图70，说明以机组的形式，应用本技术的情况的例子。图70图解说明本技术适用于的视频机组的示意结构的例子。
[0654]最近，电子设备的多功能化在进展中，并且在电子设备的研发或制造中，在提供一部分的所述结构，以便销售、供给等的情况下，不仅存在应用具有一种功能的结构的情况，而且广泛存在应用通过组合具有相关功能的多种结构而获得的具有多种功能的一个机组的情况。
[0655]图70中图解所示的视频机组1300具有这样的多功能结构，是通过组合具有与图像编码或图像解码(图像编码和/或图像解码)相关的功能的设备和具有与所述功能相关的其它功能的设备获得的。
[0656]如图70中图解所示，视频机组1300包括包含视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等的模块组，和具有连接模块1321、相机1322、传感器1323等的相关功能的设备。
[0657]模块是通过把彼此相关的几个组件功能布置在一起，以功能具有统一性的组件的形式形成的。尽管具体的物理结构是任意的，不过例如，可以考虑通过把都具有某种功能的多个处理器，诸如电阻器或电容器之类的电子电路组件和其它器件等布置在配线板等上，一致被集成在一起而获得的模块。另外，可以考虑通过组合模块和其它模块、处理器等，形成新模块。
[0658]在图70中图解所示的例子中，视频模块1311是通过结合具有与图像处理相关的功能的结构而获得的，包括:应用处理器；视频处理器；宽带调制解调器1333 ;和RF模块1334。
[0659]通过以SoC(片上系统)的形式，在半导体芯片上集成具有预定功能的结构，获得处理器，例如，还存在称为系统LSI (大规模集成)等的处理器。具有预定功能的结构可以是逻辑电路(硬件结构)，包括CPU、ROM、RAM等和利用它们执行的程序(软件结构)的结构，或者组合上述两种结构的结构。例如，可以这样构成，以致处理器包括逻辑电路、CPU、ROM,RAM等，一些功能由逻辑电路(硬件结构)实现，而其它功能由CPU执行的程序(软件结构)实现。
[0660]图70中图解所示的应用处理器1331是执行与图像处理相关的应用的处理器。为了实现预定功能，由应用处理器1331执行的应用不仅可进行计算处理，而且可在必要时，控制在视频模块1311之内和之外的结构，比如视频处理器1332。
[0661]视频处理器1332是具有与图像编码和图像解码(图像编码和/或图像解码)相关的功能的处理器。
[0662]宽带调制解调器1333是与通过宽带线路，比如因特网或公共电话网，进行的有线或无线(或者有线和无线)宽带通信相关的处理器(或模块)。例如，宽带调制解调器1333通过数字调制等，把待传送的数据(数字信号)转换成模拟信号，或者解调接收的模拟信号，以便转换成数据(数字信号)。例如，宽带调制解调器1333可以进行任意信息，比如由视频处理器1332处理的图像数据，其中图像数据被编码的码流，应用程序和设定数据的数字调制/解调。
[0663]RF模块1334是对通过天线传送/接收的RF(射频)信号，进行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的专线连接系统信号进行频率转换等，生成RF信号。另外，例如，RF模块1334通过对经前端模块1314接收的RF信号进行频率转换等，生成专线连接系统信号。
[0664]另外，如用图70中的虚线1341所示，应用处理器1331和视频处理器1332可被一体化，以致被构成为一个处理器。
[0665]外部存储器1312是布置在视频模块1311之外，包括由视频模块1311使用的存储器件的模块。外部存储器1312的存储器件由某种物理结构实现。不过，一般来说，由于存储器件常常用于保存大容量的数据，比如以帧为单位构成的图像数据，因此存储器件最好用成本较低的大容量半导体存储器，比如DRAM(动态随机存取存储器)实现。
[0666]电源管理模块1313管理并控制对视频模块1311(视频模块1311内的各种构成)的供电。
[0667]前端模块1314是向RF模块1334提供前端功能(在天线侧的传输/接收端电路)的模块。如图70中图解所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。
[0668]天线单元1351包括传送/接收无线信号的天线及其周边结构。天线单元1351以无线信号的形式，传送从放大单元1353供给的信号，并以电信号(RF信号)的形式，把接收的无线信号提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号，进行滤波处理等，并把处理后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334供给的RF信号，并把放大后的RF信号提供给天线单元1351。
[0669]连接模块1321是具有与和外部的连接相关的功能的模块。连接模块1321的物理结构是任意的。例如，连接模块1321包括具有除宽带调制解调器1333对应于的通信规范以外的通信功能的结构、外部输入/输出端子等。
[0670]例如，连接模块1321可被配置成包括具有符合无线通信规范，比如蓝牙(注册商标)、IEEE 802.11 (例如，W1-Fi (无线保真;注册商标))、NFC(近场通信)和IrDA(红外数据转会)的通信功能的模块，和传送/接收符合所述规范的信号的天线。另外，例如，连接模块1321可被配置成包括具有符合有线通信规范，比如USB (通用串行总线)和HDMI (注册商标)(高清多媒体接口)的通信功能的模块，和符合所述规范的端子。此外，例如，连接模块1321可被配置成具有模拟输入/输出端子等的另外的数据(信号)传输功能等。
[0671]另外，连接模块1321可被配置成包括作为数据(信号)的传输目的地的设备。例如，连接模块1321可被配置成包括对记录介质，比如磁盘、光盘、磁光盘或半导体存储器进行数据读取或数据写入的驱动器(不仅包括可拆卸介质的驱动器，而且包括硬盘、SSD (固态驱动器)、NAS (网络附加存储器)等)。此外，连接模块1321可被配置成包括图像或音频的输出设备(监视器、扬声器等)。
[0672]相机1322是具有通过对被摄物体成像，获得被摄物体的图像数据的功能的模块。利用相机1322进行的成像处理获得的图像数据被提供给视频处理器1332，并被编码。
[0673]传感器1323是具有任意传感器，比如音频传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性标识传感器、冲击传感器或温度传感器的功能的模块。由传感器1323检测的数据被提供给应用处理器1331，并由应用等使用。
[0674]在上面的说明中，描述成模块的各个结构可用处理器实现，描述成处理器的各个结构可用模块实现。
[0675]如后所述，本技术可适用于具有如上所述的结构的视频机组1300的视频处理器1332。因而，视频机组1300可被配置成本技术适用于的装置。
[0676](视频处理器的结构例子)
[0677]图71图解说明本技术适用于的视频处理器1332(图70)的示意结构的例子。
[0678]在图71中图解所示的例子中，视频处理器1332具有接收视频信号和音频信号的输入，并按照预定方式对接收的信号编码的功能，和对编码的视频数据和编码的音频数据解码，并再现和输出视频信号和音频信号的功能。
[0679]如图71中图解所示，视频处理器1332包括视频输入处理单元1401 ;第一图像放大/缩小单元1402 ;第二图像放大/缩小单元1403 ;视频输出处理单元1404 ;帧存储器1405 ;和存储控制单元1406。另外，视频处理器1332包括:编码/解码引擎1407 ;视频ES (基本码流)缓冲器1408A和1408B,和音频ES缓冲器1409A和1409B。另外，视频处理器1332包括:音频编码器1410 ;音频解码器1411 ;复用器(MUX) 1412 ;分用器(DMUX) 1413 ；和流缓冲器1414。
[0680]例如，视频输入处理单元1401获得从连接模块1321 (图70)等输入的视频信号，把获得的视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据进行格式变换和图像放大/缩小处理。对于图像数据，第二图像放大/缩小单元1403按照经由视频输出处理单元1404的输出目的地的格式，进行图像放大/缩小处理，或者进行与第一图像放大/缩小单元1402类似的格式变换和图像放大/缩小处理等。视频输出处理单元1404对图像数据进行格式变换，到模拟信号的转换等，并把结果信号作为再现视频信号，输出给连接模块1321 (图70)等。
[0681]帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共用的图像数据用存储器。帧存储器1405被实现成诸如DRAM之类的半导体存储器。
[0682]存储控制单元1406接收从编码/解码引擎1407供给的同步信号，并按照写入存取管理表1406A中的对帧存储器1405的存取时间表，控制对帧存储器1405的存取，以便写入/读取。存储控制单元1406按照编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等进行的处理，更新存取管理表1406A。
[0683]编码/解码引擎1407进行图像数据的编码处理，并进行通过编码图像数据而获得的视频流的解码处理。例如，编码/解码引擎1407编码从帧存储器1405读取的图像数据，并把读取的图像数据作为视频流，顺序写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407顺序从视频ES缓冲器1408B读取视频流，解码读取的视频流，然后把解码的视频流作为图像数据，顺序写入帧存储器1405。编码/解码引擎1407利用帧存储器1405作为这种编码或解码处理中的工作区。另外，例如在开始各个宏块的处理之际，编码/解码引擎1407向存储控制单元1406输出同步信号。
[0684]视频ES缓冲器1408A缓存由编码/解码引擎1407生成的视频流，并把该视频流提供给复用器(MUX) 1412。视频ES缓冲器1408B缓存从分用器(DMUX) 1413供给的视频流，并把该视频流提供给编码/解码引擎1407。
[0685]音频ES缓冲器1409A缓存由音频编码器1410生成的音频流，并把该音频流提供给复用器(MUX) 1412。音频ES缓冲器1409B缓存从分用器(DMUX) 1413供给的音频流，并把该音频流提供给音频解码器1411。
[0686]音频编码器1410把例如从连接模块1321 (图70)等输入的音频信号转换成例如数字信号，并按照诸如MPEG音频方式或AC3 (音频编码号3)方式，对转换后的音频信号编码。音频编码器1410把作为通过对音频信号编码而获得的数据的音频流，顺序写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B供给的音频流解码，把解码音频流转换成模拟信号等，并把转换后的信号，作为再现音频信号提供给例如连接模块1321(图 70)等。
[0687]复用器(MUX) 1412复用视频流和音频流。复用方法(换句话说，通过复用生成的比特流的格式)是任意的。另外，在复用之际，复用器(MUX) 1412可向比特流中加入预定头部信息等。换句话说，复用器(MUX) 1412可通过复用处理，转换流的格式。例如，通过复用视频流和音频流，复用器(MUX) 1412把视频流和音频流转换成作为具有传输用格式的比特流的传输流。另外，例如，通过复用视频流和音频流，复用器(MUX) 1412把视频流和音频流转换成具有记录用格式的数据(文件数据)。
[0688]分用器(DMUX) 1413利用与复用器(MUX) 1412进行的复用处理对应的方法，分用其中复用视频流和音频流的比特流。换句话说，分用器(DMUX) 1413从读取自流缓冲器1414的比特流中，提取视频流和音频流(视频流和音频流被分离)。换句话说，分用器(DMUX) 1413可通过分用处理，转换流的格式(复用器(MUX) 1412进行的变换的逆变换)。例如，分用器(DMUX) 1413通过流缓冲器1414，获得例如从连接模块1321(图70)、宽带调制解调器1333(图70)等供给的传输流，分用获得的传输流，从而把传输流转换成视频流和音频流。另外，例如，分用器(DMUX) 1413通过流缓冲器1414，获得利用连接模块1321 (图70)从各种记录介质读取的文件数据，分用获得的文件数据，从而把文件数据转换成视频流和音频流。
[0689]流缓冲器1414缓存比特流。例如，流缓冲器1414缓存从复用器(MUX) 1412供给的传输流，并在预定定时，或者根据从外部传送的请求，把传输流提供给例如连接模块1321(图70)、宽带调制解调器1333(图70)等。
[0690]另外，流缓冲器1414缓存从复用器(MUX) 1412供给的文件数据，并在预定定时，或者根据从外部传送的请求，把文件数据提供给例如连接模块1321(图70)等。
[0691]此外，流缓冲器1414缓存例如通过连接模块1321(图70)、宽带调制解调器1333(图70)等获得的传输流，并在预定定时，或者根据来自外部的请求等，把传输流提供给分用器(DMUX) 1413。
[0692]另外，流缓冲器1414缓存例如由连接模块1321(图70)等从各种记录介质读取的文件数据，并在预定定时，或者根据来自外部的请求等，把文件数据提供给分用器(DMUX)1413。
[0693]下面，说明具有这种结构的视频处理器1332的操作例子。例如，从连接模块1321 (图70)等输入视频处理器1332的视频信号由视频输入处理单元1401，按照诸如4:2:2Y/Cb/Cr方式之类的预定方式，转换成数字图像数据，随后被顺序写入帧存储器1405中。该数字图像数据被第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取，对所述数字图像数据进行到诸如4:2:0Y/Cb/Cr方式之类的预定方式的格式变换，和放大/缩小处理，处理后的数字图像数据被写入帧存储器1405中。该图像数据被编码/解码引擎1407编码，然后作为视频流，被写入视频ES缓冲器1408A中。
[0694]另外，从连接模块1321 (图70)等输入视频处理器1332的音频信号被音频编码器1410编码，随后作为音频流被写入音频ES缓冲器1409A中。
[0695]保存在视频ES缓冲器1408A中的视频流和保存在音频ES缓冲器1409A中的音频流被复用器(MUX) 1412读取，被复用，并被转换成传输流、文件数据等。由复用器(MUX) 1412生成的传输流被缓存在流缓冲器1414中，随后例如通过连接模块1321 (图70)、宽带调制解调器1333(图70)等被输出到外部网络。另外，由复用器(MUX) 1412生成的文件数据被缓存在流缓冲器1414中，随后被输出给例如连接模块1321(图70)等，然后被记录在各种记录介质任意之一中。
[0696]另外，通过连接模块1321(图70)、宽带调制解调器1333(图70)等，从外部网络输入视频处理器1332的传输流被缓存在流缓冲器1414中，随后被分用器(DMUX) 1413分用。另外，利用连接模块1321(图70)等，从各种记录介质任意之一读取，并被输入视频处理器1332的文件数据被缓存在流缓冲器1414中，随后被分用器(DMUX) 1413分用。换句话说，输入视频处理器1332的传输流或文件数据被分用器(DMUX) 1413分离成视频流和音频流。
[0697]音频流通过音频ES缓冲器1409B，被提供给音频解码器1411，然后被解码，从而再现音频信号。另外，视频流被写入视频ES缓冲器1408B中，随后被编码/解码引擎1407顺序读取，被解码，然后被写入帧存储器1405中。解码的图像数据被第二图像放大/缩小单元1403放大或缩小，然后被写入帧存储器1405中。随后，解码的图像数据被视频输出处理单元1404读取，把格式转换成诸如4:2:2Y/Cb/Cr方式之类的预定方式，然后被进一步转换成模拟信号，从而视频信号被再现和输出。
[0698]在把本技术应用于如此构成的视频处理器1332的情况下，按照上述各个实施例的本技术可适用于编码/解码引擎1407。换句话说，编码/解码引擎1407可被配置成具有编码设备10或解码设备110的功能。另外，例如，编码/解码引擎1407可被配置成具有编码设备150和解码设备170，编码设备190和解码设备210，或者编码设备230和解码设备270的功能。此外，例如，编码/解码引擎1407可被配置成具有多视点图像编码设备600和多视点图像解码设备610的功能。通过如此构成，视频处理器1332可获得和上面参考图1-61说明的优点相同的优点。
[0699]另外，在编码/解码引擎1407中，本技术(换句话说，按照上述各个实施例的图像编码设备和图像解码设备的功能)可利用诸如逻辑电路之类的硬件实现，可利用诸如内置程序之类的软件实现，或者可利用硬件和软件两者实现。
[0700](视频处理器的另一种结构例子)
[0701]图72是图解说明本技术适用于的视频处理器1332(图70)的示意结构的另一个例子的示图。在图72中图解所示的例子的情况下，视频处理器1332具有按照预定方式，编码/解码视频数据的功能。
[0702]更具体地，如图72中图解所示，视频处理器1332包括:控制单元1511 ;显示接口1512 ;显示引擎1513 ;图像处理引擎1514 ;和内部存储器1515。另外，视频处理器1332包括:编解码器引擎1516;存储接口 1517;复用器/分用器(MUX DMUX) 1518 ;网络接口 1519;和视频接口 1520。
[0703]控制单元1511控制布置在视频处理器1332内的处理单元，比如显示接口 1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作。
[0704]如图72中图解所示，例如，控制单元1511包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制布置在视频处理器1332内的各个处理单元的操作的程序。主CPU 1531按照所述程序等，生成控制信号，并把控制信号提供给各个处理单元(换句话说，控制各个处理单元的操作)。副CPU 1532完成主CPU 1531的辅助作用。例如，副CPU 1532执行主CPU 1531执行的程序的子处理、子例程等。系统控制器1533控制主CPU1531和副CPU 1532的操作，比如将由主CPU 1531和副CPU 1532执行的程序的指定。
[0705]在控制单元1511的控制下，显示接口 1512把图像数据输出给例如连接模块1321(图70)等。例如，显示接口 1512把作为数字数据的图像数据转换成模拟信号，并把图像数据作为再现的视频信号，或者作为数字数据的图像数据，输出给连接模块1321(图70)的监视设备等。
[0706]在控制单元1511的控制下，显示引擎1513对图像数据进行诸如格式变换、尺寸变换和色域变换之类的各种变换处理，以便调整成与显示图像的监视设备等的硬件规范一致。
[0707]在控制单元1511的控制下，图像处理引擎1514对图像数据进行诸如改善图像质量的滤波处理之类的预定图像处理。
[0708]内部存储器1515是布置在视频处理器1332内的由显示引擎1513、图像处理引擎1514和编解码器引擎1516共用的存储器。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间进行的数据交换。例如，内部存储器1515保存从显示引擎1513、图像处理引擎1514或编解码器引擎1516供给的数据，和在必要时(例如，按照请求)，把数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。尽管所述内部存储器1515可用任何存储器件实现，不过一般来说，内部存储器1515常常用于保存容量较小的数据，比如以块为单位构成的图像数据，或者参数，因而，它最好用容量较小(例如，与外部存储器1312相比)，并且响应速度高的半导体存储器，比如SRAM(静态随机存取存储器)实现。
[0709]编解码器引擎1516进行与编码或解码图像数据相关的处理。编解码器引擎1516对应于的编码/解码方式是任意的，其数目可以是一种或两种或更多种。例如，编解码器引擎1516可包括多个编码/解码方式的编解码器功能，并通过利用所述多种编码/解码方式中的所选一种编码/解码方式，进行图像数据的编码或者编码的图像数据的解码。
[0710]在图72中图解所示的例子中，作为与编解码器相关的处理的功能块，编解码器引擎 1516 例如包括 MPEG-2 Video 1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265 (可缩放)1544、HEVC/H.265 (多视点)1545 和 MPEG-DASH 1551。
[0711]MPEG-2 Video 1541是用于按照MPEG-2方式对图像数据编码或解码的功能块。AVC/H.264 1542是用于按照AVC方式对图像数据编码或解码的功能块。另外，HEVC/H.2651543是用于按照HEVC方式对图像数据编码或解码的功能块。HEVC/H.265 (可缩放)1544是用于按照HEVC方式对图像数据进行可缩放编码或可扩展解码的功能块。HEVC/H.265 (多视点)1545是用于按照HEVC方式对图像数据进行多视点编码或多视点解码的功能块。
[0712]MPEG-DASH 1551是用于按照MPEG-DASH (MPEG-基于HTTP的动态自适应流式传输)方式，传送/接收图像数据的功能块。MPEG-DASH是一种通过利用HTTP(超文本传输协议)，流式传输视频的技术，具有以片段为单位，从预先准备的分辨率等彼此不同的多个编码数据之中，选择并传送一个编码数据的特征。MPEG-DASH 1551进行符合规范的流的生成，流传输控制等，并利用上面说明的MPEG-2 Video 1541或HEVC/H.265(多视点)1545编码/解码图像数据。
[0713]存储接口 1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516供给的数据通过存储接口 1517，被提供给外部存储器1312。另外，从外部存储器1312读取的数据通过存储接口 1517，被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
[0714]复用器/分用器(MUX DMUX) 1518复用或分用与图像相关的各种数据，比如编码数据的比特流、图像数据或视频信号。复用/分用方法是任意的。例如，在复用处理之际，复用器/分用器(MUX DMUX) 1518不仅可把多个数据布置成一个数据，而且还可向该数据中添加预定的头部信息。另外，在分用处理之际，复用器/分用器(MUX DMUX)1518不仅可把一个数据分成多个部分，而且还可向分割后的数据中添加预定的头部信息等。换句话说，复用器/分用器(MUX DMUX) 1518可通过复用/分用处理，转换数据的格式。例如，复用器/分用器(MUX DMUX) 1518可通过复用比特流，把比特流转换成为传输用格式的传输流，或者为记录用文件格式的数据(文件数据)。显然，通过分用处理，可以进行逆变换。
[0715]网络接口 1519是诸如宽带调制解调器1333(图70)或者连接模块1321(图70)之类的专用接口。视频接口 1520是诸如连接模块1321(图70)或相机1322(图70)之类的专用接口。
[0716]下面，说明这种视频处理器1332的操作的例子。例如，当通过连接模块1321(图70)、宽带调制解调器1333(图70)等，从外部网络收到传输流时，所述传输流通过网络接口 1519被提供给复用器/分用器(MUX DMUX)1518，被分用，并被编解码器引擎1516解码。对于利用编解码器引擎1516进行的解码处理获得的图像数据，图像处理引擎1514进行预定的图像处理，显示引擎1513进行预定变换，作为结果的图像数据通过显示接口 1512，被提供给连接模块1321(图70)等，从而图像被显示在监视器上。另外，例如，利用编解码器引擎1516进行的解码处理获得的图像数据被编解码器引擎1516重新编码，被复用器/分用器(MUX DMUX) 1518复用，被转换成文件数据，通过视频接口 1520被输出给例如连接模块1321 (图70)等,并被记录在各种记录介质任意之一上。
[0717]另外，例如，通过对利用连接模块1321(图70)等，从未在图中图示的记录介质读取的图像数据编码而获得的编码数据通过视频接口 1520，被提供给复用器/分用器(MUXDMUX) 1518，被分用，并被编解码器引擎1516解码。对于利用编解码器引擎1516进行的解码处理获得的图像数据，图像处理引擎1514进行预定的图像处理，显示单元1513进行预定变换，作为结果的图像数据通过显示接口 1512被提供给例如连接模块1321(图70)等，随后图像被显示在监视器上。此外，例如，利用编解码器引擎1516进行的解码处理获得的图像数据被编解码器引擎1516重新编码，被复用器/分用器(MUX DMUX)1518复用，被转换成传输流，通过网络接口 1519被提供给例如连接模块1321 (图70)、宽带调制解调器1333(图70)等，随后被传送给未在图中图示的另一个设备。
[0718]另外，利用内部存储器1515或外部存储器1312，进行布置在视频处理器1332内的处理单元之间的图像数据或其它数据的互换。另外，电源管理模块1313例如控制向控制单元1511的供电。
[0719]在把本技术应用于如此构成的视频处理器1332的情况下，按照上述各个实施例的本技术可适用于编解码器引擎1516。换句话说，例如，编解码器引擎1516可包括实现编码设备10或解码设备110的功能块。另外，例如，编解码器引擎1516可被配置成包括实现编码设备150和解码设备170，编码设备190和解码设备210，或者编码设备230和解码设备270的功能块。此外，例如，编解码器引擎1516可被配置成包括多视点图像编码设备600和多视点图像解码设备610的功能。通过如此构成，视频处理器1332可获得和上面参考图1-61说明的优点相同的优点。
[0720]另外，在编解码器引擎1516中，本技术(换句话说，按照上述各个实施例的图像编码设备和图像解码设备的功能)可利用诸如逻辑电路之类的硬件实现，可利用诸如内置程序之类的软件实现，或者可利用硬件和软件两者实现。
[0721]如上，尽管作为例子说明了视频处理器1332的两种结构，不过，视频处理器1332的结构是任意的，可以是除上述两种结构外的结构。另外，所述视频处理器1332可由一个半导体芯片，或者多个半导体芯片构成。例如，视频处理器1332可用其中层叠多个半导体的三维层叠LSI构成。另外，视频处理器1332可用多个LSI实现。
[0722](对设备的应用例子)
[0723]视频机组1300可内置在处理图像数据的各个设备中。例如，视频机组1300可内置在电视机900 (图63)、移动电话机920 (图64)、记录和再现设备940 (图65)、成像设备960(图66)等中。通过把视频机组1300内置于其中，所述设备可获得与上面参考图1_61说明的优点相同的优点。
[0724]另外，视频机组1300例如可内置在图67中图解所示的数据传输系统1000的终端设备，比如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007，图68中图解所示的数据传输系统1100的广播站1101和终端设备1102，和图69中图解所示的成像系统1200的成像设备1201和可缩放编码数据存储设备1202等中。通过把视频机组1300内置于其中，所述设备可获得与上面参考图1-61说明的优点相同的优点。
[0725]此外，上面说明的视频机组1300的各种结构中的一些结构可以是在其中包括视频处理器1332的情况下，本技术适用于的结构。例如，只有视频处理器1332可被配置成本技术适用于的视频处理器。另外，如上所述，用虚线1341表示的处理器、视频模块1311等可被配置成本技术适用于的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314可被结合，以致被配置成本技术适用于的视频单元1361。在所述结构任意之一中，可以获得和上面参考图1-61说明的优点相同的优点。
[0726]换句话说，类似于视频机组1300的情况，包括视频处理器1332的任何结构可被内置在处理图像数据的各种设备中。例如，视频处理器1332，用虚线1341表示的处理器和视频模块1311，或者视频单元1361可被内置在电视机900 (图63)，移动电话机920 (图64)，记录和再现设备940 (图65)，成像设备960 (图66)，图67中图解所示的数据传输系统1000的终端设备，比如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007，图68中图解所示的数据传输系统1100的广播站1101和终端设备1102，和图69中图解所示的成像系统1200的成像设备1201和可缩放编码数据存储设备1202等中。通过把本技术适用于的任何结构内置于其中，类似于视频机组1300的情况，所述设备能够获得和上面参考图1-61说明的优点相同的优点。
[0727]在本说明书中，说明了其中各种信息被复用到编码流中，并且编码流从编码侧被传送给解码侧的例子。然而，用于传送信息的技术并不局限于此。例如，信息可作为与编码比特流相关的独立数据被传送或记录，而不被复用到编码比特流中。这里，用语“与…相关”表示包含在比特流中的图像(切片、块等；它可以是图像的一部分)和对应于图像的信息在解码处理之际，被相互关联。换句话说，所述信息可在与图像(或者比特流)的传输线路不同的传输线路上被传送。此外，所述信息可被记录在与图像(或者比特流)的记录介质不同的记录介质(或者相同记录介质的不同存储区)上。另外，可按任意单位，比如多帧、一帧、或者帧的一部分，相互关联所述信息和图像(或者比特流)。
[0728]本技术可适用于像H.26x等中一样，当通过诸如卫星广播、有线TV、因特网或移动电话机之类的网络介质传送和接收通过诸如离散余弦变换之类的正交变换和运动补偿压缩的图像信息(比特流)时，或者当在诸如光盘、磁盘或闪存之类的存储介质上处理压缩的图像信息时使用的设备。
[0729]另外，本技术例如可适用于其中以片段为单位，从分辨率等彼此不同的多个编码数据之中，选择并使用适当的编码数据的HTTP流式传输，比如MPEG DASH。
[0730]此外，按照本技术的编码系统可以是除HEVC系统外的编码系统。
[0731]本技术的实施例并不局限于上述实施例，在不脱离本技术的原理的范围中，可以作出各种变化。
[0732]另外，本技术可具有以下结构。
[0733](I) 一种编码设备，包括:
[0734]预测图像生成单元，所述预测图像生成单元被配置成利用参考图像，生成预测图像；和
[0735]传输单元，所述传输单元被配置成在当前编码图像是GOP (图像组)的除第I图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
[0736](2)按照(I)所述的编码设备，其中在参考信息表示在先图像的参考图像指定信息用作当前编码图像的参考图像指定信息的情况下，传输单元传送指定在先图像的在先图像指定信息。
[0737](3)按照⑵所述的编码设备，其中在参考信息表示在先图像的参考图像指定信息不用作当前编码图像的参考图像指定信息的情况下，传输单元传送当前编码图像的参考图像指定信息。
[0738](4)按照(3)所述的编码设备，还包括参考图像信息设定单元，所述参考图像信息设定单元被配置成设定多个参考图像信息，所述多个参考图像信息包括参考信息和在先图像指定信息或者参考图像指定信息，
[0739]其中传输单元传送由参考图像信息设定单元设定的多个参考图像信息，并在当前编码图像是GOP(图像组)的除第I图像外的图像的情况下，传送在所述多个参考图像信息之中、指定当前编码图像的参考图像信息的参考图像信息指定信息。
[0740](5)按照(4)所述的编码设备，
[0741]其中参考图像信息设定单元设定包括参考图像指定信息的第一参考图像信息，作为参考图像信息，和
[0742]在当前编码图像是GOP (图像组)的第I图像的情况下，传输单元传送指定第一参考图像信息的参考图像信息指定信息。
[0743](6) 一种编码方法，所述编码方法包括借助编码设备的以下步骤:
[0744]预测图像生成步骤，所述预测图像生成步骤利用参考图像，生成预测图像；和
[0745]传输步骤，所述传输步骤在当前编码图像是GOP (图像组)的除第I图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
[0746]附图标记列表
[0747]10编码设备
[0748]12设定单元
[0749]13传输单元
[0750]33计算单元
[0751]47运动预测/补偿单元
[0752]110解码设备
[0753]111接收单元
[0754]135加法单元
[0755]144参考图像设定单元
[0756]145运动补偿单元
[0757]150编码设备
[0758]170解码设备
[0759]190编码设备
[0760]210解码设备
[0761]230编码设备
[0762]232设定单元
[0763]251运动预测/补偿单元
[0764]270解码设备
[0765]292运动补偿单元
【权利要求】
1.一种编码设备，包括: 预测图像生成单元，所述预测图像生成单元被配置成利用参考图像，生成预测图像；和 传输单元，所述传输单元被配置成在当前编码图像是GOP (图像组)的除第1图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
2.按照权利要求1所述的编码设备，其中在参考信息表示在先图像的参考图像指定信息用作当前编码图像的参考图像指定信息的情况下，传输单元传送指定在先图像的在先图像指定信息。
3.按照权利要求2所述的编码设备，其中在参考信息表示在先图像的参考图像指定信息不用作当前编码图像的参考图像指定信息的情况下，传输单元传送当前编码图像的参考图像指定信息。
4.按照权利要求3所述的编码设备，还包括参考图像信息设定单元，所述参考图像信息设定单元被配置成设定多个参考图像信息，所述多个参考图像信息包括参考信息和在先图像指定信息或者参考图像指定信息， 其中传输单元传送由参考图像信息设定单元设定的多个参考图像信息，并在当前编码图像是GOP(图像组)的除第1图像外的图像的情况下，传送在所述多个参考图像信息之中、指定当前编码图像的参考图像信息的参考图像信息指定信息。
5.按照权利要求4所述的编码设备， 其中参考图像信息设定单元设定包括参考图像指定信息的第一参考图像信息，作为参考图像息，和 在当前编码图像是GOP (图像组)的第1图像的情况下，传输单元传送指定第一参考图像信息的参考图像信息指定信息。
6.一种编码方法，所述编码方法包括借助编码设备的以下步骤: 预测图像生成步骤，所述预测图像生成步骤利用参考图像，生成预测图像；和 传输步骤，所述传输步骤在当前编码图像是GOP (图像组)的除第1图像外的图像的情况下，传送参考信息，所述参考信息表示在先图像的指定参考图像的参考图像指定信息是否用作当前编码图像的参考图像指定信息，所述在先图像是按照编码顺序在当前编码图像之前的图像。
【文档编号】H04N19/58GK104380752SQ201380032783
【公开日】2015年2月25日 申请日期:2013年6月21日 优先权日:2012年6月29日
【发明者】陆硕, 佐藤数史 申请人:索尼公司