生成部，生成包含表示所述多个图像的所述时间层的时间可适性信息、表示所述第二比特率类型以及所述第三比特率类型的比特率控制信息、以及编码后的所述多个图像在内的所述比特流。
[0061]另外，这些总体或具体的方式也可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD — ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
[0062]以下，使用附图详细说明实施方式。另外，以下说明的实施方式都表示总体或具体的例子。以下的实施方式中示出的数值、形状、材料、结构要素、结构要素的配置位置以及连接方式、步骤、步骤的顺序等是一例，不是用于限定本发明的主旨。此外，关于在以下的实施方式中的结构要素之中的、表示最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素进行说明。
[0063](实施方式1)
[0064]本实施方式所涉及的图像编码装置无论包含全部子层的编码信息的原比特流的比特率类型如何，都将子比特流的比特率类型设定为可变比特率。由此，图像编码装置不考虑子比特流的上溢，就能够进行比特率控制。因此，能够降低图像编码装置的处理量。
[0065]首先，说明本实施方式所涉及的图像编码装置200的结构。图2是表示本实施方式所涉及的图像编码装置200的构造的模块图。
[0066]该图像编码装置200通过将所输入的作为运动图像或图像比特流的输入图像251按每块进行编码，从而生成作为编码比特流的比特流261。该图像编码装置200如图2所示那样，具备比特率控制部201、时间可适性信息赋予部202、减法器203、变换部204、量化部205、逆量化部206、逆变换部207、加法器208、块存储器209、帧存储器210、帧内(intra)预测部211、帧间(inter)预测部212和熵编码部213。
[0067]比特率控制部201为了生成满足一致性的比特流261，使用HRD来控制量化部205。此外，将比特率控制信息263输出至熵编码部213。
[0068]比特率控制信息263是表示可选择的时间分辨率(在图1所示的例子中为60fps、30fps以及15fps)的比特流各自的比特率类型的信息。在此比特率类型是固定比特率或可变比特率。例如，比特率控制信息263是标志信息cbr_flag[TemporalId]。
[0069]cbr_flag[TemporalId]包含与可选择的时间分辨率的数量相同的数量的标志。在此，cbr_f lag [Temporal Id]中的Temporalld表示被再现的图片所具有的Temporalld之中最大的值。例如，在图1所示的例子中，在再现60fps的全部图片的情况下，被再现的图片所具有的Temporalld之中最大的Temporalld为“2”，所以使用在cbr_flag[2]中储存的比特率类型。此外，在以15fps进行再现的情况下被再现的图片所具有的Temporalld之中最大的Temporalld为“0”，所以使用在cbr_flag[0]中储存的比特率类型。
[0070]例如，cbr_flag[Temporal Id] = 1 表不固定比特率，cbr_f lag [Temporal Id] = 0表示可变比特率。
[0071]另外，以下，将具有最大的时间分辨率的比特流(比特流261)称为最上层的比特流，将从比特流261生成的时间分辨率低的比特流称为下层的比特流或子比特流。此外，将最上层的比特流的比特率类型称为最上层的比特率类型，将下层的比特流的比特率类型称为下层的比特率类型。
[0072]时间可适性信息赋予部202将时间可适性信息264输出至熵编码部213。时间可适性信息264具体而言表示各图像的Temporalld。
[0073]输入图像251以多个图片、一个图片或一个片(slice)等为单位被输入至减法器203。减法器203计算输入图像251与预测图像260的差分即残差信号252，将残差信号252输出至变换部204。
[0074]变换部204将残差信号252变换为频率系数253，将所得到的频率系数253输出至量化部205。量化部205对所输入的频率系数253进行量化，将所得到的量化系数254输出至逆量化部206以及熵编码部213。
[0075]另外，变换部204和量化部205的处理不仅有在各处理部中以变换单元(TU:Transform Unit)为单位按顺序执行的情况，还有使用具有与TU大小对应的系数的一个以上的矩阵的乘法而一并执行的情况。
[0076]逆量化部206对从量化部205输出的量化系数254进行逆量化，将所得到的频率系数255输出至逆变换部207。逆变换部207通过对频率系数255进行逆频率变换从而将频率系数255变换为残差信号256，将所得到的残差信号256输出至加法器208。
[0077]加法器对从帧内预测部211或帧间预测部212输出的预测图像260加上从逆变换部207输出的残差信号256，将所得到的重构图像257输出至块存储器209或帧存储器210以进行进一步的预测。
[0078]另外，逆量化部206以及逆变换部207的处理不仅有以TU为单位按顺序执行的情况，还有使用具有与TU大小对应的系数的一个以上的矩阵的乘法而一并进行的情况。在此为了使说明明确，使用了逆量化以及逆变换这样的语言，但逆量化以及逆变换与量化以及变换仅有系数的值不同，都是使用了矩阵的乘法的处理，所以有时也被称为量化以及变换。
[0079]帧内预测部211按每个预测单元(PU:Predict1nUnit)对块存储器209中保存的重构图像257内进行检索，对通过检索而得到的图像的一部分进行复制，或实施加权的乘法，从而生成被预测为与输入图像251类似的预测图像258。
[0080]帧间预测部212按每个PU对帧存储器210中保存的重构图像257内进行检索，通过检测与输入图像251最类似或类似的可能性高的一个以上的图像从而生成预测图像
259。此外，预测图像258以及预测图像259的一方被选择为预测图像260。
[0081]熵编码部213对来自比特率控制部201的比特率控制信息263、来自时间可适性信息赋予部202的时间可适性信息264、来自量化部205的量化系数254、来自帧内预测部211的预测信息、来自帧间预测部212的预测信息进行编码，从而输出比特流261。
[0082]接着，说明本实施方式所涉及的图像编码处理。图3是本实施方式所涉及的图像编码过程的流程图。
[0083]在步骤S301中，图像编码装置200生成比特率控制信息263以及时间可适性信息264。图像编码装置200对所生成的比特率控制信息263以及时间可适性信息264进行熵编码，将编码后的比特率控制信息263以及时间可适性信息264插入至比特流261的头(head)。
[0084]在步骤S302中，图像编码装置200通过进行帧内预测或帧间预测来生成预测图像
260。
[0085]在步骤S303中，图像编码装置200计算预测图像260与输入图像251的差分即残差信号252ο
[0086]在步骤S304中，图像编码装置200通过对残差信号252进行频率变换来计算频率系数253。
[0087]在步骤S305中，图像编码装置200通过比特率控制来计算量化幅度，使用所得到的量化幅度来对频率系数253进行量化，从而计算量化系数254。具体而言，图像编码装置200通过以最上层的比特率类型进行使用了 HRD的比特率控制，从而计算量化幅度。
[0088]在步骤S306中，图像编码装置200对预测信息以及量化系数254进行熵编码，将编码后的预测信息以及量化系数254插入至比特流261。
[0089]以下，使用图4?图9详细说明步骤S301的处理。
[0090]图4是表示由图像编码装置200生成的比特流261的数据结构的一例的图。比特流261包含VPS(视频参数集，Video Parameter Set)、APS (适应参数集，Adaptat1nParameter Set)、SPS(序列参数集，Sequence Parameter Set)以及 PPS(图片参数集，Picture Parameter Set)等头部分、以及编码后的图像数据即图片数据。图片数据包含片头(SH)和片数据。片数据包含被包含在片中的编码后的图像数据。片数据包含块头(BH)和块数据。块数据包含被包含在块中的编码后的图像数据。
[0091]比特率控制信息263以及时间可适性信息264在熵编码部213中被编码，并被插入至 VPS、APS、SPS、PPS 及 SH 的某一个。
[0092]图5是用于说明比特率控制部201对比特率控制信息263的计算过程的图。比特率控制部201根据由外部参数262指定的比特率类型，决定各层的比特率类型。
[0093]具体而言，在由外部参数262指定了固定比特率的情况下，比特率控制部201将最上层(在该例中为Temporalld = 2)的比特率类型设定为固定比特率，将最上层以外(在该例中为Temporalld = 0以及1)的比特率类型设定为可变比特率。此外，在由外部参数262指定了可变比特率的情况下，比特率控制部201将全部层(在该例中为Temporalld =0?2)的比特率类型设定为可变比特率。
[0094]也就是说，比特率控制部201将最上层的比特率类型设定为与由外部参数262指定的比特率类型相同。此外，比特率控制部201不依赖于由外部参数262指定的比特率类型，而是将最上层以外的全部比特率类型总是设定为可变比特率。
[0095]图6是比特率控制信息263的计算过程的流程图。
[0096]在步骤S401中，比特率控制部201取得由外部参数262示出的、对全部图片进行编码的时间分辨率下的比特率类型。
[0097]在步骤S402中，时间可适性信息赋予部202取得由外部参数262示出的时间可适性信息。在此，时间可适性信息表示子层的数量即Tempralld的数量、或对各图片设定的Temporalld。另外，这些TempralId的信息既可以是对G0P单位的各图片设定的Temporalld的信息，也可以是每个片类型的TemporallD的信息。此外，时间可适性信息赋予部202基于由外部参数262示出的时间可适性信息生成时间可适性信息264，将所生成的时间可适性信息264输出至比特率控制部201。在此，时间可适性信息264例如表示子层的数量、即Temporalld 的数量。
[0098]在步骤S403中，比特率控制部201判定在步骤S401中取得的比特率类型是否为固定比特率。
[0099]在比特率类型为固定比特率的情况下(S403中是)，在步骤S404中，比特率控制部201将最上层的比特率类型设定为固定比特率。具体而言，比特率控制部201对Temporalld=2的cbr_flag[2]设定“1” (固定比特率)。
[0100]另一方面，在比特率类型不是固定比特率、即是可变比特率的情况下(S403中否)，在步骤S405中，比特率控制部201将最上层的比特率类型设定为可变比特率。具体而言，比特率控制部201对Temporalld = 2的cbr_flag[2]设定“0” (可变比特率)。
[0101]在步骤S404或S405之后，在步骤S406中，比特率控制部201将最上层以外的全部层的比特率类型设定为可变比特率。具体而言，比特率控制部201对Temporalld ( 1的cbr_f lag [Temporal Id]设定 “0” (可变比特率)。
[0102]在步骤S407中，比特率控制部201将作为表示各层的比特率类型的比特率控制信息263的cbr_flag[TemporalId]输出至熵编码部213。
[0103]另外，在步骤S401以及S402中，比特率类型以及时间可适性信息作为外部参数262从外部输入，但也可以使用在图像编码装置200中预先保持的固定值作为比特率类型以及时间可适性信息的至少一方。
[0104]以下，说明通过本实施方式能够生成在全部时间分辨率下满足一致性的比特流
261。
[0105]图7是表示在对60fps的运动图像以固定比特率满足一致性地进行了编码时的、与比特流对应的HRD的CPB占用量的例子的图。图7的纵轴表示CPB占用量，横轴表示时亥IJ。此外，将HRD的CPB容量以水平线来表示。如图7所示，在60fps的编码中，不会引起上溢地进行编码。
[0106]另外，为了说明，比特流的层级构造使用图1所示的例