图像编码方法以及图像编码装置的制造方法
【技术领域】
[0001]本发明涉及图像编码方法以及图像编码装置。
【背景技术】
[0002]在以被称为Η.26x的ITU — T标准以及被称为MPEG — x的IS0/IEC标准为代表的以往的图像编码方式中，为了使编码器和解码器同步地动作，定义了一致性(标准适应性)的规定作为确保编码器和解码器的兼容性的框架(参照非专利文献2的P.214至P.226)。
[0003]此外，导入了虚拟地对解码器的缓冲器管理进行建模的虚拟参照解码器(Hypothetical Reference Decoder:HRD)这样的概念。通过使用HRD，能够防止在解码的时刻缓冲器中不存在图像数据的下溢(underflow)以及图像数据超过所准备的缓冲器大小地输入的上溢(overflow)这样的解码器的失败。
[0004]具体而言，虚拟流调度器(HypotheticalStream Scheduler:HSS)管理比特流向HRD的已编码图片缓冲器(Coded Picture Buffer:CPB)的输入。在输入方法中，存在固定比特率和可变比特率这两种比特率类型。
[0005]在固定比特率的情况下，始终以一定的比特率向HRD的CPB输入比特流。在以固定比特率来编码图像的情况下，需要检验下溢和上溢的双方。
[0006]在可变比特率的情况下，对HRD的CPB输入比特流的比特率是可变的。由此，在HRD的CPB容量中没有空余的情况下能够暂时停止比特流的输入，因此不发生上溢。从而，在以可变比特率进行编码的情况下，仅检验下溢即可。
[0007]现有技术文献
[0008]非专利文献
[0009]非专利文献1:Joint Collaborative Team on Video Coding(JCT — VC)of ITU —T SG16 WP3 and IS0/IEC JTC1/SC29/WG1U 12th Meeting:Geneva，CH，14 — 23Jan.2013，“High Efficiency Video Coding(HEVC)text specificat1n draft 10 (for FDIS&LastCall)，，，http://phenix.1nt — evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC - L1003 - v34.zip
[0010]非专利文献2:大久保荣等著，“Η.265/HEVC教科书”，Impress Japan，2013年
【发明内容】
[0011]发明要解决的课题
[0012]在这样的图像编码方法中，优选能够降低用于生成满足一致性(conformance)的比特流的处理量。
[0013]因此，本发明的目的在于，提供能够降低用于生成满足一致性的比特流的处理量的图像编码方法或图像编码装置。
[0014]用于解决课题的手段
[0015]本发明的一个方式所涉及的图像编码方法通过对多个图像进行编码从而生成具有时间可适性(可分级性、scalability)的比特流，包括:选择步骤，从固定比特率以及可变比特率中选择第一比特率类型；决定步骤，决定所述多个图像各自的时间层；设定步骤，在选择固定比特率作为所述第一比特率类型的情况下，(1)将包含属于全部时间层的所述多个图像的编码数据在内的所述比特流的第二比特率类型设定为固定比特率，(2)将作为所述比特流的一部分且包含所述多个图像之中的属于最上层的时间层以外的时间层的图像的编码数据在内的子比特流的第三比特率类型设定为可变比特率；编码步骤，以禁止参照时间层比处理对象的图像更高的图像的方式对所述多个图像中的各个图像进行编码；以及生成步骤，生成包含表示所述多个图像的所述时间层的时间可适性信息、表示所述第二比特率类型以及所述第三比特率类型的比特率控制信息、以及编码后的所述多个图像在内的所述比特流。
[0016]另外，这些整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD — ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
[0017]发明效果
[0018]本发明能够提供可降低用于生成满足一致性的比特流的处理量的图像编码方法或图像编码装置。
【附图说明】
[0019]图1是表示实施方式1所涉及的具有时间可适性的比特流的一例的图。
[0020]图2是表示实施方式1所涉及的图像编码装置的构造的模块图。
[0021]图3是实施方式1所涉及的编码过程的流程图。
[0022]图4是表示实施方式1所涉及的比特流的数据结构的一例的图。
[0023]图5是用于说明实施方式1所涉及的比特率类型的决定处理的图。
[0024]图6是实施方式1所涉及的计算比特率控制信息和时间可适性信息的计算过程的流程图。
[0025]图7是表示实施方式1所涉及的以固定比特率进行了编码以满足一致性时的HRD的CPB的图。
[0026]图8是表示实施方式1所涉及的维持固定比特率且使时间分辨率成为1/4时的HRD的CPB的图。
[0027]图9是表示实施方式1所涉及的设为可变比特率且使时间分辨率成为1/4时的HRD的CPB的图。
[0028]图10是实现内容分发服务的内容供给系统的整体结构图。
[0029]图11是数字广播用系统的整体结构图。
[0030]图12是表示电视机的结构例的模块图。
[0031]图13是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0032]图14是表示作为光盘的记录介质的构造例的图。
[0033]图15A是表示便携电话的一例的图。
[0034]图15B是表示便携电话的结构例的模块图。
[0035]图16是表示复用数据的结构的图。
[0036]图17是示意地表示各流在复用数据中怎样被复用的图。
[0037]图18是更详细地表示在PES包序列中视频流怎样被保存的图。
[0038]图19是表示复用数据的TS包和源包的构造的图。
[0039]图20是表示PMT的数据结构的图。
[0040]图21是表示复用数据信息的内部结构的图。
[0041 ]图22是表示流属性信息的内部结构的图。
[0042]图23是表示识别影像数据的步骤的图。
[0043]图24是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0044]图25是表示切换驱动频率的结构的图。
[0045]图26是表示识别影像数据、切换驱动频率的步骤的图。
[0046]图27是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0047]图28A是表示将信号处理部的模块共用的结构的一例的图。
[0048]图28B是表不将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0049](成为本发明的基础的知识)
[0050]在图像编码标准H.265/HEVC(参照非专利文献1)等的图像编码方式中，存在称为时间可适性的功能。对具有时间可适性(参照非专利文献2的P.211?P.212)的比特流插入称为Temporalld的时间识别符。由此，图像解码装置能够以多个时间分辨率来输出解码图像。例如，在对60fps (帧每秒，frames per second)的运动图像进行编码而得到的比特流中传输速率不足的情况下，图像编码装置(发送装置)从该比特流切出将帧速率降低为30fps或15fps而得到的子比特流，传输所得到的子比特流，从而能够防止图像解码装置(接收装置)中的丢帧以及画质的降低。
[0051 ] 图1是表示赋予了 Temporal Id的60fps的比特流的一例的图。纵轴表示Temporalld(时间识别符)，横轴表示图片的输出顺序(POC:Picture Order Count、图片顺序计数)。此外，能够将箭头后端的图片用于箭头前端的图片的预测图像的生成。例如，对于P0C = 2的图片，能够使用P0C = 0和P0C = 4的图片作为参照图像。
[0052]该例的比特流被编码为Temporalld不同的三个层级。将该层级称为子层或时间层。在进行作为编码或解码的对象的当前图片的时间方向预测时，存在不能参照与当前图片的TemporallD相比Temporalld的值更大的图片的限制。例如，在P0C = 2的图片为当前图片的情况下，对当前图片赋予了 Temporalld = 1，所以不能参照赋予了 Temporalld =3的P0C = 1和P0C = 3的图片。
[0053]由于该限制，在降低时间分辨率时，图像编码装置能够容易地从比特流去除Temporalld大的图片。例如，图像编码装置在生成30fps的子比特流时，从比特流去除Temporalld = 2的子层，在生成15fps的子比特流时，从比特流去除Temporalld彡1的子层。像这样，能够不进行再编码地变换帧速率，因此能够减轻图像编码装置(发送装置)的负荷。
[0054]但是，在通过该方法对在全部时间分辨率中满足一致性的比特流进行编码的情况下，存在处理量增加且图像编码装置的负荷变大的问题。
[0055]具体而言，在生成通常的(不具有时间可适性的)比特流的情况下，图像编码装置进行编码以使该比特流满足一致性即可。另一方面，在具有时间可适性的比特流中，通过上述的切出来生成子比特流，该子比特流被发送至图像解码装置。因此，在这样的比特流中，不仅包含全部子层的编码信息的原比特流需要满足一致性，而且从该比特流生成的各子比特流也需要满足一致性。像这样，对单一的比特流进行编码以使原比特流以及多个子比特流全部满足一致性是困难的，此外，为了生成这样的比特流，图像编码装置中的处理变得复杂且处理量大为增加。
[0056]因此，本发明的一个方式所涉及的图像编码方法通过对多个图像进行编码从而生成具有时间可适性的比特流，包括:选择步骤，从固定比特率以及可变比特率中选择第一比特率类型；决定步骤，决定所述多个图像各自的时间层；设定步骤，在选择固定比特率作为所述第一比特率类型的情况下，(1)将包含属于全部时间层的所述多个图像的编码数据在内的所述比特流的第二比特率类型设定为固定比特率，(2)将作为所述比特流的一部分且包含所述多个图像之中的属于最上层的时间层以外的时间层的图像的编码数据在内的子比特流的第三比特率类型设定为可变比特率；编码步骤，以禁止参照时间层比处理对象的图像更高的图像的方式对所述多个图像中的各个图像进行编码；以及生成步骤，生成包含表示所述多个图像的所述时间层的时间可适性信息、表示所述第二比特率类型以及所述第三比特率类型的比特率控制信息、以及编码后的所述多个图像在内的所述比特流。
[0057]由此，即使在包含全部时间层的图像的比特流的比特率类型被设定为固定比特率的情况下，子比特流的比特率类型也被设定为可变比特率。由此，在生成比特流时，不需要考虑子比特流的上溢，仅对包含全部时间层的图像的比特流进行控制以不产生上溢即可。由此，该图像编码方法能够降低对具有多个时间分辨率且在各时间分辨率下满足一致性的比特流进行编码时的图像编码装置的处理量。
[0058]例如，在所述编码步骤中，也可以使用虚拟地对图像解码装置的缓冲器管理进行建模的虚拟参照解码器，以所述第二比特率类型对所述多个图像进行编码，以使所述图像解码装置能够不发生失败地处理所述比特流。
[0059]例如，所述时间可适性信息也可以包含表示所述多个图像分别所属的所述时间层的时间识别符、或用于确定解码对象的一个以上的时间层的时间分辨率所能够取的模式(pattern)数。
[0060]此外，本发明的一个方式所涉及的图像编码装置通过对多个图像进行编码从而生成具有时间可适性的比特流，具备:选择部，从固定比特率以及可变比特率中选择第一比特率类型；决定部，决定所述多个图像各自的时间层；设定部，在选择固定比特率作为所述第一比特率类型的情况下，(1)将包含属于全部时间层的所述多个图像的编码数据在内的所述比特流的第二比特率类型设定为固定比特率，⑵将作为所述比特流的一部分且包含所述多个图像之中的属于最上层的时间层以外的时间层的图像的编码数据在内的子比特流的第三比特率类型设定为可变比特率；编码部，以禁止参照时间层比处理对象的图像更高的图像的方式对所述多个图像中的各个图像进行编码；以及