图像编码方法、图像解码方法、图像编码装置及图像解码装置的制造方法

图像编码方法、图像解码方法、图像编码装置及图像解码装置的制造方法
【技术领域】
[0001]本发明涉及将图像进行层级编码的图像编码方法及将被层级编码的图像解码的图像解码方法等。
【背景技术】
[0002]以往，提出了将图像进行层级编码的图像编码方法、以及将该通过层级编码进行编码而得到的图像解码的图像解码方法(例如参照非专利文献1)。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:Joint Collaborative Team on Video Coding(JCT — VC)of ITU —T SG16 WP3 and IS0/IEC JTC1/SC29/WG11 12th Meeting:Geneva，CH，14 — 23 Jan.2013JCTVC — L1003_v34.doc, High Efficiency Video Coding(HEVC)text specificat1ndraft 10(for FDIS&Last Call)http://phenix.1t — sudparis.eu/jct/doc_end_user/documents/12_Geneva/wgl1/JCTVC — L1003 — v34.zip

【发明内容】

[0006]有关本发明的一技术方案的图像编码方法，是按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码的图像编码方法，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在被编码的上述运动图像中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间、上述多个下层图片分别被解码的定时相同；按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻。
[0007]另外，这些包括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD — ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0008]本发明的图像编码方法及图像解码方法能够抑制处理负荷。
【附图说明】
[0009]图1A是表示用于实现基于HEVC的时间可伸缩性的一例的图。
[0010]图1B是表示用于实现基于HEVC的时间可伸缩性的另一例的图。
[0011]图2是用于说明不能将120fps的编码流解码的课题的图。
[0012]图3是用于说明实施方式1的图像编码装置的图。
[0013]图4是表示实施方式1的使用3个层级将运动图像编码的一例的图。
[0014]图5是表示实施方式1的使用4个层级将运动图像编码的一例的图。
[0015]图6是表示实施方式1的使用3个层级将运动图像编码的另一例的图。
[0016]图7是用于说明实施方式1的图像解码装置的图。
[0017]图8是表示有关实施方式1的变形例1的、将编码流以120fps再现时的各图片的解码顺序及显示顺序和DTS及PTS的图。
[0018]图9是表示有关实施方式1的变形例1的图像解码装置的结构的框图。
[0019]图10是表示有关实施方式1的变形例1的图像解码装置将全部层级的图片解码时的动作的一例的流程图。
[0020]图11是表示有关实施方式1的变形例2的将DTS变更的一例的图。
[0021]图12是用于说明有关实施方式1的变形例3的在开放末端随机访问单位中被解码的图片的图。
[0022]图13是表示有关实施方式1的变形例3的图像解码装置基于再现控制用的辅助信息将运动图像解码的动作的一例的流程图。
[0023]图14是表示有关实施方式1的变形例4的DTS或PTS的变换的一例的图。
[0024]图15A是有关本发明的一形态的图像编码装置的框图。
[0025]图15B是表示有关本发明的一形态的图像编码方法的流程图。
[0026]图15C是有关本发明的一形态的图像解码装置的框图。
[0027]图15D是表示有关本发明的一形态的图像解码方法的流程图。
[0028]图16是实现内容分发服务的内容供给系统的整体结构图。
[0029]图17是数字广播用系统的整体结构图。
[0030]图18是表示电视机的结构例的框图。
[0031]图19是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
[0032]图20是表示作为光盘的记录介质的构造例的图。
[0033]图21A是表示便携电话的一例的图。
[0034]图21B是表示便携电话的结构例的框图。
[0035]图22是表示复用数据的结构的图。
[0036]图23是示意地表示各流在复用数据中怎样被复用的图。
[0037]图24是更详细地表示在PES包序列中视频流怎样被存放的图。
[0038]图25是表示复用数据中的TS包和源包的构造的图。
[0039]图26是表示PMT的数据结构的图。
[0040]图27是表示复用数据信息的内部结构的图。
[0041 ]图28是表示流属性信息的内部结构的图。
[0042]图29是表示识别影像数据的步骤的图。
[0043]图30是表示各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的结构例的框图。
[0044]图31是表示切换驱动频率的结构的图。
[0045]图32是表示识别影像数据、切换驱动频率的步骤的图。
[0046]图33是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0047]图34A是表示将信号处理部的模块共用的结构的一例的图。
[0048]图34B是表示将信号处理部的模块共用的结构的其他一例的图。
【具体实施方式】
[0049](作为本发明的基础的认识)
[0050]本发明者关于在“【背景技术】”部分中记载的上述非专利文献1发现会发生以下的问题。
[0051]在MPEG—4 AVC (Moving Picture Experts Group — 4 Advanced Video Coding)或HEVC (High Efficiency Video Coding)等编码方式中，通过将图片层级性地编码，能够实现时间方向的可伸缩性(以下称作时间可伸缩性)。例如，通过将全部的图片解码，能够进行120fps下的再现，通过仅将属于特定的层级的图片解码，能够进行60fps下的再现。
[0052]通过利用这样的时间可伸缩性，能够实现通过仅将属于特定的层级的图片以120fps的间隔解码而进行的2倍速再现。进而，在不对应于以120fps的间隔解码的再现装置(以下称作120fps非对应再现装置)中，有可能能够将120fps的编码流以60fps再现。
[0053]图1A和图1B是表示用于实现基于HEVC的时间可伸缩性的一例的图。在这些图中，表示层级间的参照关系及各图片的解码顺序(即编码顺序)。
[0054]图1A表示将各图片通过3层构造编码的例子。图1A中的TId是Temporal ID，是用于识别层级的识别码。此外，I表示I图片(帧内预测图片)，P表示P图片(例如前方参照预测图片)，B表示B图片(例如双向参照预测图片)。此外，1、P及B各自的右旁附带的数字表示这些图片的显示顺序。此外，箭头表示图片间的参照关系，例如图片B2参照图片10和图片P4。S卩，在该层级间的参照关系中，图片不参照属于比该图片所属的层级高的层级的图片，而参照属于与该图片所属的层级相同的层级或比该层级低的层级的图片而编码。这里，如果将属于Temporal ID为0到2的全部层级中的某一个层级的各图片解码，则帧速率为120fps。在此情况下，如果将属于Temporal ID为0到1的某一个层级的各图片解码，则帧速率为60fps。
[0055]图1B表示将各图片通过4层构造编码的例子。在此情况下，如果将属于TemporalID为0到3的全部层级中的某一个层级的各图片解码，则帧速率为120fps。在此情况下，也如果将属于Temporal ID为0到2的某一个层级的各图片解码，则帧速率为60fps。
[0056]如上述那样，120fps非对应再现装置通过使用时间可伸缩性，S卩，通过仅将120fps的编码流中的属于一部分层级的图片解码，有可能能够实现60fps的再现。
[0057]但是，在此情况下，120fps非对应再现装置有时必须以比1/60秒短的间隔将各图片解码。因而，120fps非对应再现装置即使使用时间可伸缩性，由于将各图片解码的间隔较短，所以也有不能将120fps的编码流解码的问题。
[0058]图2是用于说明120fps非对应再现装置不能将120fps的编码流解码的问题的图。图2所示的编码流是图1A所示的120fps的编码流。120fps非对应再现装置在将该编码流以60fps再现的情况下，仅将属于Temporal ID为0的层级的各图片和属于TemporalID为1的层级的各图片解码。
[0059]图2中的T相当于与120fps对应的时间、S卩1/120秒。广播内容或储存内容中，当以固定帧速率显示内容时，通常将解码也以固定的帧速率进行。因而，在120fps的再现时，各图片被解码的间隔(以下称作解码间隔)及各图片被显示的间隔(以下称作显示间隔)都是T。
[0060]因而，在60fps的再现时，解码间隔和显示间隔也都需要为与60fps对应的时间即2T的间隔。但是，如图2所示，在以60fps进行再现的情况下，图片10与图片P4的解码间隔或图片P4与图片B2的解码间隔是T。在作为解码间隔而需要2T的时间的120fps非对应再现装置中，有图片的解码赶不上的问题。即，在120fps非对应再现装置中有处理负荷较高的问题。
[0061]为了解决这样的问题，有关本发明的一形态的图像编码方法，是按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码的图像编码方法，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在被编码的上述运动图像中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间、上述多个下层图片分别被解码的定时相同；按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻。
[0062]由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，通过使该等间隔为适当的时间，能够减轻图像解码装置的处理负荷。即，图像解码装置将各个图片的解码不用以较高的帧速率进行、而能够以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅其多个下层图片被解码的情况之间，该多个下层图片各自被解码的定时相同。因而，图像解码装置在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况之间，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置的处理负荷。
[0063]此外，也可以是，在上述解码时刻的决定中，将上述运动图像中包含的多个图片中的一部分的多个图片、且属于上述最高层级的多个最上层图片的各自的解码时刻决定为上述多个下层图片各自的解码时刻之间。
[0064]由此，在编码流被解码时，最上层图片和下层图片分别被交替地解码。因而，在编码流中，多个下层图片分别被解码的时刻的间隔都比解码流的全部图片分别被解码的时刻的间隔长。结果，图像解码装置在仅将多个下层图片解码时，与将解码流的全部图片分别解码时相比，能够以确实低的帧速率将各图片解码。因而，能够可靠地减轻图像解码装置的处理负荷。
[0065]此外，也可以是，在上述解码时刻的决定中，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述多个最上层图片及上述多个下层图片中的在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔的2倍的时间与上述等间隔的时间相等。
[0066]由此，多个下层图片各自的解码时刻的间隔都为在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔、即解码流的全部图片分别被解码的时刻的间隔的2倍。因而，在将编码流的全部图片解码并显示时的帧速率是120fps的情况下，图像解码装置能够以60fps的帧速率的倒数的时间间隔将编码流中包含的多个下层图片分别没有负担地解码。
[0067]此外，也可以是，在上述运动图像具有多个由在解码顺序上连续的多个图片构成的随机访问单位的情况下，在上述解码时刻的决定中，按每个上述随机访问单位决定该随机访问单位内的各图片的解码时刻，以使得在该随机访问单位中，不参照其他随机访问单位中包含的图片而能够将除了在显示顺序上比在解码顺序上为开头的图片靠前被显示的图片以外的全部图片解码。例如，上述开头的图片是被禁止在解码顺序上比该开头的图片靠后的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。或者，上述开头的图片是被许可在解码顺序上比该开头的图片靠后且在显示顺序上比该开头的图片靠前的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。
[0068]由此，图像解码装置能够按每个随机访问单位将该随机访问单位中包含的多个图片分别适当地解码。
[0069]此外，也可以是，在上述解码时刻的决定中，决定被编码的上述运动图像中包含的全部图片各自的解码时刻，以使得在上述全部图片被解码并显示的帧速率是f的情况下，上述全部图片中包含的上述多个下层图片各自的解码时刻相偏离由上述f的倒数的η倍(η是2以上的整数)表示的时间。
[0070]由此，图像解码装置能够以该帧速率的倒数的η倍的时间间隔将多个下层图片的各自依次没有负担地解码。
[0071]此外，也可以是，上述图像编码方法还将表示显示延迟的显示延迟信息包含在上述编码流中，上述显示延迟是上述运动图像中包含的在解码顺序上为开头的图片的解码时刻与上述运动图像中包含的在显示顺序上为开头的图片的显示时刻之间的时间。
[0072]由此，图像解码装置能够从编码流取得显示延迟信息。因而，图像解码装置如果从比显示开始时刻靠前由该显示延迟信息表示的显示延迟的时刻起开始编码流的解码，则能够从该显示开始时刻起没有延迟地显示运动图像。
[0073]此外，也可以是，上述图像编码方法还将非等间隔信息包含在上述编码流中，该非等间隔信息表示对上述运动图像中包含的多个图片分别决定的解码时刻不是等间隔。
[0074]由此，图像解码装置能够从编码流取得非等间隔信息。因而，图像解码装置能够判断为不能将编码流中包含的多个图片分别以显示的帧速率依次解码。结果，图像解码装置能够一边参照对编码流中包含的多个图片分别决定的解码时刻一边将这些多个图片在适当的定时解码。
[0075]此外，有关本发明的一形态的图像解码装置，将编码流解码，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像，上述图像解码方法中，从上述编码流取得上述编码流中包含的多个图片各自的解码时刻，上述多个图片各自的解码时刻被决定为，上述编码流中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在上述编码流中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间，上述多个下层图片各自被解码的定时相同；按照所取得的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。
[0076]由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，如果该等间隔为适当的时间，则能够减轻图像解码装置的处理负荷。即，图像解码装置将各个图片的解码不用以较高的帧速率进行、而能够以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅其多个下层图片被解码的情况之间，该多个下层图片分别被解码的定时相同。因而，图像解码装置在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况下，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置的处理负荷。
[0077]此外，也可以是，上述图像解码方法还在上述编码流中包含的多个图片各自的解码时刻不是等间隔的情况下，将上述多个图片各自的解码时刻变更为等间隔；在上述编码流的解码中，按照变更后的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。
[0078]由此，多个图片各自的解码时刻被变更为等间隔，所以图像解码装置能够每经过等间隔的时间则将编码流中包含的多个图片分别解码。因而，能够进一步减轻图像解码装置的处理负荷。
[0079]此外，也可以是，在上述编码流的解码中，按上述编码流中包含的每个图片，判定针对该图片取得的解码时刻是否与按每预先设定的周期产生的处理信号的产生定时一致，在判定为一致时将该图片解码。例如，上述图像解码方法还将上述编码流中包含的全部图片被解码而显示时的帧速率的倒数决定为上述预先设定的周期。
[0080]由此，即使多个图片各自的解码时刻不是等间隔，也能够将多个图片分别在该图片的解码时刻适当地解码。
[0081]另外，这些包括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD — ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0082]以下，参照附图对实施方式具体地说明。
[0083]另外，以下说明的实施方式都表不本发明的一具体例。在以下的实施方式中表不的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要