素中的、表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。
[0084](实施方式1)
[0085]图3是用于说明本实施方式的图像编码装置的图。
[0086]本实施方式的图像编码装置10取得120fps的帧速率的运动图像，通过将该运动图像编码而生成编码流并输出。在该编码流中包含的全部的图片被解码的情况下，以120fps的帧速率显示运动图像。此外，在该编码流中包含的一部分的多个图片被解码的情况下以60fps的帧速率显示运动图像。例如，编码流中包含的一部分的多个图片是分别属于最高层级以外的某一个层级的多个图片。
[0087]图4是表示本实施方式的使用3个层级将运动图像编码的一例的图。本实施方式的图像编码装置10通过基于与图1A所示的图片的预测构造同样的预测构造将运动图像编码，生成120fps的编码流。此时，图像编码装置10调整仅在120fps下的再现时被解码的图片的解码时刻(DTS -Decoding Time Stamp)，以使得在将该编码流以60fps再现时解码间隔成为2Τ(1/60秒)。S卩，图像编码装置10调整属于多个层级中的最高层级的多个图片的 DTS。
[0088]图5是表示本实施方式的使用4个层级将运动图像编码的一例的图。本实施方式的图像编码装置10通过基于与图1B所示的图片的预测构造同样的预测构造将运动图像编码，生成120fps的编码流。此时，图像编码装置10调整仅在120fps下的再现时被解码的图片的解码时刻，以使得在将该编码流以60fps再现时解码间隔成为2Τ(1/60秒)。
[0089]这里，在将运动图像编码时，构成称作GOP (Group Of Pictures)等的随机访问单位，以便能够从编码流的中途的图片起开始解码。在随机访问单位中在解码顺序上为开头的图片是随机访问点。例如，图4所示的图片10到图片B9是第1随机访问单位，图片116是第2随机访问单位的开头图片。这里，在第2随机访问单位中，图片B11等图片不参照图片116或在解码顺序上为图片116以后的图片，但包含在第2随机访问单位中。
[0090]此外，在被广播的编码流(即广播流)等的记录中，有记录到第1随机访问单位那样的随机访问单位的末端为止的情况。此时，尽管图片P12能够解码，图片B11由于包含在第2随机访问单位中而不能解码。因而，解码时的动作变得复杂。
[0091]这里，将满足规定的条件的图片称作超前图片(advance picture)。对于图片的规定的条件是:(1)该图片参照在解码顺序上为紧前的随机访问单位中包含的图片；(2)该图片的显示顺序比在解码顺序上为紧前的随机访问单位中包含的某一个图片靠前。另外，随机访问单位是由编码顺序及解码顺序定义的单位，编码顺序与解码顺序相同。进而，将如第1随机访问单位那样处于包含超前图片的随机访问单位的紧前的随机访问单位称作开放末端随机访问单位。此外，将开放末端随机访问单位中包含的、显示顺序比超前图片靠后的图片称作孤立图片。例如，图4中的图片B11是超前图片，图片P12是孤立图片。
[0092]图6是表示本实施方式的使用3个层级将运动图像编码的另一例的图。
[0093]本实施方式的图像编码装置10在使用3个层级实现时间可伸缩性时，也可以如图6所示，以不产生开放末端随机访问单位的方式将图像编码。
[0094]第2随机访问单位中包含的任一图片都在显示顺序上比第1随机访问单位的最后的图片P12靠后。因而，第2随机访问单位中包含的全部的图片不成为超前图片。结果，第1随机访问单位不成为开放末端随机访问单位。但是，由于与图片B1相比图片B2的解码顺序靠后，所以图片B1不能参照该图片B2。同样，由于与图片B5相比图片B6的解码顺序靠后，所以图片B5不能参照该图片B6。这样，Temporal ID为2的图片的预测构造被限制。
[0095]在图4?图6的例子中，以60p和120p的时间可伸缩性为例，对层级数为3和4的情况进行了说明。但是，能够实现的帧速率的组合及层级数并不限于此。当仅将低层级的图片解码并显示时，如果设显示的帧速率下的各图片的显示间隔为T_pts，则只要保证在解码顺序上连续的任意的图片的解码间隔与！^?^相同或是!^?^以上的条件就可以。图像编码装置10以满足该条件的方式将图像编码。
[0096]图7是用于说明本实施方式的图像解码装置20的图。
[0097]本实施方式的图像解码装置20取得通过上述图像编码装置10生成的编码流。图像解码装置20通过将该编码流中包含的全部图片解码，以120fps的帧速率显示运动图像。此外，图像解码装置20通过将该编码流中包含的一部分的多个图片解码，以60fps的帧速率显示运动图像。例如，编码流中包含的一部分的多个图片是分别属于最高层级以外的某一个层级的多个图片。
[0098]这样，在本实施方式中，编码流中包含的不属于最高层级的多个图片(以下称作下层图片)各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，通过将该等间隔设为适当的时间(例如上述的2T = 1/60秒)，能够减轻图像解码装置的处理负荷。S卩，图像解码装置将每个图片的解码不用以较高的帧速率进行，而能够以与自己的处理能力相应的帧速率进行。例如，在将60fps的编码流解码时，只要保证1张图片的解码所需的时间是1/60秒以下就可以。
[0099](变形例1)
[0100]这里，对作为随机访问单位的开头的图片的DTS进行说明。
[0101]图8是表不将图4所不的编码流以120fps再现时的各图片的解码顺序及显不顺序和 DTS 及 PTS(Presentat1n Time Stamp:显不时刻)白勺图。
[0102]这里，对于DTS及PTS各自的尾标(数字)表示显示顺序。DTS或PTS例如在广播的MPEG — 2TS (Transport Stream)中通过 PES 包的头表不。在 MMT (MPEG Media Transport)或RTP (Real — time Transport Protocol)中，通过传输层的包的头或包含在有效载荷中的编码流的头信息等表示DTS或PTS。在MPEG — DASH (Dynamic Adaptive Streamingover HTTP)等将文件不打包而发送的类型的格式中，在文件的头部分包含DTS或PTS。或者，在 MPEG — 4AVC 或 HEVC 中，通过使用 Picture Timing SEI 或 Buffering Per1d SEI等 SEI (Supplemental Enhancement Informat1n)，也能够在编码流内表不 DTS 或 PTS。
[0103]在以往的编码流中，如果被以固定的帧速率显示且在显示顺序上连续的两张图片的PTS的间隔是T，则在解码顺序上连续的两张图片的DTS的间隔也总是T。因而，再现装置(或图像解码装置)只要以在解码顺序上为开头的图片的DTS的定时开始该图片的解码，则不用参照后续的各图片的DTS，而只要每隔T的间隔依次将后续的各图片解码就可以。
[0104]另一方面，在本实施方式的编码流中，如图8所示，图片10与图片P4之间的DTS的间隔及图片P4与图片B2之间的DTS的间隔是2T(T例如是1/120秒)。此外，图片Β2与图片Β1之间的DTS的间隔及在解码顺序上为图片Β1以后的连续的两张图片之间的DTS的间隔是Τ。因而，在本实施方式的编码流中，图片间的DTS的间隔是可变的。因而，图像解码装置(或再现装置)需要参照各图片的DTS而以该DTS的定时将图片解码。
[0105]有关本变形例的图像解码装置20基于以一定间隔产生的视频处理信号的定时进行图片的解码或显示。例如，如果显示的帧速率是120fps，则图像解码装置20每隔T (例如1/120秒)产生视频处理信号，以视频处理信号的产生的定时进行图片的解码或显示。在图8所示的编码流中，图片10与图片P4之间的DTS的间隔和图片P4与图片B2之间的DTS的间隔是视频处理信号的周期T的2倍。进而，在解码顺序上为图片B2以后的连续的两张图片之间的DTS的间隔与视频处理信号的周期T相等。
[0106]图9是表示本变形例的图像解码装置20的结构的框图。
[0107]有关本变形例的图像解码装置20具有与上述实施方式的图像解码装置20同样的功能，将被编码的图片在由该图片的DTS所表示的定时解码。这样的图像解码装置20具备信号间隔设定部21、DTS取得部22、判定部23及解码部24。
[0108]图10是表示有关本变形例的图像解码装置20将全部层级的图片解码时的动作的一例的流程图。
[0109]首先，图像解码装置20的信号间隔设定部21设定产生视频处理信号的间隔或周期(以下称作V_peri0d)，以使该V_peri0d成为将全部层级解码而显示时的帧速率的倒数(步骤S21)。
[0110]接着，DTS取得部22从保存有图片的编码数据的PES包的头等中，取得作为解码对象的图片的DTS(以下称作dts_i)(步骤S22)。接着，判定部23监视视频处理信号的产生的定时，判定该定时是否与dts_i —致(步骤S23)。在图片的DTS的间隔为V_per1d的N倍的情况下，从紧前被解码的图片的解码时刻起计数，在第N次产生的视频处理信号的定时与dts_i —致。在判定为定时一致的情况下(步骤S23的“是”)，解码部24将解码对象的图片解码(步骤S24)。另一方面，在判定为定时不一致的情况下(步骤S23的“否”)，判定部23将步骤S23的处理重复执行。
[0111]另外，步骤S21只要在开头图片的解码开始前实施1次就可以，不需要每当将图片解码时进行。此外，在步骤S23的判定中，也可以在视频处理信号的产生的定时与dts_i的差分值比规定的阈值小的情况下看作两者一致。此外，图10所示的动作不仅适用于全部层级的解码与低层级的解码之间的时间可伸缩性，而且还可以适用于不同的两个低层级间的时间可伸缩性。
[0112]这样，在本变形例的图像解码装置20中，即使DTS的间隔是可变的，在DTS的间隔能够用视频处理信号的周期的整数倍表现的情况下，也能够按照可变的DTS将图片解码。结果，能够减少决定解码的定时时的处理量。
[0113]这里，考虑如50fps和120fps的时间可伸缩性那样、将全部层级解码的情况下的帧速率(以下称作Frame Rate All)不是仅将低层级解码的情况下的帧速率(以下称作Frame Rate Part)的整数倍的情形。此时，为了保证具有50fps的解码能力的图像解码装置中的解码，需要仅将低层级解码时的DTS的间隔为1/50秒。但是，由于Frame Rate All不是Frame Rate Part的整数倍，所以不仅120fps下的再现时的图片的解码间隔不是一定间隔(即固定间隔)，而且DTS的间隔(1/50秒)也不是视频处理信号的周期(1/120秒)的整数倍。结果，不能在DTS所表示的时刻进行解码，在编码图片的缓冲器等中有可能发生上溢或下溢。因而，有关本变形例的图像编码装置10在提供时间可伸缩性时，也可以决定实现时间可伸缩性的层级的组合，以使将全部层级解码时的显示的帧速率成为仅将低层级解码时的显示的帧速率的整数倍。此外，图像编码装置10也可以将表示将全部层级解码的情况下的帧速率为仅将一部分的层级解码的情况下的帧速率的整数倍的信息保存到编码流中。或者，图像编码装置10也可以在通过将编码流复用而构成的TS (Transport Stream)的描述符等中保存该信息。
[0114]此外，在随机访问单位中，将在解码顺序上为开头的图片的DTS与在显示顺序上为开头的图片的PTS的差分称作显示延迟。在图8所示的例子中，DTS0与PTS0的差分是显示延迟。在显示的帧速率为固定的以往的编码流中，DTS的间隔也是固定的，该间隔与PTS的间隔相同。因而，用对在显示顺序上为开头的图片的PTS之前被解码的图片的张数乘以PTS的间隔而得到的值表现显示延迟。在图8所示的例子中，由于在图片10的PTS之前被解码的是图片10和图片P4这两张，所以在以往的计算方法中，将显示延迟计算为2XT。但是，在图8所示的例子中，由于图片10与图片P4之间的PTS的间隔以及图片P4与图片B2之间的PTS的间隔是T的2倍，所以实际的显示延迟是4XT。这样，在以往的方法中，不能将显示延迟适当地表现。
[0115]因而，有关本变形例的图像编码装置10为了在DTS的间隔不为一定那样的编码流中也正确地表现显示延迟，也可以将表示显示延迟为PTS的间隔的几倍的信息包含在编码流中。在图8所示的例子中，PTS的间隔是T，显示延迟是T的4倍，所以图像编码装置10将显示延迟表示为4。或者，图像编码装置10也可以如“4XT”那样用实际的时间长表示显示延迟。在需要在显示顺序上为开头的图片的PTS之前被解码的图片的张数的情况下，图像编码装置10也可以与上述表示显示延迟的信息另外地表示其张数。此外，图像编码装置10有时将多个流或流的多个特定区间等进行无间断连接。此时，图像编码装置10在连接前后的流或特定区间中考虑到DTS的间隔可变而以使显示延迟相等的方式将这些流或特定区间编码。此时，图像编码装置10也可以将表示在无间断连接的前后显示延迟相等的信息保存到编码流中。此外，也可以是，图像编码装置10在将相互被无间断连接的流编码时，不是以在无间断连接的前后使在显示顺序上为开头的图片的PTS之前被解码的图片的张数相等的方式编码，而是以在无间断连接点的前后使由本变形例规定的显示延迟相等的方式编码。
[0116]此外，有关本变形例的图像编码装置10在显示的帧速率为一定即PTS的间隔为一定的情况下，也可以通知(signalling)表示DTS的间隔不为一定的辅助信息。例如，辅助信息是表示DTS的间隔是否一定的标志。在此情况下，图像解码装置20在设置有表示不一定的标志的情况下进行图10所示的动作，如果没有设置，则由于DTS的间隔是一定的，所以也可以不参照各个图片的DTS而动作。
[0117]有关本变形例的图像编码装置10既可以将上述辅助信息按每个随机访问单位设定，也可以按每个编码流单位、或者按每个在储存内容中由播放列表参照的单位来设定。在TS包中用于保存私人数据的区域(private_data_bytes等)、储存内容的内容的管理信息、或者MPEG - 4AVC或HEVC等的编码流中的SEI等内容的收发系统的多个层的哪个中都能够保存辅助信息。但是，优选的是能够在编码流的解码前参照该辅助信息，所以图像编码装置10也可以在TS等的复用层、或复用数据的管理信息等内容的收发系统的上位的层中保存辅助信息。这样，在本变形例中，将表示对于运动图像中包含的多个图片分别决定的解码时刻不是等间隔的非等间隔信息作为上述辅助信息包含在编码流中。
[0118]此外，有关本变形例的图像编码装置10当仅将具有时间可伸缩性的编码流的低层级解码时，也可以将表示在解码顺序上连续的任意的两张图片的DTS的间隔是可变的信息保存到编码流中。该信息表示:如果在仅将上述低层级解码时，显示的帧速率(以下称作frame_rate) —定，则在解码顺序上连续的任意的两张图片的DTS的间隔与1/frame_rate (秒)相同或为1/frame_rate (秒)以上。例如，在MPEG2 — TS中，在PMT (ProgramMapTables)中表示构成程序的编码流的识别信息。有关本变形例的图像编码装置10也可以通过规定PMT内的描述符来表示上述信息。例如具有60fps以内的解码能力的图像解码装置20在PMT内的描述符中表示有DTS的间隔小于1/60秒的情况下，不进行编码流的解码或再现。或者，图像解码装置20能够以各图片的解码间隔成为1/60秒以上的方式重新设定DTS而进行将各图片解码等的动作。在重新设定DTS的情况下需要PTS的变更的情况下，图像解码装置20将PTS也变更。
[0119](变形例2)
[0120]接着，对图片的解码时刻的变更进行说明。
[0121]上述实施方式的图像解码装置20在将全部层级解码时，也可以在解码开始前变更图片的DTS以使DTS的间隔成为l/frame_rate (秒)。
[0122]图11是表示将DTS变更的一例的图。
[0123]有关本变形例的图像解码装置20如图11所示，通过将图片10和图片P4的DTS变更，使DTS的间隔全部为l/frame_rate (秒)。DTS的间隔可变的图片是比在显示顺序上为开头的图片的PTS靠前被解码的图片。通过将这些图片的DTS变更，能够保证DTS的间隔为固定。此外，如果DTS的间隔为固定，则能够通过与以往同样的方法决定图片的解码定时并解码。另外，只是变更为使比在显示顺序上为开头的图片的PTS靠前被解码的图片的DTS变晚，并且变更后的DTS的间隔成为l/frame_rate (秒)。因而，在MPEG — 4AVC或HEVC的HRD(Hypothetical Reference Decoder)等的解码器模型中不发生特别的问题。
[0124]有关本变形例的图像编码装置10在将编码流通过TS复用时，也可以在PES头的TREF(Timestamp Reference)字段等中表示变更后的DTS的值。此外，在使用其他复用方式的情况下，图像编码装置10也可以表示变更前和变更后的DTS。进而，也可以将表示在将全部层级解码的情况下使用变更后的DTS等、表示解码的层级与使用的DTS或PTS的对应关系的信息表示于例如TS的描述符、传输层中的程序信息或储存内容中的管理信息中。此夕卜，图像编码装置10也可以将表示变更后的DTS的间隔是固定的或其间隔与PTS的间隔相等的信息表示于传输层中的程序信息或储存内容中的管理信息中。
[0125]通过这样，图像解码装置20即使处理能力较低，也能够仅将低层级解码。此外，将全部层级解码的处理能力较高的图像解码装置20通过将MPEG - 2TS的描述符等解析、或判定是否存在PES包头的TREF字段等，知道发送了变更后的DTS或PTS。因而，该图像解码装置20能够使用变更后的DTS或PTS将编码流解码。
[0126]此外，图像解码装置20在以能够将全部层级解码为前提记录编码流的情况下，也可以如上述那样将变更DTS后的编码流记录。此时，也可以不是使用TREF等用于保存变更后的DTS或PTS的字段，而将PES头的DTS或PTS的字段变更。
[0127](变形例3)
[0128]接着，对再现控制用的辅助信息进行说明。
[0129]图12是用于说明在开放末端随机访问单位中被解码的图片的图。
[0130]例如，在图12所示的例子中，所储存的编码流或经由通信网络取得的编码流的末端与作为开放末端随机访问单位的第1随机访问单位的末端一致。此时，不能将包含在第2随机访问单位中的图片Bll、B13、B14、B15解码。但是，能够将属于第1随机访问单位的图片P12解码。这里，图片B11是超前图