运动图像中，将以显不顺序排列的多个图片中的开头的I图片的Tid决定为0。进而，决定部101按以显示顺序排列的该开头的I图片以后的多个图片中的每个连续的M(M是2以上的整数)张图片(以下称作图片集)，将作为该图片集中的最后的图片的I图片或P图片的Tid决定为0。在图片集中在显示顺序上为最后的图片是I图片或P图片，将该I图片或P图片的Tid决定为0。此外，将Tid被决定为0的图片以下称作0层级图片。例如，在图1A所示的例子中，包括图片B1、图片B2、图片B3及图片P4的4张图片相当于上述图片集。并且，将图片P4决定为0层级图片。
[0181]接着，决定部101将图片集中包含的0层级图片以外的至少1个图片(例如B图片)、且作为决定Tid的候选的至少1个图片确定为候选图片。该候选图片是在已经被决定Tid的两个既定图片的中间被显示的图片。例如，在图1A所示的例子中，在图片10和图片P4的各自的Tid已经被决定的情况下，图片10和图片P4是既定图片。在此情况下，在包括图片B1?B3及图片P4的图片集中，将作为在图片10与图片P4的中间被显示的图片的图片B2确定为候选图片。
[0182]进而，如果这样确定的候选图片有多个，则决定部101将这些候选图片中的在显示顺序上为开头的候选图片的Tid决定为对与该开头的候选图片对应的上述两个既定图片的Tid中不低的Tid加上1后的值N。例如，在图1B所示的例子中，在图片10、图片P8及图片B4的各自的Tid已经被决定的情况下，该图片10、图片P8及图片B4是既定图片。在此情况下，在包括图片B1?B7及图片P8的图片集中，将作为在图片10与图片B4的中间被显示的图片的图片B2、以及作为在图片B4与图片P8的中间被显示的图片的图片B6确定为候选图片。因而，决定部101将这些候选图片B2及B6中的在显示顺序上为开头的候选图片B2的Tid决定为对与该开头的候选图片B2对应的两个既定图片10及B4的Tid中不低的Tid = 1加上1后的值(N = 2)。
[0183]决定部101反复进行这样的候选图片的确定和Tid的决定，直到N是K以下的范围、并且包含在图片集中的0层级图片以外的全部图片的ITd被决定。结果，如图1A或图1B所示，对各图片决定Tid。
[0184]接着，决定部101将上述开头的I图片的解码顺序决定为1号。例如，决定部101如图6所示，将作为开头的I图片的图片10的解码顺序决定为1号。
[0185]并且，决定部101按每个上述图片集决定该图片集内的多个图片各自的解码顺序。具体而言，决定部101在该图片集中将0层级图片的解码顺序决定为开头。并且，决定部101在包含在该图片集中的0层级图片以外的多个图片中，从在显示顺序上靠前的图片起，将该图片的解码顺序决定为已经决定的解码顺序的紧后。例如，决定部101在包括图片B1?B7及图片P8的图片集中，将作为0层级图片的图片P8的解码顺序决定为开头。并且，决定部101以在图片P8之后，图片B1、图片B2、图片B3依次接着的方式决定图片B1?B3的解码顺序，
[0186]此外，决定部101决定为将以显示顺序配置的多个图片集以其排列的顺序解码。即，决定部101将图片集的开头的解码顺序决定为在显示顺序上为紧前的图片集的最后的解码顺序、或对上述开头的I图片(图片10)的解码顺序加上1后的顺序数。
[0187]进而，决定部101如果决定开头的I图片(图片10)的解码时刻，则将在该I图片的解码顺序上为紧后的图片(图片P4)的解码时刻决定为对该I图片的解码时刻加上上述时间单位(1/120秒)X2后的时刻。此外，决定部101将解码顺序比上述紧后的图片(图片P4)靠后的各图片的解码时刻决定为对在解码顺序上为紧前的图片的解码时刻加上上述时间单位后的时刻。
[0188]通过如上述那样由决定部101决定各图片的解码时刻，多个下层图片各自的解码时刻成为等间隔、即上述时间单位(1/120秒)X2的间隔。
[0189]此外，在步骤S101中的解码时刻的决定中，在被编码的运动图像中包含的全部的图片被解码并显示的帧速率是f的情况下，也可以将全部图片的各自的解码时刻决定为，使全部图片中包含的多个下层图片各自的解码时刻偏离由该f的倒数的η倍(η是2以上的整数)表示的时间。
[0190]由此，图像解码装置能够以该帧速率的倒数的η倍的时间间隔将多个下层图片各自依次没有负担地解码。
[0191]此外，也可以是，有关本发明的一形态的图像编码方法还将表示显示延迟的显示延迟信息包含在编码流中，该显示延迟是运动图像中包含的在解码顺序上为开头的图片的解码时刻与运动图像中包含的在显示顺序上为开头的图片的显示时刻之间的时间。
[0192]由此，图像解码装置能够从编码流取得显示延迟信息。因而，图像解码装置如图8所示，如果从比显示开始时刻靠前由该显示延迟信息表示的显示延迟的时刻起开始编码流的解码，则能够从该显示开始时刻起没有延迟地显示运动图像。
[0193]此外，也可以是，有关本发明的一形态的图像编码方法还将非等间隔信息包含在编码流中，该非等间隔信息表示对于运动图像中包含的多个图片分别决定的解码时刻不是等间隔。
[0194]由此，图像解码装置能够从编码流取得非等间隔信息。因而，图像解码装置能够将编码流中包含的多个图片分别判断为不能以显示的帧速率依次解码。结果，图像解码装置按照图10所示的流程图，能够一边参照对编码流中包含的多个图片分别决定的解码时刻，将这些多个图片以适当的定时解码。
[0195]图15C是有关本发明的一形态的图像解码装置的框图。
[0196]有关本发明的一形态的图像解码装置200是将编码流解码的装置，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像。该图像解码装置200具备取得部201和解码部202。
[0197]取得部201从编码流取得该编码流中包含的多个图片各自的解码时刻。这里，多个图片各自的解码时刻是如以下这样决定的。即，这些解码时刻被决定为，使编码流中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。进而，这些解码时刻被决定为，在编码流中包含的多个图片被解码的情况与仅多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。
[0198]解码部202按照所取得的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。
[0199]图lf5D是表示有关本发明的一形态的图像解码方法的流程图。
[0200]有关本发明的一形态的图像解码方法是图像解码装置200将编码流解码的方法，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像。该图像解码方法包括步骤S201和步骤S202。
[0201]在步骤S201中，从该编码流取得编码流中包含的多个图片各自的解码时刻。这里，多个图片各自的解码时刻是如以下这样决定的。即，这些解码时刻被决定为，使编码流中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。进而，这些解码时刻被决定为，在编码流中包含的多个图片被解码的情况与仅多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。
[0202]在步骤S202中，按照所取得的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。
[0203]由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置200能够仅将编码流中的多个下层图片解码。此夕卜，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置200在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，如果该等间隔是适当的时间，则能够减轻图像解码装置200的处理负荷。S卩，图像解码装置200将各个图片的解码不用以较高的帧速率进行，而以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅该多个下层图片被解码的情况之间，该多个下层图片各自被解码的定时相同。因而，图像解码装置200在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况下，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置200的处理负荷。
[0204]此外，也可以是，有关本发明的一形态的图像解码方法还在编码流中包含的多个图片各自的解码时刻不是等间隔的情况下，将该多个图片各自的解码时刻变更为等间隔，在编码流的解码中，按照变更后的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。
[0205]由此，例如图11所示，多个图片各自的解码时刻被变更为等间隔，所以图像解码装置200能够将编码流中包含的多个图片各自每经过等间隔的时间则解码。因而，能够进一步减轻图像解码装置200的处理负荷。
[0206]此外，也可以是，有关本发明的一形态的图像解码方法在编码流的解码中，按编码流中包含的每个图片，判定对于该图片取得的解码时刻是否与按每预先决定的周期产生的处理信号(相当于上述视频处理信号)的产生定时一致，在判定为一致时，将该图片解码。例如，也可以是，图像解码方法还将编码流中包含的全部图片被解码并显示时的帧速率的倒数决定为上述预先设定的周期。
[0207]由此，如图10的流程图所示，即使多个图片各自的解码时刻不是等间隔，也能够将多个图片各自在该图片的解码时刻适当地解码。
[0208]另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。这里，实现上述实施方式或变形例的图像编码装置10、100的软件使计算机执行包含在图15B所示的流程图中的各步骤。此外，实现上述实施方式或变形例的图像解码装置20、200的软件使计算机执行包含在图lf5D所示的流程图中的各步骤。
[0209](实施方式2)
[0210]通过将用于实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、1C卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0211]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0212]图16是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0213]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网 exl04、及基站 exl06 ?exllO 连接着计算机 exlll、PDA(Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等各设备。
[0214]但是，内容供给系统exlOO并不限定于图16那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl06?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0215]照相机exll3是数字摄像机等能够进行运动图像摄影的设备，照相机exll6是数字照相机等能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communicat1ns)方式、CDMA (Code Divis1n MultipleAccess)方式、W — CDMA (Wideband — Code Divis1n Multiple Access)方式、或 LTE (LongTerm Evolut1n)方式、HSPA (High Speed Packet Access)的便携电话机、或PHS (PersonalHandyphone System)等，是哪种都可以。
[0216]在内容供给系统exlOO中，通过将照相机exll3等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机exlll、PDAexll2、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0217]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0218]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到计算机exlll等可读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0219]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据方差处理、记录、及分发的。
[0220]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0221]另外，并不限定于内容供给系统exlOO的例子，如图17所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0222]此夕卜，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0223]图18是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0224]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305 (即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用于能够安装SD卡等的记录介质ex216的插槽部ex314、用于与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另夕卜，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0225]首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而