码器205从在压缩数据缓冲器204中储存的视频流中取出在指定为要解码的层的层中的图片的编码图像数据。然后，解码器205在图片的解码定时，解码这样取出的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206。
[0209]在此处，在解码器205中，从CPU 201中给要解码的层指定temporal_id。指定的层被视为包含在由多路复用器203取出的视频流(编码流)内的所有层或更低层的一部分，并且由CPU 201自动设置或者根据用户操作设置为。而且，根据DTS(解码定时戳)，从CPU 201中给解码器205提供解码定时。应注意的是，在解码每个图片的编码图像数据时，解码器205必要时读取并且使用来自未压缩数据缓冲器206的参考图片的图像数据。
[0210]图29示出解码器205的一个配置实例。解码器205包括时间ID分析单元251、目标层选择单元252、流组合单元253以及解码单元254。时间ID分析单元251读取在压缩数据缓冲器204内储存的视频流(编码流)，并且分析插入每个图片的编码图像数据的NAL单元报头内的temporal_id。
[0211]目标层选择单元252根据从时间ID分析单元251中获得的分析结果，从压缩数据缓冲器204中读取的视频流中取出指定为要解码的层的层的图片的编码图像数据。在这种情况下，根据从压缩数据缓冲器204中读取的视频流的数量以及指定层，从目标层选择单元252中输出一个或多个视频流(编码流)。
[0212]流组合单元253将从目标层选择单元252中输出的视频流(编码流)组合在一起。应注意的是，虽然与在图显示的不同，但是流组合单元253可将从cpb缓冲器204中输出的视频流(编码流)组合在一起。在这种情况下，流组合单元253同时执行目标层选择和时间ID分析。流组合单元253根据解码定时信息将图片的编码图像数据组合在一起。图30示出了流组合的一个实例。
[0213]该实例对应于在图9中示出的上述实例，并且是一个实例，其中，具有60Hz间隔的基础流的图片和具有60Hz间隔的增强流的图片组合在一起。在这种情况下，每个图片被视为时间戳120Hz的一个流。
[0214]应注意的是，一个流传输给解码单元254，并且图片的每个编码图像数据在解码定时解码并且储存在dpb(未压缩数据缓冲器)206内，如后所述。然后，在图片重新排序之后，从未压缩数据缓冲器206中依次读取每个图片的编码图像数据。在图中显示的实例中，首先读取在子图片组(由向下倾斜的虚线显示)内的图片，然后，读取在下一个子图片组(由向上倾斜的虚线显示)内的图片。在解码之后，在显示在子图片组内的图片时，在下一个子图片组内的图片储存在未压缩数据缓冲器206内，并且变成后续引用的图片。
[0215]应注意的是，多个流的图片的组合处理本身可为在上述多路复用器203中的多个所选流执行，并且可传输给压缩数据缓冲器(cpb:编码图片缓冲器)204，作为一个流。而且，同样根据解码定时信息，执行在此时的组合处理，在这种情况下，不需要在解码器中执行组合处理。
[0216]解码单元254在解码定时依次解码由流组合单元253组合的视频流(编码流)的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206。
[0217]在这种情况下，解码单元254分析VPS和SPS，了解每个子层的位速率的等级指定值“sublayer_level_idc”，例如，以检查通过解码能力是否可以解码。而且，在这种情况下，解码单元 2 54执行 SE I分析，了解(例如)“ini tial_cpb_removal_time” 和 “cpb_removal_delay”，并且检查CPU 201的解码定时是否合适。
[0218]在解码切片(切片)时，解码单元254从切片报头(切片报头)中获取“ref_idx_10_active' (ref_idx_ll_active)，作为表示时间方向的预测目的地的信息，以预测时间方向。应注意的是，处理在解码之后的图片，作为另一个图片的参考，将从切片报头(切片报头)中获取的 “short_term_ref_pic_set_idx” 或 “it_idx_sps” 用作索引。
[0219]现在，返回图25，未压缩数据缓冲器(dpb)206暂时储存由解码器205解码的每个图片的图像数据。后处理单元207在显示时间执行处理，以使依次从未压缩数据缓冲器(dpb)206中读取的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，根据PTS(呈现时间戳)，从CPU201中提供显示时间。
[0220]例如，如果在解码之后的每个图片的图像数据的帧速率是120fps并且显示能力是120fps，那么后处理单元207将在解码之后的每个图片的图像数据照原样发送给显示器。而且，例如，如果在解码之后的每个图片的图像数据的帧速率是120fps并且显示能力是60fps，那么后处理单元207执行二次采样处理，以便时间方向分辨率比在解码之后的每个图片的图像数据减少一半，并且将该数据发送给显示器，作为60fps的图像数据。
[0221]而且，例如，如果在解码之后的每个图片的图像数据的帧速率是60fps并且显示能力是120fps，那么后处理单元207执行插入处理，以便时间方向分辨率是在解码之后的每个图片的图像数据的两倍，并且将该数据发送给显示器，作为120fps的图像数据。例如，如果在解码之后的每个图片的图像数据的帧速率是60fps并且显示能力是60fps，那么后处理单元207将在解码之后的每个图片的图像数据照原样发送给显示器。
[0222]图31示出后处理单元207的一个配置实例。这是一个实例，其中，能够处理一下情况:如上所述，在解码之后的每个图片的图像数据的帧速率是120fps或60fps，并且显示能力是12Of ps 或 6Of ps。
[0223]后处理单元207包括插入单元271、二次采样单元272以及切换单元273。将来自未压缩数据缓冲器206的在解码之后的每个图片的图像数据直接输入切换单元273中，在帧速率由插入单元271翻倍之后，输入切换单元273中，或者在帧速率由二次采样单元272减少一半之后，输入切换单元273中。
[0224]将选择信息从CPU 201中供应给切换单元273。这个选择信息由CPU 201参照显示能力自动生成或者根据用户的操作生成。切换单元273根据选择信息选择性输出任何输入。因此，在显示时间依次从未压缩数据缓冲器(dpb)206中读取的每个图片的图像数据的帧速率被视为与显示能力匹配的帧速率。
[0225]图32示出解码器205和后处理单元207的处理流程的一个实例。解码器205和后处理单元207在步骤ST51中开始处理，然后，执行步骤ST52的处理。在该步骤ST52中，解码器205读取在压缩数据缓冲器(cpb:编码图片缓冲器)204内储存的作为解码目标的视频流，并且根据temporal_id，从CPU 201中选择在指定作为目标的层中的图片。
[0226]接下来，解码器205在解码定时依次解码每个所选图片的编码图像数据，将在解码之后的每个图片的图像数据传输给未压缩数据缓冲器(dpb)206，并且在步骤ST53中暂时储存数据。接下来，后处理单元207在步骤ST54中在显示时间从未压缩数据缓冲器(dpb)206中读取每个图片的图像数据。
[0227]接下来，后处理单元207确定每个图片的所读取的图像数据的帧速率是否与显示能力匹配。如果帧速率与显示能力不匹配时，那么后处理单元207在步骤ST56中使帧速率与显示能力匹配，并且将帧速率发送给显示器，在步骤ST57中完成处理。另一方面，如果帧速率与显示能力匹配，那么后处理单元207在步骤ST58中将帧速率照原样发送给显示器，然后，在步骤ST57中完成处理。
[0228]简单描述在图25中显示的接收设备200的操作。在接收单元202中，解调由接收天线接收的RF调制信号，以获取传输流TS。将这个传输流TS发送给多路复用器203。在多路复用器203中，根据解码能力(解码器时间层能力)，从传输流TS中PID过滤所有或一部分视频流。
[0229]例如，如果解码能力高，那么选择基础流和增强流的所有视频流。而且，例如，如果解码能力低，那么选择包括可解码的层的预定数量的视频流和基础流。然后，所选的视频流的图片的编码图像数据从多路复用器203中传输给压缩数据缓冲器(cpb:编码图片缓冲器)204，并且暂时储存。
[0230]在解码器205中，从在压缩数据缓冲器204中储存的视频流中取出在指定为要解码的层的层中的编码图像数据。然后，在解码器205中，以解码定时解码这样取出的每个图片的编码图像数据，将该数据发送给未压缩数据缓冲器(dpb)206，并且暂时储存。在这种情况下，在每个图片的编码图像数据解码时，必要时从未压缩数据缓冲器206中读取参考图片的图像数据，并且使用该数据。
[0231]将以显示定时依次从未压缩数据缓冲器(dpb)206中读取的图片的图像数据发送给后处理单元207。在后处理单元207中，执行插入或者二次采样，用于使每个图片的图像数据的帧速率与显示能力匹配。将在后处理单元207中处理的每个图片的图像数据供应给显示器，并且显示每个图片的图像数据的运动图像。
[0232]如上所述，在图1中显示的发送/接收系统10中，在接收侧上，执行编码，以便在最低层组内的图片的编码图像数据的解码间隔至少是规则间隔。因此，在接收器具有对最低层组的多个层内的图片的编码图像数据上执行处理的解码能力的情况下，例如，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0233]而且，在图1中显示的发送/接收系统10中，在发送侧上执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于所述层组的所有层组内的图片的编码图像数据的平均解码定时。因此，在接收器具有不仅解码在最低层组内的而且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力的情况下，可以对每个图片依次并且平稳地执行解码处理。
[0234]而且，在图1中显示的发送/接收系统10中，在发送侧上，在多个层分成预定数量的层组的情况下，进行划分，以便最低层组包括多个层，并且比最低层组更高的层组包括一个层。因此，例如，在接收器具有对最低层组内的多个层内的图片的编码图像数据执行处理的解码能力的情况下，仅仅需要仅仅选择在最低层组内具有图片的编码图像数据的视频流，在缓冲器内采用该视频流，并且对该视频流执行解码处理的配置，并且不需要对多个视频流执行组合处理的复杂配置。
[0235]而且，在图1中显示的发送/接收系统10中，在发送侧上，用于识别预定数量的视频流中的每个是基础流还是增强流的识别信息插入传输流TS的层内。因此，接收器可以容易选择基础流，并且选择性解码在更低层组内的图片的编码图像数据，例如，通过使用识别信息。
[0236]而且，在图1中显示的发送/接收系统10中，在发送侧上，视频流的配置信息插入传输流TS的层内，对应于包含在传输流TS内的预定数量的视频流。因此，例如，接收器可以容易了解包含在传输流TS内的每个视频流属于哪组、在视频流之间具有什么流依赖关系以及层的数量。
[0237]而且，在图1中显示的发送/接收系统10中，在接收器侧上，从所接收的视频流中，根据解码能力(解码器时间层能力)，在压缩数据缓冲器204中选择性取出在等于或低于预定层的层内的图片的编码图像数据，并且解码。因此，例如，根据解码能力，可以执行适当的解码处理。
[0238]而且，在图1中显示的发送/接收系统10中，在接收器侧上，使在解码之后的每个图片的图像数据的帧速率与在后处理单元207中的显示能力。因此，即使解码能力低，例如，也能够获取与显示能力匹配的帧速率的图像数据。
[0239]〈2、变形例〉
[0240]应注意的是，在上述实施方式中，作为层最大值的信息的“max_layer_in_group”写入多流描述符中(见图18)中，并且发送给接收器。然而，并未将层最大值的信息写入描述符中并且将其供应给接收器，可以描述在文件或书面标准的表面上“指定最大层”，以提前指定或者设置在接收设备中的层最大值。而且，在这种情况下，接收器引用层最大值的信息，根据自身解码能力，对包括层的流执行滤波，并且执行解码处理，与如上所述从传输器侧中给其供应描述符的情况相似。
[0241]而且，在上述实施方式中，描述时间可扩展性(时间可扩展性)的一个实例，并且多流描述符用于将每个流的配置信息发送给接收器。然而，虽然省略了详细描述，但是可以在服务中应用上述多流描述符，其中，基础流(基础流)和扩展流(增强流)共存，涉及可扩展性，例如，空间可扩展性和位速率可扩展性。具体而言，在执行多流编码时，上述多流描述符表不一种有用的信令方法。
[0242]而且，在上述实施方式中，描述了包括发送设备100和接收设备200的发送/接收系统10。然而，可以应用本技术的发送/接收系统的配置不限于此。例如，接收设备200部分可具有由数字接口(例如，HDMI(高清晰度多媒体接口)连接的机顶盒和显示器的配置。应注意的是，“HDMI”是是注册商标。
[0243]而且，在上述实施方式中，描述了内容是传输流(MPEG-2TS)的实例。然而，本技术可以同样适用于系统中，该系统具有使用网络(例如，互联网)执行到接收终端的传送的配置。在使用互联网传送的情况下，由内容通过MP4等格式执行传送。换言之，具有各种格式(例如，由数字广播标准和MP4采用的传输流(MPEG-2TS))以及由互联网传送的MP4对应于内容。
[0244]而且，本技术可以采用以下配置。
[0245](I)一种编码设备，包括:
[0246]图像编码单元，配置为:
[0247]将构成运动图像数据的每个图片的图像数据分类成多个层，
[0248]编码每个分类的层中的图片的图像数据，
[0249]将多个层划分成预定数量的层组，并且
[0250]生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0251](2)根据以上(I)所述的编码设备，其中，
[0252]图像编码单元执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
[0253](3)根据以上(I)或(2)所述的编码设备，其中，
[0254]图像编码单元将多个层划分成预定数量的层组，以便最低层组包括多个层并且高于最低层组的层组包括一个层。
[0255](4)—种编码方法，包括:
[0256]由图像编码单元将构成运动图像数据的每个图片的图像数据分类成多个层；
[0257]编码每个分类的层中的图片的图像数据；
[0258]将多个层划分成预定数量的层组;并且
[0259]生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0260](5)一种发送设备，包括:
[0261]图像编码单元，配置为:
[0262]将构成运动图像数据的每个图片的图像数据分类成多个层，
[0263 ]编码每个分类的层中的图片的图像数据，
[0264]将多个层划分成预定数量的层组，并且
[0265]生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流;以及
[0266]发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0267](6)一种发送设备，包括:
[0268]图像编码单元，配置为:
[0269]将构成运动图像数据的每个图片的图像数据分类成多个层，
[0270]编码每个分类的层中的图片的图像数据，
[0271 ]将多个层划分成预定数量的层组，并且
[0272]生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流；