提取单元236从包括PES数据包的TS有效载荷中提取PES数据包。PES报头提取单元237从在PES数据包提取单元236中提取的PES数据包中提取PES报头。时间戳提取单元232提取逐个图片插入PES报头内的时间戳(DTS、PTS)，并且将时间戳发送给CPU201，并且还发送给流配置单元241。
[0147]识别信息提取单元239提取用于识别图片所属的层次组的识别信息，所述识别信息被逐个图片插入PES报头内，并且识别信息提取单元239将识别信息发送给流配置单元241。例如，在多个层次分成2个(低层次组和高层次组)时，识别信息提取单元239提取PES报头的“PES_pri0rity”的1位字段的优先级程度信息，并且将优先级程度信息发送给流配置单元241。应注意的是，在传输流TS内包括单个视频流时，识别信息必定在发送侧插入，但是在传输流TS内包括多个视频流时，识别信息可以不在发送侧插入。
[0148]PES有效载荷提取单元240从在PES数据包提取单元236中提取的PES数据包中提取PES有效载荷，S卩，各个层次的图片的编码图像数据。流配置单元241从在PES有效载荷提取单元240中取出的各个层次的图片的编码图像数据中选择性取出对应于解码能力(解码器时间层能力)的层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。在这种情况下，流配置单元241参考包含在PSI表格/描述符提取单元235内的层次?目息和流配置?目息、在识别?目息提取单兀239内提取的识别彳目息(优先级程度?目息)等。
[0149]例如，假设包含在传输流TS内的视频流(编码流)的帧速率是120fps。例如，假设多个层次分成2个，包括在低层次侧上的层次组和在高层次侧上的层次组，并且各个层次组的图片的帧速率是60fps。例如，在图3中显示的层次编码的实例中，层次0到3用作在低层次侧上的层次组，为此，支持60fps的leVel_idc的解码器可以执行解码。进一步，层次4用作在高层次侧上的层次组，为此，支持120fps的leveljdc的解码器可以执行解码。
[0150]在这种情况下，在传输流TS中，包括包含每个层次组的图片的编码数据的单个视频流(编码流)，或者包括两个视频流(编码流)，即，包括在低层次侧上的层次组的图片的编码图像数据的基础流(B_Str)和包括在高层次侧上的层次组的图片的编码图像数据的延伸流(E_Str)ο
[0151]在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。另一方面，在解码能力不支持120fps，而是支持60fps时，流配置单元241仅仅取出在低层次侧上的层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。
[0152]图17示出在传输流TS包括单个视频流(编码流)时流配置单元241的图片(切片)选择的一个实例。在此处，“高”表示在高层次侧上的层次组的图片，并且“低”表示在低层次侧上的层次组的图片。进一步，“P”表示“PES_pr1rity”。
[0153]在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。另一方面，在解码能力不支持12(^口8，而是支持6(^口8时，流配置单元241根据“PES_pr1rity”，进行过滤，仅仅取出在低层侧次上的层次组的图片(其中，P = l)，并且将该图片发送给编码图片缓冲器(cpb)204。
[0154]图18示出在传输流TS包括基础流和延伸流的两个视频流(编码流)时流配置单元241的图片(切片)选择的一个实例。在此处，“高”表示在高层次侧上的层次组的图片，并且“低”表示在低层次侧上的层次组的图片。进一步，假设基础流的数据包标识符(PID)是PIDA，并且延伸流的数据包标识符(PID)是PID B。
[0155]在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。在这种情况下，流配置单元241根据解码定时信息将各个图片的编码图像数据转换成一个流，并且将流发送给编码图片缓冲器(cpb)204o
[0156]在这种情况下，DTS的值被视为解码定时，并且将流收集成一个，以便值在图片之间单调递增。可以在从对应于流的数量提供的多个编码图片缓冲器(cpb)204中读取的多个流上执行将图片收集成一个的这种处理，并且可以在此流上执行解码处理。
[0157]另一方面，在解码能力不支持120fps，而是支持60fps时，流配置单元241根据数据包标识符(PID)，进行过滤，仅仅取出在具有PID A的低层侧次上的层次组的图片，并且将该图片发送给编码图片缓冲器(cpb)204。
[0158]应注意的是，流配置单元241具有选择性重写被发送给编码图片缓冲器(cpb)204的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。这使得甚至在具有低解码能力的解码器205中，能够执行现实的解码处理。
[0159]图19是在图3中示出的层次编码的实例中将层次组分成在低层次侧上的层次组和在高层次侧上的层次组并且属于层次组的图片的编码图像数据在流配置单元241中选择性取出并且发送给编码图片缓冲器(cpb)204的情况。
[0160]图19的(a)部分示出了在调整解码间隔之前的解码定时。在这种情况下，图片的解码间隔不同，并且最短的解码间隔等于在120fps的全分辨率的解码间隔。与此相反，图19的(b)部分显示了在调整解码间隔之后的解码定时。在这种情况下，使图片的解码间隔相等，并且解码间隔是在全分辨率的解码间隔的1/2。通过这种方式，在各个层次内，根据目标解码器的能力，调整解码间隔。
[0161]图20示出多路分用器203的处理流程的一个实例。该处理流程示出了以下情况:传输流TS包括单个视频流(编码流)。
[0162]多路分用器203在步骤ST31开始处理，然后，移到步骤ST32的处理。在步骤ST32中，从CPU 201设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST33中确定是否提供解码所有层次(层)的能力。
[0163]在提供解码所有层次的能力时，在步骤ST34中，多路分用器203多路分用穿过合适的PID滤波器的所有TS数据包，并且执行区段解析(sect1n parsing)。然后，多路分用器203移到步骤ST35的处理。
[0164]在步骤ST33中，当未提供解码所有层次的能力时，在步骤ST36中，多路分用器203多路分用“PES_pri0rity”为“1”的TS数据包，并且执行区段解析。然后，多路分用器203移到步骤ST35的处理。
[0165]在步骤ST35中，多路分用器203在目标PI D区段中读取HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extens1n_descriptor)，并且获得延伸流的有无、可扩展的类型、流的数量和ID、temporal_id的最大和最小值、以及各个层的解码器支持等级。
[0166]接下来，多路分用器203在步骤ST37中将作为PID的目标的编码流发送给编码图片缓冲器(cpb)204并且将DTS和PTS通知给CPU 201。在步骤ST37的处理之后，多路分用器203在步骤ST38中结束处理。
[0167]图21示出多路分用器203的处理流程的一个实例。该处理流程示出了以下情况:传输流TS包括基础流和延伸流的两个视频流(编码流)。
[0168]多路分用器203在步骤ST41中开始处理，然后，移到步骤ST42的处理。在步骤ST42中，从CPU 201设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST43中确定是否提供解码所有层次(层)的能力。
[0169]在提供解码所有层次的能力时，在步骤ST44中，多路分用器203通过PID滤波器多路分用构成所有层次的多个流，并且执行区段解析。然后，多路分用器203移到步骤ST45的处理。
[0170]在步骤ST43中，当未提供解码所有层次的能力时，在步骤ST46中，多路分用器203多路分用PID = PID A的流，并且执行区段解析。然后，多路分用器203移到步骤ST45的处理。
[0171]在步骤ST45中，多路分用器203在目标PI D区段中读取HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extens1n_descriptor)，并且获得延伸流的有无、可扩展的类型、流的数量和ID、temporal_id的最大和最小值、以及各个层的解码器支持等级。
[0172]接下来，多路分用器203在步骤ST47中根据DTS(如果没有DTS，那么根据PTS)信息，将作为PID的目标的编码流连接成一个流，将该流发送给编码图片缓冲器(cpb)204并且也通知CPU 201DTS和PTS。在步骤ST47的处理之后，多路分用器203在步骤ST48中结束处理。
[0173]再次参考图15，编码图片缓冲器(cpb)204暂时储存在多路分用器203中取出的视频流(编码流)。解码器205从在编码图片缓冲器204中储存的视频流中取出指定为要解码的层次的层次的图片的编码图像数据。然后，解码器205在该图片的解码定时，解码各个图片的取出的编码图像数据，并且将所产生的数据发送给解码图片缓冲器(dpb)206。
[ΟΙ74] 在此处，对于解码器205，从CPU 201中由temporal_id指定要解码的层次。指定的层次表示在多路分用器203中取出的视频流(编码流)内包含的所有层次或者在低层次侧上的一些层次，并且由CPU 201自动设置或者根据用户操作设置。进一步，根据DTS(解码时间戳)，将解码定时从CPU 201中提供给解码器205。应注意的是，在解码器205解码各个图片的编码图像数据时，解码器205读取来自解码图片缓冲器206的被参考图片的图像数据，以供必要时使用。
[0175]图22示出解码器205的一个配置实例。解码器205包括时间ID分析单元251、目标层次选择单元252以及解码单元253。时间ID分析单元251读取在编码图片缓冲器204内储存的视频流(编码流)，并且分析插入各个图片的编码图像数据的NAL单元报头内的temporalid。
[0176]目标层次选择单元252根据时间ID分析单元251的分析结果，从编码图片缓冲器204中读取的视频流中取出指定为要解码的层次的层次的图片的编码图像数据。解码单元253在解码定时依次解码在目标层次选择单元252中取出的各个图片的编码图像数据，并且将所产生的数据发送给解码图片缓冲器(dpb)206。
[0177]在这种情况下，解码单元253分析SPS和ESPS，例如，获取各个子层的位速率的等级指定值“sublayer_level_idc”，并且检查在解码处理能力内是否能够解码。进一步，在这种情况下，解码单元254分析SEI，例如，获取 “initial_cpb_removal_time” 和 “cpb_removal_delay”，并且检查CPU 201的解码定时是否充足。
[0178]在解码切片时，解码单元253从切片报头中获取“^;1^_1(11_10_3(31:;^6” (ref_idx_ll_active)作为表示时间方向的预测目的地的信息，并且预测时间方向。应注意的是，解码图片具有从切片报头中获得的索引“short_term_ref_pic_set_idx”或“it_idx_sps”，并且解码图片被处理为将由另一个图片参考。
[0179]再次参考图15，解码图片缓冲器(dpb)206暂时储存在解码器205中解码的各个图片的图像数据。后处理单元207执行使在显示定时依次从解码图片缓冲器(dpb)206中读取的各个图片的图像数据的帧速率与显示能力匹配的处理。在这种情况下，根据PTS(呈现时间戳)，从CPU 201提供显示定时。
[0180]例如，在各个图片的解码图像数据的帧速率是120fps时并且在显示能力是120fps时，后处理单元207照原样将各个图片的解码图像数据发送给显示器。进一步，例如，在各个图片的解码图像数据的帧速率是120fps时并且在显示能力是60fps时，后处理单元207在各个图片的解码图像数据上执行二次采样处理，使得时间方向分辨率变成1/2倍，并且将该数据作为60fps的图像数据发送给显示器。
[0181]此外，例如，在各个图片的解码图像数据的帧速率是60fps并且显示能力是120fps时，后处理单元207在各个图片的解码图像数据上执行插入处理，使得时间方向分辨率变成两倍，并且将该数据作120fps的图像数据发送给显示器。进一步，例如，在各个图片的解码图像数据的帧速率是60fps并且显示能力是60fps时，后处理单元207照原样将各个图片的解码图像数据发送给显示器。
[0182]图23示出后处理单元207的配置实例。这是可以在以下情况下可处理的实例:如上所述，各个图片的解码图像数据的帧速率是120fps或60fps并且显示能力是120fps或60fpso
[0183]后处理单元207包括内插单元271、二次采样单元272以及开关单元273。将解码图片缓冲器206的各个图片的解码图像数据直接输入开关单元273中，在内插单元271中使帧速率具有两倍之后，输入开关单元273中，或者在二次采样单元272中使帧速率变为1/2倍之后，输入开关单兀273中。
[0184]从CPU201给开关单元273提供选择信息。CPU 201参考显示能力自动生成或者根据用户操作生成选择信息。开关单元273