oad)内用于各个图片的编码图像数据的PES数据包的报头内。识别信息使得接收侧仅仅让对应于接收侧的解码能力的层次组的图片的编码图像数据进入缓冲器内并处理。
[0070]传输流TS包括包含各个层次的图片的编码图像数据的单个视频流，或者各自包括上述各个层次组的图片的编码图像数据的预定数量的视频流。在传输流TS中，插入层次编码的层次信息和视频流的配置信息。这些信息使接收侧能够容易掌握层次配置或流配置，并且执行合适的解码处理。
[0071]接收设备200接收通过在广播波从发送设备100发送的上述传输流TS。接收设备200从包含在传输流TS内的视频流，使根据解码能力选择的等于或低于预定层次的层次的图片的编码图像数据选择性地进入缓冲器，执行解码，获取各个图片的图像数据，并且执行图像再现。
[0072]例如，如上所述，传输流TS可以包括单个视频流，该单个视频流包含多个层次的图片的编码图像数据。在这种情况下，根据上述识别信息，使对应于解码能力的预定层次组的图片的编码图像数据进入缓冲器并且进行处理。
[0073]进一步，例如，如上所述，传输流TS可以包括预定数量的视频流，这些视频流包括通过分割多个层次所获得的预定数量(即，2或更多个)的层次组的图片的编码图像数据。在这种情况下，根据流识别信息，使对应于解码能力的预定层次组的图片的编码图像数据进入缓冲器并且进行处理。
[0074]进一步，接收设备200执行重写选择性进入缓冲器的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的处理。此调整处理使得甚至在具有低解码能力的解码器中也能进行现实的解码处理。
[0075]进一步，接收设备200执行后处理，促使通过如上所述的解码所获得的各个图片的图像数据的帧速率与显示能力匹配。例如，此后处理使得即使在解码能力较低时也能够获得与高显示能力匹配的帧速率的图像数据。
[0076]“发送设备的配置”
[0077]图2示出发送设备100的一个配置实例。发送设备100包括CPU(中央处理单元)101、编码器102、编码图片缓冲器(cpb)103、多路复用器104以及发送单元105XPU 101是控制单元，并且控制发送设备100的相应单元的操作。
[0078]编码器102输入未压缩的运动图像数据，并且执行层次编码。编码器102将构成运动图像数据的图片的图像数据分类为多个层次。然后，编码器102编码各个分类的层次的图片的图像数据，并且生成具有各个层次的图片的编码图像数据的视频流。编码器102执行编码，例如，H.264/AVC和HEVC。此时，编码器102进行编码，以便要参考的图片(被参考图片)属于被参考图片的层次和/或比被参考图片的层次更低的层次。
[0079]图3示出在编码器102中执行的层次编码的一个实例。在此实例中，通过分类，提供0到4这5个层次，并且各个层次的图片的图像数据进行编码，例如，HEVC。
[0080]垂直轴表示层次。0到4分别设置为temp0ral_id(层次识别信息)，其设置在构成层次0到4的图片的编码图像数据的NAL单元(nal_unit)的报头部分。另一方面，水平轴表示显示顺序(P0C:成分的图片顺序，picture order of composit1n)，其中，左边表示更早的显示时间，其右边表示更晚的显示时间。
[0081]图4的(a)部分示出NAL单元报头的结构实例(语法)，并且图4的(b)部分示出在结构实例中的主要参数的细节(语义)。0对于“forbidden_zero_bit”的一位(bit)字段必不可少。“nal_unit_type”的6位字段表示NAL单元类型。“nuh_layer_id”的6位字段采用0。“nuh_temporal_id_plusl”的3位字段表示temporal_id，并且采用被加上1的值(1到7)。
[0082]返回图3，各个矩形框表示图片，并且数字表示编码图片的顺序，S卩，编码顺序(在接收侧上的解码顺序)。“1”到“17”(不包括“2”)这16个图片构成图片的子组，并且“1”是图片的子组的头部图片(head picture)。“2”是图片的下一个子组的头部图片。或者，“2”到“17”(不包括“1”)这16个图片构成图片的子组，并且“2”是子组图片的头部图片。
[0083]图片“1”可以是G0P(图片组)的头部图片。如图5中所示，G0P的头部图片的编码图像数据由NAL单元AUD、VPS、SPS、PPS、PSE1、SLICE、SSEI以及EOS构成。另一方面，除了GOP的头部图片以外的图片均由NAL单元AUD、PPS、PSE1、SLICE、SSEI以及EOS构成。VPS可以与SPS一起发送给序列(G0P)—次，并且可以在我的图片(My Picture)中发送PPS。
[0084]返回图3，实线箭头表示在编码中的图片的参考关系。例如，图片“1”是不参考其他图片的I图片。图片“2”是参考图片“1”编码的P图片，。进一步，图片“3”是参考图片“1”和“3”编码的B图片。在后文中，其他图片同样在显示顺序中参考附近图片并且编码。应注意的是，其他图片不参考层次4的图片。
[0085]编码器102生成包括各个层次的图片的编码图像数据的单个视频流(单个流)，或者将多个层次分成预定数量(即，2或更大)的层次组，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流(多个流)。例如，在图3的层次编码的实例中，在层次分成2个层次组，使得层次0到3被设置为低层次的层次组并且层次4被设置为高层次的层次组时，编码器102生成两个视频流(编码流)，各个视频流包括各个层次组的图片的编码图像数据。
[0086]与所生成的视频流的数量无关，如上所述，编码器102将多个层次分成预定数量(即，2或更大)的层次组，并且将用于识别编码图像数据所属的层次组的识别信息加入各个层次组的图片的编码图像数据中。在这种情况下，例如，对于识别信息，使用作为包含在SPS内的位流的等级指定值的“general_level_idc”，并且在高层次侧上的层次组采用更高的值。应注意的是，可以逐个子层地在SPS内发送“sub_layer_level_idc”，从而“sub_layer_leVel_idc”可以用作用于识别信息。不仅在SPS内，而且在VPS内供应以上值。
[0087]在这种情况下，各个层次组的等级指定值的值设置为对应于由此层次组的图片以及比此层次组更低的在层次侧上的所有层次组的图片构成的帧速率的值。例如，在图3的层次编码的实例中，包括层次0到3的层次组的等级指定值是对应于仅仅由层次0到3的图片构成的帧速率的值，并且包括层次4的层次组的等级指定值是对应于由0到4的所有层次的图片构成的帧速率的值。
[0088]图6示出在层次编码时的编码、解码、显示顺序以及延迟的一个实例。此实例对应于在图3中的上述层次编码的实例。此实例显示了所有层次(所有层)以全时间分辨率进行层次编码的情况。图6的(a)部分示出编码器输入。如图6的(b)部分中所示，图片以编码顺序编码，具有对应于16个图片的延迟，并且获得编码流。进一步，图6的(b)部分示出解码器输入，并且图片以解码顺序解码。如图6的(c)部分中所示，图片的图像数据以显示顺序获得，具有对应于4个图片的延迟。
[0089]图7的(a)部分示出与在上述图6的(b)部分中显示的上述编码流相同的编码流，具有层次0到2、层次3以及层次4的三个阶段。在此处，“Tid”表示temporal_id。图7的(b)部分示出在层次0到2(即，在Tid = 0到2时的部分层次)的图片选择性解码的情况下的显示期望(显示顺序)。进一步，图7的(c)部分示出在层次0到3(即，在Tid = 0到3时的部分层次)的图片选择性解码的情况下的显示期望(显示顺序)。而且，图7的(d)部分示出在层次0到4(即，在Tid = 0到4时的所有层次)的图片选择性解码的情况下的显示期望(显示顺序)。
[0090]为了根据解码能力在图7的(a)部分中显示的编码流上执行解码处理，需要具有在全速率下的时间分辨率的解码能力。然而，在Tid = 0到2的情况下执行解码时，用于编码的全时间分辨率的具有1/4解码能力的解码器应执行处理。进一步，在Tid = 0到3的情况下执行解码时，用于编码的全时间分辨率的具有1/2解码能力的解码器应执行处理。
[0091]然而，在属于低层次并且在层次编码中参考的图片是连续的并且在通过全时间分辨率编码时，执行部分解码的解码器的能力赶不上编码。该情况对应于在图7的(a)部分中的期间A。如在显示实例中所示，通过具有时间轴的1/4或1/2的能力，解码Tid = 0到2或Tid=0到3的部分层次的解码器执行解码/显示。因此，不能解码在期间A中通过全时间分辨率编码的连续图片。
[0092]Ta表示在解码Tid = 0到2的解码器内逐个图片地解码处理需要的时间。Tb表示在解码Tid = 0到3的解码器内逐个图片地解码处理需要的时间。Tc表示在解码Tid = 0到4(所有层次)的解码器内逐个图片地解码处理需要的时间。那些时间的关系是Ta>Tb>Tc。
[0093]在此实施方式中，如后面所述，在接收设备200包括具有低解码能力的解码器并且选择性解码低层次图片时，接收设备200具有重写解码时间戳(DTS)和调整低层次图片的解码间隔的功能。这使得甚至在具有低解码能力的解码器内能够进行现实的解码处理。
[0094]再次参考图2，编码图片缓冲器(cpb)103暂时储存在编码器102内生成的视频流，视频流包括各个层次的图片的编码数据。多路复用器104读取在编码图片缓冲器103内储存的视频流，将视频流转换成PES数据包，并且进一步转换成要多路复用(multiplex，多重化)的传输数据包，从而获得传输流TS，作为多路复用流(multip 1 exed stream，多重化流)。
[0095]在此实施方式中，如上所述，多个层次分成预定数量的层次组，即，2个或更多个。多路复用器104将识别信息插入PES数据包的报头(PES报头)内。识别信息用于识别包含在视频流内的各个图片的编码图像数据所属的层次组。此识别信息使接收侧能够仅仅使对应于接收侧的解码能力的层次组的图片的编码图像数据进入缓冲器并处理。
[0096]例如，在多个层次分成低层次组和高层次组时，多路复用器104使用位于PES报头内的已知PES优先级(PES_pr1rity)的1位字段。在PES有效载荷包括在低层次侧上的层次组的图片的编码图像数据时，1位字段设置为“1”，即，设置为具有高优先级程度。另一方面，在PES有效载荷包括在高层次侧上的层次组的图片的编码图像数据时，1位字段设置为“0”，即，设置为具有低优先级程度。
[0097]如上所述，传输流TS包括包含各个层次的图片的编码图像数据的单个视频流或者均包括上述各个层次的图片的编码图像数据的预定数量的视频流。多路复用器104将层次信息和流配置信息插入传输流TS内。
[0098]传输流TS包括PMT(节目映射表)作为一种PSI(节目专用信息)。在PMT中，存在视频基本回路(视频ESI回路，video ESI loop)，其具有与各个视频流相关的信息。在此视频基本回路中，流类型和数据包标识符(PID)等信息以及描述与该视频流相关的信息的描述符设置为对应于各个视频流。
[0099]多路复用器104插入HEVC描述符(HEVC_descriptor)，作为一个描述符，并且进一步插入新定义的可扩展性延伸描述符(scalability_extens1n_descriptor)。
[0100]图8示出HEVC描述符(HEVC_descriptor)的结构实例(语法)。进一步，图9示出在结构实例中的主要信息的细节(语义)。
[0?0? ] “descriptor_tag”的8位字段示出描述符的类型，并且在此处示出HEVC描述符。“descriptor_length”的8位字段示出描述符的长度(尺寸)。示出后续字节的数量，作为描述符的长度。
“level_idc”的8位字段示出位速率的等级指定值。进一步，在“temporal_layer_subset_f lag= 1” 时，存在 “temporal_id_min” 的5位字段和 “temporal_id_max” 的5位字段。“temporal_id_min”示出包含在相应视频流内的层次编码数据的最低层次上的temporal—id的值。“temporal_id_max”示出包含在相应视频流内的层次编码数据的最高层次上的temporal_id的值。
[0103]“level_constrained_f lag”的1位字段是新定义的，并且表示包含在VPS的NAL单元内的位流的等级指定值(general_level_idc)可以逐个图片地变化。“1”表示可变化，并且“0”表示没有变化。
[0104]如上所述，例如，在多个层次分成预定数量(即，2个或更多个)层次组时，“generaljeveljdc”用作编码图像数据所属的层次组的识别信息。因此，在视频流包括多个层次组的图片的编码图像数据的情况下，“ general_level_idc”可以逐个图片地变化。另一方面，在视频流包括单个层次组的图片的编码图像数据的情况下，“general_level_idc”可以不逐个图片地变化。或者，给各个子层提供“Sublayer_leVel_idC”，并且解码器在可解码的范围内读取temporal_id的数据包，从而处理相应层次的数据。
[0105]“scalability_id”的3位字段是新定义的，并且是在多个视频流提供可延伸服务时表示提供给各个流的可扩展性的ID。“0”表示基础流，并且“1”到“7”各自表示根据来自基础流的可扩展性程度而增大的ID。
[0106]