图10不出可扩展性延伸描述符(scalability_extens1n_descriptor)的一个结构实例(语法)。进一步，图11示出在结构实例中的主要信息的细节(语义)。
[0107]“scalability_extens1n_descriptor_tag” 的8位字段不出描述符的类型，并且在此处不出可扩展性延伸描述符。“scalabi 1 ity_extens1n_descriptor_length”的8位字段示出描述符的长度(尺寸)。示出后续字节的数量作为描述符的长度。“extens1n,stream_existing_flag”的1位字段是标志，示出具有通过不同的流的延伸服务(extens1nservice)。“1”表示具有延伸流，并且“0”表示没有延伸流。
[0?08] “extens1n_type”的3位字段示出延伸的类型。“001”示出延伸是时间方向可扩展的。“010”示出延伸是空间方向可扩展的。“011”示出延伸是位速率可扩展的。
[0109]“number_of_streams”的4位字段示出在分发式服务中涉及的流的总数。3位字段“scalabi 1 ity_id”是ID，在多个视频流提供可延伸服务时表示提供给单独流的可扩展性。“0”表示基础流，并且“1”到“7”均表示从基础流开始增大可扩展性的程度的ID。
[0110]“number_of_layers”的3位字段示出流的层次的总数。8位字段“sublayer_level_idc”示出level_idc的值，其中，由temporal_id表示的合适的子层包括比解码器要处理的子层更低的层。“层的数量(Number of layers)”包含NAL单元报头的“Nuh_temporal_id_plusl”的所有值，并且在多路分用器(demultiplexer) (demuxer)检测到它时，能够初步认识到对应于预定的level_idc的解码器可以使用“sublayer_level_idc”对哪个层次进行解码。
[0111]如上所述，在此实施方式中，在多个层次分成预定数量(即，2个或更多个)的层次组时，包含在SPS内的位速率的等级指定值(general_level_idc)等用作编码图像数据所属的层次组的识别信息。各个层次组的等级指定值设置为对应于由此层次组的图片以及比此层次更低的在层次组侧上的所有层次的图片构成的帧速率的值。
[0112]图12示出多路复用器104的配置实例。多路复用器104包括PES优先级生成单元141、区段(sect1n)编码单元142、PES分包单元143-1到143-N、开关单元144以及传输分包单元145。
[0113]PES分包单元143-1到143-N分别读取在编码图片缓冲器103内储存的视频流1到N，并且生成PES数据包。此时，PES分包单元143-1到143-N根据视频流1到N的HRD信息，将DTS(解码时间戳)和PTS(呈现时间戳)的时间戳放入PES报头中。在这种情况下，参考各个图片的“cpu_removal_de 1 ay”和“dpb_output_de lay”，通过与STC(系统时钟)的时间同步的精度中，将其转换成DTS和PTS，并且设置在PES报头的预定位置内。
[0114]将关于层次的数量(层的数量)以及流的数量(流数)的信息从CPU101中供应给PES优先级生成单元141。在由层次的数量表示的多个层次分成预定数量(S卩，2个或更多个)的层次组时，PES优先级生成单元141生成各个层次组的优先级程度信息。例如，在多个层次分成2个时，PES优先级生成单元141生成要插入PES数据包的报头的1位字段“PES_pr1rity'内的值(“1”用于低层次组，并且“0”用于高层次组)。
[0115]将在PES优先级生成单元141内生成的各个层次组的优先级程度信息供应给PES分包单元143-1到143-N1ES分包单元143-1到143-N将各个层次组的优先级程度信息作为识别信息插入包括该层次组的图片的编码图像数据的PES数据包的报头内。
[0116]应注意的是，通过这种方式逐个图片地将图片所属的层次组的优先级程度作为报头信息插入PES数据包的报头内，可以限于在编码器102内生成单个视频流(单个流)的情况。在这种情况下，仅仅在PES分包单元143-1内执行处理。
[0117]开关单元144根据数据包标识符(PID)，选择性取出在PES分包单元143-1到143-N内生成的PES数据包，并且将其PES数据包发送给传输分包单元145。传输分包单元145生成在有效载荷内包括PES数据包的TS数据包，并且获得传输流TS。
[0118]区段编码单元142生成要插入传输流TS内的各种区段数据。将关于层次的数量(层的数量)以及流的数量(流数)的信息从CPU 101中供应给区段编码单元142。根据该信息，区段编码单元142生成上述HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extens1n_descriptor)。
[0119]区段编码单元142将所述各种区段数据发送给传输分包单元145。传输分包单元145生成包括此区段数据的TS数据包，并且将TS数据包插入传输流TS内。
[0120]图13示出多路复用器104的处理流程。这是一个实例，其中，多个层次分成2个，包括低层次组和高层次组。多路复用器104在步骤ST1中开始处理，然后，移到步骤ST2的处理。在步骤ST2中，多路复用器104设置视频流(视频基本流)的各个图片的temp0ral_id_以及构成编码流的数量。
[0121 ] 接下来，在步骤ST3中，多路复用器104参考HRD信息(“cpu_removal_delay”和“dpb_output_delay”)，确定DTS和PTS，并且将DTS和PTS插入PES报头的预定位置内。
[0122]接下来，在步骤ST4中，多路复用器104确定流是否是单个流(单个视频流)。在流是单个流时，在步骤ST5中，多路复用器104使用一个PID(数据包标识符)继续多重化处理，然后，移到步骤ST7的处理。
[0123]在步骤ST7中，多路复用器104确定各个图片是否是低层次组的图片(切片(slice))。在各个图片是低层次组的图片时，在步骤ST8中，多路复用器104将在有效载荷包括该图片的编码图像数据的PES数据包的报头的“PES_pri0rity”设置为“1”。另一方面，在各个图片是高层次组(非低层次组)的图片时，在步骤ST9中，多路复用器104将在有效载荷包括该图片的编码图像数据的PES数据包的报头的“PES_pri0rity”设置为“0”，。在步骤ST8和ST9的处理之后，多路复用器104移到步骤ST10的处理。
[0124]在此处，描述在图片与切片之间的关联性。图片是一个概念，并且与在结构定义中的切片相同。从参数集(parameter set)可知，一个图片可以分成多个切片，但是多个切片对于用作访问单元是相同的。
[0125]在上述步骤ST4中，流不是单个流时，在步骤ST6中，多路复用器104继续使用多个数据包PID(数据包标识符)来多重化处理，然后，移到步骤ST10的处理。在步骤ST10中，多路复用器104将编码流(视频基本流)插入PES有效载荷内，并且将编码流转换成PES数据包。
[0126]接下来，在步骤ST11中，多路复用器104编码HEVC描述符、可扩展性延伸描述符等。然后，在步骤ST12中，多路复用器104将那些描述符转换成传输数据包，并且获得传输流TS。然后，在步骤ST13中，多路复用器104结束该处理。
[0127]图14示出在执行通过单个视频流进行过的分发时传输流TS的配置实例。此传输流TS包括单个视频流。换言之，在此配置实例中，存在包括多各层次的图片的编码图像数据的视频流的PES数据包“视频PES1”(例如，通过HEVC)以及音频流的PES数据包“音频PES1”。
[0128]在各个图片的编码图像数据内，存在VPS、SPS、SEI等的NAL单元。如上所述，在各个图片的NAL单元的报头内，插入表示该图片的层次的temporal_id。进一步，例如，VPS包括位速率的等级指定值(general_level_idc)。进一步，例如，图片定时SEI包括“cpb_removal_delay，，和 “dpb_output_delay，，。
[0129]进一步，在PES数据包的报头(PES报头)内，存在显示“PES_pr1rity”的优先程度的1位字段。通过此“PES_pri0rity”，可区分包含在PES有效载荷内的图片的编码图像数据是低层次组的图片的数据还是高层次组的图片的数据。
[0130]进一步，传输流TS包括PMT(节目映射表)作为PSI(节目专用信息)。此PSI是描述包含在传输流内的各个基本流属于哪个节目的信息。
[0131]在PMT中，存在节目回路(programloop)，其描述与整个节目相关的信息。进一步，在PMT中，存在基本回路，其包括与各个基本流相关的信息。在此配置实例中，存在视频基本回路(视频ESI回路)和音频基本回路(音频ESI回路)。
[0132]在视频基本回路中，将流类型和数据包标识符(PID)等信息以及描述与该视频流相关的信息的描述符设置为对应于视频流(视频PES1)。作为一个描述符，插入上述HEVC描述符(]^^(]_(16801^口1:01')和可扩展性延伸描述符(scalability_extens1n_descriptor)。
[0133]再次参考图2，发送单元105以适合于广播的调制方法方式(例如，QPSK/0FDM)调制传输流TS，并且发送来自发送天线的RF调制信号。
[0134]将简单描述在图2中示出的发送设备100的操作。将未压缩的运动图像数据输入给编码器102。在编码器102中，对运动图像数据执行层次编码。换言之，在编码器102中，将构成运动图像数据的图片的图像数据分类为多个层次并且编码，从而生成包括层次的图片的编码图像数据的视频流。此时，执行编码，使得被参考图片属于被参考图片的层次和/或比被参考图片的层次更低的层次。
[0135]在编码器102中，生成包括各个层次的图片的编码图像数据的单个视频流。或者，将多个层次分成预定数量(即，2或更大)的层次组，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流。
[0136]进一步，将在编码器102中生成的包括各个层次的图片的编码图像数据的视频流供应给编码图片缓冲器(cpb)103并且暂时储存。在多路复用器104中，读取储存在编码图片缓冲器103内的视频流，转换成PES数据包，进一步转换成传输数据包，以便多路复用，从而获得传输流TS，作为多路复用流(multiplexed stream)。
[0137]在多路复用器104中，例如，在单个视频流(单个流)的情况下，用于识别视频流的各个图片的编码图像数据所属的层次组的识别信息插入PES数据包的报头(PES报头)内。例如，在多个层次分成两个(低层次组和高层次组)时，使用PES报头的PES优先级(PES_pr1rity)的1位字段。
[0138]进一步，在多路复用器104中，将层次信息和流配置信息插入传输流TS内。换言之，在多路复用器104中，将邪￥(:描述符(!^￥(:_(^8(^1?丨(^)和可扩展性延伸描述符(scalabi lity_extens1n_descriptor)插入对应于各个视频流的视频基本回路内。
[0139]在多路复用器104中生成的传输流TS发送给发送单元105。在发送单元105中，以适合于广播的调制方法(例如，QPSK/ΟΠΜ)调制传输流TS，并且从发送天线中发送RF调制信号。
[0140]“接收设备的配置”
[0141]图15示出接收设备200的配置实例。此接收设备200包括CPU(中央处理单元)201、接收单元202、多路分用器203以及编码图片缓冲器(cpb)204。进一步，接收设备200包括解码器205、解码图片缓冲器(dpb)206以及后处理单元207XPU 201构成控制单元，其控制接收设备200的相应单元的操作。
[0142]接收单元202解调由接收天线接收的RF调制信号并且获取传输流TS。多路分用器203根据解码能力(解码器时间层能力)，从传输流TS中选择性取出层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。
[0143]图16示出多路分用器203的一个配置实例。多路分用器203包括TS适配字段提取单元231、时钟信息提取单元232、TS有效载荷提取单元233、区段提取单元234、PSI表格/描述符提取单元235以及PES数据包提取单元236。进一步，多路分用器203包括PES报头提取单元237、时间戳提取单元238、识别信息提取单元239、PES有效载荷提取单元240以及流配置单元(流合成器(stream composer))241 ο
[0144]TS适配字段提取单元231从包括传输流TS的适配字段的TS数据包中提取适配字段。时钟信息提取单元232从包括PCR的适配字段中提取PCR(节目时钟参考)，并且将PCR发送给CPU 201。
[0145]TS有效载荷提取单元233从包括在传输流TS内的TS有效载荷的TS数据包中提取TS有效载荷。区段提取单元234从包括区段数据的TS有效载荷中提取区段数据。PSI表格/描述符提取单元235分析在区段提取单元234提取的区段数据并且提取PSI表格或描述符。然后，PSI表格/描述符提取单元235将temporal_id的最小值(min)和最大值max)发送给CPU 201并且还发送给流配置单元241。
[0146]PES数据包