发射/接收设备、方法以及编码/解码设备与流程

本技术涉及发射设备、发射方法、编码设备、接收设备、接收方法以及解码设备，并且更特别地涉及能够提供高帧频服务的发射设备等。

背景技术：

当在广播或网络服务等上提供压缩的运动图像时，可以回放的帧频的上限受到接收机的性能的限制。因此，要求服务侧考虑普遍的接收机的回放性能，并将服务仅限制到低帧频，或同时提供多种高等级和低等级服务。

添加对高帧频服务的支持增加接收机的成本，并且成为采用的障碍。如果专用于低帧频服务的低成本接收机普及，而将来服务侧开始高帧频服务，则新服务不用新接收机是完全无法观看的，这成为对服务的采用的障碍。

例如H.264/AVC(高级视频编码)的运动图像压缩方案(参见非专利文献1)一般由以下三种类型的画面组成：

I画面：由自身可以解码

P画面：由自身参考I画面或其它P画面可以解码

B画面：由自身参考I画面、P画面或其它B画面可以解码

利用这种性质，例如，通过诸如仅播放I画面和P画面，帧抽取的回放在某种程度上是可能的。但是，通过该方法，精细地抽取的回放是困难的，并且作为实际服务的使用是有挑战性的。

引用列表

非专利文献

非专利文献1：ITU-T H.264(06/2011),"Advanced video coding for generic audiovisual services."

技术实现要素：

技术问题

本技术的目的是容易地实现高帧频服务。

问题的解决方案

根据本技术的方面，提供了一种发射设备，包括：层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及发射部，所述发射部发射包括生成的视频流的规定格式的容器。所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

在本技术中，由层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层。每一层的图像数据由图像编码部进行编码，并生成容纳编码的每一层的图像数据的视频流。在这种情况下，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

由发射部发射包括上述视频流的规定格式的容器。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。作为另一个例子，容器可以是在互联网传送等中使用的MP4，或可以是某些其它格式的容器。

以这种方式，在本技术中，构成运动图像数据的每一个画面的图像数据被分类为多层，并且发射容纳编码的每一层的图像数据的视频流。由于该原因，通过简单地发射一个程序或一个文件，可以提供支持各种帧频的服务，并且操作成本的减少成为可能。

另外，在接收侧，能够选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收侧自身的回放性能的帧频进行回放，从而有效地促进接收机的采用。在本文中，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且在接收机处，能够无需对比规定层高的层进行解码而有效地使用接收机自身的回放性能。

需要注意的是，在本技术中，例如，图像编码部可以被配置为生成容纳编码的每一层的图像数据的单一视频流，并且针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。在这种情况下，在接收侧，能够基于层标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。

另外，在本技术中，例如，层级分类部可以被配置为将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。在这种情况下，每次层增加一层，则帧频变为两倍，因此在接收侧，能够仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。

另外，本技术可以被配置为还包括信息插入部，将最低层中的画面的帧频信息和表示多层的数量的层数量信息插入容器。例如，可以配置使得该信息插入容器层或视频层。在这种情况下，在接收侧，能够容易地取得最低层中的画面的帧频信息和表示多层的数量的层数量信息。

另外，在本技术中，例如，信息插入部可以被配置使得当将信息插入视频层时，信息插入部还将标识是否存在到视频层的信息的插入的标识信息插入容器层。在这种情况下，在接收侧，能够无需对视频流进行解码而知道最低层中的画面的帧频信息和表示多层的数量的层数量信息是否插入视频流。

另外，本技术可以被配置为生成容纳编码的每一层的图像数据的多个视频流。在这种情况下，例如，本技术可以被配置为还包括标识信息插入部，将用于标识每一层的视频流的流标识信息插入容器层。在这种情况下，在接收侧，能够基于流标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。

根据本技术的另一方面，提供了一种接收设备，包括：接收部，所述接收部接收包括视频流的规定格式的容器，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；图像解码部，从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据；以及回放速度调节部，调节根据解码的每一个画面的图像数据的图像回放速度，以与规定层中的画面的帧频匹配。

在本技术中，由接收部接收规定格式的容器。所述容器包括视频流，所述视频流容纳构成运动图像数据的每一个画面的图像数据，该图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。作为另一个例子，容器可以是在互联网传送等中使用的MP4，或可以是某些其它格式的容器。

由图像解码部从包括于容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据。随后，由回放速度调节部调节根据解码的每一个画面的图像数据的图像回放速度，以使匹配规定层中的画面的帧频。

例如，本技术可以被配置使得最低层中的画面的帧频信息和表示多层的数量的层数量信息被插入容器，并且本技术还可以包括控制部，所述控制部基于插入容器的信息和接收设备自身的解码性能来控制图像解码部中的解码层，并控制回放速度调节部中的图像回放速度。

以这种方式，在本技术中，可以选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收设备自身的回放性能的帧频进行回放。另外，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且无需对比规定层高的层进行解码而有效地使用接收设备自身的回放性能。

需要注意的是，本技术可以被配置使得例如容器中包括容纳编码的每一层的图像数据的单一视频流，并且针对每一个画面，用于标识包含画面的层的层标识信息被添加到编码的每一层的图像数据。图像解码部基于层标识信息从单一视频流选择性地取回并解码规定层和更低层中的编码图像数据。在这种情况下，即使容器包括容纳编码的每一层的图像数据的单一视频流，也可以进行规定层和更低层中的编码图像数据的良好的选择性取回。

另外，本技术可以被配置使得例如容器中包括容纳编码的多层的每一层的图像数据的多个视频流，并且用于标识每一层的视频流的流标识信息被插入容器层。图像编码部基于流标识信息从规定层和更低层的视频流选择性地取回编码图像数据，并对编码图像数据进行解码。在这种情况下，即使容器包括容纳编码的每一层的图像数据的多个视频流，也可以进行规定层和更低层中的编码图像数据的良好的选择性取回。

发明的有益效果

根据本技术，可以容易地实现高帧频服务。

附图说明

图1是示出作为示例性实施例的TV发射/接收系统的示例性结构的框图。

图2是示出构成TV发射/接收系统的TV发射机的示例性结构的框图。

图3是示出层级分类和图像编码的例子的图。

图4是用于解释层级标识信息(temporal_id)的放置位置的图。

图5是用于解释FPS描述符(fps_descriptor)的放置位置的图。

图6是示出FPS描述符的示例语法(syntax)的图。

图7是示出作为SEI消息插入访问单元(access unit)的“SEIs”部分的FPS信息(fps_info)的示例语法以及放置在PMT下的FPS存在描述符(fps_exit_descriptor)的示例语法的图。

图8是示出构成TV发射/接收系统的TV接收机的示例性结构的框图。

图9是示出在FPS描述符(fps_descriptor)被放置在相同PID中并且在PMT下的情况下的发射处理次序的例子的流程图。

图10是示出在FPS描述符(fps_descriptor)被放置在相同PID中并且在PMT下的情况下的接收处理次序的例子的流程图。

图11是示出在相同PID中添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的流程图。

图12是示出FPS信息(fps_info)SEI消息被添加到相同PID中的情况下的接收处理次序的流程图。

图13是示出在图像编码期间生成具有多层的每一层中的图像数据的多个视频流的情况下根据不同PID的对各层的分派的图。

图14是示出放置在PMT下的结构描述符(structure_descriptor)的示例语法的图。

图15是示出在图像编码期间生成具有多层的每一层中的图像数据的多个视频流的情况下使用FPS信息(fps_info)SEI消息的例子的图。

图16是示出在FPS描述符(structure_descriptor)被放置在不同PID中并且在PMT下的情况下的发射处理次序的例子的流程图。

图17是示出在FPS描述符(structure_descriptor)被放置在不同PID中并且在PMT下的情况下的接收处理次序的例子的流程图。

图18是示出在不同PID中添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的例子的流程图。

图19是示出在不同PID中添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子的流程图。

图20是示出针对如下四种方法的附加信息的比较的图：(a)用相同PID(PES)并且在PMT中的语法记述，(b)用相同PID(PES)并且在SEI中的语法记述，(c)用不同PID(PES)并且在PMT中的语法记述以及(d)用不同PID(PES)并且在SEI中的语法记述。

图21是用于解释层级分类和图像编码的另一个例子的图。

图22是用于解释层级分类和图像编码的另一个例子的图。

图23是用于解释层级分类和图像编码的另一个例子的图。

具体实施方式

以下，将描述用于实现本发明的实施例(以下称为示例性实施例)。以下，描述将以下面的顺序进行。

1.示例性实施例

2.示例性修改

<1.示例性实施例>

[TV发射/接收系统]

图1示出作为示例性实施例的电视(TV)发射/接收系统10的示例性结构。TV发射/接收系统10包括TV发射机100和TV接收机200。

TV发射机100在载波上发射作为容器的传输流TS。在传输流TS中，构成运动图像数据的每一个画面的图像数据被分类为多层，并且传输流TS包括容纳每一层中的图像数据的编码数据的单一视频流。在这种情况下，例如执行诸如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

在这种情况下，构成运动图像数据的每一个画面的图像数据被分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且，属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。通过这样的分类，每次层增加一层，则帧频变为两倍，从而在接收侧，可以仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。

针对每一个画面，向编码的每一层的图像数据添加用于标识所属层的层标识信息。在该示例性实施例中，层标识信息(temporal_id)放置于每一个画面的NAL单元(nal_unit)的头部部分。作为以这种方式添加层标识信息的结果，在接收侧，可以进行规定层和更低层中的编码图像数据的良好的选择性取回。

最低层中的画面的帧频信息和表示多层的数量的层数量信息插入传输流TS。该信息插入传输层或视频层。例如，该信息插入程序映射表(PMT)下的视频基本循环(video elementary loop)下的语句中。作为另一个例子，该信息作为SEI消息插入访问单元的“SEIs”部分。作为以这种方式插入帧频信息和层数量信息的结果，在接收侧，可以容易地取得该信息。

TV接收机200接收从TV发射机100在载波上发送的上述传输流TS。TV接收机200从包括于传输流TS的视频流选择性地取回并解码规定层和更低层的编码图像数据，取得每一个画面的图像数据，并进行图像回放。在这种情况下，对根据解码的每一个画面的图像数据的图像回放速度进行调节以匹配规定层中的画面的帧频。

如上文所述，最低层中的画面的帧频信息和表示多层的数量的层数量信息插入传输流TS。在TV接收机200处，基于该信息和TV接收机200自身的解码性能来控制解码层，并且控制图像回放速度。

[TV发射机的示例性结构]

图2示出TV发射机100的示例性结构。TV发射机100包括原始运动图像供给部101、解码设备102、层级分类部103、图像编码部104、音频编码部105、多路复用部106、附加信息产生部107以及调制/发射天线部108。

原始运动图像供给部101取回以合适的专业压缩格式存储在例如硬盘驱动器(HDD)的设备上的原始运动图像数据(图像数据、音频数据)，并将取回的原始运动图像数据供给到解码设备102。解码设备102对原始运动图像数据进行解码，并输出未压缩图像数据和未压缩音频数据。

层级分类部103将构成未压缩图像数据的每一个画面的图像数据分类为多层。例如，如在附图中示出的，图像数据被分类为第一层、第二层以及第三层这三层。在本文中，层级分类部103进行分类，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。

图像编码部104对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流(视频基本流)。在本文中，图像编码部104例如进行诸如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

图3示出层级分类和图像编码的例子。该例子是将每一个画面的图像数据分类为从第一层到第三层的三层的例子。在该例子中，I画面(内部画面)和P画面(预测画面)属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。

此外，B画面(双向预测画面)被放置于第一层中的各画面之间的时间上的中心位置，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的组合层的画面。

在该例子中，第二层中的B画面仅参考第一层中的I画面和P画面。由于该原因，第二层可以仅通过第一/第二组合层来解码。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为两倍。

此外，B画面位于第一/第二组合层中的各画面之间的时间上的中心，并属于第三层。第三层中的B画面仅参考属于第三层和/或第一/第二组合层的画面。由于该原因，第三层可以仅通过第一到第三组合层来解码。并且，与仅对第一/第二组合层解码的情况相比，当对第一到第三组合层解码时，帧频变为两倍。

在图3中，虚线表示画面参考关系。第一层中的P画面仅参考紧接在前的I画面或P画面。第二层中的B画面仅参考第一层中的紧接在前或紧跟在后的I画面或P画面。第三层中的B画面仅参考第一/第二组合层中的紧接在前或紧跟在后的I画面、P画面或B画面。

针对每一个画面，图像编码部104将用于标识包含画面的层的层标识信息添加到编码的每一层的图像数据。换言之，图像编码部104将层标识信息(temporal_id)放置于每一个画面的NAL单元(nal_unit)的头部部分。

图4示出层标识信息(temporal_id)的放置位置。即，层标识信息(temporal_id)例如放置于NAL单元头部SVC扩展(Header svc extension)中。此外，如图3所示，对属于第一层的画面分配“temporal_id＝0”，对属于第二层的画面分配“temporal_id＝1”，而对属于第三层的画面分配“temporal_id＝2”。

在图3的例子中，当第一层的帧频仅为30fps时，第一/第二组合层的帧频为60fps，而第一到第三组合层的帧频为120fps。另外，虽然未在附图中示出，但是可以类似地构造第四层和第五层。

返回图2，音频编码部105对未压缩音频数据执行例如MPEG-2音频(MPEG-2Audio)或AAC的编码，并生成音频流(音频基本流)。多路复用部106对从视频编码器132和音频编码器133输出的基本流进行多路复用。多路复用部106然后输出作为传输数据的传输流TS。

附加信息产生部107产生最低层中的画面的帧频信息和表示多层的数量的层数量信息，并将其发送到多路复用部106。多路复用部106将该信息插入传输层。例如，在程序映射表(PMT)的“ES_info_length”下的描述符循环中，多路复用部106放置新定义的FPS描述符(fps_descriptor)，该FPS描述符记述帧频信息和层数量信息，如图5所示。该描述符循环是记述每一个基本流(elementary_stream)的性质信息的地方。FPS描述符被视为上面所包括的一个描述符。

图6示出FPS描述符的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分配当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度，且此处是“0x02”。

8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。例如，在如图3所示的例子的30fps的情况下，值是表示30的“0x1e”。8比特字段“max”表达表示多层的数量的层数量信息。例如，在如图3所示的例子的到第三层为止的层的情况下，值是表示3的“0x03”。

以这种方式，通过在发射侧(编码侧)添加FPS描述符，在接收侧(解码侧)的帧抽取的回放变得容易。换言之，从FPS描述符记述的内容可知，仅在第一层帧频为30fps，在第一/第二组合层帧频为60fps，而在第一到第三组合层帧频为120fps。例如，如果接收侧的解码性能上升到60fps的最大值，则从该信息已知到第一/第二组合层为止是可以解码的。此外，已知对具有“temporal_id＝0”和“temporal_id＝1”的画面解码是足够的。并且，已知以60fps回放解码画面是足够的。

需要注意的是，也可以想到例如在视频层中插入帧频信息和层数量信息，例如在访问单元的“SEIs”部分中插入SEI消息。在这种情况下，附加信息产生部107将该信息发射到图像编码部104，如虚线所表示的。如图7(b)所示，图像编码部104将包括“base”和“max”信息的FPS信息(fps_info)作为“fps_info SEI message”插入访问单元的“SEIs”部分。

在以这种方式使用SEI消息的情况下，多路复用部106将标识该SEI消息的存在的标识信息插入传输层。例如，在程序映射表(PMT)的“ES_info_length”下的描述符循环中，多路复用部106放置新定义的FPS存在描述符(fps_exit_descriptor)，如图7(a)所示。

8比特字段“descriptor_tag”表示描述符的类，且此处表示描述符是FPS存在描述符。例如，分配当前未使用的“0xf2”。8比特字段“descriptor_length”表示紧跟在后的字节长度，且此处是“0x01”。8比特字段“fps_exit”表示插入了FPS信息(fps_info)的SEI消息的存在性。例如，“fps_exit＝0”表示SEI消息不存在，而“fps_exit＝1”表示SEI消息存在。

以这种方式，通过在发射侧(编码侧)添加FPS存在描述符，接收侧(解码侧)知道具有插入的FPS信息(fps_info)的SEI消息的存在性，该FPS信息包括帧频信息和层数量信息。如果FPS存在描述符表示SEI消息的存在性，则接收侧(解码侧)提取fps_info，并且从其中的“base”和“max”的值能够知道哪些画面具有接收侧(解码侧)自身应当解码的“temporal_id”。基于此，接收侧(解码侧)通过期望的“temporal_id”来解码画面。

返回图2，调制/发射天线部108根据适合广播的调制方式(例如QPSK/OFDM)来对传输流TS进行调制。调制/发射天线部108然后从发射天线发射RF调制信号。

将描述图2中示出的TV发射机100的操作。以合适的专业压缩格式存储的原始运动图像数据(图像数据、音频数据)从原始运动图像供给部101供给到解码设备102。在解码设备102中，对原始运动图像数据进行解码，并得到未压缩图像数据和未压缩音频数据。

由解码设备102得到的未压缩图像数据供给到层级分类部103。在层级分类部103中，构成未压缩图像数据的每一个画面的图像数据分类为多层。在这种情况下，对画面进行分类，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心(参见图3)。

以这种方式进行了层级分类的每一层的图像数据供给到图像编码部104。在图像编码部104中，对分类的每一层的图像数据进行解码，并生成容纳编码的每一层的图像数据的视频流(视频基本流)。在这种情况下，进行例如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

在这种情况下，在图像编码部104中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，在图像编码部104中，层标识信息(temporal_id)被放置于每一个画面的NAL单元(nal_unit)的头部部分(参见图4)。

此外，由解码设备102得到的未压缩音频数据供给到音频编码部105。在音频编码部105中，对未压缩音频数据执行例如MPEG-2音频或AAC的编码，并生成音频流(音频基本流)。

由图像编码部104生成的视频流和由音频编码部105生成的音频流供给到多路复用部106。在多路复用部106中，对基本流进行多路复用，并得到作为传输数据的传输流TS。在多路复用部106中，产生最低层中的画面的帧频信息和表示多层的数量的层数量信息，并添加到传输层(容器层)。例如，在多路复用部106中，记述帧频信息和层数量信息的FPS描述符(fps_descriptor)放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中(参见图5和图6)。

需要注意的是，帧频信息和层数量信息例如也可以插入视频层，例如SEI消息插入访问单元的“SEIs”部分。在这种情况下，包括该信息的FPS信息(fps_info)作为“fps_info SEI message”插入访问单元的“SEIs”部分(参见图7(b))。随后，在这种情况下，标识SEI消息的存在性的标识信息插入传输层(容器层)。例如，在多路复用部106中，FPS存在描述符(fps_exit_descriptor)放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中(参见图7(a))。

由多路复用部106生成的传输流TS发送到调制/发射天线部108。在调制/发射天线部108中，根据适合广播的调制方式(例如QPSK/OFDM)来对传输流TS进行调制，并生成RF调制信号。随后，在调制/发射天线部108中，RF调制信号从发射天线发射。

[示例性TV接收机的结构]

图8示出TV接收机200的示例性结构。TV接收机200包括接收天线/解调部201、多路分解部202、控制部203、图像解码部204、回放速度调节部205、图像显示部206、音频解码部207以及音频输出部208。

接收天线/解调部201对通过接收天线接收的RF调制信号进行解调，并取得传输流TS。多路分解部202从传输流TS分别提取视频流和音频流。在视频流中，构成运动图像数据的每一个画面的图像数据分类为多层，其中图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

此外，多路分解部202提取插入传输流TS的传输层(容器层)的各种信息，并将其发射到控制部203。此时，放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS描述符(fps_descriptor)也被提取。在FPS描述符中，记述最低层中的画面的帧频信息和表示多层的数量的层数量信息。

替代地，如果例如帧频信息和层数量信息插入视频层，例如SEI消息插入访问单元的“SEIs”部分，则可以提取放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS存在描述符。

图像解码部204从由多路分解部202多路分解的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据。此时，图像解码部204基于放置在每一个画面的NAL单元的头部部分的层标识信息(temporal_id)来取回并解码期望的层中的画面的编码图像数据。回放速度调节部205调节根据解码的每一个画面的图像数据的图像回放速度，以匹配规定层中的画面的帧频。换言之，回放速度调节部205依次输出解码的每一个画面的图像数据，以匹配规定层中的画面的帧频(帧率)。

控制部203控制TV接收机200的每一个部分的操作。控制部203通过向图像解码部204发射指定将被解码的规定层和更低层的解码层信息，来控制解码层。此外，控制部203通过向回放速度调节部205发射与规定层中的画面的帧频对应的回放速度信息(例如同步信号)，来控制图像回放速度。

控制部203基于帧频信息、层数量信息以及TV接收机200自身的解码性能来控制图像解码部204中的解码层和回放速度调节部205中的图像回放速度。例如，考虑FPS描述符(fps_descriptor)具有如图6所述的记述的内容的情况。

在这种情况下，控制部203知道仅在第一层帧频为30fps，在第一/第二组合层帧频为60fps，而在第一到第三组合层帧频为120fps。此外，如果TV接收机200自身的解码能力上升到60fps的最大值，则控制部203从该信息知道到第一/第二组合层为止是可以解码的。此外，控制部203知道对具有“temporal_id＝0”和“temporal_id＝1”的画面解码是足够的。并且，控制部203知道以60fps回放解码画面是足够的。

图像显示部206由例如液晶显示器(LCD)的显示器组成。图像显示部206显示根据从回放速度调节部205输出的每一个画面的图像数据的图像。音频解码部207对由多路分解部202多路分解的音频流执行解码，并得到与由图像解码部204得到的图像数据对应的音频数据。音频输出部208由例如放大器和扬声器的组件组成。音频输出部208输出根据从音频解码部207输出的音频数据的音频。

将描述如图8所示的TV接收机200的操作。在接收天线/解调部201中，对通过接收天线接收的RF调制信号进行解调，并取得传输流TS。该传输流TS供给到多路分解部202。在多路分解部202中，从传输流TS分别提取视频流和音频流。在本文中，在视频流中，构成运动图像数据的每一个画面的图像数据分类为多层，其中图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

此外，在多路分解部202中，插入传输流TS的传输层(容器层)的各种信息被提取并发射到控制部203。此时，放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS描述符(fps_descriptor)也被提取。在FPS描述符中，记述最低层中的画面的帧频信息和表示多层的数量的层数量信息。

替代地，例如，如果帧频信息和层数量信息插入视频层，例如SEI消息插入访问单元的“SEIs”部分，则可以提取放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS存在描述符。

在控制部203中，基于帧频信息、层数量信息以及TV接收机200自身的解码性能来确定到哪一层为止是可以解码的。此外，通过该控制部203，图像解码部204中的解码层和回放速度调节部205中的图像回放速度受到控制。

由多路分解部202多路分解的视频流供给到图像解码部204。在图像解码部204中，在控制部203的控制下，从视频流选择性地取回并解码规定层和更低层中的编码图像数据，并依次得到每一个画面的图像数据。以这种方式解码的每一个画面的图像数据供给到回放速度调节部205。

在回放速度调节部205中，在控制部203的控制下，调节根据每一个画面的图像数据的图像回放速度，以使匹配规定层中的画面的帧频。换言之，每一个画面的图像数据从回放速度调节部205依次输出，以匹配规定层中的画面的帧频(帧率)。图像数据供给到图像显示部206，并显示根据规定层和更低层中的每一个画面的图像数据的图像。

另外，由多路分解部202多路分解的音频流供给到音频解码部207。在音频解码部207中，对音频流执行解码，并得到与由图像解码部204得到的图像数据对应的音频数据。音频数据供给到音频输出部208，并输出与显示的图像对应的音频。

图9中的流程图示出在图2中所示的TV发射机100中、在FPS描述符(fps_descriptor)被放置在PMT下的情况下的发射处理次序的例子。需要注意的是，在图2中示出的TV发射机100中，在图像编码部104中，如上文讨论的，生成容纳各层中的画面的编码图像数据的单一视频流。

首先，在步骤ST1中，TV发射机100开始发射处理。随后，在步骤ST2中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。

接下来，在步骤ST3中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。

接下来，在步骤ST4中，TV发射机100对每一个层级分类的画面的图像数据进行编码。在这种情况下，对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100将层标识信息(temporal_id)放置在每一个画面的NAL单元(nal_unit)的头部部分。

接下来，在步骤ST5中，TV发射机100对音频数据进行编码。随后，在步骤ST6中，TV发射机100生成FPS描述符(fps_descriptor)和包含FPS描述符的PMT。

接下来，在步骤ST7中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，在步骤ST8中，TV发射机100调制并发射传输流TS。之后，在步骤ST9中，TV发射机100结束处理。

图10中的流程图示出在图8中所示的TV接收机200中、在FPS描述符(fps_descriptor)被放置在PMT的“ES_info_length”下的描述符循环中的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图9中的流程图所示的发射处理次序对应。

首先，在步骤ST11中，TV接收机200开始接收处理。随后，在步骤ST12中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。

接下来，在步骤ST13中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S14中，TV接收机200从PMT提取FPS描述符(fps_descriptor)，将FPS描述符与TV接收机200自身的解码性能进行比较，并决定要解码的层。

接下来，在步骤ST15中，TV接收机200对步骤ST14中决定的层中的画面的图像数据进行解码。随后，根据FPS描述符(fps_descriptor)的内容来以适合的回放速度进行回放。此外，在步骤ST16中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST17中，TV接收机200结束处理。

图11中的流程图示出在图2中所示的TV发射机100中、在添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的例子。需要注意的是，在图2中示出的TV发射机100中，在图像编码部104中，如上文讨论的，生成容纳各层中的编码图像数据的单一视频流。

首先，在步骤ST21中，TV发射机100开始发射处理。随后，在步骤ST22中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。

接下来，在步骤ST23中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。

接下来，在步骤ST24中，TV发射机100对每一个层级分类的画面的图像数据进行编码。在这种情况下，对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100将层标识信息(temporal_id)放置在每一个画面的NAL单元(nal_unit)的头部部分。此外，TV发射机100添加FPS信息(fps_info)SEI消息。

接下来，在步骤ST25中，TV发射机100对音频数据进行编码。随后，在步骤ST26中，TV发射机100生成FPS存在描述符(fps_exist_descriptor)和包含FPS存在描述符的PMT。

接下来，在步骤ST27中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，在步骤ST28中，TV发射机100调制并发射传输流TS。之后，在步骤ST29中，TV发射机100结束处理。

图12中的流程图示出在图8中所示的TV接收机200中、在添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图11中的流程图所示的发射处理次序对应。

首先，在步骤ST31中，TV接收机200开始接收处理。随后，在步骤ST32中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。

接下来，在步骤ST33中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S34中，TV接收机200从PMT提取FPS存在描述符(fps_exit_descriptor)，并查看“fps_exit”。然后，在步骤ST35中，TV接收机200判断是否“fps_exit＝1”。

当“fps_exit＝1”时，在步骤ST36中，TV接收机200提取作为SEI消息添加的FPS信息(fps_info)，将FPS信息与TV接收机200自身的解码性能进行比较，并决定要解码的层。在步骤ST37中，TV接收机200对步骤ST36中决定的层中的画面的图像数据进行解码。随后，根据FPS信息(fps_info)的内容来以适合的回放速度进行回放。此外，在步骤ST38中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST39中，TV接收机200结束处理。

另外，当步骤ST35中“fps_exit＝0”时，在步骤ST40中，TV接收机200对图像数据正常地解码并回放。此外，在步骤ST38中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST39中，TV接收机200结束处理。

如上文描述的，在图1中示出的TV发射/接收系统10中，构成运动图像数据的每一个画面的图像数据分类为多层，并发射容纳编码的每一层的图像数据的视频流。由于该原因，在发射侧，通过简单地发射一个程序或一个文件，可以提供支持各种帧频的服务，并且操作成本的减少成为可能。

同时，在接收侧，可以选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收侧自身的回放性能的帧频进行回放，从而有效地促进接收机的采用。在本文中，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且在接收机处，可以无需对比规定层高的层进行解码而有效地使用接收侧自身的回放性能。

另外，在图1中示出的TV发射/接收系统10中，图像编码部104生成容纳编码的每一层的图像数据的单一视频流，且针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息(temporal_id)。由于该原因，在接收侧，可以基于层标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。

另外，在图1中示出的TV发射/接收系统10中，层级分类部103将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。由于该原因，每次层增加一层，则帧频变为两倍，从而在接收侧，可以仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。

另外，在图1中示出的TV发射/接收系统10中，最低层中的画面的帧频信息和表示多层的数量的层数量信息插入容器层(传输层)或视频层。由于该原因，在接收侧，可以容易地取得最低层中的画面的帧频信息和表示多层的数量的层数量信息。

<2.修改>

[不同PID的例子]

需要注意的是，上述实施例说明在图像编码部104中生成容纳编码的每一层的图像数据的单一视频流的例子，或换言之，相同PID的例子。然而，在图像编码部104中，也可以想到生成容纳多层的每一层的图像数据的多个视频流。

在这种情况下，如图13中所示的，对每一层分配不同PID。当通过视频层的层级分层而分离的每一层的NAL单元被多路复用为传输流包时，对每一层分配不同PID。与如上文讨论的实施例中的将所有层放入相同PID的情况相比，如存在如下不同。

-相同PID的情况

(a)在接收侧(解码侧)，仅取得一个PID的TS包。

(b)分析nal头部，检测“temporal_id”，并且仅对具有要求的“temporal_id”的nal单元进行解码。

-不同PID的情况

(a)在接收侧(解码侧)，取得要求的多个PID的TS包。

(b)对取得的PID的TS包内的所有nal单元进行解码。“temporal_id”可以存在或可以不存在。

在不同PID的情况下，结构描述符(structure_descriptor)例如放置在PMT的“program_info_length”下的描述符循环中。图14示出结构描述符的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是结构描述符。例如，分配当前未使用的“0xf1”。8比特字段“descriptor_length”表示紧跟在后的字节长度。

8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。例如，在如图13所示的例子的30fps的情况下，值是表示30的“0x1e”。8比特字段“max”表达表示多层的数量的层数量信息。例如，在如图13所示的例子的到第三层为止的层的情况下，值是表示3的“0x03”。

在for循环内，记述所有分配到每一层的PID(layer_PID)。记述顺序例如从第一层顺次进行。在解码侧，从“base”的值和列出的PID知道应当取得哪些PID的TS包。

此外，也可以想到与不同PID一起使用图15(b)中示出的FPS信息(fps_info)SEI消息。在这种情况下，图15(a)中示出的结构描述符(structure_descriptor)放置在“program_info_length”下的描述符循环中。在接收侧(解码侧)，取得在结构描述符的for循环的开始处记述的第一层的PID的TS包，并且提取其中的SEI消息，即FPS信息(fps_info)。从“base”的值判断将被解码的层，从结构描述符的“layer_PID”检测将取得的TS包的PID，从而取得并解码期望的TS包。

图16中的流程图示出针对被配置为使得TV发射机100以不同PID对每一层的图像数据进行编码、并且FPS描述符(structure_descriptor)被放置在PMT下的情况的发射处理次序的例子。

首先，在步骤ST51中，TV发射机100开始发射处理。随后，在步骤ST52中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。

接下来，在步骤ST53中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。

接下来，在步骤ST54中，TV发射机100对每一个层级分类的画面的图像数据进行编码。对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。

接下来，在步骤ST55中，TV发射机100对音频数据进行编码。随后，在步骤ST56中，TV发射机100生成结构描述符(structure_descriptor)和包含FPS结构描述符的PMT。

接下来，在步骤ST57中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，TV发射机100针对每一层将图像数据与不同PID多路复用。随后，在步骤ST58中，TV发射机100调制并发射传输流TS。之后，在步骤ST59中，TV发射机100结束处理。

图17中的流程图示出在图8中所示的TV接收机200中、在每一层的图像数据以不同PID编码并且结构描述符(structure_descriptor)被放置在PMT下的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图16中的流程图所示的发射处理次序对应。

首先，在步骤ST61中，TV接收机200开始接收处理。随后，在步骤ST62中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。

接下来，在步骤ST63中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S64中，TV接收机200从PMT提取结构描述符(structure_descriptor)，将结构描述符与TV接收机200自身的解码性能进行比较，并决定要解码的层。

接下来，在步骤ST65中，TV接收机200根据每一个PID的TS包来对步骤ST64中决定的层中的画面的图像数据进行解码。随后，根据结构描述符(structure_descriptor)的内容来以适合的回放速度进行回放。此外，在步骤ST66中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST67中，TV接收机200结束处理。

图18中的流程图示出针对TV发射机100用不同PID对每一层的图像数据进行编码、并且添加FPS信息(fps_info)SEI消息的情况的发射处理次序的例子。

首先，在步骤ST71中，TV发射机100开始发射处理。随后，在步骤ST72中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。

接下来，在步骤ST73中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。

接下来，在步骤ST74中，TV发射机100对每一个层级分类的画面的图像数据进行编码。对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100添加FPS信息(fps_info)SEI消息。

接下来，在步骤ST75中，TV发射机100对音频数据进行编码。随后，在步骤ST76中，TV发射机100生成结构描述符(structure_descriptor)和包含FPS结构描述符的PMT。

接下来，在步骤ST77中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，TV发射机100针对每一层将图像数据与不同PID多路复用。随后，在步骤ST78中，TV发射机100调制并发射传输流TS。之后，在步骤ST79中，TV发射机100结束处理。

图19中的流程图示出图8中所示的TV接收机200中、在每一层的图像数据用不同PID编码并且添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图18中的流程图所示的发射处理次序对应。

首先，在步骤ST81中，TV接收机200开始接收处理。随后，在步骤ST82中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。

接下来，在步骤ST83中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。在步骤S84中，TV接收机200从PMT提取结构描述符(structure_descriptor)。然后，在步骤ST85中，TV接收机200判断结构描述符是否存在。

当结构描述符存在时，在步骤ST86中，TV接收机200提取作为SEI消息添加的FPS信息(fps_info)，将FPS信息与TV接收机200自身的解码性能进行比较，并决定要解码的层。在步骤ST77中，TV接收机200根据每一个PID的TS包来对步骤ST76中决定的层中的画面的图像数据进行解码。随后，根据FPS信息(fps_info)的内容来以适合的回放速度进行回放。此外，在步骤ST88中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST89中，TV接收机200结束处理。

另外，当步骤ST85中结构描述符不存在时，在步骤ST90中，TV接收机200对图像数据正常地解码并回放。此外，在步骤ST88中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST89中，TV接收机200结束处理。

图20示出上述四种方法的附加信息的比较，上述四种方法是：(a)用相同PID(PES)并且在PMT中的语法记述，(b)用相同PID(PES)并且在SEI中的语法记述，(c)用不同PID(PES)并且在PMT中的语法记述以及(d)用不同PID(PES)并且在SEI中的语法记述。

[层级分类和图像编码的其它例子]

另外，上述实施例说明如下例子：将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。然而，分类方法不限于这样的例子。例如，也可以是如下的分类方法。

-其它例子1

图21(a)示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层和第二层这两层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。

此外，两个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为三倍。因此，如附图中示出的，当第一层的帧频仅为40fps时，第一/第二组合层的帧频为120fps。

同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，而对属于第二层的画面分配“temporal_id＝1”。

图21(b)示出在进行了图21(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。

8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示40的“0x28”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示2的“0x02”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x03”，其记述倍数是3x(3倍)。

-其它例子2

图22(a)也示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层和第二层这两层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。

此外，四个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为五倍。因此，如附图中示出的，当第一层的帧频仅为24fps时，第一/第二组合层的帧频为120fps。

同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，而对属于第二层的画面分配“temporal_id＝1”。

图22(b)示出在进行了图22(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。

8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示24的“0x18”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示2的“0x02”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x05”，其记述倍数是5x。

-其它例子3

图23(a)也示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层到第四层这四层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。

此外，B画面(双向预测画面)被放置于第一层中的各画面之间的时间上的中心位置，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的组合层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为两倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一/第二组合层的帧频为24fps。

此外，四个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第三层。第三层中的B画面被编码，以使仅参考属于第三层和/或第二层或以下的画面。由于该原因，第三层仅通过从第一到第三组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对从第一到第三组合层解码时，帧频变为五倍。另外，与第一和第二组合层相比，帧频变为2.5倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一到第三组合层的帧频为60fps。

此外，B画面(双向预测画面)被放置于第一层和第三层中的各画面之间的时间上的中心位置，并属于第四层。然而，因为画面的一部分与第二层中的画面相同，所以该画面的一部分缺少。第四层中的B画面被编码，以使仅参考属于第四层和/或第三层或以下的画面。由于该原因，第四层仅通过第一到第四组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对从第一到第四组合层解码时，帧频变为十倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一到第四组合层的帧频为120fps。

同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，对属于第二层的画面分配“temporal_id＝1”，对属于第三层的画面分配“temporal_id＝2”，而对属于第四层的画面分配“temporal_id＝3”。

图23(b)示出在进行了图23(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。

8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示12的“0x0C”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示4的“0x04”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x03”，其记述倍数是2x。此外，对于第三层值是“0x05”，其记述倍数是5x。另外，对于第四层值是“0x0a”，其记述倍数是10x。

[其它]

另外，虽然上述实施例说明由TV发射机100和TV接收机200组成的TV发射/接收系统10，但是可以应用本技术的TV发射/接收系统的结构不限于此。例如，TV接收机200的一部分也可以是例如由数字接口(例如高清多媒体接口(HDMI))连接的机顶盒和监视器等的结构。

另外，上述实施例说明容器是传输流(MPEG-2TS)的例子。然而，本技术类似地能够应用于被配置用于使用例如互联网的网络来向接收终端传送的系统。通过互联网传送，内容经常在MP4或某些其它格式的容器中传送。换言之，关于容器，有各种格式的容器，例如数字广播标准中采用的传输流(MPEG-2TS)或用于互联网传送的MP4。

此外，本技术也可以被配置如下。

(1)一种发射设备，包括：

层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；

图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及

发射部，所述发射部发射包括生成的视频流的规定格式的容器，其中所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

(2)根据(1)所述的发射设备，其中

所述图像编码部

生成容纳编码的每一层的图像数据的单一视频流，并且

针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。

(3)根据(1)或(2)所述的发射设备，其中

所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。

(4)根据(1)至(3)所述的发射设备，还包括：

信息插入部，所述信息插入部将最低层的画面的帧频信息和表示所述多层的数量的层数量信息插入所述容器。

(5)根据(4)所述的发射设备，其中

所述信息插入部将信息插入容器层或视频层。

(6)根据(5)所述的发射设备，其中

当将信息插入所述视频层时，所述信息插入部还将标识是否存在到所述视频层的信息的插入的标识信息插入所述容器层。

(7)根据(1)所述的发射设备，其中

所述图像编码部生成容纳编码的所述多层的每一层的图像数据的多个视频流。

(8)根据(7)所述的发射设备，还包括：

标识信息插入部，所述标识信息插入部将用于标识每一层的视频流的流标识信息插入所述容器层。

(9)一种发射方法，包括：

将构成运动图像数据的每一个画面的图像数据分类为多层的步骤；

对分类的每一层的图像数据进行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并生成容纳编码的每一层的图像数据的视频流的步骤；以及

发射包括生成的视频流的规定格式的容器的步骤。

(10)一种发射设备，包括：

层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；

图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及

发射部，所述发射部发射包括生成的视频流的规定格式的容器，

其中所述图像编码部

生成容纳编码的每一层的图像数据的单一视频流，并且

针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。

(11)一种编码设备，包括：

层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；以及

图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流，

其中所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。

(12)根据权利要求11所述的编码设备，其中

所述图像编码部

生成容纳编码的每一层的图像数据的单一视频流，并且

针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。

(13)一种接收设备，包括：

接收部，所述接收部接收包括视频流的规定格式的容器，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；

图像解码部，所述图像解码部从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据；以及

回放速度调节部，所述回放速度调节部调节根据解码的每一个画面的图像数据的图像回放速度，以与规定层中的画面的帧频匹配。

(14)根据(13)所述的接收设备，其中

最低层中的画面的帧频信息和表示所述多层的数量的层数量信息被插入所述容器，

所述接收设备还包括：

控制部，所述控制部基于插入所述容器的信息和所述接收设备的解码性能来控制所述图像解码部中的解码层，并控制所述回放速度调节部中的图像回放速度。

(15)根据(13)所述的接收设备，其中

所述容器中包括容纳编码的每一层的图像数据的单一视频流，

针对每一个画面，用于标识包含画面的层的层标识信息被添加到编码的每一层的图像数据，并且

所述图像解码部基于所述层标识信息从所述单一视频流选择性地取回并解码规定层和更低层中的编码图像数据。

(16)根据(13)所述的接收设备，其中

所述容器中包括容纳编码的所述多层的每一层的图像数据的多个视频流，

用于标识每一层的视频流的流标识信息被插入容器层，并且

图像编码部基于所述流标识信息从规定层和更低层的视频流选择性地取回编码图像数据，并对所述编码图像数据进行解码。

(17)一种接收方法，包括：

接收包括视频流的规定格式的容器的步骤，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；

从包括于接收的容器中的视频流选择性地取回并编码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据的步骤；以及

将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的帧频的步骤。

(18)一种解码设备，包括：

图像解码部，所述图像解码部从容纳构成运动图像数据的每一个画面的图像数据的视频流选择性地取回并编码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据，其中所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；以及

回放速度调节部，所述回放速度调节部将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的帧频。

符号说明

10 TV发射/接收系统

100 TV发射机

101 原始运动图像数据供给部

102 解码设备

103 层级分类部

104 图像编码部

105 音频编码部

106 多路复用部

107 附加信息产生部

108 调制/发射天线部

200 TV接收机

201 接收天线/解调部

202 多路分解部

203 控制部

204 图像解码部

205 回放速度调节部

206 图像显示部

207 音频解码部

208 音频输出部