图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法

专利名称：图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法
技术领域：
本技术涉及图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法，尤其涉及发送立体图像数据、可伸缩编码图像数据等的图像数据发送设备。
背景技术：
在相关技术中，H. 264/AVC (高级视频编码)被称为视频编码系统(参照非专利文献I)。另外，H. 264/MVC (多视图视频编码)已知为H. 264/AVC的扩展系统(参照非专利文献2)。MVC采用集体编码多视像数据的方案。在MVC中，将多视像数据编码成基本视图的图像数据、和一个或多个非基本视图的图像数据。另外，H. 264/SVC (可伸缩视频编码)也已知为H. 264/AVC的扩展系统(参照非专利 文献3)。SVC是分级编码图像的技术。在SVC中，将视频划分成含有以最低质量解码视频所需的图像数据的基本层(最下层)、和含有通过加入基本层中提高视频的质量的图像数据的扩展层(上层)。引用列表非专利文献非专利文献1:"Draft Errata List with Revision-Marked Corrections forH.264/AVC",JVT-1050, Thomas Wiegand et.al. , Joint Video Team (JVT) of IS0/IECMPEG&ITU-T VCEG,2003 ；非专利文献2 Joint Draft4. Oon Multiview Video Coding, Joint Video Teamof IS0/IEC MPEG&ITU-T VCEG, JVT-X209, July2007 ；非专利文献3 :Heiko Schwarz, Detlev Marpe, and Thomas Wiegand, "Overviewof the Scalable Video Coding Extension of the H. 264/AVC, Standard"，IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 17，NO. 9，SEPTEMBER2007, pp. 1103-1120。

发明内容
本发明要解决的问题在动态切换AVC流和MVC流的分配环境中，预计MVC的接收器通过确定只存在“Stream_Type=0xlB” 的一个流还是存在“Stream_Type=0xlBlPI“Stream_Type=0x20” 的两个流在它的接收模式之间切换。普通AVC (2D)视频基本流通过PMT (节目映射表)的“Stream_Type=0xlB”发送。可替代地，在一些情况下，MVC的基本视图的视频基本流(叫做基本视图子位流)可以通过PMT的“Stream_Type=0xlB”发送。就MVC而言，在一些情况下，集体发送基本视图的图像数据和非基本视图的图像数据。也就是说，在分开发送基本视图的图像数据和非基本视图的图像数据的情况下，可以通过PMT的“Stream_Type=0xlB”发送MVC的基本视图的视频基本流(叫做基本视图子位流)。传输流中的一个部分配有在用作PSI (节目特定信息)的PMT的级别上区分传输流是AVC流还是MVC流的结构。也就是说，当只存在“Stream_Type=OxlB”时,可认为视频基本流是2DAVC流。也就是说，当存在“Stream_Type=OxlB”和“Stream_Type=0x20”两者时，可以认为视频基本流是MVC流。但是，取决于发送方装备，PMT可能未必被动态地更新。在那种情况下，当将分配内容从立体(3D)图像切换成二维(2D)图像时，认为会引起如下不便。也就是说，假设“0x20”流类型(Stream_Type)的流将在“OxlB”流类型(Stream_Type)的基本流之后传送,则认为接收器会继续等待数据。在分配内容切换到二维(2D)图像之后，尽管将接收不到“0x20”的基本流，但当假设将传送“0x20”的基本流时，接收器的内部会继续等待“0x20”的基本流。其结果是，不能实现正确解码，因此会担心可能无法正常显示。也就是说，在接收器只依靠PMT的“Stream_ Type”的类型来确定它的模式的情况下，存在所确定的模式可能不正确的可能性，其结果是，可能接收不到正确的流。图27例示了传输流中的视频基本流和PMT (节目映射表)的配置例子。在视频基本流ESl和ES2的访问单元(AU) “001”到“009”的时段中，存在两个视频基本流。这个时段是，例如，3D节目的主要时段，这两个流构成立体(3D)图像数据的流。在接在前述时段之后的视频基本流ESl的访问单元“010”到“014”的时段中，只存在一个视频基本流。这个时段是，例如，要插入3D节目的主要时段中的CM时段，该一个流构成二维图像数据的流。此外，在接在最后所述的时段之后的视频基本流ESl和ES2的访问单元“0015”到“016”的时段中，存在两个视频基本流。这个时段是例如3D节目的主要时段，这两个流构成立体(3D)图像数据的流。在PMT中，更新视频基本流的登记的周期(例如，100ms)不能与视频的帧时段(例如，33. 3ms)匹配。在识别构成传输流的基本流随PMT的动态变化的方法中，PMT的传输流和基本流的内部配置是异步的。于是，这样的方法不能保证在接收器中正确操作。在现有信号标准(MPEG)中，必不可少的是将“MVC_eXtenSi0n描述符”描述符插入“Stream_Type=OxlB”的MVC基本视图的视频基本流(叫做基本视图子位流)中作为PMT描述符。这种描述符的存在告知了非基本视图的视频基本流(非基本视图子位流)的存在。但是，“Stream_Type=OxlB”所指的“基本PID”的视频基本流未必是上述的MVC基本视图的视频基本流(叫做基本视图子位流)。在传统AVC中，认为存在许多高级画质(highprofile)流。特别是，为了保证与现有2D接收器的兼容性，在一些情况下，人们建议，尽管存在立体(3D)图像数据，但将基本视图的视频基本流转换成传统AVC (2D)的视频基本流。在这种情况下，立体图像数据的流包括AVC (2D)的视频基本流、和非基本视图的视频基本流(非基本视图子位流)。在这种情况下，不将“MVC_extension descriptor”的描述符与“Stream_Type=0xlB”的视频基本流相联系。因此，除了识别与基本视图的视频基本流相对应的AVC (2D)视频基本流的存在之外，没有办法识别非基本视图的视频基本流(非基本视图子位流)的存在。另外，如上所述，在动态切换AVC(2D)流和MVC流的分配环境中，预计MVC的接收器通过确定只存在“Stream_Type=OxlB”的一个流还是存在“Stream_Type=OxlB”和“Stream_Type=0X20”的两个流而在它的接收模式之间切换。普通AVC (2D)视频基本流通过PMT (节目映射表)的“Stream_Type=OxlB”发送。可替代地,在一些情况下，MVC的基本视图(Baseview)的视频基本流(叫做基本视图子位流)可以通过PMT的“Stream_Type=OxlB”发送。在那种情况下，可以将多个视频基本流多路复用成一个传输流(TS transportStream)ο存在立体图像数据的流由其中的一些视频基本流形成的情况。例如，考虑将下述的视频流多路复用成一个传输流的情况。PIDO (AVC2D)stream_type=OxlBPIDl (AVC3D 巾贞兼容)stream_type=OxlBPID2 (MVC 非基本子位流)stream_type=0x20“PID0”本身的视频基本流是传统二维(2D)图像数据的流。这个视频基本流通过与“PID2”的非基本视图的视频基本流(非基本视图子位流)组合而构成立体(3D)图像数据的流。但是，不能只将作为3D成分的视频流与“stream_type”的使用相联系。也就是说，这是因为“stream_type=OxlB”也可用于“PID1”的视频基本流。“AVC3D帧兼容”代表，例如，并肩系统、顶底系统等的立体(3D)图像数据。上述的描述结合了基本视图的图像数据的编码系统和非基本视图的图像数据的编码系统两者都是MPEG4-AVC的例子。但是，也可以考虑如下情况基本视图的图像数据的编码系统和非基本视图的图像数据的编码系统两者都是非上述编码系统的MPEG2视频系统等的情况；以及基本视图的图像数据的编码系统和非基本视图的图像数据的编码系统相互不同的情况。更进一步，在上述中，指出了如下问题难以确定包含在传输流中的基本流是否构成立体(3D)图像数据；以及难以识别包含在传输流中的基本流当中的哪个基本流构成立 体(3D)图像数据。尽管未给出详细描述，但即使以时分方式发送AVC流和上述SVC流，也会引起这样的不便。本技术的目的是，例如，使MVC或SVC的接收器可以正确响应分配内容的动态变化以及进行正确流接收。问题的解决方案本技术的概念是一种图像数据发送设备，其包括编码单元，用于生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流；以及发送单元，用于发送包括通过将所述编码单元生成的每个基本流分组化而获得的每个分组的传输流，其中所述编码单元将指示基本流之间的联系的流联系信息至少插入第一基本流中。在本技术中，由编码单元生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流。因此，发送单元发送包括通过将编码单元生成的每个基本流分组化而获得的每个分组的传输流。在这种情况下，可能存在如下状态只存在预定数目的第二图像数据的状态；只存在预定数目的元数据的状态；以及总共预定数目的第二图像数据和元数据共存的状态。
例如，作为包含在第一基本流中的第一图像数据的编码系统，和包含在预定数目的第二基本流中的第二图像数据的编码系统，编码系统的任何组合都是可接受的。例如，可以考虑只将MPEG4-AVC用作编码系统的情况、只将MPEG2视频用作编码系统的情况、和更进一步使用那些编码系统的组合的情况。编码系统不局限于MPEG4-AVC和MPEG2视频。例如，第一图像数据是构成立体(3D)图像数据的基本视图的图像数据，和第二图像数据是除了构成立体(3D)图像数据的基本视图之外的其他视图(非基本视图)的图像数据。在这种情况下，例如，第一图像数据是获取立体图像的左眼和右眼的任何一只的图像数据，和第二图像数据是获取立体图像的左眼和右眼的另一只的图像数据。另外，例如，元数据是与立体图像数据相对应的视差信息(视差矢量、深度数据等)。例如，在接收方，使用视差信息对接收的图像数据进行内插处理(后处理)，以便可以获得预定数目的视图的显示图像数据。另外，例如，第一图像数据是构成可伸缩编码图像数据的最下层的编码图像数据，和第二图像数据是除了构成可伸缩编码图像数据的最下层之外的其他层的编码图像数据。 例如，流联系信息可以被配置成包括指示在多视图观看下在立体显示期间与包含在已经插入流联系信息的基本流中的图像数据相对应的视图被显示成哪个视图的位置信
肩、O指示每个基本流之间的联系的流联系信息由编码单元至少插入第一基本流中。例如，流联系信息被配置成使用标识各自基本流的标识符指示各自基本流之间的联系。例如，将指示每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应关系的描述符(descriptor)插入传输流中。例如，将描述符插在节目映射表的下面。另外，可以事先定义对应关系。至此，可以识别每个基本流在传输流层中的登记状态与流联系信息之间的联系。这样，在本技术中，将指示各自基本流之间的联系的流联系信息至少插入第一基本流中。因此，在接收方，可以根据流联系信息容易地确定与第一基本流相联系的第二基本流是否包含在传输流中。此外，因为将流联系信息插入基本流本身中，所以在接收方，可以根据流联系信息正确地响应基本流的配置的变化，即，分配内容的动态变化，并进行正确流接收。另外，在本技术中，流联系信息可以被配置成包括在实际发生变化之前通知基本流之间的联系将发生变化的提前通知信息。根据提前通知信息，在接收方，可以有效地、动态地改变读取解码器缓冲器的控制。在本技术中，例如，编码单元可以被配置成根据画面或GOP将流联系信息插入基本流中。对于这样的配置，在接收方，可以根据画面或GOP管理基本流的配置，例如，立体图像数据的视图数量的变化或可伸缩编码图像数据的层数的变化。更进一步，在本技术中，接收单元可以被配置成将指示流联系信息是否已经插入基本流中，或插入基本流中的流联系信息是否发生了变化的描述符插入传输流中。由于该描述符，可以提示参考插入基本流中的流联系信息，以及在接收方可以进行稳定的接收操作。另外，在本技术中，例如，流联系信息可以被配置成进一步包括有关第一图像数据和第二图像数据的输出分辨率的控制信息。对于这样的配置，在接收方，可以根据该控制信息调整第一图像数据和第二图像数据的输出分辨率，以便与预定分辨率匹配。另外，在本技术中，例如，流联系信息可以被配置成进一步包括规定是否有必要显示预定数目的第二图像数据的每一个的控制信息。对于这样的配置，在接收方，可以根据控制信息识别有必要显示预定数目的第二图像数据的哪个数据，以及可以限制用户对图像显示状态的选择。此外，本技术的另一个概念是一种图像数据接收设备，其包括接收单元，用于接收传输流，该传输流包含将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流分组化而获得的每个分组，指示每个基本流之间的联系的流联系信息被插入第一基本流中；以及进一步包括数据获取单元，用于根据流联系信息，从所述接收单元接收的第一基本流中获取第一图像数据，和从所述接收单元接收的预定数目的第二基本流中获取与第一图像数据相联系 的第二图像数据和/或元数据。在本技术中，由接收单元接收传输流。传输流可以包括将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流分组化而获得的每个分组。在这种情况下，将指示每个基本流之间的联系的流联系信息插入第一基本流中。由数据获取单元从接收单元接收的传输流中获取图像数据和/或元数据。在这种情况下，根据流联系信息，从第一基本流中获取第一图像数据，以及更进一步从预定数目的第二基本流中获取第二图像数据和/或元数据。在本技术中，将指示每个基本流之间的联系的流联系信息插入传输流中。因此，根据流联系信息，可以容易地确定与第一基本流相联系的第二基本流是否包含在传输流中。此外，因为将流联系信息插入基本流本身中，所以根据流联系信息，可以正确地响应基本流的配置的变化，即，分配内容的动态变化，并进行正确流接收。在本技术中，例如，可以进一步包括调整和输出数据获取单元获取的第一图像数据和第二图像数据的分辨率的分辨率调整器。更进一步，流联系信息可以包含有关第一图像数据和第二图像数据的输出分辨率的控制信息，以及分辨率调整器可以根据有关输出分辨率的控制信息调整第一图像数据和第二图像数据的分辨率。在这种情况下，即使在第一图像数据的分辨率和预定数目的第二图像数据的分辨率相互不同的情况下，分辨率调整器也可以匹配输出分辨率。另外，在本技术中，例如，可以进一步包括图像显示状态选择单元，该图像显示状态选择单元根据所述获取单元获取的第一图像数据和第二图像数据选择图像显示状态，流联系信息可以包含规定是否有必要显示预定数目的第二图像数据的每个数据的控制信息，以及图像显示状态选择单元可以根据控制信息限制图像显示状态的选择。另外，在本技术中，例如，数据获取单元获取的元数据可以是与立体图像数据相对应的视差信息，以及可以进一步包括后处理单元，该后处理单元使用视差数据对数据获取单元获取的第一图像数据和第二图像数据进行内插处理以便获得预定数目的视图的显示图像数据。发明效果按照本技术，在接收方，可以正确地响应基本流的配置中的变化，即，分配内容的动态变化，并满意地进行流接收。


图1是例示作为本发明的第一实施例的图像发送/接收系统的配置例子的框图；图2是例不节目由两个视频基本流形成的例子的图形；图3是例示构成图像发送/接收系统的广播台中的发送数据生成单元的配置例子的框图；图4是例不包含视频基本流、图形基本流、和首频基本流等的一般传输流的配置例子的图形；图5是例示在将流联系信息插入基本流中和将ES_ID描述符和ES_association描述符插入传输流中的情况下传输流的配置例子的图形； 图6是例示ES_ID描述符的结构例子(语法)的图形；图7是例示ES_association描述符的结构例子(语法)的图形；图8是例示插入基本流中的流联系信息与插入传输流中的ES_association描述符之间的关系的例子的图形；图9是描述当编码系统是MPEG4-AVC时将流联系信息插入访问单元的“SELs”部分中的图形；图10 是例不“流联系信息 SEI 消息”和 “userdata_for_stream_association O ”的结构例子(语法)的图形；图11是例示“user_data O ”的结构例子(语法)的图形；图12是例示流联系信息“stream_association() ”的结构例子(语法)的图形；图13是例示流联系信息“stream_association() ”的结构例子(语法)中的每个信息的内容(语义)的图形； 图14是例示传输流包括MVC的基本视图的流和MVC的非基本视图的流的情况的例子的图形；图15是例示在接收方进行立体(3D)显示的时候的视图显示例子的图形；图16 是例不插入“indication_of_selected_stream_display” 的例子的图形；图17是例示构成图像发送/接收系统的接收器的配置例子的框图；图18是例示传输流TS包括MVC的基本视图的流ESl和MVC的非基本视图的流ES2的情况的例子的图形；图19是例示传输流TS包括MPEG2视频流ESl和ES2的情况的例子的图形；图20是例示传输流TS包括MPEG2视频流ESl和AVC流ES2的情况的例子的图形；图21是例示传输流TS包括MVC的基本视图的流ESl和MVC的非基本视图的流ES2的情况的另一个例子的图形；图22是例示传输流TS包括MVC的基本视图的流ESl和MVC的非基本视图的流ES2的情况的又一个例子的图形；图23是例示传输流TS包括MVC的基本视图的流ESl和MVC的非基本视图的流ES2和ES3的情况的例子的图形；
图24是例示传输流TS包括MVC的基本视图的流ESl和MVC的非基本视图的流ES2和ES3的情况的另一个例子的图形；图25是例示传输流TS包括MVC的基本视图的流ESUMVC的非基本视图的流ES2、和元数据的流ES3的情况的例子的图形；图26是例示构成图像发送/接收系统的接收器的另一个配置例子的框图；以及图27是例示传输流中的视频基本流和PMT (节目映射表)的配置例子的图形。
具体实施方式

在下文中，将描述实施本技术的方式(下文称为实施例)。该描述按如下次序作出1.实施例2.修改例〈1.实施例 >[图像发送/接收系统]图1例示了作为实施例的图像发送/接收系统10的配置例子。这种图像发送/接收系统10包括广播台100和接收器200。广播台100将传输流放在广播电波上并发送它们。传输流包含构成节目的图像数据和元数据。也就是说，传输流包括通过将第一基本流和预定数目的第二基本流分组化而获得的每个分组，其中第一基本流包含第一图像数据，而每个第二基本流包含与第一图像数据相联系的第二图像数据和/或元数据。这个分组是PES (分组化基本流)分组。在这种情况下，可能存在如下状态只存在预定数目的第二图像数据的状态；只存在预定数目的元数据的状态；以及总共预定数目的第二图像数据和元数据共存的状态。此外，预定数目的数包括O个。在那种情况下，不存在与第一图像数据相联系的第二图像数据和/或元数据，且传输流只含有将包含第一图像数据的第一基本流分组化而获得的分组。当只存在包含第一图像数据的第一基本流时，第一图像数据构成二维(2D)图像数据。另一方面，当除了包含第一图像数据的第一基本流之外，还存在包含第二图像数据的一个或多个第二基本流时，第一图像数据和预定数目的第二图像数据构成立体(3D)图像数据。这里，第一图像数据是基本视图的图像数据，而预定数目的第二图像数据构成非基本视图的图像数据。在立体(3D)图像数据的情况下，在立体图像数据中只存在一个非基本视图的图像数据。也就是说，预定数目的数是I个。在这种情况下，基本视图的图像数据是左眼和右眼的任一只的图像数据，而非基本视图的图像数据是左眼和右眼的另一只的图像数据。图2例示了节目由例如两个视频基本流形成的例子。在图2(a)中，节目由通过PMT的“Stream_Type=OxlB”发送的MVC的基本视图的流、和通过PMT的“Stream_Type=0x20”发送的MVC的非基本视图的流形成。另外，在图2(b)中，节目由通过PMT的“Stream_Type=0x20”发送的MPEG2视频流、和通过PMT的“Stream_Type=OxlB”发送的AVC流形成。更进一步，在图2(c)中，节目由通过PMT的“Stream_Type=0x20”发送的两个MPEG2视频流形成。将指示每个基本流之间的联系的流联系信息至少插入第一基本流中。这个流联系信息根据作为包含预测图像的显示访问单元的画面或GOP (画面组)被插入。流联系信息的细节将在下面给出。接收器200从广播台100接收在广播电波上传送的传输流。如上所述，传输流包括通过将第一基本流和预定数目的第二基本流的每一个分组化而获得的每个分组。第一基本流包含第一图像数据。预定数目的第二基本流包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据。指示每个基本流之间的联系的流联系信息至少被插入第一基本流中。根据流联系信息，接收器200从第一基本流中获取第一图像数据，以及从预定数目的第二基本流中获取第二图像数据和/或元数据。“发送数据生成单元的配置例子”图3例示了广播台100中生成上述传输流的发送数据生成单元110的配置例子。发送数据生成单元Iio包括数据提取单元(存档单元)111、视频编码器112、视差信息编码 器113、和音频编码器114。发送数据生成单元110进一步包括图形生成单元115、图形编码器116、和多路复用器117。在数据提取单元111中，以可拆卸方式安装数据记录媒体111a。将要发送的节目的图像数据、和与图像数据相对应的音频数据记录在数据记录媒体Illa中。例如，取决于节目，将图像数据切换成立体(3D)图像数据或二维(2D)图像数据。例如，甚至在单个节目内，也取决于节目的主要部分的内容和商业广告，将图像数据切换成立体画面数据或二维图像数据。立体图像数据包括如上所述的基本视图的图像数据和预定非基本视图的图像数据。当图像数据是立体图像数据时，也将视差信息记录在数据记录媒体Illa中，以便对应于立体图像数据。视差信息是指示基本视图与每个非基本视图之间的视差的视差矢量，或深度数据。可以通过预定转换与视差矢量一样地对待深度数据。视差信息是，例如，基于像素(Pixel)的视差信息，或基于将视图(图像)划分成预定数目的区域获得的分区的
视差息等。在接收方，视差信息用于，例如，调整要叠加在基本视图的图像和每个非基本视图的图像的每一个上的相同待叠加信息(图形信息等)的位置，从而赋予视差。更进一步，在接收方，视差信息用于，例如，对基本视图的图像数据和每个非基本视图的图像数据进行内插处理(后处理)，从而获得预定数目的视图的显示图像数据。数据记录媒体Illa是盘状记录媒体、半导体存储器等。数据提取单元111从数据记录媒体Illa中提取图像数据、语音数据、视差信息等，并输出它们。视频编码器112对从数据提取单元111输出的图像数据进行像MPEG4-AVC(MVC)、MPEG2视频等那样的编码处理，从而获得编码视频数据。视频编码器112使用配备在最后一级上的流格式化器(未示出)生成视频基本流。也就是说，当图像数据是二维图像数据时，视频编码器112生成包含二维图像数据(第一图像数据)的视频基本流。当图像数据是立体图像数据时，视频编码器112生成包含基本视图的图像数据(第一图像数据)的视频基本流、和包含预定数目的非基本视图的图像数据(第二图像数据)的视频基本流。视频编码器112将流联系信息至少插入包含第一图像数据的视频基本流(第一基本流)中。流联系信息是指示每个基本流之间的联系的信息。第二基本流包含第二图像数据和/或元数据。视频编码器112根据作为包含预测图像的显示访问单元的画面或GOP(画面组)插入流联系信息。音频编码器114对从数据提取单元111输出的视频数据进行像MPEG Audio AAC等那样的编码处理，从而生成音频的基本流。视差信息编码器113对从数据提取单元111输出的视差信息进行预定编码处理，从而生成视差信息的基本流。当视差信息是如上所述基于像素的视差信息时，可以与像素数据一样地对待视差信息。在这种情况下，视差信息编码器113使用与用于编码图像数据的编码系统相同的某种编码系统对视差信息进行编码处理，因此可以生成视差信息基本流。另外，在这种情况下，可以考虑利用视频编码器112编码从数据提取单元111输出的视差信息的配置，在该情况下视差信息编码器113是多余的。图形生成单元115生成要叠加在图像上的图像信息(包括字幕信息)的数据(图形数据)。图形编码器116生成包含图形生成单元115生成的图形数据的图形基本流。这里， 图形信息构成待叠加信息。图形信息是例如徽标等。字幕信息是例如字幕。图形数据是位图数据。将指示图像上的叠加位置的空闲偏移信息加入图形数据中。空闲偏移信息代表，例如，图像的左上基准点与图形信息的叠加位置的左上像素之间的垂直和水平偏移值。发送作为位图数据的字幕数据的方法的标准是标准化的，且起作为欧洲数字广播格式的DVB中的“DVB_Subtitling”的作用。多路复用器117将视频编码器112、视差信息编码器113、音频编码器114、和图形编码器116生成的每个基本流分组化，并多路复用它们以生成传输流TS。下面简要描述例示在图3中的发送数据生成单元110的操作。将从数据提取单元111输出的图像数据(立体图像数据或二维图像数据)供应给视频编码器112。在视频编码器112中，对图像数据进行像MPEG4-AVC (MVC)和MPEG2视频那样的编码处理，以便生成包含编码视频数据的视频基本流。将视频基本流供应给多路复用器117。也就是说，在视频编码器112中，当图像数据是二维图像数据时，生成包含二维图像数据(第一图像数据)的视频基本流。另外，在视频编码器112中，当图像数据是立体(3D)图像数据时，生成包含基本视图的图像数据(第一图像数据)的视频基本流、和包含预定数目的非基本视图的图像数据(第二图像数据)的视频基本流。在视频编码器112中，根据作为包含预测图像的显示访问单元的画面或G0P，将流联系信息至少插入包含第一图像数据的视频基本流(第一视频基本流)中。至此，将使用包含第一图像数据的第一基本流将指示存在包含第二图像数据的第二基本流的信息发送到接收方。另外，当从数据提取单元111输出立体图像数据时，也从数据提取单元111输出与立体图像数据相对应的视差 目息。将视差 目息供应给视差 目息编码器113。在视差彳目息编码器113中，对视差信息进行预定编码处理，以生成包含编码数据的视差信息基本流。将视差/[目息基本流供应给多路复用器117。另外，当从数据提取单元111输出图像数据时，也从数据提取单元111输出与图像数据相对应的音频数据。将音频数据供应给音频编码器114。在音频编码器114中，对音频数据进行像MPEG2 Audio AAC等那样的编码处理，以生成包含编码音频数据的音频基本流。将音频基本流供应给多路复用器117。另外，在图形生成单元115中 ，生成叠加在图像(视图)上的图形信息(包括字幕信息)的数据(图形数据)，以便对应于从数据提取单元111输出的图像数据。将图形数据供应给图形编码器116。在图形编码器116中，对图形数据进行预定编码处理，以生成包含编码数据的图形基本流。将图形基本流供应给多路复用器117。在多路复用器117中，将从各自编码器供应的基本流分组化和多路复用，以生成传输流TS。在从数据提取单元111输出立体(3D)图像数据的时段内，将传输流TS配置成包括基本视图的视频基本流、和预定数目的非基本视图的视频基本流。另外，在从数据提取单元111输出二维(2D)图像数据的时段内，将传输流TS配置成包括包含二维图像数据的视频基本流。图4例示了包含视频基本流、音频基本流等的一般传输流的配置例子。在传输流中包含将每个基本流分组化而获得的PES分组。在这个配置例子中，包含两个视频基本流的PES分组“视频PES1”和“视频PES2”。另外，在该配置例子中，包含图形基本流的PES分组“图形PES”和专用基本流的PES分组“差异数据PES”。此外，在这个配置例子中，包含音频基本流的PES分组“音频PES”。另外，在传输流中包含作为PSI (节目特定信息)的PMT (节目映射表)。PSI是描述包含在传输流中的每个基本流属于哪个节目的信息。另外，在传输流中包含作为管理事件单元的SI (受服务信息)的EIT (事件信息表)。在PMT中存在描述与整个节目相联系的信息的节目描述符(PiOgramDescriptor)。在PMT中存在具有与每个基本流相联系的信息的基本环路。在这个配置例子中，存在视频基本环路、图形基本环路、专用基本环路、和首频基本环路。为每个基本环路中的每个流安排像分组标识符(PID)、流类型(Stream_Type )等那样的信息。更进一步，尽管未例示出来，但也安排了描述与基本流相联系的信息的描述符。[流联系/[目息]如上所述，视频编码器112根据画面或GOP将流联系信息至少插入包含第一图像数据的视频基本流(第一基本流)中。流联系信息是指示每个基本流之间的联系的信息。流联系信息被配置成使用标识各自基本流的标识符指示每个基本流之间的联系。在这种情况下，有必要将每个基本流在传输流层中的登记状态与流联系信息相联系。例如，可以考虑事先定义每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应的方法。在本实施例中，多路复用器117将指示每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应的描述符，即，ES_ID描述符插入传输流中。多路复用器117将ES_ID描述符插在，例如，PMT的下面。另外，在本实施例中，多路复用器117将指示流联系信息等的存在的描述符，SP，ES_association描述符插入传输流中。该描述符指示流联系信息是否已经插入基本流中，或插入基本流中的流联系信息是否发生了变化。多路复用器117将ES_aSS0Ciati0n描述符插在，例如，PMT或EIT的下面。图5例示了在将流联系信息插入第一基本流中和更进一步将ES_ID描述符和ES_association描述符插入传输流中的情况下传输流的配置例子的图形。在这个配置例子中，在传输流中包含基本视图的视频基本流(Stream_Typevideol)的PES分组“视频PES1”。另外，在这个配置例子中，在传输流中包含非基本视图的视频基本流(Stream_Type video2)的PES分组“视频PES2”。另外，在这个配置例子中，为了简化对图形的描述，未给出对其他PES分组的例示。在这个配置例子中，将指示每个基本流的标识符ES_ID与每个基本流的分组标识符PID或成分标记之间的对应的ES_ID描述符插入视频基本环路中。图6例示了 ES_ID描述符的结构例子(语法)。“descriptor_tag”是指示描述符类型的8位数据,这里指示它是ES_ID描述符。“descriptor_length”是指示描述符的长度(大小)的8位数据。这个数据指示存在于作为描述符的长度的“descriptor_length”之后的字节数。“stream_count_for_association” 是指示流数目的 4 位数据。“for” 循环重复与流数目一样多的次数。“stream_Association_ID”的4位字段指示每个基本流的标识符(ES_ID)。另外，“Associated_stream_Elementary_PID”的13位字段指不每个基本流的分组标识符PID。为了指示每个基本流的标识符与每个基本流的成分标记之间的对应，安排“Component_tag” 来取代 “Associated_stream_Elementary_PID”。图7 (a)例不了 ES_association 描述符的结构例子(语法)。“descriptor_tag”是指示描述符类型的8位数据，这里指示它是ES_association描述符。“descriptor_length”是指示描述符的长度(大小)的8位数据。这个数据指示存在于作为描述符的长度的“descriptor_length”之后的字节数。“existence_of_stream_association_info”的 I 位字段是如图 7 (b)所例不，指不在基本流中是否存在流联系信息的标志。“I”指示在基本流中存在流联系信息，且“O”指示在基本流中不存在流联系信息。可替代地，“I”指示插入基本流中的流联系信息发生了变化，且“O”指示插入基本流中的流联系信息未发生变化。图8例示了插入基本流中的流联系信息与插入传输流中的ES_association描述 符之间的关系的例子。因为在基本流中存在流联系信息，所以将ES_aSS0Ciati0n描述符插在传输流的PMT的下面和加以发送，以提示接收方参考它。因为接收方的解码器可以参考ES_association描述符以及从随后GOP中检测每个基本流的联系配置中发生了变化，所以可以实现稳定的接收操作。另外，当根据节目来固定安排时，将ES_association描述符放在EIT的下面。另外，在图4的配置例子中，将指示基本视图的基本流与非基本视图的基本流之间的联系的流联系信息插入基本视图的基本流中。使用用户数据区根据画面或GOP插入流联系息。例如，当编码系统是MPEG4-AVC时，将流联系信息插入访问单元的“SELs”部分中作为“流联系信息S EI消息”。图9(a)例示了 GOP (画面组)的头部的访问单元，和图9 (b)例示了除了 GOP的头部之外的访问单元。当根据GOP插入流联系信息时，只将“流联系信息SEI消息”插在GOP的头部的访问单元中。图10(a)例示了“流联系信息SEI消息”的结构例子(语法)。"uuid_iso_iec_11578” 具有显示在 “IS0/IEC11578:1996AnnexA” 中的 UUID 值。将 “userdata_for_stream_association ()，，插在 “user_data_payload_byte，，字段中。图 10(b)例不了插入“stream_association O ” 作为流联系信息的 “userdata_for_stream_association O ” 的结构例子(语法)。“stream_association_id”是无符号地用16位表达的流联系信息的标识符。另外,例如，当编码系统是MPEG2视频时,将流联系信息插入画面首标部分的用户数据区中作为“uSer_data()”用户数据。图11例示了“uSer_data()”的结构例子(语法)。“user_data_start_code”的32位字段是用户数据(user_data)的开始码,且它的值是固定值“0χ000001Β2”。接在开始码之后的16位字段是标识用户数据的内容的标识符。这里，因为陈述了 “Stream_Association_identifier”,所以可以识别出用户数据是流联系信息。作为接在标识符之后的数据的主体，插入作为流联系信息的“stream_association O ”。图12例示了流联系信息“stream_association() ”的结构例子(语法)。图13例示了例示在图12中的结构例子中的每段信息的内容(语义)。“stream_association_ length”的8位字段指示接在这个字段之后的部分的整个字节大小。“stream_count_for_association"的4位字段指示相联系基本流的数目，其取O到15范围内的值。“self_ES_id”的4位字段指示安排了当前流联系信息的基本流(当前基本流)本身的联系标识符。例如，将基础基本流(包含第一图像数据的第一基本流)的标识符设置成“O”。“indication_of_selected_stream_display” 的 I 位字段是指不除了当前基本流之外，是否还存在有必要显示，以便显示解码器的输出的基本流的标志。“I”代表除了当前基本流之外还存在有必要显示的基本流。“O”代表除了当前基本流之外不存在有必要显示的基本流。在“I”的情况下，有必要与基本视图的基本流一起显示设置在下述的“display_mandatory_f lag”中的非基本视图的基本流。“ indication_of_other_resolution_master” 的 I 位字段是指不除了当前基本流之外的其他基本流是否是分辨率或取样频率的显示标准的标志。“I”代表不同基本流是显示标准。“O”代表当前基本流是显示标准。“terminating_current_association_flag” 的 I 位字段指不从随后访问单兀(AU =Access Unit)开始基本流的配置是否将发生变化。“I”代表从随后访问单元开始基本流的配置将发生变化。“O”代表随后访问单元具有与当前访问单元相同的基本流的配置。这个标志信息构成提前通知信息。“display_position”的4位字段指示在进行立体(3D)显示的时候在多视图观看中基于包含在当前基本流中的图像数据的视图是否被显示成某个视图，其取O到15范围内值。例如，如图14所例示，考虑传输流包括通过PMT的“Stream_Type=OxlB”发送的MVC的基本视图的流、和通过PMT的“Stream_Type=0X20”发送的MVC的非基本视图的流的情况的例子。在这种情况下，在基本视图流中的流联系信息中陈述了 “display_position=0”,而在非基本视图流中的流联系信息中陈述了 “display_position=15”。图15例示了在接收方进行立体(3D)显示的时候的视图显示例子。也就是说，将基于包含在基本视图流中的图像数据的视图显示成显示位置“O”上的视图。S卩，将基于包含在非基本视图流中的图像数据的视图显示成显示位置“ 15”上的视图。
回到图12，“associated_ES_id”的4位字段指示与当前基本流相联系的基本流的标识符(联系标识符)，其取O到15范围内的值。“display_mandatory_flag”的I位字段指示是否有必要显示“aSS0Ciated_ES_id”的基本流。“I”代表有必要显示相应基本流。“O”代表没必要显示相应基本流。“resolution_master_flag” 的 I 位字段指不 “associated_ES_id” 的基本流是否是分辨率或取样频率的显示标准。“I”代表相应基本流是显示标准。“O”代表相应基本流不是显示标准。图16 例不了插入 “indication_of_selected_stream_display” 的例子。这个例子是基本视图基本流包含左眼(L)的图像数据，以及存在分别包含右眼(R)的图像数据和中心(C)的图像数据的两个非基本视图基本流的例子。另外,在图16中，“indication_of_selected_stream_display” 和“display_mandatory_flag” 被分别简单表达成“ indication_display” 和 “mandatory_flag，，。考虑除了基本视图之外还有必要显示两个非基本视图基本流的情况。在这种情 况下，被表达成“indication_of_selected_stream_display=l”,以及为两个非基本视图的基本流设置“display_mandatory_flag=l”。对于这些设置,有必要显示的是左眼(L)、右眼(R)和中心(C)的图像。进一步，还考虑有必要显示包含右眼(R)的图像数据的非基本视图的基本流以及基本视图的当前基本流的情况。在这种情况下，被表达成“indication_of_selected_Stream_diSplay=l”，以及只为包含右眼(R)的图像数据的非基本视图的基本流设置“display_mandatory_flag = I”。对于这些设置,在接收器中有必要显示的是左眼(L)和右眼(R)的图像。更进一步，考虑有必要只显示基本视图的基本流的情况。在这种情况下，被表达成“indication_of_selected_stream_diSplay=O”。对于该设置,在接收器中有必要显示的只是左眼(L)的图像。“接收器的配置例子”图17例示了接收器200的配置例子。接收器200包括CPU210、闪速R0M202、DRAM203、内部总线204、遥控接收单元205、和遥控发送器206。接收器200进一步包括天线终端211、数字调谐器212、传输流缓冲器(TS缓冲器)213、多路分用器214。接收器200还进一步包括视频解码器215、视图缓冲器216和216-1到216-N、定标器224和224-1到224-N、和视频叠加单元217和217-1到217-N。接收器200再进一步包括图形解码器218、图形生成单元219、视差信息解码器220、图形缓冲器221和221-1到221-N、音频解码器222、和频道处理单元223。CPU210控制接收器200的每个单元的操作。闪速R0M202存储控制软件和保存数据。DRAM203用作CPU201的工作区。CPU201在DRAM203上展开从闪速R0M202读取的软件和数据并启动软件，以便控制接收器200的每个单元。遥控接收单元205接收从遥控发送器206发送的遥控信号(遥控代码)，并将它供应给CPU210。CPU201根据遥控代码控制接收器200的每个单元。CPU201、闪速R0M202、和DRAM203与内部总线204连接。天线终端211是输入经由接收天线(未示出)接收的电视广播信号的终端。数字调谐器212处理输入天线终端211的电视广播信号，并输出与用户选择频道相对应的预定传输流(位流数据)TS。传输流缓冲器(TS缓冲器)213临时累积从数字调谐器212输出的传输流TS。如上所述，传输流TS包括通过将视频、视差信息、图形、音频等的每个基本流分组化而获得的每个分组。因此，在这种情况下，传输流TS包括包含第一图像数据的第一基本流。另外，传输流TS包括包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流。这里，在只存在包含第一图像数据的第一基本流的情况下，第一图像数据构成二维(2D)图像数据。另一方面，当除了包含第一图像数据的第一基本流之外还存在包含第二图像数据的一个或多个第二基本流 时，第一图像数据和预定数目的第二图像数据构成立体(3D)图像数据。这里，第一图像数据构成基本视图的图像数据，预定数目的第二图像数据是非基本视图的图像数据。如上所述，使用用户数据区，根据画面或GOP将流联系信息(参照图12)插入传输流TS的视频基本流中，也就是说，至少插入包含第一图像数据的第一基本流中。另外，如上所述，将ES_ID描述符(参照图6)插入传输流TS中，例如，PMT的下面。ES_ID描述符代表每个基本流的标识符与每个基本流的分组标识符或成本标记之间的对应。流联系信息使用标识各自基本流的标识符指示每个基本流之间的联系。于是，通过使用ES_ID描述符识别每个基本流在传输流层中的登记状态与流联系信息之间的联系。另外，如上所述，将ES_association描述符(参照图7 (a))插入传输流TS,例如，PMT或EIT的下面。ES_association描述符指示流联系信息是否已经插入基本流中，或插入基本流中的流联系信息是否发生了变化。因此，可以通过ES_aSS0Ciati0n描述符提示参考流联系信息。多路分用器214从临时累积在TS缓冲器213中的传输流TS中提取视频、视差信息、图形、和音频的各自基本流。视差信息基本流只有当立体(3D)图像数据的视频基本流包含在传输流TS中时才提取。另外，多路分用器214提取包含在传输流TS中的ES_ID描述符和ES_aSS0Ciati0n描述符，并将它们供应给CPU201。CPU201使用ES_ID描述符识别每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应。CPU201使用ES_association描述符识别流联系信息是否已经插入视频基本流，例如，包含第一图像数据的视频基本流中，或所述信息是否发生了变化。视频解码器215进行与发送数据生成单元110的视频编码器112进行的处理相反的处理。也就是说，视频解码器215通过对包含在多路分用器214提取的每个视频基本流中的编码图像数据进行解码处理获得解码图像数据。这里，当只存在包含第一图像数据的第一基本流时，视频解码器215获取第一图像数据作为二维(2D)图像数据。另一方面，当除了包含第一图像数据的第一基本流之外还存在包含第二图像数据的一个或多个第二基本流时，视频解码器215获取立体(3D)图像数据。也就是说，获取第一图像数据作为基本视图的图像数据，获取预定数目的第二图像数据作为非基本视图的图像数据。另外，视频解码器215从视频基本流，例如，包含第一图像数据的第一基本流中提取流联系信息，并将它供应给CPU201。视频解码器215在CPU201的控制下进行提取处理。如上所述，因为可以根据ES_aSS0Ciati0n描述符识别是否存在流联系信息或流联系信息是否发生了变化，所以如有必要，CPU201可以使视频解码器215进行提取处理。CPU201可以根据视频解码器215提取的流联系信息，识别与包含第一图像数据的第一基本流相联系的预定数目的第二基本流的存在。根据该识别，CPU201控制多路分用器214，以便与第一基本流一起提取与第一基本流相联系的预定数目的第二基本流。视图缓冲器(视频缓冲器)216在CPU201的控制下临时累积视频解码器215获取的第一图像数据。第一图像数据是构成二维图像数据或立体图像数据的基本视图的图像数据。另外，视图缓冲器(视频缓冲器)216-1到216-N在CPU201的控制下临时累积视频解码器215获取的构成立体图像数据的N个非基本视图的图像数据。CPU201进行读取视图缓冲器216和216-1到216-N的控制。CPU201可以根据包含在流联系信息中的“terminating_current_association_flag”的标志,事先识别从随后 访问单元(画面)开始基本流的配置是否将发生变化。因此，可以有效地、动态地改变读取视图缓冲器216和216-1到216-N的控制。定标器224和224-1到224-N在CPU201的控制下调整从视图缓冲器216和216-1到216-N输出的每个视图的图像数据的输出分辨率。定标器224和224-1到224-N构成分辨率调整器。将经过分辨率调整的每个视图的图像数据发送给视频叠加单元217和217-1到 217-No在这种情况下，CPU201从视频解码器215获取每个视图的图像数据的分辨率信息。CPU201根据每个视图的分辨率信息，进行定标器224和224-1到224-N的滤波设置处理，以便每个视图的图像数据的输出分辨率可以变成目标分辨率。在定标器224和224-1到224-N中，当输入图像数据的分辨率不同于目标分辨率时，为分辨率转换进行内插处理，以便获得具有目标分辨率的输出图像数据。CPU201 根据包含在流联系信息中的“resolution_master_f lag” 和“ indication_of_other_resolution_master”的标志设置目标分辨率。也就是说,将确定为这些标志中的标准分辨率的包含在基本流中的图像数据的分辨率设置成目标分辨率。图形解码器218进行与发送数据生成单元110的图形编码器116进行的处理相反的处理。也就是说，图形解码器218通过对包含在多路分用器214提取的图形基本流中的编码图形数据进行解码处理获取解码图形数据(字幕数据)。视差信息解码器220进行与发送数据生成单元110的视差信息编码器113进行的处理相反的处理。也就是说，视差信息解码器220对包含在多路分用器214提取的视差信息基本流中的编码视差彳目息进行解码处理获取解码视差彳目息。视差/[目息是指不基本视图与每个非基本视图之间的视差的视差矢量，或深度数据。可以通过预定转换与视差矢量一样地对待深度数据。视差信息是，例如，基于像素(Pixel)的视差信息，或基于将视图(图像)划分成预定个区域获得的分区的视差信息等。图形生成单元219根据在CPU201的控制下使用图形解码器218获得的图形数据，生成要叠加在图像上的图形信息的数据。当从视频解码器215只输出二维图像数据(第一图像数据)时，图形生成单元219生成要叠加在二维图像数据上的图形信息的数据。另外，当从视频解码器215输出构成立体(3D)图像数据的每个视图的图像数据时，图形生成单元219生成要叠加在每个视图的图像数据上的图形信息的数据。
图形缓冲器221累积要叠加在第一图像数据上、图形生成单元219在CPU201的控制下生成的图形信息的数据。第一图像数据是构成二维图像数据或立体图像数据的基本视图的图像数据。另外，图形缓冲器221-1到221-N累积要叠加在N个非基本视图的图像数据上、图形生成单元219生成的图形信息的数据。视频叠加单元(显示缓冲器)217在CPU201的控制下输出已经叠加了图形信息的第一图像数据。第一图像数据是构成二维图像数据SV或立体图像数据的基本视图的图像数据BN。此刻，视频叠加单元217将累积在图形缓冲器221中的图形信息的数据叠加在经过定标器224分辨率调整的第一图像数据上。另外，视频叠加单元(显示缓冲器)217-1到217-N在CPU201的控制下输出已经叠加了图形信息的N个非基本视图的图像数据NB-1到NB-N。此刻，视频叠加单元217-1到217-N将累积在图形缓冲器221-1到221-N中的图形信息的数据分别叠加在经过定标器224-1到224-N分辨率调整的基本视图的图像数据上。
另外，当如上所述，从视频解码器215输出构成立体(3D)图像数据的每个视图的图像数据时，基本上，从视频叠加单元217和217-1到217-N分别输出多段图像数据。但是，按照用户的选择操作，CPU201控制非基本视图的图像数据的输出。但是，CPU201进行控制，以便保证与用户的选择操作无关地输出有必要显示的非基本视图的图像数据。CPU201可以根据包含在流联系信息中的“display_mandatory_flag”和“ indication_of_selected_stream_display”中的标志，识别有必要显不的非基本视图的图像数据。例如，考虑将包含右眼图像数据的非基本视图的视频基本流与包含左眼图像数据的基本视图的视频基本流相联系的情况。在这种情况下，当“indication_of_selected_stream_display 是“I” 时以及当非基本视图的 “display_mandatory_flag” 是“I” 时，与用户的选择操作无关地输出左眼图像数据和右眼图像数据两者作为显示图像数据。另一方面，当“ indication_of_selected_stream_display是“O”时,按照用户的选择操作只输出左眼图像数据或输出左眼图像数据和右眼图像数据两者作为显示图像数据。音频解码器222进行与发送数据生成单元110的音频编码器114进行的处理相反的处理。也就是说，音频解码器222通过对包含在多路分用器214提取的音频基本流中的编码语音数据进行解码处理获得解码语音数据。频道处理单元223利用音频解码器222获得的语音数据，为实现，例如，5.1ch环绕等生成和输出每个频道的语音数据SA。下面简要描述接收器200的操作。将输入天线终端211的电视广播信号供应给数字调谐器212。在数字调谐器212中，处理电视广播信号，并输出与用户所选频道相对应的预定传输流TS。在TS缓冲器213中临时累积这个传输流TS。在多路分用器214中，从临时累积在TS缓冲器213中的传输流TS中提取视频、视差信息、图形、和音频的每个基本流。视差信息基本流只有当立体(3D)图像数据的视频基本流包含在传输流TS中时才提取。另外，在多路分用器214中，提取包含在传输流TS中的ES_ID描述符和ES_association描述符，然后将它们供应给CPU201。在CPU201中，参考ES_ID描述符识别每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应。另外，在CPU201中，参考ES_aSS0Ciati0n描述符识别流联系信息是否已经插入视频基本流，例如，包含第一图像数据的视频基本流中，或流联系信息是否发生了变化。也就是说，在视频解码器215中，对包含在多路分用器214提取的每个视频基本流中的编码图像数据进行解码处理，以便获得解码图像数据。这里，当只存在包含第一图像数据的第一基本流时，在视频解码器215中，获取第一图像数据作为二维(2D)图像数据。另夕卜，当除了包含第一图像数据的第一基本流之外还存在包含第二图像数据的一个或多个第二基本流时，在视频解码器215中，获取立体(3D)图像数据。也就是说，获取第一图像数据作为基本视图的图像数据，获取预定数目的第二图像数据作为非基本视图的图像数据。另外，在视频解码器215中，从视频基本流，例如，包含第一图像数据的第一基本流中提取流联系信息，并将它供应给CPU201。在视频解码器215中，提取处理是在CPU201的控制下进行的。如上所述，因为可以根据ES_aSS0Ciati0n描述符识别是否存在流联系信息或流联系信息是否发生了变化，所以如有必要，CPU201可以使视频解码器215进行提取处理。
在CPU201中，参考视频解码器215提取的流联系信息识别与包含第一图像数据的第一基本流相联系的预定数目的第二基本流的存在。在CPU201中，根据该识别控制多路分用器214，以便与第一基本流一起提取与第一基本流相联系的预定数目的第二基本流。在视图缓冲器(视频缓冲器)216中，在CPU201的控制下临时累积视频解码器215获取的第一图像数据。第一图像数据是构成二维图像数据或立体图像数据的基本视图的图像数据。另外，在视图缓冲器(视频缓冲器)216-1到216-N中，在CPU201的控制下临时累积视频解码器215获取的构成立体图像数据的N个非基本视图的图像数据。在CPU201中，进行读取视图缓冲器216和216-1到216-N的控制。在CPU201中，参考包含在流联系信息中的“terminating_current_association_flag”的标志事先识别从随后访问单元(画面)开始基本流的配置是否将发生变化。因此，可以有效地、动态地改变读取视图缓冲器216和216-1到216-N的控制。在定标器224和224-1到224-N中，在CPU201的控制下调整从视图缓冲器216和216-1到216-N输出的每个视图的图像数据的输出分辨率，以便输出分辨率与预定分辨率匹配。于是，将经过分辨率调整的每个视图的图像数据发送给视频叠加单元217和217-1到217-N。在这种情况下，在CPU201中，从视频解码器215获取每个视图的图像数据的分辨
率信息。随后，在CPU201中，根据每个视图的分辨率信息，进行定标器224和224_1到224-N的滤波设置处理，以便每个视图的图像数据的输出分辨率可以与目标分辨率匹配。因此，在定标器224和224-1到224-N中，当输入图像数据的分辨率不同于目标分辨率时，为分辨率转换进行内插处理，以便获得具有目标分辨率的输出图像数据。在CPU201中，根据包含在流联系信息中的“resolution_master_flag”和“indication_of_other_resolution_master”的标志设置目标分辨率。在这种情况下，将通过这些标志确定为标准分辨率的包含在基本流中的图像数据的分辨率设置成目标分辨率。在图形解码器218中，对包含在多路分用器214提取的图形基本流中的编码图形数据进行解码处理，以便获取解码图形数据(包括字幕数据)。此外，在视差信息解码器220中，对包含在多路分用器214提取的视差信息基本流中的编码视差信息进行解码处理，以便获取解码视差信息。视差信息是指示基本视图与每个非基本视图之间的视差的视差矢量，或深度数据。可以通过预定转换与视差矢量一样地对待深度数据。在图形生成单元219中，根据图形解码器218获得的图形数据，生成要叠加在图像上的图形信息的数据。在图形生成单元219中，当从视频解码器215只输出二维图像数据(第一图像数据)时，生成要叠加在二维图像数据上的图形信息的数据。另外，在图形生成单元219中，当从视频解码器215输出构成立体(3D)图像数据的每个视图的图像数据时，生成要叠加在每个视图的图像数据上的图形信息的数据。在图形缓冲器221中，累积要叠加在第一图像数据上、图形生成单元219生成的图形信息的数据。第一图像数据是构成二维图像数据或立体图像数据的基本视图的图像数据。另外，在图形缓冲器221-1到221-N中，累积要叠加在N个非基本视图的图像数据上、图形生成单元219生成的图形信息的数据。在视频叠加单元(显示缓冲器)217中，将累积在图形缓冲器221中的图形信息的数据叠加在经过定标器224分辨率调整的第一图像数据上。然后，从视频叠加单元217输出已经叠加了图形信息的第一图像数据。第一图像数据是构成二维图像数据SV或立体图像数据的基本视图的图像数据BN。另外，在视频叠加单元217-1到217-N中，将累积在图形缓冲器221-1到221-N中的图形信息的数据分别叠加在经过定标器224-1到224-N分辨率调整的基本视图的图像数据上。然后，从视频叠加单元217-1到217-N输出已经叠加了图形信息的N个非基本视图的图像数据NB-1到NB-N。在音频解码器222中，对包含在多路分用器214提取的音频基本流中的编码语音数据进行解码处理，以便获得解码语音数据。在频道处理单元223中，处理音频解码器222获得的语音数据，以便生成和输出实现，例如，5.1ch环绕等的每个频道的语音数据SA。如上所述，在例示在图1中的图像发送/接收系统10中，将示出每个基本流之间的联系的流联系信息插入包括在从广播台100发送到接收器200的传输流TS中的基本流中(参照图12)。流联系信息示出包含第一图像数据(二维图像数据或基本视图的图像数据)的第一基本流与包含预定数目的第二图像数据和/或元数据的第二基本流之间的联系。因 此，在接收器200中，根据流联系信息，可以正确地响应基本流的配置中的动态变化，即，分配内容中的动态变化，并进行正确流接收。图18例示了在传输流TS中以连续方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ESl，和在传输流TS中以断续方式包含“PID=11 ”和“Stream_Type=0X20”的MVC的非基本视图的流ES2的例子。在这种情况下，将流联系信息插入流ESl中。另外，假设流ESl的ES_id标识符是0，而流ES2的ES_id标识符是I。在tn-Ι和tn+Ι的时段期间流ES2和流ESl共存。因此，因为在流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系彳目息中，流ESl和流ES2是相互联系的。因此，提取和解码流ESl和ES2两者，以便输出基本视图的图像数据，例如，左眼的图像数据、和非基本视图的图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D)显不O另外，在tn的时段期间只存在流ESI。因此，因为在流联系信息中陈述了“Stream_count_for_association=0”，所以可以明白不存在与流ESl相联系的流。因此，只提取和解码流ES1，以便输出它作为二维图像数据，其结果是，进行二维(2D)显示。图19例示了在传输流TS中以连续方式包含“PID=01”和“Stream_Type=0x02”的MPEG2视频流ESl，和在传输流TS中以断续方式包含“PID=11”和“Stream_Type=0x20”的MPEG2视频流ES2的例子。在这种情况下，将流联系信息插入流ESl中。另外，假设流ESl的ES_id标识符是0，而流ES2的ES_id标识符是I。在tn-Ι和tn+Ι的时段期间流ES2和流ESl共存。因此，因为在流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系彳目息中，流ESl和流ES2是相互联系的。因此，提取和解码流ESl和ES2两者，以便输出第一图像数据，例如，左眼的图像数据、和第二图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D)显示。另外，在tn的时段期间只存在流ESI。因此，因为在流联系信息中陈述了“Stream_ count_for_association=0”，所以可以明白不存在与流ESl相联系的流。于是，只提取和解码流ES I，以便输出二维图像数据，并进行二维(2D )显示。图20例示了在传输流TS中以连续方式包含“PID=01”和“Stream_Type=0x02”的MPEG2视频流ESl，和在传输流TS中以断续方式包含“PID=11”和“Stream_Type=OxlB”的AVC的流ES2的例子。在这种情况下，将流联系信息插入流ESl中。另外，假设流ESl的ES_id标识符是O,而流ES2的ES_id标识符是I。在tn-Ι和tn+Ι的时段期间流ES2和流ESl共存。因此，因为在流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系彳目息中，流ESl和流ES2是相互联系的。因此，提取和解码流ESl和ES2两者，以便输出第一图像数据，例如，左眼的图像数据、和第二图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D)显示。另外，在tn的时段期间只存在流ESI。因此，因为在流联系信息中陈述了“Stream_count_for_association=0”，所以可以明白不存在与流ESl相联系的流。于是，只提取和解码流ES I，以便输出二维图像数据，并进行二维(2D )显示。此外，在例示在图1中的图像发送/接收系统10中，在插入基本流中的流联系信息中包含规定是否有必要显示预定数目的第二图像数据的每一个的控制信息。也就是说，在流联系信息中包含“indication_of_selected_stream_display” 和 “display—mandatory_flag”(参照图12)。因此，在接收器200中，根据控制信息，可以知道有必要显示预定数目的第二图像数据的哪个数据，以及可以限制用户对图像显示状态的选择。图21例示了在传输流TS中以连续方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ES I，和在传输流TS中也以连续方式包含“ P ID=11”和“ Str eam_Type=0X20”的MVC的非基本视图的流ES2的例子。在这种情况下，将流联系信息插入流ESl中。另外，假设流ESl的ES_id标识符是0，而流ES2的ES_id标识符是I。在tn-Ι和tn+Ι的时段期间流ES2和流ESl共存。因此，因为在流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系彳目息中，流ESl和流ES2是相互联系的。在这个时段中，参照流联系信息中的“indication_of_selected_stream_display=l”，可以明白除了本身之外，还存在有必要显示的另一个流。此外，在流的ES_id标识符被设置成I的流中，因为在流联系信息中陈述了 “display_mandatory_flag=l”，所以可以明白有必要显示流ES2。另外，在图21中，“indication_of_selected_stream_display=l ” 被简写成 “Selected_display”。因此，在这个时段期间，提取和解码流ESl和ES2两者，以便输出基本视图的图像数据，例如，左眼的图像数据、和非基本视图的图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D )显示。另外，甚至在tn的时段期间，流ESl和流ES2也与tn_l的时段一样共存。因此，因为在流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系信息中，流ESl和流ES2是相互联系的。在这个时段中，参照流联系信息中的“indication_of_selected_stream_display=0”，可以明白除了该流本身之外没有其他有必要显示的流。此外，在在流联系信息中流的ES_id标识符被设置成I的流中，参照“display_mandatory_flag=0”可以明白未必显示流ES2。因此，在这个时段期间提取和解码流ESl和ES2两者。在这种情况下，因为未必显示流ES2，所以按照用户的选择操作，除了立体(3D)显示之外，还允许二维(2D)显示。在立体(3D)显示的情况下，输出基本视图的图像数据，例如，左眼的图像数据、和非基本视图的图像数据，例如，右眼的图像数据作为显示图像数据。另一方面，在二维(2D)显示的情况下，只输出基本视图的图像数据作为显示图像数据。在例示在图1中的图像发送/接收系统10中，在每个基本流之间的联系实际发生变化之前告知将发生变化的提前通知信息被包括在插入基本流中的流联系信息中。也就是说，在流联系信息中包含了 “terminating_current_association_flag”(参照图 12)。由于这个原因，在接收器200中，可以根据提前通知信息有效地、动态地改变读取解码器缓冲器的控制。图22例示了在传输流TS中以连续方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ESl，和在传输流TS中以断续方式包含“PID=11 ”和“Stream_Type=0X20”的MVC的非基本视图的流ES2的例子。在这种情况下，将流联系信息插入流ESl中。另外，假设流ESl的ES_id标识符是0，而流ES2的ES_id标识符是I。在tn-Ι的时段期间流ES2和流ESl共存。因此，因为在流联系信息中陈述了“Stream_count_for_association=l”,所以可以明白存在一个与流ESl相联系的流，以及该流的ES_id标识符是I。也就是说，在流联系信息中，流ESl和流ES2是 相互联系的。因此，提取和解码流ESl和ES2两者，以便输出基本视图的图像数据，例如，左眼的图像数据、和非基本视图的图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D)显
/Jn ο参照在安排在tn-Ι的时段内的最后访问单元中的流联系信息中找到的“terminating—current—association—fIag=I”，可以明白从随后访问单元开始基本流的配置将发生变化。另外，在图22中，“terminating—current—association—flag”被简写成“Terminating—fig，，。
另外，在接在tn-Ι的时段之后的tn的时段期间只存在流ESI。因此，因为在流联系信息中陈述了 “Stream_count_for_association=0”,所以可以明白不存在与流ESl相联系的流。因此，只提取和解码流ES1，以便输出它作为二维图像数据，其结果是，进行二维(2D)显不O参照在安排在tn的时段内的最后访问单元中的流联系信息中找到的“terminating_current_association_f Iag=I ”,可以明白从随后访问单元开始基本流的配
置将发生变化。更进一步，在接在tn的时段之后的tn+Ι的时段期间，保持了与tn_l的时段相同的状态。这个时段的流联系信息的内容 与tn-Ι的时段相同。因此，提取和解码流ESl和ES2两者，以便输出基本视图的图像数据，例如，左眼的图像数据、和非基本视图的图像数据，例如，右眼的图像数据作为显示图像数据，并进行立体(3D)显示。在例示在图1中的图像发送/接收系统10中，根据画面或GOP将流联系信息插入基本流中。由于这个原因，在接收器200中，可以根据画面或GOP管理基本流的配置，例如，立体图像数据的视图数目的变化。另外，在例示在图1中的图像发送/接收系统10中，在从广播台100发送到接收器200的传输流TS中，插入了指示流联系信息是否插入基本流中，或插入基本流中的流联系信息是否发生了变化的描述符。也就是说，将ES_aSS0Ciati0n描述符插入传输流TS中。参照这个ES_aSS0Ciati0n描述符，可以提示参考插入基本流中的流联系信息，并且可以在接收器200中进行稳定的接收操作。此外，在例示在图1中的图像发送/接收系统10中，在插入基本流中的流联系信息中包含了有关第一图像数据和第二图像数据的输出分辨率的控制信息。也就是说，在流联系信息中包含了 “ indication_of_other_resolution_master” 和 “resolution_master_flag”。由于这个原因，在接收器200中，根据该控制信息，可以将第一图像数据和第二图像数据的输出分辨率调整成与显示标准的分辨率匹配。另外，上面的描述是结合将流联系信息只插入包含第一图像数据(二维图像数据或基本视图的图像数据)的第一基本流中的例子作出的(参考图18等)。但是，可以进一步考虑将流联系信息也插入包含第二图像数据(非基本视图的图像数据)的第二基本流中的配置。图23例示了在传输流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ES1，和在传输流TS中包含“PID=11”、“PID=21”和“Stream_Type=0x20”的MVC的非基本视图的流ES2和ES3的例子。在这种情况下，将流联系信息不仅插入流ESl中而且插入流ES2和ES3中。另外，假设流ESl的ES_id标识符是0，流ES2的ES_id标识符是1，和流ES3的ES_id标识符是2。因此，因为在插入流ESl中的流联系信息中陈述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在两个与流ESl相联系的流，以及该流的ES_id标识符是I和2。因为在插入流ES2中的流联系信息中陈述了“Stream_count_for_association=l”，所以可以明白存在一个与流ES2相联系的流，以及该流的ES_id标识符是O。另外，因为在插入流ES3中的流联系信息中陈述了 “Stream_count_for_association=l”,所以可以明白存在一个与流ES3相联系的流，以及该流的ES_id标识符是O。
因为在tn-Ι和tn+Ι的时段内在插入流ESl中的流联系信息中陈述了“indication_of_selected_stream_display=l”，所以可以明白除了本身之外还存在有必要显示的另一个流。此外，在流的ES_id标识符是I和2的流中，因为陈述了 “display_mandatory_f Iag=I ”,所以可以明白有必要显示流ES2和ES3两者。另外，因为在tn的时段内在插入流ESl中的流联系信息中陈述了 “indication_of_selected_stream_display=0”,所以可以明白除了相应流本身之外不存在有必要显示的流。此外，在流的ES_id标识符是I和2的流中，因为陈述了 “display_mandatory_flag=0”，所以可以明白未必显示流ES2和ES3两者。与图23 —样，图24例示了在传输流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ES1，和在传输流TS中包含“PID=11”、“PID=21”和“Stream_Type=0X20”的MVC的非基本视图的流ES2和ES3的例子。在这种情况下，将流联系信息不仅插入流ESl中而且插入流ES2和ES3中。另外，假设流ESl的ES_id标识符是0，流ES2的ES_id标识符是1，和流ES3的ES_id标识符是2。 因此，因为在插入流ESl中的流联系信息中陈述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在两个与流ESl相联系的流，以及该流的ES_id标识符是I和2。因为在插入流ES2中的流联系信息中陈述了“Stream_count_for_association=2”，所以可以明白存在两个与流ES2相联系的流，以及该流的ES_id标识符是O和2。另外，因为在插入流ES3中的流联系信息中陈述了 “Stream_count_for_association=2”,所以可以明白存在两个与流ES3相联系的流，以及该流的ES_id标识符是O和I。因为在tn-Ι和tn的时段内在插入流ESl中的流联系信息中陈述了“indication_of_selected_stream_display=l”,所以可以明白除了相应流本身之外还存在有必要显示的另一个流。此外，在流的ES_id标识符是I和2的流中，因为陈述了“display_mandatory_flag=l”，所以可以明白有必要显示流ES2和ES3两者。因为在tn-Ι和tn的时段内在插入流ES2中的流联系信息中陈述了“indication_of_selected_stream_display=l”,所以可以明白除了相应流本身之外还存在有必要显示的其他流。另外，在流的ES_id标识符是O和2的流中，因为陈述了 “display_mandatory_flag=l”，所以可以明白有必要显示流ESl和ES3两者。另外，因为在tn-Ι和tn的时段内在插入流ES3中的流联系信息中陈述了“indication_of_selected_stream_display=l”,所以可以明白除了相应流本身之外还存在有必要显示的其他流。另外，在流的ES_id标识符是O和I的流中，因为陈述了“displaymandatory_f Iag=I ”,所以可以明白有必要显示流ESl和ES2两者。另外，因为在tn的时段内在插入流ESl中的流联系信息中陈述了 “indication_of_selected_stream_display=0”,所以可以明白除了相应流本身之外不存在有必要显示的流。此外，在流的ES_id标识符是I和2的流中，因为陈述了 “display_mandatory_flag=0”，所以可以明白未必显示流ES2和ES3两者。另外，因为在tn的时段内在插入流ES2和ES3中的流联系信息中陈述了“indication_of_selected_stream_display=0”,所以可以明白除了相应流本身之外不存在有必要显示的其他流。但是，如上所述，因为在插入流ESl中的流联系信息中陈述了“ indication_of_selected_stream_display=0”,所以可以明白除了相应流本身之外不存在有必要显示的其他流。因此，忽略插入流ES2和ES3中的流联系信息中的信息“有必要显示”。
<2.修改例 >在上述实施例中，作为图像数据的编码系统，展示了 MPEG4-AVC和MPEG2视频的编码。但是，要对图像数据进行的编码不局限于这些。另外，上述实施例展示了主要利用流联系信息使基本视图的流和非基本视图的流相互联系的例子。但是，可以考虑将，例如，与基本视图的图像数据相联系的元数据与流联系信息相联系的情况。作为元数据，例如，可以考虑视差信息(视差矢量或深度数据)等。图25例示了在传输流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本视图的流ES1，在传输流TS中包含“PID=11”和“Stream_Type=0X20”的MVC的非基本视图的流ES2，以及进一步在传输流TS中包含“PID=21”和“Stream_Type=OxAB”的元数据流ES3的例子。另外，假设流ESl的ES_id标识符是0，流ES2的ES_id标识符是1，和流ES3的ES_id标识符是2。因此，因为在插入流ESl中的流联系信息中陈述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在两个与流ESl相联系的流，以及该流的ES_id标识符是I和2。在本例中，将流联系信息插入流ES2和ES3中。因为在tn-Ι和tn+Ι的时段内在插入流ESl中的流联系信息中陈述了“ indication_of_selected_stream_display=l ”，所以可以明白除了本身之外还存在有必要显示的另一个流。此外，在流的ES_id标识符是I的流中，因为陈述了 “display_mandatory_flag=l”,所以可以明白有必要显示流ES2。另外，因为在tn的时段内在插入流ESl 中的流联系信息中陈述了 “ indication_of_selected_stream_display=0”,所以可以明白除了相应流本身之外不存在有必要显示的其他流。图26示出了配有后处理单元的接收器200A的配置例子。在图26中，与图17相对应的部分用相同标号表示，并不再重复它们的详细描述。另外，在接收器200A中，未配备定标器224和224-1到224-N。接收器200A包括CPU210、闪速R0M202、DRAM203、内部总线204、遥控接收单元205、和遥控发送器206。接收器200A进一步包括天线终端211、数字调谐器212、传输流缓冲器(TS缓冲器)213、和多路分用器214。接收器200A还进一步包括视频解码器215、视图缓冲器216和216_1到216-N、视频叠加单元217和217-1到217-N、元数据缓冲器225、和后处理单元226。接收器200A再进一步包括图形解码器218、图形生成单元219、视差信息解码器220、图形缓冲器221和221-1到221-N、音频解码器222、和频道处理单元223。元数据缓冲器225临时累积视频解码器215获取的每个像素(pixel)的视差信息。另外，当视差信息是基于像素(Pixel)的视差信息时，可以与像素数据一样地对待视差信息。当视频解码器215获取基于像素(pixel)的视差信息时，通过与图像数据的编码系统相同的模式进行视差息的编码，以便生成视差息基本流。后处理单元226使用累积在元数据缓冲器225中的基于像素(pixel)的视差信息对从视图缓冲器216和216-1到216-N输出的每个视图的图像数据进行内插处理(后处理)，以获得预定数目的视图的显示数据Display View I到Display View P。尽管未详细描述例示在图26中的接收器200A中的其他元件，但其他部分以与例示在图17中的接收器200相同的方式配置和操作。另外，上述实施例展示了通过流联系信息将用于立体(3D)显示的包含基本视图和非基本视图的图像数据的多个基本流相互联系的例子。但是，本技术也可应用于SVC流。SVC流包含构成可伸缩编码图像数据的最下层的编码图像数据的视频基本流。此夕卜，SVC流进一步包含除了构成可伸缩编码图像数据的最下层之外的预定数目的上层的编码图像数据的预定数目的视频基本流。通过将像上述流联系信息那样的信息插入SVC流中，在接收方，可以正确地响应SVC流的动态变化，即，分配内容的动态变化，并进行正确流接收。尽管上述实施例展示了在广播电波上携带传输流TS以便加以分配的例子，但本发明也可应用于在像互联网等那样的网络上分配传输流TS的情况。另一方面，理所当然，上述联系数据的配置也可应用于以非传输流TS的容器文件格式在互联网上分配数据的情况。 本技术可以采取如下配置(I) 一种图像数据发送设备，其包括编码单元，用于生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流；以及发送单元，用于发送包括通过将所述编码单元生成的每个基本流分组化而获得的每个分组的传输流，所述编码单元将指示基本流之间的联系的流联系信息至少插入第一基本流中。(2)按照项目(I)所述的图像数据发送设备，其中流联系信息包含在实际发生变化之前通知每个基本流之间的联系将发生变化的提前通知信息。(3)按照项目(I)或项目(2)所述的图像数据发送设备，其中所述编码单元根据像素或GOP将流联系信息插入基本流中。(4)按照项目(I)到项目(3)的任何一项所述的图像数据发送设备，其中流联系信息使用标识各自基本流的标识符指示每个基本流之间的联系。(5)按照项目(4)所述的图像数据发送设备，其中所述发送单元将描述符插入传输流中，所述描述符指示每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应。(6)按照项目(I)到项目(5)的任何一项所述的图像数据发送设备，其中所述发送单元将描述符插入传输流中，所述描述符指示流联系信息是否已经插入基本流中，或插入基本流中的流联系信息是否发生了变化。(7)按照项目(I)到项目(6)的任何一项所述的图像数据发送设备，其中作为包含在第一基本流中的第一图像数据的编码系统、和包含在预定数目的第二基本流中的第二图像数据的编码系统，允许任意组合编码系统。(8)按照项目(I)到项目(7)的任何一项所述的图像数据发送设备，其中第一图像数据是构成立体图像数据的基本视图的图像数据，和第二图像数据是构成立体图像数据的除了基本视图之外的视图的图像数据。(9)按照项目(8)所述的图像数据发送设备，其中第一图像数据是获取立体图像数据的左眼和右眼的任何一只的图像数据，和第二图像数据是获取立体图像数据的左眼和右眼的另一只的图像数据。
(10)按照项目(8)或项目(9)的任何一项所述的图像数据发送设备，其中元数据是与立体图像数据相对应的视差信息。(11)按照项目(8)到项目(10)的任何一项所述的图像数据发送设备，其中流联系信息包含指示在多视图观看下在立体显示期间与包含在已经插入流联系信息的基本流中的图像数据相对应的视图被显示成哪个视图的位置信息。( 12)按照项目(I)到项目(11)的任何一项所述的图像数据发送设备，其中第一图像数据是构成可伸缩编码图像数据的最下层的编码图像数据，和第二图像数据是除了构成可伸缩编码图像数据的最下层之外的其他层的编码图像数据。(13)按照项目(I)到项目(12)的任何一项所述的图像数据发送设备，其中流联系信息进一步包含有关第一图像数据和第二图像数据的输出分辨率的控制信息。 (14)按照项目(I)到项目(13)的任何一项所述的图像数据发送设备，其中流联系信息进一步包含规定是否有必要显示预定数目的第二图像数据的每一个的控制信息。(15) —种图像数据发送方法，其包括编码步骤，用于生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流；以及发送步骤，用于发送包括通过将在所述编码步骤中生成的每个基本流分组化而获得的每个分组的传输流，所述编码步骤将指示各自基本流之间的联系的流联系信息至少插入第一基本流中。(16) 一种图像数据接收设备，其包括接收单元，用于接收传输流，所述传输流包含将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流分组化而获得的每个分组，至少第一基本流包含指示每个基本流之间的联系的流联系信息；以及数据获取单元，用于根据流联系信息，从所述接收单元接收的第一基本流中获取第一图像数据，和从所述接收单元接收的预定数目的第二基本流中获取与第一图像数据相联系的第二图像数据和/或元数据。(17)按照项目(16)所述的图像数据接收设备，进一步包括调整和输出所述数据获取单元获取的第一图像数据和第二图像数据的分辨率的分辨率调整器，其中流联系信息包含有关第一图像数据和第二图像数据的输出分辨率的控制信息，以及所述分辨率调整器根据有关输出分辨率的控制信息调整第一图像数据和第二图像数据的分辨率。(18)按照项目(16)或(17)所述的图像数据接收设备，进一步包括根据所述数据获取单元获取的第一图像数据和第二图像数据选择图像显示状态的图像显示状态选择单元，其中流联系信息包含规定是否有必要显示预定数目的第二图像数据的每个数据的控制信息，以及所述图像显示状态选择单元根据控制信息限制图像显示状态的选择。(19)按照项目(16)到(18)的任何一项所述的图像数据接收设备，其中所述数据获取单元获取的元数据是与立体图像数据相对应的视差数据，以及所述图像数据接收设备进一步包括使用视差数据对所述数据获取单元获取的第一图像数据和第二图像数据进行内插处理以便获得预定数目的视图的显示图像数据的后处理单元。(20) 一种图像数据接收方法，其包括接收步骤，用于接收传输流，所述传输流包含将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数目的第二图像数据和/或元数据的预定数目的第二基本流分组化而获得的每个分组，至少第一基本流包含指示每个基本流之间的联系的流联系信息；以及数据获取步骤，用于根据流联系信息，从在所述接收步骤中接收的第一基本流中获取第一图像数据，和从在所述接收步骤中接收的预定数目的第二基本流中获取与第一图像数据相联系的第二图像数据和/或元数据。标号列表10 图像发送和接收系统100广播台110发送数据生成单元111数据提取单元Illa数据记录媒体112视频编码器113视差信息编码器114音频编码器115图形生成单元116图形编码器117多路复用器200、200A 接收器201 CPU
212数字调谐器213传输流缓冲器(TS缓冲器)214多路分用器215视频解码器216、216-1 到 216-N 视图缓冲器217,217-1到217-N视频叠加单元218图形编码器219图形生成单元220视差信息编码器221、221_1 到 221-N 图形缓冲器222音频解码器223频道处理单元224、224-1 到 224-N 定标器225元数据缓冲器226后处理单元
权利要求
1.一种图像数据发送设备，其包含编码单元，用于生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数量的第二图像数据和/或元数据的预定数量的第二基本流；以及发送单元，用于发送包括通过将所述编码单元生成的每个基本流分组化而获得的每个分组的传输流，其中所述编码单元将指示基本流之间的联系的流联系信息至少插入第一基本流中。
2.按照权利要求1所述的图像数据发送设备，其中流联系信息包含在实际发生变化之前通知每个基本流之间的联系将发生变化的提前通知信息。
3.按照权利要求1所述的图像数据发送设备，其中所述编码单元根据像素或GOP将流联系信息插入基本流中。
4.按照权利要求1所述的图像数据发送设备，其中流联系信息使用标识各自基本流的标识符指示每个基本流之间的联系。
5.按照权利要求4所述的图像数据发送设备，其中所述发送单元将描述符插入传输流中，所述描述符指示每个基本流的标识符与每个基本流的分组标识符或成分标记之间的对应。
6.按照权利要求1所述的图像数据发送设备，其中所述发送单元将描述符插入传输流中，所述描述符指示流联系信息是否已经插入基本流中，或插入基本流中的流联系信息是否发生了变化。
7.按照权利要求1所述的图像数据发送设备，其中作为包含在第一基本流中的第一图像数据的编码系统、和包含在预定数量的第二基本流中的第二图像数据的编码系统，允许任意组合编码系统。
8.按照权利要求1所述的图像数据发送设备，其中第一图像数据是构成立体图像数据的基本视图的图像数据，和第二图像数据是构成立体图像数据的除了基本视图之外的视图的图像数据。
9.按照权利要求8所述的图像数据发送设备，其中第一图像数据是获取立体图像数据的左眼和右眼的任何一只的图像数据，和第二图像数据是获取立体图像数据的左眼和右眼的另一只的图像数据。
10.按照权利要求8所述的图像数据发送设备，其中元数据是与立体图像数据相对应的视差信息。
11.按照权利要求8所述的图像数据发送设备，其中流联系信息包含指示在多视图观看下在立体显示期间与包含在已经插入流联系信息的基本流中的图像数据相对应的视图被显示成哪个视图的位置信息。
12.按照权利要求1所述的图像数据发送设备，其中第一图像数据是构成可伸缩编码图像数据的最下层的编码图像数据，和第二图像数据是除了构成可伸缩编码图像数据的最下层之外的其他层的编码图像数据。
13.按照权利要求1所述的图像数据发送设备，其中流联系信息进一步包含有关第一图像数据和第二图像数据的输出分辨率的控制信息。
14.按照权利要求1所述的图像数据发送设备，其中流联系信息进一步包含规定是否有必要显示预定数量的第二图像数据的每一个的控制信息。
15.一种图像数据发送方法，其包含编码步骤，用于生成包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数量的第二图像数据和/或元数据的预定数量的第二基本流；以及发送步骤，用于发送包括通过将在所述编码步骤中生成的每个基本流分组化而获得的每个分组的传输流，其中所述编码步骤将指示各自基本流之间的联系的流联系信息至少插入第一基本流中。
16.一种图像数据接收设备，其包含接收单元，用于接收传输流，所述传输流包含将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数量的第二图像数据和/或元数据的预定数量的第二基本流分组化而获得的每个分组，至少第一基本流包含指示每个基本流之间的联系的流联系信息；以及数据获取单元，用于根据流联系信息，从所述接收单元接收的第一基本流中获取第一图像数据，和从所述接收单元接收的预定数量的第二基本流中获取与第一图像数据相联系的第二图像数据和/或元数据。
17.按照权利要求16所述的图像数据接收设备，进一步包含调整和输出所述数据获取单元获取的第一图像数据和第二图像数据的分辨率的分辨率调整器，其中流联系信息包含有关第一图像数据和第二图像数据的输出分辨率的控制信息，以及所述分辨率调整器根据有关输出分辨率的控制信息调整第一图像数据和第二图像数据的分辨率。
18.按照权利要求16所述的图像数据接收设备，进一步包含根据所述数据获取单元获取的第一图像数据和第二图像数据来选择图像显示状态的图像显示状态选择单元，其中流联系信息包含规定是否有必要显示预定数量的第二图像数据的每一个的控制 目息，以及所述图像显示状态选择单元根据控制信息限制图像显示状态的选择。
19.按照权利要求16所述的图像数据接收设备，其中所述数据获取单元获取的元数据是与立体图像数据相对应的视差数据，以及所述图像数据接收设备进一步包含使用视差数据对所述数据获取单元获取的第一图像数据和第二图像数据进行内插处理以便获得预定数量的视图的显示图像数据的后处理单元。
20.一种图像数据接收方法，其包含接收步骤，用于接收传输流，所述传输流包含将包含第一图像数据的第一基本流、和分别包含与第一图像数据相联系的预定数量的第二图像数据和/或元数据的预定数量的第二基本流分组化而获得的每个分组，至少第一基本流包含指示每个基本流之间的联系的流联系 目息；以及数据获取步骤，用于根据流联系信息，从在所述接收步骤中接收的第一基本流中获取第一图像数据，和从在所述接收步骤中接收的预定数量的第二基本流中获取与第一图像数据相联系的第二图 像数据和/或元数据。
全文摘要
使得接收方可以正确地处理基本流的配置变化。将包括在传输流(TS)中的各自基本流(ES)彼此联系的流联系信息插入ES中。流联系信息表示包含第一图像数据的第一ES与每个包含与第一图像数据相联系的第二图像数据和/或元数据的预定数目的第二ES之间的联系。流联系信息使用标识各自ES的标识符表示各自ES之间的联系。例如，将描述符插入TS中，其中该描述符表示各自ES的标识符与各自ES内的分组标识符或成分标记之间的联系，以便实现各自ES在TS层内的登记状态与流联系信息之间的协调。
文档编号H04N21/236GK103026725SQ201280002106
公开日2013年4月3日 申请日期2012年4月18日 优先权日2011年4月28日
发明者塚越郁夫 申请人:索尼公司