发送器、发送方法以及接收器的制作方法

专利名称：发送器、发送方法以及接收器的制作方法
技术领域：
本技术涉及发送装置、发送方法以及接收装置。尤其，本技术涉及与含有左眼图像数据和右眼图像数据的立体图像数据一起，发送向叠加信息提供视差的视差信息的发送装置、发送方法以及接收装置。
背景技术：
例如，专利文献I提出了使用立体图像数据的电视电波的发送方案。在这种发送方案中，发送含有左眼图像数据和右眼图像数据的立体图像数据，以便利用双眼视差显示立体图像。图60图示了利用双眼视差的立体图像显示中，屏幕上的物体(东西)的左右图像的显示位置与其立体图像的再现位置之间的关系。例如，对于如图所示左图像La和右图像Ra在屏幕上分别显示在右侧和左侧的物体A，由于左右视线相交在屏幕表面的前面，所以其立体图像的再现位置在屏幕表面的前面。DPa表示物体A沿着水平方向的视差矢量。此外，例如，对于如图所示左图像Lb和右图像Rb在屏幕上分别显示在相同位置上的物体B，由于左右视线相交在屏幕表面上，所以其立体图像的再现位置在屏幕表面上。另夕卜，例如，对于如图所示左图像Lc和右图像Re在屏幕上分别显示在左侧和右侧的物体C，由于左右视线相交在屏幕表面的后面，所以其立体图像的再现位置在屏幕表面的后面。DPc表不物体C沿着水平方向的视差矢量。引用列表专利文献专利文献1:日本已公开专利申请第2005-6114号

发明内容
本发明要解决的问题如上所述，在立体图像显示中，观众通常利用双眼视差感知立体图像的透视。此夕卜，预期不仅像二维空间深度感那样而且像三维(3D)深度感那样，与立体图像显示结合渲染像字幕那样叠加在图像上的叠加信息。例如，在图像和字幕以叠加(重叠)方式显示而不是显示在图像中就透视而言最接近的东西(物体)的前面的情况下，观众可能会感到透视差
巳因此，考虑与叠加信息的数据一起发送左眼图像与右眼图像之间的视差信息以及由接收方提供左眼叠加信息与右眼叠加信息之间的视差。视差信息(3D扩展的视差信息)具有在发送实际数据的同时要求在接收方内插的规范。因此，当将包括视差信息的PES(分组化基本流)分组多路复用到传输流中时需要特别考虑。也就是说，需要控制视差信息到达接收方的解码器的到达定时和在解码器的内插定时的机制。本技术的一个目的是有效地进行包括视差信息的PES分组的发送。解决问题的方案
本技术的一个概念是一种发送装置，其包括:图像数据输出单元，配置为输出用于显示立体图像的左眼图像数据和右眼图像数据；叠加信息数据输出单元，配置为输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据；视差信息输出单元，配置为通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，输出用于提供视差的视差信息；以及数据发送单元，配置为生成和发送传输流，所述传输流是通过多路复用包括从所述图像数据输出单元输出的图像数据的视频数据流的PES分组、包括从所述叠加信息数据输出单元输出的叠加信息数据的第一专用数据流的PES分组、和包括从所述视差信息输出单元输出的视差信息的第二专用数据流的PES分组获得的，其中所述数据发送单元多路复用所述第二专用数据流的PES分组，以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。在本技术中，所述图像数据输出单元输出用于显示立体图像的左眼图像数据和右眼图像数据。所述叠加信息数据输出单元输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据。这里，所述叠加信息包括叠加在图像上的字幕、图形、文本等。所述视差信息输出单元输出通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，提供视差的视差信息。例如，所述叠加信息数据可以是DVB字幕数据，以及所述视差信息可以是以区域或包括在区域中的子区域为单位的视差信息，或以包括所有区域的页面为单位的视差信息。所述数据发送单元生成和发送传输流。所述传输流包含包括图像数据的视频数据流的PES数据、包括叠加信息数据的第一专用数据流的PES分组、和包括视差信息的第二专用数据流的PES分组，所述数据发送单元多路复用，例如，第二专用数据流的PES分组，以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。例如，预定时段至少包括解码第二专用数据流的PES分组获取视差信息所需的时段。这样，在本技术中，多路复用包括视差信息的PES分组以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。因此，接收方可以通过针对显示时间戳的定时及时进行解码等获取视差信息。也就是说，在本技术中，可以有效地进行包括视差信息的PES分组的发送。此外，在本技术中，例如，所述传输流可以针对第一专用数据流的一个PES分组包括第二专用数据流的一个PES分组。包括在第二专用数据流的PES分组中的视差信息可以是在通过包括在第一专用数据流的PES分组中的叠加信息数据显示叠加信息的时段内依次更新的视差信息，可以包括初始帧的视差信息、和每个随后更新帧间隔内帧的视差信息。在这种情况下，例如，在显示叠加信息之前将依次更新视差信息(多个标绘位置上的视差信息)集体发送给接收方。在这种情况下，发送内容是例如像电影那样的记录内容，以及离线进行视差信息的编码和多路复用。此外，在本技术中，例如，所述传输流可以针对第一专用数据流的一个PES分组包括第二专用数据流的多个PES分组。包括在第二专用数据流的多个PES分组中的视差信息可以是在通过包括在第一专用数据流的PES分组中的叠加信息数据显示叠加信息的时段内依次更新的一个或多个视差信息。在这种情况下，甚至在例如显示叠加信息之后将依次更新视差信息(多个标绘位置上的视差信息)依次发送给接收方。在这种情况下，发送内容是，例如，像体育比赛或音乐会那样的实况内容，以及实时进行视差信息的编码和多路复用。这里，当一个PES分组包括多个视差信息时，会发生延迟，但因为PES分组的多路复用速率降低了，所以可以减轻接收方的解码器中的读取负担。在这种情况下，例如，当第二专用数据流的PES分组包括多个视差信息时，该多个视差信息可以包括与包括在下一个PES分组中的初始帧的视差信息相同的一个帧的视差信息。在这种情况下，当多个视差信息之间的间隔是几个帧的间隔时，可以通过进行内插获取每个帧的显示信息。在这种情况下，例如，当第二专用数据流的PES分组包括一个视差信息时，所述数据发送单元可以在第二个之后多路复用第二专用数据流的PES，以便第二专用数据流的PES在包括在前PES分组中的显示时间戳的定时的下一个内插帧之前到达接收方的解码缓冲器。在这种情况下，当包括在每个PES分组中的视差信息的间隔是几个帧的间隔时，可以通过进行内插获取每个帧的显示信息。此外，在本技术中，例如，可以将所述数据发送单元设置成包括在第二专用数据流中的PES分组的解码时间戳的定时比包括在该PES分组中的显示时间戳的定时早预定时段。在这种情况下，在接收方，可以针对显示时间戳的定时及时可靠地开始解码。此外，在本技术中，例如，可以将第一专用数据流的PES分组和第二专用数据流的PES分组设置成使按叠加信息显示数据的显示与按视差信息的视差同步的同步信息。在这种情况下，即使在分开PES分组中发送叠加信息数据和视差信息，接收方也可以使按叠加信息显示数据的显示与按视差信息的移动控制同步。 此外，在本技术中，例如，可以将传输流设置成以插入方式包括将第一专用数据流的PES分组与第二专用数据流的PES分组相关联的关联信息。在这种情况下，通过关联信息，例如，接收方可以容易地知道两种PES分组相互关联，因此可以知道应该解码两种PES分组。此外，在本技术中，可以将第二专用数据流的PES分组设置成包括视差信息和叠加信息数据两者。在这种情况下，接收方的3D兼容设备可以仅仅通过解码第二专用数据流的PES分组进行叠加信息的3D显示。本技术的另一个概念是一种接收装置，其包括:数据接收单元，配置为接收传输流，所述传输流是通过多路复用包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流的PES分组、包括要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据的第一专用数据流的PES分组、和包括通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息提供视差的视差信息的第二专用数据流的PES数据获得的，多路复用第二专用数据流的PES分组，使得PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器；图像数据获取单元，配置为通过对从由所述数据接收单元接收的传输流提取的视频数据流的PES分组进行解码处理，获取图像数据；解码缓冲器，配置为临时存储从由所述数据接收单元接收的传输流提取的第一专用数据流的PES分组和第二专用数据流的PES分组；叠加信息数据获取单元，配置为通过从所述解码缓冲器读取第一专用数据流的PES分组并对读取的PES分组进行解码处理，获取叠加信息数据；视差信息获取单元，配置为通过从所述解码缓冲器读取第二专用数据流的PES分组并对读取的PES分组进行解码处理，获取视差信息；以及图像数据处理单元，配置为通过使用由所述图像数据获取单元获取的图像数据、由所述叠加信息数据获取单元获取的叠加信息数据、和由所述视差信息获取单元获取的视差信息，将视差提供给叠加在左眼图像和右眼图像上的相同叠加信息，并获取叠加了叠加信息的左眼图像的数据和叠加了叠加信息的右眼图像的数据。此外，在本技术中，例如，可以进一步配备视差信息内插单元，以便通过对所述视差信息获取单元获取和在显示叠加信息的预定数目的帧的时段内依次更新的视差信息进行内插处理，生成在预定数目的帧的时段内任何帧间隔的视差信息；以及所述图像数据处理单元可以使用所述视差信息内插单元生成的任何帧间隔的视差信息。在这种情况下，当包括在每个PES分组中的视差信息的间隔是几个帧的间隔时，可以通过获取例如每个帧的显示信息进行偏移调整。此外，在本技术中，例如，可以将包括在第二专用数据流的PES分组中的解码时间戳的定时设置成比包括在该PES分组中的显示时间戳的定时早预定时段；以及所述视差信息获取单元可以通过在包括在第二专用数据流的PES分组中的解码时间戳的定时从解码缓冲器中读取第二专用数据流的PES分组进行解码处理。这样，可以通过针对显示时间戳的定时及时可靠地开始解码获取视差信息。发明效果按照本技术，可以有效地进行包括视差信息的PES分组的发送。


图1是图示按照本发明实施例的图像发送/接收系统的配置的示例的框图；图2是图示广播站中的发送数据生成单元的配置的示例的框图；图3是图示1920X1080像素格式的图像数据的图形；图4是描述作为立体图像数据(3D图像数据)发送方案的顶底方案、并排方案、和帧顺序方案的图形；图5是描述检测右眼图像相对于左眼图像的视差矢量的示例的图形；图6是描述通过块匹配方案获取视差矢量的图形；图7是图示在每个像素的视差矢量的值用作每个像素的亮度值的情况下图像的示例的图形；图8是图示每个块的视差矢量的示例的图形；图9是描述发送数据生成单元的视差信息创建单元进行的缩小处理的图形；图10是图示按字幕数据定义在图像上的区域和定义在该区域中的子区域的示例的图形；
图11是图示在第一种类型中包括在传输流TS中的2D流和3D扩展流的配置的图形；图12是图示在第二种类型中包括在传输流TS中的2D流和3D扩展流的配置的图形；图13是描述在第一种类型中将时间戳PTS插入2D流的PES报头PESl (I)中的值:PES#1与将时间戳PTS插入3D扩展流的PES报头PES2 (2)中的值:PES#2的关联的图形；图14是图示将2D流和3D扩展流的时间戳PTS的值设置成不同值的示例的图形；图15是图示将2D流和3D扩展流的时间戳PTS的值设置成不同值的另一个示例的图形；图16是图示在第一种类型的情况下在传输流中多路复用(离线)2D流和3D扩展流的PES分组的示例的图形；图17是图示在第一种类型的情况下在传输流中多路复用(实时)2D流和3D扩展流的PES分组的示例的图形；图18是图示在第二种类型的情况下在传输流中多路复用(离线)2D流和3D扩展流的PES分组的示例的图形；图19是图示在第二种类型的情况下在传输流中多路复用(实时)2D流和3D扩展流的PES分组的示例的图形；图20是图示在每个帧中发送含有SD-DSS (单视差DSS)的PES分组以便更新视差信息的情况，即，链接SD-DSS的情况的示例的图形；图21是图示发送含有MD-DSS (多视差DSS)的PES分组降低PES分组的出现率以便更新视差信息的情况的示例的图形；图22是图示在链接SD-DSS的情况下将含有MD-DSS的PES分组用于降低PES分组的出现率的情况的图形；图23是图示将含有MD-DSS的PES分组多路复用到传输流中的情况的特定示例的图形；图24是图示将含有MD-DSS的PES分组多路复用到传输流中的情况的另一个特定示例的图形；图25是描述在包括DSS的PES分组中设置DTS的特定定时的示例的图形；图26是图示在第一种类型中传输流的配置的示例的图形；图27是图示构成字幕数据的PCS (page_composition_segment)的结构的图形；图28是图示segment_type的每个值与段类型之间的对应关系的图形；图29是描述表示新定义的3D字幕数据格式的信息(Component_type=OX 15,0X25)的图形；图30是图示在第二种类型中传输流的配置的示例的图形；图31是图示通过使用间隔时段更新视差信息的示例和间隔时段是固定的和等于更新时段的情况的图形；图32是图示通过使用间隔时段更新视差信息的示例和在间隔时段被设置成短的情况下更新视差信息的示例的图形；图33是图示在第二种类型中3D流的配置的示例的图形；
图34是图示在依次发送DSS段的情况下更新视差信息的示例的图形；图35是图示其中用多个作为单位时段的间隔持续时间(ID)表达更新帧间隔的更新视差信息的示例的图形；图36是图示其中在页区(Page_default的面积)中包括作为字幕显示区的两个区域的显示字幕的示例的图形；图37是图示在以区域为单位的视差信息、和以包括所有区域的页面为单位的视差信息包括在DSS段中，作为在字幕显示时段中依次更新的视差信息的情况下，每个区域和页面的视差信息曲线的示例的图形；图38是图示每个页面和区域的视差信息的发送结构的图形；图39是图示DSS的语法的示例的图形(1/3)；图40是图示DSS的语法的示例的图形(2/3)；图41是图示DSS的语法的示例的图形(3/3)；图42是图示DSS的主要数据定义内容(语义)的图形(1/4);图43是图示DSS的主要数据定义内容(语义)的图形(2/4);图44是图示DSS的主要数据定义内容(语义)的图形(3/4);图45是图示DSS的主要数据定义内容(语义)的图形(4/4);图46是图示在机顶盒和电视接收器是3D兼容设备的情况下广播接收的概念的图形；图47是图示在机顶盒和电视接收器是传统2D兼容设备的情况下广播接收的概念的图形；图48是图示在图像上显示字幕(图形信息)的示例、以及背景、近景物体、和字幕的透视的图形；图49是图示在图像上显示字幕的示例、以及用于显示字幕的左眼字幕LGI和右眼子眷RGI的图形；图50是图示包括在图像发送/接收系统中的机顶盒的配置的示例的框图；图51是图示包括在机顶盒中的位流处理单元的配置的示例(3D兼容)的框图；图52是图示可以用于将2D流与3D扩展流相关联的多解码描述符的语法的示例的图形；图53是图示多解码描述符的语法的示例中主要信息的内容(语义)的图形；图54是图示在布置多解码描述符的情况下第一种类型的传输流TS的配置的示例的图形；图55是图示包括在机顶盒中的位流处理单元的配置的另一个示例(2D兼容)的框图；图56是图示包括在图像发送/接收系统中的电视接收器的配置的示例的框图；图57是图示包括在图像发送/接收系统中的机顶盒的配置的另一个示例的框图；图58是图示包括在图像发送/接收系统中的电视接收器的配置的另一个示例的框图；图59是图示图像发送/接收系统的配置的示例的框图；以及
图60是描述利用双眼视差的立体图像显示中，屏幕上的物体的左右图像的显示位置与其立体图像的再现位置之间的关系的图形。
具体实施例方式在下文中，将描述实现本发明的方式(下文称为“实施例”)。另外，该描述按如下次序作出。1.实施例2.修改例〈1.实施例 >[图像发送/接收系统的配置的示例]图1图示了按照实施例的图像发送/接收系统的配置的示例。图像发送/接收系统10包括广播站100、机顶盒(STB) 200、和电视接收器(TV) 300。机顶盒200和电视接收器300通过HDMI (高清晰度多媒体接口)的数字接口连接。机顶盒200和电视接收器300使用HDMI电缆400来连接。机顶盒200配有HDMI端子202。电视接收器300配有HDMI端子302。HDMI电缆400的一端与机顶盒200的HDMI端子202连接，HDM电缆400的另一端与电视接收器300的HDMI端子302连接。[广播站的描述]广播站100在广播电波上发送传输流TS。广播站100包括生成传输流TS的发送数据生成单元110。传输流TS包括立体图像数据、音频数据、叠加信息数据、视差信息等。立体图像数据具有预定发送格式，包括显示立体图像的左眼图像数据和右眼图像数据。一般说来，叠加信息是字幕、图形信息、文本信息等。但是，在该实施例中，叠加信息是字幕(字眷)。[发送数据生成单元的配置的示例]图2图示了广播站100中的发送数据生成单元110的配置的示例。发送数据生成单元110以可以容易地与作为现有广播标准之一的DVB (数字视频广播)方案协作的数据结构发送视差信息。发送数据生成单元110包括相机IllL和111R、视频成帧单元112、视差矢量检测单元113、麦克风114、数据提取单元115、和切换开关116-118。此外，发送数据生成单元110还包括视频编码器119、音频编码器120、字幕生成单元121、视差信息创建单元122、字幕处理单元123、字幕编码器125、和多路复用126。相机IllL捕获左眼图像以获取显示立体图像的左眼图像数据。相机11 IR捕获右眼图像以获取显示立体图像的右眼图像数据。视频成帧单元112将相机IllL获取的左眼图像数据和相机IllR获取的右眼图像数据处理成符合发送方案的立体图像数据(3D图像数据)。视频成帧单元112构成图像数据输出单元。下面将描述发送立体图像数据(3D图像数据)的发送方案的示例。这里，尽管作为示例将描述如下第一到第三发送方案，但任何其他发送方案都可以用于发送立体图像数据(3D图像数据)。此外，这里，作为示例，将描述如图3所图示左眼(L)图像数据和右眼(R)图像数据是具有预定分辨率，例如，1920X1080像素格式的情况。第一发送方案是顶底方案，S卩，如图4(a)所图示，在垂直方向的第一半部中发送左眼图像数据的每行数据和在垂直方向的第二半部中发送右眼图像数据的每行数据的方案。在这种情况下，由于左眼图像数据和右眼图像数据的行数减少了一半，所以垂直分辨率相对于原始信号降低了 一半。第二发送方案是并排方案，S卩，如图4(b)所图示，在水平方向的第一半部中发送左眼图像数据的像素数据和在水平方向的第二半部中发送右眼图像数据的像素数据的方案。在这种情况下，左眼图像数据和右眼图像数据每一种的水平方向像素数据减少了一半。因此，水平分辨率相对于原始信号降低了 一半。第三发送方案是帧顺序方案，S卩，如图4(c)所图示，通过对各个帧依次切换发送左眼图像数据和右眼图像数据的方案。另外，帧顺序方案也包括适合传统2D格式的全帧方案或服务兼容方案。视差矢量检测单元113根据左眼图像数据和右眼图像数据为构成图像的每个像素检测，例如，视差矢量。下面将描述检测视差矢量的示例。这里，将描述检测右眼图像相对于左眼图像的视差矢量的示例。如图5所图示，将左眼图像用作检测图像，将右眼图像用作参照图像。在本例中，检测(xi，yi)和(xj，yj)位置上的视差矢量。作为示例，将描述检测(xi，yi)位置上的视差矢量的情况。在这种情况下，在左眼图像中，利用(xi，yi)位置上的左上角像素设置，例如，4X4、8X8、或16X16像素块(视差检测块)Bi。在右眼图像中，搜索与像素块Bi匹配的像素块。在这种情况下，在右眼图像中，设置围绕(xi，yi)位置的搜索范围。将该搜索范围内的每个像素用作顺序关注像素，依次设置像上述像素块Bi那样的比较块，例如，4X4、8X8、或16X16像素块。在像素块Bi与依次设置比较块之间，获取各自相应像素的绝对差值之和。这里，如图6所示，当像素块Bi的像素值是L (x，y)和比较块的像素值是R (x，y)时，将像素块Bi与比较块之间的绝对差值之和表达成Σ |L (X，y) -R (X，y) |。当在设置在右眼图像中的搜索范围中包括η个像素时，最终获得η个和值SI到Sn，并选择它们当中的最小和Smin。从获得最小和Smin的比较块中获取左上角像素的(xi' ,yi')位置。于是，(xi，yi)位置上的视差矢量被检测成(xi' -xi,yi/ -yi)。尽管未详细描述，但在左眼图像中设置，例如，具有(xj，yj)位置上的左上角像素的4X4、8X8、或16X16像素块Bj，并通过相同处理检测(xj，yj)位置上的视差矢量。返回到图2，麦克风114通过检测与相机11IL和11 IR捕获的图像相对应的声音获取音频数据。数据提取单元115用在与数据记录介质115a可分开安装的状态下。数据记录介质115a的示例包括盘状记录介质和半导体存储器。数据记录介质115a与包括左眼图像数据和右眼图像数据的立体图像相关联地存储音频数据、叠加信息数据、和视差矢量。数据提取单元115从数据记录介质115a中提取立体图像数据、音频数据、和视差矢量并输出它们。数据提取单元115构成图像数据输出单元。这里，记录在数据记录介质115a中的立体图像数据对应于视频成帧单元112获取的立体图像数据。此外，记录在数据记录介质115a中的音频数据对应于麦克风114获取的音频数据。此外，记录在数据记录介质115a中的视差矢量对应于视差矢量检测单元113获取的视差矢量。
切换开关116有选择地提取视频成帧单元112获取的立体图像数据或从数据提取单元115输出的立体图像数据。在这种情况下，在实况模式下，切换开关116与a侧连接，以提取视频成帧单元112获取的立体图像数据。此外，在再现模式下，切换开关116与b侧连接，以提取从数据提取单元115输出的立体图像数据。切换开关117有选择地提取视差矢量检测单元113检测的视差矢量或从数据提取单元115输出的视差矢量。在这种情况下，在实况模式下，切换开关117与a侧连接，以提取视差矢量检测单元113检测的视差矢量。此外，在再现模式下，切换开关117与b侧连接，以提取从数据提取单元115输出的视差矢量。切换开关118有选择地提取麦克风114获取的音频数据或从数据提取单元115输出的音频数据。在这种情况下，在实况模式下，切换开关118与a侧连接，以提取麦克风114获取的音频数据。此外，在再现模式下，切换开关118与b侧连接，以提取从数据提取单元115输出的音频数据。视频编码器119对切换开关116提取的立体图像数据进行像MPEG4_AVC、MPEG2或VC-1那样的编码，以生成视频数据流(视频基本流)。音频编码器120对切换开关118提取的音频数据进行像AC3或AAC那样的编码，以生成音频数据流(音频基本流)。字幕生成单元121生成像DVB (数字视频广播)的字幕数据那样的字幕数据。字幕数据是二维(2D)图像的字幕数据。字幕生成单元121构成叠加信息数据输出单元。视差信息创建单元122对切换开关117提取的每个像素的视差矢量(水平方向视差矢量)进行缩小处理，以生成如下所述每层的视差信息。另外，视差信息无需必须由视差信息创建单元122生成，也可以单独从外界供应。图7图示了作为每个像素的亮度值提供的深度方向相关数据的示例。这里，可以通过预定转换将深度方向相关数据处理成每个像素的视差矢量。在本例中，将人体部分的亮度值设置得较高。这意味着人体部分的视差矢量值较大，因此意味着在立体图像显示中感觉人体部分是前伸的。此外，在本例中，将背景部分的亮度值设置得较低。这意味着背景部分的视差矢量值较小，因此意味着在立体图像显示中感觉背景部分是后缩的。图8图示了每个块的视差矢量的示例。一个块对应于处在最低层上的像素的上层。该块通过沿着水平方向和垂直方向将图像(画面)区划分成预定大小构成。每个块的视差矢量通过，例如，从存在于该块之中的所有像素的视差矢量中选择具有最大值的视差矢量获得。在本例中，每个块的视差矢量用一个箭头表达，箭头的长度对应于视差矢量的幅度。图9图示了视差信息创建单元122进行的缩小处理的示例。首先，如图9(a)的所图示，视差信息创建单元122通过使用每个像素的视差矢量获取每个块的带符号视差矢量。如上所述，该块对应于处在最低层上的像素的上层，通过沿着水平方向和垂直方向将图像(画面)区划分成预定大小构成。每个块的视差矢量通过，例如，从存在于该块之中的所有像素的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量获得。接着，如图9(b)的所图示，视差信息创建单元122通过使用每个块的视差矢量获取每个群体(块群)的视差矢量。该群体对应于该块的上层，通过使多个相邻块成群获得。每个群体的视差矢量通过，例如，从该群体之中的所有块的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量获得。
接着，如图9(c)的所图示，视差信息创建单元122通过使用每个群体的视差矢量获取每个分区的视差矢量。该分区对应于该群体的上层，通过使多个相邻群体成群获得。在图9(c)的示例中，每个分区包括由虚线框界定的两个群体。每个分区的视差矢量通过，例如，从该分区之中的所有群体的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量获得。接着，如图9(d)的所图示，视差信息创建单元122通过使用每个分区的视差矢量获取处在最上层的整个画面(整个图像)的视差矢量。在图9(d)的示例中，整个画面包括由虚线框界定的四个分区。整个画面的视差矢量通过，例如，从包括在该整个画面之中的所有分区的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量获得。这样，视差信息创建单元122通过对处在最低层上的每个像素的视差矢量进行缩小处理，可以获得像块、群体、分区、和整个画面那样的每层的每个区域的视差矢量。此外，在图示在图9中的缩小处理的示例中，除了像素层之外，最终获得块、群体、分区、和整个画面四个层的视差矢量。但是，层数、划分每个层的区域的方法、和区域数不局限于此。返回到图2，字幕处理单元123可以根据字幕生成单元121生成的字幕数据在一个区域中定义子区域。此外，字幕处理单元123根据视差信息创建单元122创建的视差信息，在左眼图像和右眼图像中设置移动叠加信息的显示位置的视差信息。该视差信息可以针对每个子区域、区域或页面来设置。图10(a)图示了按字幕数据定义在图像上的区域和定义在该区域中的子区域的示例。在本例中，在具有RO的Region_Starting位置的区域O中定义了 SubRegionl和SubRegion2的两个子区域。SubRegionl的水平位置x是SRI, SubRegion2的水平位置x是SR2。在本例中，为子区域SubRegionl设置视差信息Disparityl,为子区域SubRegion2设置视差信息Disparity〗。图10(b)图示了在左眼图像(左眼视图)中的子区域中通过视差信息的偏移调整的示例。为子区域SubRegionl设置视差信息Disparityl。因此,对于子区域SubRegionl,进行偏移调整以便水平位置X是S Rl - disparityl。此外，为子区域SubRegion2设置视差信息Disparity〗。因此，对于子区域SubRegion2，进行偏移调整以便水平位置x是SR2 -disparity2。图10(c)图示了在右眼图像(右眼视图)中的子区域中通过视差信息的偏移调整的示例。为子区域SubRegionl设置视差信息Disparityl。因此,对于子区域SubRegionl,进行偏移调整以便如与上述左眼图像相反，水平位置X是SRl+disparityl。此外，为子区域SubRegion2设置视差信息Disparity2。因此,对于子区域SubRegion2,进行偏移调整以便如与上述左眼图像相反，水平位置X是SR2+disparity2。字幕处理单元123与字幕生成单元121生成的字幕数据一起，输出像视差信息和上述子区域的区域信息那样的显示控制信息。此外，除了如上所述以子区域为单位设置之夕卜，也可以以区域或页面为单位设置视差信息。字幕数据包括像DDS、PCS、RCS、CDS、ODS和EDS那样的段。DDS (显示定义段)规定HDTV的显示尺寸。PCS (页面组成段)规定页面中的区域位置。RCS (区域组成段)规定区域的尺寸或对象的编码模式，并且还规定对象的开始位置。CDS(CLUT定义段)规定CLUT内容。ODS(对象数据段)包括编码像素数据Pixeldata。EDS (显示结束设置段)指示从DDS的段开始的字幕数据的结束。在本实施例中，进一步定义了 DSS (显示传信段)的段。将上述显示控制信息插入DSS的段中。返回到图2，字幕编码器125生成作为如下第一种类型和第二种类型的第一和第
二专用数据流(第一和第二字幕数据流)。按第一种类型生成包括DDS、PCS、RCS、CDS、ODS和EDS的段的第一专用数据流(2D流)。此外，按第一种类型生成包括DDS、DSS和EDS的段的第二专用数据流(3D扩展流)。按第二种类型生成包括DDS、PCS、RCS、CDS、ODS和EDS的段的第一专用数据流(2D流)。此外，按第二种类型生成包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的段的第二专用数据流(3D扩
展流)。多路复用器126多路复用来自视频编码器119、音频编码器120、和字幕编码器125的各自数据流的PES分组，以获取作为多路复用数据流的传输流TS。也就是说，传输流TS包括作为PES流的视频数据流、音频数据流、和第一和第二专用数据流。图11图示了在第一种类型中包括在传输流TS中的第一专用数据流(2D流)和第二专用数据流(3D扩展流)的配置。图11(a)图示了将PES报头布置在开头，后面接着包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的PES有效负载的2D流。此外，图11(b)图示了将PES报头布置在开头，后面接着包括DDS、DSS和EDS的各自段的PES有效负载的3D扩展流。此外，如图11(c)所图示，可以将3D扩展流配置成在PES有效负载中包括DDS、PCS、DSS和EDS的各自段。在这种情况下，PCS的页面状态是指示叠加数据(位图)没有变化的正常情况。图12图示了在第二种类型中包括在传输流TS中的第一专用数据流(2D流)和第二专用数据流(3D扩展流)的配置。图12(a)图示了将PES报头布置在开头，后面接着包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的PES有效负载的2D流。此外，图12(b)图示了将PES报头布置在开头，后面接着包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段的PES有效负载的3D流。在第一种类型中，多路复用器126使有关接收方显示叠加信息与通过视差信息的偏移控制之间的同步的同步信息包括在2D流和3D扩展流中。具体地说，如图13所图示，将多路复用器126设置成使将时间戳PTS (呈现时间戳)插入2D流的PES报头PESl (I)中的值:PES#1与将时间戳PTS插入3D扩展流的PES报头PES2 (2)中的值:PES#2相关联。图13图示了将2D流和3D扩展流的时间戳PTS (呈现时间戳)的值设置成相同值，即，PTSl的示例。在这种情况下，在接收方(解码方)，从PTSl开始通过字幕数据(叠加信息数据)显示字幕图案，以及也从PTSl开始通过在3D中显示字幕图案的视差信息的偏移控制。此外，在图13的示例中，图示了 3D扩展流包括两个视差信息，它们是PTSl帧的视差信息和预定随后帧的视差信息。在接收方(解码方)，指示可以通过内插处理获取两个帧之间的任意帧的视差信息，并且可以动态地进行偏移控制。此外，在图13中，包括在2D流中的“传统段”表示DDS、PCS、RCS、CDS、ODS和EDS的各自段。此外，包括在3D扩展流中的“扩展段”表示DDS、DSS和EDS的各自段或DDS、PCS、DSS和EDS的各自段。此外，在图13中，2D流的“Elementary_PID”是ID1，3D扩展流的“Elementary_PID”是ID2。这同样适用于如下所述的图14和15。
图14图示了将2D流和3D扩展流的时间戳PTS的值设置成不同值的示例。也就是说，在图13的示例中，将2D流的时间戳PTS的值设置成PTSlJf 3D扩展流的时间戳PTS的值设置成接在PTSl之后的PTS2。在这种情况下，在接收方(解码方)，从PTSl开始通过字幕数据(叠加信息数据)显示字幕图案，但从PTS2开始通过在3D中显示字幕图案的视差信息的偏移控制。此外，在图14的示例中，图示了 3D扩展流包括PTS2帧的视差信息和多个随后帧的视差信息。在接收方(解码方)，指示可以通过内插处理获取多个帧之间的任意帧的视差信息，并且可以动态地进行偏移控制。与图14 一样，图15图示了将2D流和3D扩展流的时间戳PTS的值设置成不同值的示例。另外，图15图示了存在具有不同时间戳(PTS)值的多种3D扩展流的示例。也就是说，在图15的示例中，将2D流的时间戳PTS的值设置成PTS1。此外，将多种3D扩展流的时间戳PTS的值设置成接在PTSl之后的PTS2、PTS3、PTS4、.......
在这种情况下，在接收方(解码方)，从PTSl开始通过字幕数据(叠加信息数据)显示字幕图案，但从PTS2开始通过在3D中显示字幕图案的视差信息的偏移控制，然后进行依次更新。此外，在图15的示例中，多种3D扩展流只包括各自时间戳表示的视差信息。在接收方(解码方)，指示可以通过内插处理获取多个帧之间的任意帧的视差信息，并且可以动态地进行偏移控制。此外，如上所述，多路复用器126多路复用各自数据流的PES分组，以获取作为多路复用数据流的传输流TS。这里，多路复用器126多路复用上述2D流的PES分组，以便PES分组比包括在PES分组中的PTS (显示时间戳)的定时早预定时段到达接收方的解码器缓冲器。同样，多路复用器126多路复用上述3D扩展流或3D流的PES分组，以便PES分组比包括在PES分组中的PTS的定时早预定时段到达接收方的解码器缓冲器。这里，PES分组的到达意味着PES有效负载的结束部分的到达。这同样适用于下文。图16图示了在第一种类型的情况下在传输流TS中多路复用2D流和3D扩展流的PES分组的示例。这个示例假设了发送内容是像电影那样的记录内容的上述再现模式，图示了离线进行视差信息的编码或多路复用的情况。在图16中，作为“第1PES”的PESl(I)是2D流(参见图11 (a))的PES分组，在传输流TS中表示成P1-1。此外，作为“第2PES”的PES2(1)是3D扩展流(参见图11 (b))的PES分组，在传输流TS中表示成P2-1。将PCR (节目时钟参考)嵌入传输流TS中。通过PCR使接收方的解码器时钟与编码器时钟同步。PTS中2D流的PES分组Pl-1的显示定时是PTS1，在接收方从这个定时开始显示字幕图案。此外，PTS中3D扩展流的PES分组P2-1的显示定时是PTS1，在接收方也从PTSl开始通过在3D中显示字幕图案的视差信息的偏移控制。3D扩展流的PES分组P2_l包括四个帧位置(视差标绘位置)以及PTSl帧的视差信息。接收方通过内插处理获取各自视差标绘位置之间的任意帧间隔，例如，I帧间隔的视差信息。此外，在如下描述中，为了使描述简单起见，将接收方描述成获取I帧间隔的视差信息。假设接收方在时段Λ O中进行2D流的PES分组Pl-1的解码和显示准备。因此，多路复用器126将PES分组Pl-1多路复用到传输流TS中，以便PES分组至少比定时I(PTSl)早时段ΛO到达接收方的解码器缓冲器。此外，假设接收方在时段Al中进行3D扩展流的PES分组Ρ2-1的解码和各自视差标绘位置之间的每个帧的视差信息的内插处理。因此，多路复用器126将PES分组Ρ2-1多路复用到传输流TS中，以便PES分组至少比定时I (PTSl)早时段Λ I到达接收方的解码器缓冲器。在接收方，解码3D扩展流的PES分组Ρ2-1以获取四个视差标绘位置的视差信息，并通过内插处理获取各自视差标绘位置之间的每个帧的视差信息。在接收方，在字幕图案的显示时段中，根据如上所述获得的视差信息在每个帧中偏移字幕图案，以便将字幕叠加在左眼图像和右眼图像上。在这种情况下，通过根据视差信息沿着相反方向偏移将视差提供给叠加在左眼图像和右眼图像上的字幕图案。于是，在接收方，在像电影那样的记录内容的3D图像上良好地进行字幕图案的3D显示。图17图示了在第一种类型的情况下在传输流TS中多路复用2D流和3D扩展流的PES分组的示例。这个示例假设了发送内容是像体育比赛或音乐会那样的实况内容的上述实况模式，图示了实时进行视差信息的编码和多路复用的情况。在图17中，作为“第1PES”的PESl(I)是2D流(参见图11 (a))的PES分组，在传输流TS中表示成Pl-1。此外，作为“第2PES”的PES2(1)、PES2(2)、和PES2(3)分别是3D扩展流(参见图11 (b))的PES分组，在传输流TS中分别表示成Ρ2-1、Ρ2-2、和P2-3。将PCR (节目时钟参考)嵌入传输流TS中。通过PCR使接收方的解码器时钟与编码器时钟同步。PTS中2D流的PES分组Pl-1的显示定时是PTS1，在接收方从这个定时开始显示字幕图案。此外，PTS中3D扩展流的PES分组P2-1的显示定时是PTS1，在接收方也从PTSl开始通过在3D中显示字幕图案的视差信息的偏移控制。3D扩展流的PES分组P2_l包括PTS2帧的位置(视差标绘位置)的视差信息。此夕卜，3D扩展流的PES分组P2-2包括显示在PTS中的PTS2帧的位置(视差标绘位置)的视差信息。另外，3D扩展流的PES分组P2-3包括显示在PTS中的PTS3帧的位置(视差标绘位置)的视差信息。接收方通过内插处理获取各自视差标绘位置之间的每个帧的视差信息。假设接收方在时段Λ0中进行2D流的PES分组Pl-1的解码和显示准备。因此，多路复用器126将PES多路复用Pl-1，以便PES分组至少比定时I (PTSl)早时段Λ O到达接收方的解码器缓冲器。此外，假设接收方在时段Al中进行3D扩展流的PES分组Ρ2-1的解码。因此，多路复用器126多路复用PES分组Ρ2-1，以便PES分组至少比定时I (PTSl)早时段Λ I到达接收方的解码器缓冲器。此外，接收方需要在定时I (PTSl)的下一个内插帧(定时Α)之前进行包括定时2(PTS2)的视差信息的3D扩展流Ρ2-2的解码。这是因为不仅定时I (PTSl)的视差信息而且定时2 (PTS2)的视差信息都是在接收方通过内插处理生成定时A的视差信息所必不可少的。假设接收方在时段α中进行3D扩展流的PES分组Ρ2_2的解码和定时I (PTSl)与定时2 (PTS2)之间的每个帧的视差信息的内插处理。因此，多路复用器126多路复用PES分组Ρ2-2，以便PES分组至少比定时A早时段α，g卩，比定时2 (PTS2)早时段Λ 2到达接收方的解码器缓冲器。这同样适用于包括定时3 (PTS3)的视差信息的3D扩展流的PES分组P2_3。也就是说，多路复用器126多路复用PES分组P2-3，以便PES分组至少比定时B早时段β，S卩，比定时3 (PTS3)早时段Λ 3到达接收方的解码器缓冲器。也就是说，定时B是定时2 (PTS2)的下一个内插帧。在接收方，依次解码3D扩展流的PES分组Ρ2-1、Ρ2-2和Ρ2_3，并依次获取三个视差标绘位置的视差信息。每当获取下一个视差标绘位置的视差信息时，就通过对以前获取的视差信息进行内插处理获取两个视差标绘位置之间的每个帧的视差信息。在接收方，在字幕图案的显示时段中，根据如上所述获得的视差信息在每个帧中偏移字幕图案，以便将字幕叠加在左眼图像和右眼图像上。在这种情况下，通过根据视差信息沿着相反方向偏移将视差提供给叠加在左眼图像和右眼图像上的字幕图案。于是，在接收方，在像体育比赛或音乐会那样的实况内容的3D图像上良好地进行字幕图案的3D显示。图18图示了在第二种类型的情况下在传输流TS中多路复用2D流和3D扩展流的PES分组的示例。这个示例假设了发送内容是像电影那样的记录内容的上述再现模式，图示了离线进行视差信息的编码或多路复用的情况。在图18中，作为“第1PES”的PESl(I)是2D流(参见图12 (a))的PES分组，在传输流TS中表示成P1-1。此外，作为“第2PES”的PES2⑴是3D扩展流(参见图12 (b))的PES分组，在传输流TS中表示成P2-1。将PCR (节目时钟参考)嵌入传输流TS中。通过PCR使接收方的解码器时钟与编码器时钟同步。PTS中3D流的PES分组P2-1的显示定时是PTS1，在接收方从这个定时开始通过在3D中显示字幕图案的视差信息的偏移控制。3D流的PES分组P2_l包括四个帧位置(视差标绘位置)以及PTSl帧的视差信息。接收方通过内插处理获取各自视差标绘位置之间的每个帧的视差信息。假设接收方在时段Al中进行3D流的PES分组P2-1的解码、显示的准备、和各自视差标绘位置之间的每个帧的视差信息的内插处理。因此，多路复用器126多路复用PES分组P2-1，以便PES分组至少比定时I (PTSl)早时段Λ I到达接收方的解码器缓冲器。在接收方，解码3D扩展流的PES分组P2_l以获取四个视差标绘位置的视差信息，并通过内插处理获取各自视差标绘位置之间的每个帧的视差信息。在接收方，在字幕图案的显示时段中，根据如上所述获得的视差信息在每个帧中偏移字幕图案，以便将字幕叠加在左眼图像和右眼图像上。在这种情况下，通过根据视差信息沿着相反方向偏移将视差提供给叠加在左眼图像和右眼图像上的字幕图案。于是，在接收方，在像电影那样的记录内容的3D图像上良好地进行字幕图案的3D显示。图19图示了在第二种类型的情况下在传输流TS中多路复用2D流和3D流的PES分组的示例。这个示例假设了发送内容是像体育比赛或音乐会那样的实况内容的上述实况模式，图示了实时进行视差信息的编码和多路复用的情况。在图19中，作为“第1PES”的PESl(I)是2D流(参见图12 (a))的PES分组，在传输流TS中表示成Pl-1。此外，作为“第2PES”的PES2(1)、PES2(2)、和PES2(3)分别是3D流(参见图12(b))的PES分组，在传输流TS中分别表示成Ρ2-1、Ρ2-2、和P2-3。此外，当字幕图案没有变化时，PES2(2)和PES2(3)可以是3D扩展流(参见图11(b))。
将PCR (节目时钟参考)嵌入传输流TS中。通过PCR使接收方的解码器时钟与编码器时钟同步。PTS中3D流的PES分组P2-1的显示定时是PTS1，在接收方从这个定时开始通过在3D中显示字幕图案的视差信息的偏移控制。3D流的PES分组P2_l包括PTSl帧的位置(视差标绘位置)的视差信息。此外，3D流或3D扩展流的PES分组P2-2包括显示在PTS中的PTS2帧的位置(视差标绘位置)的视差信息。另外，3D流或3D扩展流的PES分组P2-3包括显示在PTS中的PTS3帧的位置(视差标绘位置)的视差信息。接收方通过内插处理获取各自视差标绘位置之间的每个帧的视
差/[目息。假设接收方在时段Al中进行3D流的PES分组P2-1的解码、显示的准备、和各自视差标绘位置之间的每个帧的视差信息的内插处理。因此，多路复用器126多路复用PES分组P2-1，以便PES分组至少比定时I (PTSl)早时段Al到达接收方的解码器缓冲器。此外，接收方需要在定时I (PTSl)的下一个内插帧(定时A)之前进行包括定时2 (PTS2)的视差信息的3D流或3D扩展流的PES分组P2-2的解码。这是因为不仅定时I(PTSl)的视差信息而且定时2 (PTS2)的视差信息都是在接收方通过内插处理生成定时A的视差信息所必不可少的。假设接收方在时段α中进行3D扩展流的PES分组Ρ2_2的解码和定时I (PTSl)与定时2 (PTS2)之间的每个帧的视差信息的内插处理。因此，多路复用器126多路复用PES分组Ρ2-2，以便PES分组至少比定时A早时段α，g卩，比定时2 (PTS2)早时段Λ 2到达接收方的解码器缓冲器。这同样适用于包括定时3 (PTS3)的视差信息的3D扩展流的PES分组Ρ2-3。也就是说，多路复用器126多路复用PES分组Ρ2-3，以便PES分组至少比定时B早时段β，S卩，比定时3 (PTS3)早时段Λ 3到达接收方的解码器缓冲器。也就是说，定时B是定时2 (PTS2)的下一个内插帧。在接收方，依次解码3D流的PES分组P2_l和3D流或3D扩展流的PES分组Ρ2_2和Ρ2-3，并依次获取三个视差标绘位置的视差信息。每当获取下一个视差标绘位置的视差信息时，就通过对以前获取的视差信息进行内插处理获取两个视差标绘位置之间的每个帧的视差信息。在接收方，在字幕图案的显示时段中，根据如上所述获得的视差信息在每个帧中偏移字幕图案，以便将字幕叠加在左眼图像和右眼图像上。在这种情况下，通过根据视差信息沿着相反方向偏移将视差提供给叠加在左眼图像和右眼图像上的字幕图案。于是，在接收方，在像体育比赛或音乐会那样的实况内容的3D图像上良好地进行字幕图案的3D显示。此外，在图示在图17和19中的上述示例中，3D扩展流(参见图11(b))或3D流(参见图12(b))的PES分组包括一个视差信息。也就是说，PES分组包括包括只有一个视差标绘位置的视差信息的DSS (下文称为单视差DSS)。图20图示了在每个帧中发送含有上述SD-DSS的PES分组以便更新视差信息的情况，即，链接SD-DSS的情况的示例。如上所述，考虑到在接收方等解码所需的时段，多路复用器126在传输流TS中多路复用PES分组Ρ2-1，以便PES分组至少比PTSl早时段Λ I到达接收方的解码器缓冲器。同样，多路复用器126在传输流TS中多路复用PES分组Ρ2-2，Ρ2-3,......，以便PES分组至少比PTS2，PTS3，......分别早时段Λ 2，Λ 3，......到达接收方的解码器缓冲器。这样，当链接SD-DSS时，接收方的解码器在每个帧中需要通过从解码缓冲器中读取PES分组来进行解码，因此增加了读取负担。因此，可以考虑将PES分组设置成含有具有多个视差标绘位置的视差信息的DSS (下文称为MD-DSS (多视差DSS)，以便降低PES分组的出现率，从而减轻接收方的解码器的读取负担。图21图示了发送含有上述MD-DSS的PES分组降低PES分组的出现率以便更新视差信息的情况的示例。具有PTSl的PTS定时的PES分组P2-1含有包括总共三个帧的视差信息，即，PTSl帧(用实线〇表示)的视差信息和两个随后帧(用虚线〇表示)的视差信息的MD-DSS。考虑到在接收方等解码所需的时段，多路复用器126在传输流TS中多路复用PES分组P2-1，以便PES分组至少比PTSl早时段Λ I到达接收方的解码器缓冲器。同样，分别具有PTS2，PTS3，......的PTS定时的PES分组Ρ2-2，Ρ2-3，......含
有包括总共三个帧的视差信息，即，PTS2，PTS3，......的帧(用实线〇表示)的视差信息和
两个随后帧(用虚线〇表示)的视差信息的MD-DSS。多路复用器126在传输流TS中多路复
用PES分组Ρ2-2，Ρ2-3,......，以便PES分组至少比PTS2，PTS3，......分别早时段Δ 2，
Λ 3，......到达接收方的解码器缓冲器。此外，在图21的示例中，PES分组Ρ2-2，Ρ2-3，......分别含有包括三个相继帧的
视差信息的MD-DSS。但是，PES分组可能含有包括在允许实时系统延迟的范围内每预定个帧的多个视差信息的MD-DSS。在这种情况下，当MD-SSS包括每多个帧的多个视差信息时，可以在接收方通过内插处理获取各自帧的视差信息。

图22(a)图示了在第一种类型中多路复用到传输流TS中的2D流和3D扩展流的PES分组的结构的示例，图22(b)图示了链接SD-DSS的情况，并且图示了多路复用到传输流TS中的3D扩展流的PES分组的出现率较高。图22 (c)图示了通过使用含有MD-DSS的PES分组降低多路复用到传输流TS中的3D扩展流的PES分组的出现率。图23图示了将含有MD-DSS的PES分组多路复用到传输流TS中的情况的特定示例。具有PTSl的PTS定时的PES分组P2-1含有包括PTSl帧和三个随后帧的视差信息D1_0、D1_1、D1_2 和 Dl_3 的 MD-DSS。此外，具有PTS2的PTS定时的PES分组P2-2含有包括PTS2帧和三个随后帧的视差信息D2_0、D2_l、D2_2和D2_3的MD-DSS。在这种情况下，包括在PES分组P2-1中的MD-DSS的最后帧的视差信息Dl_3与包括在PES分组P2-2中的MD-DSS的初始帧的视差信息D2_0重叠。尽管未详细描述，但具有PTS3的PTS定时的PES分组P2-3与上述PES分组P2-2相同。如上所述，当MD-DSS含有每个帧的视差信息时，在下面将描述的DSS的语法的disparity_shift_update_sequence O 中，interval_duration 的值等于视频巾贞时段的值，interval_count的值是I。这同样适用于下面将描述的图24的特定示例。此外，在interval_count的值是2或更大的情况下，如图23所图示，由于disparity_shift_update_sequence O的初始视差信息和最后视差信息共享相同PTS,所以保证了 DSS之前和之后内插数据的连贯性。例如，在图23的特定示例中，为了内插的目的，将视差 目息Dl_3和视差/[目息D2_0编码成共孚相同PTS,将视差/[目息D2_3和视差/[目息D3_0编码成共享相同PTS。在图23的特定示例中，沿着垂直方向延伸的虚线表示内插定时的示例。如上所述，在图23的示例中，包括在任何PES分组中的MD-DSS的最后帧的视差信息与包括在下一个PES分组中的MD-DSS的初始帧的视差信息重叠。通过使用这种结构，在MD-DSS包括每多个帧的视差信息的情况下，可以仅仅使用作为解码任何PES分组的结构获得的视差信息进行在接收方对每个帧的视差信息的内插处理图24图示了将含有MD-DSS的PES分组多路复用到传输流TS中的情况的另一个特定示例。具有PTSl的PTS定时的PES分组P2-1含有包括PTSl帧和两个随后帧的视差信息 D1_0、Dl_l 和 Dl_2 的 MD-DSS。此外，具有PTS2的PTS定时的PES分组P2_2含有包括PTS2帧和两个随后帧的视差信息D2_0、D2_l和D2_2的MD-DSS。在这种情况下，与图23的示例不同，包括在PES分组P2-1中的MD-DSS的最后帧的视差信息Dl_2与包括在PES分组P2-2中的MD-DSS的初始帧的视差信息D2_0不重叠。这是因为在Dl_2与D2_0没有内插处理。尽管未详细描述，但具有PTS3的PTS定时的PES分组P2-3与上述PES分组P2-2相同。此外，多路复用器126可以按如下方式设置包括视差信息的3D扩展流(参见图11(b))的PES分组，或3D流(参见图12 (b))的PES分组的解码时间戳DTS的定时。在PES分组中，通过将报头(PES分组报头)的“PTS_DTS_flags”设置成11，不仅显示定时而且解码定时都得到定义。顺便说一下，“PTS_DTS_flags=ll”指示编码PTS 和 DTS。“PTS_DTS_flags=10”指示只编码PTS，以及叩了3_0了3_乜&88=00”指示既不编码？了3也不编码0了3。另外，禁止“PTS_DTS_fIags=OI”。此外，在下面描述的图51的位流处理单元201中，PTS是从像素缓冲器225中读取的定时，以及DTS是从编码数据编码器223中读取的定时。将多路复用器126设置成使包括视差信息的3D扩展流或3D流的PES分组的DTS的定时被设置成比包括在PES分组中的PTS的定时早预定时段。在这种情况下，将DTS的定时设置成针对使用它的定时及时进行从PES分组中的视差信息获取。设置DTS的定时的特定示例将参照图25来描述。图25对应于上述的图17或图19。如上所述，将具有定时I(PTSl)的PTS定时的3D流或3D扩展流的PES分组P2-1多路复用成使PES分组至少比定时I早时段Λ I到达接收方的解码器缓冲器。多路复用器126将PES分组Ρ2-1的DTS的定时设置成比定时I早时段Al的定时I' (DTSl)0此外，如上所述，将具有定时2 (PTS2)的PTS定时的PES分组Ρ2-2多路复用成使PES分组至少比定时A早时段a，S卩，至少比定时2早时段Λ2到达接收方的解码器缓冲器。多路复用器126将PES分组P2-2的DTS的定时设置成比定时2早时段Λ 2的定时2'(DTS2)。同样，如上所述，将具有定时3 (PTS3)的PTS定时的PES分组Ρ2-3多路复用成使PES分组至少比定时B早时段β，Β卩，至少比定时3早时段Λ3到达接收方的解码器缓冲器。多路复用器126将PES分组Ρ2-3的DTS的定时设置成比定时3早时段Λ 3的定时3'(DTS3)。下面将简要描述图示在图2中的发送数据生成单元110的操作。由相机IllL捕获左眼图像。将用于立体图像显示的相机IllL捕获的左眼图像数据供应给视频成帧单元112。此外，由相机IllR捕获右眼图像。将用于立体图像显示的相机IllR捕获的右眼图像数据供应给视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据处理成按照发送方案的状态，并获取立体图像数据(参见图4(a)到4(c))。将视频成帧单元112获得的立体图像数据供应给切换开关116的a侧固定端子。此外，将数据提取单元115获得的立体图像数据供应给切换开关116的b侧固定端子。在实况模式下，将切换开关116与a侧连接，从切换开关116中提取视频成帧单元116获得的立体图像数据。在再现模式下，将切换开关116与b侧连接，从切换开关116中提取从数据提取单元115输出的立体图像数据。将从切换开关116中提取的立体图像数据供应给视频编码器119。在视频编码器119中，对立体图像数据进行像MPEG4-AVC、MPEG2或VC-1那样的编码，并生成包括编码视频数据的视频数据流(视频基本流)。将视频数据流供应给多路复用器126。将麦克风114获得的音频数据供应给切换开关118的a侧固定端子。此外，将数据提取单元115获得的音频数据供应给切换开关118的b侧固定端子。在实况模式下，将切换开关118与a侧连接，从切换开关118中提取麦克风114获得的音频数据。在再现模式下，将切换开关118与b侧连接，从切换开关118中提取从数据提取单元115输出的音频数据。将从切换开关118中提取的音频数据供应给音频编码器120。在音频编码器120中，对音频数据进行像MPEG-2Audio AAC或MPEG-4AAC那样的编码，并生成包括编码音频数据的音频数据流(音频基本流)。将音频数据流供应给多路复用器126。通过视频成帧单元111将相机IllL和IllR获得的左眼图像数据和右眼图像数据供应给视差矢量检测单元113。在视差矢量检测单元113中，根据左眼图像数据和右眼图像数据检测每个像素的视差矢量或每个像素群的视差矢量。将视差矢量供应给切换开关117的a侧固定端子。此外，将从数据提取单元115输出的每个像素的视差矢量供应给切换开关117的b侧固定端子。在实况模式下，将切换开关117与a侧连接，从切换开关117中提取视差矢量检测单元113获得的每个像素的视差矢量或每个像素群的视差矢量。在再现模式下，将切换开关117与b侧连接，从切换开关117中提取从数据提取单元115输出的每个像素的视差矢量或每个像素群的视差矢量。在字幕生成单元121中，生成作为DVB字幕数据(对于2D图像)的字幕数据。将字幕数据供应给视差信息创建单元122和字幕处理单元123。将从切换开关117中提取的每个像素的视差矢量或每个像素群的视差矢量供应给视差信息创建单元122。在视差信息创建单元122中，对每个像素的视差矢量或每个像素群的视差矢量进行缩小处理，生成每层的视差信息。将视差信息供应给字幕处理单元123。在字幕处理单元123中，例如，根据字幕生成单元121生成的字幕数据定义一个区域中的子区域。此外，在字幕处理单元123中，根据视差信息创建单元122创建的视差信息设置在左眼图像和右眼图像中偏移叠加信息的显示位置的视差信息。在这种情况下，针对每个子区域、区域或页面来设置视差信息。将从字幕处理单元123输出的显示控制信息和字幕数据供应给字幕编码器125。显示控制信息包括子区域的区域信息、视差信息等。在字幕编码器125中，按第一种类型或第二种类型生成第一和第二两种专用数据流(基本流)。
按第一种类型生成包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的第一专用数据流(2D流)。另外，按第一种类型生成包括DDS、DSS和EDS的各自段，或DDS、PCS、DSS和EDS的各自段的第二专用数据流(3D扩展流)。按第二种类型生成包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的第一专用数据流(2D流)。此外，按第二种类型生成包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段的第二专用数据流(3D扩展流)。如上所述，DSS的段是包括显示控制信息的段。如上所述，将来自视频编码器119、音频编码器120、和字幕编码器125的各自数据流供应给多路复用器126。在多路复用器126中，将各自数据流分组化和多路复用成PES分组，并获取传输流TS作为多路复用数据流。传输流TS包括作为PES流的视频数据流、音频数据流、和第一和第二专用数据流。图26图示了在第一种类型中传输流TS的配置的示例。另外，在图26中，为了使图示简单起见，省略了视频和音频相关部分的图示。传输流TS包括通过将每种基本流分组化获得的PES分组。在这个配置示例中，包括2D流(第一专用数据流)的PES分组字幕PESl和3D扩展流(第二专用数据流)的PES分组字幕PES2。2D流(PES流)包括DDS、PCS、RCS、CDS、ODS和EDS的各自段。此外，3D扩展流(PES流)包括DDS、DSS和EDS的各自段或DDS、PCS、DSS和EDS的各自段。在这种情况下，2D流的“Elementary_PID”和3D扩展流的“Elementary_PID”被不同地设置成PIDl和PID2，因此指示这些流是不同流。图27 图不了 PCS (page_composition_segment)结构。如图 28 所图不，PCS 的段类型是 O X 10。Region_Horizontal_Address 和 Rregion_Vertical_Address 指不区域的开始地址。此外，关于像DDS、RCS和ODS那样的其他段，省略了对它们的结构的图示。如图28所图示，DDS的段类型是OX 14，RCS的段类型是OX 11，⑶S的段类型是OX 12，ODS的段类型是OX 13，以及EDS的段类型是0X80。另外，如图28所图示，DSS的段类型是OX 15。下面将描述DSS的段的详细结构。返回到图26，传输流TS还包括作为PSI (节目特定信息)的PMT (节目映射表)。PSI是描述包括在传输流中的每种基本流属于哪个节目的信息。此外，传输流还包括用于对每个事件进行管理的作为SI (被服务信息)的EIT (事件信息表)。EIT描述每个节目的元数据。将表示字幕的内容的字幕描述符(Subtitle_Descriptor)插入PMT中。此外,将表示为每种流输送的内容的成分描述符(Component_Descriptor)插入EIT中。如图29所图示，在成分描述符的“stream_content”表示字幕的情况下，当“component_type”是OX 25的OX 15时,它表示3D字幕，当“component_type”是任何其他值时,它表示2D字幕。如图26所图示,字幕描述符“subtitling_type”被设置成“component_type”的值。此外，PMT还包括含有与字幕基本流有关的信息的字幕基本环。在字幕基本环中，为每种流布置像分组标识符(PID)那样的信息，尽管未图示出来，但还布置了描述与基本流有关的信息的描述符。在第一种类型的情况下，字幕描述符的“composition_page_id”被设置成指示包括在3D扩展流中的每个段与2D流的每个段相关联。也就是说，3D扩展流中的“composition_page_id”和 2D 流中的“composition_page_id”被设置成共享相同值(图 26中的O X XXXX) O此外，在第一种类型的情况下，为了指示包括在3D扩展流中的每个段与2D流的每个段相关联，将两种流中的各自相关段的“page_ids”编码成具有相同值。图30图示了在第二种类型中传输流TS的配置的示例。另外，在图30中，为了使图示简单起见，省略了视频和音频相关部分的图示。传输流TS包括通过将每种基本流分组化获得的PES分组。在这个配置示例中，包括2D流(第一专用数据流)的PES分组字幕PESl和3D流(第二专用数据流)的PES分组字幕PES2。2D流(PES流)包括DDS、PCS、RCS、CDS、ODS和EDS的各自段。3D流(PES流)包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段。在第二种类型的情况下，3D流通过将DSS段插入2D流中构成。也就是说，3D流包括进行3D兼容显示所需的所有信息。在这种情况下，2D流的“Elementary_PID”和3D流的“Elementary_PID”被不同地设置成PIDl和PID2，因此指示这些流是不同流。此外，在第二种类型的情况下，将3D流中的字幕描述符的“composition_page_id”和2D流中的字幕描述符的“composition_page_id”设置成具有不同值(图30中的OXXXXX和0ΧΥΥΥΥ)。[视差信息的更新]如上所述，在第一种类型中通过3D扩展流发送视差信息，在第二种类型中通过3D流发送视差信息。下面将描述视差信息的更新。图31和32图示了使用间隔时段更新视差信息的示例。图31图示了间隔时段是
固定的和等于更新时段的情况。也就是说，A-B，B-C，C_D，......的每个更新时段包括一个
间隔时段。图32对应于一般情况，图示了在间隔时段被设置成暂时时段(可能是，例如，一个帧时段)的情况下更新视差信息的示例。在这种情况下，在各自更新时段中间隔时段的数目是M，N，P，Q和R。此外，在图31和32中，“A”表示字幕显示时段的开始帧(开始点)，“B”到“F”表示随后更新帧(更新点)。当将在字幕显示时段中依次更新的视差信息发送给接收方(机顶盒200等)时，接收方可以通过对每个更新时段的视差信息进行内插处理生成和使用任意帧间隔，例如，I帧间隔的视差信息。图33图示了在第二种类型中3D流的配置的示例。图33(a)图示了只插入一个DSS段的示例。PES报头包括时间信息(PTS )。此外，还包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段作为PES有效负载数据。在字幕显示时段开始之前一起发送这些数据。DSS段可以包括在字幕显示时段中依次更新的多个视差信息。此外，DSS段可能不包括在字幕显示时段中依次更新的多个视差信息，并且可以将多个视差信息发送给接收方(机顶盒200等)。在这种情况下，在每个更新定时将DSS段插入3D流中。图33(b)图示了在这种情况下3D流的配置的示例。此外，还包括DDS、PCS、RCS、CDS、ODS和EDS的各自段作为PES有效负载数据。此后，在更新定时发送用于视差信息更新的预定个DSS段。最后，还与DSS段一起发送EDS段。另外，尽管图33图示了在第二种类型中3D流的配置的示例，但相同的配置也可以应用于第一种类型中的3D扩展流。也就是说，可以将一个DSS段插入3D扩展帧中，在DSS段中可以包括在字幕显示时段中依次更新的多个视差信息。可替代地，在每个视差信息更新定时将DSS段插入3D扩展帧中。
图34图示了在如上所述依次发送DSS段的情况下视差信息更新的示例。此外，在图34中，“A”表示字幕显示时段的开始帧(开始点)，“B”到“F”表示随后更新帧(更新点)。
此外，在通过依次发送DSS段将在字幕显示时段中依次更新的视差信息发送给接收方(机顶盒200等)的情况下，接收方也可以进行上述处理。也就是说，在这种情况下，接收方也可以通过对每个更新时段的视差信息进行内插处理生成和使用任意帧间隔，例如，I帧间隔的视差信息。
图35图示了上面参照图32所述的视差信息更新的示例。更新帧间隔用多个作为单位时段的间隔持续时间(ID)来表达。例如，将更新帧间隔一分时段I表达成“ID*M”，将更新帧间隔一分时段2表达成“ID*N”，以及类似地表达随后更新帧间隔。在图示在图35中的视差信息更新的示例中，更新帧间隔不是固定的，而是按照视差信息曲线设置更新帧间隔。
此外，在视差信息更新的示例中，在接收方，提供字幕显示时段的开始帧(开始时间T1_0)作为插入包括视差信息的PES流的报头中的PTS (呈现时间戳)。在接收方，根据有关间隔持续时间的信息(有关单位时段的信息)，即，有关每个更新帧间隔的信息、和有关间隔持续时间的数目的信息获取视差信息的每个更新时间。
在这种情况下，从字幕显示时段的开始帧(开始时间)Τ1_0中，根据如下方程(I)依次获取各自更新时间。在方程(I)中，interval_count表示间隔时段的数目，是与图35中的M，N, P，Q，R和S相对应的值。此外，在方程(I)中，interval_time是与图35中的间隔持续时间ID相对应的值。
Tm_n=Tm_(n-1)+(interval_time*interval_count) (I)
例如，在图示在图35中的更新示例中，以如下方式根据方程(I)获取每个更新时间。也就是说，使用开始时间TlJK间隔持续时间ID、和数量M像T1_1=T1_0+(ID*M)那样获取更新时间Tl_l。此外，使用更新时间Tl_l、间隔持续时间ID、和数量N像T1_2=T1_1+(ID*N)那样获取更新时间Tl_2。以相同方式获取随后每个更新时间。
在图示在图35中的更新示例中，在接收方，对在字幕显示时段中依次更新的视差信息进行内插处理，生成和使用字幕显示时段中的任意帧间隔，例如，I帧间隔的视差信息。例如，作为上述内插处理，通过沿着时间方向(帧方向)不是进行线性内插处理而是伴随着低通滤波(LPF)处理的内插处理，沿着时间方向(帧方向)预定帧间隔的视差信息的变化变成平滑的。图35的虚线表示LPF输出的示例。
图36图示了显示作为字幕的字幕的示例。在该显示示例中，页区(Page_default的面积)包括作为字幕显示区的两个区域(区域I和区域2)。区域包括一个或多个子区域。这里，假设区域包括一个子区域，区域和子区域是相同的。
图37图示了在以区域为单位的视差信息、和以页面为单位的视差信息包括在DSS段中，作为在字幕显示时段中依次更新的视差信息的情况下每个区域和页面的视差信息曲线的示例。这里，页面的视差信息曲线取两个区域的视差信息曲线的最小值。
关于Regionl，存在作为开始时间T1_0和随后更新时间Tl_l，Tl_2,Tl_3,......，Tl_6的七个视差信息。此外，关于区域2，存在作为开始时间Τ2_0和随后更新时间T2_l, Τ2_2, Τ2_3,......，Τ2_8的八个视差信息。另外，关于页面(Page_default)，存在作为开始时间T0_0和随后更新时间T0_1,T0_2, T0_3,......，Τ0_6的七个视差息O
图38图示了图示在图37中的每个页面和区域的视差信息的发送结构。首先，描述页面层。将视差信息的固定值“page_default_disparity”布置在页面层中。关于在字幕显示时段中依次更新的视差信息，依次布置表示与开始时间和随后更新时间相对应的间隔时段的数目的“ interval_count ”、和表示视差信息的“ disparity_page_update ”。此外，将开始时间上的“interVal_COunt”设置成“O”。
接着,描述区域层。关于Regionl (Subregionl),布置了作为视差信息的固定值的 “subregion_disparity_integer_part，，和 “subregion_disparity_fractional_part，，。这里，“subregion_disparity_integer_part” 表示视差信息的整数部分，“subregion_di spar ity_fractional_part”表示视差信息的分数部分。
关于在字幕显示时段中依次更新的视差信息，依次布置了表示与开始时间和随后更新时间相对应的间隔时段的数目的“interval_count”、和表示视差信息的“disparity_region_update_integer_part，，和 “disparity_region_update_fractional_part，，。 这里，“disparity_region_update_integer_part” 表示视差信息的整数部分，“disparity_region_update_fractional_part ”表示视差信息的分数部分。此外，将开始时间上的“ interval_count ” 设置成 “ O ”。
与上述Regionl —样,关于Region2(Subregion2),布置了作为视差信息的固定值的 “subregion_disparity_integer_part，，和 “subregion_disparity_fractional_part，，。关于在字幕显示时段中依次更新的视差信息，依次布置了表示与开始时间和随后更新时间相对应的间隔时段的数目的“interval_count”、和表示视差信息的“disparity_region_update_integer_part，，和 “disparity_region_update_fractional_part，，。
图39 到 41 图不了 DSS(Disparity_Signaling_Segment)的语法的不例。图 42 至Ij45图示了 DSS的主要数据定义内容(语义)。这个语法包括“sync_byte”、“segment_type”、“page_id，，、“segment_length，，、和 “dss_version_number” 的各自几个信息。“segment_type”是表示段类型的8位数据,这里,是表示DSS的值。“segment_length”是表示随后字节的数目的8位数据。
“disparity_shift_update_sequence_page_flag” 的 I 位标志指不是否存在在字幕显示时段中依次更新的视差信息作为以页面为单位的视差信息。“I”表示存在，“O”表示不存在。“page_default_dispa`rity_shift”的8位字段表示以页面为单位的固定视差信息，也就是说，在字幕显示时段中公用中的视差信息。当上述的“(1丨8口31'；^7_811丨；^_即(^七6_sequence_page_f lag” 的 I 位标志是“I” 时，进行“disparity_shift_update_sequence O ”的读取。
图41 图不了 “disparity_shift_update_sequence O ” 的语法的不例。“disparity_page_update_sequence_length”是表示随后字节的数目的8位数据。“interval_duration[23..0] ”的24位字段以90KHz为单位规定作为单位时段的间隔持续时间(参见图35)。也就是说，“interval_duration[23..0] ”表示利用90KHz时钟测量的间隔持续时间的24位值。
对于插入PES的报头部分中的PTS的33位长度是24位长度的理由如下。也就是说，可以用33位长度表示超过24小时的时间，但作为字幕显示时段中的间隔持续时间这是不必要的长度。此外，通过24位表示，可以减小数据大小，和可以进行紧凑发送。此外，24个位是8X3个位，有助于位对准。
“divisioruperiocLcount”的8位字段表示受视差信息影响的分时段的数目。例如，在图示在图35中的更新示例的情况下，分时段的数目是与开始时间T1_0和随后更新时间Tl_l到Tl_6相对于的“7”。重复下面的“for”循环“division_period_count”的8位字段所表示的次数。
“interval_count”的8位字段表示间隔时段的数目。例如，在图示在图35中的更新示例的情况下，对应于 M, N, P, Q, R 和 S。“disparity_shift_update_integer_part” 的8位字段表示视差信息。“intervalcount”是与开始时间上的视差信息(视差信息的初始值)相对应的 “O”。也就是说，当 “interval_count” 是“O” 时，“disparity_page_update”表示开始时间上的视差信息(视差信息的初始值)。
当处理到那个时间的数据长度(processed_length)未达到段数据长度(segment_length)时,重复图39的“while”循环。在“while”循环中，布置以区域或区域中的子区域为单位的视差信息。这里，区域包括一个或多个子区域，区域和子区域可以相同。
“region_id” 的信息包括在 “while” 循环中。“disparity_shift_update_sequence_region_f lag”的I位标志是指示对于区域中的所有子区域是否存在“disparity_shift_update_sequence O ” 的标志信息。“number_of_subregions_minus_l，，的2位字段表示等于区域中的子区域的数目减I的值。当number_of_subregions_minus_l=0时，区域包括具有与区域相同的尺度的一个子区域。
当number_of_subregions_minus_l>0时，区域包括沿着水平方向划分的多个子区域。在图40的“for”循环中，包括与子区域的数目相对应的“subregion_horizontal_position，，和“subregion_width，，的信息。“subregion_horizontal_position，，的 16 位字段表示子区域的左边的像素位置。“subregion_Width”用像素的数目表示子区域的水平宽度。
“subregion_disparity_shift_integer_part” 的 8 位字段表不以区域为单位(以子区域为单位)的固定视差信息，即，在字幕显示时段中公用的视差信息的整数部分。“subregion_disparity_shift_fractional_part”的4位字段表不以区域为单位(以子区域为单位)的固定视差信息，即，在字幕显示时段中公用的视差信息的分数部分。当上述的“disparity_shift_update_sequence_region_flag” 的标志是 “I” 时，进行 “disparity—shift_update_sequence () ”(参见图 41)的读取。
图46图示了在机顶盒200和电视接收器300是3D兼容设备的情况下广播接收的概念。在广播站100中，在区域RegionO中定义子区域SR00，并设置视差信息Disparityl。这里，假设区域RegionO和子区域SR00是相同区域。与立体图像数据一起，从广播站100发送字幕数据和显示控制信息(视差信息Disparityl和子区域的区域信息Position)。
首先，对作为3D兼容设备的机顶盒200的接收情况加以描述。在这种情况下，在第一种类型中，机顶盒200从2D流中读取构成字幕数据的各自段数据，从3D扩展流中读取包括像视差信息那样的显示控制信息的DSS段数据，并使用读取的数据。此外，在第二种类型中，机顶盒200从3D流中读取构成字幕数据的各自段数据和包括像视差信息那样的显示控制信息的DSS段数据，并使用读取的数据。
机顶盒200根据字幕数据生成显示字幕的区域显示数据。机顶盒200通过将区域显示数据叠加在构成立体图像数据的左眼图像帧(frameO)和右眼图像帧(framel)上获取输出立体图像数据。这里，机顶盒200根据视差信息偏移各自叠加显示数据的位置。此外，机顶盒200按照立体图像数据的发送格式(并排方案、顶底方案、帧顺序方案、或每个视图具有全屏幕大小的格式方案)适当地改变叠加位置、大小等。
机顶盒200通过，例如，HDMI数字接口将如上所述获得的输出立体图像数据发送给3D兼容电视接收器300。电视接收器300对从机顶盒200接收的立体图像数据进行3D信号处理，生成将字幕叠加在上面的左眼图像数据和右眼图像数据。电视接收器300将双眼视差图像(左眼图像和右眼图像)显示在像IXD那样的显示面板上，使用户可以识别立体图像。
接着，对作为3D兼容设备的电视接收器300的接通情况加以描述。在这种情况下，在第一种类型中，电视接收器300从2D流中读取构成字幕数据的各自段数据，从3D扩展流中读取包括像视差信息那样的显示控制信息的DSS段数据，并使用读取的数据。此外，在第二种类型中，电视接收器300从3D流中读取构成字幕数据的各自段数据和包括像视差信息那样的显示控制信息的DSS段数据，并使用读取的数据。
电视接收器300根据字幕数据生成显示字幕的区域显示数据。电视接收器300将区域显示数据叠加在按照发送格式对立体图像数据进行处理获得的左眼图像数据和右眼图像数据上，生成将字幕叠加在上面的左眼图像数据和右眼图像数据。电视接收器300将双眼视差图像(左眼图像和右眼图像)显示在像IXD那样的显示面板上，使用户可以识别立体图像。
图47图示了在机顶盒200和电视接收器300是传统2D兼容设备的情况下广播接收的概念。在这种情况下，在广播站100中，在区域RegionO中定义子区域SR00，并设置视差信息Disparityl。这里，假设区域RegionO和子区域SROO是相同区域。与立体图像数据一起，从广播站100发送字幕数据和显示控制信息(视差信息Disparityl和子区域的区域信息 Position)。
接下来，对作为传统2D兼容设备的机顶盒200的接收情况加以描述。在这种情况下，在第一种类型和第二种类型的任一种中，机顶盒200从2D流中读取构成字幕数据的各自段数据，并使用读取的数据。也就是说，由于未进行包括像视差信息那样的显示控制信息的DSS段的读取，所以可以防止接收处理被该读取中断。
机顶盒200根据字幕数据生成显示字幕的区域显示数据。机顶盒200通过将区域显示数据叠加在按照发送格式对立体图像数据进行处理获得的2D图像数据上获取输出2D图像数据。
机顶盒200通过，例如，HDMI数字接口将如上所述获得的输出2D图像数据发送给电视接收器300。电视接收器300按照从机顶盒200接收的2D图像数据显示2D图像。
接着，对作为2D兼容设备的电视接收器300的接通情况加以描述。在这种情况下，在第一种类型和第二种类型的任一种中，电视接收器300从2D流中读取构成字幕数据的各自段数据，并使用读取的数据。也就是说，由于未进行包括像视差信息那样的显示控制信息的DSS段的读取，所以可以防止接收处理被该读取中断。
电视接收器300根据字幕数据生成显示字幕的区域显示数据。电视接收器300通过将区域显示数据叠加在按照发送格式对立体图像数据进行处理获得的2D图像数据上获取输出2D图像数据。电视接收器300按照2D图像数据显示2D图像。
在图示在图2中的发送数据生成单元110中，通过多路复用器126，将插入了包括像视差信息那样的显示控制信息的DSS段的3D扩展流或3D流的PES分组多路复用到传输流TS中。这里，将PES分组多路复用成PES分组比显示时间戳(PTS)的定时早预定时段到达接收方的解码器缓冲器。因此，接收方可以通过针对显示时间戳的定时及时进行解码等获取视差信息。也就是说，可以有效地进行包括像视差信息那样的显示控制信息的PES分组的发送。
此外，在图示在图2中的发送数据生成单元110中，通过多路复用器126，将解码时间戳DTS编码在插入了包括像视差信息那样的显示控制信息的DSS段的3D扩展流或3D流的PES分组中。在这种情况下，将解码时间戳DTS的定时设置成比包括在PES分组中的显示时间戳PTS的定时早。也就是说，在接收方，将DTS的定时设置成针对使用它的定时及时进行从PES分组中的显示控制信息获取。因此，在接收方，可以针对显示时间戳PTS的定时及时可靠地开始解码。
在图示在图2中的发送数据生成单元110中，作为多路复用数据流从多路复用器126输出的传输流包括两种专用数据流。也就是说，在第一种类型中包括2D流和3D扩展流，在第二种类型中包括2D流和3D流(参见图11和12)。
因此，在接收方的传统2D兼容接收装置中，可以通过从2D流中只读取构成字幕数据的各自段进行接收处理。也就是说，在2D兼容接收装置中，由于无需从3D扩展流或3D流中读取DSS段，所以可以防止接收处理被该读取中断。
此外，在接收方的3D兼容接收装置中，可以从3D扩展流或3D流中读取DSS段和相应显示控制信息(包括视差信息和子区域的区域信息)，以便可以依照立体图像的显示内容进行左眼图像和右眼图像的字幕(字幕)的视差调整。
此外，在图示在图2中的发送数据生成单元110中，由于可以发送包括在字幕显示时段中依次更新的视差信息的DSS段，所以可以动态地控制左眼字幕和右眼字幕的显示位置。于是，在接收方，可以依照图像内容的变化动态地改变在左眼字幕与右眼字幕之间形成的视差。
此外，在图示在图2中的发送数据生成单元110中，包括在字幕编码器125获取的DSS段中的每个更新巾贞间隔的巾贞的视差/[目息不是相对于如视差/[目息的偏移值，而是视差/[目息本身。因此，在接收方，即使在内插处理中出现错误，也可以在预定延迟时间内进行错误纠正。
[机顶盒的描述]
返回到图1，机顶盒200接收在广播电波上从广播站100发送的传输流TS。传输流TS包括音频数据和包括左眼图像数据和右眼图像数据的立体图像数据。此外，传输流TS进一步包括显示字幕(字幕)的立体图像的字幕数据(包括显示控制信息)。
也就是说，传输流TS包括作为PES流的视频数据流、音频数据流、和第一和第二专用数据流。如上所述，在第一种类型的情况下，第一和第二专用数据流分别是2D流和3D扩展流(参见图11)。此外，在第二种类型的情况下，第一和第二专用数据流分别是2D流和3D流(参见图12)。
机顶盒200包括位流处理单元201。当机顶盒200是3D兼容设备(3D STB)时，位流处理单元201从传输流TS中获取立体图像数据、音频数据、和字幕数据(包括显示控制信息)。
在这种情况下，在第一种类型中，位流处理单元201从2D流中获取构成字幕数据的各自段数据，从3D扩展流中获取包括像视差信息那样的显示控制信息的DSS段数据。此夕卜，在第二种类型中，位流处理单元201从3D流中获取构成字幕数据的各自段数据、和包括像视差信息那样的显示控制信息的DSS段数据。
位流处理单元201使用立体图像数据和字幕数据(包括显示控制信息)生成将字幕叠加在左眼图像帧(frameO)部分和右眼图像帧(frameO)部分上的输出立体图像数据(参见图46)。在这种情况下，可以在叠加在左眼图像上的字幕(左眼字幕)与叠加在右眼图像上的字幕(右眼字幕)之间形成视差。
例如，如上所述，为从广播站100接收的立体图像加入字幕数据中的显示控制信息包括视差信息，并且可以根据视差信息在左眼字幕与右眼字幕之间形成视差。这样，由于在左眼字幕与右眼字幕之间形成视差，所以用户可以在图像的前面识别字幕(字幕)。
图48(a)图示了在图像上显示字幕(字幕)的示例。在该显示示例中，将字幕叠加在包括背景和近景物体的图像上。图48(b)图示了表达背景、近景物体和字幕的透视和在最前面位置上识别字幕。
图49(a)图示了像图48 (a)那样在图像上显示字幕(字幕)的示例。图49 (b)图示了叠加在左眼图像上的左眼字幕LGI和叠加在右眼图像上的右眼字幕RGI。图49(c)图示了在左眼字幕LGI与右眼字幕RGI之间形成视差，以便在最前面位置上识别字幕。
此外，当机顶盒200是传统2D兼容设备(2D STB)时，位流处理单元201从传输流TS中获取立体图像数据、音频数据、和字幕数据(不包括显示控制信息的位图模式数据)。位流处理单元201使用立体图像数据和字幕数据生成将字幕叠加在上面的2D图像数据(参见图 47)。
在这种情况下，在第一种类型和第二种类型的任一种中，位流处理单元201从2D流中获取构成字幕数据的各自段数据。也就是说，在这种情况下，由于未从3D扩展流或3D流中读取DSS段，所以可以防止接收处理被该读取中断。
[机顶盒的配置的示例]
下面将描述机顶盒的配置的示例。图50图示了机顶盒200的配置的示例。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206、和音频信号处理电路207。此外，机顶盒200包括CPU211、闪速R0M212、DRAM213、内部总线214、遥控接收单元(RC接收单元)215、和遥控发射器(RC发射器)216。
天线端子203是配置成输入通过接收天线(未示出)接收的电视广播信号的端子。数字调谐器204处理输入天线端子203中的电视广播信号，并输出与用户选择的频道相对应的传输流TS (位流数据)。
根据传输流TS，位流处理单元201输出音频数据并叠加了字幕的立体图像数据。当机顶盒是3D兼容设备(3D STB)时，位流处理单元201从传输流TS中获取立体图像数据、音频数据、和字幕数据(包括显示控制信息)。
位流处理单元201通过将字幕叠加在构成立体图像数据的左眼图像帧(frameO)部分和右眼图像帧(frameO)部分上生成输出立体图像数据(参见图46)。这里，根据视差信息，在叠加在左眼图像上的字幕(左眼字幕)与叠加在右眼图像上的字幕(右眼字幕)之间形成视差。
也就是说，位流处理单元201根据字幕数据生成显示字幕的区域显示数据。位流处理单元通过将区域显示数据叠加在构成立体图像数据的左眼图像帧(frameO)部分和右眼图像帧(frameO)部分上获取输出立体图像数据。这里，位流处理单元201根据视差信息偏移各自叠加显示数据的位置。
此外，当机顶盒200是2D兼容设备(2D STB)时，位流处理单元201获取立体图像数据、音频数据、和字幕数据(不包括显示控制信息)。位流处理单元201使用立体图像数据和字幕数据生成叠加了字幕的2D图像数据(参见图47)。
也就是说，位流处理单元201根据字幕数据生成显示字幕的区域显示数据。位流处理单元201通过将区域显示数据叠加在按照发送方案对立体图像数据进行处理获得的2D图像数据上获取输出2D图像数据。
视频信号处理电路205如有必要，对位流处理单元201获得的图像数据进行图像质量调整处理，并将处理后的图像数据供应给HDMI发送单元206。音频信号处理电路207如有必要，对从位流处理单元201输出的音频数据进行声音质量调整处理，并将处理后的音频数据供应给HDMI。
HDMI发送单元206通过基于HDMI的通信将，例如，未压缩的图像数据和音频数据发送给HDMI端子202。在这种情况下，当在HDMI TMDS信道上发送时，将图像数据和音频数据打包并从HDMI发送单元206输出到HDMI端子202。
CPU211控制机顶盒200的每个单元的操作。闪速ROM212存储控制软件和数据。DRAM213构成CPU211的工作区。CPU211将从闪速ROM212读取的软件或数据部署在DRAM213上，并激活软件以控制机顶盒200的每个单元。
RC接收单元251接收从RC发射器216发射的遥控信号(遥控代码)，并将接收的遥控信号供应给CPU211。CPU211根据遥控代码控制机顶盒200的每个单元。CPU211、闪速ROM212、和DRAM213都与内部总线214连接。
下面简要描述机顶盒200的操作。将输入天线端子203的电视广播信号供应给数字调谐器204。数字调谐器204处理电视广播信号并输出与用户选择的频道相对应的传输流TS (位流数据)。
将从数字调谐器204输出的传输流TS (位流数据)供应给位流处理单元201。位流处理单元201按如下生成输出到电视接收器300的输出图像数据。
当机顶盒200是3D兼容设备(3D STB)时，从传输流TS中获取立体图像数据、音频数据、和字幕数据(包括显示控制信息)。位流处理单元201通过将字幕叠加在构成立体图像数据的左眼图像帧(frameO)部分和右眼图像帧(framel)部分上生成输出立体图像数据。这里，根据视差信息，在叠加在左眼图像上的字幕与叠加在右眼图像上的字幕之间形成视差。
此外，当机顶盒200是2D兼容设备(2D STB)时，获取立体图像数据、音频数据、和字幕数据(不包括显示控制信息)。位流处理单元201使用立体图像数据和字幕数据生成叠加了字幕的2D图像数据。
将位流处理单元201获得的输出图像数据供应给视频信号处理电路205。如有必要，视频信号处理电路205对输出图像数据进行图像质量调整处理。将从视频信号处理电路205输出的处理后图像数据供应给HDMI发送单元206。
此外，将位流处理单元201获得的音频数据供应给音频信号处理电路207。如有必要，音频信号处理电路207对音频数据进行声音质量调整处理。将从音频信号处理电路207输出的处理后音频数据供应给HDMI发送单元206。通过HDMI TMDS信道将供应给HDMI发送单元206的图像数据和音频数据从HDMI端子202发送给HDMI电缆400。
[位流处理单元的配置的示例]
图51图示了在机顶盒200是3D兼容设备(3D STB)的情况下位流处理单元201的配置的示例。位流处理单元201具有与上述图示在图2中的发送数据生成单元110相对应的配置。位流处理单元201包括多路分用器221、视频解码器222、和音频解码器229。
此外，位流处理单元201还包括编码数据缓冲器223、字幕解码器224、像素缓冲器225、视差信息内插单元226、位置控制单元227、和视频叠加单元228。这里，编码数据缓冲器223构成解码缓冲器。
多路分用器221从传输流TS中提取视频数据流分组和音频数据流分组，并将提取的分组提供给各自解码器加以解码。另外，多路分用器221提取如下流并将提取流暂时存储在编码数据缓冲器223中。在这种情况下，多路分用器221在第一种类型中提取2D流和3D扩展流，在第二种类型中提取3D流。
在第一种类型中，CPU211与2D流和3D扩展流相关联地根据布置在PMT内部的ES环中的字幕描述符中的“composition_page_id”的值识别解码两种PES流的必要性。也就是说，当“composition_page_id”的值相等时,意味着解码两种PES流。可替代地，当“composition_page_id”的值相等并且是特殊值(预定)时，意味着解码两种PES流。
此外，在第一种类型中，也可以考虑重新定义指示解码两种PES流(2D流和3D扩展流)两者的必要性、与两种流相关联的描述符，并将该描述符布置在预定位置上。通过该描述符，CPU211识别解码两种PES流的必要性，并控制位流处理单元201。
图52图示了可以用于将2D流与3D扩展流相关联的多解码描述符的语法的示例。图53图示了该语法示例中的主要信息内容(语义)。
“descriptor_tag”的8位字段指示描述符是多解码描述符。“descriptor—length”的8位字段表示接在该字段之后的整个字节大小。
“streanucontent”的4位字段表示像视频、音频、和字幕那样的主要流的流类型。“component_type”的4位字段表示像视频、音频、和字幕那样的主要流的成分类型。“stream_content”和“component_type”是与与主要流相对应的成分描述符中的“ stream_content ” 和 “ component_type ” 相同的信息。
在这个实施例中,主要流是2D流，“stream_content”是字幕“subtitle”，“ component_type ” 是二维 “ 2D ”。
“component_tag”具有与与主要流相对应的stream_identifier描述符中的“component_tag”相同的值。于是，stream_identifier 描述符和 multi_decoding 描述符与 “component_tag” 相关联。
“multi_decoding_count”的4位字段表示与主要流相关联的目标流的数量。在这个实施例中，与作为主要流的2D流相关联的目标流是3D扩展流，“multi_decoding_count”是“ I'
“target_stream_component_type”的8位字段表示像视频、音频、和字幕那样，加入主要流中的流的流类型。“component_type”的4位字段表示目标流的成分类型。此外，“target_stream_component_tag”的8位字段具有与与目标流相对应的stream_identifier描述符中的“component_tag”相同的值。
在这个实施例中，目标流是3D扩展流，“target_stream_component_type”是三维“3D”，以及“target_stream_component_tag” 具有与 3D 扩展流的“component_tag” 相同的值。
将multi_decoding描述符布置，例如，在PMT的下面或在EIT中。图54图示了在布置多解码描述符的情况下第一种类型的传输流TS的配置的示例。
返回到图51，视频解码器222进行与上述的发送数据生成单元110的视频编码器112相反的处理。也就是说，视频解码器222从多路分用器221提取的视频分组中重构视频数据流，进行解码处理，并获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据的发送格式的示例包括并排方案、顶底方案、帧顺序方案、和每个视图占据整个屏幕大小的视频发送格式。
字幕解码器224进行与上述的发送数据生成单元110的字幕编码器125相反的处理。也就是说，字幕解码器224从存储在编码数据缓冲器223中的字幕分组中每种流分组中重构每种流，并进行解码处理。在CPU211的控制下，当将解码时间戳DTS编码到3D扩展流或3D流的PES分组中时，字幕解码器224在那个定时从编码数据缓冲器223中读取相应PES分组，并开始解码处理。
字幕解码器224获取构成字幕数据的每种分组数据，并且还获取DSS段数据。字幕解码器224根据DSS段数据获取显示控制信息(像视差信息和子区域的区域信息那样)。
根据构成字幕数据的各自段数据和子区域区域信息，字幕解码器224生成显示字幕的区域显示数据(位图数据)。这里，将透明颜色分配给处在该区域中并未被子区域包围的区域。像素缓冲器225暂时存储显示数据。
视频叠加单元228获取输出立体图像数据Vout。在这种情况下，视频叠加单元228将存储在像素缓冲器225中的显示数据叠加在视频解码器222获得的立体图像数据的左眼图像巾贞(frameO)部分和右眼图像巾贞(framel)部分上。在这种情况下，视频叠加单元228按照立体图像数据的发送方案(譬如，并排方案、顶底方案、帧顺序方案或MVC方案)适当地改变叠加位置、大小等。视频叠加单元228将输出立体图像数据Vout输出到位流处理单元201的外部。
视差信息内插单元226将字幕解码器224获得的视差信息提供给位置控制单元227。如有必要，视差信息内插单元226对要提供给位置控制单元227的视差信息进行内插处理。位置控制单元227根据视差信息偏移叠加在每个帧上的显示数据的位置(参见图46)。在这种情况下，根据视差信息，位置控制单元227通过沿着相反方向偏移叠加在左眼图像帧(frameO)部分和右眼图像帧(framel)部分上的显示数据(字幕图案数据)形成视差。
此外，显示控制信息包括在字幕显示时段中公用的视差信息。此外，显示控制信息可以包括在字幕显示时段中依次更新的视差信息。如上所述，在字幕显示时段中依次更新的视差信息包括字幕显示时段的初始帧的视差信息、和每个随后更新帧间隔的帧的视差信肩、O
关于在字幕显示时段中公用的视差信息，位置控制单元227不变地使用视差信息。另一方面，关于在字幕显示时段中依次更新的视差信息，如有必要，位置控制单元227使用通过视差信息内插单元226内插的视差信息。例如，视差信息内插单元226生成字幕显示时段中的任意帧间隔的视差信息，例如，I帧间隔的视差信息。
作为内插处理，例如，视差信息内插单元226沿着时间方向(帧方向)不是进行线性内插处理而是伴随着低通滤波(LPF)处理的内插处理。于是，内插处理之后沿着时间方向(帧方向)预定帧间隔的视差信息的变化变成平滑的。
此外，音频解码器229进行与上述的发送数据生成单元110的音频编码器113相反的处理。也就是说，音频解码器229从多路分用器221提取的音频分组中重构音频基本流，进行解码处理，并获得输出音频数据Aout。音频解码器229将输出音频数据Aout输出到位流处理单元201的外部。
下面简要描述图示在图51中的位流处理单元201的操作。将从数字调谐器204(参见图50)输出传输流TS供应给多路分用器221。多路分用器221从传输流TS中提取视频数据流分组和音频数据流分组，并将提取的分组供应给各自解码器。此外，由多路分用器221提取2D流分组和3D扩展流分组或3D流分组，并将提取的分组暂时存储在编码数据缓冲器223中。
视频解码器222从多路分用器221提取的视频数据分组中重构视频数据流，进行解码处理，并获取包括左眼图像数据和右眼图像数据的立体图像数据。将立体图像数据供应给视频叠加单元228。
字幕解码器224从编码数据缓冲器223中读取2D流分组和3D扩展流分组或3D流分组，并解码读取的分组。根据构成字幕数据的各自段数据和子区域区域信息，字幕解码器224生成显示字幕的区域显示数据(位图数据)。
将显示数据暂时存储在像素缓冲器225中。这里，当将DTS编码到3D扩展流或3D流的PES分组中时，字幕解码器224在那个定时从编码数据缓冲器223中读取相应PES分组，并开始解码处理。
视频叠加单元228将存储在像素缓冲器225中的显示数据叠加在视频解码器222获得的立体图像数据的左眼图像帧(frameO)部分和右眼图像帧(framel)部分上。在这种情况下，按照立体图像数据的发送方案(譬如，并排方案、顶底方案、帧顺序方案或MVC方案)适当地改变叠加位置、大小等。将视频叠加单元228输出的输出立体图像数据Vout输出到位流处理单元201的外部。
此外，通过视差信息内插单元226将字幕解码器224获得的视差信息提供给位置控制单元227。如有必要，视差信息内插单元226进行内插处理。例如，关于在字幕显示时段中依次更新的几个帧间隔上的视差信息，如有必要，由视差信息内插单元226进行内插处理，生成任意帧间隔，例如，I帧间隔的视差信息。
根据视差信息，位置控制单元227偏移视频叠加单元228叠加在左眼图像帧(frameO)部分和右眼图像帧(framel)部分上的显示数据(字幕图案数据)，以便它们处在相反方向。于是，在显示在左眼图像上的左眼字幕与显示在右眼图像上的右眼字幕之间形成视差。于是，按照立体图像的内容实现了字幕(字幕)的3D显示。
此外，音频解码器229从多路分用器221提取的音频分组中重构音频基本流，进行解码处理，并获取与用于显示的上述立体图像数据Vout相对应的音频数据Aout。将音频数据Aout输出到位流处理单元201的外部。
图55图示了在机顶盒200是2D兼容设备(2D STB)的情况下位流处理单元201的配置的示例。在图55中，与图51的那些相对应的单元用相同标号表示，并省略对它们的详细描述。在下文中，为了便于描述起见，将图示在图51中的位流处理单元201称为3D兼容位流处理单元201，将图示在图55中的位流处理单元201称为2D兼容位流处理单元201。
在图示在图51中的3D兼容位流处理单元201中，视频解码器222从多路分用器221提取的视频分组中重构视频数据流，进行解码处理，并获取包括左眼图像数据和右眼图像数据的立体图像数据。在图示在图55中的2D兼容位流处理单元201中，视频解码器222获取立体图像数据，截取左眼图像数据或右眼图像数据，并且如有必要，进行缩放处理，以获取2D图像数据。
此外，在图示在图51中的3D兼容位流处理单元201中，多路分用器221如上所述，在第一种类型中提取2D流分组和3D扩展流，在第二种类型中提取3D流分组，并通过编码数据缓冲器223将提取的流分组提供给字幕解码器224。另一方面，在图示在图55中的2D兼容位流处理单元201中，多路分用器201在第一种类型和第二种类型的任一种中只提取2D流分组，并通过编码数据缓冲器223将提取的流分组提供给字幕解码器224。
此外，在图示在图51中的3D兼容位流处理单元201中，字幕解码器224如上所述，例如，从2D流中获取构成字幕数据的各自段数据，并从3D扩展流中获取DSS段数据。可替代地，字幕解码器224从3D流中获取构成字幕数据的各自段数据，并且还获取DSS段数据。
另一方面，在图示在图55中的2D兼容位流处理单元201中，字幕解码器224从2D流只获取构成字幕数据的各自段数据。根据各自段数据和子区域区域信息，字幕解码器224生成显示字幕的区域显示数据(位图数据)，并将生成的数据暂时存储在像素缓冲器225中。在这种情况下，字幕解码器224不读取DSS段数据。因此，可以防止接收处理被该读取中断。
此外，在图示在图51中的3D兼容位流处理单元201中，视频叠加单元228获取输出立体图像数据Vout，并将输出立体图像数据Vout输出到位流处理单元201的外部。在这种情况下，视频叠加单元228通过将存储在像素缓冲器225中的显示数据叠加在视频解码器222获取的立体图像数据的左眼图像帧(frameO)部分和右眼图像帧(framel)部分上获取输出立体图像数据Vout。根据视差信息，位置控制单元227沿着相反方向偏移显示数据，并且在显示在左眼图像上的左眼字幕与显示在右眼图像上的右眼字幕之间形成视差。
另一方面，在图示在图55中的2D兼容位流处理单元201中，视频叠加单元228通过将存储在像素缓冲器225中的显示数据叠加在视频解码器222获取的2D图像数据上获取输出2D图像数据。视频叠加单元228将输出2D图像数据Vout输出到位流处理单元201的外部。
下面将简要描述图示在图55中的2D位流处理单元201的操作。此外，由于音频系统的操作与图示在图51中的3D位流处理单元201的操作相同，所以省略对它的描述。
将从数字调谐器204 (参见图50)输出的传输流TS供应给多路分用器221。多路分用器221从传输流TS中提取视频数据流分组和音频数据流分组，并将提取的分组供应给各自解码器。此外，由多路分用器221提取2D流分组，并将提取的分组暂时存储在编码数据缓冲器223中。
视频解码器222从多路分用器221提取的视频数据分组中重构视频数据流，进行解码处理，并获取包括左眼图像数据和右眼图像数据的立体图像数据。视频解码器222从立体图像数据中截取左眼图像数据或右眼图像数据，并且如有必要，进行缩放处理，以获取2D图像数据。将2D图像数据供应给视频叠加单元228。
此外，字幕解码器224从编码数据缓冲器223中读取2D流并解码它。根据构成字幕数据的各自段数据，字幕解码器224生成显示字幕的区域显示数据(位图数据)。将显示数据暂时存储在像素缓冲器225中。
视频叠加单元228通过将字幕的显示数据(位图数据)叠加在视频解码器222获取的2D图像数据上获取输出2D图像数据Vout。将输出2D图像数据Vout输出到位流处理单元201的外部。
在图示在图50中的机顶盒200中，除了立体图像数据和字幕数据之外，从数字调谐器204输出的传输流TS还包括显示控制信息。显示控制信息包括像视差信息和子区域的区域信息那样的显示控制信息。因此，可以将视差提供给左眼字幕和右眼字幕的显示位置。于是，在字幕(字幕)的显示中，可以以最佳状态保持图像中各自物体之间的透视的一致性。
此外，在图示在图50中的机顶盒200中，当3D兼容位流处理单元201 (参见图51)的字幕解码器224获得的显示控制信息包括在字幕显示时段中依次更新的视差信息时，可以动态地控制左眼字幕和右眼字幕的显示位置。于是，可以结合图像内容的变化动态地改变在左眼字幕和右眼字幕之间形成的视差。
此外，在图示在图50中的机顶盒200中，3D位流处理单元201 (参见图51)的视差信息内插单元226对构成在字幕显示时段(预定个帧的时段)中依次更新的视差信息的多个帧的视差信息进行内插处理。在这种情况下，即使在更新帧的间隔上从发送方发送视差信息，也可以在细小间隔上，例如，每个帧地控制在左眼字幕和右眼字幕之间形成的视差。
此外，在图示在图50中的机顶盒200中，3D位流处理单元201 (参见图51)的视差信息内插单元226中的内插处理可能伴随着,例如,沿着时间方向(巾贞方向)的低通滤波处理。因此，即使在更新帧的间隔上从发送方发送视差信息，也可以使内插处理之后沿着时间方向的视差信息的变化变成平滑的。于是，可以抑制当每个帧间隔在左眼字幕和右眼字幕之间形成的视差的偏移变成不连续时可能引起的不舒服感。
另外，尽管上面未描述，但当机顶盒200是3D兼容设备时，用户可以选择2D显示模式或3D显示模式。在这种情况下，当选择3D显示模式时，位流处理单元201可以具有与上述的3D兼容位流处理单元201 (参见图51)相同的配置和功能。另一方面，当选择2D显示模式时，位流处理单元201可以具有与上述的2D兼容位流处理单元201 (参见图55)几乎相同的配置和功能。
[电视接收器的描述]
返回到图1，当是3D兼容设备时，电视接收器300通过HDMI电缆400接收从机顶盒200发送的立体图像数据。电视接收器300包括3D信号处理单元301。3D信号处理单元301对立体图像数据进行与发送格式相对应的处理(解码处理)，生成左眼图像数据和右眼图像数据。
[电视接收器的配置的示例]
下面将描述3D兼容电视接收器300的配置的示例。图56图示了电视接收器300的配置的示例。电视接收器300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305、和位流处理单元306。
此外，电视接收器300还包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311、和扬声器312。此外，电视接收器300还包括CPU321、闪速R0M322、DRAM323、内部总线324、遥控接收单元(RC接收单元)325、和遥控发射器(RC发射器)326。
天线端子304是配置成输入通过接收天线(未图示)接收的电视广播信号的端子。数字调谐器305处理输入天线端子304中的电视广播信号，并输出与用户选择的频道相对应的传输流TS (位流数据)。
根据传输流TS，位流处理单元306输出音频数据和叠加了字幕的输出立体图像数据。尽管未详细描述，但，例如，位流处理单元201具有与上述的机顶盒200的3D兼容位流处理单元201 (参见图51)相同的配置。关于立体图像数据，位流处理单元306合成左眼字幕和右眼字幕的显示数据，生成和输出与字幕叠加的输出立体图像数据。
此外，例如，当立体图像数据的发送方案是并排方案、顶底方案等时，位流处理单元306进行缩放处理，以输出全分辨率左眼图像数据和右眼图像数据。此外，位流处理单元306输出与图像数据相对应的音频数据。
HDMI接收单元303通过基于HDMI的通信接收通过HDMI电缆400供应给HDMI端子302的未压缩图像数据和音频数据。HDMI接收单元303具有，例如，HDMI1.4a的版本，因此可以处理立体图像数据。
3D信号处理单元301对通过HDMI接收单元303接收的立体图像数据进行解码处理，生成全分辨率左眼图像数据和右眼图像数据。3D信号处理单元301进行与TMDS发送数据格式相对应的解码处理。此外，3D信号处理单元301不对位流处理单元306获得的全分辨率左眼图像数据和右眼图像数据进行任何处理。
视频/图形处理电路307根据3D信号处理单元301生成的左眼图像数据和右眼图像数据，生成显示立体图像的图像数据。此外，如有必要，视频/图形处理电路307对图像数据进行图像质量调整处理。
此外，关于图像数据，如有必要，视频/图形处理电路307合成像菜单或节目那样的叠加信息。面板驱动电路308根据从视频/图形处理电路307输出的图像数据驱动显示面板309。显示面板309包括,例如，IXD (液晶显示器)、Η)Ρ (等离子显示面板)等。
音频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获取的音频数据进行像D/A转换那样的必要处理。音频放大电路311放大从音频信号处理电路310输出的音频信号，并将放大的音频信号供应给扬声器312。
CPU321控制电视接收器300的每个单元的操作。闪速R0M322存储控制软件和数据。DRAM323构成CPU321的工作区。CPU321将从闪速R0M322读取的软件或数据部署在DRAM323上，并激活软件以控制电视接收器300的每个单元。
RC接收单元325接收从RC发射器326发射的遥控信号(遥控代码)，并将接收的遥控信号供应给CPU321。CPU321根据遥控代码控制电视接收器300的每个单元。CPU321、闪速R0M322、和DRAM323都与内部总线324连接。
下面简要描述图示在图56中的电视接收器300的操作。HDMI接收单元303接收从通过HDMI电缆400与HDMI端子302连接的机顶盒200发送的立体图像数据和音频数据。将HDMI接收单元303接收的立体图像数据供应给3D信号处理单元301。此外，将HDMI接收单元303接收的音频数据供应给音频信号处理电路310。
将输入天线端子304中的电视广播信号供应的数字调谐器305。数字调谐器305处理电视广播信号并输出与用户选择的频道相对应的传输流TS (位流数据)。将传输流TS供应给位流处理单元306。
根据视频数据流、音频数据流、2D流、3D扩展流、和3D流，位流处理单元306获取音频数据和与字幕叠加的输出立体图像数据。在这种情况下，关于立体图像数据，合成左眼字幕和右眼字幕的显示数据，以生成与字幕叠加的输出立体图像数据(全分辨率左眼图像数据和右眼图像数据)。将输出立体图像数据通过3D信号处理单元301供应给视频/图形处理电路307。
3D信号处理单元301对HDMI接收单元303接收的立体图像数据进行解码处理，生成全分辨率左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据供应给视频/图形处理电路307。视频/图形处理电路307根据左眼图像数据和右眼图像数据生成显示立体图像的图像数据，并且如有必要，还进行像图像质量调整处理那样的叠加信息数据合成处理和OSD (屏幕显示)处理。
将视频/图形处理电路307获得的图像数据供应给面板驱动电路308。因此，由显示面板309显示立体图像。例如，显示面板309以时分方式交替地显示与左眼图像数据相对应的左眼图像和与右眼图像数据相对应的右眼图像。通过戴着，例如，具有与显示面板309的显示同步地交替打开的左眼快门和右眼快门的快门眼镜，观看可以只用左眼观看左眼图像和只用右眼观看右眼图像，因此识别立体图像。
此外，将位流处理单元306获得的音频数据供应给音频信号处理电路310。音频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获取的音频数据进行像D/A转换那样的必要处理。由音频放大电路311放大音频数据,并将放大的音频数据供应给扬声器312。因此，从扬声器312输出与显示面板309的显示图像相对应的声音。
另外，图56图示了如上所述的3D兼容电视接收器300。尽管未详细描述，但传统2D兼容电视接收器具有几乎相同的配置。但是，在传统2D兼容电视接收器的情况下，位流处理单元306具有与上面图示在图51中的2D兼容位流处理单元201相同的配置和操作。此外，在传统2D兼容电视接收器的情况下，3D信号处理单元301是多余的。
此外，在3D兼容电视接收器300的情况下，用户可以选择2D显示模式或3D显示模式。在这种情况下，当选择3D显示模式时，位流处理单元306具有与如上所述相同的配置和功能。另一方面，当选择2D显示模式时，位流处理单元306具有与上面图示在图55中的2D兼容位流处理单元201相同的配置和功能。
<2.修改例 >
另外，图50图示了配有与数字调谐器204连接的天线输入端子203的机顶盒200。但是，也可以以相同方式配置接收通过电缆发送的RF信号的机顶盒。在这种情况下，提供电缆端子来取代天线端子203。
此外，也可以以相同方式配置直接或通过路由器与互联网和家用网络连接的机顶盒。在这种情况下，直接或通过路由器将上述传输流TS从互联网和家用网络发送到机顶盒。
图57图示了在那种情况下机顶盒200A的配置的示例。在图57中，与图50的那些相对应的单元用相同标号表示。机顶盒200A包括与网络接口 209连接的网络端子208。从网络接口 209输出传输流TS，然后将其供应给位流处理单元201。尽管未详细描述，但机顶盒200A的其他单元具有与图示在图50中的机顶盒200的相应单元相同的配置和操作。
此外，图56图示了配有与数字调谐器204连接的天线输入端子304的电视接收器300。但是，也可以以相同方式配置接收通过电缆发送的RF信号的电视接收器。在这种情况下，提供电缆端子来取代天线端子304。
此外，也可以以相同方式配置直接或通过路由器与互联网和家用网络连接的电视接收器。在这种情况下，直接或通过路由器将上述传输流TS从互联网和家用网络发送到电视接收器。
图58图示了在那种情况下电视接收器300A的配置的示例。在图58中，与图56的那些相对应的单元用相同标号表示。电视接收器300A包括与网络接口 314连接的网络端子313。从网络接口 314输出传输流TS，然后将其供应给位流处理单元306。尽管未详细描述，但电视接收器300A的其他单元具有与图示在图56中的电视接收器300的相应单元相同的配置和操作。
此外，在上述实施例中，图像发送/接收系统10被图示成包括广播站100、机顶盒200、和电视接收器300。但是，如图56所图示，电视接收器300还包括以与机顶盒200中的位流处理单元201相同的方式起作用的位流处理单元306。因此，如图59所图示，可以将图像发送/接收系统10设计成包括广播站100和电视接收器300。
此外，在上述实施例中，机顶盒200和电视接收器300被图示成通过HDMI数字接口连接。但是，即使机顶盒200和电视接收器300通过与HDMI数字接口等效的任何其他数字接口(包括无线接口以及有线接口)连接，也可以类似地应用本技术。
此外，在上述实施例中，将字幕(字幕)当作叠加信息。但是，即使将像图形信息和文本信息那样的其他类型信息当作叠加信息，以及即使与音频流相关地处理划分成基本流和附加流和编码成以相关方式输出的那些流，也可以类似地应用本技术。
此外，本技术可以具有如下配置。
(I) 一种发送装置，其包括:
图像数据输出单元，配置为输出用于显示立体图像的左眼图像数据和右眼图像数据；
叠加信息数据输出单元，配置为输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据；
视差信息输出单元，配置为通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，输出用于提供视差的视差信息；以及
数据发送单元，配置为生成和发送传输流，所述传输流是通过多路复用包括从所述图像数据输出单元输出的图像数据的视频数据流的PES分组、包括从所述叠加信息数据输出单元输出的叠加信息数据的第一专用数据流的PES分组、和包括从所述视差信息输出单元输出的视差信息的第二专用数据流的PES分组获得的，
其中所述数据发送单元多路复用所述第二专用数据流的PES分组，以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。
(2)按照(I)所述的发送装置，其中所述预定时段至少包括通过解码第二专用数据流的PES分组获取视差信息所需的时段。
( 3 )按照(I)所述的发送装置，其中
所述传输流包括相对于第一专用数据流的一个PES分组的第二专用数据流的一个PES分组，以及
包括在第二专用数据流的PES分组中的视差信息是在显示通过包括在第一专用数据流的PES分组中的叠加信息数据的叠加信息的时段内依次更新的视差信息，并且包括在第二专用数据流的PES分组中的视差信息包括初始帧的视差信息以及用于每个随后更新帧间隔的帧的视差信息。
( 4 )按照(I)所述的发送装置，其中
所述传输流包括相对于第一专用数据流的一个PES分组的第二专用数据流的多个PES分组，以及
包括在第二专用数据流的多个PES分组中的视差信息是在显示通过包括在第一专用数据流的PES分组中的叠加信息数据的叠加信息的时段内依次更新的一条或多条视差/[目息。
(5)按照(4)所述的发送装置，其中当第二专用数据流的PES分组包括多条视差信息时，所述多条视差信息包括与包括在下一个PES分组中的初始巾贞的视差信息相同的巾贞的视差息。
(6)按照(4)所述的发送装置，其中当第二专用数据流的PES分组包括一条视差信息时，所述数据发送单元在第二个之后多路复用第二专用数据流的PES分组，以便第二专用数据流的PES分组在包括在前一 PES分组中的显示时间戳的定时的下一个内插帧之前到达接收方的解码缓冲器。
(7)按照(I)至(6)的任何一项所述的发送装置，其中设置所述数据发送单元，使得包括在第二专用数据流中的PES分组的解码时间戳的定时比包括在该PES分组中的显示时间戳的定时早预定时段。
(8)按照(I)至(7)的任何一项所述的发送装置，其中第一专用数据流的PES分组和第二专用数据流的PES分组包括用于同步通过叠加信息数据的显示与通过视差信息的视差的同步信息。
(9)按照(I)至(8)的任何一项所述的发送装置，其中所述传输流以插入方式包括用于将第一专用数据流的PES分组与第二专用数据流的PES分组相关联的关联信息。
(10)按照(I)至(9)的任何一项所述的发送装置，其中
所述叠加信息数据是DVB字幕数据，以及
所述视差信息是以区域或包括在区域中的子区域为单位的视差信息，或以包括所有区域的页面为单位的视差信息。
(11)按照(I)至(10)的任何一项所述的发送装置，其中第二专用数据流的PES分组包括视差信息和叠加信息数据两者。
(12) 一种发送方法，其包括以下步骤:
输出用于显示立体图像的左眼图像数据和右眼图像数据；
输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据；
通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，输出用于提供视差的视差信息；以及
生成和发送传输流，所述传输流是通过多路复用包括在所述图像数据输出步骤中输出的图像数据的视频数据流的PES分组、包括在所述叠加信息数据输出步骤中输出的叠加信息数据的第一专用数据流的PES分组、和包括在所述视差信息输出步骤中输出的视差信息的第二专用数据流的PES分组获得的，
其中所述数据发送步骤多路复用所述第二专用数据流的PES分组，以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。
(13) 一种接收装置，其包括:
数据接收单元，配置为接收传输流，所述传输流是通过多路复用包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流的PES分组、包括要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据的第一专用数据流的PES分组、和包括通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息提供视差的视差信息的第二专用数据流的PES数据获得的，多路复用第二专用数据流的PES分组，使得PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器；
图像数据获取单元，配置为通过对从由所述数据接收单元接收的传输流提取的视频数据流的PES分组进行解码处理，获取图像数据；
解码缓冲器，配置为临时存储从由所述数据接收单元接收的传输流提取的第一专用数据流的PES分组和第二专用数据流的PES分组；
叠加信息数据获取单元，配置为通过从所述解码缓冲器读取第一专用数据流的PES分组并对读取的PES分组进行解码处理，获取叠加信息数据；
视差信息获取单元，配置为通过从所述解码缓冲器读取第二专用数据流的PES分组并对读取的PES分组进行解码处理，获取视差信息；以及
图像数据处理单元，配置为通过使用由所述图像数据获取单元获取的图像数据、由所述叠加信息数据获取单元获取的叠加信息数据、和由所述视差信息获取单元获取的视差信息，将视差提供给叠加在左眼图像和右眼图像上的相同叠加信息，并获取叠加了叠加信息的左眼图像的数据和叠加了叠加信息的右眼图像的数据。
( 14)按照(13)所述的接收装置，进一步包含视差信息内插单元，配置为通过对由所述视差信息获取单元获取和在显示叠加信息的预定数目的帧的时段内依次更新的视差信息进行内插处理，生成在预定数目的帧的时段内的任何帧间隔的视差信息，
其中所述图像数据处理单元使用由所述视差信息内插单元生成的任何帧间隔的视差息O
(15)按照(13)或(14)所述的接收装置，其中
将包括在第二专用数据流的PES分组中的解码时间戳的定时设置成比包括在该PES分组中的显示时间戳的定时早预定时段，以及
所述视差信息获取单元通过在包括在第二专用数据流的PES分组中的解码时间戳的定时，从解码缓冲器读取第二专用数据流的PES分组，进行解码处理。
标号列表
10，IOA图像发送/接收系统
100广播站
111L，11 IR相机
112视频成帧单元
113视差矢量检测单元
114麦克风
115数据提取单元
115a数据记录介质
116-118切换开关
119视频编码器
120音频编码器
121字幕生成单元
122视差信息创建单元
123字幕处理单元
125字幕编码器
126多路复用器
200，200A机顶盒(STB)
210视频流处理单元
202HDMI 端子
203天线端子
204数字调谐器
205视频信号处理电路
206HDMI 发送单元
207音频信号处理电路
208网络端子
209网络接口
211CPU
215遥控接收单元
216遥控发射器
221多路分用器
222视频解码器
223编码数据缓冲器
224字幕解码器
225像素缓冲器
228视频叠加单元
229音频解码器
300,300A 电视接收器(TV)
3013D信号处理单元
302HDMI 端子
303HDMI 接收单元
304天线端子
305数字调谐器
306视频流处理单元
307视频/图形处理单元
308面板驱动电路 0494]309显示面板
310音频信号处理电路
311音频放大电路
312扬声器
313网络端子
314网络接口
321CPU
325遥控接收单元
326遥控发射器
400HDMI 电缆
权利要求
1.一种发送装置，其包含: 图像数据输出单元，配置为输出用于显示立体图像的左眼图像数据和右眼图像数据； 叠加信息数据输出单元，配置为输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据； 视差信息输出单元，配置为通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，输出用于提供视差的视差信息；以及 数据发送单元，配置为生成和发送传输流，所述传输流是通过多路复用包括从所述图像数据输出单元输出的图像数据的视频数据流的PES分组、包括从所述叠加信息数据输出单元输出的叠加信息数据的第一专用数据流的PES分组、和包括从所述视差信息输出单元输出的视差信息的第二专用数据流的PES分组获得的， 其中所述数据发送单元多路复用所述第二专用数据流的PES分组，以便PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器。
2.按照权利要求1所述的发送装置，其中所述预定时段至少包括通过解码所述第二专用数据流的PES分组获取视差信息所需的时段。
3.按照权利要求1所述的发送装置，其中 所述传输流包括相对于第一专用数据流的一个PES分组的第二专用数据流的一个PES分组，以及 包括在第二专用数据流的PES分组中的视差信息是在显示通过包括在第一专用数据流的PES分组中的叠加信息数据的叠加信息的时段内依次更新的视差信息，并且包括在第二专用数据流的PES分组中的视差信息包括初始帧的视差信息以及用于每个随后更新帧间隔的帧的视差信息。
4.按照权利要求1所述的发送装置，其中 所述传输流包括相对于第一专用数据流的一个PES分组的第二专用数据流的多个PES分组，以及 包括在第二专用数据流的多个PES分组中的视差信息是在显示通过包括在第一专用数据流的PES分组中的叠加信息数据的叠加信息的时段内依次更新的一条或多条视差信息
5.按照权利要求4所述的发送装置，其中当第二专用数据流的PES分组包括多条视差信息时，所述多条视差信息包括与包括在下一个PES分组中的初始帧的视差信息相同的帧的视差信息。
6.按照权利要求4所述的发送装置， 其中当第二专用数据流的PES分组包括一条视差信息时，所述数据发送单元在第二个之后多路复用第二专用数据流的PES分组，以便第二专用数据流的PES分组在包括在前一 PES分组中的显示时间戳的定时的下一个内插帧之前到达接收方的解码缓冲器。
7.按照权利要求1所述的发送装置，其中设置所述数据发送单元，使得包括在第二专用数据流的PES分组中的解码时间戳的定时比包括在该PES分组中的显示时间戳的定时早预定时段。
8.按照权利要求1所述的发送装置，其中第一专用数据流的PES分组和第二专用数据流的PES分组包括用于同步通过叠加信息数据的显示与通过视差信息的视差的同步信息。
9.按照权利要求1所述的发送装置，其中所述传输流以插入方式包括用于将第一专用数据流的PES分组与第二专用数据流的PES分组相关联的关联信息。
10.按照权利要求1所述的发送装置，其中 所述叠加信息数据是DVB字幕数据，以及 所述视差信息是以区域或包括在区域中的子区域为单位的视差信息，或以包括所有区域的页面为单位的视差信息。
11.按照权利要求1所述的发送装置，其中第二专用数据流的PES分组包括视差信息和叠加信息数据两者。
12.一种发送方法，其包括以下步骤: 输出用于显示立体图像的左眼图像数据和右眼图像数据； 输出要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据； 通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息，输出用于提供视差的视差信息；以及 生成和发送传输流，所述传输流是通过多路复用包括在所述图像数据输出步骤中输出的图像数据的视频数据流的PES分组、包括在所述叠加信息数据输出步骤中输出的叠加信息数据的第一专用数据流的PES分组、和包括在所述视差信息输出步骤中输出的视差信息的第二专用数据流的PES分组获得的， 其中所述数据发送步骤多路复用所述第二专用数据流的PES分组，以便PES分组比包括在PES分组中的 显示时间戳的定时早预定时段到达接收方的解码器缓冲器。
13.一种接收装置，其包含: 数据接收单元，配置为接收传输流，所述传输流是通过多路复用包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流的PES分组、包括要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息数据的第一专用数据流的PES分组、和包括通过偏移要叠加在通过左眼图像数据和右眼图像数据的图像上的叠加信息提供视差的视差信息的第二专用数据流的PES数据获得的，多路复用第二专用数据流的PES分组，使得PES分组比包括在PES分组中的显示时间戳的定时早预定时段到达接收方的解码器缓冲器； 图像数据获取单元，配置为通过对从由所述数据接收单元接收的传输流提取的视频数据流的PES分组进行解码处理，获取图像数据； 解码缓冲器，配置为临时存储从由所述数据接收单元接收的传输流提取的第一专用数据流的PES分组和第二专用数据流的PES分组； 叠加信息数据获取单元，配置为通过从所述解码缓冲器读取第一专用数据流的PES分组并对读取的PES分组进行解码处理，获取叠加信息数据； 视差信息获取单元，配置为通过从所述解码缓冲器读取第二专用数据流的PES分组并对读取的PES分组进行解码处理，获取视差信息；以及 图像数据处理单元，配置为通过使用由所述图像数据获取单元获取的图像数据、由所述叠加信息数据获取单元获取的叠加信息数据、和由所述视差信息获取单元获取的视差信息，将视差提供给叠加在左眼图像和右眼图像上的相同叠加信息，并获取叠加了叠加信息的左眼图像的数据和叠加了叠加信息的右眼图像的数据。
14.按照权利要求13所述的接收装置，进一步包含视差信息内插单元，配置为通过对由所述视差信息获取单元获取和在显示叠加信息的预定数目的帧的时段内依次更新的视差信息进行内插处理，生成在预定数目的帧的时段内的任何帧间隔的视差信息， 其中所述图像数据处理单元使用由所述视差信息内插单元生成的任何帧间隔的视差信息。
15.按照权利要求13所述的接收装置，其中 将包括在第二专用数据流的PES分组中的解码时间戳的定时设置成比包括在该PES分组中的显示时间戳的定时早预定时段，以及 所述视差信息获取单元通过在包括在第二专用数据流的PES分组中的解码时间戳的定时， 从解码缓冲器读取第二专用数据流的PES分组，进行解码处理。
全文摘要
本发明的目的是有效地发送包含视差信息的PES分组。输出显示三维图像的左眼图像数据和右眼图像数据。输出关于要叠加在由左眼图像数据和右眼图像数据产生的图像上的叠加信息的数据。偏移要叠加在由左眼图像数据和右眼图像数据产生的图像上的叠加信息，并且输出用于产生视差的视差信息。发送包含包括图像数据的视频数据流的PES分组、和包括叠加信息的第一专用数据流的PES分组的传输流。多路复用第二专用数据流的PES分组，以便比包括在PES分组中的显示时间戳的定时早预定时间到达接收侧解码器缓冲器。
文档编号H04N21/236GK103168476SQ201280003261
公开日2013年6月19日 申请日期2012年7月3日 优先权日2011年7月15日
发明者塚越郁夫 申请人:索尼公司