立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备的制作方法

专利名称：立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备的制作方法
技术领域：
本发明涉及立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备，并且具体涉及能够在接收侧执行诸如OSD等的图形信息的良好显示的立体图像数据发送设备等。
背景技术：
例如，在PTLl中提出了使用电视电波的立体图像数据的发送方法。利用该发送方法，发送具有用于左眼的图像数据和用于右眼的图像数据的立体图像数据，并且在电视接收机执行使用双眼视差的立体图像显示。图35图示屏幕上对象(object)的左和右图像的显示位置以及使用双眼视差执行立体图像显示时其立体图像的再现位置之间的关系。例如，对于对象A，如图所示其显示有在屏幕上左图像La向右侧偏移并 且右图像Ra向左侧偏移，左和右视线在屏幕表面前方交叉，所以其立体图像的再现位置在屏幕表面的近侧。DPa代表关于对象A在水平方向的视差矢量(视差信息)。此外，例如，如屏幕上所示，对于其中左图像Lb和右图像Rb显示在同一位置的对象B，左和右视线在屏幕表面上交叉，所以其立体图像的再现位置在屏幕表面上，即监视器位置。此外，例如，对于对象C，如图所示其显示有在屏幕上左图像Lc向左侧偏移并且右图像Re向右侧偏移，所以其立体图像的再现位置在屏幕表面的后面。DPc代表关于对象C在水平方向的视差矢量。引用列表专利文献PTLl :日本未审专利申请公开No. 2005-611
发明内容
技术问题如上所述，在立体图像显示的情况下，观看者将通常利用双眼视差感觉立体图像的透视。期望重叠在图像上的重叠信息(诸如像例如OSD (屏幕上显示)等的图形信息)将不但在二维空间渲染，而且利用三维深度感结合立体图像显示渲染。例如，如果执行诸如OSD等的图形信息在图像上的重叠显示(叠加显示)，则观看者可能感觉透视上的不一致，除非使得显示在透视方面比图像内的最近对象(ob ject)的平面(下文中称为“立体图像平面”)更接近观看者。也就是说，在执行诸如OSD等的图形信息在图像上的重叠显示的情况下，期望将根据图像内的对象的透视进行视差调整，以便保持透视上的一致性。本发明的目的在于当在立体图像显示中显示诸如像例如OSD等的图形信息的重叠信息时，对于图像中的对象保持透视上的一致性。
问题的解决方案本发明的一个概念是一种立体图像数据发送设备，包括图像数据输出单元，配置为输出构成立体图像的左眼图像数据和右眼图像数据；深度信息输出单元，配置为输出对应于所述立体图像的深度信息；以及发送单元，配置为发送所述图像数据和所述深度信息；其中，所述深度信息包括图像显示平面的分割信息以及分割区域的深度信息；并且其中，所述发送单元发送具有包括所述图像数据的数据流的复用数据流，并且将包括所述深度信息的描述符插入所述复用数据流。在本发明的情况下，图像数据输出单元输出构成立体图像的左眼图像数据和右眼图像数据。此外，深度信息输出单元输出对应于所述立体图像的深度信息。发送单元然后发送所述图像数据和所述深度信息。所述深度信息包括图像显示平面的分割信息以及分割区域的深度信息。例如，深度信息可以是指示立体图像平面(在透视方面图像中最接近对象的平面)是否在距监视器位置的近侧的图像平面信息。该图像平面信息还可以例如是构成左眼图像和右眼图像的视差信息(视差矢量)的代码信息。如果视差信息的代码是负的，那么可以理解的是立体图像平面在距监视器位置的近侧。此外，例如，深度信息可以是指示立体图像平面是否在距监视器位置的近侧的图像平面信息，或者是左眼图像和右眼图像的视差信息，并且指示所述视差信息存在的标记Ih息可以插入所述深度彳目息。例如，深度/[目息可以是构成所述视差彳目息的代码彳目息，或者是构成所述代码息和所述视差息 的绝对值息。在此情况下，视差息的代码息构成图像平面信息。通过除了图像平面信息外包括视差信息作为深度信息，不但可以在接收侧理解立体图像平面的位置是否是在距监视器位置的近侧，而且还可以更详细理解其位置。此外，由于插入标记信息，可以选择性地仅仅发送图像平面信息或者图像平面信息和视差信息两者。例如，分割信息可以由指示分割类型的信息和指示分割数目的信息构成。由于分割信息以此方式由两个信息构成，所以可以用较少数目的信息指定更大数目的分割图案。例如，分割类型包括其中使用对角线分割所述图像显示平面的分割类型。此外，例如，所述分割类型包括其中使用水平方向线和/或垂直方向线分割所述图像显示平面的分割类型。发送单元发送具有包括所述图像数据的数据流的复用数据流。将包括所述深度信息的描述符插入所述复用数据流。例如，所述复用数据流包括用作节目专用信息的节目图表，其指示包括在所述复用数据流中的每个基本流所属于的节目，并且所述描述符插入所述节目图表下面。在此情况下，在节目期间顺序发送描述符，使得能够在节目期间动态改变深度信息。此外，例如，所述复用数据流包括用作服务信息的事件信息表，用于以事件为增量执行管理，并且所述描述符插入所述事件信息表下面。在此情况下，在节目的开始发送描述符，并且深度信息在节目期间固定。因此，在本发明的情况下，连同构成立体图像的左眼图像数据和右眼图像数据，发送对应于该立体图像的深度信息。因此，通过在接收侧使用深度信息，可以使用诸如例如像OSD的图形信息的要重叠在左眼图像和右眼图像上的重叠信息，作为已经根据与图像中的各对象的透视经历视差调整的重叠信息。因此，例如在显示像OSD的图形信息时，可以保持与图像中各对象的透视一致性。此外，在本发明的情况下，深度信息包括图像显示平面的分割信息以及每个显示区域的深度信息，所述深度信息包括在插入复用数据流的描述符中并且发送，所述复用数据流具有包括立体图像数据的数据流。也就是说，可以容易地执行深度信息到接收侧的发送。注意到，在本发明的情况下，可以进行这样的安排，其中例如所述发送单元对应于所述图像数据的每个预定时段的开始时间点，将所述描述符插入所述复用数据流，并且其中，对应于每个预定时段的开始时间点插入所述复用数据流的描述符包括比所述时段更晚时段的深度信息。因此，在接收侧，通过使用包括在该时段和该时段之前和之后时段的深度信息中的视差信息的内插处理，可以获得在时间方向(帧方向)具有平滑改变(即，具有平滑更新曲线)的视差信息，作为在为每个时段提供左眼重叠信息和右眼重叠信息之间的视差时使用的视差信息。此外，本发明的另一概念是一种立体图像数据接收设备，包括

接收单元，配置为接收具有包括构成立体图像的左眼图像数据和右眼图像数据的数据流的复用数据流，所述复用数据流中插入包括对应于所述立体图像的深度信息的描述符，所述深度信息由图像显示平面的分割信息以及分割区域的深度信息构成；重叠信息数据输出单元，配置为输出从所述复用数据流获得的对应于所述左眼图像数据的左眼重叠信息的数据，以及从所述复用数据流获得的对应于所述右眼图像数据的右眼重叠信息的数据；以及数据重叠单元，配置为将所述左眼重叠信息的数据和所述右眼重叠信息的数据重叠在从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据上；其中，所述重叠信息数据输出单元基于从所述复用数据流获得的所述深度信息，提供所述左眼重叠信息的数据和所述右眼重叠信息的数据之间的视差。在本发明的情况下，接收单元接收具有包括左眼图像数据和右眼图像数据的数据流的复用数据流。在该复用数据流中插入描述符，所述描述符包括图像显示平面的分割信息以及分割区域的深度信息。例如，该描述符插入节目图表或事件信息表下面。重叠信息数据输出单元输出对应于所述左眼图像数据的左眼重叠信息的数据，以及对应于所述右眼图像数据的右眼重叠信息的数据。此外，数据重叠单元将所述左眼重叠信息的数据和所述右眼重叠信息的数据重叠在从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据上。因此，诸如OSD等的图形信息可以在立体图像上重叠显示。所述重叠信息数据输出单元基于从所述复用数据流获得的所述深度信息，提供所述左眼重叠信息的数据和所述右眼重叠信息的数据之间的视差。因此，在本发明的情况下，例如在显示像OSD的图形信息时，可以保持与图像中各对象的透视一致性。注意到，在本发明的情况下，例如，可以进行这样的安排，其中在基于在所述深度信息中的视差信息提供所述左眼重叠信息和所述右眼重叠信息之间的视差时，如果存在通过在所述接收单元接收的新的描述符更新视差信息，那么所述重叠信息数据输出单元对于多个帧使用通过内插处理获得的视差信息，以便在所述多个帧上达到新的视差信息。因此，可以使得用于提供视差的视差信息的改变平滑，并且可以抑制提供到左眼和右眼图形信息的视差突然改变，给观看者不自然感觉的情况。此外，在本发明的情况下，例如，可以进行这样的安排，其中已经对应于所述图像数据的每个预定时段的开始时间点，将所述描述符插入所述复用数据流，并且其中对应于每个时段的开始时间点插入所述复用数据流的描述符包括比所述时段更晚时段的深度信息，并且其中在每个时段中提供所述左眼重叠信息和所述右眼重叠信息之间的视差时，所述重叠信息数据输出单元使用通过内插处理获得的视差信息，所述内插处理使用包括在所述时段和所述时段之前和之后时段的所述深度信息中的视差信息。因此，可以使得用于提供视差的视差信息的改变在时间方向(帧方向)平滑(即，具有用于提供视差的视差信息的平滑更新曲线)，并且可以抑制提供到左眼和右眼图形信息的视差突然改变，给观看者不自然感觉的情况。本发明的另一概念是是一种立体图像数据接收设备，包括接收单元，配置为接收具有包括构成立体图像的左眼图像数据和右眼图像数据的数据流的复用数据流，所述复用数据流中插入包括对应于所述立体图像的深度信息的描述符，所述深度信息由图像显示平面的分割信息以及分割区域的深度信息构成；以及发送单元，配置为经由发送路径，发送从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据以及所述深度信息到外部设备。在本发明的情况下，接收单元接收具有包括构成立体图像的左眼图像数据和右眼图像数据的数据流的复用数据流。所述复用数据流中插入包括对应于所述立体图像的深度信息的描述符，所述深度信息由图像显示平面的分割信息以及分割区域的深度信息构成。例如，该描述符插入节目图表或事件信息表下面。发送单元经由发送路径，发送从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据以及所述深度信息到 外部设备。例如，所述发送单元通过差分信号，经由多个信道中的所述发送路径，发送所述图像数据到所述外部设备，并且其中所述深度信息插入所述图像数据的消隐时段中，从而发送所述深度信息到所述外部设备。因此，在本发明的情况下，连同构成立体图像的左眼数据和右眼数据，经由发送路径发送对应于该立体图像的深度信息到外部设备。因此，在外部设备(诸如例如像电视接收机的图像显示设备)，通过使用深度信息，要重叠在左眼图像和右眼图像上的重叠信息(诸如例如像OSD的图形信息)，可以用作根据与图像中各对象的透视已经经历视差调整的重叠信息。因此，例如在显示像OSD的图形信息时，可以保持与图像中各对象的透视一致性。本发明的有益效果根据本发明，当在立体图像显示时显示重叠信息(诸如例如像OSD的图形信息)时，可以容易地实现保持与图像中每个对象的透视一致性。


图1是图示作为本发明实施例的立体图像显示系统的配置示例的框图。图2是图示广播站处的发送数据生成单元的配置示例的框图。图3是图示1920X1080p像素格式的图像数据的图。图4是用于描述作为立体图像数据(3D图像数据)的发送格式的“上下”格式、“并排”格式和“帧顺序”格式的图。图5是用于描述检测右眼图像对于左眼图像的视差矢量的示例的图。图6是用于描述通过块匹配格式获得视差矢量的图。图7是图示在利用分割类型I的四路(four-way)分割情况下的位置图示例的图，在分割类型I中使用对角线分割图像显示平面。图8是图示OSD图形信息已经偏移到图像的边缘部分的重叠显示的情况的图。图9是图示在利用分割类型I的八路分割情况下的位置图示例的图，在分割类型I中使用对角线分割图像显示平面。图10是图示在利用分割类型2的四路分割情况下的位置图示例的图，在分割类型2在水平方向和垂直方向上均等分割图像显示平面。图11是图示OSD图形信息已经偏移到图像的角部部分的重叠显示的情况的图。图12是图示在利用分割类型2的九路分割情况下的位置图示例的图，在分割类型2中在水平方向和垂直方向上均等分割图像显示平面。图13是图示在利用分割类型3的五路分割情况下的位置图示例的图，在分割类型3中使用对角线和矩形的边分割图像显示平面。图14是图示在分割图案中的每个分割区域中获得视差信息的表现的方式的图，在该分割图案中使用对角线四路分割图像显示平面。
`
图15是描述在已经偏移到图像的边缘部分的OSD图形信息的重叠显示的情况下，可以使用对应于重叠显示位置的分割区域的视差信息(表现)提供视差到左眼和右眼OSD图形信息的图。图16是图示复用数据流的配置示例的图，在该复用数据流中描述符(z表面描述符)位于PMT内的节目描述符(Program Descriptor)中，也就是说PMT下面(情况I)。图17是图示复用数据流的配置示例的图，在该复用数据流中描述符(z表面描述符)位于视频基本环(视频Es环)的描述符(descriptor)中，也就是说PMT下面(情况2)。图18是图示复用数据流的配置示例的图，在该复用数据流中描述符(z表面描述符)位于EIT下面(情况3)。图19图示将描述符(z表面描述符)插入PMT下面并且在节目时段期间顺序发送描述符，使得深度信息动态改变的情况的图。图20是用于描述场景检测和描述符发送的概述的流程图。图21是图不在每个时段的开始时间点发送的描述符(z表面描述符)中包括后一时段的深度信息的情况下，描述符的发送定时以及包括在描述符中的深度信息之间的关系的图。图22是图示在节目时段期间固定深度信息的、插入EIT下面的描述符(z表面描述符)的情况的图。图23是图示描述符(z表面描述符)的配置示例(语法)的图。图24是图示描述符(z表面描述符)的配置示例中主要信息(语法)的内容的图。图25是图示描述符(z表面描述符)的另一配置示例(语法)的图。图26是图示机顶盒的配置示例的图。图27是用于描述OSD显示数据生成单元处的视差信息的内插处理的图。
图28是用于描述在对应于每个时段的开始时间点发送的描述符(z表面描述符)中包括后一时段的深度信息的情况下的内插处理的示例的图。图29是图示电视接收机的配置示例的框图。图30是图示HDMI发送单元(HDMI源)和HDMI接收单元(HDMI宿)的配置示例的框图。图31是图示TMDS发送数据(水平X垂直为1920像素X 1080线的情况发送的图像数据的情况)的配置示例的图。图32是图示源设备和宿设备的HDMI线缆连接到的HDMI端子的管脚阵列(类型A)的图。图33是图示在使用用于深度信息组的发送的HDMI厂商专用信息帧(HDMI VendorSpecific InfoFrame)的情况下的HDMI厂商专用信息巾贞的分组配置示例的图。图34是图示立体图像显示系统的另一配置示例的框图。图35是用于描述在使用双眼视差的图像显示时，屏幕上对象的左和右图像的显示位置以及其立体图像的再现位置之间的关系的图。
具体实施例方式现在将描述用于实施本发明的模式(下文中，称为“实施例”)。注意到，将按以下顺序进行描述。1.实施例2.修改 〈1.实施例 >[立体图像显示系统的配置示例]图1图示作为实施例的立体图像显示系统10的配置示例。该立体图像显示系统10包括广播站100、机顶盒(STB) 200和电视接收机(TV) 300。机顶盒200和电视接收机300经由HDMI (高清晰度多媒体接口)线缆400连接。在机顶盒200的情况下，提供HDMI端子202。在电视接收机300的情况下，提供HDMI端子
302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，并且该HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。[广播站的描述]广播站100通过在广播波上携带位流数据BSD，发送该位流数据BSD。广播站100具有生成位流数据BSD的发送数据生成单元110。该位流数据BSD包括图像数据、音频数据、深度信息等。在此，图像数据(下文中适当地称为“立体图像数据”)包括构成立体图像的左眼图像数据和右眼图像数据。音频数据是对应于该立体图像数据的音频数据。深度信息对应于该立体图像，并且包括图像显示平面的分割信息以及用于每个分割区域的深度信肩、O[发送数据生成单元的配置示例]图2图示在广播站100中生成发送数据的发送数据生成单元110的配置示例。该发送数据生成单元Iio具有相机IllL和111R、视频构造单元112、视差图生成单元113、麦克风114、数据提取单元115和切换开关116到118、发送数据生成单元110还具有视频编码器119、音频编码器120、深度信息集创建单元122和多工器126。相机IllL拍摄左眼图像并且获得用于立体图像显示的左眼图像。相机IllR拍摄右眼图像并且获得用于立体图像显示的右眼图像。视频构造单元112将用相机IllL获得的左眼图像数据和用相机IllR获得的右眼图像数据处理为对应于发送格式的立体图像数据(3D图像数据)。该视频构造单元112配置图像数据输出单元。将描述立体图像数据的发送格式的示例。尽管给出以下第一到第三格式作为发送格式，但是可以使用不同于这些的发送格式。在此，如图3所示，将对于左眼(L)和右眼(R)的每条图像数据是具有确定分辨率(例如，1920X1080的像素格式)的图像数据的情况进行描述作为示例。第一种发送格式是上下(Top & Bottom)格式，并且如图4 (a)所示是用于在垂直方向的前半发送左眼图像数据的每条线的数据，并且在垂直方向的后半发送左眼图像数据的每条线的数据。在此情况下，左眼图像数据和右眼图像数据的线稀疏到1/2，所以垂直分辨率减小为对于原始信号的一半。第二种发送格式是并排(Side By Side)格式，并且如图4 (b)所示是用于在水平方向的前半发送左眼图像数据的像素数据，并且在水平方向的后半发送右眼图像数据的像素数据。在此情况下，左眼图像数据和右眼图像数据每个具有其像素数据在水平方向稀疏为1/2，所以水平分辨率减小为对于原始信号的一半。第三种发送格式是巾贞顺序(FrameSequntial)格式,并且如图4 (C)所示是用于通过对于每帧顺序切换左眼图像数据和右眼图像数据，发送左眼图像数据和右眼图像数据的格式。该巾贞顺序格式有时也称 为全巾贞(Full Frame)格式或后向兼容(BackwardCompatible)格式。返回图2，视差图生成单元113例如基于左眼图像数据和右眼图像数据，检测用于构成图像的每个像素的视差信息(视差矢量)，并且创建视差图。视差信息由代码信息和绝对值信息配置。例如，感觉为比监视器位置更近的像素(Pixel)的视差信息的代码是负的，并且感觉为比监视器位置更远的像素(pixel)的视差信息的代码是正的。此外，感觉像素越远离监视器位置，视差信息的绝对值越大。将描述视差矢量的检测示例。在此，将描述检测右眼图像相对于左眼图像的视差矢量的示例。如图5所示，将取左眼图像为检测图像，并且取右眼图像为参考图像。在此示例的情况下，将检测(xi，yi)和(xj，yj)的位置的视差矢量。作为示例，将对于其中检测(xi，yi)的位置的视差矢量的情况进行描述。在此情况下，例如在(xi，yi)的像素位置作为左上情况下4X4、8X8或16X16的像素块(视差检测块)Bi设置到左眼图像。随后，在右眼图像的情况下，搜索与像素块Bi匹配的像素块。在此情况下，以(xi，yi)的位置作为中心的搜索范围设置到右眼图像，并且如在上面像素块Bi的情况下，在搜索范围内的每个像素顺序取为感兴趣的像素的情况下，顺序设置例如4X4、8X8或16X16的比较块。获得像素块Bi和顺序设置的比较块之间的每个相应像素的差别的绝对值的和。在此，如图6所示，如果说像素块Bi的像素值是L (x, y)，并且比较块的像素值是R(x, y)，那么比较块Bi和特定比较块之间差的绝对值的和用Σ |L(x，y)-R(x，y) I代表。当η个像素包括在设置到右眼图像的搜索范围时，最后，获得η个和SI到Sn，选择其最小和Smin。随后，从已经从其获得和Smin的比较块获得左上像素的位置(xi’，yi’)。因此，检测(xi，yi)的位置的视差矢量为(xi’-xi，yi’-yi)。尽管省略详细描述，但是同样对于位置(xj，yj)的视差矢量，例如在(xj，yj)的像素位置作为左上的情况下4X4、8X8或16X16的像素块Bj设置到左眼图像，并且在相同的处理中进行检测。麦克风114对于用相机IllL和IllR拍摄的图像检测音频，并且获得音频数据。在可拆卸地安装数据记录介质115a的状态下使用数据提取单元115。该数据记录介质115a是盘形记录介质、半导体存储器等。数据记录介质115a连同包括左眼图像数据和右眼图像数据的立体图像数据，以相关联方式在其中记录音频数据和视差图。数据提取单元115从数据记录介质115a提取立体图像数据、音频数据和视差图，并且输出。数据提取单元115配置图像数据输出单元。现在，在数据记录介质115a中记录的立体图像数据等价于在视频构造单元112获得的立体图像数据。此外，数据记录介质115a中的音频数据等价于在麦克风114获得的音频数据。此外，数据记录介质115a中记录的视差图等价于在视差图生成单元113生成的视
差矢量。切换开关116选择性地提取在视频构造单元112获得的立体图像数据或从数据提取单元115输出的立体图像数据。在此情况下，切换开关116在实况模式中连接到a侧，并且提取在视频构造单元112获得的立体图像数据，而在回放模式中连接到b侧，并且提取从数据提取单元115输出的立体图像数据。切换开关117选择性地提取在视差图生成单元113生成的视差图或从数据提取单元115输出的视差图。在此情况下，切换开关117在实况模式中连接到a侧，并且提取在视差图生成单元113生成的视差图，而在回放模式中连接到b侧，并且提取从数据提取单元115输出的视差图。 切换开关118选择性地提取在麦克风114获得的音频数据或从数据提取单元115输出的音频数据。在此情况下，切换开关118在实况模式中连接到a侧，并且提取在麦克风114获得的音频数据，而在回放模式中连接到b侧，并且提取从数据提取单元115输出的音频数据。视频编码器119使在切换开关116提取的立体图像数据经历诸如MPEG4-AVC、MPEG2、VC-1等的编码，并且生成视频数据流(视频基本流)。音频编码器120使在切换开关118提取的音频数据经历诸如AC3、AAC等的编码，并且生成音频数据流(音频基本流)。深度信息集创建单元122基于在切换开关117提取的视差图，创建对应于从切换开关116输出的预定节目的立体图像数据的深度信息集。该深度信息集包括图像显示平面的分割信息以及每个分割区域的深度信息。将对于图像显示平面的分割信息进行描述。该分割信息由指示分割类型的信息和指示分割数目的信息构成。例如，分割类型包括使用对角线执行图像显示平面的分割、使用水平方向线和/或垂直方向线执行图像显示平面的分割等的分割类型。确定分割类型和分割的数目唯一地确定图像显示平面的分割图案。分割类型和分割的数目可以由用户设置。图7图示在利用分割类型I四路分割图像显示平面的情况下的位置图示例，在分割类型I中使用对角线分割图像显示平面。在该示例的情况下，使用对角线四路分割图像显示平面，其中上分割区域由“0000”代表，右分割区域由“0001”代表，下分割区域由“0010”代表，并且左分割区域由“0011 ”代表。图7中示出的分割示例也适于例如如图8所示的利用偏移到图像的边缘部分的OSD图形信息执行重叠显示的情况，因为可以发送对应于重叠显示位置的深度信息。图9图示在利用分割类型I八路分割图像显示平面的情况下的位置图示例，在分割类型I中使用对角线分割图像显示平面。在该示例的情况下，使用对角线和矩形的边八路分割图像显示平面，其中分割区域由“0000”到“0111”代表。图10图示在利用分割类型2四路分割图像显示平面的情况下的位置图示例，在分割类型2中使用水平方向线和垂直方向线分割图像显示平面。在该示例的情况下，使用对角线四路分割图像显示平面，其中右上分割区域由“0000”代表，右下分割区域由“0001”代表，左下分割区域由“0010”代表，并且左上分割区域由“0011”代表。图10中示出的分割示例也适于例如如图11所示的利用偏移到图像的角部部分的OSD图形信息执行重叠显示的情况，因为可以发送对应于重叠显示位置的深度信息。图12图示在利用分割类型2九路分割图像显示平面的情况下的位置图示例，在分割类型2中使用水平方向线和垂直方向线分割图像显示平面。在该示例的情况下，使用水平方向线和垂直方向线九路分割图像显示平面，其中分割区域由“0000”到“1000”代表。图13图示在利用分割类型3五路分割图像显示平面的情况下的位置图示例，在分割类型3中使用对角线和矩形的边分割图像显示平面。在该示例的情况下，使用对角线和矩形的边五路分割图像显示平面，其中上分割区域由“0000”代表，右分割区域由“0001”代表，下分割区域由“0010”代表，左分割区域由“0011”代表，并且中分割区域由“0100”代表。图13中示出的分割示例也适于利用偏移到图像的边缘部分或重叠在图像的中部显示的OSD图形信息执行重叠显示的 情况，因为可以发送对应于重叠显示位置的深度信息。接下来，将对于用于每个分割区域的深度信息进行描述。深度信息包括图像平面信息。该图像平面信息是指示立体图像平面是否处于监视器位置的近侧。该立体图像平面意味着在透视方面在相应区域的图像中最接近对象的平面。该图像平面信息是构成对应于立体图像平面的透视信息(透视矢量)的代码信息。在此情况下，如果立体图像平面处于监视器位置的近侧，则代码信息是“负的”。此外，除了上述图像平面信息外，深度信息包括视差信息。对于该视差信息，例如代表性地使用构成相应区域的图像的像素(像素)的视差信息(视差矢量)中、在透视方面感觉为最近的视差信息。在此情况下，如果存在“负的”视差信息，则这是具有其最大绝对值的视差信息。此外，在此情况下，如果不存在“负的”视差信息，则这是具有最小绝对值的视差息。因此，如果包括视差息，则当图像平面息是如上所述构成视差息的代码信息时，需要的是进一步包括构成视差信息的绝对值通过以扫描顺序对每个像素或预定大小的每个块比较视差信息，可以获得每个分割区域中视差信息的代表。图14图示在如上所述的通过对角线四路分割图像显示平面的分割图案的情况下，获得分割区域中的视差信息的代表的方式。在此情况下，对于每个分割区域获得〃Disparity_00 "、〃Disparity_01"、" Disparity_10 "和"Disparity_ll "作为代表视差信息。例如，在通过对角线四路分割图像显示平面的分割图案的情况下，如果除了每个分割区域的图像平面信息外还发送视差信息，那么使用如上所述获得的每个分割区域的视差信息的代表。在此情况下，如果如图15所示OSD图形信息的重叠显示偏移到边缘部分，那么使用对应于其重叠显示位置的用于分割区域的视差信息(代表)，可以提供视差到用于左眼和右眼的OSD图形信息。深度信息集已经在其中插入标记信息，该标记信息指示视差信息的存在，用于每个分割区域或共同用于所有分割区域。通过除了图像平面信息外包括视差信息作为深度信息，在接收侧不但可以理解立体图像平面的位置是否在监视器位置的近侧，而且可以更详细理解其位置。此外，由于标记信息插入其中，可以选择性地仅发送图像平面信息或发送屏幕信息和视差信息两者作为深度信息。当在接收侧将OSD图形信息重叠在图像上时，OSD图形信息必须提供给OSD图形信息的情况是立体图像平面处于监视器位置的近侧的情况。在此情况下，需要提供具有视差的左和右OSD图形信息，使得OSD图形信息感觉为处于立体图像平面的近侧。然而，注意可以在接收侧可选地设置多少视差提供到左和右OSD图形信息，并且因此，仅发送图像平面信息也是非常有意义的。多工器126复用来自视频编码器119和音频编码器120的数据流，并且获得复用数据流作为位流数据(发送流)BSD。此外，多工器126将在深度信息集创建单元122创建的深度信息集插入该位流数据BSD。具体地，多工器126在位流数据BSD中插入在插入的PSI信息或SI信息中包括预定位置的深度信息集的描述符(z表面描述符)。稍后将描述该描述符。将简要描述图2中示出的发送数据生成单元110的操作。相机IllL拍摄左眼图像。将在相机IllL处获得的用于立体图像显示的左眼图像数据提供到视频构造单元112。此外，相机IllR拍摄右眼图像。将在相机IllR处获得的用于立体图像显示的右眼图像数据提供到视频构造单元112。在视频构造单元112，左眼图像数据和右眼图像数据处理为对应于发送格式的状态，从而产生立体图像数据(见图4 (a)到(C))。将在视频构造单元112处获得的立体图像数据提供到切换开关116的a侧固定端子。此外，将在数据提取单元115处获得的立体图像数据提供到切换开关116的b侧固定端子。在实况模式下，切换开关116连接到a侧，并且从切换开关116提取在视频构造单元112处获得的立体图像数据。在回放模式下，切换开关116连接到b侧，并且从切换开关116提取从数据提取单元115获得的立体图像数据。将在切换开关116提取的立体图像数据提供到视频编码器119。在视频编码器119，立体图像数据经历诸如MPEG4-AVC、MPEG2、VC-1等的编码，从而生成包括编码视频数据的视频数据流。将该视频数据流提供到多工器126。将在麦克风114处获得的音频数据提供到切换开关118的a侧固定端子。此外，将在数据提取单元115处获得的音频数据提供到切换开关118的b侧固定端子。在实况模式下，切换开关118连接到a侧，并且从切换开关118提取在麦克风114处获得的音频数据。在回放模式下，切换开关118连接到b侧，并且从切换开关118提取从数据提取单元115获得的音频数据。将在切换开关118提取的音频数据提供到音频编码器120。在音频编码器120，音频数据经历诸如MPEG-2Audio AAC或MPEG-4AAC等的编码， 从而生成包括编码音频数据的音频数据流。将该音频数据流提供到多工器126。
将在相机IllL和IllR处获得的左眼图像数据和右眼图像数据经由视频构造单元112提供到视差图生成单元113。在该视差图生成单元113，基于左眼图像数据和右眼图像数据对于每个像素(Pixel)检测视差矢量，并且生成视差图。将该视差图提供到切换开关117的a侧的固定端子。此外，将从数据提取单元115输出的视差图提供到切换开关117的b侧的固定端子。在实况模式下，切换开关117连接到a侧，并且从切换开关117提取在视差图生成单元113处生成的视差图。在回放模式下，切换开关117连接到b侧，并且从切换开关117提取从数据提取单元115输出的视差图。将在切换开关117处提取的视差图提供到深度信息集创建单元122。在深度信息集创建单元122，基于视差图创建对应于从切换开关116输出的用于预定节目的立体图像数据的深度信息集。该深度信息集包括图像显示平面的分割信息以及每个分割区域的深度信息。将该深度信息集提供到多工器126。在多工器126，复用来自视频编码器119和音频编码器120的数据流，从而产生复用数据流作为位流数据(传输流)BSD。多工器126将在深度信息集创建单元122处创建的深度信息集插入该位流数据BSD。也就是说，多工器126在位流数据BSD中插入包括在插入的PSI信息或SI信息中的预定位置的深度信息集的描述符(z表面描述符)。[复用数据流的配置示例]图16到图18图示复用数据流(传输流)的配置示例。该复用数据流包括通过分组基本流获得的PES分组。在该配置示例的情况下，包括视频基本流“视频PES”的PES分组和音频基本流(音频PES)的PES分组。此外，传输流 包括PMT (节目图表)作为PSI (节目专用信息)。该PSI是描述传输流中包括的每个基本流所属的节目的信息。此外，传输流包括EIT (事件信息表)作为以事件为增量执行管理的SI (服务信息)。在该EIT中描述节目的增量中的元数据。其中是涉及整个节目的描述信息的节目描述符(ProgramDescriptor)存在于PMT中。具有涉及每个基本流的信息的基本环存在于该PMT中。在该配置示例的情况下，存在视频基本环和音频基本环。每个基本环具有诸如位于其中的用于每个流的分组标识符(PID)的信息，并且还具有位于其中的描述涉及基本流的信息的描述符(描述符)，尽管附图中未图示。图16和图17所示的复用数据流的配置是包括深度信息集的描述符(z表面描述符)插入PMT下面的示例。也就是说，在图16所示的复用数据流配置示例(情况I)的情况下，描述符(z表面描述符)位于PMT中的节目描述符(ProgramDescriptor)。在图17所示的复用数据流配置示例(情况2)的情况下，描述符(z表面描述符)位于视频基本环(视频ES环)的描述符(描述符)部分。此外，图18所示的复用数据流配置示例(情况3)是这样的示例，其中包括深度信息集的描述符(z表面描述符)插入EIT下面。如果包括深度信息集的描述符(z表面描述符)插入PMT下面，那么可以在节目时段期间的预定定时发送描述符，并且可以在节目时段期间动态改变，如图19所示。在图19所示的示例的情况下，在节目时段期间深度信息a、深度信息b和深度信息c以此顺序动态改变。深度信息的更新时段例如是100毫秒或者大于100毫秒的时段。
对于发送描述符的定时，例如，可以构思场景改变点。在此情况下，在节目时段期间的头部定时发送描述符，并且随后在每个场景改变点发送描述符，从而更新深度信息。图20图示场景检测和描述符发送的处理概述。在此情况下，在当前帧中包括的所有块和来自后面帧的图像数据之间进行比较，并且检测运动矢量。然后，计算当前帧和后一帧的帧之间每个块的运动矢量(幅值)的差值的和Σ (mv((t-l)-mv(t))，作为相关度的检测值。以相同方式，计算后一帧的帧和后两帧的帧之间每个块的运动矢量(幅值)的差值的和Σ (mV((t-2)-mV(t-l))，作为相关度的检测值。如果后一帧的帧和后两帧的帧之间运动矢量之间的相关性大，并且此外当前帧和后一帧的帧之间运动矢量之间的相关性小，那么确定已经存在场景改变。也就是说，如果“Σ (mv((t-2)-mv(t-l))< 阈值 2)”有效,但是“Σ (mv ((t-1)-mv (t)) < 阈值 I)”无效,则确定已经存在场景改变。如果已经以此方式确定已经存在场景改变，则执行描述发送。该描述符包括对应于场景改变之后的图像(当前帧的图像)的深度信息。注意到，场景检测方法当然不限于上述示例。如上所述，在节目时段期间可以发送包括用于每个预定时段的深度信息的描述符，并且在此情况下，对应于每个时段的开始时间点发送描述符(z表面描述符)，如图19所示。在此情况下，还可以构思这样的安排，其中除了描述符中该时段的深度信息外，包括用于该时段稍后时段的深度信息(例如，用于一个时段后的深度信息)作为所谓提前信息。图21图示在此情况下描述符(z表面描述符)的发送定时与每个描述符中包括的深度信息之间的关系。例如，在时段A的开始时间点发送的描述符(z表面描述符)包括时段B的深度信息b。此外，在时段B的开始时间点发送的描述符(z表面描述符)包括时段C的深度信息C。这对于在随后时段的开始时间点发送的描述符(Z表面描述符)是相同的，其中描述符包括下一个时段的深度信息。

通过在每个时段的开始时间点发送的描述符(z表面描述符)中包括用于随后时段(例如一个时段后)的深度信息作为提前信息，允许要在接收侧获得的视差信息具有时间方向的平滑改变。也就是说，使用包括在当前时段和当前时段之前和之后时段的深度信息集中的视差信息作为要使用的视差信息，以提供左眼重叠信息和右眼重叠信息之间的视差。因此，可以获得在时间方向(帧方向)具有平滑改变(即，具有平滑更新曲线)的视差信息。注意到，在图21中，虚线SI代表在发送的立体图像数据中视差信息曲线(视频视差曲线)的示例，并且实线S2图示根据每个时段更新的视差信息(视差更新)的示例。在图21的情况下，虚线S3图示在接收侧通过内插处理获得的视差信息曲线(接收器内插曲线)的示例。在此情况下，在接收侧，执行例如诸如以下的内插处理。也就是说，在每个时段的前半，在之前时段的视差信息和当前时段的视差信息的混合比率中，当前时段的视差信息顺序上升，从而获得每个时间点的内插视差信息。此外，在每个时段的后半，在当前时段的视差信息和随后时段的视差信息的混合比率中，随后时段的视差信息顺序上升，从而获得每个时间点的内插视差信息。此外，在EIT下面插入包括深度信息集的描述符(z表面描述符)的情况下，可以在如图22所示的节目的开始发送描述符，并且在节目时段期间固定深度信息。
[描述符(z表面描述符)的配置示例]图23图示描述符(z表面描述符)的配置示例(语法)。图24图示在图23所示的配置示例中的主要信息内容(语义)。“descriptorjag”的8位字段代表描述符(描述符)的类型，指示在此情况下的描述符(z表面描述符)。“descriptor_length”的8位字段是指示描述符的长度(大小)的8位数据。该数据指示“descriptorjength”之后的字节数，作为描述符的长度。“display_partition_type”的2位字段指示图像显示平面的分割类型(见图7到图^^“numberjf^partition”的4位字段指示图像显示平面的分割的数目。在此，“0000”指示没有分割图像显示平面，即指示分割的数目=1。在此情况下，对于整个图像显示平面的单个深度信息包括在描述符(z表面描述符)中。“z_depth_negative”的I位字段指示图像平面信息。如上所述，该图像平面信息指示立体图像平面(相应的分割区域内在透视方面最接近对象的平面)对于监视器位置是否是负的(近侧)。“I”指示对于监视器位置立体图像是负的(近侧)。“I”指示立体图像是与监视器位置相同，或者对于监视器位置是正的(远侧)。

注意到在本实施例的情况下，如上所述，构成视差信息的代码信息用作“z_cbpth_negative”的I位字段。在此情况下的视差信息是在构成相应区域的图像的每个像素(pixel)的视差信息(视差矢量)中，在透视方面感觉为最接近的像素的视差信息，并且是构成立体图像平面的像素的视差信息。“disparity_value_flag”是指不除了上述图像平面彳目息外是否存在视差彳目息的I位标记信息。在此情况下的视差信息是构成上述立体图像平面的像素的视差信息。“I”指示视差信息存在，并且“O”指示视差信息不存在。如果该标记信息是“1”，那么“abS0lute_disparity_value”的8位字段存在。该“absolute_disparity_value”指示构成视差信息的绝对值信息。由该绝对值信息和上述图像平面信息配置视差信息。图25图示描述符(z表面描述符)的另一配置示例(语法)。在该配置示例中，“disparity_value_f lag”在各分割区域中保持共用，并且位于for循环的外部。“z_depth_negative”的I位字段存在于for循环内。此外，如果“disparity_value_flag”是“ I”,并且指示视差信息存在，那么“absolute_disparity_value”的7位字段存在于该for循环内，否则7位“reserved”存在。在图25所示的描述符(z表面描述符)的情况下，确保for循环内字节对齐(ByteAlign)。也就是说，在图25所示的描述符的结构示例的情况下，用于确保for循环内字节对齐(Byte Align)的 “bit_stuffing” 是不需要的。在图2所示的发送数据生成单元110的情况下，连同具有左眼图像数据和右眼图像数据的预定节目的立体图像数据，对应于预定节目的立体图像数据的深度信息集包括在从多工器126输出的位流数据BSD中。因此，例如通过在接收侧使用深度信息集，已经根据图像内各对象的透视经历视差调整的深度信息可以用作要重叠在左眼和右眼图像上的重叠信息，诸如像OSD等的图形信息。因此，例如在像OSD的图形信息的显示时，可以保持与图像中各对象的透视一致性。此外，在图2所示的发送数据生成单元110的情况下，深度信息集包括图像显示平面的分割信息以及每个分割区域的深度信息，并且包括在插入位流数据(复用数据流)BSD描述符中，该位流数据(复用数据流)BSD具有包括图像数据并且被发送的数据流。也就是说，可以使用描述符容易地将深度信息发送到接收侧。[机顶盒的描述]返回图1，机顶盒200从广播站100接收在广播波上发送的位流数据(传输流)。该位流数据BSD包括具有左眼图像数据和右眼图像数据立体图像数据、音频数据以及深度信息集。机顶盒200包括位流处理单元201。该位流处理单元201从位流数据BSD提取立体图像数据、音频数据、深度信息集等。该位流处理单元201适当地生成具有重叠在其上的诸如OSD等的图形信息的左眼图像数据和右眼图像数据。在此情况下，提供要重叠在左眼图像上的左眼图形和要重叠在右眼图像上的右眼图形之间的视差。因此，通过提供左眼图形和右眼图形之间的视差，用户例如可以识别要重叠在立体图像上的诸如OSD等的图形信息比图像更接近。[机顶盒的配置示例]将描述机顶盒200的配置示例。图26图示机顶盒200的配置示例。该机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。此外，该机顶盒200包括CPU211、闪速R0M212、DRAM213、内部总线214、遥控接收单元215和遥控发送器216。天线端子203是用于输入由接收天线(未图示)接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并且输出对应于由用户选择的频道的预定位流数据(传输流)BSD。位流处理单元201从 位流数据BSD提取立体图像数据、音频数据等，并且输出这些。该位流处理单元201还适当地同步像OSD等的图形信息的显示数据与立体图像数据。此时，位流处理单元201适当地提供要重叠在左眼图像上的左眼图形信息和要重叠在右眼图像上的右眼图形信息之间的视差。视频信息处理电路205使在位流处理单元201获得的输出立体图像数据根据需要经历图像质量调整处理，并且将其处理后的输出立体图像数据提供到HDMI发送单元206。音频信号处理电路207使从位流处理单元201输出的音频数据根据需要经历音频质量调整处理，并且将其处理后的音频数据提供到HDMI发送单元206。HDMI发送单元206通过符合HDMI的通信例如从HDMI端子202发送未压缩的图像数据和音频数据。在此情况下，因为通过HDMI TMDS信道发送数据，所以图像数据和音频数据经历封装，并且从HDMI发送单元206输出到HDMI端子202。此外，HDMI发送单元206通过HDMI接口发送上述深度信息集到电视接收机300。稍后将描述HDMI发送单元206的细节。CPU211控制机顶盒200的每个单元的操作。闪速R0M212执行控制软件的存储和数据的存储。DRAM213配置CPU211的工作区。CPU211将从R0M212读出的软件和数据加载到DRAM213，并且启动软件以控制机顶盒200的每个单元。遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并且提供到CPU211。CPU211基于该遥控代码控制机顶盒200的每个单元。CPU211、闪速R0M212和DRAM213连接到内部总线214。
将描述位流处理单元201。位流处理单元201包括信号分离器220、视频解码器221、音频解码器224、0SD显示数据生成单元226和视频重叠单元228。信号分离器220从位流数据BSD提取视频和音频的分组，并且发送到解码器。此外，信号分离器220从位流数据BSD提取深度信息集，并且发送到OSD显示数据生成单元226和上述HDMI发送单元206。视频解码器221从在信号分离器220提取的视频分组重建视频基本流，并且执行解码处理，从而获得包括左眼图像数据和右眼图像数据的立体图像数据。音频解码器224从在信号分离器220提取的音频分组重建音频基本流，并且执行解码处理，从而获得从位流处理单元201外部输出的音频数据。OSD显示数据生成单元226生成对应于包括在立体图像数据中的左眼图像数据的左眼图形信息的数据，以及对应于包括在立体图像数据中的右眼图像数据的右眼图形信息的数据。在此情况下，OSD显示数据生成单元226基于包括在从信号分离器220提取的深度信息集中的图像平面信息或图像平面信息和视差信息，适当地提供左眼图形信息和右眼图形信息之间的视差。例如，如果基于图像平面信息，立体图像平面位于距监视器位置的近侧，那么提供已经预先确定的预定视差，使得图形信息感觉为在立体图像平面的近侧。此外，如果基于图像平面信息，立体图像平面位于与监视器位置的相同位置或者在其远离侧，则不提供视差。此外，例如，基于视差信息提供视差，使得图形信息感觉为在距立体图像平面的近侧。现在，在包括深度信息的描述符(z表面描述符)插入PMT下面情况下，使得能够在节目时段期间更新用于每个分割区域的深度信息(见图19)。OSD显示数据生成单元226通过使用以此方式更新的深度信息(例如，视差信息)，可以动态改变要提供到用于左眼和右眼的图形信息的视差。在此情况下，OSD显示数据生成单元226可以重复地对于每帧重复使用包括在某一描述符(z表面描述符)中的视差信息，直到发送下一个描述符(z表面描述符)。然而,在此情况下，在发送描述符和更新视差信`息的点，提供到左眼和右眼的视差可能突然改变，给予观看者不自然的感觉。因此，在本实施例的情况下，如果发送描述符(z表面描述符)，则OSD显示数据生成单元226不立即使用包括在该描述符中的视差信息，如图27所示。也就是说，OSD显示数据生成单元226使用根据对于多个帧的内插处理的视差信息(由虚线图示的)，以便在该多个帧上得到新的视差信息。由于该处理，可以使得用于提供视差的视差信息的时间方向(帧方向)上的改变平滑，并且可以抑制要提供到用于左眼和右眼的图形信息的视差突然改变并且观看者具有不自然感觉的情况。上述图27中图示的内插处理指示用于当前时段的深度信息包括在根据每个时段的开始时间点发送的描述符(z表面描述符)中的情况。将对于在根据每个时段的开始时间点发送的描述符(Z表面描述符)包括用于随后时段(例如，一个时段之后)的深度信息的情况下的内插处理的示例进行描述。图28图示该情况的内插处理示例。在此情况下，在时段A的开始时间点发送的描述符(z表面描述符)包括时段B的深度信息b。此外，在时段B的开始时间点发送的描述符(z表面描述符)包括时段C的深度信息C。对于在随后时段中的开始时间点发送的描述符(z表面描述符)同样如此，其中描述符包括下一个时段的深度信息。
在此情况下，执行诸如随后的内插处理，并且获得在每个时间点的内插视差信息。也就是说，在每个时段的前半，在之前时段的视差信息与当前时段的视差信息的混合比中，当前时段的混合比顺序上升，从而获得在每个时间点的内插视差信息。此外，在每个时段的后半，在当前时段的视差信息与之后时段的视差信息的混合比中，之后时段的混合比顺序上升，从而获得在每个时间点的内插视差信息。例如，通过顺序改变时段A的视差信息和时段B的视差信息的混合比，获得在从时段A的中间点到时段B的中间点的时段T_AB中的每个时间点的内插视差信息。在此情况下，时段A的视差信息从100%顺序改变为0%，并且时段B的视差信息从0%顺序改变为100%。此外，例如，通过顺序改变时段B的视差信息和时段C的视差信息的混合比，获得在从时段B的中间点到时段C的中间点的时段T_BC中的每个时间点的内插视差信息。在此情况下，时段B的视差信息从100%顺序改变为0%，并且时段C的视差信息从0%顺序改变为 100%O注意到在图28中，虚线SI代表发送的立体图像数据中视差信息曲线(视频视差曲线)的示例，并且实线S2图示根据每个时段更新的视差信息(视差更新)的示例。此外，在图28中，虚线S3图示通过内插处理获得的视差信息曲线(接收器内插曲线)的示例。由于执行诸如图28所示的内插处理，可以使得用于提供视差的视差信息的时间方向(帧方向)的改变平滑。因此，可以抑制要提供到用于左眼和右眼的图形信息的视差突然改变并且观看者具有不自然感觉的情况。视频重叠单元228将在OSD显示数据生成单元226生成的用于左眼和右眼的图形信息的数据重叠在视频解码器221获得的立体图像数据(左眼图像数据，右眼图像数据)上，并且获得用于显示的立体图像数据。视频重叠单元228然后从位流处理单元201向外输出用于显示的立体图像数据。

将简要描述机顶盒200的操作。将输入天线端子203的电视广播信号提供到数字调谐器204。利用该数字调谐器204，处理电视广播信号，并且输出对应于用户选择的频道的预定位流数据(发送流)BSD。从数字调谐器204输出的位流数据BSD提供到位流处理单元201。利用该位流处理单元201，从位流数据BSD提取立体图像数据、音频数据、深度信息集等。在位流处理单元201，相对于立体图像数据适当地同步诸如OSD等的图形信息的显示数据。此时，在位流处理单元201，基于深度信息集，在要重叠在左眼图像上用于左眼的图形信息以及要重叠在右眼图像上用于右眼的图形信息之间提供视差。因此，对于重叠在立体图像上要显示的诸如OSD等的图形信息，可以以最佳状态保持与图像中各对象的透视上的一致性。在位流处理单元201获得的用于显示的立体图像数据提供到视频信号处理电路205。在该视频信号处理电路205，根据需要对用于显示的立体图像数据执行图像质量调整等。从视频信号处理电路205输出的处理之后的用于显示的立体图像数据提供到HDMI发送单元206。此外，在位流处理单元201获得的音频数据提供到音频信号处理电路207。在音频信号处理电路207，音频数据根据需要经历音频质量调整处理。从音频信号处理电路207输出的处理之后的音频数据提供到HDMI发送单元206。提供到HDMI发送单元206的立体图像数据和音频数据通过HDMITMDS信道从HDMI端子202发送到HDMI线缆400。[电视接收机的描述]返回图1，电视接收机300接收经由HDMI线缆400从机顶盒200发送的立体图像数据。该电视接收机300包括3D信号处理单元301。该3D信号处理单元301使立体图像数据经历对应于发送格式的处理(解码处理)，从而生成左眼图像数据和右眼图像数据。该3D信号处理单元301获得构成立体图像数据的左眼图像和右眼图像。[电视接收机的配置示例]将描述电视接收机300的配置示例。图29图示电视接收机300的配置示例。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。此外，该电视接收机300包括OSD显示数据生成单元313、视频重叠单元314、视频处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大器电路311和扬声器312。此外，该电视接收机300包括CPU321、闪速R0M322、DRAM323、内部总线324、遥控接收单元325和遥控发送器326。天线端子304是 用于输入在接收天线(未图示)接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并且输出对应于由用户选择的频道的预定位流数据(传输流)。位流处理单元306已与机顶盒200的位流处理单元201相同方式配置。该位流处理单元306从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、深度信息集等。HDMI接收单元303接收通过符合HDMI的通信经由HDMI线缆400提供到HDMI端子302的未压缩的图像数据和音频数据。该HDMI接收单元303的版本例如是HDMI1. 4a，并且处于能够处理立体图像数据的状态。此外，该HDMI接收单元303利用HDMI接口从机顶盒200接收上述深度信息集。稍后将描述HDMI接收单元303的细节。3D信号处理单元301使在HDMI接收单元303接收的或在位流处理单元306获得的立体图像数据经历解码处理，并且生成左眼图像数据和右眼图像数据。3D信号处理单元301在由位流处理单元306获得的立体图像数据执行对应于发送数据格式的解码处理。此外，3D信号处理单元301对在HDMI接收单元303获得的立体图像数据执行对应于TMDS发送数据结构的解码处理。OSD显示数据生成单元313生成对应于包括在立体图像数据中的左眼图像数据的左眼图形信息的数据，并且生成对应于包括在立体图像数据中的右眼图像数据的右眼图形信息的数据。该图形信息是用于诸如菜单、节目列表等的OSD显示的重叠信息。在此情况下，OSD显示数据生成单元313基于在位流处理单元306获得的或者用HDMI接收单元303接收的深度信息，提供左眼图形信息和右眼图形信息之间的视差。注意到，OSD显示数据生成单元313基于包括在深度信息集中的图像平面信息或者图像平面信息和视差信息，适当地提供左眼图形信息和右眼图形信息之间的视差。例如，如果基于图像平面信息，立体图像平面位于距监视器位置的近侧，那么提供已经预先确定的预定视差，使得图形信息感觉为在立体图像平面的近侧。此外，如果基于图像平面信息，立体图像平面位于与监视器位置的相同位置或者在其远侧，那么不提供视差。此外，例如，基于视差信息提供视差，使得图形信息感觉为在距立体图像平面的近侧。视频重叠单元314将在OSD显示数据生成单元313生成的用于左眼和右眼的图形信息的数据重叠在3D信号处理单元301获得的立体图像数据(左眼图像数据、右眼图像数据)上，并且获得用于显示的立体图像数据。视频处理电路307基于在3D信号处理单元301生成的左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据。此外，视频处理电路307使图像数据根据需要经历图像质量调整处理。面板驱动电路308基于从视频处理电路307输出的图像数据，驱动显示面板309。显示面板309例如由IXD (液晶显示器)、Η)Ρ (等离子体显示面板)等配置。音频信号处理电路310使在HDMI接收单元303接收的或在位流处理单元306获得的音频数据执行需要的处理，诸如D/A转换等。音频放大器电路311放大从音频信号处理电路310输出的音频信号，并且将其提供到扬声器312。CPU321控制电视接收机300的每个单元的操作。闪速R0M322执行控制软件的存储和数据的存储。DRAM323构成CPU321的工作区域。CPU321将从闪速R0M322读出的软件和数据加载到DRAM323，并且控制电视接收机300的每个单元。遥控接收单 元325接收从遥控发送器326发送的遥控信号(遥控代码)，并且将其提供到CPU321。CPU321基于该遥控代码控制电视接收机300的每个单元。CPU321、闪速R0M322和DRAM323连接到内部总线324。将简要描述图29中图示的电视接收机300的操作。HDMI接收单元303接收从经由HDMI线缆400连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。在HDMI接收单元303接收的立体图像数据提供到3D信号处理单元301。此外，在该HDMI接收单元303接收的音频数据提供到音频信号处理电路310。将输入天线端子304的电视广播信号提供到数字调谐器305。利用该数字调谐器305，处理该电视广播信号，并且输出对应于用户选择的频道的预定位流数据(传送流)BSD。从数字调谐器305输出的位流数据BSD提供到位流处理单元306。利用该位流处理单元306中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、深度信息集等。此外，在位流处理单元306获得的音频数据提供到音频处理电路310。利用3D信号处理单元301，使在HDMI接收单元303接收的或在位流处理单元306获得的立体图像数据经历解码处理，并且生成全分辨率左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频重叠单元314。OSD显示数据生成单元313生成对应于包括在立体图像数据中的左眼图像数据的左眼图形信息的数据，并且生成对应于包括在立体图像数据中的右眼图像数据的右眼图形信息的数据。在此情况下，OSD显示数据生成单元313基于在位流处理单元306获得的或者用HDMI接收单元303接收的深度信息，提供左眼图形信息和右眼图形信息之间的视差。在视频重叠单元314，将在OSD显示数据生成单元313生成的用于左眼和右眼的图形信息的数据重叠在3D信号处理单元301获得的立体图像数据(左眼图像数据、右眼图像数据)上，从而获得用于显示的立体图像数据。在视频处理电路307，基于左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据，并且还根据需要执行图像质量调整处理。在该视频处理电路307获得的图像数据提供到面板驱动电路308。因此，在显示面板309上显示立体图像。例如，以时分方式交替显示根据左眼图像数据的左眼图像和根据右眼图像数据的右眼图像。观看者可以由左眼单独观看左眼图像，并且由右眼单独观看右眼图像，并且结果通过佩戴快门眼镜可以感觉立体图像，在快门眼镜中，左眼快门和右眼快门与显示面板309的显示同步交替打开。此外，在音频信号处理电路310，使在HDMI接收单元303接收的或在位流处理单元306获得的音频数据经历需要的处理，诸如D/A转换等。在音频放大器电路311放大该音频信号，并且然后将其提供到扬声器312。因此，从扬声器312输出对应于显示面板309的显示图像的音频。[HDMI发送单元和HDMI接收单元的配置示例]图30图示在图1所示的立体图像显示系统10的情况下，机顶盒200的HDMI发送单元(HDMI源)206和电视接收机300的HDMI接收单元(HDMI宿)303的配置示例。HDMI发送单元206在有效图像部分(下文中，也称为“活动视频部分”)期间在一个方向上，发送对应于值未压缩的一个屏幕的图像的像素数据的差分信号到HDMI接收单元
303。在此，有效图像部分是通过从特定垂直同步信号和下一个垂直同步信号之间的部分移除水平消隐部分和垂直消隐部分获得的部分。此外，HDMI发送单元206在水平消隐部分或垂直消隐部分期间，使用多个信道在一个方向上至少跟随图像发送对应于音频数据、控制数据、其他辅助数据等的差分信号到HDMI接收单元303。提供以下发送信道作为由HDMI发送单元206和HDMI接收单元303构成的HDMI系统的发送信道。具体地，存在三个TMDS信道#0到#2，用作用于与像素时钟同步在一个方向并行发送来自HDMI发送单元206的像素数据和音频数据到HDMI接收单元303的发送信道。此外，存在TMDS时钟信道，用作用于发送像素时钟的发送信道。HDMI发送单元 206包括HDMI发送器81。发送器81例如将未压缩图像的像素数据转换为相应的差分信号，并且通过作为多个信道的三个TMDS信道#0、#1和#2在一个方向并行发送到经由HDMI线缆400连接的HDMI接收单元303。此外，发送器81将跟随未压缩图像的音频数据、进一步需要的控制数据和其他辅助数据等转换为相应的差分信号，并且通过三个TMDS信道#0、#1和#2在一个方向并行发送到HDMI接收单元303。此外，发送器81使用TMDS时钟信道，与通过三个信道#0、#1和#2发送的像素数据同步，发送像素时钟到经由HDMI线缆400连接的HDMI接收单元303。在此，利用一个TMDS信道#i (i=0, I, 2)，在像素时钟的一个时钟期间发送10位像素数据。HDMI接收单元303使用多个信道，接收对应于在活动视频部分期间，在一个方向从HDMI发送单元206发送的像素数据的差分信号。此外，该HDMI接收单元303使用多个信道，接收对应于在水平消隐部分或垂直消隐部分期间，在一个方向从HDMI发送单元206发送的音频数据和控制数据的差分信号。具体地，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82使用TMDS信道#0、#1和#2，接收差分信号，并且该差分信号对应于在一个方向从HDMI发送单元206发送的音频数据和控制数据。在此情况下，HDMI接收器与通过TMDS时钟信道从HDMI发送单元206发送的像素时钟同步接收差分信号。除了上面的TMDS信道#0到#2以及TMDS时钟信道外，HDMI系统的发送信道包括称为DDC (显示数据信道)83和CEC线84的发送信道。DDC83是由包括在HDMI线缆400中的未显示的两条信号线构成的。DDC83用于HDMI发送单元206从HDMI接收单元303读出E-EDID (增强的扩展显示标识数据)。具体地，HDMI接收单元303包括EDID ROM (只读存储器)85，其中存储作为除了HDMI接收器81外涉及它自身性能(配置/容量)的性能信息的E-EDID。HDMI发送单元206例如响应于来自CPU211的请求，经由DDC83从经由HDMI线缆400连接的HDMI接收单元303 读出 E-EDID (见图 26)。HDMI发送单元206发送读出的E-EDID到CPU211。CPU211在闪速R0M212或DRAM213中存储该E-EDID0 CPU211基于E-EDID，识别HDMI接收单元303的性能设置。例如，CPU211识别包括在HDMI接收单元303中的电视接收机300是否可以处理图像数据，并且如果可以处理立体图像数据，就进一步识别可以处理什么种类的TMDS发送数据结构。CEC线84由包括在HDMI线缆400中的未示出的一条信号线构成，并且用于执行用于HDMI发送单元206和HDMI接收单元303之间控制的数据的双向通信。该CEC线84构成控制数据线。此外，HDMI线缆400包括连接到称为HPD (热插拔检测)的管脚的线(HPD线)86。源设备可以通过利用该线86检测宿设备的连接。注意到，该HPD线86还用作构成双向通信路径的HEAC-线。此外，HDMI线缆400包括用于从源设备提供功率到宿设备的线(电源线)87。此外，HDMI线缆400包括应用线88。该应用线88用作构成双向通信路径的HEAC+线。

图31图示TMDS发送数据的结构示例。该图31图示在使用TMDS信道#0、#1和#2发送具有1920像素X 1080线的宽度X长度的图像数据情况下的各种类型的发送数据的各部分。在其中使用HDMI的三个TMDS信道#0、#1和#2发送发送数据的视频场(视频场)的情况下，根据发送的类型存在三个类型的部分。这三个类型的部分是视频数据部分(视频数据时段)、数据岛部分(数据岛时段)和控制部分(控制时段)。在此，视频场部分是从特定垂直同步信号的前缘(活动边缘)到下一个垂直同步信号的前缘的部分。该视频场部分分为水平消隐时段(水平消隐)、垂直消隐时段(垂直消隐)和活动视频部分(活动视频)。该活动视频部分是通过从视频场部分移除水平消隐时段和垂直消隐时段获得的部分。视频数据部分分配到活动视频部分。在该视频数据部分的情况下，发送构成值未压缩的一个屏幕的图像数据的值1920像素X 1080线的有效像素(有效像素)的数据。数据岛部分和控制部分分配到水平消隐时段和垂直消隐时段。在数据岛部分和控制部分的情况下，发送辅助数据(辅助数据)。也就是说，数据岛部分分配给水平消隐时段和垂直消隐时段的一部分。在该数据岛部分的情况下，发送辅助数据的不涉及控制的数据(例如，音频数据的分组等)。将控制部分分配给岛水平消隐时段和垂直消隐时段的另一部分。在该控制部分的情况下，发送辅助数据的涉及控制的数据(例如，垂直同步信号和水平同步信号、控制分组
O图32图示HDMI端子的管脚分配的示例。图32中图示的管脚分配称为类型(类型A)。作为TMDS信道#i的差分信号的TMDS数据#i+和TMDS数据#i由作为差分线的两条线发送。这两条线连接到对其分配TMDS数据#i+的管脚(具有1、4或7的管脚号的管脚)和对其分配TMDS数据#1-的管脚(具有3、6或9的管脚号的管脚)。此外，其中发送作为用于控制的数据的CEC信号的CEC线84连接到其管脚号是13的管脚。此外，其中发送诸如E-EDID等的SDA (串行数据)信号的线连接到其管脚号是16的管脚。其中发送SCL (串行时钟)信号的线连接到其管脚号是15的管脚，SCL (串行时钟)信号是在SDA信号的发送/接收时用于同步的时钟信号。上述DDC83由发送SDA信号的线和发送SCL信号的线配置。此外，如上所述用于源设备检测宿设备的连接的HDP线(HEAC-线)86连接到其管脚号是19的管脚。此外，应用线(HEAC+线)88连接到其管脚号是14的管脚。此外，如上所述用于提供电源的线87连接到其管脚号是18的管脚。[利用HDMI发送深度信息集的方法]对于利用HDMI接口发送深度信息集的方法，例如可以构思使用HDMI厂商专用信息中贞(Vendor Specific InfoFrame)的方法。在该方法的情况下,在HDMI厂商专用信息中贞分组中，设置HDMI_Video_Format=〃010〃和3D_Meta_present=l,并且指定厂商专用信息中贞扩展。在此情况下，3D_Metadata_type例如定义为未使用的“ 100”,并且指定深度信息集。图33图示HDMI厂商专用信息帧的分组结构。该HDMI厂商专用信息帧以CEA-861-D定义，所以将省略其详细描述。指示图像数据的类型的3位信息“HDMI_Vide0_F0rmat”位于第4字节(PB4)的第7位到第5位。如果图像数据是3D图像数据，那么这三位的信息是“010”。此外，如果图像数据是以此方式的3D图像数据，那么指示TMDS发送数据的结构的4位信息“3D_StrUCtUre”位于第5字节(PB5)的第7位到第4位。例如，在帧封装格式的情况下，这四位的信息是“0000”。 此外，“3D_Meta_present”位于第5字节(PB5)的第三位,并且在指定厂商专用信息帧扩展的情况下，这一个字节设为“I”。此外，“3D_Metadata_type”位于第7字节(PB7)的第7位到第5位。如果指定深度信息集的信息，那么这3位的信息例如设为未使用“ 100”。此外，“3D_Metadata_length”位于第7字节(PB7)的第4位到第O位。这5位信息指示随后3D_Metadata区域的长度。此外，2位信息“display_partition_type”位于第8字节(PB8)的第7位到第6位。此外，4位信息“number_of_partition”位于第8字节(PB8)的第3位到第O位。随后,放置数目对应于图像显示平面的分割数目的深度信息。该深度信息包括“z_cbpth_negatiVe”的I位信息(图像平面信息)，并且此外，当“diSparity_ValUe_flag”指示视差信息存在时，包括“absolute_disparity_value” 的 8 位信息。如上所述，在图1所示的图像发送/接收系统10的情况下，连同具有左眼图像数据和右眼图像数据的预定节目的立体图像数据，从广播站100 (发送数据生成单元201)发送对应于该立体图像数据的深度信息集到机顶盒200和电视接收机300。因此，在接收侧，通过使用该深度信息集，根据与图像中各对象的透视经历视差调整的诸如例如像OSD等的图形信息可以用作要重叠在左眼图像和右眼图像上的重叠信息。因此，这使得能够在显示例如OSD等的图形信息时，保持与图像中的每个对象透视上的一致性。此外，在图1所示的图像发送/接收系统10的情况下，从广播站100(发送数据生成单元201)发送到机顶盒200和电视接收机300的深度信息集包括图像显示平面的分割信息和每个分割区域的深度信息，并且已经包括在插入位流数据(复用数据流)BSD的描述符中发送，该位流数据具有包括立体图像数据的数据流。也就是说，广播站100可以使用描述符容易地发送深度信息集到接收侧。此外，在图1所示的图像发送/接收系统10的情况下，连同预定节目的立体图像数据，与其对应的深度信息集(包括图像显示平面的分割信息和每个分割区域的深度信息)经由HDMI线缆400从机顶盒200发送到电视接收机300。因此，在电视接收机300，通过使用该深度信息集，根据与图像中各对象的透视经历视差调整的诸如例如像OSD等的图形信息可以用作要重叠在左眼图像和右眼图像上的重叠信息。因此，这使得能够在显示诸如例如OSD等的图形信息时，保持与图像中的每个对象透视上的一致性。<2.修改〉

注意到，在上述实施例的情况下，已经图示这样的安排，其中由广播站100、机顶盒200和电视接收机300配置图像发送/接收系统10。然而，电视接收机300具有位流处理单元306，其等价于机顶盒200内的位流处理单元201运行，如图29所示。因此，还可以构思如图34所示的图像发送/接收系统10A，其由广播站100和电视接收机300配置。此外，在上述实施例的情况下，已经图示这样的安排，其中HDMI厂商专用信息帧用作用于从机顶盒200发送深度信息集到电视接收机300的方法。可替代地，可以构思使用活动空间(Active Space)并且此外在由HPD线86 (HEAC-线)和应用线88 (HEAC+线)配置的双向通信路径上发送的方法。此外，在上述实施例的情况下，已经图示这样的安排，其中机顶盒200和电视接收机300通过HDMI数字接口连接。然而，不用说即使在这些通过类似于HDMI数字接口的数字接口(除了线缆外，包括无线)连接的情况下，也可以应用本发明。此外，在上述实施例的情况下，已经图示这样的安排，其中在位流处理单元201使用的深度信息集通过HDMI接口从机顶盒200发送到电视接收机300。然而，不用说用于以此方式经由HDMI接口发送深度信息集的技术还可以应用于其他源设备和宿设备的组合。例如，可构思的源设备包括诸如BD和DVD等的盘播放器，以及此外的游戏设备等，并且可构思的宿设备包括监视器设备、投影仪设备等。工业应用性本发明实现在立体图像显示时重叠信息(诸如例如像OSD的图形信息)的良好显示，并且可应用于立体图像显示系统等。参考标号列表10, IOA立体图像显示系统100广播站110发送数据生成单元111L，IllR 相机112视频构造单元113视差图创建单元114麦克风115数据提取单元
116到118切换开关
119视频编码器
120音频编码器
122深度信息集创建单元
126多工器
200机顶盒(STB)
201位流处理单元
202HDMI端子
203天线端子
204数字调谐器
205视频处理电路
206HDMI发送单元
207音频处理电路
211CPU
215遥控接收单元
216遥控发送器
220信号分离器
221视频解码器
224音频解码器
226OSD显示数据生成单元
228视频重叠单元
300电视接收机(TV)
3013D信号处理单元
302HDMI端子
303HDMI接收单元
304天线端子
305数字调谐器
306位流处 理单元
307视频处理单元
308面板驱动电路
309显示面板
310音频处理电路
311音频放大器电路
312扬声器
313OSD显示数据生成单元
314视频重叠单元
321CPU
325遥控接收单元
326遥控发送器
400 HDMI 线缆
权利要求
1.一种立体图像数据发送设备，包括图像数据输出单元，配置为输出构成立体图像的左眼图像数据和右眼图像数据；深度信息输出单元，配置为输出对应于所述立体图像的深度信息；以及发送单元，配置为发送所述图像数据和所述深度信息；其中，所述深度信息包括图像显示平面的分割信息以及分割区域的深度信息；并且其中，所述发送单元发送具有包括所述图像数据的数据流的复用数据流，并且将包括所述深度信息的描述符插入所述复用数据流。
2.如权利要求1所述的立体图像数据发送设备，其中所述深度信息是指示立体图像平面是否在距监视器位置的近侧的图像平面信息。
3.如权利要求2所述的立体图像数据发送设备，其中所述图像平面信息是构成左眼图像和右眼图像的视差信息的代码信息。
4.如权利要求1所述的立体图像数据发送设备，其中所述深度信息是指示立体图像平面是否在距监视器位置的近侧的图像平面信息，或者是所述图像平面信息和左眼图像和右眼图像的视差信息；并且其中，指示所述视差信息存在的标记信息插入所述深度信息。
5.如权利要求4所述的立体图像数据发送设备，其中所述深度信息是构成所述视差信息的代码息，或者是构成所述代码息和所述视差息的绝对值信息。
6.如权利要求1所述的立体图像数据发送设备，其中所述复用数据流包括用作节目专用信息的节目图表，其指示包括在所述复用数据流中的每个基本流所属于的节目；并且其中，所述描述符插入所述节目图表下面。
7.如权利要求1所述的立体图像数据发送设备，其中所述复用数据流包括用作服务信息的事件信息表，用于以事件为增量执行管理；并且其中，所述描述符插入所述事件信息表下面。
8.如权利要求1所述的立体图像数据发送设备，其中所述分割信息由指示分割类型的信息和指示分割数目的信息构成。
9.如权利要求8所述的立体图像数据发送设备，其中所述分割类型包括其中使用对角线分割所述图像显示平面的分割类型。
10.如权利要求8所述的立体图像数据发送设备，其中所述分割类型包括其中使用水平方向线和/或垂直方向线分割所述图像显示平面的分割类型。
11.如权利要求1所述的立体图像数据发送设备，其中所述发送单元对应于所述图像数据的每个预定时段的开始时间点，将所述描述符插入所述复用数据流；并且其中，对应于每个预定时段的开始时间点插入所述复用数据流的描述符包括比所述时段更晚时段的深度信息。
12.—种立体图像数据发送方法，包括图像数据输出步骤，用于输出构成立体图像的左眼图像数据和右眼图像数据；深度信息输出步骤，用于输出对应于所述立体图像的深度信息；以及发送步骤，用于发送所述图像数据和所述深度信息；其中，所述深度信息包括图像显示平面的分割信息以及分割区域的深度信息；并且其中，在所述发送步骤中，发送具有包括所述图像数据的数据流的复用数据流，并且将包括所述深度信息的描述符插入所述复用数据流。
13.—种立体图像数据发送设备，包括图像数据输出单元，配置为输出构成立体图像的左眼图像数据和右眼图像数据；深度信息输出单元，配置为输出对应于所述立体图像的深度信息；以及发送单元，配置为发送所述图像数据和所述深度信息；其中，所述深度信息包括图像显示平面的分割信息以及分割区域的深度信息；并且其中，所述深度信息是指示立体图像平面是否在距监视器位置的近侧的图像平面信息。
14.一种立体图像数据接收设备，包括接收单元，配置为接收具有包括构成立体图像的左眼图像数据和右眼图像数据的数据流的复用数据流，所述复用数据流中插入包括对应于所述立体图像的深度信息的描述符，所述深度信息由图像显示平面的分割信息以及分割区域的深度信息构成；重叠信息数据输出单元，配置为输出从所述复用数据流获得的对应于所述左眼图像数据的左眼重叠信息的数据，以及从所述复用数据流获得的对应于所述右眼图像数据的右眼重叠信息的数据；以及数据重叠单元，配置为将所述左眼重叠信息的数据和所述右眼重叠信息的数据重叠在从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据上；其中，所述重叠信息数据输出单元基于从所述复用数据流获得的所述深度信息，提供所述左眼重叠信息的数据和所述右眼重叠信息的数据之间的视差。
15.如权利要求14所述的立体图像数据接收设备，其中，在基于包括在所述深度信息中的视差信息提供所述左眼重叠信息的数据和所述右眼重叠信息的数据之间的视差时，如果通过在所述接收单元接收的新的所述描述符更新视差信息，那么所述重叠信息数据输出单元对于多个帧使用通过内插处理获得的视差信息，以便在所述多个帧上达到所述新的视差/[目息。
16.如权利要求14所述的立体图像数据接收设备，其中已经对应于所述图像数据的每个预定时段的开始时间点，将所述描述符插入所述复用数据流；并且其中，对应于每个时段的开始时间点插入所述复用数据流的描述符包括比所述时段更晚时段的深度信息；并且其中，在每个时段中提供所述左眼重叠信息的数据和所述右眼重叠信息的数据之间的视差时，所述重叠信息数据输出单元使用通过内插处理获得的视差信息，所述内插处理使用包括在所述时段和所述时段之前和之后的时段的所述深度信息中的视差信息。
17.—种立体图像数据接收设备，包括接收单元，配置为接收具有包括构成立体图像的左眼图像数据和右眼图像数据的数据流的复用数据流，所述复用数据流中插入包括对应于所述立体图像的深度信息的描述符，所述深度信息由图像显示平面的分割信息以及分割区域的深度信息构成；以及发送单元，配置为经由发送路径，发送从所述复用数据流获得的所述左眼图像数据和所述右眼图像数据以及所述深度信息到外部设备。
18.如权利要求17所述的立体图像数据接收设备，其中所述发送单元通过差分信号，经由多个信道中的所述发送路径，发送所述图像数据到所述外部设备；并且其中，所述深度信息插入所述图像数据的消隐时段中，从而发送所述深度信息到所述外`部设备。
全文摘要
[问题]在显示立体图像时，在诸如OSD或其他图形信息的重叠信息的显示中，容易地保持图像中各对象之间距离感知的一致性。[解决方案]深度信息输出单元输出对应于立体图像的深度信息。深度信息包括代表图像显示平面的分割的信息以及用于每个分割区域的深度信息。深度信息由例如指示立体图像平面是否位于监视器位置前面的图像平面信息，或者由该图像平面信息和视差信息的组合构成。指示视差信息存在的标记信息插入深度信息。深度信息包括在插入PMT、EIT之下的描述符或者复用数据流的其他表中，并且发送深度信息。
文档编号H04N13/00GK103053166SQ20118003760
公开日2013年4月17日 申请日期2011年11月1日 优先权日2010年11月8日
发明者塚越郁夫 申请人:索尼公司