立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器的制作方法

专利名称：立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器的制作方法
技术领域：
本发明涉及立体图像数据传输设备、立体图像数据传输方法和立体图像数据接收方法，具体地，涉及能够对叠加信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等) 适当地进行显示的立体图像数据传输设备、立体图像数据传输方法和立体图像数据接收方法等。
背景技术：
例如，PTL 1中提出了将电视广播无线电波(airwave)用于立体图像数据的传输方法。在这种情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且利用双目视差(binocular disparity)在电视接收器上进行立体图像显示。图M利用双目视差图示了关于立体图像显示的、屏幕上对象的左右图像(对象) 的显示位置和立体图像的播放位置的关系。例如，对于利用显示为平移到右方的左图La和显示为平移到左方的右图Ra显示的对象A，左右视线在屏幕表面的近端交叉，因此立体图像的播放位置在屏幕表面的近端。此外，例如，对于利用在同一位置显示的左图Lb和右图Rb显示的对象B，左右视线在屏幕表面交叉，因此立体图像的播放位置在屏幕表面。进一步，例如，对于利用显示为平移到左方的左图Lc和显示为平移到右方的右图Rc显示的对象C，左右视线在屏幕表面的远端交叉，因此立体图像的播放位置在屏幕表面的远端。引用列表专利文献PTL 1 日本待审专利申请公开第2005-6114号

发明内容
技术问题如上所述，对于立体图像显示，观看者通常通过利用双目视差识别立体图像的透视。存在这样的期望结合不仅作为二维空间感觉而且作为三维深度感知的立体图像显示， 使要在图像上叠加的叠加信息(例如，闭路字幕信息、字幕信息、图形信息、文本信息等)也经历渲染(rendering)。例如，在作为闭路字幕信息或字幕信息的字幕经历叠加显示(覆盖显示)的情形下，除非像在用于透视领域中那样，字幕显示在图像内的最近对象的前面，否则观看者可能感觉到透视的冲突。此外，即使同样以叠加方式将另一图形信息或文本信息显示在图像上， 也已期望使其根据图像内每个对象的透视来经历调节，并且期望保持透视的一致性。本发明的目标是针对叠加信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)的显示，实现图像内各对象之间透视的一致性的保持。问题的解决方案
本发明的构思是一种立体图像数据传输设备，其包括编码单元，其配置为对包括左眼图像数据和右眼图像数据的立体图像数据进行编码，以使得获得编码视频数据；叠加信息数据产生单元，其配置为产生要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据；视差信息输出单元，其配置为输出视差信息，以将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息；以及传输单元，其配置为发送从所述编码单元获得的编码视频数据、在所述叠加信息数据产生单元上产生的叠加信息数据以及从所述视差信息输出单元输出的视差信息。利用本发明，由编码单元进行编码，以使得将包括左眼图像数据和右眼图像数据的立体图像数据编码，并且获得编码视频数据。例如，编码单元对包括左眼图像数据和右眼图像数据的立体图像进行基于诸如MPEG 2、H. 264AVC或VC-I之类的编码方法的编码。此外，在叠加信息数据生成单元上产生要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据，注意，叠加信息是指要显示叠加在图像上的信息，如用于显示字幕的闭路字幕信息、字幕信息、用于显示图形(如，标志(logo)等)、电子节目指南(EPG， Electronic Program Guide)的图形信息、用于显示图文电视广播的文本信息等。此外，视差信息输出单元输出用以将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息。例如，向在所述叠加信息数据产生单元上产生的每个叠加信息数据添加标识符，并且从所述视差信息输出单元输出的每个叠加信息数据的视差信息已向其添加了与提供至对应叠加信息数据的标识符相对应的标识符。通过由此将标识符添加至每一叠加信息数据和视差信息，叠加信息数据和视差信息可以相关联。这里，标识符对应的术语是指相同的标识符或相关联的标识符。例如，所述视差信息输出单元包括视差信息确定单元，其用于针对在所述叠加信息数据产生单元上产生的每个叠加信息数据，根据所述左眼图像数据和所述右眼图像数据的图像的内容来确定所述视差信息，并且所述视差信息输出单元输出在所述视差信息确定单元上确定出的视差信息。在这种情况下，例如，所述视差信息确定单元包括视差信息检测单元，其配置为基于所述左眼图像数据和所述右眼图像数据，在图像内的多个位置上检测左眼图像和右眼图像之一对于另一个的视差信息；并且在所述视差信息检测单元上检测到的多个视差信息当中，为每个所述叠加信息确定在对应于叠加位置的检测位置上检测到的视差信息。此外，例如，所述视差信息输出单元包括视差信息设置单元，其配置为设置在所述叠加信息数据产生单元上产生的每个叠加信息数据的所述视差信息；并且视差信息输出单元输出在所述视差信息设置单元上设置的视差信息。在视差信息设置单元，例如通过预定的程序处理或者用户的手动操作，为每个叠加数据设置视差信息的设置。例如，根据叠加位置设置不同的视差矢量，或者设置公共的视差信息而不管叠加位置如何，或者设置依据叠加信息的类型而不同的视差信息。现在，叠加信息的类型例如是诸如闭路字幕信息、字幕信息、图形信息、文本信息之类的类型。此外，叠加的类型例如是由叠加位置、叠加时间的持续期等分类的类型。此外，例如，所述视差信息输出单元包括视差信息确定单元，其配置为针对在所述叠加信息数据产生单元上产生的每个叠加信息数据，根据所述左眼图像数据和所述右眼图像数据的图像的内容来确定所述视差信息；以及视差信息设置单元，其配置为设置在所述叠加信息数据产生单元上产生的每个叠加信息数据的所述视差信息，其中在所述视差信息确定单元上确定出的视差信息以及在所述视差信息设置单元上确定出的视差信息被选择性地输出。此外，所述传输单元发送从所述编码单元获得的编码视频数据、在所述叠加信息数据产生单元上产生的叠加信息数据以及从所述视差信息输出单元输出的视差信息。例如，从所述视差信息输出单元输出的视差信息包括在视频基本流的头部部分的用户数据区域中，所述视频基本流在有效负荷部分中包括在所述编码单元上获得的编码视频数据。此外，例如，将指示所述叠加信息的叠加位置的信息和指示所述叠加信息的显示时间的信息中的一个或两者添加至所述视差信息，并且进行发送。因此，例如，将指示叠加位置和显示时间的信息添加至视差信息并且由此进行发送指这些信息无需添加至叠加信息数据并进行发送。由此，利用本发明，连同通过对包括左眼图像数据和右眼图像数据的立体图像数据进行编码所获得的编码视频数据一起发送叠加信息数据和视差信息。据此，在接收方，可以将根据图像内对象的透视经历视差调节的叠加信息用作与叠加在左眼图像和右眼图像上的叠加信息相同的叠加信息(闭路字幕信息、字幕信息、图形信息、文本信息等)，并且可以在显示叠加信息时保持图像中各对象之间的透视的一致性。此外，本发明的构思是一种立体图像数据接收设备，其包括接收单元，其配置为接收通过对包括左眼图像数据和右眼图像数据的立体数据进行编码所获得的编码视频数据、要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据，以及用于将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的所述叠加信息的视差信息；解码单元，其配置为对在所述接收单元上接收到的所述编码视频数据进行解码， 以使得获得所述立体图像数据；以及图像数据处理单元，其配置为基于在所述接收单元上接收到的所述视差信息，将视差提供至与包括在所述解码单元上获得的立体图像数据中的、在所述接收单元上接收到的要叠加在左眼图像数据和右眼图像数据的图像上的所述叠加信息数据的叠加信息相同的叠加信息，从而获得所述叠加信息已叠加到其上的左眼图像的数据和所述叠加信息已叠加到其上的右眼图像的数据。利用本发明，连同通过对包括左眼图像数据和右眼图像数据的立体图像数据进行编码所获得的编码视频数据一起发送叠加信息数据和视差信息。解码单元对在接收单元上接收到的编码视频数据进行解码，以使得获得包括左眼图像数据和右眼图像数据的立体图像数据。此外，基于在所述解码单元上获得的立体图像数据中包括的左眼图像数据以及在所述接收单元上接收到的叠加信息数据，所述图像数据处理单元获得叠加了叠加信息的左眼图像和叠加了叠加信息的右眼图像的数据。在这种情况下，基于在接收单元上接收到的视差信息，将视差提供要在左眼图像数据和右眼图像数据的图像上叠加的叠加图像。据此， 可以在显示叠加信息(闭路字幕信息、字幕信息、图形信息、文本信息等)时保持图像中各对象之间的透视的一致性。发明的有益效果根据本发明，在立体图像数据的接收方，可以将根据图像内对象的透视经历视差调节的叠加信息用作与叠加在左眼图像和右眼图像上的叠加信息相同的叠加信息，并且可以在显示叠加信息(闭路字幕信息、字幕信息、图形信息、文本信息等)时保持图像中各对象之间的透视的一致性。


图1是图示用作本发明实施例的立体图像显示系统的配置示例的框图。图2是图示广播站中的传输数据产生单元的配置示例的框图。图3是1920 X IOSOp的像素格式的图像数据的图。图4是用于描绘作为立体图像数据(3D图像数据)传输方法的“上下”法、“并排” 法和“帧顺序”法的图。图5是用于描述用以检测对应于左眼图像的右眼图像的视差矢量的示例的图。图6是用于描述通过使用框匹配法获得视差矢量的图。图7是图示图像内预定位置中的要在视差矢量检测单元上检测的视差矢量VV的示例的图。
图8是图示视差矢量的传输内容的图。
图9是图示是视差检测框示例以及这种情况下视差矢量的传输内容的图。 图10是描述用于检测和发送视差矢量的时刻的示例的图。 图11是描述用于检测和发送视差矢量的时刻的示例的图。 图12是图示要在传输数据产生单元上多路复用的每个数据的流示例的图。 图13是图示广播站中的传输数据产生单元的另一配置示例的框图。 图14是用于在传输方法是第一传输方法(“上下”法)的情形下描述左眼图形ii
‘、.-
息和右眼图形信息的叠加位置等的图。图15是用于在传输方法是第一传输方法(“上下”法)的情形下描述用于产生左眼图形信息和右眼图形信息的方法的图。图16是用于在传输方法是第二传输方法(“并排”法)的情形下描述用于产生左眼图形信息和右眼图形信息的方法的图。图17是用于在传输方法是第二传输方法(“并排”法)的情形下描述用于产生左眼图形信息和右眼图形信息的方法的图。图18是图示广播站中的传输数据产生单元的另一配置示例的框图。图19是图示广播站中的传输数据产生单元的另一配置示例的框图。图20是用于描述“Location(定位)”和“Region size(区域大小)”的信息的图。图21是图示用于为每个叠加信息输出视差信息的Z数据单元的配置示例的框图。图22是示意地图示视频基本流的配置示例的图。图23是图示编码格式为MPEG2、H. 264AVC和VC-I的用户数据的配置示例的图。图M是图示包括视差信息(视差矢量)的“userjtructure”的配置示例的图。图25是图示广播站中的传输数据产生单元的另一配置示例的框图。
图沈是图示广播站中的传输数据产生单元的另一配置示例的框图。图27是在传输方法是第二传输方法(“并排”法)的情形下图示左眼图形信息和右眼图形信息的叠加位置等的图。图观是图示将由从位流数据提取出的要用传统方法发送的图形数据形成的图形图像按照原样叠加在左眼图像和右眼图像上的状态。图四是图示时间点时间TO、Tl、T2和T3时三个对象位置中的视差矢量(View Vector，观察矢量)的图。图30是图示图像上的字幕(图形信息)、背景、近视图对象(close-up viewobject)和字幕的透视的显示示例的图。图31是图示图像上的字幕(图形信息)和用于显示字幕的左眼图形信息LGI与右眼图形信息RGI的显示示例的图。图32是图示在图像内的多个位置中检测到的视差矢量中的那个视差矢量的图， 对应于其叠加位置的视差矢量用作视差矢量。图33是图示图像内存在三个对象A、B和C并且将指示每个对象的标记的文本信息叠加于这些对象中每个对象的邻近位置的图。图34是图示形成立体图像显示系统的机顶盒的配置示例的框图。图35是图示形成机顶盒的位流处理单元的配置示例的框图。图36是图示在关于视差矢量VV1、朝向电视显示器的左侧视频对象更大的情形下的扬声器输出控制示例的图。图37是图示形成机顶盒的位流处理单元的另一配置示例的框图。图38是图示形成机顶盒的位流处理单元的另一配置示例的框图。图39是图示形成机顶盒的位流处理单元的另一配置示例的框图。图40是图示形成机顶盒的位流处理单元的另一配置示例的框图。图41是图示形成机顶盒的位流处理单元的另一配置示例的框图。图42是图示形成立体图像显示系统的电视接收器的配置示例的框图。图43是图示HDMI发送单元(HDMI信源)和HDMI接收单元(HDMI信宿)的配置示例的框图。图44是图示形成HDMI发送单元的HDMI发送器和形成HDMI接收单元的HDMI接收器的配置示例的框图。图45是图示TMDS传输数据的配置示例的图(在发送宽X长为1920像素X 1080 线的图像数据的情形下)。图46是图示信源设备和信宿设备的HDMI线缆连接到的HDMI端子的引脚排列 (alignment)(类型 A)的图。图47是以第一传输方法(“上下”法)图示TMDS传输数据的示例的图。图48是以第二传输方法(“并排”法)图示TMDS传输数据的示例的图。图49是以第三传输方法(“帧顺序”法)图示TMDS传输数据的示例的图。图50是用于描述对于HDMI 1. 4 (New HDMI，新HDMI)的“帧顺序”法和对于HDMI 1.3 (Legacy HDMI，传统HDMI)的“帧顺序”法的图。图51是图示形成机顶盒的位流处理单元的另一配置示例的框图。
图52是图示形成机顶盒的位流处理单元的另一配置示例的框图。图53是图示立体图像显示系统的另一配置示例的框图。图M是利用双目视差图示屏幕上对象的左右图像的显示位置与对于立体图像显示的其立体图像的播放位置之间的关系的图。
具体实施例方式下文描述用于实施本发明的方式(下文称为“实施例”)。注意，将以下列顺序进行描述。1.实施例2.变型<1.实施例〉[立体图像显示系统的配置示例]图1图示用作实施例的发送/接收系统10的配置示例。该发送/接收系统10包括广播站100、机顶盒(STB =Set Top Box) 200和电视接收器300。机顶盒200和电视接收器300经由HDMI (High Definition Multimediahterface，高清多媒体接口)400连接。对于机顶盒200，配备了 HDMI端子202。 对于电视接收器300，配备了 HDMI端子302。HDMI线缆400的一端连接至机顶盒200的 HDMI端子202，该HDMI线缆400的另一端连接至电视接收器300的HDMI端子302。[广播站的描述]广播站100通过在广播无线电波上携带位流数据来发送该位流数据。该位流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、视频数据、叠加信息数据、进一步的视差信息(视差矢量)等。这里，叠加信息数据包括闭路字幕数据、字幕数据、图形数据、 文本数据等。[传输数据产生单元的配置示例]图2图示用于在广播站100产生上述位流数据的传输数据产生单元110的配置示例。该配置示例是发送视差矢量作为数字信息的示例。该传输数据产生单元110包括相机 IllL和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。此外，该传输数据产生单元110包括麦克风116和音频编码器117。进一步，传输数据产生单元110包括字幕和图形产生单元118、字幕和图形编码器119、文本产生单元120、 文本编码器121和多路复用器122。相机IllL拍摄左眼图像以获得用于立体图像显示的左眼图像数据。相机IllR拍摄右眼图像以获得用于立体图像显示的右眼图像数据。视频成帧单元112将相机IllL上获得的左眼图像数据和IllR上获得的右眼图像数据处理至基于传输方法的状态。[立体图像数据的传输方法示例]现在将下列的第一 第三方法引用为立体图像数据(3D图像数据)的传输方法， 但是其可以是除了这些以外的传输方法。这里，如图3中所示，将针对左眼(L)和右眼(R) 图像数据的每一个均是具有确定的分辨率(例如，作为示例的1920X1080p的像素格式) 的图像数据的情况进行描述。第一传输方法是“上下”法，并且如图4(a)中所示，其是用于在垂直方向的前一半中发送左眼图像数据的像素数据并且在垂直方向的后一半中发送右眼图像数据的像素数据的方法。在这种情况下，左眼图像数据和右眼图像数据的线被稀疏到1/2，从而垂直分辨率降低到原始信号的一半。第二传输方法是“并排”法，并且如图4(b)中所示，其是用于在水平方向的前一半中发送左眼图像数据的像素数据并且在水平方向的后一半中发送右眼图像数据的像素数据的方法。在这种情况下，对于左眼图像数据和右眼图像数据中的每一个，水平方向上的像素数据均都稀疏到1/2，从而水平分辨率降低到当前信号的一半。第三传输方法是“帧顺序”法，并且如图4(c)中所示的，其是通过针对每场依次切换左眼图像数据和右眼图像数据以发送左眼图像数据和右眼图像数据的方法。返回图2，视频编码器113使得在视频成帧单元112上处理的立体图像数据经历诸如MPEG4-AVC、MPEG2、VC-I之类的编码，以获得编码视频数据。此外，视频编码器113在后级包括流格式器113a。根据该视频编码器113，产生了有效负荷部分包括编码后视频数据的视频的基本流。视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是图像内预定位置中关于左眼图像和右眼图像之一的另一个视差信息。这里，图像内的预定位置包括所有像素位置、多个像素形成的每一个区域的代表性位置、或在这里叠加在叠加信息当中的图形信息或文本信息的区域的代表性位置等。[视差矢量的检测]将描述视差矢量的检测示例。这里，将针对检测右眼图像关于左眼图像的视差的情况进行描述。如图5所示，将左眼图像当作检测图像，而将右眼图像当作基准图像。利用该示例，检测位置(xi，yi)和(xj，yj)的视差矢量。作为示例，将针对检测位置(xi，yi)的视差矢量的情况进行描述。在这种情况下，Bi的像素块(视差检测块)。在这种情况下，将以像素位置(xi，yi)作为左上的(例如)8X8或16X16的像素块(视差检测块)Bi设置到左眼图像。然后，利用右眼图像，检索与像素块Bi匹配的像素块。在这种情况下，将位置(xi，yi)作为中心的检索范围设置到右眼图像，并且利用检索范围内依次被认为是感兴趣像素的每个像素来依次设置(例如)8X8或16X 16的比较块(其类似于上述像素块Bi)。获得对于像素块Bi和依次设置的比较块之间的每个对应像素的差绝对值之总和。这里，如图6所示，如果我们认为像素块Bi的像素值为L(x，y)， 并且比较块的像素值为R(x，y)，则用Σ |L(x，y)-R(x，y)|表示像素块Bi和某个比较块之间的差绝对值之总和。当在设置到右眼图像的检索范围中包括η个像素时，最终获得了在其之中选择出最小总和Smin的η个总和Sl Sn。然后，从已经据以获得总和Smin的比较块中获得左上像素的位置(xi'，yi')。由此，检测位置(xi，yi)的视差矢量，如(xi' -xi,yi' -yi)。 尽管将省略详细描述，但是同样对于位置(xj，yj)中的视差矢量，将以像素位置(xj，yj)作为左上的(例如)8X8或16X16的像素块Bi设置到左眼图像，并且以相同的处理进行检测。图7(a)图示了图像内预定位置中的要在视差矢量检测单元114上检测的视差矢量VV的示例。这种情况意味着如图7(b)所示那样，对于该图像内的预定位置，当将左眼图像(检测图像)平移视差矢量VV时，覆盖了右眼图像(基准图像)。返回到图2，视差矢量编码器115产生视差矢量(其包括在视差矢量检测单元 114上检测到的视差矢量)的基本流等。这里，视差矢量的基本流包括下列内容。确切地，将 ID(ID_Block)，垂直位置信息(Vertical_Position)、水平位置信息(Horizontal, Position)和视差矢量(VieW_Vect0r)设置为一个组。然后，将这一个组重复次数N(其为视差检测块的数量)。图8图示了视差矢量的传输内容。视差矢量包括垂直方向分量(View_ Vector_Vertical)禾口水平方向分量(View_Vector_Horizontal)。注意，视差检测块的垂直和水平位置变为垂直方向和水平方向上从图像的左上原点到块的左上像素的偏移值。视差检测块的ID添加至每个视差矢量的传输的原因是要链接至要在图像上叠加并显示的叠加信息模式(如，字幕信息、图形信息、文本信息等)。例如，如图9(a)所示，当存在视差检测块A F时，传输内容如图9(b)所示那样包括视差检测块A F的ID、垂直和水平位置信息以及视差矢量。例如，在图9(b)中，对于视差检测块A，ID2指示视差检测块A的ID，(Ha, Va)指示视差检测块A的垂直和水平位置信息，而视差矢量a指示视差检测块A的视差矢量。现在描述用于检测和发送视差矢量的时刻。对于该时刻，例如，可以设想下列的第
一 第四示例。对于第一示例，如图10(a)所示，该时刻与画面的编码同步。在这种情况下，以画面为增量(increment)来发送视差矢量。画面的增量是发送视差矢量时的最细微的增量。 对于第二示例，如图10(b)所示，该时刻与视频的场景同步。在这种情况下，以场景为增量来发送视差矢量。对于第三示例，如图10(c)所示，该时刻与编码视频的I画面antrapicture，画面内)或G0P(Group Of Picture，画面组)同步。对于第四示例，如图11所示，该时刻与要在图像上叠加并显示的诸如字幕信息、图形信息、文本信息之类的显示开始时刻同步。返回图2，麦克风116检测与在相机IllL和IllR上拍摄的图像相对应的音频以获得音频数据。音频编码器117使麦克风116上获得的音频数据经历编码(如，MPEG-2Audio AAC等)以产生音频基本流。字幕和图形产生单元118产生要在图像上叠加的字幕信息和图形信息的数据(字幕数据和图形数据)。字幕信息例如是字幕。此外，图形信息例如是标志(logo)等。字幕数据和图形数据提供有指示图像上叠加位置的空闲(idling)偏移信息。该空闲偏移信息例如指示垂直方向和水平方向上从图像的左上原点到字幕信息或图形信息的叠加位置的左上像素的偏移值。注意，已经使用DVB(其为欧洲数字广播标准)将用于把字幕数据作为位图数据发送的标准标准化为DVB_Subtitling，并处于运行。字幕和图形编码器119输入字幕和图形产生单元118上产生的字幕信息和图形信息的数据(字幕数据和图形数据)。然后，该字幕和图形编码器119利用包括在有效负荷部分中的这些数据来产生基本流。文本产生单元120产生要在图像上叠加的文本信息的数据(文本数据)。该文本信息例如是电子节目指南、文本广播内容等。以与上述图形数据相同的方式，该文本数据提供有指示图像上叠加位置的空闲偏移信息。该空闲偏移信息指示垂直方向和水平方向上从图像的左上原点到文本信息的叠加位置的左上像素的偏移值。注意，文本数据传输的示例包括用作节目预约的EPG以及美国数字陆地规范ATSC的CC_data(Closed Caption,闭路字
眷)ο文本编码器121输入文本产生单元120上所产生的文本数据。然后，文本编码器 121利用包括在有效负荷部分中的这些数据产生基本流。多路复用器122对从编码器113、115、117、119和121输出的打包基本流进行多路复用。然后，多路复用器122输出用作传输数据的位流数据(传送流)BSD。将粗略描述图2中所示传输数据产生单元110的操作。利用相机IllL拍摄左眼图像。将在相机IllL上获得的用于立体图像显示的左眼图像数据提供至视频成帧单元112。 此外，利用右眼相机IllR拍摄右眼图像，将在相机IllR上获得的用于立体图像显示的右眼图像数据提供至视频成帧单元112。利用视频成帧单元112，左眼图像数据和右眼图像数据被处理至基于传输方法的状态，并且获得立体图像数据(参见图4(a) (c))。将在视频成帧单元112上获得的立体图像数据提供至视频编码器113。利用视频编码器113，使图像数据经历编码(如，MPEG4-AVC、MPEG2、VC-I等)，并且产生包括编码视频数据的视频基本流。该视频基本流提供至多路复用器122。此外，通过视频成帧单元112将在相机IllL和IllR上获得的左眼图像数据和右眼图像数据提供至视差矢量检测单元114。利用该视差矢量检测单元114，基于左眼图像数据和右眼图像数据，将视差检测块设置到图像内的预定位置，并且检测作为关于左眼图像和右眼图像之一的另一个视差信息的视差矢量。将在视差矢量检测单元114上检测到的图像内预定位置中的视差矢量提供至视差矢量编码器115。在这种情况下，将视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息以及视差矢量给出为一个组。利用视差矢量编码器115，产生包括视差矢量的传输内容的视差矢量基本流(参见图8)。该视差矢量基本流提供至多路复用器 122。此外，利用麦克风116，检测与在相机IllL和IllR上拍摄到的图像相对应的音频。 麦克风116上拍摄到的音频数据提供至音频编码器117。利用音频编码器117，使音频数据经历编码(如，MPEG-2Audio AAC等)，并且产生包括编码音频数据的音频基本流。该音频基本流提供至多路复用器122。此外，利用字幕和图形产生单元118，产生要叠加在图像上的字幕信息和图形信息的数据(字幕数据和图形数据)。该数据(位图数据)提供至字幕和图形编码器119。字幕和图形数据提供有指示图像上的叠加位置的空闲偏移信息。利用字幕和图形编码器119， 使该图形数据经历预定编码，并且产生包括编码数据的基本流。该基本流提供至多路复用
器 122ο此外，利用文本产生单元120，产生要在图像上叠加的文本信息的数据(文本数据)。该文本数据提供至文本编码器121。该文本数据以与上述图形数据相同的方式提供有指示图像上叠加位置的空闲偏移信息。利用文本编码器121，使该文本数据经历预定编码，并且产生包括编码后数据的基本流。该基本流提供至多路复用器122。利用多路复用器122，将从每个编码器提供的基本流的包进行多路复用，并且获得用作传输数据的位流数据(传送流)BSD。图12图示要在图2所示的传输数据产生单元110上多路复用的每个数据的流示例。注意，该示例图示了以视频场景为增量来检测并发送视差矢量的情况(参见图10(b))。 注意，每个流的包提供有用于同步显示的时间戳，并且对于接收方，可以控制关于图像 (如，字幕信息、图形信息、文本信息等)的叠加时刻。[传输数据产生单元的另一配置示例]注意，图2中所示的上述传输数据产生单元110配置为将视差矢量的传输内容 (参见图8)发送至接收方作为独立基本流。然而，也可以设想通过被嵌入在另一个流中来发送视差矢量的传输内容。例如，通过作为用户数据被嵌入在视频流中来发送视差矢量的传输内容。此外，例如，通过被嵌入在字幕、图形或文本的流中来发送视差矢量的传输内容。图13图示传输数据产生单元IlOA的配置示例。该示例也是发送作为数字信息的视差矢量的示例。该传输数据产生单元IlOA配置为通过作为用户数据被嵌入在视频的流中来发送视差矢量的传输内容。在图13中，用相同的附图标记来表示对应于图2的部分， 并且省略其详细描述。利用该传输数据产生单元110A，将在视差矢量检测单元114上检测到的图像内预定位置的视差矢量提供至视频编码器113内的流格式器113a。在这种情况下，将视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息以及视差矢量给出为一个组。利用流格式器113a，将视差矢量的传输内容(参加图8)作为用户数据嵌入在视频流中。尽管省略了详细描述，但是图13中所示的传输数据产生单元IlOA以与图2中所示的传输数据产生单元110相同的方式来另外地配置，并且以相同的方式进行操作。[传输数据产生单元的另一配置示例]此外，图2中所示的传输数据产生单元110与图13中所示的传输数据产生单元 IlOA发送作为数字信息的视差矢量(参见图8)。然而，代之将视差矢量作为数字信息发送，在发送方通过将视差信息预先反映在要在图像上叠加的叠加信息(如，字幕信息、图形信息、文本信息等)的数据中来发送视差信息。例如，在将视差信息反映在图形信息的数据中的情形下，对于发送方，产生与要在左眼图像上叠加的左眼图形数据以及要在右眼图像上叠加的右眼形信息两者相对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是相同的图形信息。然而，对于图像内的显示位置，例如，设置右眼图形信息以使得关于左眼图形信息在水平方向上平移与对应于其显示位置的视差矢量的水平方向分量相等的量。例如，关于视差矢量，在图像内的多个位置中检测到的视差矢量当中，使用对应于其叠加位置的视差矢量。此外，例如，关于视差矢量，在图像内的多个位置中检测到的视差矢量当中，使用就透视而言被识别为最近的位置中的视差矢量。注意，尽管省略了详细描述，对于将视差信息反映在字幕信息或图形信息的数据上的情况同样成立。图14(a)图示了传输方法是上述第一传输方法(“上下”法)的情况下左眼图形信息和右眼图形信息的叠加位置。左眼图形信息和右眼图形信息是相同的信息。然而，将要在右眼图像顶上叠加的右眼图形信息RGI设置到在水平方向上关于要在左眼图像IL上叠加的左眼图形信息LGI平移等于视差矢量的水平方向分量VVT的位置。如图14(a)所示那样产生图形数据，从而将图形信息LGI和RGI中的每一个叠加在图像仏和顶中的每一个上。由此，观看者可以如图14(b)中所示那样，利用视差连同图像IL和顶中的每一个一起观看图形信息LGI和RGI中的每一个，从而可以识别有关图形信息的透视。例如，如图15(a)中所示那样，将图形信息LGI和RGI中每一个的图形数据产生为单个区域的数据。在这种情况下，应当将除了图形信息LGI和RGI中每一个以外的部分的数据产生为透明数据。此外，例如，如图15(b)中所示那样，将图形信息LGI和RGI中每一个的图形数据产生为分离区域的数据。图16(a)图示了传输方法是上述第二传输方法(”并排”法)的情况下左眼图形信息和右眼图形信息的叠加位置。左眼图形信息和右眼图形信息是相同的信息。然而，将要在右眼图像顶上叠加的右眼图形信息RGI设置到在水平方向上关于要在左眼图像IL上叠加的左眼图形信息LGI平移等于视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。如图16(a)所示那样产生图形数据，从而将图形信息LGI和RGI分别叠加在图像仏和顶上。由此，观看者可以如图16(b)中所示那样，使用视差连同图像仏和顶中的每一个一起观看图形信息LGI和RGI中的每一个，从而也可以识别有关图形信息的透视。例如，如图17所示那样，将图形信息LGI和RGI中每一个的图形数据产生为单个区域的数据。在这种情况下，应当将除了图形信息LGI和RGI中每一个以外的部分的数据产生为透明数据。图18图示传输数据产生单元IlOB的配置示例。传输数据产生单元IlOB配置为通过被反映在字幕信息、图形信息和文本信息的数据中来发送视差信息。在该图18中，用相同的附图标记表示对应于图2的部分，并且将省略其详细描述。对于该传输数据产生单元110B，将字幕和图形处理单元IM插入在字幕和图形产生单元118与字幕和图形编码器119之间。此外，对于该传输数据产生单元110B，将文本处理单元125插入在文本产生单元120和文本编码器121之间。然后，将视差矢量检测单元 114检测到的图像内预定位置的视差矢量提供至字幕和图形处理单元IM和文本处理单元 125。利用字幕和图形处理单元124，产生要在左眼图像IL和右眼图像顶上叠加的左眼和右眼的字幕和图形信息LGI和RGI的数据，并且在这种情况下，其是基于在字幕和图形产生单元118上产生的字幕数据和图形数据而产生的。用于左眼和右眼的字幕信息和图形信息是相同的信息。然而，对于图像内的叠加位置，例如，设置右眼的字幕信息和图形信息，以使得在水平方向上关于左眼的字幕信息和图形信息平移视差矢量的水平方向分量VVT(参见图14(a)和图16(a))。这样，将在字幕和图形处理单元IM上产生的字幕数据和图形数据提供至字幕和图形编码器119。注意，字幕数据和图形数据添加有指示图像上的叠加位置的空闲偏移信息。利用字幕和图形编码器119，产生在字幕和图形处理单元IM上所产生的字幕数据和图形数据的基本流。此外，利用文本处理单元125，基于在文本产生单元120上产生的文本数据，产生要在左眼图像上叠加的左眼文本信息的数据以及要在右眼图像上叠加的左眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息是相同的文本信息，但是对于图像内的叠加位置，例如，设置左眼文本信息以使得在水平方向上关于左眼文本信息平移视差矢量的水平方向分量VVT。这样，在文本处理单元125上产生的文本数据提供至文本编码器121。注意，该文本数据添加有指示图像上叠加位置的空闲偏移信息。利用文本编码器121，产生在文本处理单元上产生的文本数据的基本流。尽管将省略详细描述，但是图18中所示的传输数据产生单元IlOB以与图2中所示的传输数据产生单元110相同的方式来另外地配置，并且以相同的方式进行操作。[传输数据产生单元的另一配置示例]图2所示的传输数据产生单元110是这样的配置其将基于在视差矢量检测单元 114上检测到的视差矢量的传输内容(参见图8)按照其原样发送至接收方，而与每一个叠加信息数据无关联。然而，可以设想传输与每个叠加信息数据相关联的视差信息。图19图示传输数据产生单元IlOC的配置示例。该传输数据产生单元IlOC配置为发送与每个叠加信息数据相关联的视差信息。在该图19中，用相同的附图标记表示对应于图2的部分，并且将省略详细描述。传输数据产生单元IlOC包括控制器U6、CC(闭路字幕)编码器127和Z数据单元128。CC编码器127是遵循CEA-708的编码器，并且输出用于进行闭路字幕的字幕显示的CC数据(闭路字幕信息数据)。控制器1 控制CC编码器127。例如，将“Regi0n_ ID(WindowID) ”、“Location (AnchorID) ”和“Region size (SetPenAttribute) ” 的信息组从控制器1 提供至CC编码器127。现在，如图20所示那样，信息“Location(AnchorID) ”指示要在图像(画面)的什么位置显示由"RegionJD(WindowID) ”识别出的闭路字幕的字幕。此外，如图20所示那样， 信息 “Region size (SetPenAttribute) ” 指示要进行由 “Region_ID (WindowID) ”识别出的闭路字幕的字幕显示的区域大小。Z数据单元1 输出与每个叠加信息数据相关联的视差信息(视差矢量)。也就是说，对于闭路字幕信息，Z数据单元1 输出与CC编码器127输出的CC数据中所包括的每一个Window ID相关联的视差信息。此外，对于叠加信息(诸如字幕信息、图形信息、文本信息等)，Z数据单元1 输出与每个叠加信息数据相关联的视差信息。图21图示Z数据单元128的配置示例。Z数据单元1 输出对于控制器1 指定的每一个Regionjd的视差信息。这里，将针对Regionjd进行描述。Regionjd是用于在每个叠加信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)与视差信息之间进行关联的标识符。例如，分配O至7的Regionjd以用于标识与在CEA-708中指定的Windows O至 7的CC数据对应的视差信息。此外，保留Regionjd 8至15以用于将来的扩展。此外，分配Regionjd 16和以后的值以用于标识与闭路字幕信息以外的叠加信息(诸如字幕信息、 图形信息、文本信息等)相关联的视差信息。注意，在字幕和图形产生单元118上产生的字幕数据和图形数据以及在文本产生单元120上产生的文本数据提供有对应于上述Regionjd的标识符。对应于Regionjd的标识符是指与Regionjd相同的标识符或者与Regionjd相关联的标识符。据此，在接收方，可以将每个叠加信息(如，字幕信息图形信息和文本信息)与要使用的关于叠加信息的视差信息相关联。
Z数据单元1 如上所述那样输出对于每个Regionjd的视差信息。Z数据单元 128例如通过用户操作对于控制器126的切换控制，输出所确定的视差矢量或者设置的视差矢量作为视差信息。所确定的视差矢量是基于在视差矢量检测单元114上检测到的多个视差矢量而确定出的视差矢量。所设置的视差矢量例如是通过预定程序处理或者用户的手动操作而设置的视差矢量。首先描述将所确定出的视差矢量输出为视差信息的情况。在这种情况下， 关于闭路字幕信息，将 “Region_ID (WindowID) ”、“Location (AnchorID)，，和 “Region size (SetPenAttribute) ”的信息组从控制器1 提供至Z数据单元128。此外，关于每个叠加信息(如，字幕信息、图形信息、文本信息等)，将“Region_ID”、“LoCation”和“Region size"的信息组从控制器1 提供至Z数据单元128。此外，将多个(在这种情况下为N个)视差矢量DvO DvN从视差矢量检测单元 114输入至Z数据单元128。N个视差矢量DvO DvN是视差矢量检测单元114基于左眼图像和右眼图像在图像内的N个位置上检测到的视差矢量。Z数据单元1 针对每个Regionjd，从N个位置上检测到的视差矢量中提取出与信息“Location”和“Region size”确定出的叠加信息有关的视差矢量。例如，在具有一个或多个的检测位置处于显示区域内的视差矢量的情况下，将这些视差矢量选择为与显示区域有关的视差矢量。此外，在没有一个或多个的检测位置处于显示区域内的视差矢量的情况下，将位于显示区域附近的一个或多个视差矢量选择为与显示区域有关的视差矢量。在图中所示的示例中，将Dv2 Dvn选择为与显示区域有关的视差矢量。然后Z数据单元1 例如从与显示区域有关的视差矢量中选择出具有带符号的最大值的一个，并且将其当作所确定出的视差矢量DzD。如上所述，视差矢量由垂直方向分量 (View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)组成，但是这里，例如仅将水平方向分量用作带符号的值。原因在于，在接收方进行这样的处理基于视差信息，要在左眼图像和右眼图像上叠加的叠加信息(如，闭路字幕信息)在水平方向上平移， 并且水平方向分量是重要的。注意，指示叠加位置的信息与指示显示时间的信息由控制器1 添加至如上所述那样针对每个Region_id确定出的、对于与包含闭路字幕信息在内的其它叠加信息相对应的那个所确定的视差矢量DzD。指示叠加位置的信息例如是垂直方向信息(Vertical Position)和水平方向位置信息(Horizontal_Position)。此外，指示显示时间的信息例如是对应于显示持续时间的帧计数信息(DuratioruCoimter)。在闭路字幕信息的情况下，叠加位置和显示时间的控制数据包括在闭路字幕数据内，从而不需要单独地发送这些信息。接下来针对将设置的视差矢量输出为视差信息的情况进行描述。在这种情况下， 控制器1 通过预定程序处理或者用户的手动操作，设置对于每个Regionjd的视差矢量。 例如，根据叠加信息的叠加位置来设置不同的视差矢量，或者设置公共的视差信息而不管叠加信息如何，或者为每种类型的叠加信息设置不同的视差信息。Z数据单元1 将以此方式设置的每个Regionjd的视差矢量当作所设置的视差矢量DzD'。现在，叠加信息的类型例如是诸如闭路字幕信息、字幕信息、图形信息、文本信息之类的类型。此外，叠加的类型例如是由叠加位置、叠加时间的持续期等分类的类型。注意，对于控制器1 为每个Regionjd设置的视差矢量，在本质上仅必须设置水平方向分量。这是由于在接收方进行这样的处理基于视差信息，要在左眼图像和右眼图像上叠加的叠加信息(如，闭路字幕信息)在水平方向上平移，并且水平方向分量是重要的。 此外，对于设置的视差矢量DzD’，以与上述所确定的视差矢量DvD相同的方式，控制器126 为与包含闭路字幕信息在内的其它叠加信息相对应的那个视差矢量DzD’添加指示叠加位置的那个信息与指示显示时间的信息。返回图19，将CC编码器127输出的CC数据和Z数据单元1 输出的视差信息(包括DzD/DzD'，并且在必要的情况下包括叠加位置信息和显示时间信息)设置至视频编码器113的流格式器113a。在流格式器113a，将CC数据和视差信息作为用户数据嵌入至视
频基本流。图22示意地图示了视频基本流(Video Elementary Stream)的配置示例。视频基本流在其顶部具有序列头部部分，其包括以序列为增量的参数。在序列头部部分之后部署包括以画面为增量的参数以及用户数据的画面头部(picture header)。在画面头部部分之后是包括画面数据的有效载荷部分。随后，重复安置画面头部部分和有效载荷部分。CC数据和视差信息如上所述那样嵌入至画面头部部分的用户数据区。图23图示了用户数据的配置示例。图23(a)图示了用户数据在编码格式为MPEG2的情况下的配置。 图23(b)图示了用户数据在编码格式为HJ64AVC(MPEG4-AVC)的情况下的配置。进一步， 图23(c)图示了用户数据在编码格式为VC-I的情况下的配置。尽管将省略详细描述，但是用户数据的配置对于每种格式大致相同。也就是说，首先，部署指示用户数据开始的代码，接着部署指示数据类型的标识符“userjdentifier”， 再之后部署作为数据主体的“user_structure”。图 24 图示了 “user_structure” 的配置示例。“Data_Length” 图示了该"user_ structure”的数据大小。“ I^gejd”对应于字幕数据的模式，并且其为用于标识“User_ structure"的页的标识符(尽管存在用于作为数据组ID的字幕语言标识的情况)。 “Number_of_ViewBlocksN” 指示该 “user_structure” 中包括 N Region_id 的视差信息等。"ID_Block(i) ”表示 Region_id(i)。"2D_ob ject_position_f lag” 是指示是否要参考(reference)作为对于ID_Block(i)的信息所包括的叠加位置信息(对于2D叠加信息的显示位置的信息)的标志。在设置了该标志的情形下，参考叠加位置信息。在这种情况下，对于ID_Block(i)的信息包括叠加位置信息(“Vertical_Position”和“Horizontal Position”)。“Vertical_Position”指示2D叠加信息的垂直方向上的位置。“Horizontal Position”指示2D叠加信息的水平方向上的位置。叠加位置的控制数据包括在从上述CC编码器127输出的CC数据中。据此，在ID_ Block (i)对应于闭路字幕信息的情形下，不设置“2D_0bject_p0Si0n_flag”。此外，叠加位置信息(“Vertical_Position” 和 “Horizontal_Position”)不被包括作为 ID_Block(i)
的信息。“3D_diSparity_flag”指示视差信息(视差矢量)是否被包括为ID_Block(i)的信息。在设置该标志的情形下，这意味着包括视差信息。“View_Vector_Vertical”指示视差矢量的垂直方向分量。“View_Vector_Horizontal”指示视差矢量的水平方向分量。注意，在此示例中，包括了 View_Vector_Vertical”和“View_Vector_Horizontal”两者。然而，在仅使用水平方向分量的情形下，可以仅包括“View_Vector_Horizontal ”。"Status_Count_flag"是指示是否要参考叠加信息的显示时间信息作为ID_ Block(i)的信息的标识。在设置了该标识的情形下，这意味着要参考显示时间信息。在这种情况下，例如指示对应于显示持续时间“DuratioruCounter”的帧计数的信息被包括为ID_Block⑴的信息。在接收侧通过系统层的时间戳开始叠加信息的显示，其中已经过去了对应于显示持续时间的帧计数之后复位叠加信息(包括视差信息的效果)的显示。据此，无需针对每一画面重复发送相同的信息。显示时间的控制数据包括在从上述CC编码器127输出的CC数据内。据此，在ID_ Block(i)对应于闭路字幕信息的情形下，不设置“StatuS_C0unt_flag”，并且“Durati0n_ Counter”不被包括作为ID_Block(i)的信息。尽管将省略详细描述，但是该图19中所示的传输数据产生单元110C以与图2中所示的传输数据产生单元110相同的方式来另外地配置，并且以相同的方式进行操作。[传输数据产生单元的另一配置示例]图19所示的传输数据产生单元110C具有来自Z数据单元128的作为用户数据嵌入在视频基本流中的所传送视差信息。然而，可以设想将视差信息从Z数据单元1 作为独立的基本流发送到接收方。图25图示传输数据产生单元110D的配置示例。在图25中，用相同的附图标记表示对应于图19的部分，并且将省略详细描述。传输数据产生单元110D具有视差信息编码器129。针对每个Regionjd从Z数据单元1 输出的视差信息(包括DzD/DzD'，并且在必要的情况下包括叠加位置信息和显示时间信息)发送至视差信息编码器129。包括视差信息的视差信息基本流在视差信息编码器1 上产生。视差信息基本流提供至多路复用器122。多路复用器122对从编码器(包括视差信息编码器129)提供的基本流的包进行多路复用，从而产生作为发送数据的位流数据(传送流)BSD。尽管省略了详细描述，但是图25中所示的传输数据产生单元110D以与图19中所示的传输数据产生单元110相同的方式来另外地配置，并且以相同的方式进行操作。[传输数据产生单元的另一配置示例]图18所示的传输数据产生单元110B处理字幕信息、图形信息和文本信息。可以设想以与图18所示的传输数据产生单元110B相同的配置来进一步处理闭路字幕信息的配置。图沈图示传输数据产生单元110E的配置示例。该示例是在要被叠加在图像上的叠加信息(例如，闭路字幕信息、字幕信息图形信息、文本信息等)的数据中反映视差信息并且进行发送(而不是发送作为数字信号的视差矢量)的配置。在该图26中，用相同的附图标记表示对应于图18和图19所示的部分，并且将省略其详细描述。对于该图沈中的传输数据产生单元，在CC编码器127和流格式器113a之间引入 CC数据处理单元130。图像内预定位置上的已由视差矢量检测单元114检测到的视差矢量提供至CC数据处理单元130。在CC数据处理单元130上，基于在CC编码器127上产生的CC数据，产生要在左眼图像上叠加的左眼闭路字幕信息的数据以及要在右眼图像上叠加的右眼闭路字幕信息的数据。在这种情况下，左眼闭路字幕信息和右眼闭路字幕信息是相同的信息。然而，图像内右眼闭路字幕信息的叠加位置在水平方向上例如平移了与视差矢量的水平方向分量VVT
相等的量。由此，CC数据处理单元130的处理之后的CC数据提供至视频编码器113的流格式器113a。在流格式器113a，来自CC数据处理单元130的CC数据作为用户数据嵌入至视
频基本流。尽管省略了详细描述，但是该图沈中所示的传输数据产生单元IlOE以与图18中所示的传输数据产生单元IlOB相同的方式来另外地配置，并且以相同的方式进行操作。[机顶盒的描述] 返回图1，机顶盒200接收经由广播无线电波从广播站100发送的位流数据(传送流)。该位流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、音频数据、叠加信息数据以及进一步的视差信息(视差矢量)。这里，叠加信息数据的示例包括闭路字幕数据、字幕数据、图形数据、文本数据等。机顶盒200包括位流处理单元201。该位流处理单元201从位流数据中提取出立体图像数据、音频数据、叠加信息数据、视差矢量等。该位流处理单元201使用立体图像数据、叠加信息数据(字幕数据、图形数据、文本数据、CC(Cl0sed Caption，闭路字幕)数据) 等，以产生叠加信息要叠加到的左眼图像和右眼图像。这里，在将视差矢量发送为数字信息的情形下，基于视差矢量和叠加信息数据，产生要在左眼图像和右眼图像上叠加的左眼叠加信息和右眼叠加信息。在这种情况下，左眼叠加信息和右眼叠加信息是相同的叠加信息。然而，对于图像内的叠加位置，例如，将右眼叠加信息安排为在水平方向上关于左眼叠加信息平移视差矢量的水平方向分量。图27(a)图示了在传输方法是上述第二传输方法(“并排”法)的情形下左眼图形信息和右眼图形信息的叠加位置。将要在右眼图像顶上叠加的右眼图形信息RGI设置到在水平方向上关于要在左眼图像IL上叠加的左眼图形信息LGI平移视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。利用位流处理单元201，产生图形数据，以使得如图27(a)所示那样分别将图形信息LGI和RGI叠加在图像IL和顶上。位流处理单元201将所产生的左眼图形数据和右眼图形数据与从位流数据提取出的立体图像数据(左眼图像数据、右眼图像数据)进行合成， 以获得处理后的立体图像数据。根据该立体图像数据，观看者可以如图27(b)中所示那样， 利用视差连同图像IL和顶中的每一个一起观看图形信息LGI和RGI中的每一个，并也可以识别出关于图形信息的透视。注意，图观⑷图示了将基于提取自位流数据的图形数据的图形图像按照原样叠加在图像IL和顶中每一个之上的状态。在这种情况下，观看者如图^(b)所示那样，随同左眼图像IL 一起观看左半的图形信息以及随同右眼图像顶一起观看右半的图形信息。因此，妨碍了观看者正确地识别出图形信息。尽管图27图示了图形信息的情况，但是这对于其它的叠加信息(闭路字幕信息、 字幕信息、文本信息等)也是如此。确切地，在将视差矢量发送为数字信息的情况下，基于视差矢量和叠加信息数据，产生分别要在左眼图像和右眼图像上叠加的左眼叠加信息以及右眼叠加信息。在这种情况下，左眼叠加信息和右眼叠加信息是相同的叠加信息。然而，例如对于图像内的叠加位置，右眼叠加信息在水平方向上关于左眼叠加信息平移视差矢量的水平方向分量。这里，可以设想将下列的视差矢量用作用于提供左眼叠加信息和右眼叠加信息之间视差的视差矢量。例如，可以设想的是，在图像内的多个位置中检测到的视差矢量当中， 采用就透视而言被识别为最近的位置的视差矢量。图29(a)、(b)、(c)和(d)分别图示了时间点TO、Tl、T2和T3时三个对象位置中的视差矢量(View Vector，观察矢量)。在时间点T0，对应于对象1的位置(H0，V0)中的视差矢量VV0-1是最大的视差矢量MaxVV(TO)。在时间点Tl，对应于对象1的位置(H1，V1)中的视差矢量VVl-I是最大的视差矢量MaxVV(Tl)。在时间点T2，对应于对象2的位置(H2，V2)中的视差矢量VV2-2是最大的视差矢量MaxVV(T2)。在时间点T3，对应于对象1的位置(H3，V3)中的视差矢量VV3-0 是最大的视差矢量MaxVV (T3)。这样，在图像内的多个位置中检测到的视差矢量当中，将就透视而言被识别为最近的位置中的视差矢量用作视差矢量，由此可以在就透视而言图像内的最近对象的前面显示叠加信息。图30(a)图示了图像上的字幕(例如，闭路字幕信息、字幕信息)的显示示例。该显示示例是字幕叠加在由背景和近距对象(close range object)组成的图像上的示例。图 30(b)图示了背景、近距对象和字幕的透视，对于其，字幕被识别为最近。图31 (a)图示了图像上的字幕(例如，闭路字幕信息、字幕信息)的显示示例，其与图30(a)相同。图31(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。 图31(c)图示了将字幕识别为最近，从而将视差给予字幕信息LGI和RGI中的每一个。此外，可以设想的是，对于在图像内的多个位置中检测到的视差矢量，采用对应于其叠加位置的视差矢量。图32 (a)图示了基于提取自位流数据的图形数据的图形信息，以及基于提取自位流数据的文本数据的文本信息。图32 (b)图示了将左眼图形信息LGI和左眼文本信息LTI叠加在左眼图像上的状态。在这种情况下，对于左眼图形信息LGI，通过空闲偏移值(IT-O)在水平方向上规定其叠加位置。此外，对于左眼文本信息LTI，通过空闲偏移值(IT-I)在水平方向上规定其叠加位置。图32(c)图示了将右眼图形信息RGI和右眼文本信息RTI叠加在右眼图像上的状态。在这种情况下，对于右眼图形信息RGI，通过空闲偏移值(IT-O)在水平方向上规定其叠加位置，并且叠加位置相比于左眼图形信息LGI的叠加位置进一步平移了对应于此叠加位置的视差矢量的水平方向分量VVT-0。此外，对于右眼文本信息RTI，通过空闲偏移值 (IT-I)在水平方向上规定其叠加位置，并且叠加位置相比于左眼文本信息LTI的叠加位置进一步平移了对应于此叠加位置的视差矢量的水平方向分量VVT-1。对于以上描述，已经针对将基于提取自位流数据的图形数据的图形信息和基于提取自位流数据的文本数据的文本信息叠加在左眼图像和右眼图像上的情况进行了描述。除此之外，也可以设想这样的情况在机顶盒200内产生图形数据或文本数据，并且将这些信息叠加在左眼图像和右眼图像上。即使在这种情况下，通过利用从位流数据提取出的图像内预定位置的视差矢量， 也可以在左眼图形信息和右眼图形信息之间或者在左眼文本信息和右眼文本信息之间提供视差。由此，通过图形信息和文本信息的显示，可以给出在图像内每个对象的透视之间实现了保持透视一致性的适当透视。图33(a)图示了图像内存在三个对象A、B和C，并且例如，将指示每个对象的标记的文本信息叠加于每个对象的邻近位置。图33(b)图示了通过利用指示对象A、B和C中每一个的位置与其位置的视差矢量之间的对应关系的视差矢量列表，将视差给予指示对象A、 B和C中每一个的标记的文本信息。例如，文本信息“Text”叠加在对象A的附近，但是在左眼文本信息和右眼文本信息之间给出与对象A的位置(Ha，Va)中的视差矢量VV_a对应的视差。注意，对于要在对象B和C附近叠加的文本信息，这同样如此。注意，图32图示了叠加信息是图形信息和文本信息的情况。此外，图33图示了叠加信息是文本信息的情况。尽管将省略详细描述，这在其它叠加信息(闭路字幕信息、字幕信息等)的情形下也如此。接下来针对预先将视差矢量反映在叠加信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据上并进行发送的情况进行描述。在这种情况下，从位流数据提取出的叠加信息数据包括视差矢量要将视差给予到的左眼叠加信息和右眼叠加信息的数据。因此，位流处理单元201仅将从位流数据提取出的叠加信息数据与将从位流数据提取出的立体图像数据(左眼图像数据、右眼图像数据)进行合成以获得处理后的立体图像数据。注意，对于闭路字幕数据或文本数据，用于将字符码转换为位图数据的处理等是必要的。[机顶盒的配置示例]描述机顶盒200的配置示例。图34图示机顶盒200的配置示例。该机顶盒200 包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路 205,HDMI发送单元206和音频信号处理电路207。此外，该机顶盒200包括CPU 211、闪速 ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。天线端子203是用于输入接收天线(未示出)上接收到的电视广播信号的端子。 数字调谐器204对输入到天线端子203的电视广播信号进行处理，并且输出与用户所选频道对应的预定位流数据(传送流)。如上所述，位流处理单元201从位流数据中提取出立体图像数据(左眼图像数据、 右眼图像数据)、音频数据、叠加信息数据、视差信息(视差矢量)等。叠加信息数据是闭路字幕数据、字幕数据、图形数据、文本数据等。该位流处理单元201如上所述那样将叠加信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据与立体图像数据进行合成，以获得用于显示的立体图像数据。此外，位流处理单元201输出音频数据。稍后描述位流处理单元201的详细配置。视频信号处理电路205根据需要使从位流处理单元201输出的立体图像数据经历画质调节处理，并且将其处理后的立体图像数据提供至HDMI发送单元206。音频信号处理电路207根据需要，使从位流处理单元201输出的音频数据经历音质调节处理，并且将其处理后的音频数据提供至HDMI发送单元206。HDMI发送单元206根据遵循HDMI的通信，从HDMI端子202发送基带图像(视频) 和音频的数据。在这种情况下，由于通过HDMI的TMDS通道发送数据，因此使图像和音频数据经历打包(packing)，并且将其从HDMI发送单元206输出到HDMI端子202。HDMI发送单元206的细节将在稍后描述。CPU 211控制机顶盒200的每个单元的操作。闪速ROM 212进行控制软件的存储以及数据的存储。DRAM 213配置CPU 211的工作区。CPU 211将所读取的软件和数据从闪速ROM 212加载至DRAM 213，并且启动软件以控制机顶盒200的每一个单元。遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控码)，并且提供至 CPU 211。CPU 211基于该遥控信号控制机顶盒200的每一个单元。CPU 211、闪速ROM 212 和DRAM 213连接至内部总线214。将简要描述机顶盒200的操作。输入到天线端子203的电视广播信号提供至数字调谐器204。利用数字调谐器204，处理电视广播信号，并且输出与用户所选频道对应的预定位流数据(传送流)。从数字调谐器204输出的位流数据提供至位流处理单元201。利用该位流处理单元201，从位流数据提取出立体图像数据(左眼图像数据、右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，利用该位流处理单元201，将叠加信息(闭路字幕信息、 字幕信息、图形信息、文本信息等)的数据与立体图像数据合成，并且产生立体图像数据。在根据需要经历了视频信号处理电路205的画质调制处理之后，在位流处理单元 201上产生的用于显示的立体图像数据提供至HDMI发送单元206。此外，在根据需要经历了音频信号处理电路207的音质调制处理之后，在位流处理单元201上获得的音频数据提供至HDMI发送单元206。提供至HDMI发送单元206的立体图像数据和音频数据通过HDMI 的TMDS通道从HDMI端子202发送至HDMI线缆400。[位流处理单元的配置示例]图35图示位流处理单元201的配置示例。该位流处理单元201配置为对应于图2 中所示的上述传输数据产生单元110。该位流处理单元201包括解多路复用器220、视频解码器221、字幕和图形解码器222、文本解码器223、音频解码器2 和视差矢量解码器225。 此外，该位流处理单元201包括立体图像字幕和图形产生单元226、立体图像文本产生单元 227、视频叠加单元2 和多声道扬声器控制单元229。解多路复用器220从位流数据BSD提取视频、音频、视差矢量、字幕、图形和文本的包，并发送至每一个解码器。视频解码器221进行与传输数据产生单元110的上述视频编码器113相反的处理。确切地，该视频解码器221根据在解多路复用器220上提取出的视频包来重构视频基本流，并且获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据的传输方法例如是上述第一传输方法(“上下”法)、第二传输方法(“并排”法)、第三传输方法(“帧序列”法)等(参见图4(a) (c))。字幕和图形解码器222进行与传输数据产生单元110的上述字幕和图形编码器 119相反的处理。确切地，该字幕和图形解码器222根据在解多路复用器220上提取出的字幕或图形包来重构字幕或图形基本流。然后，该字幕和图形解码器222进一步进行解码处理以获得字幕数据或图形数据。文本解码器223进行与传输数据产生单元110的上述文本编码器121相反的处理。确切地，该文本解码器223根据在解多路复用器220上提取出的文本包来重构文本基本流，并且进行解码处理以获得文本数据。
音频解码器2M进行与传输数据产生单元110的上述音频编码器117相反的处理。确切地，该音频解码器2M根据在解多路复用器220上提取出的音频包来重构音频基本流，并且进行解码处理以获得音频数据。视差矢量解码器225进行与传输数据产生单元110的上述视差矢量编码器115相反的处理。确切地，该视差矢量解码器225根据在解多路复用器220上提取出的视差矢量包来重构视差矢量基本流，并且进行解码处理以获得图像内预定位置中的视差矢量。立体图像字幕和图形产生单元2 产生要在左眼图像和右眼图像上分别叠加的左眼和右眼字幕信息或图形信息。基于在字幕和图形解码器222获得的字幕数据或图形数据以及在视差矢量解码器225获得的视差矢量来执行该产生处理。在这种情况下，左眼和右眼字幕信息或图形信息是相同的信息。然而，对于图像内的叠加位置，例如，将右眼字幕信息或图形信息安排为在水平方向上关于左眼字幕信息或图形信息平移与视差矢量的水平方向分量相等的量。然后，立体图像字幕和图形产生单元2 输出所产生的左眼和右眼字幕信息或图形信息的数据(位图数据)。立体图像文本产生单元227基于在文本解码器223获得的文本数据以及和在视差矢量解码器225获得的视差矢量，产生要在左眼图像和右眼图像上分别叠加的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息是相同的文本信息，但是对于图像内的叠加位置，例如，将右眼文本信息安排为在水平方向上关于左眼文本信息平移与视差矢量的水平方向分量相等的量。然后，立体图像文本产生单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。视频叠加单元2 将在产生单元226与227上产生的数据叠加在视频解码器221 获得的立体图像数据(左眼图像数据、右眼图像数据)上，以获得用于显示的立体图像数据 Vout。注意，通过系统层的时间戳开始叠加信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的叠加。多声道扬声器控制单元2 使在音频解码器2M上获得的音频数据经历用于产生多声道扬声器的音频数据以实现5. 1声道环绕等的处理、用于添加预定声场特性的处理等。此外，该多声道扬声器控制单元2 基于在视差矢量解码器225上获得视差矢量来控制多声道扬声器的输出。提供了视差矢量的大小越大则立体效果更加显著的优点。多声道扬声器输出根据立体程度而受到控制，由此可以实现对于进一步立体体验的提供。图36图示了在关于视差矢量VV1、左侧的视频对象朝着电视显示器更大的情形下的扬声器输出控制示例。对于该控制示例，将多频道扬声器的左后方的扬声器音量设置得较大，将左前方的扬声器音量设置得中等，并进一步将右前方、右后方的扬声器音量设置得较小。这样，将视频内容(立体图像数据)的视差矢量应用于接收方的诸如音频数据之类的另一媒体数据，由此使得观看者能够以整体方式物理地感知立体效果。将简要描述图35中所示的位流处理单元201的操作。将从数字调谐器204(参见图34)输出的位流数据BSD提供至解多路复用器220。利用解多路复用器220，从位流数据 BSD中提取出视频、音频、视差矢量、字幕、图形和文本的包，并且将该包提供至每个解码器。利用视频解码器221，视频基本流根据从解多路复用器220提取出的视频包而被重构，进一步经历解码处理，并且获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据提供至视频叠加单元228。此外，利用视差矢量解码器225，视差矢量基本流根据从解多路复用器220提取出的视差矢量包而被重构，进一步经历解码处理，并且获得图像内预定位置的视差矢量(参见图8)。利用字幕和图形解码器222，字幕或图形基本流根据在解多路复用器220提取出的字幕或图形包而被重构。利用字幕和图形解码器222，字幕或图形基本流进一步经历解码处理，并且获得字幕数据或图形数据。该字幕数据或图形数据提供至立体图像字幕和图形产生单元226。在视差矢量解码器225上获得的视差矢量也提供至立体图像字幕和图形产生单元2沈。利用立体图像字幕和图形产生单元226，产生要在左眼图像和右眼图像上分别叠加的左眼和右眼字幕信息或图形信息的数据。基于在字幕和图形解码器222上获得的字幕数据和图形数据以及在视差矢量解码器225上获得的视差矢量来进行该产生处理。在这种情况下，对于图像内的叠加位置，例如，将右眼字幕信息或图形信息在水平方向上关于左眼字幕信息和左眼图形信息平移视差矢量的水平方向分量。产生的左眼和右眼字幕信息或图形信息的数据(位图数据)从该立体图像字幕和图形产生单元2 输出。此外，利用文本解码器223，来自在解多路复用器220上提取出的文本包的文本基本流被重构，并进一步经历解码处理，并且获得文本数据。该文本数据提供至立体图像文本产生单元227。在视差矢量解码器225上获得的视差矢量也提供至立体图像文本产生单元 227。利用该立体图像文本产生单元227，基于在文本解码器223上获得的文本数据和在视差矢量解码器225上获得的视差矢量，产生要在左眼图像和右眼图像上分别叠加的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息是相同的文本信息，但是对于图像内的叠加位置，将右眼文本信息在水平方向上关于左眼文本信息平移与视差矢量的水平方向分量相等的量。所产生的左眼文本信息和右眼文本信息的数据(位图数据)从该立体图像文本产生单元227输出。除了来自视频解码器221的上述立体图像数据(左眼图像数据、右眼图像数据) 之外，还将从立体图像字幕和图形产生单元2 和立体图像文本产生单元227输出的数据提供到视频叠加单元228。利用该视频叠加单元228，将在立体图像字幕和图形产生单元 226和立体图像文本产生单元227上产生的数据叠加在立体图像数据(左眼图像数据、右眼图像数据)上，获得用于显示的立体图像数据Vout。将该用于显示的立体图像数据Vout 作为传输图像数据经由视频信号处理电路205提供到HDMI发送单元206(参见图34)。此外，利用音频解码器224，音频基本流根据从解多路复用器220提取出的音频包而被重构，进一步经历解码处理，并获得音频数据。将该音频数据提供到多声道扬声器控制单元229。利用该多声道扬声器控制单元229，音频数据经历用于产生多声道扬声器的音频数据以实现5. 1声道环绕等的处理、用于提供预定声场特性的处理等。在视差矢量解码器225上获得的视差矢量也提供至该多声道扬声器控制单元 229。然后，利用多声道扬声器控制单元229，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将多声道扬声器控制单元2 上获得的多声道音频数据作为传输音频数据提供到HDMI发送单元206 (参见图34)。[位流处理单元的另一示例配置]
图37所示的位流处理单元201A配置为对应于上面图13所示的上述传输数据产生单元110A。在该图37中，用相同的附图标记指示对应于图35的部分，并且省略其详细描述。对于该位流处理单元201A，代之图35所示的位流处理单元201的视差矢量解码器 225，提供了视差矢量提取单元231。视差矢量提取单元231从通过视频解码器221获得的视频流中提取嵌入其用户数据区域的视差矢量。然后，该视差矢量提取单元231将所提取出的视差矢量提供到立体图像字幕和图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。尽管省略了详细描述，但是图37中所示的位流处理单元201A以与图35中所示的位流处理单元201相同的方式来另外地配置，并且以相同的方式进行操作。[位流处理单元的另一示例配置]图38所示的位流处理单元201B配置为对应于上面图18所示的上述传输数据产生单元110B。在该图38中，用相同的附图标记指示对应于图35的部分，并且省略其详细描述。位流处理单元201B是这样的配置从图35中所示的位流处理单元201中去除视差矢量解码器225、立体图像字幕和图形产生单元2 和立体图像文本产生单元227。在这种情况下，视差矢量被预先反映在字幕信息、图形信息和文本信息数据中。如上所述，向其发送的字幕数据和图形数据包含要叠加在左眼图像上的左眼字幕信息和图形信息的数据，以及要叠加在右眼图像上的右眼字幕信息和图形信息的数据。以相同的方式，如上所述，向其发送的文本数据包含要叠加在左眼图像上的左眼文本信息的数据和要叠加在右眼图像上的右眼文本信息的数据。据此，不需要视差矢量解码器225、立体图像字幕和图形产生单元2 和立体图像文本产生单元227。注意，由于在文本解码器223上获得的文本数据是代码数据(字符数据)，因此需要进行将其转换为位图数据的处理。例如在文本解码器223的最后级或视频叠加单元228 的输入级上进行此处理。[位流处理单元的另一示例配置]此外，图39所示的位流处理单元20IC配置为对应于上面图19所示的上述传输数据产生单元110B。在该图39中，用相同的附图标记指示对应于图35的部分，并且省略其详细描述。该位流处理单元201C具有视差提取单元232、CC解码器233和立体图像闭路字幕产生单元234。如上所述，将对于每个Regionjd的CC (闭路字幕)数据和视差信息作为用户数据嵌入至从图19中所示的传输数据产生单元IlOC的视频编码器113输出的视频基本流。在视差提取单元232上，从通过视频解码器221获得的视频基本流中提取出对于每一个Regionjd的视差信息。在已提取出的针对每一个Regionjd的视差信息当中，将与闭路字幕信息对应的视差信息(其不包括叠加位置信息和显示时间信息)从视差提取单元232提供到立体图像闭路字幕产生单元234。此外，在已提取出的针对每一个Regionjd的视差信息当中，将与字幕信息和图形信息对应的视差信息(其包括叠加位置信息和显示时间信息)从视差提取单元232提供到立体图像字幕和图形产生单元226。进一步，在已提取出的针对每一个Regionjd的视差信息当中，将与文本信息对应的视差信息(其包括叠加位置信息和显示时间信息)从视差提取单元232提供到立体图像文本产生单元227。在CC解码器233上，从通过CC解码器233获得的视频基本流中提取出CC数据 (闭路字幕数据)。进一步，在CC解码器233上，从CC数据获得对于每一个Window的闭路字幕数据(字幕的字符代码)以及叠加位置和显示时间的进一步的控制数据。闭路字幕数据以及叠加位置和显示时间的控制数据从CC解码器233提供到立体图像闭路字幕产生单元 234ο在立体图像闭路字幕产生单元234上，对于每一个Window产生要分别叠加在左眼图像和右眼图像上的左眼闭路字幕信息(字幕)和右眼闭路字幕信息(字幕)的数据。基于在CC解码器233上获得的闭路字幕数据和叠加位置与显示时间的控制数据以及从视差提取单元232提供的视差信息(视差矢量)进行此产生处理。在这种情况下，左眼和右眼闭路字幕信息是相同的，但是对于图像内的叠加位置，右眼闭路字幕信息在水平方向中平移与视差矢量的水平方向分量相等的量。由此，将在立体图像闭路字幕产生单元234上针对每一个Window产生的左眼和右眼闭路字幕信息的数据(位图数据)连同显示时间的控制数据一起提供到视频叠加单元 228。此外，在立体图像字幕和图形产生单元2 上，产生要分别叠加在左眼图像和右眼图像上的左眼和右眼字幕信息和图形信息。基于在字幕和图形解码器222上获得的字幕数据和图形数据以及从视差提取单元232提供的视差信息来进行此产生处理。在这种情况下，左眼和右眼字幕信息和图形信息是相同的。然而，对于图像内的叠加位置，例如，右眼字幕信息或图形信息在水平方向上关于左眼字幕信息或图形信息平移与视差矢量的水平方向分量相等的量。由此，将在立体图像闭路字幕产生单元234上产生的左眼和右眼字幕信息和图形信息数据(位图数据)连同显示时间信息(帧计数信息)一起提供到视频叠加单元228。此外，在立体图像文本产生单元227上，产生要在左眼图像和右眼图像上分别叠加的左眼和右眼文本信息。基于在文本解码器223上获得的文本数据和从视差提取单元 232提供的视差信息进行此产生处理。在这种情况下，左眼和右眼文本信息是相同的。然而，对于图像内的叠加位置，例如，右眼文本信息在水平方向上关于左眼文本信息平移与视差矢量的水平方向分量相等的量。由此，将在立体图像文本产生单元227上产生的左眼和右眼文本信息数据(位图数据)连同显示时间信息(帧计数信息)一起提供到视频叠加单元228。在视频叠加单元2 上，在视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上叠加从每个解码器提供的叠加信息数据，并获得显示立体图像数据 Vout。注意，通过系统层的时间戳开始叠加信息数据至立体图像数据(左眼图像数据、右眼图像数据)的叠加。此外，基于对于闭路字幕信息的显示时间的控制数据以及关于字幕信息、图形信息、文本信息等的显示时间信息来控制叠加持续时间。尽管省略了详细描述，但是图39中所示的位流处理单元201C以与图35中所示的位流处理单元201相同的方式来另外地配置，并且以相同的方式进行操作。
[位流处理单元的另一示例配置]图40所示的位流处理单元201D配置为对应于上面图25所示的上述传输数据产生单元110D。在该图40中，用相同的附图标记指示对应于图35和图9的部分，并且省略其详细描述。位流处理单元201D具有视差信息提取单元235。利用图25中所示的传输数据产生单元IlOD中，通过视差信息编码器1 产生包括来自Z数据单元128的视差信息的视差信息基本流。利用多路复用器122，对从包括视差信息编码器1 的每个编码器提供的基本流的包进行多路复用，并且获得用作传输数据的位流数据(传送流)BSD。在视差信息提取单元235上，视差信息的基本流根据解多路复用器220提取出的视差信息的包而被重构，并进行进一步的解码处理，从而获得对于每一个Regionjd的视差信息。该视差信息与图39中所示位流处理单元201C的视差提取单元232提取出的视差信息相同。在视差信息提取单元235上，从通过视频解码器221获得的视频基本流中提取对于每一个Regionjd的视差信息。在已提取出的针对每一个Regionjd的视差信息当中， 将与闭路字幕信息(其不包括叠加位置信息和显示时间信息)对应的视差信息从视差信息提取单元235提供到立体图像闭路字幕产生单元234。此外，在已提取出的针对每一个Regionjd的视差信息当中，将与字幕信息和图形信息(其包括叠加位置信息和显示时间信息)对应的视差信息从视差信息提取单元235 提供到立体图像字幕和图形产生单元226。进一步，在已提取出的针对每一个Regionjd的视差信息当中，将与文本信息(其包括叠加位置信息和显示时间信息)对应的视差信息从视差信息提取单元235提供到立体图像文本产生单元227。尽管将省略详细描述，但是图40中所示的210D以与图39中所示的位流处理单元 201C相同的方式来另外地配置，并且以相同的方式进行操作。[位流处理单元的另一示例配置]此外，图41所示的位流处理单元201E配置为对应于上面图沈所示的上述传输数据产生单元110E。在该图41中，用相同的附图标记指示对应于图35和图38的部分，并且省略其详细描述。位流处理单元201E包括CC解码器236。在图沈所示的传输数据产生单元IlOE 的CC数据处理单元130上，基于CC数据产生要在左眼图像上叠加的左眼闭路字幕信息的数据和要在右眼图像上叠加的右眼闭路字幕信息的数据。然后，将CC数据处理单元130的处理之后的CC数据提供到视频编码器113的流格式器113a，并作为用户数据嵌入在视频流中。在CC解码器236上，从通过视频解码器221获得的视频基本流中提取CC数据，并且进一步，从该CC数据中获得对于每一个Window的左眼和右眼闭路字幕信息的数据。在 CC解码器236上获得的左眼和右眼闭路字幕信息的数据提供到视频叠加单元228。在视频叠加单元2 上，将在CC解码器236、字幕和图形解码器222和文本解码器 223上产生的数据叠加在立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。尽管将省略详细描述，但是图41中所示的210E以与图38中所示的位流处理单元20IB相同的方式来另外地配置，并且以相同的方式进行操作。[电视接收器的描述]返回图1，电视接收器300接收经由HDMI线缆400从机顶盒200发送的立体图像数据。该电视接收器300包括3D信号处理单元301。该3D信号处理单元301使立体图像数据经历对应于传输方法的处理(解码处理)，以产生左眼图像数据和右眼图像数据。确切地，该3D信号处理单元301进行与图2、13、18、19、25和沈中所示的传输数据产生单元 110、110A、110B、110C、110D和IlOE中的视频成帧单元112相反的处理。然后，3D信号处理单元301获取形成立体图像数据的左眼图像数据和右眼图像数据。[电视接收器的示例配置]将描述电视接收器300的示例配置。图42图示了电视接收器300的示例配置。 该电视接收器300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子 304、数字调谐器305和位流处理单元306。此外，电视接收器300包括视频信号处理电路 307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器 312。此外，该电视接收器300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。天线端子304是用于输入接收天线(未图示)上接收到的电视广播信号的端子。 数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的通道对应的预定位流数据(传送流)。以与图34中所示的机顶盒200的位流处理单元201相同的方式来配置位流处理单元306。该位流处理单元306从位流数据中提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、叠加信息数据、视差矢量(视差信息)等。叠加信息数据为闭路字幕数据、字幕数据、图形数据、文本数据等。该位流处理单元306将叠加信息数据与立体图像数据相组合，以获取用于显示的立体图像数据。此外，位流处理单元306输出音频数据。HDMI接收单元303接收通过遵循HDMI的通信经由HDMI线缆400提供到HDMI端子302的未压缩图像数据(立体数据)和音频数据。该HDMI接收单元303的细节将在稍后描述。3D信号处理单元301使在HDMI接收单元303上接收到的或者在位流处理单元306 上获得的立体图像数据经历对应于传输方法的处理(解码处理)，以产生左眼图像数据和右眼图像数据。视频信号处理电路307基于在3D信号处理单元301上产生的左眼图像数据和右眼图像数据来产生用于显示立体图像的图像数据。此外，视频信号处理电路根据需要使该图像数据经历画质调整过程。面板驱动电路308基于从视频信号处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由IXD (液晶显示器)、PDP (等离子体显示面板)等配置。音频信号处理电路310使在HDMI接收单元303上接收到的或者在位流处理单元 306上获得的音频数据经历诸如D/A转换之类的必要过程。音频放大电路311放大从音频信号处理电路310输出的音频信号，并提供至扬声器312。CPU 321控制电视接收器300的每一个单元的操作。闪速ROM 322进行控制软件的存储和数据的存储。DRAM 323形成CPU 321的工作区。CPU 321将从闪速ROM 322读出的软件和数据加载至DRAM 323，启动该软件，并且控制电视接收器300的每一个单元。
遥控接收单元325接收从遥控发送器3 发送的遥控信号(遥控代码)，并提供到 CPU 321。CPU 321基于该遥控代码控制电视接收器300的每一个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。简要描述在图42中图示的电视接收器300的操作。HDMI接收单元303接收经由 HDMI线缆400从连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。HDMI 接收单元303上接收到的该立体图像数据提供到3D信号处理单元301。此外，在该HDMI接收单元303上接收到的音频数据提供到音频信号处理电路310。输入到天线端子304的电视广播信号提供到数字调谐器305。利用该数字调谐器 305，处理电视广播信号，并输出与用户选择的通道对应的预定位流数据(传送流)。从数字调谐器305输出的位流数据提供到位流处理单元306。利用该位流处理单元306，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、叠加信息数据、视差矢量(视差信息)等。此外，利用该位流处理单元306，将叠加信息(闭路字幕信息、字幕信息、图形信息或文本信息)的数据与立体图像数据相合成，并产生用于显示的立体图像数据。位流处理单元306上产生的用于显示的立体图像数据提供到3D信号处理单元 301。此外，位流处理单元306上获得的音频数据提供到音频信号处理电路310。利用3D信号处理单元301，使在HDMI接收单元303上接收到的或者在位流处理单元306上获得的立体图像数据经历对应于传输方法的处理(解码处理)，并产生左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频信号处理单元电路307。 利用该视频信号处理电路307，基于左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。据此，将立体图像显示在显示面板309上。此外，利用音频信号处理电路310，使在HDMI接收单元303上接收到的或者在位流处理单元306上获得的音频数据经历诸如D/A转换之类的必要处理。该音频数据在音频放大电路311上放大，然后提供到扬声器312。因此，音频从扬声器312输出。[HDMI发送单元和HDMI接收单元的示例配置]图43以图1中的立体图像显示系统10图示了机顶盒200的HDMI发送单元(HDMI 信源)206和电视接收器300的HDMI接收单元(HDMI信宿)303的示例配置。在有效图像部分(以下也称为“活动视频部分”)期间，HDMI发送单元206利用多通道将与等于图像的未压缩一个屏幕的像素数据对应的差分信号单向发送到HDMI接收单元303。这里，有效图像部分是从某个垂直同步信号到下一个垂直同步信号之间的部分中去除水平消隐部分和垂直消隐部分所获得的部分。此外，在水平消隐部分或垂直消隐部分期间，HDMI发送单元206使用多通道将与至少跟随图像的音频数据、控制数据、其它辅助数据等对应的差分信号单向发送到HDMI接收单元303。作为由HDMI发送单元206和HDMI接收单元303形成的HDMI系统的传输通道， 提供了下列传输通道。确切地，存在用作用于与像素时钟同步的将像素数据和音频数据从 HDMI发送单元206串行地单向发送到HDMI接收单元303的传输通道的三个TMDS通道#0 至#2。此外，存在用作用于发送像素时钟的传输通道的TMDS时钟通道。HDMI发送单元206包括HDMI发送器81。发送器81将例如未压缩图像的像素数据转换为对应的差分信号，并通过作为多通道的三个TMDS通道#0、#1和#2串行地单向发送到经由HDMI线缆400连接的HDMI接收单元303。此外，发送器81将跟随未压缩图像的音频数据、进一步必要的控制数据和其它的辅助数据等转换为对应的差分信号，并通过三个TMDS通道#0、#1和#2串行地单向发送到 HDMI接收单元303。进一步，发送器81使用TMDS时钟通道，将与通过三个TMDS通道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI线缆400连接的HDMI接收单元303。这里，通过一个TMDS通道#i (i = 0，1，2)，在像素时钟的一个时钟期间发送10-位像素数据。HDMI接收单元303使用多通道，在活动视频部分期间接收与单向地从HDMI发送单元206发送的像素数据对应的差分信号。此外，该HDMI接收单元303使用多通道，在水平消隐部分或垂直消隐部分期间接收与单向地从HDMI发送单元206发送的音频数据和控制数据对应的差分信号。确切地，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82接收通过使用TMDS通道#0、#1和#2单向地从HDMI发送单元206发送的、与像素数据对应的差分信号以及与音频数据和控制数据对应的差分信号。在这种情况下，HDMI接收器与通过TMDS时钟通道从HDMI发送单元206发送的像素时钟同步地接收差分信号。除了上述TMDS通道#0 #2之外，由HDMI发送单元206和HDMI接收单元303 形成的HDMI系统的传输通道还包括被称为DDC (Display DataChannel，显示数据通道)83 和CEC线84的传输通道。DDC 83由未示出的包括在HDMI线缆400中的两条信号线形成。 DDC 83 用于 HDMI 发送单元 206 从 HDMI 接收单元 303 读出 E-EDID (Enhanced Extended DisplayIdentification Data，增强扩展显示标识数据)。确切地，除了 HDMI接收器81之外，HDMI接收单元303还包括用于存储作为关于自身性能(配置/容量)的性能信息的E-EDID的EDID R0M(只读存储器)85。HDMI发送单元206例如响应于来自CPU 211(参看图34)的请求，经由DDC 83从经由HDMI线缆400 连接的HDMI接收单元303中读出E-EDID。HDMI发送单元206将所读取的E-EDID发送到 CPU 211。CPU211 在闪速 ROM 212 或 DRAM 213 中存储该 E-EDID。CPU 211基于E-EDID识别HDMI接收单元303的性能设置。例如，CPU211识别具有HDMI接收单元303的电视接收器300可应对的图像数据的格式(分辨率、帧速、纵横比
寸J ο CEC线84由包括在HDMI线缆400中的一条未示出的信号线形成，并且用于对HDMI 发送单元206与HDMI接收单元303之间的控制数据执行双向通信。该CEC线84形成控制数据线。此外，HDMI线缆400包含与称为HPD (Hot Plug Detect，热插拔检测)的引脚连接的线(HPD线)86。信源设备可以通过利用该线86检测信宿设备的连接。此外，HDMI线缆 400包含用于从信源设备向信宿设备提供电源的线87。进一步，HDMI线缆400包含保留线 88。图44图示了图43中的HDMI发送器81和HDMI接收器82的配置示例。HDMI发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B和 SlC0然后，编码器/串行化器81A、81B和81C中的每一个均对向其提供的图像数据、辅助数据和控制数据进行编码，将并行数据转换成串行数据，并通过差分信号进行发送。现在，在图像数据例如包括R、G和B三个分量的情形下，将B分量提供到编码器/串行化器81A， 将G分量提供到编码器/串行化器81B，而将R分量提供到编码器/串行化器81C。此外，辅助数据的示例包括音频数据和控制包，控制包例如提供到编码器/串行化器81A，音频数据提供到编码器/串行化器81B和81C。进一步，作为控制数据，存在1-位垂直同步信号(VSYNC)U-位水平同步信号(HSYNC)和每一个均由一个1位形成的控制位 CTL0、CTL1、CTL2和CTL3。垂直同步信号和水平同步信号提供到编码器/串行化器81A。控制位CTLO和CTLl提供到编码器/串行化器81B，控制位CTL2和CTL3提供到编码器/串行化器81C。编码器/串行化器81A以分时方式发送提供到其中的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。确切地，编码器/串行化器81A将提供到其中的图像数据的B分量以8位(其是固定位数)为增量取为并行数据。进一步，编码器/串行化器81A 对其并行数据进行编码，转换为串行数据，并使用TMDS通道#0进行发送。此外，编码器/串行化器81A编码提供到其中的垂直同步信号和水平同步信号的 2-位并行数据，转换为串行数据，并使用TMDS通道#0进行发送。进一步，编码器/串行化器8IA将提供到其中的辅助数据以4位为增量取为并行数据。然后，编码器/串行化器8IA 编码其并行数据，转换为串行数据，并使用TMDS通道#0进行发送。编码器/串行化器81B以分时方式发送提供到其中的图像数据的G分量、控制位 CTLO和CTLl以及辅助数据。确切地，编码器/串行化器81B将提供到其中的图像数据的G 分量以8位(其是固定位数)为增量取为并行数据。进一步，编码器/串行化器81B编码该并行数据，转换为串行数据，并使用TMDS通道#1进行发送。此外，编码器/串行化器81B对提供到其中的控制位CTLO和CTLl的2_位并行数据进行编码，转换为串行数据，并使用TMDS通道#1进行发送。进一步，编码器/串行化器 81B将提供到其中的辅助数据以4位为增量取为并行数据。然后，编码器/串行化器81B编码其并行数据，转换为串行数据，并使用TMDS通道#1进行发送。编码器/串行化器81C以分时方式发送提供到其中的图像数据的R分量、控制位 CTL2和CTL3以及辅助数据。确切地，编码器/串行化器81C将提供到其中的图像数据的R 分量以8位(其是固定位数)为增量取为并行数据。进一步，编码器/串行化器81C编码其并行数据，转换为串行数据，并使用TMDS通道#2进行发送。此外，编码器/串行化器81C编码提供到其中的控制位CTL2和CTL3的2_位并行数据，转换为串行数据，并使用TMDS通道#2进行发送。进一步，编码器/串行化器81C将提供到其中的辅助数据以4位为增量取为并行数据。然后，编码器/串行化器81C编码其并行数据，转换为串行数据，并使用TMDS通道#2进行发送。HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复器/解码器82A、82B和82C。然后，恢复器/解码器82A、82B和82C中的每一个使用TMDS通道#0、 #1和#2接收通过差分信号发送的图像数据、辅助数据和控制数据。进一步，恢复器/解码器82A、82B和82C中的每一个将图像数据、辅助数据和控制数据从串行数据转换为并行数据，并进一步解码和输出这些数据。确切地，恢复器/解码器82A使用TMDS通道#0接收通过差分信号发送的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复器/解码器82A将其图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出这些数据。恢复器/解码器82B使用TMDS通道#1接收通过差分信号发送的图像数据的G分量、控制位CTLO和CTLl以及辅助数据。然后，恢复器/解码器82B将其图像数据的G分量、 控制位CTLO和CTLl以及辅助数据从串行数据转换成并行数据，并解码和输出这些数据。恢复器/解码器82C使用TMDS通道#2接收通过差分信号发送的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复器/解码器82C将其图像数据的R分量、 控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出这些数据。图45图示了 TMDS传输数据的结构示例。该图45图示了在使用TMDS通道#0、#1 和#2发送具有1920像素X 1080线的宽X长的图像数据的情形下的各种类型传输数据的各部分。对于使用HDMI的三个TMDS通道#0、#1和#2发送传输数据的视频场(Video Field)，根据传输数据的类型，存在三种类型的部分。该三种类型的部分是视频数据部分 (Video Data Period)、数据岛部分(Data Island Period)和控制部分(Control Period)。这里，视频场部分是从某个垂直同步信号的上升沿(活动沿)到下个垂直同步信号的上升沿的部分。该视频场部分分成水平消隐时段(水平消隐)、垂直消隐时段(垂直消隐)和活动视频部分(Active Video)。该活动视频部分是通过从视频场部分中去除水平消隐时段和垂直消隐时段而获得的部分。将视频数据部分分配给活动视频部分。通过视频数据部分，发送等于1920像素X 1080线的有效像素(Active Pixels，活动像素)的数据(其形成等于未压缩的一个屏幕的图像数据)。将数据岛部分和控制部分分配给水平消隐时段和垂直消隐时段。通过数据岛部分和控制部分，发送辅助数据(Auxiliary data)。也就是说，向水平消隐时段和垂直消隐时段的一部分中分配数据岛部分。通过该数据岛部分，在辅助数据当中，发送不涉及控制的数据 (例如，音频数据的包等)。将控制部分分配给水平消隐时段和垂直消隐时段的另一部分。通过该控制部分， 在辅助数据当中，发送涉及控制的数据(例如，垂直同步信号和水平同步信号、控制包等)。图46图示了 HDMI端子211和251的引脚排列的示例。图46所示的引脚排列称为 A 型(type-A)。用于发送TMDS通道#i的差分信号的两条差分线连接到TMDS数据#i+分配到的引脚(具有引脚号1、4或7的引脚)以及TMDS数据#i-分配到的引脚(具有引脚号3、6 或9的引脚)。此外，发送作为控制数据的CEC信号的CEC线84连接到引脚号为13的引脚，而引脚号为14的引脚为空(Reserved)引脚。此外，发送诸如E-EDID之类的SDA (Serial Data, 串行数据)信号的线连接到引脚号为16的引脚。此外，发送作为在SDA信号的发送/接收时用于同步的时钟信号的SCLGerialClock，串行时钟)信号的线连接到引脚号为15的引脚。上述DDC 83由发送SDA信号的线和发送SCL信号的线配置。此外，用于信源设备如上所述那样检测信宿设备的连接的HDP 86连接到引脚号为19的引脚。此外，用于如上所述那样提供电源的线87连接到引脚号为18的引脚。
[用于立体图像数据的每种方法中的TMDS传输数据的示例]现在描述用于立体图像数据的方法中的TMDS传输数据的示例。图47图示了第一传输方法(“上下”法)中的TMDS传输数据的示例。在这种情况下，在1920像素X 1080线的活动视频时段中，存在等于1920像素(pixel) X 1080线的活动像素(Active pixel)数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)。通过该第一方法，左眼图像数据和右眼图像数据每一个均具有在垂直方向上被稀疏到1/2的线。现在，要发送的左眼图像数据是奇数线或偶数线，并且以相同的方式，要发送的右眼图像数据是奇数线或偶数线。图48图示了第二传输方法(“并排”法)中的TMDS传输数据的示例。在这种情况下，在1920像素X 1080线的活动视频时段中，存在等于1920像素(pixel) X 1080线的活动像素(Active pixel)数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)。在该第二传输方法的情况下，左眼图像数据和右眼图像数据每一个如上所述那样均具有在水平方向上被稀疏到1/2的线。图49图示了第三传输方法(“帧顺序”法)中的TMDS传输数据的示例。在这种情况下，对于奇数场，在1920像素X 1080线的活动视频时段中，存在等于1920像素 (pixel) X 1080线的活动像素(Active pixel)左眼(L)图像数据。此外，对于偶数场，在 1920像素X 1080线的活动视频时段中，存在等于1920像素(pixel) X 1080线的活动像素 (Active pixel)右眼(R)图像数据。注意，图49中所示的“帧顺序”法中的TMDS传输数据的示例图示了用于HDMI 1.4 (New HDMI，新HDMI)的“帧顺序”法。在这种情况下，如图50 (a)中所示，左眼图像数据位于奇数场，而右眼图像数据位于偶数场。然而，在用于HDMI 1.3 (Legacy HDMI，传统HDMI)的“帧顺序”法的情况下，如图 50(b)中所示，以交替的方式发送左眼图像数据和右眼图像数据，每帧时段Vfreq。在这种情况下，信源设备需要将指示每帧发送的图像数据是左眼图像数据和右眼图像数据中的哪个的信息(L，R信令信息)发送至信宿设备。在通过“上下”法、“并排”法或“帧顺序”法将立体图像数据发送至信宿设备的情况下，信源设备方指定方法。进一步，在“帧顺序”法的情况下，每帧进行对L或R的信令 (signaling)。例如，通过重新定义在Legacy HDMI规范中针对消隐所定义的VendorSpecific或 AVI InfoFrame或Reserved之一来发送下列语法。在HDMI 1. 3的情况下，将下列定义为在消隐时段中发送的信息。InfoFrame Type # ( 8bits )
0x01: Vendor Specific 0x02: AVI InfoFrame 0x03: Source Product Description 0x04: Audio InfoFrame 0x05: MPEG Source
0x06 - OxFF Reserved对于这些，按照如下那样重新定义Vendor Specific或AVI InfoFrame或unused region(未使用区域)之一。
3DVideoFlag Ibit ( 0: 2D, 1: 3D)
if (3DVideoFlag) {
3DVideoFormat 3bits ( 0x0: Frame Packing Left View 0x1: Frame Packing Right View 0x2: Side by Side 0x4: Top & Bottom by Frame 0x6: Top & Bottom by Field 0x3, 5, 7: Reserved ) Reserved 4bits ( 0x0 )
}
else {
Reserved 7bits ( 0x0 )
}用于在3维图像数据(立体图像数据)和2维图像数据之间进行切换的信息(1 位3Dvide0Flag信息)包括在上述信息中。此外，用于指定3维图像数据的格式或者用于在左眼图像数据和右眼图像数据之间进行切换的信息(3位3Dvide0F0rmat信息)包括在上述信息中。注意，在关于其广播类似内容的位流中，应当在画面头部中或者在与其等效的时刻发送的辅助信息中定义该信息。在这种情况下，该位流中包括了 3维图像数据(由左眼图像数据和右眼图像数据形成的立体图像数据)和2维图像数据中的一个或另一个。在接收设备(机顶盒200)上，一旦接收到流则将该信令信息向下游发送到数字接口，由此可以在显示器(电视接收器300)上进行精确的3D转换。
可以安排接收器，以使得当切换(switchover)信息(1位3Dvide0Flag信息)指示3维图像数据时，从诸如广播服务器之类的外部设备下载用于处理数据流中所包括的3 维图像数据的软件，并且进行安装。例如，为了发送上述3D信息，需要通过添加至与HDMI 1. 3兼容的系统来进行应对或者更新与HDMI 1.4兼容的系统的软件。据此，在更新软件时，例如，关于发送上述3D信息所需要的固件和中间件(middleware)的软件是更新的对象。如上所述，通过图1中所示的发送/接收系统10，基于视差信息，将视差提供至要在左眼图像数据和右眼图像数据上叠加的相同叠加信息(闭路字幕信息、字幕信息等)。据此，可以将已经根据图像内对象(object)的透视经历了视差调节的那个用作要在左眼图像数据和右眼图像数据上叠加的相同叠加信息，并且可以在显示叠加信息时在图像中的各对象之间保持透视的一致性。<2.变型 >注意，通过上述实施例，将图像内预定位置的视差矢量从广播站100发送到机顶盒200。在这种情况下，机顶盒200无需基于接收到的立体图像中所包括的左眼图像数据和右眼图像数据来获得视差矢量，并且机顶盒200的处理被简化。然而，可以设想将与图2中传输数据产生单元110中的视差矢量检测单元114等同的视差矢量检测单元部署到立体图像数据的接收方(其在上述实施例中为机顶盒200)。 在这种情况下，即使在未发送视差矢量的情况下也可以进行使用视差矢量的处理。图51图示了例如向机顶盒200提供的位流处理单元201F的配置示例。在该图51 中，用相同的附图标记表示对应于图35的部分，并且将省略其详细描述。对于该位流处理单元201F，提供了视差矢量检测单元237来代替图35中位流处理单元201中的视差矢量解码器225。该视差矢量检测单元237基于构成在视频解码器221上获得的立体图像数据的左眼图像数据和右眼图像数据，检测图像内预定位置上的视差。然后视差矢量检测单元237 将检测到的视差矢量提供至立体图像字幕和图形产生单元226、立体图像文本产生单元 227和多声道扬声器控制单元229。尽管将省略详细描述，但是图51中所示的位流处理单元201F以与图35中所示的位流处理单元201相同的方式来另外地配置，并且以相同的方式进行操作。此外，图52图示了例如向机顶盒200提供的位流处理单元201G的另一配置示例。 在该图52中，用相同的附图标记表示对应于图35和图39的部分，并且将省略其详细描述。对于该位流处理单元201G，提供了视差矢量检测单元237来代替图39中位流处理单元 201C中的视差矢量解码器225。该视差矢量检测单元237基于形成在视频解码器221上获得的立体图像数据的左眼图像数据和右眼图像数据，检测图像内预定位置上的视差。然后视差矢量检测单元237 将检测到的视差矢量提供至立体图像闭路字幕产生单元234、立体图像字幕和图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。尽管将省略详细描述，但是图52中所示的位流处理单元201G以与图39中所示的位流处理单元201C相同的方式来另外地配置，并且以相同的方式进行操作。此外，通过上述实施例，已经示出了发送/接收系统10由广播站100、机顶盒200和电视接收器300配置的这种布置。然而，如图42中所示，电视接收器300具有位流处理单元306，其以与机顶盒200中的位流处理单元201相等效的方式进行操作。据此，可以设想诸如图53中所示的由广播站100和电视接收器300配置的立体图像显示系统IOA0此外，通过上述实施例，已经示出了从广播站100广播包括立体图像数据的数据流(位流数据)的这种布置。然而，事实上，本发明可以类似地应用于具有使用网络(如， 因特网)将数据流分配至接收端子的配置的系统。注意，本申请参考日本专利申请No. 2009-153686。工业应用性本发明可以应用于将诸如图形信息、文本信息之类的叠加信息叠加至图像并对其进行显示的立体图像显示系统等。参考符号列表10，IOA 立体图像显示系统；100 广播站；110，IlOA IlOE 传输数据产生单元； 111L，IllR 相机；112 视频成帧单元；113 视频编码器；113a 流格式器；114 视差矢量检测单元；115 视差矢量编码器；116 麦克风；117 音频编码器；118 字幕和图形产生单元；119 字幕和图形编码器；120 文本产生单元；121 文本编码器；122 多路复用器；IM 字幕和图形处理单元；125 文本处理单元；1 控制器；127 =CC编码器；1 =Z数据单元； 129 视差信息编码器；130 =CC数据处理单元；200 机顶盒；201，201A 201G 位流处理单元；202 =HDMI端子；203 天线端子；204 数字调谐器；205 视频信号处理电路；206 =HDMI 发送单元；207 音频信号处理电路；211 =CPU ；212 闪速ROM ；214 内部总线；215 遥控接收单元；216 遥控发送器；220，220A 解多路复用器；221 视频解码器；222 字幕和图形解码器；223 文本解码器；2M 音频解码器；225 视差矢量解码器；2 立体图像字幕和图形产生单元；227 立体图像文本产生单元；2 视频叠加单元；2 多声道扬声器控制单元；231 视差矢量提取单元；232 视差提取单元；233 :CC解码器；234 立体图像闭路字幕产生单元；235 视差信息提取单元；236 :CC解码器；237 视差信息检测单元；300 电视接收器；301 :3D信号处理单元；302 =HDMI端子；303 =HDMI接收单元；304 天线端子；305 数字调谐器；306 位流处理单元；307 视频信号处理电路；308 面板驱动电路；309 显示面板；310 音频信号处理电路；311 音频放大电路；312 扬声器；321 :CPU ;322 闪速ROM ； 323 =DRAM ；324 内部总线；325 遥控接收单元；326 遥控发送器；400 =HDMI线缆
权利要求
1.一种立体图像数据传输设备，其包括编码单元，其配置为对包括左眼图像数据和右眼图像数据的立体数据进行编码，以使得获得编码视频数据；叠加信息数据产生单元，其配置为产生要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据；视差信息输出单元，其配置为输出视差信息，以将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息；以及传输单元，其配置为发送从所述编码单元获得的编码视频数据、在所述叠加信息数据产生单元上产生的叠加信息数据以及从所述视差信息输出单元输出的视差信息。
2.如权利要求1所述的立体图像数据传输设备，其中，向在所述叠加信息数据产生单元上产生的每个叠加信息数据添加标识符；并且其中，从所述视差信息输出单元输出的每个叠加信息数据的视差信息已向其添加了与提供至对应叠加信息数据的标识符相对应的标识符。
3.如权利要求1或2所述的立体图像数据传输设备，所述视差信息输出单元进一步包括视差信息确定单元，其配置为针对在所述叠加信息数据产生单元上产生的每个叠加信息数据，根据所述左眼图像数据和所述右眼图像数据的图像的内容来确定所述视差信息；其中，在所述视差信息确定单元上确定出的视差信息被输出。
4.如权利要求3所述的立体图像数据传输设备，所述视差信息确定单元进一步包括视差信息检测单元，其配置为基于所述左眼图像数据和所述右眼图像数据，在图像内的多个位置上检测左眼图像和右眼图像之一对于另一个的视差信息；并且在所述视差信息检测单元上检测到的多个视差信息当中，为每个所述叠加信息确定在对应于叠加位置的检测位置上检测到的视差信息。
5.如权利要求1或2所述的立体图像数据传输设备，所述视差信息输出单元进一步包括视差信息设置单元，其配置为设置在所述叠加信息数据产生单元上产生的每个叠加信息数据的所述视差信息；并且输出在所述视差信息设置单元上设置的视差信息。
6.如权利要求1或2所述的立体图像数据传输设备，所述视差信息输出单元进一步包括视差信息确定单元，其配置为针对在所述叠加信息数据产生单元上产生的每个叠加信息数据，根据所述左眼图像数据和所述右眼图像数据的图像的内容来确定所述视差信息； 以及视差信息设置单元，其配置为设置在所述叠加信息数据产生单元上产生的每个叠加信息数据的所述视差信息；其中，在所述视差信息确定单元上确定出的视差信息以及在所述视差信息设置单元上确定出的视差信息被选择性地输出。
7.如权利要求1所述的立体图像数据传输设备，其中，所述传输单元包括视频基本流的头部部分的用户数据区域中的、在所述视差信息单元上输出的视差信息，所述视频基本流在有效负荷部分中包括在所述编码单元上获得的编码视频数据。
8.如权利要求1所述的立体图像数据传输设备，其中，在发送从所述视差信息输出单元输出的视差信息时，所述传输单元将指示所述叠加信息的叠加位置的信息和指示所述叠加信息的显示时间的信息中的一个或两者添加至所述视差信息，并且进行发送。
9.如权利要求1所述的立体图像数据传输设备，其中，所述叠加信息的数据是用于显示字幕或节目信息的字符代码。
10.如权利要求1所述的立体图像数据传输设备，其中，叠加信息的数据是用于显示字幕或图形的位图数据。
11.一种立体图像数据传输方法，其包括编码步骤，其用于对包括左眼图像数据和右眼图像数据的立体数据进行编码，以使得获得编码视频数据；叠加信息数据产生步骤，其用于产生要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据；视差信息输出步骤，其用于输出视差信息，以将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息；以及传输步骤，其用于发送在所述编码步骤中获得的编码视频数据、在所述叠加信息数据产生步骤中产生的叠加信息数据以及在所述视差信息输出步骤中输出的视差信息。
12.—种立体图像数据接收设备，其包括接收单元，其配置为接收通过对包括左眼图像数据和右眼图像数据的立体数据进行编码所获得的编码视频数据、要在左眼图像数据和右眼图像数据的图像上叠加的叠加信息的数据，以及用于将视差提供至要在左眼图像数据和右眼图像数据的图像上叠加的所述叠加信息的视差信息；解码单元，其配置为对在所述接收单元上接收到的所述编码视频数据进行解码，以使得获得所述立体图像数据；以及图像数据处理单元，其配置为基于在所述接收单元上接收到的所述视差信息，将视差提供至与包括在所述解码单元上获得的立体图像数据中的、在所述接收单元上接收到的要叠加在左眼图像数据和右眼图像数据的图像上的所述叠加信息数据的叠加信息相同的叠加信息，从而获得所述叠加信息已叠加到其上的左眼图像的数据和所述叠加信息已叠加到其上的右眼图像的数据。
全文摘要
为了例如在闭路字幕显示上保持图像中每个对象之间的透视感的一致性，视频成帧单元(112)将左眼图像数据和右眼图像数据处理为与传输系统对应的状态，并且获得用于传输的立体图像数据。CC编码器(127)输出闭路字幕数据(CC数据)。Z数据单元(128)输出与用于叠加信息(如闭路字幕信息)的每个数据相关联的视差信息。该关联是使用Region_id进行的。CC数据和视差信息传送至视频编码器(113)的流格式器(113a)，并且作为用户数据嵌入在视频流中并进行发送。在接收方，视差已调节到适于图像中每个对象的透视感的信息可用作在左眼图像和右眼图像上叠加的相同叠加信息(闭路字幕信息等)。
文档编号H04N7/26GK102177723SQ201080002868
公开日2011年9月7日 申请日期2010年6月22日 优先权日2009年6月29日
发明者塚越郁夫 申请人:索尼公司