专利名称：立体参数嵌入装置和立体图像再现装置的制作方法
技术领域：
本发明涉及基于视频图像数据产生立体图像的技术。
背景技术：
已知一种立体系统，在其中，其间有特定视差(disparity)的左眼的图像和右眼的图像被合成和显示。观察者佩戴补色眼睛或偏光镜，或使用双凸透镜或视差屏障以部分阻碍他的/她的视觉从而引起双眼视差。
通过从两个不同的视点成像一个物体典型地创建一组视差图像。但是，一组视差图像可以从取自单个视点的一个图像来创建，如在专利文献1中所建议的一样。在专利文献1中描述的立体图像产生器从形成图像的象素的饱和度计算深度值，以深度值(或校正的深度值)为基础在图像的近视图和远视图之间鉴别，并且，在近视图中比在远视图中，加大左眼的图像和右眼的图像之间的视差。考虑到通常较远的景物有较低的饱和度和较近的景物有较高的饱和度的经验规律，采用了从象素的饱和度计算深度值的算法。
由于如在上述专利文献1中描述的技术，对于从一个图像创建其间有特定视差的图像近来变得相对容易。因此，预期原来不是打算用于立体视觉的视频内容将受到立体图像处理，并在如DVD(数字化视频光盘)的计算机可读媒质中销售。该DVD的购买者可以使用计算机以立体图像观看视频内容。
专利文献1未经审查的专利公开号2002-123842。
发明内容
本发明解决的问题需要注意的是以立体图像观看视频内容比以普通二维图像观看相同内容给观看者的眼睛带来了较重的压力。因此，一些使用者可能希望观看使用立体图像处理的如二维图像一样简单的视频内容。但是，在立体处理过的视频内容存储在媒质中的情况下，此时如同普通二维图像一样地观看该内容是不可能的。
考虑到上述的情况实现本发明，并提供使用者可以以立体图像或以二维图像观看的视频内容。
解决问题的手段依据本发明的优选实施例，计算机可读媒质包括将被依次处理的多段视频图像数据；和用于将视频图像转换为立体图像的立体参数，每个参数与多段视频图像数据中的每个关联。
依据本发明的另一个优选实施例，计算机可读媒质包括将被依次处理的多段视频图像数据；和与多段视频图像数据中的每个合并的子图数据，其中子图数据包括用于将视频图像转换为立体图像的立体参数。
在该实施例中，计算机可读媒质可以进一步包括用于使得计算机在视频图像数据上实施立体参数的立体图像处理的程序。
依据本发明的另一个实施例，立体参数嵌入装置包括视频图像输入单元，可操作为输入将被依次处理的多段视频图像数据；参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数分别与多段视频图像数据中的每个关联；转换器，可操作为将每个输入立体参数转换为二进制数据；和嵌入单元，可操作为在多段视频图像数据中的每个中嵌入相应于所述二进制数据的条形码图像数据。
依据本发明的另一个实施例，立体参数嵌入装置包括子图输入单元，可操作为输入与将被依次处理的多段视频图像数据中的每个合并的子图数据；参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数分别与多段视频图像数据中的每个关联；转换器，可操作为将每个输入立体参数转换为二进制数据；和嵌入单元，可操作为在每个子图数据中嵌入相应于所述二进制数据的条形码图像数据。
在本实施例中，立体参数嵌入装置可以进一步包括视频图像输入单元，可操作为输入与子图数据合并的多段视频图像数据；视频内容数据准备单元，可操作为准备信号的视频内容数据，其中，依据预定的标准，多路复合具有嵌入条形码图像数据的子图数据和通过视频图像输入单元输入的视频图像数据。
依据本发明的另一个实施例，立体图像再现装置包括读取器，可操作为从计算机可读媒质读出将被依次处理的视频图像数据，计算机可读媒质包括视频图像数据和条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数为二进制数据来准备条形码图像数据；条形码识别单元，可操作为识别在读出的视频图像数据中嵌入的条形码图像数据；参数提取单元，可操作为分析所识别的条形码图像数据以及提取立体参数；立体处理器，可操作为在视频图像数据上应用立体图像处理，立体图像处理在视频图像数据上实施提取的立体参数，所述视频图像数据中嵌入了立体参数的条形码图像数据；输出单元，可操作为按照预定的顺序将应用了立体处理的视频图像数据输出到显示器。
依据本发明的另一个实施例，立体图像再现装置包括读取器，可操作为从计算机可读媒质读出视频内容数据，视频内容数据包括将随后处理的视频图像数据，和将与视频图像数据合并的子图数据，其中嵌入了条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备条形码图像数据；提取单元，可操作为从读出的视频内容数据中提取视频图像数据和子图数据；条形码识别单元，可操作为识别在提取的子图数据中嵌入的条形码图像数据；参数提取单元，可操作为分析所识别的条形码数据以及提取立体参数；立体处理器，可操作为在视频图像数据上应用立体图像处理，立体图像处理在将与子图数据合并的视频图像数据上实施提取的立体参数，子图数据中嵌入了立体参数的条形码图像数据；合并器，可操作为将应用了立体处理的视频图像数据与子图数据合并；输出单元，可操作为按照预定的顺序将视频图像数据与合并的子图数据一起输出到显示器。
在本实施例中，立体图像再现装置可以进一步包括条形码擦除器，可操作为在分析条形码数据和从条形码图像数据中提取立体参数后，改变子图数据以擦除条形码图像数据，其中合并器将视频图像数据与改变的子图数据合并。
并且，在本实施例中，立体图像再现装置可以进一步包括再现系统转换开关，可操作为在用于立体观看的视频图像数据的再现和不用于立体观看的视频图像数据的再现之间切换，其中，如果再现系统转换开关选择了用于立体观看的视频图像数据的再现，合并器将应用了立体处理的视频图像数据与子图数据合并，以及，如果再现系统转换开关选择了不用于立体观看的视频图像数据的再现，将预先立体处理的视频图像数据与子图数据合并。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括视频图像输入单元，可操作为输入将随后处理的多段视频图像数据；和参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数与多段视频图像数据中的每个关联，所述处理包括将通过参数输入单元输入的每个立体参数转换为二进制数据；和在通过视频图像输入单元输入的视频图像数据中嵌入相应于二进制数据的条形码图像数据。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括子图输入单元，可操作为输入将与随后处理的多段视频图像数据合并的子图数据；和参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数与多段视频图像数据中的每个关联，所述处理包括通过参数输入单元将输入的每个立体参数转换为二进制数据；和在通过子图输入单元输入的子图数据中嵌入相应于二进制数据的条形码图像数据。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括读取器，可操作为从计算机可读媒质读出将随后处理的视频图像数据，计算机可读媒质包括视频图像数据和条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备条形码图像数据；和显示器，可操作为显示视频图像，所述处理包括识别在读取器读出的视频图像数据中嵌入的条形码图像数据；分析所识别的条形码图像数据以提取立体参数；对视频图像数据应用立体图像处理，立体图像处理在视频图像数据上实施提取的立体参数，所述视频图像数据中嵌入了立体参数的条形码图像数据；和按照预定的顺序输出应用了立体处理的视频图像数据到显示器。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括读取器可操作为从计算机可读媒质读出视频内容数据，视频内容数据包括将随后处理的视频图像数据和与视频图像数据合并的子图数据，在子图数据中嵌入了条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备条形码图像数据；和显示器，可操作为显示视频图像；所述处理包括从由读取器读出的视频内容数据提取视频图像数据和子图数据；识别在提取的子图数据中嵌入的条形码图像数据；分析所识别的条形码数据以提取立体参数；在视频图像数据上应用立体图像处理，立体图像处理在将与子图合并的视频图像数据上实施提取的立体参数，子图数据中嵌入了立体参数的条形码图像数据；将应用了立体处理的视频图像数据与子图数据合并；按照预定的顺序将视频图像数据和合并的子图数据一起输出到显示器。
依据本发明的另一个实施例，一种分配视频内容数据的方法，包括由第一个计算机产生代表信号的视频内容数据，第一个计算机包括视频图像输入单元，可操作为输入将随后处理的多段视频图像数据；子图输入单元，可操作为输入与多段视频图像数据中的每个合并的子图数据；和参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个立体参数与多段视频图像数据中的每个关联，产生视频内容数据的步骤包括将从子图输入单元输入的立体参数转换为二进制数据；在从子图输入单元输入的子图数据中嵌入相应于二进制数据的条形码图像数据；以及按照预定的标准多路复合子图数据和视频图像数据以产生信号，所述子图数据中嵌入了条形码图像数据，所述视频图像数据从视频图像输入单元输入，在计算机可读媒质中存储视频内容数据并运送它；使得存储在计算机可读媒质中的视频内容数据由能够再现视频内容数据的第二个计算机处理；和由第二个计算机显示视频图像的立体参数，包括从计算机可读媒质中读出的视频内容数据中提取视频图像数据和子图数据；识别在提取的子图数据中嵌入的条形码图像数据；分析所识别的条形码图像数据并提取立体参数；对视频图像数据应用立体图像处理应，立体图像处理在将与子图数据合并的视频图像数据上实施提取的立体参数，其中嵌入了立体参数的条形码图像数据；将应用了立体图像处理的视频图像数据与子图数据合并；以及按照预定的顺序将视频图像数据与合并的子图数据一起输出到显示器。
依据本发明的另一个实施例，计算机可读媒质包括二维图像数据；和用于将二维图像转换为立体图像的立体参数，立体参数与二维图像关联。
依据本发明的另一个实施例，立体参数嵌入装置包括图像输入单元，可操作为输入二维图像数据；参数输入单元，可操作为输入用于将二维图像转换为立体图像的立体参数；转换器，可操作为将输入的每个立体参数转换为二进制数据；和嵌入单元，可操作为在二维图像数据中嵌入相应于二进制数据的条形码图像数据。
依据本发明的另一个实施例，立体图像再现装置包括读取器，可操作为从计算机可读媒质读出二维图像数据，计算机可读媒质包括嵌入条形码图像数据的视频图像数据，通过转换用于将二维图像转换为立体图像的立体参数到二进制数据来准备条形码图像数据；条形码识别单元，可操作为识别在读出的二维图像数据中嵌入的条形码图像数据；参数提取单元，可操作为分析所识别的条形码图像数据以及提取立体参数；立体处理器，可操作为对二维图像数据应用立体图像处理，立体图像处理在二维图像数据上实施提取的立体参数，二维图像数据中嵌入了立体参数的条形码图像数据；输出单元，可操作为按照预定的顺序将应用了立体处理的视频图像数据输出到显示器。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括图像输入单元，可操作为输入二维图像数据；和参数输入单元，可操作为输入用于将二维图像转换为立体图像的立体参数，处理包括将通过参数输入单元输入的每个立体参数转换为二进制数据；和在通过视频图像输入单元输入的二维图像数据中嵌入相应于二进制数据的条形码图像数据。
依据本发明的另一个实施例的程序使得计算机执行处理，计算机包括读取器，可操作为从计算机可读媒质读出二维图像数据，计算机可读媒质包括嵌入条形码图像数据的二维图像数据，通过转换用于将二维图像转换为立体图像的立体参数到二进制数据来准备条形码图像数据；和显示器，可操作为显示图像，处理包括识别嵌入在由读取器读出的二维图像数据中的条形码图像数据；分析所识别的条形码图像数据以提取立体参数；在二维图像数据上应用立体图像处理，立体图像处理在二维图像数据上实施提取的立体参数，所述二维图像数据中嵌入了立体参数的条形码图像数据；和通过将立体处理产生的立体图像数据输出到显示器。
发明效果在本发明中，视频内容的视频数据和视频内容的参数数据分离地存储在计算机媒质上。当期望立体地观看视频内容时，使用分离存储的视频参数数据以从存储的视频图像数据产生立体图像。因为立体参数和视频图像数据分离地存储，视频内容可以再现以立体地或二维地观看。
图1是立体参数嵌入装置的硬件配置的示意图。
图2是子图数据修改器15的硬件配置图。
图3是示出嵌入条形码图像的子图的图。
图4是示出由条形码图像嵌入单元15e执行数据嵌入处理的流程图。
图5是立体图像再现装置的硬件配置的示意图。
图6是立体参数提取器的硬件配置图。
图7是示出由条形码分析器执行处理的流程图。
图中标记的解释10…时间基准信号供给器，11…视频数据编码器，12…音频数据编码器，13…参数存储器，14…参数输入单元，15…子图数据修改器，16…子图数据编码器，17…多路复合器，20…拾取单元，21…解调器/纠错器，22…去复合器，23…音频数据解码器，24…视频数据解码器，25…再现系统切换开关，26…立体处理器，27…合并器，28…子图数据解码器，29…立体参数提取器具体实施方式
(本发明的实施例)下面，将描述本发明的一个实施例。
本发明实施例的特征在于用于将二维图像转换为立体图像的参数嵌入在子图数据中，该数据被复合并存储在DVD(数字化视频光盘)中，当播放DVD时使用。
现在，下面将定义说明书中使用的关键术语。术语“生成器”用于涉及生成存储在DVD上的视频内容的实体。术语“使用者，，用于涉及购买和使用存储生成的视频内容的DVD的个人或公司。术语“视频数据”用于涉及体现主图像的视频信号的数据，术语“音频数据”用于涉及体现音频信号的数据，术语“子图数据”用于涉及体现子图的视频信号的数据；以及术语“视频内容数据”用于涉及当上述的3种数据类型遵照定义的标准被复合时生成的数据。
一种依据本发明的实施例的分配视频内容数据的方法包括视频内容生成处理；DVD运送处理；视频内容获取处理；以及立体图像显示处理。考虑到跟随本发明的实施例的描述，视频内容生成处理和立体图像显示处理是特有的。
在视频内容生成处理中，生成器获取视频数据、音频数据、和子图数据，作为视频内容的源数据，并在子图中嵌入条形码图像数据。条形码图像数据代表用于将基于视频数据再现的一序列视频图像转换为立体图像的参数。
在DVD运送处理中，生成器在DVD中存储视频内容数据，所述视频内容数据包括视频数据、音频数据、和嵌入条形码图像数据的子图数据，并为了销售运送DVD。
在视频内容获取处理中，使用者购买DVD，并使用能够再现所有立体图像和二维图像(在下文中，称作“立体图像再现装置”)的装置以读出存储在DVD中的视频内容数据。
在立体图像显示处理中，使用者使得由立体图像再现装置读出的视频内容数据以立体图像显示。
这些处理的每一个将在下面描述。
(视频内容生成处理)将描述视频内容生成处理。处理由生成器使用立体参数嵌入装置实现。
图1是示出立体参数嵌入装置的硬件配置的示意图。如图中所示，装置包括时间基准信号供给器10；视频数据编码器11；音频数据编码器12；参数存储器13；参数输入单元14；子图数据修改器15；子图数据编码器16；和多路复合器17。
时间基准信号供给器10向参数嵌入装置的诸个元件提供指示从视频内容的再现开始消逝的时间的时间基准信号t。装置的诸个元件参考时间基准信号t进行同步动作，例如数据编码。提供参考信号t的间隔对应于视频数据发生帧变的间隔。例如，在每秒30帧视频数据切换的情况下，以1/30秒提供时间基准信号t。
在视频数据编码器11中顺序地输入视频数据，编码器遵照MPEG(运动图像专家组)标准将压缩编码应用于输入视频数据。输入到视频数据编码器11中的视频数据是一序列的栅格数据组和一个时间戳。作为位图，栅格数据组代表各帧的视频图像；以及时间戳代表视频图像再现的时序。
在音频数据编码器12中顺序地输入音频数据，编码器编码输入的音频数据而不压缩它。输入到音频数据编码器12的音频数据包括一序列的事件数据组和一个时间戳。事件数据代表生成的音频的属性，时间戳代表处理事件数据的时序。
从现有技术可知，视频数据编码器11和音频数据编码器12的操作是众所周知的，因此，此处省略相关的详细描述。
参数存储器13存储带有时间戳的立体参数组。立体参数是用于将每帧的视频数据代表的视频图像(二维图像)转换为立体图像的参数，并且包括11种不同的参数类型，例如视频图像中绘出的每个物体的深度值(z-值)和依照物体的属性用于校正物体的深度值的校正值。立体参数包括依照特定的算法通过每帧的视频数据代表的视频图像的分析获得的文本数据，获得的立体参数存储在参数存储器13中与时间戳关联，该时间戳与所分析的视频图像关联。在现有技术中特定的算法是已知的，因此，省略相关的详细描述。
参数输入单元14从参数存储器13中顺序地读出立体参数组和时间戳，并将它们输入到子图数据修改器15。
在子图数据修改器15中顺序地输入子图数据，修改器在输入的子图数据中嵌入立体参数，并向子图数据编码器16提供这样修改的数据。不像上述的视频数据，子图数据是一序列的栅格数据组和控制数据。栅格数据把将与视频图像合并的子图描绘为位图，控制数据代表子图的控制方法。更具体地，栅格数据包括形成位图的每个象素的属性数据组和象素的地址。形成字幕的象素和形成背景的象素有不同的属性数据。控制数据包括代表子图显示的起始和终止的时间戳，以及指定字幕颜色和背景颜色的颜色代码。颜色代码是指定包括白色(透明色)的16种颜色中的任何一种的代码。控制数据可以包括最多4组颜色代码和象素的属性值。例如，在栅格数据中的情况下，字幕由与属性值a关联的象素形成，背景由与属性值b关联的象素形成，以及在控制数据中，属性值a与黑色的颜色代码关联，属性值b与白色的颜色代码有关，子图的字幕以黑色显示并且背景以白色(透明色)显示。在典型的子图中，字幕的颜色是黑色，并且背景颜色是白色(透明色)；但是，有一些情况下，与特定的属性值有关的颜色代码根据与子图合并的视频图像改变。
图2是示出子图数据修改器15的硬件配置的框图。如图中所示，子图数据修改器15包括数据分析器15a；子图数据补充单元15b；参数转换器15c；二进制数据存储器15d；和条形码图像嵌入单元15e。
数据分析器15a通过参照被包括在子图数据中的控制数据在已经添加字幕的时间域和没有添加字幕的时间域之间鉴别，在前者的时间域中，在输出它之前向输入的子图数据添加新的时间戳。具体地，分析器15a在输出子图数据之前，以时间基准信号t指示的时间更新包括在子图数据的控制数据中的时间戳(时间戳代表开始显示的时序和终止显示的时序)。因此，在已经添加字幕的时间域，输出一序列子图数据，其中栅格数据没有改变并且被包括在它们的控制数据中的时间戳指示的时间是连续的。另一方面，在没有添加字幕的时间域中，子图数据和用于命令子图数据补充的信号被提供给子图数据补充单元15b。
当从数据分析器15a提供信号以命令补充子图时，子图数据补充单元15b产生新的子图数据并输出数据到条形码图像嵌入单元15e。新的子图数据的栅格数据不包括字幕数据。被包括在子图控制数据中的一组颜色代码和属性值与从数据分析器15a提供的子图数据的那些一样。被包括在控制数据中的时间戳指示的时间与时间基准信号t指示的时间一样。即，在没有添加字幕的时间域中，输出一序列的子图数据，其中栅格数据没有字幕数据并且包括在它们的控制数据中的时间戳指示的时间是连续的。
参数转换器15c将立体参数转换为二进制数据。特别地，参数转换器15c将一个立体参数转换为8比特二进制数据，并且在二进制数据存储器15d中存储与时间戳有关的二进制数据，该时间戳与所述立体参数有关。依据本发明的实施例，立体参数包括11种不同参数类型；因此，作为单个转换的结果，88比特二进制数据存储在二进制数据存储器15d中。
当所有11种参数类型的二进制数据存储在二进制数据存储器15d中时，条形码图像嵌入单元15e产生相应于二进制数据的条形码图像数据，并将条形码图像数据嵌入到从数据分析器15a或子图数据补充单元15b提供的子图数据中包括的栅格数据中。
图3是示出条形码图像嵌入单元15e嵌入条形码图像的子图的图。
如图中所示，条形码图像嵌入到子图的位图的从顶端开始的第3到第5象素线中(下文中，称为“数据嵌入线”)。在数据嵌入线中，3个乘3个的象素块(共9个象素)横向排列。每块相应于是被二进制数字化的立体参数的二进制数据的一个比特。形成每块的9个象素的颜色与字幕或背景的颜色有关，并且基于块的颜色确定二进制数据是否代表“1”或“0”。
如图3中所示，从数据嵌入线的最左端L开始的两块被作为第一引导标记图域A保护，并且与域A的右侧相邻的一块被作为第二引导标记图域B保护。在第一引导标记图域A中的象素都与背景的颜色有关，并且在第二引导标记图域B中的象素都与字幕的颜色有关。所述标记不用于代表是二进制数字化的立体参数的二进制数据内容，而是用于指示二进制数据的起始点。与第二引导标记图域B的右侧相邻的区域被作为域C保护，域C用于代表二进制数据的内容。域C中的象素形成横向连续的88块，并且每块中的象素与字幕或背景的颜色有关。
图4是条形码图像嵌入单元15e执行操作的流程图。
在步骤100，当从数据分析器15a或子图补充单元15b输入子图数据时，条形码图像嵌入单元15e参考被包括在子图数据的控制数据中的时间戳，并从二进制数据存储器15d读出与相同时间戳有关的二进制数据。
在步骤110，条形码图像嵌入单元15e根据输入子图数据的控制数据识别指定字幕颜色和背景颜色的颜色代码。在步骤120，条形码图像嵌入单元15e指定由被包括在子图数据中的栅格数据代表的位图的数据嵌入线的最左端L。
在步骤130，条形码图像嵌入单元15e指定从最左端L横向开始的两块区域为第一引导标志图域A，并分配给所述指定区域中的所有象素一个相应于在步骤110中识别的背景颜色的颜色代码属性值。例如，如果背景颜色的颜色代码指示白色(透明色)，分配给象素一个代表白色(透明色)的属性值。
在步骤140，条形码图像嵌入单元15e指定与第一引导标志图域的右侧相邻的一块区域为第二引导标志图域B，并分配给所述指定区域中的所有象素一个相应于在步骤110中识别的字幕颜色的颜色代码属性值。例如，如果字幕颜色的颜色代码指示黑色，分配给象素一个代表黑色的属性值，并且如果颜色代码指示蓝色，分配一个代表蓝色的属性值。
在步骤150，条形码图像嵌入单元15e将与第二引导标志图域B的右侧相邻的区域中的象素分成块，并分配给每块中的象素一个相应于在步骤110中识别的字幕或背景的颜色代码的属性值。基于在步骤100中读出的二进制数据确定分配给象素的属性。例如，如果在步骤100读出的二进制数据的第一段代表“1”，将一个相应于字幕颜色的颜色代码的属性值分配给与第二引导标记图域的右侧相邻的一块中的9个象素。另一方面，如果在步骤100读出的二进制数据的第一段代表“0”，分配一个相应于背景颜色的颜色代码的属性值。条形码图像嵌入单元15e也参考二进制数据的随后的段，并以类似的方式相应于每段二进制数据给一个块中的象素分配一个属性值。当相应于二进制数据的所有段给块中的象素分配属性值完成时，在步骤160条形码图像嵌入单元15e输出如上所述处理的子图数据给子图数据编码器16。
每次从数据分析器15a或子图补充单元15b输入子图数据时，条形码图像嵌入单元15e执行如上所述的操作。
回到图1的描述，子图数据编码器16在从子图数据修改器15输入的子图数据上应用可变长度编码。
多路复合器17复合从视频数据编码器11、音频数据编码器12和子图数据编码器16输出的码串，产生视频内容数据，视频内容数据是符合DVD标准的信号串。
(DVD运送处理)在本发明的处理中，产生的视频内容数据提供给DVD制造工厂，并且存储视频内容数据的DVD从工厂运送到市场。
(视频内容获取处理)在本发明的处理中，拥有立体图像再现装置的使用者在商店购买了一张DVD，并将DVD插入到立体图像再现装置的DVD驱动器中。
(立体图像显示处理)立体图像显示处理是由立体图像再现装置执行的操作。当使用者将DVD插入到立体图像再现装置的DVD驱动器中时，使用再现系统选择器(未示出)在立体图像再现模式和二维图像再现模式之间选择再现系统，并命令DVD播放的启动，启动立体图像显示处理。
图5是立体图像再现装置的硬件配置的示意框图。如图中所示，立体图像再现装置包括拾取单元20；解调器/纠错器21；去复合器22；音频数据解码器23；视频数据解码器24；再现系统切换开关25；立体处理器26；子图解码器28；立体参数提取器29；和合并器27。
立体图像再现装置的操作的概要如下拾取单元20拾取插入到DVD驱动器中的DVD中存储的视频内容数据。解调器/纠错器21解调拾取单元20的输出，并输入到去复合器22。去复合器22将从拾取单元20输入的视频内容数据分为音频数据、视频数据和子图数据的压缩编码信号，并将音频数据的压缩编码信号提供给音频数据解码器23，将视频数据的压缩编码信号提供给视频数据解码器24，以及将子图数据的压缩编码信号提供给子图解码器28。
音频数据的压缩编码信号由音频数据解码器23解码并提供给扬声器。具体地，压缩编码信号被解码为音频数据，该音频数据包括代表要产生的音频的属性的事件数据组和代表处理事件数据的时序的时间戳，并提供给扬声器。
视频数据的压缩编码信号由视频数据解码器24解码并提供给再现系统切换开关25。特别地，压缩编码信号被解码为视频数据，该视频数据包括代表视频图像的栅格数据和代表再现视频图像的时序的时间戳，并提供给再现系统切换开关25。再现系统切换开关25将提供的视频数据输出到立体处理器26或直接输出到合并器27。依照由再现系统选择器(未示出)预先选择的再现系统切换视频数据的路径。特别地，如果预先选择了立体图像再现模式，视频数据输出到立体图像处理器26，并且如果预先选择了二维图像再现模式，视频数据直接输出到合并器27。
当视频数据从再现系统切换开关25输入时，立体处理器26使用由立体参数提取器29提供的立体参数在视频数据上应用立体图像处理。特别地，立体处理器26基于包括在立体参数中的深度值和它们的校正值，产生在其间有特定视差的一左眼图像和一右眼图像，并合并所述视差图像。将应用了立体图像处理的视频数据提供给合并器27。
子图数据的压缩编码信号由子图解码器28解码并提供给立体参数提取器29。特别地，压缩编码信号被解码为子图数据，该子图数据包括代表其中嵌入条形码图像的子图的栅格数据和所述子图的控制数据，并提供给立体参数提取器29。控制数据可以包括指定字幕颜色和背景颜色的颜色代码，以及关联子图和相应的视频数据的时间戳。立体参数提取器29从输入的子图数据中提取立体参数并将它们提供给立体处理器26，并将子图数据提供给合并器27。
合并器27将从再现系统切换开关25或立体处理器26输入的视频数据与从立体参数提取器29输入的子图数据合并，并提供得到的数据给监视器。
上面是立体图像再现装置元件的概要。下面，将详细描述执行本发明的实施例的特有操作的立体参数提取器29的操作。
图6是示出立体参数提取器29的详细硬件配置的框图。如图中所示，立体参数提取器29包括子图显像存储器29a；条形码读取器29b；RGB值存储器29c；条形码擦除器29e；条形码分析器29f；二进制数据存储器29g；和参数解码器29h。
在子图显像存储器29a中，一个由被包括在子图数据中的栅格数据代表的子图被显像为一个位图。在位于被显像的位图的顶端的数据嵌入线中绘出了条形码图像，如图3中所示。
条形码读取器29b从在子图显像存储器29a显像的位图中读出条形码图像的数据，并在RGB值存储器29c中存储相应于条形码图像的数据的RGB值。特别地，条形码读取器29b执行如下所述的操作。
条形码读取器29b识别子图显像存储器29a中显像的位图上的条形码图像的起始点。参照图3如上所述，从数据嵌入线的最左端开始的两块是第一引导标记图域A，其中的象素以背景的颜色绘出，并且与第一引导标记图域A的右侧相邻的一块是第二引导标记图域B，其中的象素以字幕的颜色绘出。因此，条形码读取器29b识别数据嵌入线(从顶端开始的第3到第5象素的一条线)，并以从最左端L向右的方向查阅象素。当识别块的象素(3象素)没有背景颜色时，条形码读取器29b识别块的右边缘为条形码图像的起始点。条形码读取器29b从识别的起始点光学地读出数据嵌入线的象素，并在RGB值存储器29c中存储与每个象素的地址有关的一个RGB值。对于R(红)，G(绿)，和B(蓝)的每一个，在255个色调中评估RGB值。当象素的RGB值变得与RGB(0，0，0)接近时，象素的颜色变得接近白色，当象素的RGB值变得与RGB(255，255，255)接近时，象素的颜色变得接近黑色。
在条形码读取器29b完成在RGB值存储器29c中的象素的RGB值存储之后，条形码擦除器29e修改被包括在子图中的栅格数据以从数据嵌入线擦除条形码图像。特别地，条形码擦除器29e写入在数据嵌入线之下(从顶端开始的第6到第8象素的一条线)3条线的属性值，覆盖所述数据嵌入线中的属性值。将如此修改的子图数据提供给合并器27。
条形码分析器29f从存储在RGB存储器29c中的象素的RGB值产生二进制数据，并在二进制数据存储器29g中存储产生的二进制数据。
图7是条形码分析器29f执行操作的流程图。
在步骤200，条形码分析器29f将存储在RGB值存储器29c中的RGB值分成每9个象素块的组。这些组中，与条形码图像的起始点最近的象素组是第一个受到下述处理的。
在步骤210，条形码分析器29f选择一个组，以及在属于该组的象素的RGB值中删除与白色(0，0，0)最接近的一个RGB值和与黑色(255，255，255)最接近的一个RGB值。
在步骤220，条形码分析器29f根据剩余的7个RGB值确定与RGB值小于预定的阈值相比是否有更多的RGB值大于所述预定的阈值，或反之亦然。所述阈值依赖于与包括在子图数据中的控制代码中形成字幕的象素有关的颜色代码。例如，在形成字幕的象素属性值与黑色的颜色代码有关的情况下，阈值设为64，它是RGB值的平均值。条形码分析器29f为7个象素的每个计算R值，G值，和B值的平均值，并根据计算的值确定与所述值小于64相比是否有更多的值大于64，或反之亦然。在形成字幕的象素的属性值与蓝色的颜色代码有关的情况下，阈值设为64并仅考虑象素的B值。条形码分析器29f确定对于7个B值与B值小于64相比是否有更多的B值大于64，或反之亦然。
如果有更多的RGB值大于阈值，在步骤230条形码分析器29f确定被处理的象素组相应于“1”，并在二进制数据存储器29g中存储代表“1”的二进制数据。
另一方面，如果有更多的RGB值小于阈值，在步骤240条形码分析器29f确定处理中的象素组相应于“0”，并在二进制数据存储器29g中存储代表“0”的二进制数据。
在存储二进制数据之后，条形码分析器29f继续选择形成后续块的象素组，并从步骤210到步骤240将该操作应用于该组。从步骤210到步骤240的操作被重复直到相应于所有块的二进制数据被存储。
在二进制数据存储器29g中顺序存储从条形码分析器29f输出的二进制数据(“1”或“0”)。当条形码分析器29f执行上面的操作时，从一个子图数据产生全部88段二进制数据，并且在二进制数据存储器29g中存储该二进制数据序列。例如，相应于从图3中所示的条形码的起始点开始的前8块的一序列二进制数据是“01110010”。基于连续8段二进制数据，解码参数，如上所述。
回到图6的描述，当相应于所有块的二进制数据被存储在二进制数据存储器中时，从最早的开始，参数解码器29h以时间次序从二进制数据存储器29g读出二进制数据，并一次解码二进制数据的8段。即，参数解码器29h将二进制数据的8个连续段转换为文本以获得原始参数。参数解码器29h提供存储的参数给立体处理器26。因为立体图像处理，立体处理器26在从视频数据解码器24提供的视频数据上实施所述参数。
在本发明的实施例中，在视频内容生成处理中，生成器获得视频数据、音频数据、和子图数据，它们是存储在DVD中的视频内容数据的源数据，并且通过视频数据的视频图像的分析，获得用于将视频图像转换为立体图像的立体参数。生成器在子图数据中嵌入立体参数并复合数据段以产生视频内容数据。在立体图像显示处理中，使用者在立体图像再现模式和二维图像再现模式之间选择再现系统，并命令DVD的播放。在选择立体图像再现模式的情况下，立体图像再现装置识别嵌入在子图数据中的条形码图像，使用从条形码图像恢复的参数将立体图像处理应用于视频数据，并使得合并器27输出所得到的视频数据。在选择二维图像再现模式的情况下，立体图像再现装置使得合并器27输出视频数据而不将立体图像处理应用于视频数据。
如上所述，因为视频数据和基于视频数据产生立体图像的立体参数被分离地包括在视频内容数据中，可以再现视频内容数据以立体或二维地观看。
同样，在本发明的实施例中，立体参数被转换为二进制数据并作为条形码图像嵌入到子图数据中，其中二进制数据的一个比特由9个象素表示。条形码图像被立体图像再现装置光学地读出，并且从条形码图像恢复立体参数。因此，可以以很高的精确度再现立体参数。
而且，在本发明的实施例中，当在子图数据中嵌入条形码图像数据时，立体参数嵌入装置参照被包括在子图数据中的控制数据识别字幕和背景的颜色，并根据识别的颜色嵌入条形码图像。因此，子图的字幕的颜色总是与嵌入在子图数据中的条形码图像的相同。因此，可以避免字幕颜色的改变使得条形码图像的识别率低的问题。
(其它实施例)本发明的实施例可以以不同的方法修改。
在上面的实施例中，分析由视频数据表示的视频图像以获取立体参数，并且将相应于立体参数的条形码图像数据嵌入到子图数据中。但是，条形码图像数据可以嵌入到视频数据中。如果条形码图像数据嵌入到视频数据中，可以以高精确度匹配从条形码图像数据恢复的立体参数和视频数据。
本发明的修改对于在如电视录像带的媒质中存储视频内容数据是有用的，电视录像带不像DVD，不能存储多种数据类型。如果条形码图像数据嵌入到视频数据中，可以通过这种媒质立体地或二维地观看图像，如在上面的实施例中一样。
在上面的实施例中，为了销售，产生的视频内容数据以DVD格式被运送。但是，视频内容数据也可以通过网络付费分发。
依据上面的实施例，在立体参数嵌入装置中，视频内容数据可以由硬件逻辑产生。但是，用于实现图1中所示的元件的功能，即，时间基准信号供给器10；视频数据编码器11；音频数据编码器12；参数输入单元14；子图数据修改器15；子图数据编码器16；和多路复合器17的立体参数嵌入程序可以在个人计算机中提供以使得计算机的CPU执行与那些元件相同的操作。
同样地，用于实现图5中所示的元件的功能，即，去复合器22；音频数据解码器23；视频数据解码器24；再现系统切换开关25；立体处理器26；子图解码器28；立体参数提取器29；和合并器27的立体图像再现程序可以在个人计算机中提供以使得计算机的CPU执行与那些元件相同的操作。
立体图像再现程序可以与上面实施例的视频内容生成处理中的视频内容数据一起存储在DVD格式中，并为了销售而运送。DVD格式的立体图像再现程序的存储使得没有已经安装该程序的个人计算机自动安装它并以立体图像显示模式播放DVD。
在上面的实施例中，如MPEG数据的运动图像数据受到立体图像处理。但是，如JPEG(联合图像专家组)数据的二维静态图像数据和GIF(可交换的图像文件)数据可以受到立体图像处理。在这种情况下，分析静态数据以获取立体参数，并且在静态图像数据中嵌入相应于该参数的条形码图像。
权利要求
1.一种计算机可读媒质，包括将被依次处理的多段视频图像数据；和用于将视频图像转换为立体图像的多个立体参数，每个立体参数与多段视频图像数据中的每个关联。
2.一种计算机可读媒质，包括将被依次处理的多段视频图像数据；和要与多段视频图像数据中的每个相合并的子图数据，其中所述子图数据包括用于将视频图像转换为立体图像的立体参数。
3.依据权利要求1或2的计算机可读媒质，进一步包括使得计算机执行立体图像处理以在所述视频图像数据上实施所述立体参数的程序。
4.一种立体参数嵌入装置包括视频图像输入单元，可操作为输入将被依次处理的多段视频图像数据；参数输入单元，可操作为输入将视频图像转换为立体图像的立体参数，每个参数与多段视频图像数据中的每个关联；转换器，可操作为将每个输入的立体参数转换为二进制数据；和嵌入单元，可操作为在多段视频图像数据中的每个中嵌入相应于所述二进制数据的条形码图像数据。
5.一种立体参数嵌入装置，包括子图输入单元，可操作为输入将与将被依次处理的多段视频图像数据中的每个相合并的子图数据；参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数分别与多段视频图像数据中的每个关联；转换器，可操作为将每个输入的立体参数转换为二进制数据；和嵌入单元，可操作为在多段视频图像数据中的每个中嵌入相应于所述二进制数据的条形码图像数据。
6.依据权利要求5的立体参数嵌入装置，进一步包括视频图像输入单元，可操作为输入将与所述子图数据合并的多段视频图像数据；视频内容数据准备单元，可操作为准备信号的视频内容数据，其中依照预定的标准复合嵌入条形码图像数据的子图数据和通过视频图像输入单元输入的视频图像数据。
7.一种立体图像再现装置，包括读取器，可操作为从计算机可读媒质读出将被依次处理的视频图像数据，计算机可读媒质包括视频图像数据和条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；条形码识别单元，可操作为识别在读出的视频图像数据中嵌入的条形码图像数据；参数提取单元，可操作为分析所识别的条形码图像数据并且提取立体参数；立体处理器，可操作为在视频图像数据上应用立体图像处理，立体图像处理在所述视频图像数据上实施提取的立体参数，所述视频图像数据中嵌入立体参数的条形码图像数据；输出单元，可操作为以预定的顺序将应用了立体处理的视频图像数据输出给显示器。
8.一种立体图像再现装置，包括读取器，可操作为从计算机可读媒质读出视频内容数据，视频内容数据包括将被依次处理的视频图像数据和将与视频图像数据合并的子图数据，在子图数据中嵌入了条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；提取单元，可操作为从读出的视频内容数据提取视频图像数据和子图数据；条形码识别单元，可操作为识别嵌入在提取的子图数据中的条形码图像数据；参数提取单元，可操作为分析所识别的条形码图像以及提取立体参数；立体处理器，可操作为在视频图像数据上应用立体图像处理，所述立体图像处理在将与子图数据合并的视频图像数据上实施提取的立体参数，其中子图数据中嵌入了立体参数的条形码图像数据；合并器，可操作为将应用了立体处理的视频图像数据与子图数据合并；输出单元，可操作为以预定的顺序将所述视频图像数据与合并的子图数据一起输出给显示器。
9.依据权利要求8的立体图像再现装置，进一步包括条形码擦除器，可操作为在分析条形码数据并且从条形码图像数据中提取立体参数之后，修改子图数据以擦除条形码图像数据，其中合并器将视频图像数据与修改后的子图数据合并。
10.依据权利要求8或9的立体图像再现装置，进一步包括再现系统转换开关，可操作为在用于立体观看的视频图像数据再现和不用于立体观看的视频图像数据再现之间切换，其中，如果再现系统转换开关选择了用于立体观看的视频图像数据再现，合并器将应用了立体处理的视频图像数据与子图数据合并，以及，如果再现系统转换开关选择了不用于立体观看的视频图像数据再现，合并器将预先立体处理的视频图像数据与子图数据合并。
11.一种使得计算机执行处理的程序，计算机包括视频图像输入单元，可操作为输入将被依次处理的多段视频图像数据；和参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个立体参数与多段视频图像数据中的每个关联，处理包括将通过参数输入单元输入的每个立体参数转换为二进制数据；和在通过视频图像输入单元输入的视频图像数据中嵌入相应于所述二进制数据的条形码图像数据。
12.一种使得计算机执行处理的程序，计算机包括子图输入单元，可操作为输入将与将被依次处理的多段视频图像数据中的每个相合并的子图数据；和参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个参数与多段视频图像数据中的每个关联，所述处理包括将通过参数输入单元输入的每个立体参数转换为二进制数据；和在通过子图输入单元输入的子图数据中嵌入相应于所述二进制数据的条形码图像数据。
13.一种使得计算机执行处理的程序，计算机包括读取器，可操作为从计算机可读媒质读出将被依次处理的视频图像数据，计算机可读媒质包括视频图像数据和条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；和显示器，可操作为显示视频图像，所述处理包括识别嵌入在读取器读出的视频图像数据中的条形码图像数据；分析所识别的条形码图像数据以提取立体参数；将立体图像处理应用于视频图像数据，立体图像处理在视频图像数据上实施提取的立体参数，所述视频图像数据中嵌入了立体参数的条形码图像数据；和以预定的顺序将应用了立体处理的视频图像数据输出给显示器。
14.一种使得计算机执行处理的程序，计算机包括读取器，可操作为从计算机可读媒质读出视频内容数据，视频内容数据包括将被依次处理的视频图像数据和将与视频图像数据合并的子图数据，并在子图数据中嵌入了条形码图像数据，通过转换用于将视频图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；和显示器，可操作为显示视频图像；所述处理包括从通过读取器读出的视频内容数据中提取视频图像数据和子图数据；识别嵌入在提取的子图数据中的条形码图像数据；分析所识别的条形码图像数据以提取立体参数；在视频图像数据上应用立体图像处理，所述立体图像处理在将与子图数据合并的视频图像数据上实施提取的立体参数，其中在子图数据中嵌入了立体参数的条形码图像数据；将应用了立体处理的视频图像数据与子图数据合并；以预定的顺序将视频图像数据与所述合并的子图数据一起输出给显示器。
15.一种分发视频内容数据的方法，包括通过第一个计算机产生表示信号的视频内容数据，第一个计算机包括视频图像输入单元，可操作为输入将被依次处理的多段视频图像数据；子图输入单元，可操作为输入与多段视频图像数据中的每个相合并的子图数据；参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个立体参数与多段视频图像数据中的每个关联，产生视频内容数据的步骤包括将通过参数输入单元输入的立体参数转换为二进制数据；在通过子图数据输入单元输入的子图数据中嵌入相应于二进制数据的条形码图像数据；遵照预定的标准复合嵌入条形码图像数据的子图数据和从视频图像输入单元输入的视频图像数据以产生信号，在计算机可读媒质中存储视频内容数据并运送它；使得能够再现视频内容数据的第二台计算机处理存储在计算机可读媒质中的视频内容数据；和通过第二台计算机显示视频图像的立体图像，包括从由计算机可读媒质读出的视频内容数据提取视频图像数据和子图数据；识别嵌入在提取的子图数据中的条形码图像数据；分析所识别的条形码图像数据并提取立体参数；将立体图像处理应用于视频图像数据，立体图像处理在将与子图数据合并的视频图像数据上实施提取的立体参数，其中子图数据中嵌入了立体参数的条形码图像数据；将应用了立体图像处理的视频图像数据与子图数据合并；和以预定的顺序将视频图像数据与合并的子图数据一起输出到显示器。
16.一种计算机可读媒质，包括二维图像数据；和用于将二维图像转换为立体图像的立体参数，其中立体参数与二维图像关联。
17.一种立体参数嵌入装置，包括图像输入单元，可操作为输入二维图像数据；参数输入单元，可操作为输入用于将二维图像转换为立体图像的立体参数；转换器，可操作为将每个输入的立体参数转换为二进制数据；和嵌入单元，可操作为在输入的二维图像数据中嵌入相应于二进制数据的条形码图像数据。
18.一种立体图像再现装置，包括读取器，可操作为从计算机可读媒质读出二维图像数据，计算机可读媒质包括嵌入条形码图像数据的视频图像数据，通过转换用于将二维图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；条形码识别单元，可操作为识别嵌入在读出的二维图像数据中的条形码图像数据；参数提取单元，可操作为分析所识别的条形码图像数据并提取立体参数；立体处理器，可操作为应用立体图像处理于二维图像数据，所述立体图像处理在二维图像数据上实施提取的立体参数，其中所述二维图像数据中嵌入了立体参数的条形码图像数据；输出单元，可操作为以预定的顺序将应用了立体处理的视频图像数据输出给显示器。
19.一种使得计算机执行处理的程序，计算机包括图像输入单元，可操作为输入二维图像数据；和参数输入单元，可操作为输入用于将二维图像转换为立体图像的立体参数，所述处理包括将通过参数输入单元输入的每个立体参数转换为二进制数据；和在通过视频图像输入单元输入的二维图像数据中嵌入相应于二进制数据的条形码图像数据。
20.一种使得计算机执行处理的程序，计算机包括读取器，可操作为从计算机可读媒质读出二维图像数据，计算机可读媒质包括嵌入条形码图像数据的二维图像数据，通过转换用于将二维图像转换为立体图像的立体参数到二进制数据来准备所述条形码图像数据；和显示器，可操作为显示图像；所述处理包括识别嵌入在读取器读出的二维图像数据中的条形码图像数据；分析所识别的条形码图像数据以提取立体参数；在二维图像数据上应用立体图像处理，所述立体图像处理在二维图像数据上实施提取的立体参数，其中在所述二维图像数据中嵌入了立体参数的条形码图像数据；和将通过立体处理产生的立体图像数据输出给显示器。
全文摘要
一种立体参数嵌入装置包括视频图像输入单元，可操作为输入将被依次处理的多段视频图像数据；参数输入单元，可操作为输入用于将视频图像转换为立体图像的立体参数，每个立体参数分别与多段视频图像数据中的每个关联；转换器，可操作为将输入的每个立体参数转换为二进制数据；和嵌入单元，可操作为在多段视频图像数据中的每个中嵌入相应于二进制数据的条形码图像数据。
文档编号H04N13/00GK1934873SQ20058000755
公开日2007年3月21日 申请日期2005年2月18日 优先权日2004年3月8日
发明者江良一成 申请人:江良一成