立体图像再现设备、立体图像再现方法、立体图像再现程序以及记录该程序的记录介质的制作方法

专利名称：立体图像再现设备、立体图像再现方法、立体图像再现程序以及记录该程序的记录介质的制作方法
技术领域：
本发明涉及一种用于处理立体图像的立体图像处理设备及其方法，和一种用于执行立体图像的立体再现的立体图像再现设备及其方法；并且进一步 涉及一种在其上打印立体图像的立体图像纸张、 一种立体图像处理程序、一 种立体图像再现程序和一种记录这些程序的计算机可读记录介质。
背景技术：
迄今，作为允许通过利用两眼之间的视差来区分平面表面图像作为三维 图像的基于肉眼的方法，存在平行方法(平行注视方法)和交叉方法(交叉 注视方法)等。如图1所示，平行方法是在具有适合的视差的左右两幅图像 (以下称为"立体图像")114R、 114L之间观察的方法，其中，右侧的图像 114R通过右眼Er現察，左侧的图像114L通过左眼Et观察。此外，如图2 所示，交叉方法是通过左眼EL观察右侧的图像114R、通过右眼ER观察左侧 的图^象114L的方法。作为拾取这种立体图像的方法，存在以与人眼之间的空间相等的距离、 在左右方向上呈直线安置两个透镜和图像拾取器件，通过平行方法或交叉方 法，使用这两个图像拾取系统来同时拾取左右图像的方法等等。在日本专利 申请公开No. H5-30538的公开物(专利文献1 )中公开了涉及使用这种机制 的数字静态照相机的技术。此外，即使不使用利用了这种多图像拾取系统的照相机，从曾经执行了 图像拾取操作的位置，在水平方向上将照相机移动与人眼之间的空间相等的 距离，以便从该位置第二次拾取同一对象的图像，或者使用两个照相机，等 等，从而使得可能获得用作立体图像的两幅图像。在上述的专利文献1中，描述了指示立体图像的信息和/或左/右区分信息 等被分别记录作为在各个左右图像数据的头信息，以便使得当在记录/再现设 备或传输设备中处理时、左右图像数据被处理为单个图像处理单元，如此防止左和右图像数据之一被错误地擦除或传输等等的不便之处。 发明内容本发明所要解决的问题同时， 一种再现设备，其中除指示立体图像的区分信息和左/右区分信息 之外，还添加了用于例如水平视点(图像的数量)和/或水平偏移量等的用于 立体显示控制的立体信息作为各个左右图像数据的文件的头信息，从而具有 执行各个图像文件的立体显示的能力，可以基于相应的头信息来执行立体图 像的立体显示。但是，在文件的头信息破损或丢失的情况下，则难以在再现设备中执行立体显示。例如，在立体图像以打印内容(matter)形式传输的情况下，即使 该打印内容的图像已被具有获得图像的电子数据的能力的扫描器读取了 ，由 于在此时间点丢失了头信息，因此难以从扫描器读取的图像数据执行立体显 示。考虑上述情况提出了本发明，并且令人满意地提供 一种立体图像处理 设备及其方法，可以不依赖于文件的头信息而执行图像的立体再现，从而具 有修复或恢复已经破损或丢失的用于立体显示的头信息的能力； 一种立体图 像再现设备及其方法，其适用于执行立体图像的立体再现； 一种用于在其上 打印立体图像的立体图像纸张； 一种立体图像处理程序； 一种立体图像再现 程序；以及一种记录这些程序的计算^/L可读记录介质。根据本发明的一个实施例的立体图像处理设备包括图像输入单元，用 于输入组成立体图像的多个图像作为主图像；编码单元，用于将用于对由图 像输入装置输入的多个主图像进行立体显示控制的立体信息编码为图像；以 及图像合成单元，用于将由图像输入单元输入的多个主图像和由编码单元获 取的编码图像在各个图像的对应区域被分区的状态下加以合成。该立体图像处理设备可以不依赖于头信息而执行图像的立体再现。此外， 即使文件的头信息破损或丢失，可能使用被添加到合成图像的立体信息的视 觉符号从编码信息中修复或恢复头信息。在这个例子中，图像合成单元可以 是用于将指示多个主图像是用平行方法产生的立体图像还是用交叉方法产生 的立体图像的填充数据在填充数据和主图像的对应区域被分区的状态下加以 合成的图像合成单元。因而，当观察者通过肉眼三维地观察立体图像时，可以马上从填充数据 的视觉特征中区分出立体图像的合适的观察方法。根据本发明的一个实施例的立体图像处理设备可进一步包括用于输入 宽高调整比的宽高比调整输入单元，其中，可以配置图像合成单元用以改变 与多个图像数据合成的填充数据尺寸，以便合成图像的纵向和横向尺寸具有 已经由宽高比调整输入单元输入的宽高调整比。根据本发明的 一个实施例，可以打印合成图像以便其整体正好填充打印 纸张。此外，根据本发明的一个实施例所提出的立体图像处理设备可进一步包 括编码单元，用于压缩编码被图像合成单元合成的图像；以及复用单元， 用于向编码单元压缩编码的合成图像添加用于立体显示控制的立体信息作为 头信息以准备文件。因而，可以准备立体图像的文件，其允许不依赖头文件的图像的立体再 现。因此，可以将这些文件记录到一记录介质中以将其传输到允许立体显示 的外部设备中。多个主图像可以是对应于右眼和左眼的图像，或通过从多个视点捕获一 个对象而获得的图像。此外，根据本发明的另一个实施例的立体图像再现设备包括合成图像 输入单元，用于输入合成的图像，其中，由组成立体图像的多个主图像和用 于对多个主图像进行立体显示控制的立体信息的编码图像在各个图像的相应 区域被分区的状态下加以合成；分离单元，用于从由合成图像输入装置中输 入的合成图像中分离多个主图像和编码图像；解码单元，用于从被分离单元 分离的编码图像中解码立体信息；以及图像变换单元，用于基于被解码单元 解码的立体信息来执行用于对被分离单元分离的多个主图像进行立体显示的 处理。根据该立体图像再现设备，可以不依赖头信息而执行图像的立体再现。 适用作为本发明的另 一 实施例的立体图像纸张以便将组成立体图像的多个主图像和用于对多个主图像进行立体显示控制的立体信息的编码图像在各个图像的相应区域被分区的状态下加以排列或分配。通过用扫描器读取该立体图像纸张，以使用来自被读取的图像的立体信息的视觉符号来分离编码信息，从而解码如此获得的编码信息，可以不依赖于头信息而执行图像的立体再现。在以上描述中，通过运用本发明的一个实施例，可以不依赖于文件的头 信息而执行图像的立体再现，并且可以修复或恢复已破损或丢失的用于立体 显示的头信息。通过以下参照附图的对实施例的进一步描述，本发明的更多特征和优点 以及本发明所具有的实际价值将更加显而易见。


图1是表示用于允许识别平面表面图像作为三维图像的平行方法的视图；图2是表示用于允许识别平面表面图像作为三维图像的交叉方法的视图；图3是表示根据本发明的立体图像处理设备的一个实施例的方框图； 图4是表示被输入到如图3所示的立体图像处理设备中的图像文件的配 置的^L图；图5是表示在图像是通过平行方法获得的立体图像的情况下合成图像的 一个例子的视图；图6是表示在图像是通过交叉方法获得的立体图像的情况下合成图像的 一个例子的视图；图7是表示合成图像的另一个例子的视图；图8是表示从如图3所示的立体图像处理设备中输出的立体图像的文件 配置的视图；图9是表示根据本发明的立体图像再现设备的一个实施例的方框图； 图IO是表示使用图像读入单元的立体图像再现设备的方框图； 图11是表示可以修复或恢复头信息的立体图像处理设备的方框图； 图12是表示由被安放在前方和后方以及左侧和右侧方向上的多个数字静态照相机拾取一个对象的图像的实施例的视图；图13是表示根据本发明的立体图像处理设备的另一个实施例的方框图； 图14是表示在如图13所示的立体图像处理设备中生成的图像是通过平行方法生成的立体图像的情况下的合成图像的一个例子的视图；图15是表示在如图13所示的立体图像处理设备中生成的图像是通过交叉方法生成的立体图像的情况下的合成图像的一个例子的视图。
具体实施方式
现在通过参考附图来解释用于实现本发明的最佳模式。如图3所示，根据本发明的一个实施例的立体图像处理设备100包括， 图像输入单元l、宽高比调整输入单元2、立体(适配器)信息输入单元3、 数据分离输出单元4、立体信息生成单元5、立体信息编码单元6、填充数据 生成单元7、图像合成单元8、图像编码单元9、数据复用单元10以及记录 介质写入单元11。图像输入单元1是用于输入对应于右眼和左眼的各个图像文件12R、 12L 的装置，其中用于立体显示控制的立体信息，例如指示立体图像的区分信息、 左/右区分信息、水平视点数量(图像数量)和水平偏移量等分别被添加到对 于右眼和左眼的图像信息(主图像)中作为头信息。数据分离输入单元4是用于从在图像输入单元1输入的对应于右眼和左 眼的图像文件12R、 12L中分离头信息、以将它们输出到立体信息生成单元5 的装置。立体(适配器)信息输入单元3是一种装置，其用于输入除了被包括在对应于右眼和左眼的各个图像文件12R、 12L的头信息中的内容之外的立体信息，例如，至少指示被输入的各个图像文件12R、 12L的图像是使用平行方法的立体图像还是使用交叉方法的立体图像的平行方法/交叉方法区分信 白立体信息生成单元5是用于基于从立体(适配器)信息输入单元3输入 的立体信息和从数据分离输出单元4输出的头信息来生成将要输出给立体信 息编码单元6和数据复用单元10的立体信息的装置。立体信息编码单元6是用于将从立体信息生成单元5输出的立体信息编 码为例如一维条形码或二维条形码等的通过图像合成来允许区分的图像的装 置。此外，在立体信息中的平行方法/交叉方法区分信息通过立体信息编码单 元6被发送给填充数据生成单元7。填充数据生成单元7是基于从立体信息生成单元6输出的平行方法/交叉 方法区分信息，生成将要与对应于右眼和左眼的各个主图像合成的填充数据， 并将所生成的填充数据与从立体信息编码单元6输出的立体信息的编码图像一起输出给图像合成单元8。此处，填充数据是用于嵌入到空区域的数据，该空区域是在具有预定宽各个主图像的情况下形成的。填充数据是其中由不同诸如颜色或图样之类的 视觉特征表示平行方法/交叉方法区分信息以便人们第 一 眼就可以加以区分 的数据。在该填充数据的预定位置处，安置立体信息的编码图像。立体信息 的编码图像不必是可被人们立刻区分的这种图像，而还可运用允许对立体显 示控制所必需的所有立体信息编码的图像。宽高比调整输入单元2是用于输入主图像和填充数据的合成图像的宽高 调整比的装置。与被使用的打印纸张的纵向尺寸与横向尺寸之间的比率相一 致地输入该宽高调整比。图像合成单元8是用于合成从图像输入单元1输入的对应于右眼和左眼 的各个主图像与从填充数据生成单元7输出的立体信息的编码图像和填充数 据、以生成具有从宽高比调整输入单元2输入的宽高调整比的单个图像数据 的装置。图像编码单元9是用于根据如JPEG系统等的预定系统来压缩编码从图 像合成单元8输出的合成图像的装置。数据复用单元10是用于复用由图像编码单元9压缩编码的合成图像和从 立体信息生成单元5输出的立体信息的装置。在该例子中，立体信息被添加 作为图像文件的头信息。记录介质写入单元11是用于将由数据复用单元10生成的图像文件写入 到例如EEPROM等的可写或可重写非易失性记录介质中的装置。接着解释立体图像处理设备100的操作。让我们考虑这种情况，图像文件12R、 12L被输入作为如图4所示的对 应于右眼和左眼输入的图像文件12R、 12L,在该图像文件12R、 12L中，用 于立体显示控制的立体信息，例如指示立体图像的区分信息、左/右区分信息、 水平视点数量(图像数量)和/或水平偏移量等被分别添加到主图像14R、 14L 中作为头信息13R、 13L。在这种情况下，在输入图像文件之前，从立体(适 配器)信息输入单元3输入指示从现在开始输入的图像文件是通过平行方法 的立体图像还是通过交叉方法的立体图像的平行方法/交叉方法区分信息，以 在立体信息生成单元5中设置它。在另一方面，从宽高比调整输入单元2输入与被使用的打印纸张的纵向尺寸与横向尺寸之间的比率相一致的宽高调整比，以在图像合成单元8中设置用于合成图像的宽高调整比。在完成立体信息生成单元5和图像合成单元8中的设置之后，在图像输 入单元1处输入对应于右眼和左眼的各个图像文件12R、 12L,以将在各个图 像文件12R、 12L处的主图像14R、 14L传送给图像合成单元8，并在数据分 离输出单元4中分离和提取各个图像文件12R、 12L的头信息13R、 13L,以 将其输出到立体信息生成单元5。当立体信息生成单元5从数据分离单元4处获得各个图像文件12R、 12L 的头信息13R、 13L时，其生成将要从头信息13R、 13L输出给立体信息编码 单元6和数据复用单元10的立体信息和被来自立体(适配器)信息输入单元 3的输入所设置的立体信息(至少平行方法/交叉方法区分信息)，以将获得的 立体信息输出给各个单元。其后，在立体信息编码单元6中，从立体信息生成单元5中输出的立体 信息被编码为例如一维条形码或二维条形码等的图像。立体信息的编码图像 与在从立体信息生成单元5输出的立体图^f象中的平行方法/交叉方法区分信息 一起被输出到填充数据生成单元7。接着，在填充数据生成单元7中，生成相应于/人立体信息编码单元6输 出的平行方法/交叉方法区分信息的填充数据。所获得的生成的填充数据与从 立体信息编码单元6输出的立体信息的编码图像一起被输出到图像合成单元 8。接着，在图像合成单元8中，合成从图像输入单元1传送来的对应于右 眼和左眼的各个主图像14R、 14L与来自填充数据生成单元7的填充数据和 立体信息的编码图像。则，生成具有被来自宽高比调整输入单元2的输入所设置的宽高调整比的单个合成图像。图5和图6显示了由图像合成单元8生成的合成图像20、 30的示例，其 中图5显示在各个主图像14R、 14L是通过平行方法的立体图像的情况下的 合成图像20,图6显示在各个主图像14R、 14L是通过交叉方法的立体图像 的情况下的合成图像30。在以上情况中，在平行方法和交叉方法中，在各个 主图像14R、 14L的水平方向上的排列次序都是彼此相反的。在这个例子中，作为视觉平行方法/交叉方法区分信息的填充数据15、 16 被安排在左右主图像14R、 14L的顶部和底部。合成图像20、 30的纵向和横向尺寸是由从宽高比调整输入单元2所输入的宽高调整比所确定的。即，在图5中，被安排在左右方向上的各个主图像14R、 14L的长边的长度(在该 例子中为横向长度)被定为合成图像20的横向长度X，合成图像20的纵向 长度Y是从合成图像20的横向长度和宽高调整比确定的。即，图像合成单 元8可变地调整填充数据的尺寸，以便合成图像的纵向和横向尺寸具有预先 指定的宽高调整比以合成所获得的填充数据和左右主图像14R、 14L。使得在合成图像20、 30的各个主图像14R、 14L的垂直方向上的位置对 于系统来说是特殊的。在这个例子中，确定各个主图像14R、 14L被充分地 安排在垂直方向上的中间位置。从而，在这个例子中，在合成图像20、 30中， 填充数据15、 16的区域被确保在各个主图像14R、 14L的顶部和底部。需要 注意的是，填充数据的区域确保在各个主图像14R、 14L的顶部和底部的这 种安置方法仅是一个例子。填充数据的区域可被确保在各个主图像14R、 14L 的顶部和底部之一。此外，在这个例子中，作为立体信息的编码图像17的一维条形码被安排 在每个合成图像20、 30的底部区域的填充数据16中。当然，立体信息的编 码图像17可被安排在顶部区域的填充数据15中，或者其编码图像可被分别 安排在其顶部区域和底部区域处。此外，立体信息的多个编码图像17可被安 排在一个填充数据15或16的区域。此外，如图7所示，在被安排在左右方向上的主图像14R、 14L总体上 在纵向方向上长的情况下，各个主图像14R、 14L的长边被定为纵向侧并且 该纵向侧的长度被定为合成图像20a的纵向长度Y,以才艮据合成图像20a的 纵向长度和宽高调整比来确定合成图像20a的横向长度X。从而，在这种情 况下，作为视觉平行方法/交叉方法区分信息的填充数据15、 16被安排在主 图像14R、 14L的左边和右边部分，并且立体信息的编码图像17被安排在一 个区域的填充数据16内。如上所述的由图像合成单元7获得的合成图像根据如JPEG系统等的预 定系统，被图像编码单元9压缩编码，并且被发送到数据复用单元10,在其 中被压缩编码的合成图像和包括来自立体信息生成单元5的立体信息的内容 在内的头信息被复用。则，准备好了立体图像的文件。该立体图像的文件40 的配置如图8所示。如图8所示，立体图像的文件40包括被压缩编码的合成 图像18、头信息19、指示文件40的引导部分的SOI41,以及指示文件40的结尾的EOI42等。如此准备好的立体图像的文件40通过记录介质写入单元 11被记录到记录介质中。如上所述，根据该实施例的立体图像处理设备100,可以准备文件40, 其中立体信息和平行方法/交叉方法区分信息被添加到合成图像中。则，可以 不依赖于立体图像的文件40的头信息而执行图像的立体再现。此外，通过使 用扫描器从打印合成图像的立体图像纸张读取合成图像来解码其上存在的立 体信息的编码图像和填充数据，可以执行图像的立体再现。此外，因为立体 信息和平行方法/交叉方法区分信息被添加到合成图像中，即使立体图像的文 件40的头信息已破损或丢失，仍可以从被添加到合成图像的立体信息的编码 图像中修复或恢复头信息。此外，在通过肉眼观察在立体图像的文件40中存储的立体图像，能够解 码立体图像文件40的被压缩编码的合成图像的再现设备被定为通过网络或 可卸载记录介质等来读取立体图像的文件40，从而。则如图5或6所示，对 应于右眼和左眼的各个主图像14R、 14L的合成图像20或合成图像30以及 填充数据15、 16被再现。在这个例子中，观察者可根据显示的填充数据15、 16的视觉特征，例如颜色和/或图样等在第一眼就区分出对应于右眼和左眼的 各个主图像14R、 14L是通过平行方法的立体图像还是通过交叉方法的立体 图像。从而，可以立即使用合适的观察方法尝试或执行立体观察，则可以减 少观察者的过度负担。此外，因为确定被记录在记录介质中的主图像和填充数据的合成图像的 宽高比与所使用的打印纸张的纵向和横向尺寸之间的比率相一致，因此可以 以完全充满整个打印纸张的方式打印合成图像。进一步，观察者可根据作为 在打印纸张上打印合成图像的整体的结果的立体图像纸张上的填充数据区域 的视觉特征，在第 一 眼就区分出适合观察在立体图像纸张上的该立体图像的 方法是交叉方法还是平行方法。接着，以下将解释适用于执行被存储在立体图像的文件40中的立体图像 的立体再现的再现设备，该立体图像的文件40是由上述立体图像处理设备 100准备的。如图9所示，该立体图像再现设备200包括记录介质读取单元51、数 据分离单元52、图像解码单元53、图像分离单元54、填充数据解码单元55、 图像变换单元56、以及立体显示单元57。在这个例子中，记录介质读取单元51是用于从可卸载记录介质读取立体图像的文件40的装置。数据分离单元52是用于从记录介质中读取的立体图 像的文件40中分离/提取主图像、即图8所示的被压缩编码的合成图像18的 装置。图像解码单元53是用于解码/解压缩由数据分离单元52分离/提取的被 压缩编码的合成图像18的装置。图像分离单元54用于从被解码/解压缩的合 成图像中分离出左右主图像、立体信息的编码图像以及填充数据，以将左右 主图像分发到图像变换单元56，并且将立体信息的编码信息和填充数据分发 到填充数据解码单元55。填充数据解码单元55是用于通过颜色区分或图样 区分等来区分立体信息的编码图像和填充数据，以解码立体信息的编码图像 从而恢复原始立体信息，并且从填充数据中恢复平行方法/交叉方法区分信息 的装置。图像变换单元56是用于基于被恢复的立体信息和平行方法/交叉方 法区分信息执行对左右主图像进行立体显示的算法处理，以输出该结果到立 体显示单元57的装置。立体显示单元57是用于执行图像的立体显示的装置。 接着，将解释立体图像再现设备200的操作。一般来说，在再现设备中，基于立体图像的文件40的头信息来执行图像 的立体再现。但是，在该立体图像再现设备200中，在不依赖于头信息的情 况下，使用解码存在于合成图像中的立体图像的编码图像和的填充数据以基 于这些解码的信息来执行图像的立体再现的方法。开始时，在记录介质读取单元51中，从可卸载的记录介质中读取立体图 像的文件40。接着，在数据分离单元52中，从记录介质读取的立体图像的 文件40中分离和提取主图像、即图8所示的压缩编码图像18。在图像解码 单元53中，获取的合成图像18被解码和解压缩。随后，在图像分离单元54中，从已解码和解压缩的合成图像中分离左右 主图像、立体信息的编码图像和包括立体信息的编码图像的填充数据。左右 主图像被输出到图像变换单元56。此外，立体信息的编码图像和填充数据被 输出到填充数据解码单元55,以便恢复原始立体信息和平行方法/交叉方法区 分信息。此外，在图像变换单元56中，基于被恢复的立体信息和平行方法/ 交叉方法区分信息，执行用于对左右主图像进行立体显示的算法处理。则所 获得的结果被显示在立体显示单元57上。如上所述，根据该实施例的立体图像再现设备200,可以不依赖于立体 信息的文件40的头信息而执行图像的立体再现。此外，当记录介质读取单元51 -陂定为配置用于在如上所述的立体图^(象再现设备200中从可卸载记录介质中读取立体图像的文件40时，可采用使用诸 如扫描器等的图像读入单元的配置以代替记录介质读取单元51。使用这种图像读入单元的立体图像再现设备300如图IO所示地组成，其 包括图像读入单元61，用于从作为合成图像的打印内容的立体图像纸张读 入其合成图像；图像分离单元62,用于从由图像读入单元61读入的合成图 像中分离出左右主图像、立体信息的编码图像和填充数据；填充数据解码单 元63,用于通过颜色区分或图样区分等来区分立体信息的编码图像和填充数 据，以解码立体信息的编码图像从而恢复原始立体信息，并从填充数据中恢 复平行方法/交叉方法区分信息；图像变换单元64，用于基于被恢复的立体信 息和平行方法/交叉方法区分信息执行用于对左右主图像进行立体显示的算法处理；以及立体显示单元65，用于执行图像的立体显示。通过具有以上配置的立体图像再现设备300，可从合成图像的打印内容 来执行图像的立体再现。同时，结合立体信息中的水平偏移量的描述，在该实施例中运用一种"偏 移X; 15/1024"的描述方法，即，在水平方向上偏移1024个像素内的15个 像素。则，即使以不同于图像读入单元的主要分辨率的分辨率读入打印的合 成图像，也可以根据分辨率和水平偏移量之间的比率来计算出合适的水平偏 移量。则可实现满意的立体再现。接着，将解释适用于从被添加到合成图像中的立体信息的编码图像来修复或恢复立体图像的头信息的立体图像处理设备。如图11所示的立体图4象处理设备400包括记录介质读取单元71,用 于从可卸载记录介质中读取立体图l象的文件40;数据分离单元72用于从记 录介质中读取的立体图像的文件40中分离/提取主图像、即被压缩编码的合 成图像；图像解码单元73用于解码/解压缩由数据分离单元72分离/提取的被 压缩编码的合成图像；图像分离单元74，用于从被解码/解压缩的合成图像中 分离出左右主图像、立体信息的编码图像以及填充数据；填充数据解码单元 75,用于通过颜色区分或图样区分等来区分立体信息的编码图像和填充数据， 以解码立体信息的编码图像从而恢复原始立体信息，并且从填充数据中恢复 平行方法/交叉方法区分信息以生成头信息；数据复用单元76，用于复用由数 据分离单元72分离/提取的被压缩编码的合成图像和在填充数据解码单元75中恢复的头信息，以准备立体信息的图像文件；以及记录介质写入单元77, 用于将由数据复用单元76准备好的立体信息的图像文件写入到可卸载记录 介质中。通过具有以上配置的立体图像处理设备400，可从被添加到合成图像的 立体信息的编码图像中修复或恢复立体图像文件的头信息。虽然在上述实施例中合成了用于右眼和左眼的两个图像数据与填充数 据，但是也可合成三个视点或更多(多双眼睛)的图像数据、立体信息的编 码图像和填充数据。这里，例如，如图12所示，通过向使用被安排在前方和后方及左右方向 上的多个数字静态照相机81 (0, 0) ...81 (3， 2)同时拾取一个对象80而 获得的各个主图像添加用于立体显示控制的立体信息作为头信息而获得各个 图像文件。图13是表示该实施例的立体图像处理设备500的完整配置的方框图。 如图13所示的立体图像处理设备500包括图像输入单元91、宽高比 调整输入单元92、立体(适配器)信息输入单元93、数据分离输出单元94、 立体信息生成单元95、立体信息编码单元96、填充数据生成单元97、图像 合成单元98、图像编码单元99、数据复用单元101以及记录介质写入单元 102。图像输入单元91是用于输入多个图像文件82 (0, 0), 82 (0, 1 )， ...82 (3, 2)的装置，其中用于立体显示控制的立体信息，例如指示立体图像的 区分信息，视点(照相机)位置的区分信息、水平视点数量(图像的数量) 和/或水平偏移量等被分别添加到由多个数字静态照相机81 (0， 0) ...81 (3， 2)同时执行图像拾取操作获得的各个主图像中作为头文件。数据分离输出单元94是用于将头信息从由图像输入单元91输入的多个 图像文件82(0， 0), 82 (0, 1 ), ...82 (3， 2)中分离出来以输出所获得的 头信息到立体信息生成单元75的装置。立体(适配器)信息输入单元93是一种装置，用于输入除了被包括在输 入图像文件82 (0, 0), 82 (0， 1), ...82(3， 2)中的内容以外的立体信息， 例如指示输入的各个图像文件82 (0, 0), 82 (0， 1)， ...82(3, 2)的图像 是通过平行方法的立体图像还是通过交叉方法的立体图像的平行方法/交叉 方法区分信息。立体信息生成单元95是用于基于从立体(适配器)信息输入单元93输 入的立体信息和从数据分离输出单元94输出的头信息来生成将要输出给填 充数据生成单元96和数据复用单元101的立体信息的装置。立体信息编码单元96是用于将从立体信息生成单元输出的立体信息编 码成例如一维条形码或二维条形码等的图像的装置。此外，立体信息中的平 行方法/交叉方法区分信息通过立体信息编码单元96发送给填充数据生成单 元97。填充数据生成单元97是基于从立体信息编码单元96输出的平行方法/交 叉方法区分信息生成将要与对应于右眼和左眼的多个主图像相合成的填充数 据以将该填充数据与从立体信息编码单元96输出的立体信息的编码图像一 起输出给图像合成单元98的装置。宽高比调整输入单元92是用于输入将要被输出的立体图像的合成图像 和填充数据的宽高调整比的装置。该宽高调整比与所使用的打印纸的纵向尺 寸和横向尺寸之间的比率相一致地输入。图像合成单元98是用于合成从图像输入单元91输入的对应于右眼和左 眼的各个图像数据和从填充数据输出单元97输出的立体信息的编码图像和 填充数据以生成具有从宽高比调整输入单元92输入的宽高调整比的单个合 成图像的装置。图像编码单元99是用于根据如JPEG系统等的预定系统来压缩编码在图 像合成单元98获得的合成图像的装置。数据复用单元101是用于复用由图像编码单元98压缩编码的合成图像和 从立体信息生成单元95输出的立体信息的装置。此处，立体信息被添加作为 图像文件的头信息。记录介质写入单元102是用于将由数据复用单元101生成的图像文件写 入到如可写或可#~写非易失性记录介质(如EEPROM等)的可卸载记录介质 中的装置。接着，将解释立体图像处理设备500的操作。让我们考虑这种情况，对应与多个眼睛的各个图像文件被分别输入作为 多个图像文件82 (0, 0), 82 (0, 1 ), 82 (3， 2)，其中用于立体显示 控制的立体信息，例如指示立体图像的区分信息、视点位置(照相机)的区 分信息、水平视点数量(图像数量)和/或水平偏移量等被添加作为头信息。在这种情况下，在输入图像文件之前，从立体(适配器)信息输入单元93输 入指示目前输入的图像文件是通过平行方法的立体图像还是通过交叉方法的 立体图像的平行方法/交叉方法区分信息，以在立体信息生成单元95中设置 它。在另一方面，从宽高比调整输入单元92输入与祐:使用的打印纸张的纵向 尺寸与横向尺寸之间的比率相一致的宽高调整比，以在图像合成单元98中设 置其为图像合成的宽高调整比。在完成立体信息生成单元95和图像合成单元98中的设置之后，在图像 输入单元91中输入多个图像文件82 (0， 0)， 82(0， 1)，…，82(3, 2), 以将在各个图像文件82 (0, 0)， 82(0， 1)，…，82(3， 2)中的主图像传 送给图像合成单元98，并在数据分离输出单元94中分离和提取头信息，以 将其输出到立体信息生成单元95。当立体信息生成单元95从数据分离单元94处获得各个图像文件82 ( 0, 0), 82(0， 1),…，82(3, 2)的头信息时，其从这些头信息和通过来自立 体(适配器)信息输入单元93处的输入所设置的立体信息(至少平行方法/ 交叉方法区分信息)生成将要输出给立体信息编码单元96和数据复用单元 101的立体信息，以将获得的立体信息输出给各个单元。其后，在立体信息编码单元96中，从立体信息生成单元95中输出的立 体信息被编码为例如一维条形码或二维条形码等的图像。立体信息的编码图 像与在从立体信息生成单元95处输出的立体图像中的平行方法/交叉方法区 分信息一起被输出到填充数据生成单元97。接着，在填充数据生成单元97中，执行相应于从立体信息编码单元96 输出的平行方法/交叉方法区分信息的填充数据的生成。所获得的生成的填充 数据与从立体信息编码单元96输出的立体信息的编码图像一起被输出到图 像合成单元98。接着，在图像合成单元98中，合成从图像输入单元91转送来的多个主 图像与来自填充数据生成单元97的填充数据和立体信息的编码图像，以便生 成具有通过来自宽高比调整输入单元92的输入所设置的宽高调整比的单个 合成图像数据。图14和图15表示由图像合成单元98生成的合成图像83、 84的示例， 其中图14表示在各个主图像85 (0, 0)， 85 (0, 1),…，85 (3, 2)是通 过平行方法的立体图像的情况下的合成图像83,图5表示在各个主图像85(0, 0)， 85(0, 1),…，85(3, 2)是通过交叉方法的立体图像的情况下 的合成图像84。在以上情况中，在平行方法和交叉方法中，在各个主图像85 (0， 0), 85 (0, 1),…，85 (3， 2)的水平方向上的排列次序都是彼此相 反的。需要注意的是，在顶部和底部方向上的位置关系是相同的。在这个例子中，填充数据86、 87被安排在各个主图像85 (0, 0)， 85(0, 1)， ...， 85 (3， 2)的顶部和底部部分。以整体安排各个主图像85 (0, 0), 85(0， 1),…，85(3， 2)以便在水平方向上的末端和在垂直方向上的末端 互相接触。合成图像83、 84的纵向和横向尺寸是由从宽高比调整输入单元 92所输入的宽高调整比所确定的。具体地，在图14中，整体的主图像85的 长边长度(在该例子中为水平方向上的长度)被定为合成图像83的横向长度 X,以从合成图像83的横向长度X和宽高调整比进一步确定合成图像83的 纵向长度Y。即，图像合成单元98可变地调整填充数据的尺寸，以便合成图 像83的纵向和横向尺寸具有预先指定以合成所获得的填充数据和整体主图 像85的宽高调整比。在合成图像83或84中的整体主图像85的垂直方向上的位置对于系统来 说是特殊的。在这个例子中，确定整体主图像85被充分地安排在垂直方向上 的中间位置。从而，在这个例子中，在合成图像83、 84中，填充数据86、 87的区域被确保在整体主图像85的顶部和底部。需要注意的是，填充数据 86、 87的区域被确保在整体主图像85的顶部和底部的这种方法仅是一个例 子。填充数据的区域可被确保在整体主图像85的顶部和底部之一。此外，在这个例子中，作为立体信息的编码图像88的一维条形码被安排 在合成图像83或84的底部区域的填充数据87中。当然，立体信息的编码图 像88可被安排在顶部区域的填充数据86中，或者编码图像可被分别安排在 顶部区域和底部区域中。此外，立体信息的多个编码图像88可被安排在填充 数据86或87之一的区域中。根据预定系统，如JPEG系统等，由图像编码单元99压缩编码如上所述 的由图像合成单元98获得的合成图像数据，并且将其发送到数据复用单元 101，在其中被压缩编码的合成图像和包括来自立体信息生成单元95的立体 信息的内容在内的头信息被复用。则，已准备好了立体图像的文件。已准备 好的立体图像的文件通过记录介质写入单元102被记录到记录介质中。如上所述，根据该实施例的立体图像处理设备500,可以准备立体图像的文件，其中立体信息和平行方法/交叉方法区分信息被添加到合成图像中。 则，可以不依赖于立体图像的文件的头信息而执行图像的立体再现。此外， 通过使用扫描器从打印合成图像内容的立体图像纸张读取合成图像来解码其 中存在的立体信息的编码图像和填充数据，从而可以执行图像的立体再现。 此外，因为立体信息和平行方法/交叉方法区分信息被添加到合成图像中，即 使立体图像的文件的头信息已破损或丢失，仍可以从被添加到合成图像中的 立体信息的编码图像来修复或恢复头信息。此外，在通过肉眼观察在立体图像的文件中的立体图像中，能够解码立 体图像文件的被压缩编码的合成图像的再现设备被定为通过网络或可卸载记录介质等来读取立体图像的文件。则如图14或15所示，再现多个主图像85 的合成图像83或合成图像84以及填充数据86、 87。在这个例子中，观察者 可根据被显示的填充数据86、 87的例如颜色和/或图样等的视觉特征，在第 一眼就区分出多个主图像85是通过平行方法的立体图像还是通过交叉方法 的立体图像。从而，可以立即使用合适的观察方法尝试或执行立体观察，以 减少观察者过度负担。此外，因为被记录在记录介质中的主图像的合成图像和填充数据的宽高 比与所使用的打印纸张的纵向和横向尺寸之间的比率相一致，可以以完全充 满整个打印纸张的方式打印合成图像。此外，观察者可根据在完全打印合成 图像的立体图像纸张上的填充数据区域的视觉特征，在第一眼就区分出适合 观察该立体图像的方法是交叉方法还是平行方法。需要注意的是，在本发明的一个实施例中，填充数据不必须具有平行方 法/交叉方法区分信息的含义。即，还可采用这样一种配置，其中填充数据被 定为仅嵌入在对应于右眼和左眼的各个主图像在具有预定宽高调整比的二维 空间内左右方向上呈直线安排的情况下形成的空白区域内，以便立体信息的 编码图像被安排在填充数据的区域内。可以允许计算机执行的程序提供在上述实施例中的立体图像处理设备 100、 400、 500的立体图像处理的功能和/或立体图像再现设备200、 300的立 体图像再现的功能。需要注意的是虽然根据附图所表示的优选实施例详细描述了本发明，但换的结构或等同变换可在不脱离于本发明其后的权利要求的范围和精髓的情况下估爻出。相关申请的交叉引用本申请要求于2005年6月29日提交的日本专利申请2005-189434的优 先权，其被全部并入此处以做参考。
权利要求
1、一种立体图像处理设备，包括图像输入装置，用于输入组成立体图像的多个图像，作为主图像；编码装置，用于将用于对所述图像输入装置输入的多个主图像进行立体显示控制的立体信息编码为图像；以及图像合成装置，用于将由所述图像输入装置输入的多个主图像和由所述编码装置获得的编码图像在各个图像的相应区域被分区的状态下加以合成。
2、 如权利要求1所述的立体图像处理设备， 其中所述编码图像是条形码。
3、 如权利要求1所述的立体图像处理设备，其中所述图像合成装置将指示所述多个主图像是通过平行方法的立体图 像还是通过交叉方法的立体图像的填充数据和所述多个主图像在所述填充数 据和所述主图像的相应区域被分区的状态下加以合成。
4、 如权利要求3所述的立体图像处理设备，进一步包括 宽高比调整输入装置，用于输入宽高调整比，其中所述图像合成装置改变所述填充数据的尺寸，以便合成图像的纵向 和横向尺寸具有由所述宽高比调整输入装置输入的宽高调整比。
5、 如权利要求1所述的立体图像处理设备，进一步包括 编码装置，用于压缩编码由所述图像合成装置合成的图像；以及 复用装置，用于向由所述编码装置压缩编码的所述合成图像中添加用于立体显示控制的立体信息作为头信息，以准备文件。
6、 如权利要求1所述的立体图像处理设备，其中由所述图像输入装置输入的所述多个主图像是对应于右眼和左眼的 图像。
7、 如权利要求1所述的立体图像处理设备，其中由所述图像输入装置输入的所述多个主图像是通过从多个视点捕捉 一个对象而获得的图像。
8、 一种立体图像处理方法，包括输入步骤，通过图像输入装置来输入组成立体图像的多个图像，作为主 图像；编码步骤，通过编码装置将对由所述图像输入装置输入的多个主图像进行立体显示控制的立体信息编码为图像；合成步骤，通过图像合成装置将由所述图像输入装置输入的多个主图像 和由所述编码装置获得的编码图像在各个图像的相应区域被分区的状态下加 以合成。
9、 一种立体图像再现设备，包括合成图像输入装置，输入合成图像，在该合成图像中，将组成立体图像 的多个主图像和用于对所述多个主图像进行立体显示控制的立体信息的编码 图像在各个图像的相应区域被分区的状态下加以合成；分离装置，用于从由所述合成图像输入装置输入的所述合成图像中分离 所述多个主图像和所述编码图像；解码装置，用于从被分离装置分离的所述编码图像中解码所述立体信息；以及图像变换装置，用于基于由所述解码单元解码的所述立体信息来执行用 于对被所述分离单元分离的所述多个主图像进行立体显示的处理。
10、 一种立体图像再现方法，包括输入步骤，用于通过合成图像输入装置，输入合成图像，其中，将组成 立体图像的多个主图像和用于对所述多个主图像进行立体显示控制的立体信 息的编码图像在各个图像的相应区域被分区的状态下加以合成；分离步骤，用于通过分离装置从由所述合成图像输入装置输入的所述合 成图像中分离出所述多个主图像和所述编码图像；解码步骤，用于通过解码装置从由所述分离装置分离的所述编码图像中 解码所述立体信息；以及执行步骤，用于通过图像变换装置基于由所述解码装置解码的所述立体 信息来执行用于对被所述分离单元分离的所述多个主图像进行立体显示的处 理。
11、 一种立体图像纸张，其中将组成立体图像的多个主图像和用于对所 述多个主图像进行立体显示控制的立体信息的编码图像在各个图像的相应区 域被分区的状态下加以安排或分配。
12、 一种计算机可读立体图像处理程序，用于允许计算机用作 图像输入装置，用于输入组成立体图像的多个图像，作为主图像；编码装置，用于将用于对所述图像输入装置输入的多个主图像进行立体显示控制的立体信息编码为图像；以及图像合成装置，用于将由所述图像输入装置输入的多个主图像和由所述 编码装置获得的编码图像在各个图像的相应区域被分区的状态下加以合成。
13、 一种计算机可读立体图像处理程序，用于允许计算机执行以下功能 合成图像输入装置，用于输入合成图像，在该合成图像中，由组成立体图像的多个主图像和用于对所述多个主图像进行立体显示控制的立体信息的 编码图像在各个图像的相应区域被分区的状态下加以合成；分离装置，用于从由所述合成图像输入装置输入的所述合成图像中分离 所述多个主图像和所述编码图像；解码装置，用于从被分离装置分离的所述编码图像中解码所述立体信息；以及图像变换装置，用于基于由所述解码单元解码的所述立体信息来执行用 于对被所述分离单元分离的所述多个主图像进行立体显示的处理。
14、 一种计算机可读记录介质，其中记录了包括合成图像的结构化图像 信息，其中将组成立体图像的多个主图像和用于对所述多个主图像进行立体 显示控制的立体信息的编码图像在各个图像的相应区域被分区的状态下加以 合成。
全文摘要
提供一种立体图像处理设备，用于在不依赖文件的头信息的情况下立体地再现图像，以便其能够修复或恢复破损或丢失的用于立体显示头信息。该立体图像处理设备包括图像输入单元(1)，用于输入构成立体图像的多个主图像；立体信息编码单元(6)，用于将用于对输入的多个主图像进行立体显示控制的立体信息编码为如条形码的图像；以及图像合成单元(8)，用于将输入的主图像和立体信息的编码图像在分离的区域中加以合成。
文档编号H04N13/00GK101218832SQ20068002389
公开日2008年7月9日 申请日期2006年6月29日 优先权日2005年6月29日
发明者关泽英彦, 内海端, 吉田英明, 增谷健 申请人:索尼株式会社;三洋电机株式会社;奥林巴斯映像株式会社;夏普株式会社