三维图像文件、摄像装置、图像再现装置及图像加工装置的制作方法

专利名称：三维图像文件、摄像装置、图像再现装置及图像加工装置的制作方法
技术领域：
本发明涉及记录立体图像数据的三维图像文件、生成并记录这种三 维图像文件的摄像装置、再现这种三维图像文件的图像再现装置、和生 成三维图像文件的图像加工装置。
背景技术：
拍摄记录被摄体的图像并使其包含立体信息的方法有各种各样的方式。其中，记录具有与左右两眼的视点对应的视差的两个图像的所谓双 眼式立体摄影，由于结构比较简单又低廉，而且效果好，所以从很早开 始被应用至今。在此，对用语进行补充说明，在本说明书中，在没有特别说明的情况下，三D、立体、Stereo被用作相同意义的词语。它们都被用来表示用 于实现从视觉上实时再现被摄体的三维(3-dimendional)信息即实现立体 感觉(Stereoscopy)的立体感技术(Stereoscopy technology),虽然存在 根据其利用方式和习惯而被区分使用的情况，但没有本质上的差异。为了进行这种双眼式立体摄影，如日本特开平8—317425号公报中 披露的方法那样，例如使用具有两个光学系统的双眼式照相机进行摄影， 这两个光学系统具有与左右两眼的视点对应的视差。并且，在利用单眼 式照相机进行双眼式立体摄影时，有将两个单眼式照相机离开与左右两 眼的视点对应的视差程度的距离来配置并进行摄影的方法。并且，在利 用一个单眼式照相机进行这种双眼式立体摄影时，只要每拍摄一次就改 变位置进行合计两次摄影即可。另外，还有如日本特开2002_77943号 公报公开的方法那样，在照相机主体上安装由反射镜或棱镜构成的被称 为立体适配器的设备来进行摄影。其中，在立体摄影中，为了把以左右不同的视点分别拍摄的图像(单 眼图像)用作立体图像，保持左右图像彼此的同质性很重要。例如，在使用日本特开平8—317425号公报那样的双眼式照相机的情况下、和安 装日本特开2002—77943号公报那样的立体适配器的方法中，在相同的 摄影条件下，能够在一次摄影中得到来自左右两个视点的图像，所以比 较容易保持左右图像的同质性。与此相对，在手持着照相机改变位置进 行两次摄影并记录左右两个视点的图像时，由于用手保持着照相机，所 以在第1次和第2次摄影中容易产生少许倾斜等，彻底调节摄影位置是 很困难的。该情况下，左右两个视点的图像的同质性降低，若保持该状 态不进行处理则再现图像的画质劣化的可能性高。认为即使根据这样两 个图像来再现立体图像也不能正确地获得立体图像，在最差的情况下再 现显示的图像甚至会给用户的眼睛带来不良影响。因此，在立体摄影中，管理与以多个不同视点拍摄的图像彼此的同 质性相关的信息非常重要。发明内容本发明就是鉴于上述情况而提出的，其目的在于，提供能够管理在 立体摄影中拍摄的多个单眼图像的同质性的三维图像文件、能够记录这 种三维图像文件的摄像装置、能够再现三维图像文件的图像再现装置、 和能够生成良好的三维图像文件的图像加工装置。为了达到上述目的，本发明的第一方式提供一种三维图像文件，其 记录了作为一个多眼式立体图像的构成要素即多个单眼图像的集合体而 构成的立体图像数据，其特征在于，所述三维图像文件通过在所述立体 图像数据的全部或一部分中附加至少包含与所述多个单眼图像彼此的同 质性相关的信息的三维元数据，由此构成为图像处理的最小单位。并且，为了达到上述目的，本发明的第二方式提供一种摄像装置， 其特征在于，该摄像装置具有记录单元(108、 112)，其生成并记录第 一方式所述的三维图像文件；至少一个摄像单元(101、 105)，其用于获 得一个多眼式立体图像的构成要素即多个单眼图像；同质性判断单元(112a)，其判断通过所述摄像单元(101、 105)得到的多个单眼图像彼 此的同质性；三维元数据生成单元(112b)，在生成所述三维图像文件时, 所述三维元数据生成单元(112b)根据所述同质性判断单元(112a)的判 断结果，设定与所述多个单眼图像彼此的同质性相关的信息，生成所述 三维元数据。并且，为了达到上述目的，本发明的第三方式提供一种图像再现装 置，用于再现第一方式所述的三维图像文件，其特征在于，该图像再现 装置具有警告单元(301)，在所述三维图像文件的三维元数据中包含的、 与所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述警 告单元(301)进行警告。并且，为了达到上述目的，本发明的第四方式提供一种图像再现装 置，用于再现第一方式所述的三维图像文件，其特征在于，该图像再现 装置具有中止单元(301)，在附加到所述三维图像文件中的三维元数据 中包含的、与所述多个单眼图像彼此的同质性相关的信息表示同质性低 时，所述中止单元(301)中止所述三维图像文件的再现。并且，为了达到上述目的，本发明的第五方式提供一种图像再现装 置，用于再现第一方式所述的三维图像文件，其特征在于，该图像再现 装置具有校正单元(304)，在所述三维图像文件的三维元数据中包含的、 与所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述校 正单元(304)通过图像处理来实施提高所述多个单眼图像彼此的同质性 的校正处理。另外，在该第五方式中，优选还具有在所述校正单元(304)的校正 处理未能适当进行的情况下进行警告的警告单元(301)、或者中止所述 三维图像文件的再现的中止单元(301)。并且，为了达到上述目的，本发明的第六方式提供一种图像再现装 置，用于再现第一方式所述的三维图像文件，其特征在于，该图像再现 装置具有处理单元(301)，所述处理单元(301)在所述三维图像文件的 三维元数据中包含的、与所述多个单眼图像彼此的同质性相关的信息表 示同质性低时，实施将所述多个单眼图像相互交换的处理。并且，为了达到上述目的，本发明的第七方式提供一种图像加工装 置，用于加工第一方式所述的三维图像文件，其特征在于，该图像加工 装置具有校正单元(304)，在所述三维图像文件的三维元数据中包含的、与所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述校正单元(304)通过图像处理来实施提高所述多个单眼图像彼此的同 质性的校正处理；以及记录单元(305)，其将该校正单元(304)的校正 输出记录为三维图像文件。另外，在该第七方式中，优选还具有在所述校正单元(304)的校正 处理未能适当进行时进行警告的警告单元(301)、或者中止所述三维图 像文件的记录的中止单元(301)。并且，为了达到上述目的，本发明的第八方式提供一种图像加工装 置，用于加工第一方式所述的三维图像文件，其特征在于，该图像加工 装置具有处理单元(301)，在所述三维图像文件的三维元数据中包含 的、与所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所 述处理单元(301)实施将所述多个单眼图像相互交换的处理；记录单元 (305)，其将该处理单元的处理输出记录为三维图像文件。


图1是表示作为本发明的一个实施方式涉及的摄像装置的一例的数 码照相机100的内部结构的方框图。图2A是表示在2拍摄摄影模式下获取右侧视点的单眼图像时的示例 的图。图2B是表示在2拍摄摄影模式下获取左侧视点的单眼图像时的示例 的图。图3是表示在1拍摄摄影模式下获取左右两个视点的单眼图像时的 示例的图。图4是表示记录三维图像文件时的处理的流程图。 图5是表示三维图像文件的概念性结构的图。图6A是表示从单眼图像生成的整合式立体图像数据形式的立体图像的图。图6B是表示从单眼图像生成的多页式立体图像数据形式的立体图 像的图。图6C是将两个单眼图像记录在不同的三维图像文件中的示例。图7是表示包括尝试显示的显示(再现)处理的流程图。图8是表示尝试显示时的显示示例的图。图9是表示图像再现装置的结构的图。图IO是表示图像再现装置的图像再现时的处理的流程图。图11是说明校正处理的一例的图。
具体实施方式
以下，参照

本发明的实施方式。图1是表示作为本发明的一个实施方式涉及的摄像装置的一例的数 码照相机100的内部结构的方框图。另外，图1中的数码照相机100以 能够进行下述立体摄影的单眼式数码照相机为例，即，由通过多个视点 位置的摄影得到的多眼式立体图像的构成要素即多个图像(单眼图像)， 生成并记录基于预定格式的三维图像文件。如图1所示，数码照相机100包括摄像镜头系统101;镜头驱动机构102;曝光控制机构103;滤波 器系统104;摄像元件105;摄像元件驱动器106;预处理电路107;数 字处理电路108;卡接口 (IF) 109;存储卡110; LCD 111;系统控制器 112;操作开关(SW) 113;操作显示部114;镜头驱动器115;闪光灯 116;曝光控制驱动器117;闪存118;计时部119。摄像镜头系统101是由各种透镜构成的镜头系统，使来自未图示的 被摄体的像(以下称为被摄体像)通过曝光控制机构103和滤波器系统 104成像于摄像元件105上。摄像镜头系统101由镜头驱动机构102驱动。 镜头驱动机构102由马达等构成，对构成摄像镜头系统101的各个透镜 沿其光轴方向驱动它们。镜头驱动机构102由镜头驱动器115驱动控制。 曝光控制机构103是控制对摄像元件105的曝光量的机构。曝光控制机 构103由光圈和快门及驱动它们的驱动机构构成，并被曝光控制驱动器117控制。滤波器系统104由光学低通滤波器等构成，用于去除通过摄像 镜头系统101和曝光控制机构103射入的被摄体像中的高频成分等预定 频率的成分。作为摄像单元的摄像元件105对被摄体像进行光电转换并获取摄像 信号。作为摄像元件105，例如使用具有纵型溢出沟道(OverflowDrain) 结构的行间(interline)传送方式的依次扫描型CCD。并且，摄像元件 105由摄像元件驱动器106驱动控制。摄像元件驱动器106进行摄像元件 105的驱动控制和在摄像元件105中得到的摄像信号的读出控制。预处理电路107是包括增益控制放大器和模拟/数字(A/D)转换器 等的预处理电路。预处理电路107进行在增益控制放大器中以预定的增 益来放大从摄像元件105输入的摄像信号、或在A/D转换器中实现数字 化的各种预处理。数字处理电路108进行白平衡调整处理和灰度转换处 理、锐化处理等各种数字图像处理。并且，数字处理电路108还进行如 下处理使用JPEG方式等压缩方式压縮数字图像处理后的图像数据，把 由此得到的压縮图像数据通过卡IF 109记录在存储卡110中。LCD 111 例如由LCD及其显示控制电路等构成，根据在数字处理电路108中进行 了数字图像处理的图像数据进行图像显示。系统控制器112总括地进行照相机的总体控制，包括曝光控制机构 103的光圈和快门的动作控制、摄像元件驱动器106的动作控制、对预处 理电路107的增益控制器的增益量指示和A/D转换器中的数字化用的量 化比特的指示、数字处理电路108中的白平衡处理时的白平衡增益的运 算、压縮处理时的压縮方式及压縮率的指示、镜头驱动器115和曝光控 制驱动器117的动作控制等。并且，系统控制器112作为同质性判断部 112a和三维元数据生成部112b的功能，所述同质性判断部112a作为判 断在立体摄影模式时得到的多个单眼图像彼此的同质性的同质性判断单 元，所述三维元数据生成部112b作为根据与在同质性判断部112a中判断 出的同质性相关的信息，生成三维元数据的三维元数据生成单元。另外， 系统控制器112和数字处理电路108均还具有作为记录单元的功能，根 据由三维元数据生成部112b生成的三维元数据，生成三维图像文件并记录在存储卡110中。操作SW 113是与在该数码照相机的外部露出配置的各种操作按钮 连动而接通断开的各种开关。作为该操作SW113，例如包括使该数码照 相机的快门释放动作开始的释放幵关、将该数码照相机的摄影模式切换 为立体摄影模式的模式切换开关等。操作显示部114显示操作SW 113的 操作状态。闪光灯116是用于摄影时的辅助光照射等的发光部。该闪光灯116 由曝光控制驱动器117控制。闪存118是存储该数码照相机的控制程序 和各种设定信息等的非易失性存储器。计时部119是为了对摄影时刻进 行计时而设置的。另外，该计时部119也可以内置在系统控制器112中。下面，说明图1所示的数码照相机的立体摄影。另外，可以在利用 操作SW 113中包含的模式切换开关将该数码照相机的摄影模式切换成 了立体摄影模式的情况下进行立体摄影。在此，以获得左右两视点的单眼图像的双眼式立体摄影为例进行说 明。图1中的数码照相机100的进行双眼式立体摄影的模式包括以下两 种立体摄影模式由通过两次单眼摄影得到的左右两个视点的单眼图像， 生成并记录三维图像文件的2拍摄摄影模式；由通过一次双眼摄影得到 的左右两个视点的图像，生成并记录三维图像文件的1拍摄摄影模式。 这些立体摄影模式的切换可以通过模式切换开关来切换。图2A和图2B是表示在2拍摄摄影模式下获取左右两个视点的单眼 图像时的示例的图。在2拍摄摄影模式下，用户按照预先确定的摄影顺 序的规则，在第一次摄影时按照图2B所示，在对应于左侧视点的位置进 行摄影，在第二次摄影时按照图2A所示，在对应于右侧视点的位置进行 摄影。在此，通过系统控制器112进行控制，使得在第一次摄影时和第 二次摄影时，光圈值和快门速度等摄影条件相同。由此，在第一次摄影 时获取左侧的单眼图像L，在第二次摄影时获取右侧的单眼图像R。根据 这些单眼图像L、 R生成后面叙述的立体图像数据，根据该立体图像数据 生成三维图像文件。另外，2拍摄摄影模式下的两次摄影也可以通过接受用户的两次释放操作来进行，还可以通过用户的一次释放操作以预定时间间隔依次执 行两次摄影。图3是表示在1拍摄摄影模式下获取左右两个视点的单眼图像时的示例的图。在1拍摄摄影模式下，用户例如在将立体适配器200安装在 了数码照相机100上的状态下进行摄影。立体适配器200由多个反射镜 201 204构成，使从不同视点位置射入的被摄体的光束成像于摄像元件 105的不同区域。即，从左侧视点位置射入立体适配器200的光束(图3 中下侦U)在反射镜201和反射镜203反射，成像于摄像元件105的右侧 区域(图3中上侧)。并且，从右侧视点位置射入立体适配器200的光束 (图3中上侧)在反射镜202和反射镜204反射，成像于摄像元件105 的左侧区域(图3中下侧)。此时看起来好像左右的配置相交换，但是在 摄像镜头系统IOI的倒立成像作用下，相对于成像在摄像元件上的图像， 直接形成为左视点图像被配置在左侧、右视点图像被配置在右侧的并行 配置。由此，在摄像元件105的不同区域中获取单眼图像L和单眼图像 R。由这些单眼图像L、 R生成后面叙述的立体图像数据，由该立体图像 数据生成三维图像文件。另外，也可以不安装立体适配器200，而在对应于左右视点位置的 位置上配置两台数码照相机，例如利用电缆连接这两台数码照相机以使 它们可以同时释放快门，进行摄影，也可以在一次摄影中获得左右两个 视点的单眼图像。并且，虽然在图1中没有示出，但也可以使用具有两 个镜头系统和两个摄像元件的双眼式数码照相机进行摄影。下面，说明在本实施方式中生成三维图像文件时的处理。在立体摄 影中，保持左右单眼图像彼此的同质性很重要，但是要完全保持单眼图 像彼此的同质性几乎是不可能的。其中，左右的单眼图像彼此的同质性 是在摄影时被确定的信息，所以在摄影时生成的三维图像文件内记录与 同质性相关的信息的方式在管理同质性上是优选的。因此，在本实施方式中，当在数码照相机100中生成三维图像文件 时，在三维图像文件中记录与两个单眼图像彼此的同质性相关的信息(以 下称为同质性标签)。在同质性标签中记述是在1拍摄摄影模式和2拍摄摄影模式中的哪种模式下获取两个单眼图像的。这是囱为认为在1拍摄 摄影模式下拍摄时的两个单眼图像彼此的同质性高，而在2拍摄摄影模 式下拍摄时的两个单眼图像彼此的同质性低。并且，当在1拍摄摄影模 式下获取了两个单眼图像时，在同质性标签中设定表示两个单眼图像是
在i拍摄摄影模式下获取的"r，当在2拍摄摄影模式下fe取了两个单眼
图像时，在同质性标签中设定表示两个单眼图像是在2拍摄摄影模式下 获取的"2"。
以下，参照图4的流程图说明记录三维图像文件时的处理。另外， 图4中的流程图的处理是在立体摄影模式时由系统控制器112执行的。
当在1拍摄摄影模式或2拍摄摄影模式下执行立体摄影时，根据成 像于摄像元件105上的被摄体像，生成对应于左右两个视点的两个单眼 图像L、 R。然后，开始图4中的流程图的处理，在系统控制器112内部 的同质性判断部112a中，判断两个单眼图像是否是在2拍摄摄影模式下 拍摄的(步骤S1)。
在此，关于在步骤S1的判断，补充说明一下有两种情况。即，第l 种情况是如字面上那样"是否是基于2拍摄摄影的摄影"，即是否是在通 过时机不同的两次曝光来获取左右视点的各个单眼图像的控制下的摄 影，第2种情况是"是否存在应该作为2拍摄摄影来处理的图像的同质性 降低的顾虑"。
作为该实施方式的基本实施例，采用第l种情况。即， 一般在l拍 摄摄影中容易保持同质性，在2拍摄摄影中不容易保持同质性，所以只 按照该判断进行同质性标签的设定。该示例具有判断基准极其明确而且 在实施中没有任何困难的优点。
另一方面，作为关于这一点的变形实施例，说明采用第2种情况的 示例。有时在2拍摄摄影的情况下也能够保持摄影时的两个单眼图像彼 此的同质性，相反在1拍摄摄影时不能保持同质性。因此，在该示例中， 在步骤S1的判断中，判断两个单眼图像彼此的同质性，在保持了两个单 眼图像彼此的同质性的情况下，即使是在2拍摄摄影模式下拍摄的，也 视为是在1拍摄摄影模式下拍摄的。相反，在没有保持两个单眼图像彼此的同质性时，即使是在1拍摄摄影模式下拍摄的，也视为是在2拍摄 摄影模式下拍摄获取的。这些判断通过判断两个单眼图像的摄影时机的 同时性、两个单眼图像是否是利用不同的数码照相机拍摄的、以及两个 单眼图像的摄影条件的相同性来进行。并且，该判断中，如果在某个允 许范围内保持了相同性，贝綱断为保持了两个单眼图像的相同性、即两
个单眼图像是在1拍摄摄影模式下拍摄的。只要根据数码照相机100的
规格等适当确定该允许范围即可。
例如，在两个单眼图像的摄影时机大不相同的情况下，在两次摄影 期间有可能产生手抖(此处的手抖包括由于手抖动导致被摄体像旋转或 位置偏离、和由于被摄体移动导致偏离)等，所以视为不能保持两个单 眼图像的同质性。并且，在利用不同的(不是同一个)数码照相机来拍 摄两个单眼图像时，两个数码照相机中，有可能镜头系统的特性(分光 透射率和视场角等)和摄像元件的特性(摄像元件的有效像素数和饱和
水平等)、A/D转换器的特性(数字化时的量化比特数等)等不同，所以 视为没有保持两个单眼图像的同质性。此时，如果两个照相机的机型不 同，则特性的差异容易进一步增大，但是即使是相同机型，也有可能因 个体差异和设置而产生差异，所以根据是否是同一个照相机来判断同质 性。作为参考，要指出的是在使用不同的照相机时，即使能够利用同步 式快门来实现相同时机的曝光，但如果照相机在工作台上的安装角度不 合适，则依旧存在不能保持图像的同质性的情况。
另外，两个单眼图像的摄影条件大不相同的情况也视为2拍摄摄影 模式。这包括例如左侧的单眼图像L的压縮方式被设定为RAW模式、右 恻的单眼图像R的压縮方式被设定为JPEG模式的情况，以及单眼图像L 和单眼图像R各自在摄影时闪光灯有无发光的条件不同的情况等。这对 应于例如在进行两次摄影的情况下，在第1次拍摄单眼图像L时使用了 闪光灯，但在第2次拍摄单眼图像R时没有完成闪光灯的充电，而未能 使用闪光灯的情况等。除此之外，在分别拍摄单眼图像L和单眼图像R 时的以下条件大不相同的情况下也视为没有保持两个单眼图像的同质 性，即，分别拍摄单眼图像L和单眼图像R时的光圈值、快门速度、摄影灵敏度(增益控制放大器的增益量)等与图像的曝光相关的条件，单
眼图像L和单眼图像R的白平衡的条件，颜色信号处理方法、灰度特性 等与图像处理相关的条件，以及单眼图像L和单眼图像R的分辨率、压 缩率、记录像素数等与图像的记录相关的条件等。
在此，再次返回说明图4的流程图，在上述两个实施例的任一种情 况下，在步骤S1的判断中判断为两个单眼图像应该视为是在2拍摄摄影 模式下拍摄的情况下，使步骤S1分支到步骤S2，对同质性标签设定表示 两个单眼图像是在2拍摄摄影模式下被拍摄的"2"(步骤S2)。另一方面，
在判断为两个单眼图像可以视为是在1拍摄摄影模式下被拍摄的情况下， 使步骤Sl分支到步骤S3，对同质性标签设定表示两个单眼图像是在1 拍摄摄影模式下被拍摄的'T'(步骤S3)。
另外，同质性标签的信息也可以通过用户操作操作SW 113来手动设定。
在步骤S2或步骤S3，或者在手动设定了同质性标签后，在三维元 数据生成部112b中生成包括同质性标签的三维元数据(步骤S4)。该三 维元数据例如是被记录为数码照相机用的通用图像文件格式即Exif的标 签信息之一的信息，构成为除了与两个单眼图像彼此的同质性相关的信 息(同质性标签)之外，例如还包括表示该三维图像文件是通过立体摄 影得到的文件的信息、与各个单眼图像的视点位置相关的信息、与记录 在该三维图像文件中的立体图像数据的记录和再现相关的参数等。另外， 三维元数据不仅可以被记录为Exif的标签信息，还可以记录为任何形式， 例如可以记录为使用Adobe公司提倡的XMP (注册商标)那样的XML 等记述的文本元数据的形式。
在步骤S4，在生成三维元数据后，除了三维元数据之外的、例如立 体摄影时的曝光条件(光圈值、快门速度等)和记录时的压缩方式等各 种信息作为标签信息被附加，生成头部信息部(步骤S5)。然后，该头部 信息部被附加到立体图像数据中，生成三维图像文件，该三维图像文件 被记录在存储卡110中(步骤S6)，图4的处理结束。
图5是表示通过图4的处理生成的三维图像文件的概念性结构的图。该三维图像文件通过在根据两个单眼图像而生成的立体图像数据被以
JPEG等方式压縮并记录的图像数据部中，附加包括三维元数据的头部信 息部，而构成为图像处理的最小单位。
在此说明立体图像数据。立体图像数据是作为两个单眼图像的集合 体而构成的立体图像数据。该立体图像数据例如作为整合式立体图像数 据被记录在三维图像文件中，该整合式立体图像数据是通过按照图6A所 示将两个单眼图像L、 R分别配置在一个平面图像上的不同位置区域而构 成的。另外，在数字处理电路108中对在使用了立体适配器200的1拍 摄摄影模式下由摄像元件105得到的图像进行图像处理后，进行记录。 另一方面，在2拍摄摄影的情况下，将在第1次摄影时得到的单眼图像L 存储在数码照相机100内部的未图示的缓冲存储器中，在获取第2次的 单眼图像R的时间点，将单眼图像L和单眼图像R调整大小并合成在一 个图像的左右各一半的区域中，对合成得到的图像进行图像处理并记录。
另夕卜，立体图像的形式不限于图6A的整合式立体图像数据。例如， 也可以是如图6B所示的把两个单眼图像L、 R分别作为页面图像的多页 式立体图像数据的形式。另外，立体图像数据还可以构成为如图6C所示， 将两个单眼图像L、 R记录在不同的三维图像文件L、 R中。但是，在该 情况下，需要在分别构成的三维图像文件L、 R中的至少任一方的三维元 数据中，记述表示两个单眼图像L、 R相互关联(是一个立体图像的各个 构成要素)的信息。
下面，说明按照图4的处理再现被记录在存储卡110中的三维图像 文件的图像再现装置。另外，如后面所述，该装置发挥三维图像的再现 装置的作用，同时根据需要也发挥重新生成并记录三维图像文件的图像 加工装置的作用。图9是表示该图像再现装置的结构的图。图9所示的 图像再现装置300由控制部301、文件输入部302、图像再现部303和校 正部304构成。另外，在该装置发挥图像加工装置的作用时还追加记录 部305。
控制部301总括进行该图像再现装置300的各部分的控制。并且， 控制部301也发挥警告单元和中止再现或记录的中止单元的作用。文件输入部302是输入在存储卡110中所记录的三维图像文件的接口部。控 制部301根据通过文件输入部302读取的三维图像文件的内容，进行立 体图像数据的再现处理。并且，校正部304在构成立体图像的单眼图像 彼此的同质性低、即是在2拍摄摄影模式下获取的情况下，通过图像处 理进行提高同质性的校正和图像的交换处理。
另外，记录部305例如为与图1中的卡IF109和存储卡110相同的 结构，在控制部301的控制下，把从控制部301或校正部304发送的数 据以预定的记录格式记录为新的三维图像文件。另外，关于上述图像的 交换处理，有时不通过校正部304的图像处理，而通过元数据的改写来 进行，该处理由控制部301进行。
图像再现部303由例如可以显示三维图像的直视型三维LCD构成。 直视型三维LCD构成为设有具有与视差格栅(parallax barrier)等效的效 果的背光灯狭缝(广义上的视差格栅)，根据用户观看的位置而看到不同 的图像。控制部301将左侧的单眼图像L和右侧的单眼图像R分解为长 方形状，并配置在交替的像素位置上进行再现显示，由此进行三维图像 显示。
另外，关于图像再现部303，不限于三维LCD，也可以是能够在左 右画面上独立进行图像显示的头置式显示器等。另外，也可以使用不仅 显示三维图像，而且能够按照三维打印预览用格式打印立体图像的打印 机。或者，还可以适用在CRT、 LCD等通用显示器上以与三维打印机相 同的格式显示并通过浏览器观察、或公知的时分显示。
在此，首先说明图像再现装置300中的同质性标签的最简单的利用 方法。该方法在同质性低的情况下进行警告或者中止再现。即，在有再 现指令时，执行读入该文件的数据的以下控制(省略图示)。即，作为第 1处理步骤，判定同质性标签的值，根据其结果分支到后面的处理。在结 果为'T，时，转入第2处理步骤，进行图像的三维显示(后面叙述的正常 显示)，并结束控制。在结果为"2"时，由于图像的同质性低，所以不能 进行良好显示的可能性大。因此，转入第3处理步骤，不显示图像(显 示中止)，而且进行警告并结束控制。此时，作为变形例，在第3处理步骤中，也可以一面进行图像显示一面进行警告，或者不进行警告，只是 不显示图像。根据这种控制，将不能进行良好显示的情况通知用户，可 以避免进行不良的三维显示，所以能够防止给用户带来不愉快感和徒劳 感。下面，说明再现三维图像文件时的图像的交换处理及用于该处理的尝试显示。图像的交换处理是在单眼图像L和R被反转记录时需要的交 换L和R的处理。并且，尝试显示的功能如下，通过在LCD111上显示 按照原有配置显示单眼图像L、 R的正常显示的图像、和将左右交换(反 转)后的交换显示的图像而进行对比，用户可以确认是否获得了配置正 确的立体图像。在此加以补充，在按照基本实施例记录的三维图像文件的情况下， 以在2拍摄摄影模式下用户按照预先确定的摄影顺序的规则进行左右各 个视点的摄影为前提，各个视点图像被分配为L、 R，所以在用户弄错顺 序时有可能产生L和R被反转记录的情况。这是2拍摄摄影存在的原理 性问题的一个课题，但是通过有效利用同质性标签，如下面所述可以解 决该问题。图7是表示包括尝试显示的显示(再现)处理的流程图。图7的处 理在用户进行了三维图像的再现指示时由控制部301执行。首先，进行三维元数据中的同质性标签的读取，判断同质性标签是 否被设定为"2"(步骤S11)。在步骤S11的判断中同质性标签被设定为"l" 时，不会产生上述问题，所以视为能够获得正确的立体图像，分支到步 骤S14进行正常显示，然后结束图7的处理。另一方面，在步骤Sll的判断中同质性标签被设定为"2"时，执行尝 试显示(步骤S12)。尝试显示例如图8所示，通过在LCDlll上同时显 示正常显示的图像llla和交换显示的图像111b来进行。在图中示意地表 示了对于视差格栅式的直视型三维LCD将L、 R的两个单眼图像分解为 长方形状来三维显示时的配置，相对于正常显示，在交换显示时被反转 的状态。实际上分解被进行得更细，通常以像素为单位来进行。在此， 由于同时显示两个图像，所以相对于一般的正常显示，成为縮小显示或修整过的局部显示。用户可以比较图像llla和图像lllb来选择正确的图在步骤S12的尝试显示后，判断用户是否选择了图8中的上侧即图 像llla (步骤S13)。在步骤S13的判断中判断为选择了上侧时，使步骤 S13分支到步骤S14，选择图像llla并显示在LCDlll上(步骤S14)。 然后，结束图7的处理。另一方面，在步骤S13的判断中判断为选择了 下侧时，使步骤S13分支到步骤S15，进行交换显示(步骤S15)。然后，转入步骤S16，进行三维图像文件的重新生成。此处不停留 于上述的显示阶段的单眼图像的交换处理，进行作为三维图像文件的单 眼图像的交换处理。此时的交换处理的方法可以使用以下两种方法。一 种方法是实际交换L和R的单眼图像，以整合式立体图像的形式进行图 像数据的改写。另一种方法是图像数据保持原状，进行三维元数据的改 写以将单眼图像的左右交换。无论使用哪种方法，由于通过交换都能够消除图像的错误配置，所 以同质性标签被从"2"改写为"1"。这样再构成的三维图像文件通过记录部 305被记录在存储卡110中，并结束重新生成。然后，结束图7的处理。图10是表示图像再现装置300中的图像再现时的图像校正处理的流 程图。该处理是根据与上述图7说明的再现三维图像文件时的图像的交 换处理及用于该处理的尝试显示的处理不同的观点进行的。即，也可以 将在图像的校正处理中使用的同质性标签之外的另外准备的同质性标签 用于图像的交换处理，准备在相同的同质性标签中表示已完成图像的交 换处理的值"3"、表示已完成校正处理的值"O"，例如可以对已完成图像交 换但没有进行校正处理的图像进行处理。在用户进行了三维图像的再现 指示时由控制部301执行该图10的处理。在用户进行了三维图像的再现指示时，在控制部301中检查三维图 像文件中的同质性标签(步骤S21)。并且，判断同质性标签是否被设定 为"2"(步骤S22)。在步骤S22的判断中判断为同质性标签被设定为"2" 时，两个单眼图像彼此的同质性低，即使在该状态下进行图像再现也有 可能不能正确再现，所以使步骤S22分支到步骤S23，在校正部304中进行立体图像数据的校正(步骤S23)。在此，参照图ll说明校正处理的一例。在该校正中，首先在左侧的单眼图像L401和右侧的单眼图像R402之间进行相关检测，检测相对于 作为基准的左侧的单眼图像L401的预定的像框区域401a(像框区域401a 是预测了位置校正的偏差余地而把比整个L401略小的区域设定为图像区 域的像框区域)的图像数据相关性最高的区域402b的图像数据并切出， 由此进行位置偏差的校正。此时，在图11的示例中，区域402b内的图 像数据相对于区域401a内的图像数据倾斜，所以包括该倾斜在内也进行 校正。并且，在实施了包括倾斜在内的位置偏差校正后，在单眼图像L401 和单眼图像R402之间明亮度(曝光)等不同的情况下，也对其进行校正。 而且，在两个单眼图像的分辨率(像素密度)不同，例如单眼图像L401 为高分辨率时，根据相关检测的结果，求出像素(微小区域)的对应性， 按照每个微小区域将单眼图像R402的像素数据置换为单眼图像L401的 像素数据即可。在步骤S23的校正处理后，判断是否已适当地进行了校正处理(步 骤S24)。例如在上述位置偏差极大等时，有可能不能适当地进行校正处 理(即使校正也无济于事)。在步骤S24的判断中判断为没有适当地进行 校正处理时，使步骤S24分支到步骤S25，在不显示图像(再现中止)的 状态下，警告用户不能正确再现立体图像(步骤S25)。在图像再现部303 为LCD等情况下通过显示进行该警告。用户接收到该警告，可以得知单 眼图像彼此的同质性低，可以判断是勉强进行该三维图像的再现还是中 止该三维图像的再现。在步骤S25的警告之后，判断用户是否已进行了图像的再现指示(步 骤S26)。在步骤S26的判断中判断为用户没有进行图像的再现指示时， 使步骤S26分支到步骤S27，判断是否已指示了进行后面的处理(步骤 S27)。在步骤S27的判断中判断为没有指示进行后面的处理时，返回步 骤S26，待机直到用户进行了指示。另一方面，在步骤S27的判断中判断 为已指示进行后面的处理时，中止三维图像的再现，转入后面的处理。并且，在步骤S22的判断中判断为同质性标签为"1"时，在步骤S24的判断中判断为已适当地进行了校正处理时，或者在步骤S26的判断中 判断为已进行了图像的再现指示时，分支到步骤S28，在图像再现部303 中进行三维图像的再现。此时，仅限于在从S24分支过来的情况下，校 正处理后的图像数据被重新生成为同质性标签被从"2"改写为"1"的三维 图像文件，并通过记录部305记录(步骤S28)。然后，判断是否已指示 进行后面的处理(步骤S29)。在步骤S29的判断中判断为没有指示进行 后面的处理时，继续三维图像的再现。另一方面，在步骤S29的判断中 判断为已指示进行后面的处理时，中止三维图像的再现，转入后面的处 理。如以上说明的那样，根据本实施方式，在生成三维图像文件时，将 与左右两个视点的单眼图像彼此的同质性相关的信息记录为同质性标 签，所以能够利用简单的结构来管理单眼图像的同质性的信息。并且，在根据同质性标签判断为是2拍摄摄影模式时，在图像再现 装置侧进行立体图像的校正，然后进行三维图像的再现，所以能够提高 可以再现适当的三维图像的可能性。并且，在不能正确进行校正处理的 情况下进行警告，所以用户能够得知单眼图像彼此的同质性低。以上根据实施方式说明了本发明，但本发明不限于上述实施方式， 当然可以在本发明的宗旨范围内进行各种变形和应用。例如，在上述实施方式中，作为同质性标签，记录是利用1拍摄摄 影模式和2拍摄摄影模式中的哪一个模式获取了两个单眼图像，但是也 可以记录通过计时部119计时的时间差，作为表示摄影时机的同时性的 信息。并且，在步骤S24中未能适当地进行校正的情况下，也可以中止 再现三维图像，只二维显示单眼图像中的任一方。并且，也可以在数码照相机100侧进行尝试显示和交换处理、校正 处理。并且，在上述实施方式中，以双眼式立体摄影为例进行了说明，但 是本发明也可以应用于三眼以上的任意多眼式的立体摄影。该情况时， 例如只要在判断为对于构成n眼式立体图像的n个单眼图像整体保持了 同质性的情况下，把同质性标签的值设为l，否则设为2，来生成并记录三维图像文件即可。另外，在上述实施方式中包含各种等级的发明，根据所公开的多个 构成要素的适当组合可以提出各种发明。例如，如果从实施方式所示的 所有构成要素中删除几个构成要素，也能够解决所述课题，并获得所述 效果，则删除了该构成要素后的结构也可以作为发明提出。根据本发明，可以提供能够管理在立体摄影中拍摄的多个单眼图像 的同质性的三维图像文件、能够记录这种三维图像文件的摄像装置、能 够再现三维图像文件的图像再现装置、和能够生成良好的三维图像文件 的图像加工装置。尤其在第一和第二方式中，在根据多个单眼图像生成三维图像文件 时，对立体图像数据附加包含与多个单眼图像彼此的同质性相关的信息 的三维元数据。由此，可以容易管理单眼图像彼此的同质性。并且，在第三方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时进行警告。由此，可以在再现图像之前知道 单眼图像的同质性低，所以能够防止给用户带来不愉快感和徒劳感。并且，在第四方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时，中止立体图像的再现。由此，不会再现不 合适的立体图像，所以能够防止给用户带来不愉快感和徒劳感。并且，在第五方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时，通过图像处理进行提高同质性的校正。由 此，在再现图像时能够再现合适的立体图像。并且，在第五方式中，还具有警告单元或者具有中止单元，从而可 以将不能进行良好显示的情况通知用户，或者能够避免进行不良的三维 显示，所以能够防止给用户带来不愉快感和徒劳感。并且，在第六方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时，进行图像的交换。由此，在摄影时产生了 图像的错误配置的情况下，能够在再现图像时再现合适的立体图像。并且，在第七方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时，通过图像处理实施了提高同质性的校正后的文件被记录为三维图像文件。由此，能够获得适合于同质性高的图像 再现的三维图像文件。并且，在第七方式中，还具有警告单元或者具有中止单元，由此可 以将不能进行良好显示的情况通知用户，或者能够避免进行不良的三维 显示，所以能够防止给用户带来不愉快感和徒劳感。并且，在第八方式中，在三维元数据中包含的多个单眼图像彼此的 同质性信息表示同质性低时，将实施了图像交换后的文件记录为三维图 像文件。由此，在摄影时产生了图像的错误配置的情况下，也能够获得 配置正确的适合于图像再现的三维图像文件。
权利要求
1.一种三维图像文件，其记录作为一个多眼式立体图像的构成要素即多个单眼图像的集合体而构成的立体图像数据，其特征在于，所述三维图像文件通过在所述立体图像数据的全部或一部分中附加至少包含与所述多个单眼图像彼此的同质性相关的信息的三维元数据，由此构成为图像处理的最小单位。
2. 根据权利要求1所述的三维图像文件，其特征在于，所述立体图 像数据是将所述多个单眼图像分别配置在一个平面图像上的不同位置区 域中而构成的整合式立体图像数据，所述三维图像文件是对所述整合式立体图像数据附加所述三维元数 据而构成的一个三维图像文件。
3. 根据权利要求1所述的三维图像文件，其特征在于，所述立体图 像数据是具有分别作为页面图像的所述多个单眼图像的多页式立体图像 数据，所述三维图像文件是对所述多页式立体图像数据附加所述三维元数 据而构成的一个三维图像文件。
4. 根据权利要求1所述的三维图像文件，其特征在于，所述三维图 像文件由单独地记录了所述多个单眼图像的多个三维图像文件构成，所述多个三维图像文件中的至少一部分三维图像文件被附加了所述 三维元数据，而且附加在该一部分三维图像文件中的三维元数据还包含 表示与其他三维图像文件的关系的信息。
5. 根据权利要求1所述的三维图像文件，其特征在于，与所述多个 单眼图像彼此的同质性相关的信息包含表示所述多个单眼图像被曝光的 时机的同时性的信息。
6. 根据权利要求5所述的三维图像文件，其特征在于，表示所述多个单眼图像被曝光的时机的同时性的信息包含涉及所述多个单眼图像分 别被曝光时的摄影时刻的信息。
7. 根据权利要求l所述的三维图像文件，其特征在于，与所述多个单眼图像彼此的同质性相关的信息包含表示所述多个单眼图像是否为分 别利用同一摄像装置所拍摄的信息。
8. 根据权利要求1所述的三维图像文件，其特征在于，与所述多个 单眼图像彼此的同质性相关的信息包含表示所述多个单眼图像分别被拍 摄时的摄影条件的相同性的信息。
9. 一种摄像装置，其特征在于，该摄像装置具有记录单元(108、 112)，其生成并记录权利要求1 8中的任一项所 述的三维图像文件；至少一个摄像单元(101、 105)，其用于获得一个多眼式立体图像的 构成要素即多个单眼图像；同质性判断单元(112a)，其判断通过所述摄像单元(101、 105)得 到的多个单眼图像彼此的同质性；三维元数据生成单元(U2b)，在生成所述三维图像文件时，所述三 维元数据生成单元(112b)根据所述同质性判断单元(112a)的判断结果， 设定与所述多个单眼图像彼此的同质性相关的信息，生成所述三维元数 据。
10. —种图像再现装置，用于再现权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像再现装置具有警告单元(301)，在所述三维图像文件的三维 元数据中包含的、与所述多个单眼图像彼此的同质性相关的信息表示同 质性低时，所述警告单元(301)进行警告。
11. 一种图像再现装置，用于再现权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像再现装置具有中止单元(301)，在附加到所述三维图像文件 中的三维元数据中包含的、与所述多个单眼图像彼此的同质性相关的信 息表示同质性低时，所述中止单元(301)中止所述三维图像文件的再现。
12. —种图像再现装置，用于再现权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像再现装置具有校正单元(304)，在所述三维图像文件的三维元数据中包含的、与所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述校正单元(304)通过图像处理来实施提高所述多个单眼 图像彼此的同质性的校正处理。
13. 根据权利要求12所述的图像再现装置，其特征在于，所述图像 再现装置具有警告单元(301)，在所述校正单元(304)的校正处理未能 适当进行时，所述警告单元(301)进行警告。
14. 根据权利要求12所述的图像再现装置，其特征在于，所述图像 再现装置具有中止单元(301)，在所述校正单元(304)的校正处理未能 适当进行时，所述中止单元(301)中止所述三维图像文件的再现。
15. —种图像再现装置，用于再现权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像再现装置具有处理单元(301)，所述处理单元(301)在所述 三维图像文件的三维元数据中包含的、与所述多个单眼图像彼此的同质 性相关的信息表示同质性低时，实施将所述多个单眼图像相互交换的处 理。
16. —种图像加工装置，用于加工权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像加工装置具有校正单元(304)，在所述三维图像文件的三维元数据中包含的、与 所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述校正 单元(304)通过图像处理来实施提高所述多个单眼图像彼此的同质性的 校正处理；以及记录单元(305)，其将该校正单元(304)的校正输出记录为三维图 像文件。
17. 根据权利要求16所述的图像加工装置，其特征在于，所述图像 加工装置具有警告单元(301)，在所述校正单元(304)的校正处理未能 适当进行时，所述警告单元(301)进行警告。
18. 根据权利要求16所述的图像加工装置，其特征在于，所述图像 加工装置具有中止单元(301)，在所述校正单元(304)的校正处理未能适当进行时，所述中止单元(301)中止所述三维图像文件的记录。.
19. 一种图像加工装置，用于加工权利要求1 8中任一项所述的三 维图像文件，其特征在于，该图像加工装置具有处理单元(301)，在所述三维图像文件的三维元数据中包含的、与 所述多个单眼图像彼此的同质性相关的信息表示同质性低时，所述处理 单元(301)实施将所述多个单眼图像相互交换的处理；以及记录单元(305)，其将该处理单元的处理输出记录为三维图像文件。
全文摘要
本发明提供三维图像文件、摄像装置、图像再现装置及图像加工装置。作为进行双眼式立体摄影的模式，包括以下两种立体摄影模式2拍摄摄影模式，由通过两次单眼摄影得到的左右两个视点的单眼图像，生成三维图像文件并记录；1拍摄摄影模式，由通过一次双眼摄影得到的左右两个视点的图像生成三维图像文件并记录。在记录三维图像文件时，把与单眼图像彼此的同质性相关的信息，即记述了两个单眼图像是利用同质性高的1拍摄摄影模式和同质性低的2拍摄摄影模式中的哪种模式获取的同质性标签，作为三维图像文件的头部信息部的标签信息记录在三维元数据中，由此该三维图像文件被用作三维图像处理的最小单位。并且，摄像装置生成并记录这种三维图像文件。另外，图像再现装置再现这种三维图像文件。
文档编号H04N13/00GK101228798SQ20068002646
公开日2008年7月23日 申请日期2006年7月19日 优先权日2005年7月19日
发明者关泽英彦, 内海端, 吉田英明, 增谷健, 野村敏男 申请人:奥林巴斯映像株式会社;三洋电机株式会社;夏普株式会社;索尼株式会社