摄像装置及其控制方法

专利名称：摄像装置及其控制方法
技术领域：
本发明涉及摄像装置，尤其涉及将用于三维显示(在下文中也称为“3D显示”)的图像数据以及用于二维显示(在下文中也称为“2D显示”)的图像数据记录在文件中的处理。
背景技术：
近年来，诸如三维(3D)影院、3D显示器等的与立体图像相关联的设备在急速普及。传统上，通过胶片照相机等执行立体图像的摄影。然而，随着数字摄像装置的普及，利用数字照相机、数字摄像机等进行用于生成立体图像的原始图像的摄影变得普遍。作为用户藉以观看立体图像的机制，准备针对右眼图像的数据以及左眼图像的数据(在左右方向上具有视差)，使得对应于用左眼观看的被摄体的图像以及用右眼观看的被摄体的图像。用户可以通过分别用其右眼及左眼观看右眼图像及左眼图像来观看立体图像。这种方法的示例包括用于划分要观看的视差图像的方法，诸如视差屏障(parallaxbarrier)方法、透镜方法 等。另外，已知用于经由在其左侧和右侧之间具有不同特性的滤波器来向用户的左眼和右眼提供不同图像的方法。另一方面，作为用于拍摄可作为立体图像观看的图像的方法，日本专利特开昭58-24105号公报公开了用于以不同视角同时拍摄图像的方法。日本专利特开昭58-24105号公报公开了一种固态摄像元件，其中形成有多个微镜头，并且靠近各个微镜头布置有至少一对光电二极管。在这对光电二极管中，由一个光电二极管的输出获得第一图像信号，由另一光电二极管的输出获得第二图像信号。用户可以分别利用第一和第二图像信号作为左眼图像信号和右眼图像信号来观看立体图像。尽管左眼图像数据和右眼图像数据可以作为独立文件被管理，但是针对图像数据的管理可能会发生以下情形。换言之，作为独立文件的图像数据的管理变得复杂，并且如果一个文件丢失，则无法观看立体图像。因此，在日本专利特开2010-200354号公报中公开的文件生成方法中，左眼图像数据和右眼图像数据被记录在相同文件中，由此能够实现有效的文件管理。在这种情况下，左眼图像或右眼图像用于二维显示，而左眼图像和右眼图像的二者用于三维显示。日本专利特开2008-518317号公报公开了具有这样的输出要素的输出视差图，所述输出要素具有对应于要应用于第一图像的各像素的偏移的输出值。可以基于输出视差图和第一图像来生成第二图像。该计算是基于具有输入要素(各自具有输入值)的输入视差图，并且可以利用输入图像和视差图来生成第二图像，从而绘制多视点图像。假设利用日本专利特开昭58-24105号公报中公开的其中形成有多个微镜头并且靠近各个微镜头布置有至少一对光电二极管的固态摄像元件，来进行摄影的情况。在固态摄像元件中，一对光电二极管中的一个输出通过对已经通过摄像光学系统的出射光瞳的区域的光通量进行光电转换而获得的左眼图像信号，而另一个输出通过对已经通过与前述的出射光瞳的区域不同的区域的光通量进行光电转换而获得的右眼图像信号。在这种情况下，依据被摄体的类型，左眼图像或右眼图像均不可能是反映被摄体的形状的图像。例如，在其中以模糊方式对来自点光源的光摄影的摄影场景中，原本拍摄到的应当是呈圆形图案模糊的光源的照片。然而，当通过日本专利特开昭58-24105号公报中公开的固态摄像元件拍摄图像时，拍摄的图像可以是不反映被摄体的形状的半圆形或椭圆形。此外，例如，如左眼图像中的被摄体的左半部分丢失、而右眼图像中的被摄体的右半部分丢失这样的，在左眼图像与右眼图像中，作为图像拍摄的被摄体的形状不同。这是由于，在从摄像光学系统的出射光瞳发出的光通量中，由光电二极管接收的光的区域沿用作边界的光轴不同。即使利用日本专利特开2010-200354号公报中公开的技术生成这种左眼图像数据以及右眼图像数据作为一个文件，摄像装置也可能在图像回放时显示具有不正确形状的
二维图像。此外，即使试图利用日本专利特开2008-518317号公报中公开的技术来计算第二图像，也无法获得反映被摄体的正确形状的图像。换言之，原始图像被摄影为与实际被摄体的形状不同的形状，因此，计算的第二图像无法被再现为正确图像。当使用视差图时，需要根据与通常使用的应用兼容的文件格式来创建图像文件。当分别创建包括视差图数据的文件以及包括图像数据的文件时，需要管理多个文件。考虑到用户的文件管理的实用性，优选这两个数据被包括在单个文件中。

发明内容
因此，本发明提供一种摄像装置，其通过将用在二维显示中的左眼图像数据和右眼图像数据以及用在二维显示中的反映被摄体的正确形状的图像数据记录在相同文件中而增强了再现图像的可再现性。另外，本发明提供了一种即使在二维显示或三维显示的情况下也能够使用图像文件中包括的图像数据和视差图来再现反映被摄体的正确形状的图像的摄像装置。根据本发明的一方面，提供了一种摄像装置，其具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置通过所述摄像元件处理所述多个图像信号来将数据记录在图像文件中。该摄像装置包括信号处理单元，其被构造为由从所述摄像元件输出的所述图像信号来获取左眼图像数据和右眼图像数据，并且通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据；以及记录控制单元，其被构造为进行控制，以将由所述信号处理单元生成的所述左眼图像数据、所述右眼图像数据以及所述合成图像数据记录在所述图像文件的不同区域中。本发明的其他特征将通过以下参照附图对示例性实施例的描述变得清楚。


图1是示意性地例示根据本发明的实施例的摄像元件的一般结构的图。图2A是例示摄像元件的一个像素的结构的图。 图2B是例示摄像元件的多个像素的示例性结构的图。
图3是例示从摄影镜头的出射光瞳发射的光通量如何进入摄像元件的概念图。图4是例示根据本发明的实施例的摄像装置的示例性结构的图。图5是例示根据本发明的第一实施例的文件结构的示例的图。图6是例示根据本发明的第一实施例的文件生成处理的示例的流程图。图7是例示根据本发明的第一实施例的文件生成处理的另一示例的流程图。图8是例示根据本发明的第一实施例的文件结构的另一示例的图。图9是例示根据本发明的第一实施例的文件结构的另一示例的图。图10是例示根据本发明的第二实施例的摄像装置的示例性结构的图。图1lA至图1lC是例示视差图生成处理的示例的图。图12是示意性地例示视差图的图。图13是例示典型DCF图像文件结构的示例的图。

图14是例示从摄影开始至图像文件记录为止的处理的流程图。图15是例示图像文件创建处理的流程图。图16是例不视差图生成处理的流程图。图17是例示另一图像文件结构的图。图18是例不视差图生成处理的流程图。图19是例示包括RAW图像数据的图像文件的文件结构的图。图20是例不视差图生成处理的流程图。图21是例示典型DCF图像文件结构的示例的图。图22是例示具有左眼图像数据和右眼图像数据的图像文件的图。图23是例示具有视差图的图像文件的图。图24是例示DCF图像文件再现处理的流程图。图25是例示2D显示图像再现处理的流程图。图26是例示3D显示图像再现处理的流程图。图27是例示左/右图像3D再现处理的流程图。图28是例示视差图3D再现处理的流程图。
具体实施例方式图1是示意性地例示根据本发明的一个实施例的应用于摄像装置的摄像元件的示例性结构的图。摄像元件100包括像素阵列101、选择像素阵列101中的行的垂直选择电路102、以及选择像素阵列101中的列的水平选择电路104。读出电路103读取通过垂直选择电路102从像素阵列101中的像素当中选择的像素的信号。读出电路103针对各列具有用于累积信号的存储器、增益放大器、AD转换器等。串行接口(SI)单元105根据外部电路给出的指令来确定各电路的操作模式。垂直选择电路102顺序地选择像素阵列101的多行，从而像素信号被提取到读出电路103。另外，水平选择电路104针对各行顺序地选择通过读出电路103读取的多个像素信号。注意，除了图1所示的组件外，摄像元件100包括向垂直选择电路102、水平选择电路104、读出电路103等提供定时信号的定时生成器以及控制电路等，对其不进行详细描述。图2A和图2B是例示摄像元件100的像素的示例性结构的图。图2A示意性地示出一个像素的结构。图2B示出像素阵列101的布置。图2A所示的像素201具有用作光学元件的微镜头202以及用作光接收元件的多个光电二极管(在下文中简称为“PD”)。尽管图2A示出了其中针对一个像素提供左侧H) 203和右侧H) 204的示例，但是还可以使用三个或更多个(例如，四个或九个)PD。PD 203光电转换接收的光通量，由此输出左眼图像信号。PD 204光电转换接收的光通量，由此输出右眼图像信号。注意，除了图2A所示的组件外，像素201还包括用于将H)信号提取到读出电路103的像素放大器、行选择开关以及用于重设H)信号的重设开关等。为了提供二维图像，像素阵列101被布置为诸如图2B所示的多个像素301、302、303和304的二维阵列。PD 301L、302L、303L和304L的各个对应于图2A所示的PD 203。另外，H) 301R、302R、303R和304R的各个对应于图2A所示的H) 204。换言之，用在本实施例中的摄像元件包括各自具有被构造为输出左眼图像信号的第一光电转换单元(TO203)以及被构造为输出右眼图像信号的第二光电转换单元(PD 204)的多个像素。接着，将对具有图2B所示的像素结构的摄像元件100的光接收给出描述。图3是例示从摄影镜头的出射光瞳发射的光通量如何进入摄像元件100的概念图。像素阵列101具有微镜头202、色彩滤波器403、以及H) 404和405。PD 404和405分别对应于图2A所示的PD 203和204。在图3中，从摄影镜头的出射光瞳406向微镜头202发射的光通量的中心轴是光轴409。从出射光瞳406发射的光 进入以光轴409为中心的摄像元件100。部分区域407和408的各个是摄影镜头的出射光瞳406的区域。光束410和411是通过部分区域407的光的最外围光束。光束412和413是通过部分区域408的光的最外围光束。在从出射光瞳406发射的光通量中，以光轴409用作界线，上部的光通量进入H)405，下部的光通量进入H) 404。换言之，PD 404和H) 405的各个接收从摄影光学系统的出射光瞳的不同区域发射的光通量。以这种方式，光接收元件(PD 404和405)的各个检测已经通过出射光瞳的不同区域的光。这样，在以模糊方式对来自点光源的光进行摄影的情况下，各个光接收元件获得具有不同形状的摄影图像。图4是例示本实施例的摄像装置的示例性结构的图。参照图4，将对图1所示的摄像元件100在数字照相机上的示例性应用给出描述。构成摄像光学系统的镜头单元501将从被摄体反射的光聚焦在摄像元件505上。摄像元件505对应于图1所示的摄像元件100,并且具有图2B所示的像素结构。镜头驱动设备502执行变焦控制、聚焦控制、光圈控制等。机械快门503由快门驱动设备504控制。摄像元件505将通过镜头单元501聚焦的被摄体图像转换为图像信号。摄像信号处理电路506对摄像元件505输出的图像信号进行各种处理(像素插值处理、色彩转换处理等)或校正。定时生成单元507输出摄像元件505或摄像信号处理电路506所需的定时信号。系统控制单元509是进行各种计算并且控制摄像装置整体的控制单元。其中提供的CPU (中央处理单元)(未示出)解释并执行程序，由此进行各种处理。注意，系统控制单元509可以通过检测左眼图像数据与右眼图像数据之间的相位差来进行AF(自动聚焦)控制。存储器单元508包括临时存储图像数据的存储器。进行记录控制的记录介质控制接口单元(在下文中缩写为“Ι/F单元”)510被提供以从记录介质511读取图像数据等或向记录介质511记录图像数据等。可从摄像装置拆装的记录介质511是半导体存储器等。外部Ι/F单元512从诸如计算机设备等的外部设备接收数据以及向其发送数据，从而用户能够处理图像。另外，用户可以利用连接到外部Ι/F单元512的操作单元(未示出)来操作数字照相机。图像合成电路513针对各像素对从摄像元件505输出的图像数据进行算术平均处理，并进行用于仅获取需要的ro信号的处理。在图2所示的示例中，对于从ro输出的像素信号301L、301R、302L、302R、303L、303R、304L和304R，仅从左侧PD的输出提取的像素信号是301L、302L、303L和304L，而仅从右侧PD的输出提取的像素信号是301R、302R、303R和304R。由通过对左侧H)的输出和右侧H)的输出进行算术平均而获得的((301L+301R)/2，(302L+302R)/2, (303L+303R)/2及(304L+304R)/2)来创建合成图像数据。注意，可以在加法合成处理期间仅进行加法处理，并且可以在后处理期间进行除法处理和动态范围的调整。压缩/解压缩电路515根据预定的图像压缩方法(例如，自适应离散余弦变换(ADCT))来压缩存储器单元508中存储的图像数据。另外，压缩/解压缩电路515具有向存储器单元508写入压缩图像数据的功能，以及解压缩从存储器单元508读出的图像数据并将解压缩后的图像数据写入存储器单元508的功能。显示单元516根据来自显示控制电路517的显示数据来显示各种信息和摄影图像。摄像信号处理电路506通过将从摄像元件505输出的摄像数据分配给针对左眼图像和右眼图像的各数据来进行图像处理。存储器单元508存储从摄像信号处理电路506输出的输出数据以及通过图像合成电路513生成的合成图像数据等。接着，将对摄影期间数字照相机的操作给出描述。当摄像装置的主电源被打开(ON)时，控制系统电路单元的电源被打开并且诸如摄像信号处理电路506的摄像处理系统电路的电源也被打开。当用户操作释放按钮(未示出)时，系统控制单元509基于来自摄像元件505的数据来演算聚焦状态检测，由此计算摄像装置与被摄体之间的距离。然后，镜头驱动设备502驱动镜头单兀501的可移动透镜，并且系统控制单兀509确定聚焦状态是否为对焦。当系统控制单元509确定聚焦状态不是对焦时，系统控制单元509再次控制镜头单元501的驱动，由此执行聚焦状态检测处理。针对摄像装置与被摄体之间的距离计算，除了由通过摄像元件505获得的数据来计算距离的方法之外，还可以使用利用距离测量专用设备(未示出)计算距离的方法。系统控制单元509在确定聚焦状态是对焦之后开始摄影操作。当摄影操作已经完成时，摄像信号处理电路506处理从摄像元件505输出的图像信号，并且系统控制单元509控制图像数据向存储器单元508的写入。从摄像元件505输出的摄像数据被输出作为来自多个H)的图像信号。在图2B所示的示例中，按照PD 301L、301R、302L、302R、303L、303R、304L和304R的顺序输出图像信号。摄像信号处理电路506通过对左眼图像数据和右眼图像数据分配从摄像元件505输出的摄像数据来进行图像处理。左眼图像数据是作为仅选择和处理来自图2B所示的左侧H)301L、302L、303L和304L的输出的结果而获得的图像数据。另外，右眼图像数据是作为仅选择和处理来自图2B所示的右侧H) 301R、302R、303R和304R的输出的结果而获得的图像数据。左眼图像数据和右眼图像数据分别被保持在存储器单元508中。
图像合成单元513读取针对保持在存储器单元508中的左眼图像和右眼图像的各个数据，由此生成合成图像数据。生成的合成图像数据被存储在存储器单元508中。由图像合成单元513执行的图像处理是用于针对左眼图像和右眼图像的各像素计算算术平均值的处理。这样，通过图像处理生成的合成图像具有反映被摄体形状的形状。换言之，即使在被摄体的形状在左眼图像与右眼图像之间不同的状态下利用摄像元件505对被摄体进行摄影时，通过由图像合成单元513进行的图像处理对被摄体图像的形状插值，导致了生成正确形状的图像数据。例如，如果被摄体具有圆形形状并且左眼图像和右眼图像都不具有圆形形状，则合成图像具有与被摄体形状相同的圆形形状。在图4所示的示例性结构中,摄像信号处理电路506进行用于将通过摄像元件505获得的图像数据划分为左眼图像数据和右眼图像数据的处理，图像合成电路513进行用于合成这两个图像数据的处理。但是本发明不限于此，摄像信号处理电路506还可以适于将均经历了图像处理的左眼图像数据与右眼图像数据进行合成。存储器单元508累积左眼图像数据、右眼图像数据、以及通过图像合成电路513生成的合成图像数据。系统控制单元509进行控制以经由记录介质控制Ι/F单元510将数据记录在诸如半导体存储器等的可拆装记录介质511中。作为选择，用户可以通过经由外部Ι/F单元512将图像数据输出到诸如计算机的外部设备来进行图像处理。(第一实施例)在下文中，将对本发明的第一实施例给出描述。在第一实施例中，系统结构被提供为当向摄像信号处理电路506输入针对左及右ro(即全部ro)的RAW图像数据时，能够输出合成图像数据、右眼图像数据、及左眼图像数据。术语“RAW图像”是指由针对摄像元件505的各像素的数据获得的图像，即在诸如显影处理等的图像处理之前的图像。图5是例示根据本实施例的图像数据的示例性文件结构的图。图像数据文件600是针对数字照相机通常使用的D CF图像数据文件。术语“DCF”(Design rule for CameraFile system，针对照相机文件系统的设计规则)是指使用通常规范处理数字照相机中的图像数据的图像文件格式。图像数据文件600具有包括DCF头部分610、缩略图像部分620、及JPEG图像部分630的区域,这里JPEG是“联合图像专家组(Joint Photographic ExpertsGroup)”的缩写。DCF头部分610是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括以下补充信息以及用于指定存储各图像数据的区域的偏移信息(括号中的数字表示附图标记)。
关于JPEG图像部分630中存储的图像数据的摄影信息、参数等。对应于合成缩略图像部分621的头位置的偏移数据。
对应于左眼缩略图像部分622的头位置的偏移数据。
对应于右眼缩略图像部分623的头位置的偏移数据。
对应于合成JPEG图像部分631的头位置的偏移数据。
对应于左眼JPEG图像部分632的头位置的偏移数据。
:对应于右眼JPEG图像部分633的头位置的偏移数据。偏移值B、C、D、E、F和G中的各个是DCF头部分610的基准位置与计算出的各图像部分的位置之间的相对位置信息，并且利用这些值中的各个来指定图像文件中存储的各元数据A (611偏移值B (612偏移值C (613偏移值D (614偏移值E (615偏移值F (616偏移值G (617图像数据的起始位置。
缩略图像部分620是用于存储通过细化JPEG图像部分630中存储的JPEG图像数据等而调整了大小的缩略图像数据的区域。例如，当在显示单元516的画面上显示多个缩小图像时(当进行索引显示时)使用缩略图像数据。用在2D显示中的缩略图像数据被记录在合成缩略图像部分621中。用在3D显示中的缩略左眼图像数据和缩略右眼图像数据分别被记录在左眼缩略图像部分622和右眼缩略图像部分623中。
JPEG图像部分630是用于存储通过压缩/解压缩电路515压缩经历了图像处理的RAff图像数据而获得的JPEG图像数据的区域。该图像数据是可以被许多常用的应用处理的数据。用在2D显示中的JPEG图像数据被记录在合成JPEG图像部分631中。用在3D显示中的JPEG左眼图像数据和JPEG右眼图像数据分别被记录在左眼JPEG图像部分632和右眼JPEG图像部分633中。前述的文件结构仅为示例，还可以使用依据诸如图像编辑等的各种应用来改变图像部分的布置顺序的文件结构。
图6是例示通过数字照相机进行的DCF文件生成处理的基本流程图。当在步骤S700中开始处理时，在步骤S701中在存储器单元508上展开从摄像元件505读出的针对右侧ro和左侧ro组合的全部ro的raw数据，并且处理进行到步骤S702。在步骤S702中，摄像信号处理电路506使用针对RAW图像的显影参数，进行针对存储器单元508上的RAW图像数据的图像处理，并且在存储器单元508上布置输出图像数据。然后，处理进行到步骤S703。由于从全部H)读出的信号用于RAW图像，因此即使在以模糊方式对来自前述点光源的光进行摄影时，针对被摄体的RAW图像也可以被识别为反映被摄体的正确形状的图像数据。为了方便起见，通过使用右侧ro和左侧ro组合的全部ro的加法合成处理而生成的图像称为“合成图像”。针对RAw图像的合成图像称为“合成RAW图像”，针对JPEG图像的合成图像称为“合成JPEG图像”，针对缩略图像的合成图像称为“合成缩略图像”。注意，加法合成处理意图包括算术平均处理。
在步骤S703中，在步骤S702中获得的合成RAW图像数据被输入到摄像信号处理电路506，并且使用针对JPEG图像的显影参数来进行针对合成RAW图像数据的显影处理。另外，通过预定图像压缩来生成合成JPEG图像数据和合成缩略图像数据，并且处理进行到步骤S704。在步骤S704中确定是生成2D图像文件还是3D图像文件。当生成3D图像文件时，处理进行到步骤S705，而当生成2D图像文件时，处理进行到步骤S709。注意，这里定义的术语“3D图像文件”是指能够处理用于3D显示的图像和用于2D显示的图像二者的格式的文件。
在步骤S705中，针对在步骤S701中获得的全部H)的RAW数据被输入到摄像信号处理电路506，并且提取对应于右侧H)的RAW图像数据。摄像信号处理电路506使用针对RAff图像的显影参数对提取的RAW图像数据进行图像处理，并将右眼RAW图像数据输出到存储器单元508。然后，处理进行到步骤S706。在步骤S706中，在存储器单元508上展开的右眼RAW图像数据被输入到摄像信号处理电路506，并且使用针对JPEG图像的显影参数来进行针对右眼RAW图像数据的图像处理。另外，通过预定图像压缩来生成右眼JPEG图像数据和右眼缩略图像数据，并且处理进行到步骤S707。
在步骤S707中，在步骤S701中获得的针对全部H)的RAW数据被输入到摄像信号处理电路506，并且提取对应于左侧H)的RAW图像数据。摄像信号处理电路506使用针对RAff图像的显影参数对提取的RAW图像数据进行图像处理，并且将左眼RAW图像数据输出到存储器单元508。然后，处理进行到步骤S708。在步骤S708中，在存储器单元508上展开的左眼RAW图像数据被输入到摄像信号处理电路506，并且使用针对JPEG图像的显影参数来进行针对左眼RAW图像数据的显影处理。另外，通过预定图像压缩来生成左眼JPEG图像数据和左眼缩略图像数据，并且处理进行到步骤S709。在步骤S709中，表示摄影期间的快门速度、曝光时间等的信息被设置为元数据A(参见图5所示的附图标记611)。接着，基于直到步骤S709生成的图像的数据大小来计算对应于图像部分的偏移值B至G(参见图5所示的附图标记612至617)，并且设置这些值。以这种方式，在存储器单元508上创建针对DCF头部分610的数据(包括元数据A和偏移值B至G)，并且处理进行到步骤S710。在步骤S710中，在步骤S709中创建的针对DCF头部分610的数据、针对JPEG图像的数据、以及针对缩略图像的数据被结合作为具有图5所述的结构的一个DCF文件，并且DCF文件生成处理结束。另一方面，如果在步骤S704中确定生成2D图像文件，则处理进行到步骤S709。在步骤S709中，设置关于摄影信息、参数等的元数据A(参见图5所示的附图标记611)，并且计算并设置对应于合成图像的偏移值B(参见附图标记612)和E(参见附图标记615)。这里，针对对应于右眼图像的偏移值C(参见附图标记613)和F(参见附图标记616)以及对应于左眼图像的偏移值D(参见附图标记614)和G(参见附图标记617)设置表示图像不包括在图像数据文件600中的预定值(例如，“O”)。作为选择，当采用不记录偏移值的项的方法时，创建不具有对应于所述项的区域的DCF头部分610，并且处理进行到步骤S710。在步骤S710中，由针对DCF头部分610的数据、合成JPEG图像数据和合成缩略图像数据来生成DCF文件，并且结束一系列DCF文件生成处理。2D显示文件的结构与传统DCF文件的结构相同，因此将省略其详细描述。在第一实施例中，由摄像元件中的全部ro的输出来生成右眼图像数据、左眼图像数据、以及通过加法合成这些图像数据的合成图像数据，由此反映被摄体的正确形状的图像数据可以作为二维显示图像被记录在文件中。换言之，获得不仅包括从不同方向观看被摄体的左眼图像数据和右眼图像数据、而且包括用于通过加法合成这些图像数据来再现被摄体的正确形状的合成图像 数据的文件。(第一实施例的变型例)接着，将对本发明的第一实施例的变型例给出描述。在该变型例中，对摄像信号处理电路506输入针对右侧ro和左侧ro的RAW数据，由此输出右眼图像数据和左眼图像数据。右眼图像数据和左眼图像数据通过图像合成电路513被输出作为合成图像数据。变型例中的文件结构与第一实施例的结构(参见图5)相同。图7是例示根据第一实施例的变型例的DCF文件生成处理的基本流程图。当在步骤S800中开始处理时，在步骤S801中在存储器单元508上展开从摄像元件505读出的针对右侧ro和左侧H)的RAW数据，并且处理进行到步骤S802。在步骤S802中，提取存储器单元508上的针对右侧H)的RAW数据，并且摄像信号处理电路506使用针对RAW图像的显影参数来进行图像处理。输出的右眼RAW图像数据被布置在存储器单元508上，并且处理进行到步骤S803。在步骤S803中，提取存储器单元508上的针对左侧H)的RAW数据，并且摄像信号处理电路506使用针对RAW图像的显影参数来进行图像处理。输出的左眼RAW图像数据被布置在存储器单元508上，并且处理进行到步骤S804。在步骤S804中，右眼RAW图像数据和左眼RAW图像数据被输入到图像合成电路513。图像合成电路513针对各像素对这两个RAW图像数据进行算术平均处理，由此生成合成RAW图像数据，并且生成的合成RAW图像数据被布置在存储器单元508上。然后，处理进行到步骤S805。由于对经历了加法合成处理的图像数据进行与被摄体的形状相关的插值处理，因此即使在以模糊方式对来自前述点光源的光进行摄影时，针对被摄体的RAW图像数据也可以被识别为反映被摄体的正确形状的图像数据。在步骤S805中，在步骤S804中获得的合成RAW图像数据被输入到摄像信号处理电路506，并且使用针对JPEG图像的显影参数来进行针对合成RAW图像数据的显影处理。另外，通过预定图像压缩来生成合成JPEG图像数据和合成缩略图像数据，并且处理进行到步骤S806。在步骤S806中确定是生成2D图像文件还是生成3D图像文件。当生成3D图像文件时，处理进行到步骤S807，而当生成2D图像文件时，处理进行到步骤S809。在步骤S807中，向摄像信号处理电路506输入在步骤S802中获得的右眼RAW图像数据，并且使用针对JPEG图像的显影参数来进行针对右眼RAW图像数据的显影处理。另外，通过预定图像压缩来生成右眼JPEG图像数据和右眼缩略图像数据，并且处理进行到步骤S808。在步骤S808中，向摄像信号处理电路506输入在步骤S803中获得的左眼RAW图像数据，并且使用针对JPEG图像的显影参数来进行针对左眼RAW图像数据的显影处理。另外，通过预定图像压缩来生成左眼JPEG图像数据和左眼缩略图像数据，并且处理进行到步骤S809。在步骤S809中，表示摄影期间的快门速度、曝光时间等的信息被设置为元数据A(参见图5所示的附图标记611)。接着，基于直到步骤S809生成的图像的数据大小来计算对应于图像部分的偏移值B至G(参见图5所示的附图标记612至617)，并且设置这些值。以这种方式，在存储器单元508上创建针对DCF头部分610的数据(包括针对摄影信息的元数据A和偏移值B至G)，并且处理进行到步骤S810。在步骤S810中，在步骤S809中创建的针对DCF头部分610的数据、针对JPEG图像的数据、以及针对缩略图像的数据被结合作为具有图5描述的结构的一个DCF文件，并且DCF文件生成处理结束。另一方面，如果在步骤S806中确定生成2D图像文件，则处理进行到步骤S809。在步骤S809中，设置关于摄影信息、参数等的元数据A(参见图5所示的附图标记611)，计算并设置对应于合成图像的偏移值B(参见附图标记612)和E(参见附图标记615)。这里，表示图像不被包括在图像数据文件600中的预定值被设置给偏移值C(参见附图标记613)、D (参见附图标记614)、F(参见附图标记616)和G (参见附图标记617)。作为选择,在不将偏移值的项记录在图像文件中的情况下，创建DCF头部分610，并且处理进行到步骤S810。如上所述，在变型例中，分别通过右侧ro和左侧ro来生成右眼图像数据和左眼图像数据，并且基于这两个图像数据来生成合成图像数据。因此，反映被摄体的正确形状的图像数据可以作为二维显示图像被记录在文件中。(第一实施例的另一变型例)接着，将对本发明的第一实施例的另一变型例给出描述。在该变型例中，合成图像数据、右眼图像数据、左眼图像数据和RAW图像数据被包括在相同文件中。图8是例示根据另一变型例的图像数据的示例性文件结构的图。图像数据文件900由包括RAW头部分910、缩略图像部分920、显示JPEG图像部分930以及RAW图像部分940的区域构成。
RAW头部分910是其中预先给出预定数据大小的、用于存储RAW头信息的区域。RAW头信息包括以下补充信息以及用于指定存储各图像数据的区域的偏移信息(括号中的数字表示附图标记)。元数据A(911):关于RAW图像部分940中存储的图像数据的摄影信息、参数等。偏移值B (912):对应于合成缩略图像部分921的头位置的偏移数据。偏移值C(913):对应于左眼缩略图像部分922的头位置的偏移数据。偏移值D (914):对应于右眼缩略图像部分923的头位置的偏移数据。偏移值E (915):对应于2D显示JPEG图像部分931的头位置的偏移数据。偏移值F(916):对应于左眼显示JPEG图像部分932的头位置的偏移数据。偏移值G(917):对应于右眼显示JPEG图像部分933的头位置的偏移数据。偏移值H(918):对应于左眼RAW图像部分941的头位置的偏移数据。偏移值I (919):对应于右眼RAW图像部分942的头位置的偏移数据。使用偏移值B、C、D、E、F、G、H和I的各个来指定图像文件中存储的各图像数据的起始位置。缩略图像部分920是用 于存储通过细化显示JPEG图像部分930中存储的JPEG图像等而调整了大小的缩略图像数据的区域。例如当在诸如个人计算机等的外部设备的图像显示部分上显示多个缩小图像时(当进行索引显示时)，使用缩略图像数据。用在2D显示中的缩略图像数据被记录在合成缩略图像部分921中。用在3D显示中的缩略左眼图像数据和缩略右眼图像数据分别被记录在左眼缩略图像部分922和右眼缩略图像部分923中。显示JPEG图像部分930是用于存储通过以预定方式压缩存储在RAW图像部分940中的RAW图像数据而获得的JPEG图像数据的区域。JPEG图像数据被典型地用作用于确认图像的基准，并且可以被许多应用处理。用在2D显示中的JPEG图像数据被记录在2D显示JPEG图像部分931中。用在3D显示中的显示JPEG左眼图像数据和显示JPEG右眼图像数据分别被记录在左眼显示JPEG图像部分932和右眼显示JPEG图像部分933中。RAff图像部分940是用于存储从摄像元件505没有劣化地输出的RAW图像数据的区域。由于RAW图像数据可以经历通过诸如个人计算机等的外部设备的图像再现处理(展开)，因此能够进行满足用户目的的高质量打印或高水平图像编辑。与之不同，由于RAW图像具有大量数据并且不适于图像显示等，因此在实际3D显示时使用显示JPEG图像部分930中的图像数据。因此，仅RAW数据可以被记录作为RAW图像部分940中的材料数据，从而抑制数据量。在变型例中，从左侧H)获得的RAW图像数据被记录在左眼RAW图像部分941中，从右侧H)获得的RAW图像数据被记录在右眼RAW图像部分942中。在作为另一示例的图9所示的文件结构的情况下，从全部ro获得的不被划分为右眼图像数据和左眼图像数据的RAW图像数据，被记录在RAW图像部分940中。换言之，RAff图像部分940中记录的RAW图像数据被选择，然后被处理成用于3D显示的图像数据。例如，诸如个人计算机等的外部设备从RAW图像部分940中获取RAW图像数据，将获取的RAW图像数据分离为右眼图像数据和左眼图像数据，并对分离的图像数据进行显影处理，由此生成用于3D显示的图像数据。在这种情况下，获得偏移值B至H并且偏移值H是对应于RAW图像部分940的头位置的偏移数据。接着，将对根据本实施例的RAW文件生成处理给出描述。以与在第一实施例和第一实施例的变型例中描述的DCF文件生成处理相同的方式来进行RAW文件生成处理。换言之，根据在图6和图7中描述的处理，存储在图像部分921、922和923、图像部分931、932和933、图像部分941和942、或图像部分940中的图像数据被布置在存储器单元508上。然后，创建诸如摄影信息、参数等的元数据A(参见附图标记911)，并且计算并设置图像部分的偏移值B至1(参见附图标记912至919)，由此创建RAW头部分910。然后，执行用于将RAff头部分910和图像数据结合作为具有图8或图9所示的文件结构的一个图像文件的处理，并且文件生成处理结束。如上所述，在本实施例中，能够生成包括作为用于2D显示的图像数据的反映被摄体的正确形状的图像数据以及在图像处理之前的RAW图像数据的文件。(第二实施例)在下文中，将对本发明的第二实施例给出描述。图10是例示根据本发明的第二实施例的摄像装置的示例性结构的图。除了第二实施例的摄像装置包括视差图生成电路514之外，第二实施例的摄像装置与第一实施例的摄像装置相同。其他处理单元的功能与第一实施例中描述的功能相同，由此，将通过着重于视差图生成电路514来给出以下描述。在第二实施例中，摄像装置生成视差图并创建包括该图的图像文件。视差图生成电路514基于合成图像中的被摄体图像的位置，计算左眼图像与右眼图像之间的位置偏移量作为视差量。然后，关于计算的视差量的信息被作为视差图记录在存储器单元508中。接着，将对摄影期 间数字照相机的操作给出描述。如第一实施例中描述，当用户操作释放按钮(未示出)时，系统控制单元509计算摄像装置与被摄体之间的距离，由此确定聚焦状态是否为对焦。当聚焦状态为对焦时，摄像元件505输出图像信号，并且摄像信号处理电路506通过对左眼图像数据和右眼图像数据分配输出图像信号来进行图像处理。左眼图像数据和右眼图像数据被分别保持在存储器单元508中。图像合成单元513读出保持在存储器单元508中的左眼图像数据和右眼图像数据，由此生成合成图像数据。生成的合成图像数据被存储在存储器单元508中。通过图像合成单元513执行的图像处理是用于针对左眼图像和右眼图像的各像素计算算术平均值的处理。由此，通过图像处理生成的合成图像具有反映被摄体的形状的形状。换言之，即使在被摄体的形状在左眼图像与右眼图像之间不同的状态下利用摄像元件505对被摄体摄影时，通过图像合成单元513进行的图像处理对被摄体图像的形状插值，导致生成正确形状的图像数据。例如，如果被摄体具有圆形形状并且左眼图像和右眼图像二者不具有圆形形状，则合成图像具有与被摄体形状相同的圆形形状。视差图生成电路514生成视差图并将视差图数据存储在存储器单元508中。视差图生成电路514通过基于合成图像的位置利用左眼图像与右眼图像之间的位置偏移量作为视差量来生成视差图。图1lA至图1lC是例示视差图生成处理的示例的图。图1lA所示的附图标记601表示通过对被摄体摄影获得的图像的合成。附图标记602、603和604表示被摄体。在图1lA所示的合成中，按照从顶部至底部的顺序来排列被摄体602、603和604。另外，如图1lC所示，在深度方向按照行来布置被摄体。附图标记604表示最近的被摄体，附图标记602表示最远的被摄体。图1lB示出了通过对图1lA所示的合成进行摄影而获得的立体图像。图像605是左眼图像，图像606是右眼图像。在左眼图像605中，被摄体602、603和604分别表示为607L、608L和609L。在右眼图像606中，被摄体602,603和604分别被表示为607R、608R和 609R。在左眼图像605中的被摄体图像与右眼图像606中的被摄体图像之间存在位置偏移。在本实施例中，两个图像之间的位置偏移量被定义为视差量。附图标记610表示右眼图像606中的被摄体602相对于作为基准的左眼图像605中的被摄体602的位置偏移量，即607L与607R之间的视差量。同样地，附图标记611表示右眼图像606中的被摄体604相对于作为基准的左眼图像605中的被摄体604的位置偏移量，即609L与609R之间的视差量。左眼图像605中的被摄体603的位置与右眼图像606中的位置相同。换言之，不存在针对被摄体603的视差量。首先，视差图生成电路514利用已知的图案匹配方法来检测左眼图像605和右眼图像606中包括的被摄体。视差图生成电路514针对各检测的被摄体执行以下处理。视差图生成电路514计算在位于左眼图像605中的被摄体图像的重心与右眼图像606中的被摄体图像的重心之间的中点、与左眼图像605中的被摄体图像的重心之间的位置偏移量，作为视差量。换言之，视差图生成电路514计算左眼图像中的被摄体图像的重心相对于基于左眼图像605和右眼图像606所生成的合成图像中的被摄体图像的重心的位置的位置偏移量，作为视差量。计算的视差量是对应于左眼图像的视差量。当然，视差图生成电路514还可以计算右眼图像中的被摄体图像的重心相对于合成图像中的被摄体图像的重心的位置的位置偏移量，作为对应于右眼图像的视差量。在图1lB所示的示例中，针对被摄体602,视差图生成电路514计算作为视差量610的一半的视差量612 。针对被摄体604，视差图生成电路514计算作为视差量611的一半的视差量613。视差图生成电路514将关于计算的视差量612和613的信息以及关于用作视差量的基准的图像的位置的信息作为视差图存储在存储器单元508中。在该示例中，关于用作视差量的基准的图像的位置的信息表示合成图像中的被摄体图像的重心。如上所述,在图1lB所示的示例中，对于被摄体603,不存在视差量。图12是示意性地例示视差图的图。视差图621包括视差量622以及关于用作视差量的基准的图像的位置(重心)的信息 623。接着，将对使用视差图的图像再现处理给出描述。系统控制单元509从存储器单元508读出合成图像数据和视差图数据。系统控制单元509确认由视差图表示的用作视差量的基准的图像的位置是合成图像中的被摄体图像的重心。然后，系统控制单元509通过将合成图像中包括的被摄体图像偏移由视差图表示的视差量，来生成要再现的左眼图像，即，对应于视差量的用于再现图像的数据。另外，系统控制单元509反转由视差图表示的视差量的符号。系统控制单元509将通过由视差图表示的视差量的符号反转而获得的视差量，设置作为右眼图像中的被摄体图像的重心相对于合成图像中的被摄体图像的重心的位置偏移量。然后，系统控制单元509将合成图像中包括的被摄体图像偏移到符号反转的由视差图数据表示的视差量的范围。以这种方式，系统控制单元509生成要再现的右眼图像，即用于再现对应于由视差图数据表示的视差量的图像以外的图像的数据。通过偏移合成图像中的被摄体图像，所述被摄体图像的布置位置处的像素为丢失像素。因此，例如，系统控制单元509使用日本专利特开3524147号公报中公开的已知技术将色彩空间信息给予丢失像素。换言之，系统控制单元509计算丢失像素的邻近像素的像素值的平均值作为色彩空间信息，并且将计算出的色彩空间信息给予丢失像素。如上所述，本实施例的摄像装置将左眼图像与右眼图像合成，由此生成反映被摄体形状的合成图像。然后，摄像装置基于生成的合成图像的位置生成关于视差量的信息，作为视差图。左眼图像数据和右眼图像数据、由图像合成单元513生成的合成图像数据、以及由视差图生成电路514生成的视差图数据被存储在存储器单元508中。然后，摄像装置基于合成图像以及由视差图表示的视差量来生成要再现的左眼图像数据和右眼图像数据。由此，即使通过已经通过摄影光学系统的出射光瞳的不同区域的光通量的光电转换而获得的左眼图像/右眼图像的形状不同于被摄体的形状，也能够在图像再现时再现正确反映被摄体的形状的图像。图13是例示典型DCF图像文件结构的示例的图。DCF图像文件6000包括DCF头部分6003、缩略图像部分6004、JPEG图像部分6005和视差图部分6006。DCF图像数据部分6001包括DCF头部分6003、缩略图像部分6004和JPEG图像部分6005。DCF头部分6003是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括以下补充信息和用于指定存储各图像数据的区域的偏移信息(括号中的数字表示附图标记)。元数据A(6007):关于JPEG图像部分6005中存储的图像数据的摄影信息、参数
坐寸o 偏移值B ￠008):对应于缩略图像部分604的头位置的偏移数据。偏移值C ￠009):对应于JPEG图像部分6005的头位置的偏移数据。偏移值EK6010):对应于视差图部分6006的头位置的偏移数据。偏移值B、C和D中的各个是DCF头部分6003的基准位置与各图像部分的计算位置之间的相对位置信息，并且使用这些值中的各个来指定图像文件中存储的各图像数据的起始位置。缩略图像部分6004是用于存储通过细化JPEG图像部分6005中存储的JPEG图像数据等而调整了大小的缩略图像数据的区域。例如在显示单元516的画面上显示多个缩小图像时(当进行索引显示时)，使用缩略图像数据。JPEG图像部分6005是用于存储通过压缩由摄像信号处理电路506处理的RAW图像数据而获得的JPEG图像数据的区域。术语“RAW图像”是指由针对摄像元件的各像素的数据获得的图像，即在诸如显影处理等的图像处理之前的图像。JPEG图像数据是能够被许多应用处理的数据。在本实施例中，针对右眼图像和左眼图像的合成JPEG图像的数据被存储在JPEG图像部分6005中。可以通过加法合成这两个图像来将JPEG图像部分6005的数据再现为反映被摄体的正确形状的用于2D显示的图像。注意，加法合成还意图包括算术平均处理。另外，可以使用视差图来恢复左眼图像和右眼图像，由此，获得还能够被再现为用于3D显示的图像数据的图像数据。视差图部分6006是用于存储JPEG图像部分6005中的图像数据的视差量的区域。通过前述方法来计算视差量。接着，将参照图14对本实施例的图像文件记录操作给出描述。图14是例示从摄影开始至图像文件记录在记录介质511中的一系列处理序列的流程图。在下文中，将对摄影者在摄影前进行针对3D摄影的设置时的处理以及当摄影者不进行这类设置时的处理给出描述。在步骤S6101中，如参照图11所描述的，响应于用户对释放按钮(未示出)的操作，进行从AF(自动聚焦)处理经过AE(自动曝光)处理到曝光处理的一系列图像拍摄处理。接着，在步骤S6102中，进行用于创建包括视差图的图像文件或不包括视差图的图像文件的处理，并且将创建的图像文件临时保存在存储器单元508中。以下将参照图15和图16来描述第二实施例中的DCF文件创建处理的详细描述。在步骤S6103中，通过将在步骤S6102中生成并临时保存在存储器单元508中的图像文件的数据写入记录介质511来进行记录处理。 接着，将参照图15对图14所示的步骤S6102中的图像文件创建处理给出描述。首先，在步骤S6201中，摄像信号处理电路506获取从摄像元件505输出的RAW数据。图像合成电路513使用获取的RAW数据生成合成图像数据(步骤S6202)。生成的合成图像数据被存储在存储器单元508中。在步骤S6203中，确定是否需要创建视差图。例如，当根据用户操作进行3D摄影时，需要视差图，而当进行2D摄影时，不需要视差图。这里，将对视差图生成处理给出描述。将参照图16对步骤S6204中的视差图生成处理给出描述。首先，在步骤S6201中，图像合成电路513由获取的RAW数据生成左眼图像数据(步骤S6301)，并进一步生成右眼图像数据(步骤S6302)。注意，生成左眼图像数据和右眼图像数据的顺序可以是如上所述的顺序的相反顺序。根据JPEG图像的大小来进行针对生成的两个图像数据的调整大小处理(步骤S6303)。接着，视差图生成电路514由经历了调整大小处理的左眼图像数据和右眼图像数据生成视差图数据(步骤S6304)。生成的视差图数据被存储在存储器单元508中。注意，视差图数据还可以由未经历调整大小处理的左眼图像数据和右眼图像数据来生成，然后，可以针对图像数据进行调整大小处理。在图15所示的步骤S6205中生成缩略图像数据，在图15所示的步骤S6206中生成JPEG图像数据。执行用于读出存储器单元508中存储的合成图像数据的处理，并且压缩/解压缩电路515依据设置的模式进行图像压缩处理。经历了从摄影开始的一系列处理的JPEG图像数据和缩略图像数据被存储在存储器单元508的空闲区域中。最后，创建DCF头(步骤S6207)，并使用存储器单元508中存储的缩略图像数据、JPEG图像数据和视差图数据来执行用于创建图像文件6000的处理。此时，由诸如快门速度、曝光时间等的摄影信息来创建元数据，并且这些值被作为诸如摄影信息、参数等的元数据A(参见图13中所示的附图标记6007)设置在DCF头部分6003中。另外，基于数据的大小来设置对应于缩略图像部分6004的偏移值B (参见附图标记6008)、对应于JPEG图像部分6005的偏移值C (参见附图标记6009)、以及对应于视差图部分6006的偏移值D (参见附图标记6010)。以这种方式，生成DCF头部分6003的头信息。这样，表示存在/不存在视差图及其位置的信息(参见偏移6010)被存储在DCF头部分6003中。例如，如果针对偏移6010的偏移值D是预定值(例如，“0”)，则意味着在图像文件6000中没有存储视差图。如果表示在图像文件6000中不包括视差图的预定值被设置或者偏移6010自身不存在于DCF头部分6003中，则能够确定视差图不存在。另一方面，如果对偏移值D给予预定的偏移值，则视差图被存储在图像文件6000中，由此可以通过偏移值D来指定存储位置。接着，将参照图15对当不生成视差图时图15所示的步骤S6203中的图像文件创建处理给出描述。合成图像数据通过步骤S6201和S6202中的处理被存储在存储器单元508中。在步骤S6203中的确定之后，使用合成图像数据来生成缩略图像数据(步骤S6205)，并且使用相同的数据来生成JPEG图像数据(步骤S6206)。可以通过省去视差图生成处理来避免存储器单元508的不被期望的使用。在步骤S6207中，由诸如快门速度、曝光时间等的摄影信息来创建元数据，这些值被作为诸如摄影信息、参数等的元数据A(参见图7所示的附图标记6007)设置在DCF头部分6003中。另外，基于各数据的大小来设置对应于缩略图像部分6004的偏移值B (参见附图标记6008)、对应于JPEG图像部分6005的偏移值C (参见附图标记6009)、以及对应于视差图部分6006的偏移值D (参见附图标记6010)。这里，要被存储在偏移6101中的偏移值D被设置为表示在图像文件6000中不包括视差图的预定值(例如，“O”)。作为选择，如果在图像文件6000中不包括视差图，则可能不生成偏移6010自身。接着，在步骤S6208中，基于包括在之前的步骤中生成的DCF头部分6003、缩略图像部分6004以及JPEG图像部分6005的区域的数据，来创建不包括视差图的图像文件6000o在本实施例中，对用于向记录介质511写入图像文件的记录处理给出了描述,但是本发明并不限于此。在诸如计算机设备、打印机等的外围设备之间传送图像数据或与图像数据相关联的管理信息时进行如上所述的相同处理。根据第二实施例，左眼图像和右眼图像的合成JPEG图像数据被存储在图像文件的JPEG图像部分中，关于该数据的视差图被包括在图像文件中。由此，能够使用视差图来再现3D显示图像。在不能够使用视差图的应用中，可以使用经历了加法合成处理的JPEG图像数据来再现2D显示图像，由此确保了多功能性。换言之，在本实施例中，可以在保持能够在通用应用中再现的文件格式的同时，创建能够以2D显示和3D显示二者再现的图像文件。(第二实施例 的变型例)接着，将对本发明的第二实施例的变型例给出描述。在下文中，将参照图17对当生成缩略图像视差图时图像文件的结构以及图像文件生成处理给出描述。图17是例示包括缩略图像视差图的DCF文件的示例性结构的图。DCF图像数据部分7001包括DCF头部分7003、缩略图像部分7004、以及JPEG图像部分7005。DCF头部分7003是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括关于摄影信息、参数等的元数据A(参见附图标记7008)、对应于缩略图像部分7004的头位置的偏移值B (参见附图标记7009)、以及对应于JPEG图像部分7005的头位置的偏移值C (参见附图标记7010)。偏移值D (参见附图标记7011)表示对应于缩略图像视差图部分7006的头位置的偏移数据。偏移值E (参见附图标记7012)表示对应于JPEG图像视差图部分7007的头位置的偏移数据。使用这些偏移值B、C、D和E中的各个来指定存储在图像文件中的各图像数据的起始位置。注意，偏移值的布置顺序仅为示例，还可以被改变。视差图部分7002包括缩略图像视差图部分7006和JPEG图像视差图部分7007。缩略图像视差图部分7006存储根据缩略图像的大小生成的视差图数据，视差图数据用于针对3D显示中的缩略图像的图像再现处理。缩略图像视差图部分7006布置在JPEG图像视差图部分7007 (DCF头部分7003侧)之前，但是视差图部分7002中的视差图的布置顺序可以是图11所述的顺序的相反顺序。注意，缩略图像部分7004、JPEG图像部分7005、和JPEG图像视差图部分7007与第一实施例中的相同，由此将省略其详细描述。如图17所示，缩略图像视差图和JPEG图像视差图被布置在图像文件的后部，导致提高了当不使用视差图时诸如图像再现、视差图删除等的编辑操作的便利性。接着，将参照图15和图18对根据第二实施例的变型例的视差图生成处理给出描述。首先，在图15所示的步骤S6201和S6202中，合成图像数据被存储在存储器单元508中。图像合成电路513生成左眼图像数据(图18中所示的步骤S7101)，并生成右眼图像数据(步骤S7102)。根据设置的JPEG图像的大小来执行针对生成的两个图像数据的调整大小处理(步骤S7103)。视差图生成电路514针对JPEG图像使用经历了调整大小处理的左眼图像数据和右眼图像数据来生成JPEG图像视差图(步骤S7104)。接着，执行用于将步骤S7101和S7102中生成的左眼图像数据和右眼图像数据的大小调整到缩略图像大小的处理，从而生成缩略图像视差图(步骤S7105)。视差图生成电路514针对缩略图像，使用经历了调整大小处理的右眼图像数据和左眼图像数据来生成缩略图像视差图数据(步骤S7106)。然后，以与第一实施例中描述的相同方式来创建DCF头部分7003。此时，图像文件7000可以分别通过提供缩略图像视差图部分7006的偏移值D以及JPEG图像视差图部分7007的偏移值E而具有缩略图像视差图和JPEG图像视差图。如上所述，在第二实施例的变型例中，生成缩略图像视差图，然后创建包括图数据的图像文件。由此，能够进行针对缩略图像的3D显示图像再现处理。 (第二实施例的另一变型例)接着，将对第二实施例的另一变型例给出描述。图19是例示当创建包括RAW图像数据的图像文件时的示例性文件结构的图。DCF图像数据部分8001包括DCF头部分8003、缩略图像部分8004、显示JPEG图像部分8005、和RAW图像部分8006。DCF头部分8003是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括关于存储在RAW图像部分8006中的图像数据的诸如摄影信息、参数等的元数据A(参见8010)以及以下偏移值(括号中的数字表示附图标记)。偏移值B (参见8011):对应于缩略图像部分8004的头位置的偏移数据。偏移值C (参见8012):对应于显示JPEG图像部分8005的头位置的偏移数据。偏移值D (参见8013):对应于RAW图像部分8006的头位置的偏移数据。偏移值E (参见8014):对应于缩略图像视差图部分8007的头位置的偏移数据。偏移值F (参见8015):对应于显示JPEG图像视差图部分8008的头位置的偏移数据。偏移值G(参见8016):对应于RAW图像视差图部分8009的头位置的偏移数据。使用偏移值B、C、D、E、F和G来指定存储在图像文件中的各图像数据的起始位置。RAff图像部分8006是用于存储RAW图像数据的区域。RAW图像数据是从摄像元件读出的数据，并且是在诸如显影处理、压缩处理等的图像处理之前的大尺寸图像数据。在本实施例中，将通过以处理以下两种类型的RAW图像数据为例来给出描述通过对针对各像素的多个ro获得的数据进行算术平均而获得的RAW图像数据(在下文中称为“加法RAW图像数据”)，以及通过在不进行选择处理和合成处理的情况下直接使用通过像素中的ro获得的数据而获得的RAW图像数据(在下文中称为“非加法RAW图像数据”)。加法RAW图像数据是通过对通过一个像素中的检测到的数据进行算术平均而获得的数据。尽管加法RAW图像数据是经历计算处理的数据，但是加法RAW图像数据在不适合被显示的意义上仍然是RAW图像数据。在本实施例中，将对作为经历了算术平均处理的数据的加法RAW图像数据给出描述。然而，仅经历加法处理的数据可以被视作加法RAW图像数据，并且可以在后处理期间对结果数据进行除法处理和动态范围的调整。图19所示的视差图部分8002包括缩略图像视差图部分8007、显示JPEG图像视差图部分8008、以及RAW图像视差图部分8009。缩略图像视差图部分8007和显示JPEG图像视差图部分8008与变型例中描述的相同，由此，将省略其详细描述。RAff图像视差图部分8009是用于存储RAW图像部分8006中的RAW图像数据的视差量的区域。在非加法RAW图像数据的情况下，直接使用从摄像元件505的PD读出的信息，由此，可以在后来的处理中恢复视差图。由此，在本实施例中，将假设当存储在RAW图像部分8006中的RAW图像数据是非加法RAW图像数据时创建不包括RAW图像视差图部分8009的图像文件来给出描述。缩略图像部分8004、显示JPEG图像部分8005等与变型例中描述的相同，由此将省略其详细描述。接着，将参照图15和图20对根据第二实施例的另一变型例的视差图生成处理给出描述。首先，在图15所示的步骤S6201和S6202中，合成图像数据被存储在存储器单元508中。图像合成电路513生成左眼图像数据(步骤S8101)，并生成右眼图像数据(步骤S8102)。接着，系统控制单元509确定RAW图像数据是非加法RAW图像数据还是加法RAW图像数据，由此确定RAW图像视差图是否需要被创建(步骤S8103)。可以通过用户设置的模式等来确定RAW图像数据是非加法RAW图像数据还是加法RAW图像数据，或者也可以通过介质容量、图像大小等自动确定。在加法RAW图像数据的情况下，处理进行到步骤S8104。视差图生成电路514使用分别在步骤S8101和S8102中生成的左眼图像数据和右眼图像数据来生成RAW图像视差图数据(步骤S8104)。接着，在步骤S8101和S8102中生成的左眼图像数据和右眼图像数据分别经历针对JPEG图像的调整大小处理(步骤S8105)，并创建显示JPEG图像视差图数据(步骤S8106)。另外，在步骤S8101和S8102中生成的左眼图像数据和右眼图像数据分别经历针对缩略图像的调整大小处理(步骤S8107)，并且生成缩略图像视差图数据(步骤S8108)。另一方面，如果在步骤S8103中确定RAW图像数据是非加法RAW图像数据，则不需要生成RAW图像视差图数据，并且处理进行到步骤S8105。然后，进行JPEG图像调整大小处理、缩略图像调整大小处理、以及视差图生成处理。与在第二实施例的DCF头部分中一样，由诸如快门速度、曝光时间等的摄影信息创建元数据，并且这些值被作为诸如摄影信息、参数等的元数据A(参见图19所示的附图标记8010)设置在DCF头部分8003中。另外，基于数据的大小来设置偏移值B至G，并且生成DCF头部分8003的头信息。以这种方式，表示存在/不存在针对RAW图像数据的视差图及其位置的信息(参见偏移G)被存储在DCF头部分8003中。如果由偏移8016表示的偏移值G被设置为预定值(例如，“0”)，则意味着在图像文件8000中没有存储RAW图像视差图数据。作为选择，如果偏移8016自身不存在于DCF头部分8003中，则可以看出在图像文件8000中没有存储RAW图像视差图数据。如果对偏移值G给予合法值，则确定在图像文件8000中存储RAW图像视差图数据，由此，可以通过偏移值G来指定存储位置。如上所述，在第二实施例的另一变型例中，依据RAW图像数据是加法RAW图像数据还是非加法RAW图像数据来确定在图像文件中是否需要包括视差图数据。如果确定RAW图像数据是非加法RAW图像数据，则RAW图像视差图变得没有必要，并且能够缩小其文件容量。(第三实施例)在下文中，将对本发明的第三实施例给出描述。本发明的第三实施例的摄像装置的示例性结构与第二实施例的摄像装置的结构相同，由此，将省略其描述。第三实施例的摄像装置使用视差图再现反映被摄体的正确形状的图像。图21是例示典型DCF图像文件结构的示例的图。DCF图像文件700包括DCF头部分701、缩略图像部分702、和JPEG图像部分703。DCF头部分701是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括以下数据(括号中的数字表示附图标记)。元数据A(704):关于JPEG图像部分703中存储的图像数据的摄影信息、参数等。偏移值B(705):对应于缩略图像部分702的头位置的偏移数据。偏移值C (706):对 应于JPEG图像部分703的头位置的偏移数据。偏移值B和C的各个是在DCF头部分701的基准位置与各图像部分的计算位置之间的相对位置信息，并且使用这些偏移值的各个来指定存储在图像文件中的各图像数据的起始位置。缩略图像部分702是用于存储通过细化存储在JPEG图像部分703中的JPEG图像数据等而调整了大小的缩略图像数据的区域。例如当在显示单元516的画面上显示多个缩小图像时(当进行索引显示时)使用缩略图像数据。JPEG图像部分703是用于存储通过压缩/解压缩电路515压缩已经经历摄像信号处理电路506的图像处理的RAW图像数据而获得的JPEG图像数据的区域。该图像数据是能够被许多通用应用处理的数据。图22是例示当在本实施例中创建包括左眼图像数据和右眼图像数据的DCF图像文件时图像文件的示例性结构的图。图像文件800包括DCF图像数据部分801和左眼/右眼图像数据部分802。DCF图像数据部分801由DCF头部分803、合成缩略图像部分804、和合成JPEG图像部分805构成。DCF头部分803是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括以下补充信息和用于指定用于存储各图像数据的区域的偏移信息(括号中的数字表示附图标记)。元数据A(SlO):关于合成JPEG图像部分805中存储的图像数据的摄影信息、参数
坐寸o偏移值B(Sll):对应于合成缩略图像部分804的头位置的偏移数据。偏移值C (812):对应于合成JPEG图像部分805的头位置的偏移数据。偏移值D(813):对应于左眼缩略图像部分806的头位置的偏移数据。偏移值E(814):对应于右眼缩略图像部分807的头位置的偏移数据。偏移值F (815):对应于左眼JPEG图像部分808的头位置的偏移数据。偏移值G (816):对应于右眼JPEG图像部分809的头位置的偏移数据。
使用偏移值B、C、D、E、F和G来指定存储在图像文件中的各图像数据的起始位置。合成缩略图像部分804是用于存储通过细化存储在合成JPEG图像部分805中的合成JPEG图像数据等而调整了大小的合成缩略图像数据的区域。当例如在显示单元516的画面上进行索引显示时使用合成缩略图像数据。另外，合成JPEG图像部分805是用于存储通过压缩/解压缩电路515对由摄像信号处理电路506处理了的从摄像元件505获得的图像数据进行压缩而获得的合成JPEG图像数据的区域。图像数据是能够被许多通用应用处理的数据。在本实施例中，通过图像合成电路513对右眼图像数据与左眼图像数据进行加法合成而获得的JPEG图像数据被存储在合成JPEG图像部分805中。通过对左眼图像与右眼图像进行加法合成来获得能够被再现为反映被摄体的正确形状的2D显示图像的图像数据。注意，加法合成还意图包括算术平均处理。左眼/右眼图像数据部分802由左眼缩略图像部分806、右眼缩略图像部分807、左眼JPEG图像部分808、以及右眼JPEG图像部分809构成。当在显示单元516的画面上进行索引显示时使用存储在左眼缩略图像部分806和右眼缩略图像部分807中的图像数据，从而以三维显示来显示缩略图像。另外，当在显示单元516上以三维显示来显示图像数据时使用存储在左眼JPEG图像部分808和右眼JPEG图像部分809中的图像数据。在图像文件800的后部布置包括这些图像部分806至809的左眼/右眼图像数据部分802，导致提高了当不使用左眼JPEG图像部分808和右眼JPEG图像部分809时进行的处理的便利性。图23是例示根据本实施例的当创建包括视差图数据的DCF图像文件时图像文件的示例性文件结构的图。图像文件900包括DCF图像数据部分901和视差图部分902。DCF图像数据部分901由DCF头部分903、合成缩略图像部分904和合成JPEG图像部分905构成。DCF头部分903是其中预先给出预定数据大小的、用于存储DCF头信息的区域。DCF头信息包括以下数据(括号中的数字表示附图标记)。元数据A(908):关于存储在合成JPEG图像部分905中的图像数据的摄影信息、参
数等。 偏移值B (909):对应于合成缩略图像部分904的头位置的偏移数据。偏移值C (910):对应于合成JPEG图像部分905的头位置的偏移数据。偏移值D(911):对应于合成缩略图像视差图部分906的头位置的偏移数据。偏移值E (912):对应于合成JPEG图像视差图部分907的头位置的偏移数据。使用偏移值B、C、D和E来指定图像文件中存储的各图像数据的起始位置。视差图部分902由合成缩略图像视差图部分906和合成JPEG图像视差图部分907构成。合成缩略图像部分904是用于存储通过细化存储在合成JPEG图像部分905中的JPEG图像数据等而调整了大小的缩略图像数据的区域。例如，当在显示单元516的画面上进行索引显示时使用缩略图像数据。合成JPEG图像部分905是用于存储通过压缩/解压缩电路515对由摄像信号处理电路506处理的从摄像元件505获得的图像数据进行压缩而获得的合成JPEG图像数据的区域。图像数据是能够被许多通用应用处理的数据。在本实施例中，通过图像合成电路513对右眼图像数据与左眼图像数据进行加法合成而获得的JPEG图像数据被存储在合成JPEG图像部分905中。通过对左眼图像与右眼图像进行加法合成，获得能够被再现为反映被摄体的正确形状的2D显示图像的图像。另外，可以使用视差图来恢复左眼图像数据和右眼图像数据，由此，图像数据能够被再现为三维显示图像。合成缩略图像视差图部分906是用于存储根据合成缩略图像的大小而生成的视差图数据的区域。另外，合成JPEG图像视差图部分907是用于存储表示合成JPEG图像的视差量的图数据的区域。合成缩略图像视差图和合成JPEG图像视差图被布置在图像文件900的后部作为视差图部分902，导致提高了当不使用视差图时诸如图像再现、视差图删除等的编辑操作的便利性。接着，将参照图24所示的流程图对DCF图像文件再现处理给出描述。在系统控制单元509的控制下执行本处理。在步骤S1001中，确定在外部I/F单元512的操作单元中提供的图像回放按钮(未示出)是否已被操作。当确定用户尚未操作图像回放按钮时，重复步骤S1001中的确定处理，而当确定用户已经操作图像回放按钮时，处理进行到步骤S1002。在步骤S1002中，执行经由记录介质控制I/F单元510将图像文件数据从记录介质511读取到存储器单元508的处理。接着，在步骤S1003中，分析在步骤S1002中读取到存储器单元508中的图像文件。在图像文件分析处理中，分析DCF图像文件的结构，这使得能够访问各图像数据。接着，在步骤S1004中，基于步骤S1003中的分析结果来确定图像文件是否是用于三维显示的图像文件。针对用于三维显示的图像文件的确定处理是确定图像文件是否是能够借以准备左眼图像和右眼图像的图像文件。在本实施例中，如果图像文件具有如图22所描述的左眼图像数据和右眼图像数据或者如果图像文件具有如图23所描述的视差图，则确定图像文件是用于三维显示的图像文件。如果关于图像文件的确定结果为“是”，则处理进行到步骤S1005，而如果为“否”，则处理进行到步骤S1006。接着，在步骤S1005中，确定立体图像再现设置是否已被设置。可以通过用户操作来任意指定是进行针对二维显示的图像再现还是针对三维显示的图像再现。即使在针对三维显示的图像文件的情况下，用户也可以选择针对二维显示的图像再现。用户可以通过使用操作单元在显示单元516的画面上的菜单选择操作等来进行期望的再现设置，设置信息被存储在存储器单元508中。如果在步骤S1005中确定设置不是针对立体图像的再现设置，则处理进行到步骤S1006，并且进行2D显示图像再现处理，即再现2D显示图像(在下文中称为“2D图像”)。以下将参照图25来描述该处理。另一方面，如果在步骤S1005中确定设置是针对立体图像的再现设置，则处理进行到步骤S1007，并且进行立体图像再现处理，即再现3D显示图像。以下将参 照图26来描述该处理。如上所述，在通过本实施例的摄像装置进行的图像文件再现处理中，可以使用针对立体图像的图像文件在3D显示和2D显示上均进行图像再现。接着，将参照图25对图10所示的步骤S1006中的2D显示图像再现处理给出描述。在步骤SllOl中，进行用于从图像文件获取2D图像数据的处理。在2D图像数据获取处理中，由分析的图像文件获取合成JPEG图像数据，作为用于被再现为2D图像的数据。在文件具有通过除本实施例的摄像装置以外的摄像装置拍摄的图像数据并且不具有合成JPEG图像数据的情况下，当进行用于获取另一图像数据作为2D图像的处理时，提高了再现兼容性。接着，在步骤S1102中的2D图像显示数据创建处理中，由步骤SllOl中获取的2D图像数据来创建显示数据。在本处理中，显示控制电路517处理通过压缩/解压缩电路515解压缩的数据，由此，创建用于作为2D图像被显示在显示单元516上的数据。接着，在步骤SI 103中，显示单元516在显示控制电路517的控制下，根据在步骤SI 102中创建的显示数据来进行2D显示。在2D图像显示处理中，不与以下描述的立体图像显示处理中一样对左眼图像与右眼图像之间进行区分而处理显示数据。以这种方式，能够基于图像文件来再现2D图像。接着，将参照图26对图10所示的步骤S1007中的立体图像再现处理给出描述。在步骤S1201中，确定在图像文件中是否存在视差图。可以通过步骤S1003中的分析结果来确定视差图的存在/不存在。如果确定在图像文件中不存在视差图，则处理进行到步骤S1202并且执行左/右图像3D再现处理。以下将参照图27来描述左/右图像3D再现处理。另一方面，如果确定在图像文件中存在视差图，则处理进行到步骤S1203并且执行视差图3D再现处理。以下将参照图28来描述视差图3D再现处理。在本实施例的3D再现处理中，可以进行使用左/右图像的3D再现以及使用视差图的3D再现。接着，将参照图27对图26所示的步骤S1202中的左/右图像3D再现处理给出描述。在步骤S1301中的左眼图像数据获取处理中，由在存储器单元508上展开的图像文件数据来获取左眼JPEG图像数据。接着，在步骤S1302中的显示数据创建处理中，由在步骤S1301中获取的左眼JPEG图像数据来创建左眼图像显示数据。在左眼图像显示数据创建处理中，基于通过压缩/解压缩电路515解压缩的数据来创建用于通过显示控制电路517在显示单元516上显示图像的数据。接着，在步骤S1303中的右眼图像数据获取处理中，由在存储器单元508上展开的图像文件数据获取右眼JPEG图像数据。接着，在步骤S1304中的显示数据创建处理中，由在步骤S1303中获取的右眼JPEG图像数据来创建右眼图像显示数据。在右眼图像显示数据创建处理中，基于通过压缩/解压缩电路515解压缩的数据来创建用于通过显示控制电路517在显示单元516上显示图像的数据。在步骤S1305中，显示单元516根据在步骤S1302中创建的左眼图像显示数据以及在步骤S1304中创建的右眼图像显示数据来进行3D图像显示处理。在本处理中，通过已知技术进行图像显示，使得不同视频图像光入射在用户的左眼和右眼上，但是其描述被省略。以这种方式，能够基于具有左眼图像数据和右眼图像数据的图像文件来再现3D图像。接着，将参照图28对图26所示的步骤S1203中的视差图3D再现处理给出描述。在步骤S1401中的视差图获取处理中，由在存储器单元508上展开的图像文件数据获取针对合成JPEG图像视差图的数据。接着，在步骤S1402中的基准图像数据获取处理中，由存储器单元508上展开的图像 文件数据获取基准图像数据。在此使用的术语“基准图像”是指对应于在步骤S1401中获取的视差图的图像数据。在本实施例中，基准图像是合成JPEG图像数据。接着，在步骤S1403中的左眼图像数据创建处理中，由在步骤S1401中获取的视差图以及在步骤S1402中获取的基准图像数据来创建左眼图像数据。视差图包括代表合成图像中被摄体图像的重心相对于左眼图像中被摄体图像的对应重心的视差量的数据。通过使用所述数据将被摄体图像移动到左眼图像中的被摄体图像的重心(对应于视差量)来生成左眼图像数据。接着，在步骤S1404中的右眼图像数据创建处理中，由步骤S1401中获取的视差图以及步骤S1402中获取的基准图像数据来创建右眼图像数据。以与左眼图像数据创建处理相同的方式来进行本处理。在这种情况下，通过符号反转的由视差图数据表示的视差量来获得合成图像中被摄体图像的重心相对于右眼图像中被摄体图像的对应重心的视差量。可以通过将被摄体图像移动到右眼图像中的被摄体图像的重心(对应于视差量)来生成右眼图像数据。在步骤S1405中，使用在步骤S1403中创建的左眼图像数据以及在步骤S1404中创建的右眼图像数据来执行如图13所描述的左/右图像3D再现处理。此时，色彩空间信息被给予丢失像素。以这种方式，由具有视差图数据的图像文件生成左眼图像数据和右眼图像数据，由此，能够基于这两个图像数据再现3D图像。如上所述，根据本实施例,可以使用DCF图像文件来进行2D图像再现和3D图像再现。换言之，由通过摄像元件505获得的多个图像数据来生成合成图像数据，由此，能够在使用合成图像数据的2D显示以及使用合成图像数据和视差图数据的3D显示二者中再现反映被摄体的正确形状的图像。由此，用户可以观看再现图像，而不会有不自然的印象。通过对缩略图像应用本实施例中描述的一系列处理，可以提供一种摄像装置，其能够在显示单元516上进行索引显示时，以2D显示或3D显示来再现多个缩小图像。在这种情况下，图像合成电路513由合成图像数据生成针对缩小图像显示的图像数据。另外，视差图生成电路514使用左眼图像数据和右眼图像数据生成针对缩小图像显示的视差图数据。当图像文件包括针对缩小图像显示的合成图像数据以及视差图数据时，系统控制单元509通过由这些数据生成左眼缩小图像数据以及右眼缩小图像数据来控制针对三维显示的图像再现。当图像文件包括左眼缩小图像数据和右眼缩小图像数据时，能够使用这些数据来进行针对三维显示的缩小图像再现。尽管已对本发明的优选实施例给出了描述，但是本发明并不限于这些实施例，还可以使用其中依据诸如图像编辑等的各种应用来改变图像数据的布置顺序的文件结构。例如，当对于三维显示不使用缩略图像时，仅合成图 像数据可以被记录在不具有左眼图像数据和右眼图像数据的文件中，由此可以对文件结构进行各种修改和改变。本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)、以及由系统或装置的计算机例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这种变型、等同结构及功能。本申请要求2011年10月4日提交的日本专利申请2011-220409号、2011年12月2日提交的日本专利申请2011-264204号、以及2011年12月2日提交的日本专利申请2011-264282号的优先权，它们的全部内容通过弓I用并入本文。
权利要求
1.一种摄像装置，其具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置通过所述摄像元件处理所述多个图像信号而将数据记录在图像文件中，该摄像装置包括 信号处理单元，其被构造为由从所述摄像元件输出的所述图像信号来获取左眼图像数据和右眼图像数据，并且通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据；以及 记录控制单元，其被构造为进行控制，以将所述信号处理单元生成的所述左眼图像数据、所述右眼图像数据以及所述合成图像数据记录在所述图像文件的不同区域中。
2.根据权利要求1所述的摄像装置，其中，所述信号处理单元包括 摄像信号处理单元，其被构造为将从所述摄像元件输出的所述图像信号分成左眼图像的信号以及右眼图像的信号；以及 图像合成单元，其被构造为通过针对从所述摄像信号处理单元输出的所述左眼图像数据以及所述右眼图像数据的算术平均处理来生成所述合成图像数据。
3.根据权利要求1所述的摄像装置，其中，当创建所述图像文件的头部分时，所述记录 控制单元计算用于指定存储所述左眼图像数据的区域的偏移信息、用于指定存储所述右眼图像数据的区域的偏移信息、用于指定存储所述合成图像数据的区域的偏移信息，并且通过将所述偏移信息包括在所述头部分中来生成所述图像文件。
4.根据权利要求1所述的摄像装置，其中，所述记录控制单元进行控制，以将由从所述多个光电转换单元输出的图像信号获得的图像数据记录在所述图像文件的与用于存储所述左眼图像数据、所述右眼图像数据和所述合成图像数据的区域不同的区域中。
5.根据权利要求4所述的摄像装置，其中，所述记录控制单元进行控制，以将由从所述多个光电转换单元输出的图像信号获得的、图像处理前的左眼图像数据和右眼图像数据记录在所述图像文件的不同区域中。
6.根据权利要求4所述的摄像装置，其中，当创建所述图像文件的头部分时，所述记录控制单元通过将用于指定存储由从所述多个光电转换单元输出的图像信号获得的图像数据的区域的偏移信息包括在所述头部分中，来生成所述图像文件。
7.一种由摄像装置执行的控制方法，所述摄像装置具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置通过所述摄像元件处理所述多个图像信号而将数据记录在图像文件中，该控制方法包括以下步骤 由从所述摄像元件输出的所述图像信号来获取左眼图像数据和右眼图像数据； 通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据；以及 进行控制以将所述左眼图像数据、所述右眼图像数据以及所述合成图像数据记录在所述图像文件的不同区域中。
8.一种摄像装置，其具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置通过所述摄像元件处理所述多个图像信号来将处理后的图像信号记录在记录介质中，该摄像装置包括 图像合成单元，其被构造为由从所述摄像元件输出的图像信号来获取左眼图像数据和右眼图像数据，并且通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据； 视差图生成单元，其被构造为由所述左眼图像数据及所述右眼图像数据来生成视差图数据；以及 记录控制单元，其被构造为进行控制，以创建图像文件并将所述图像文件记录在所述记录介质中，其中在所述图像文件中由所述图像合成单元生成的所述合成图像数据以及由所述视差图生成单元生成的所述视差图数据被包括在不同的区域中。
9.根据权利要求8所述的摄像装置，其中，所述记录控制单元根据符合DCF标准的文件格式来创建包括所述视差图数据的图像文件。
10.根据权利要求8所述的摄像装置，其中，所述图像合成单元通过对用在缩小图像显示中的左眼图像数据和右眼图像数据进行加法合成来生成用于二维显示的合成图像数据， 其中，所述视差图生成单元由用在针对三维显示的缩小图像显示中的左眼图像数据和右眼图像数据来生成视差图数据，以及 其中，所述记录控制单元进行控制，以创建包括用在所述缩小图像显示中的合成图像数据和视差图数据的图像文件，并将所述图像文件记录在所述记录介质中。
11.根据权利要求8所述的摄像装置，其中，所述记录控制单元进行控制，以创建由从所述多个光电转换单元输出的图像信号获得的、图像处理前的图像数据被包括在与包括由所述图像合成单元生成的合成图像数据的区域不同的区域中的图像文件，并将所述图像文件记录在所述记录介质中。
12.根据权利要求11所述的摄像装置，其中，当创建包括作为对由从所述多个光电转换单元输出的图像信号获得的、图像处理前的左眼图像数据和右眼图像数据进行加法合成的结果而获得的合成图像数据的图像文件时，所述记录控制单元进行控制以创建包括通过所述视差图生成单元由图像处理前的左眼图像数据和右眼图像数据生成的视差图数据的图像文件，并将所述图像文件记录在所述记录介质中。
13.根据权利要求11所述的摄像装置，其中，当创建包括左眼图像数据和右眼图像数据不经历加法合成的数据作为由从所述多个光电转换单元输出的图像信号获得的图像处理前的图像数据的图像文件时，所述记录控制单元进行控制以创建不包括由所述视差图生成单元生成的视差图数据的图像文件并将所述图像文件记录在所述记录介质中。
14.一种由摄像装置执行的控制方法，所述摄像装置具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置通过所述摄像元件处理所述多个图像信号来将处理后的图像信号记录在记录介质中，该控制方法包括以下步骤 通过由从所述摄像元件输出的所述图像信号获取左眼图像数据和右眼图像数据、然后对所述左眼图像数据和所述右眼图像数据进行加法合成，来生成用于二维显示的合成图像数据； 由所述左眼图像数据及所述右眼图像数据来生成视差图数据；以及在创建所述合成图像数据与所述视差图数据被包括在不同区域中的图像文件之后，将所述图像文件记录在所述记录介质中。
15.一种摄像装置，其具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置创建包括通过所述摄像元件由多个图像信号生成的图像数据的图像文件并使用所述图像文件进行再现处理，该摄像装置包括 图像合成单元，其被构造为由从所述摄像元件输出的所述图像信号来获取左眼图像数据和右眼图像数据，并且通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据； 视差图生成单元，其被构造为由所述左眼图像数据及所述右眼图像数据来生成视差图数据；以及 控制单元，其被构造为分析所述图像文件并且控制针对二维显示的图像再现以及针对三维显示的图像再现， 其中，在所述图像文件包括所述合成图像数据以及所述视差图数据的情况下，所述控制单元进行控制以使用所述合成图像数据进行针对二维显示的图像再现，或者由所述合成图像数据以及所述视差图数据生成左眼图像数据以及右眼图像数据，从而进行针对三维显示的图像再现。
16.根据权利要求15所述的摄像装置，其中，在所述图像文件不包括所述视差图数据但是包括所述左眼图像数据以及所述右眼图像数据的情况下，所述控制单元进行控制，以在针对二维显示的图像再现时使用所述合成图像数据进行图像再现，或者在针对三维显示的图像再现时使用所述左眼图像数据和所述右眼图像数据进行图像再现。
17.根据权利要求15所述的摄像装置，其中，所述控制单元进行控制，以确定是通过用户操作指定了针对二维显示的图像再现还是通过用户操作指定了针对三维显示的图像再现，并且在所述图像文件包括所述合成图像数据并且指定了针对二维显示的图像再现的情况下，使用所述合成图像数据进行图像再现，或者在所述图像文件包括所述视差图数据并且指定了针对三维显示的图像再现的情况下，通过由所述合成图像数据和所述视差图数据生成左眼图像数据和右眼图像数据来进行针对三维显示的图像再现。
18.根据权利要求17所述的摄像装置，其中，在所述图像文件包括所述左眼图像数据和所述右眼图像数据并且指定了针对三维显示的图像再现的情况下，所述控制单元进行控制，以使用所述左眼图像数据和所述右眼图像数据进行针对三维显示的图像再现。
19.根据权利要求15所述的摄像装置，其中，所述图像合成单元由所述合成图像数据生成针对缩小图像显示的图像数据， 其中，所述视差图生成单元使用所述左眼图像数据和所述右眼图像数据来生成针对所述缩小图像显示的视差图数据，以及 其中，在所述图像文件包括针对缩小图像显示的所述图像数据以及针对所述缩小图像显示的所述视差图数据的情况下，所述控制单元进行控制以由所述图像数据和所述视差图数据生成左眼缩小图像数据和右眼缩小图像数据，从而进行针对三维显示的图像再现。
20.一种由摄像装置执行的控制方法，所述摄像装置具有包括多个光电转换单元的摄像元件，所述多个光电转换单元被构造为通过对分别通过摄像光学系统的出射光瞳的不同.区域的光通量进行光电转换来输出多个图像信号，并且所述摄像装置创建包括通过所述摄像元件由多个图像信号生成的图像数据的图像文件并使用所述图像文件进行再现处理，该控制方法包括以下步骤 由从所述摄像元件输出的所述图像信号来获取左眼图像数据和右眼图像数据，并且通过对所述左眼图像数据和所述右眼图像数据进行加法合成来生成用于二维显示的合成图像数据； 由所述左眼图像数据及所述右眼图像数据来生成视差图数据；以及 确定是进行针对二维显示的图像再现还是进行针对三维显示的图像再现， 其中，进行控制以在所述图像文件包括所述合成图像数据以及所述视差图数据的情况下使用所述合成图像数据进行针对二维显示的图像再现，或者由所述合成图像数据以及所述视差图数据生成左眼图像数据以及右眼图像数据，从而进行针对三维显示的图像再现。
全文摘要
本发明提供摄像装置及其控制方法。摄像元件包括通过微镜头针对各像素输出图像信号的多个光电转换单元。摄像信号处理电路将从所述摄像元件输出的图像信号分成左眼图像信号和右眼图像信号。图像合成电路通过对左眼图像数据和右眼图像数据进行算术平均处理来生成合成图像数据。记录介质控制I/F单元进行控制以将用在3D显示中的左眼图像数据和右眼图像数据以及用在2D显示中的合成图像数据记录在图像文件中的不同区域中。
文档编号H04N13/02GK103037235SQ20121038124
公开日2013年4月10日 申请日期2012年10月8日 优先权日2011年10月4日
发明者新谷拓也, 青山祐三, 中滨孝之 申请人:佳能株式会社