图像拾取装置的制作方法

专利名称：图像拾取装置的制作方法
技术领域：
本发明涉及使用微镜头阵列的图像拾取装置。
背景技术：
已经提出和开发了各种图像拾取装置。也已经提出了 一种图像拾取装置，其对通过拾取图像获得的图像拾取数据执行预定的图像处理，以便输出处理的图像拾取数据。
例如，国际专利公开No. 06/039486和Ren. Ng等人的"Light FieldPhotography with Hand-Held Plenoptic Camera"(斯坦福4支术才艮告CTSR2005-02)提出了使用所谓"光场摄影(Light Field Photography)"技术的图像拾取装置。这种图像拾取装置包括图像拾取镜头、微镜头阵列、图像拾取器件和图像处理部分，并且在图像拾取镜头中包括孔径光阑(aperture st叩)，该孔径光阑在其中心部分包括单个孔径。在这种配置中，由图像拾取器件获得的图像拾取数据包括感光平面上光的强度分布以及关于光的行进方向的信息。因此，图像处理部分能够重建或重现从任意视点或任意方向(以下简称为视野)观看的图像。

发明内容
在上述微镜头阵列中，安排了多个微镜头，并且给每个微镜头分配了图像拾取器件的多个像素。在使用上述技术的情况下，重建图像中的像素数目等于微镜头阵列中的微镜头数目，因为关于重建图像的二维坐标的信息由微镜头阵列的坐标来确定。因此，重建图像的二维坐标中的像素数目等于将图像拾取器件的像素的总数目除以分配给每个微镜头的像素数目而确定的数目。另一方面，分配给每个微镜头的像素数目等于光线的角度信息的分辨率，并且确定重建图像的任意视野中的分辨率，也就是说，确定重建图像的视点或方向的数目。因此，在任意视野的分辨率和二维坐标中的像素数目之间存在平衡(trade-off)关系。在这种情况下，在使用上述技术的情况下，图像拾取数据包括光的强度分布以及关于光的行进方向的信息，因此分开描述每条光线是重要的。然而，在该技术中，各图像(通过投影主镜头的孔径光阑形成的图像)之间的间距依赖于主镜头的孔径光阑的位置而改变，各图像的每个对应于在图像拾取器件上形成的每个微镜头。换句话说，分配给每个微镜头的像素数目改变。因此，在一些情况下，依赖于孔径光阑的位置，难以获得重建图像(如再聚焦图像和任意视点图像)作为对上述技术唯一的图像。
期望提供一种图像拾取装置，其在获得包括关于光的行进方向的信息的图像拾取数据的情况下，能够形成正确的重建图像。
根据本发明的实施例，第一图像拾取装置包括图像拾取镜头部分，其
具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；以及
微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间
的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图
像拾取器件的多个图像拾取像素提供每个微镜头，其中满足以下公式(1):p=(mxs)x{L/(L+f)} …(l)
其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
在根据本发明实施例的第 一图像拾取装置中，通过图像拾取镜头部分经历图像拾取的对象的图像形成在微镜头阵列部分上。然后，进入微镜头阵列部分的光线到达图像拾取器件，并且由分配给每个微镜头的多个图像拾取像素检测，从而获得包括关于光的行进方向的信息的图像拾取数据。在该情况下，当各微镜头之间的间距满足上述公式时，防止在由图像拾取器件获取的图像拾取数据中出现图像拾取器件的感光平面中的图像高度偏差。
根据本发明的实施例，提供了第二图像拾取器件，包括图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头；以及图像高度校正部分，其对由图像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像大小等于在预定
5方向上图像拾取像素的像素大小的整数倍。
在根据本发明实施例的第二图像拾取装置中，通过图像拾取镜头部分经 历图像拾取的对象的图像形成在微镜头阵列部分上。然后，进入微镜头阵列 部分的光线到达图像拾取器件，并且由分配给每个微镜头的多个图像拾取像 素检测，从而获得包括关于光的行进方向的信息的图像拾取数据。在该情况 下，图像高度校正部分对由图像拾取器件获取的图像拾取数据执行图像高度 校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像 大小等于在预定方向上图像拾取像素的像素大小的整数倍，因此不管孔径光 阑的位置，防止在通过执行这种图像高度校正获取的图像拾取数据中出现图 像拾取器件的感光平面中的图像高度偏差。
在根据本发明的第一图像拾取装置中，各微镜头之间的间距满足上述公 式，因此可以防止在由图像拾取器件获取的图像拾取数据中出现图像拾取器 件的感光平面中的图像高度偏差。因此，当通过使用这种图像拾取数据来形 成重建图像时，在获得图像拾取数据以便包括关于光的行进方向的信息的情 况下，可以形成正确的重建图像。
此外，在根据本发明的第二图像拾取装置中，图像高度校正部分对由图 像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单 个微镜头在图像拾取器件上形成的图像的图像大小等于在预定方向上图像拾 取像素的像素大小的整数倍，因此不管孔径光阑的位置，可以防止在通过执 行这种图像高度校正获取的图像拾取数据中出现图像拾取器件的感光平面中 的图像高度偏差。因此，当通过使用执行图像高度校正获得的图像拾取数据 来形成重建图像时，在获得图像拾取数据以便包括关于光的行进方向的信息 的情况下，不管主镜头的孔径光阑的位置，可以形成正确的重建图像。
从以下的描述中，本发明的其它和另外的目标、特征和优点将更完整地 出现。


图l是根据本发明第一实施例的图像拾取装置的整体配置的图示；
图2是图1所示的孔径光阑的示意性平面图3是图1所示的微镜头阵列的示意性平面图4是安排在图像拾取器件的感光平面上的滤色镜的示意性平面图；图5是图1所示的图像处理部分的配置示例的功能方块图； 图6A和6B是用于描述微镜头阵列和图像拾取器件中的图像拾取模式的 平面图7是用于描述通过图像处理部分的图像处理的示例的示意性透视图； 图8是用于描述通过图像处理部分的再聚焦算术处理的示意性剖面图； 图9是再聚焦算术处理中的再聚焦面的确定位置的示例的示意性剖面
图10是再聚焦算术处理中的再聚焦面的确定位置的另一示例的示意性 剖面图11是图9所示的再聚焦算术处理中的分类处理的示例的示意性平面
图12是图IO所示的再聚焦算术处理中的分类处理的另一示例的示意性 平面图13是用于描述根据比较示例的图像拾取装置中的图像高度偏差的图
示；
图14是用于描述根据比较示例的图像拾取装置中的图像高度偏差的示 意图；以及
图15是根据本发明第二实施例的图像处理部分的配置示例的功能方块图。
具体实施例方式
以下将参照附图详细描述本发明的各优选实施例。 第一实施例
图1图示根据本发明第一实施例的图像拾取装置(图像拾取装置1)的 整体配置。图像拾取装置1拾取对象2的图像以输出图像拾取数据Dout。按 照从靠近对象2侧开始的顺序，图像拾取装置1包括图像拾取镜头11、孔径 光阑10、微镜头阵列12和图像拾取器件13。图像拾取装置l还包括图像处 理部分14、图像拾取器件驱动部分15和控制部分16。
图像拾取镜头11是用于拾取对象的图像的主镜头，并且包括例如摄像 机、静态相机等中使用的典型的图像拾取镜头。
孔径光阑IO是图像拾取镜头11的光学孔径光阑。例如，如图2所示，孔径光阑IO在其中心部分具有一个圓形孔径部分IOA。从而，如稍后将描述 的，所有通过孔径光阑IOA的光线保持关于其行进方向的信息。安排孔径光 阑IO和微镜头阵列12以便在它们之间具有距离L。
例如，如图3所示，在微镜头阵列12中，多个微镜头12-1以矩阵形式 二维地安排(各微镜头12-1之间的间距p12),并且微镜头阵列12安排在 图像拾取镜头11的图像形成平面上(附图中的参考标号fl表示图像拾取镜 头11的焦距)。每个微镜头阵列12-1的平面形状是圆形，并且每个微镜头12-1 由例如液晶镜头、液体镜头、衍射镜头等制成。
在微镜头阵列12中，当各微镜头12-1之间的间距为如上所述的"pl2"
时，当图像拾取器件13的图像拾取像素(稍后将描述的像素P)的预定方向
上的像素大小为"s"时，当预定方向上分配给每个微镜头12-1的像素P的
数目为"m"(整数)时，当孔径光阑IO和微镜头阵列12之间的距离如上所
述为"L"时，并且当每个微镜头的焦距为"G"时，微镜头12-1之间的间
距p12由以下公式(11 )表示。从而，如稍后将详细描述的，在由图像拾取
器件13获取的图像拾取数据(稍后将描述的图像拾取数据D0)中，防止了
图像拾取器件13的感光平面(靠近微镜头阵列12侧的平面)中的图像高度
偏差的发生。
pl2=(mxs)x{L/(L+f2)} ......(11)
图像拾取器件13接收或检测来自微镜头阵列12的光以获得图像拾取数 据DO，并且被安排在微镜头阵列12的焦平面上(附图中的参考标号G表示 每个微镜头12-1的焦距)。图像拾取器件13包括二维图像拾取器件，如以矩 阵形式二维安排的多个CCD (电荷耦合器件)或多个CMOS (互补金属氧化 物半导体)。
在这种图像拾取器件13的感光平面(靠近微镜头阵列12的面)上，MxN (M和N每个为整数)个图像拾取像素(稍后将描述的像素P)以矩阵形式 二维安排，并且多个像素P分配给微镜头阵列12中的一个微镜头12-1。感光 平面上的像素P的数目为例如MxN=3720x2520=9374400。分配给每个微镜头 12-1的像素数目(mxn)涉及重建图像的任意视野中的分辨率，因此重建图 像的任意—见野中的分辨率随着m和n的值的增加而增加。另 一方面，(M/m ) 和(N/n)的值与重建图像中的像素数目(分辨率)有关，因此，重建图像中 的像素数目随着(M/m)和(N/n)的值的增加而增加。因此，在重建图像的
8任意视野中的分辨率和像素数目之间存在平衡关系。
在图像拾取器件13的感光平面上，例如，为每个像素P二维地安排如图
4所示的滤色镜17 (图1中未示出)。滤色镜17是具有拜尔(Bayer)安排的 滤色镜(基色滤色镜)，其中三种基色(即，红(R)、绿(G)和蓝(B))的 滤色镜(红色滤色镜17R、绿色滤色镜17G和蓝色滤色镜17B )以网状模式、 以R: G: B = l: 2: 1的比率安排。这种滤色镜17安排在图像拾取器件13 的感光平面上，从而由图像拾取器件13获取的图像拾取数据D0变为对应于 滤色镜17的颜色的多种颜色(在该情况下，三种基色)的像素数据(颜色像 素数据)。
图像处理部分14对由图像拾取器件13获取的图像拾取数据DO执行稍 后将描述的预定的图像处理(包括分类处理的图像处理)，并且输出通过执行 图像处理获取的图像拾取数据Dout。更具体地，例如，图像处理部分14执 行利用所谓"光场摄影"技术的再聚焦算术处理。从而，图像处理部分14可 以形成聚焦在任意焦点上的图像(基于图像拾取数据Dout的重建图像)。稍 后将详细描述图像处理部分14的配置和再聚焦算术处理的操作。
图像拾取器件驱动部分15驱动图像拾取器件13,并且控制图像拾取器 件13的感光操作。
控制部分16控制图像处理部分14和图像拾取器件驱动部分15的操作， 并且包括例如微计算机等。
接着，以下将参照图5详细描述图像处理部分M的配置。图5图示图像 处理部分14的功能方块图。
图像处理部分14包括缺陷校正部分141、箝位处理部分142、插值处理 部分143、分类部分144、噪声减少部分145、边缘增强部分146、白平衡调 整部分147和伽马4交正部分148。
缺陷校正部分141校正如图像拾取数据DO中包括的丢失或无效的缺陷 (由图像拾取器件13中的异常导致的缺陷)。箝位处理部分l42对通过缺陷 校正部分141的缺陷校正获取的图像拾取数据执行设置每个像素数据的黑电 平(level)的处理(箝位处理)。
插值处理部分143对从箝位处理部分142提供的图像拾取数据执行插值 处理，例如，典型的拜尔安排上的demosaic处理，以便获取图像拾取数据 Dl。分类部分144对从插值处理部分143提供的图像拾取数据Dl执行预定 的分类处理(分类像素数据的处理)，以便获取图像拾取数据D2。当执行这 种分类处理时，形成了聚焦在上述任意焦点上的重建图像。以下将详细描述 分类部分144的分类处理的操作。
噪声减少部分145执行减少从分类部分144提供的图像拾取数据D2中 包括的噪声(例如，在黑的地方或灵敏度不够的地方拾取图像时生成的噪声) 的处理。边缘增强部分146对从噪声减少部分145提供的图像拾取数据执行 边缘增强处理，也就是说，增强图像的边缘的处理。
白平衡调整部分147对从边缘增强部分146提供的图像拾取数据执行调 整颜色平衡的处理(白平衡调整处理)(调整或设置图像拾取数据，使得红色 像素数据、绿色像素数据和蓝色像素数据的数目相互相等)，其中这种颜色平 衡可能受各设备之间的个体差异(如图像拾取器件13的光谱灵敏度的差异)、 滤色镜17的传输特性的差异或照明状况的影响。
伽马校正部分148对从白平衡调整部分147提供的图像拾取数据执行预 定的伽马校正(色调或对比度校正)，以便获得图像拾取数据Dout。
接着，参照图1-14,以下将详细描述根据本实施例的图像拾取装置1 的功能和效果。
首先，参照图1-12，以下将描述图像拾取装置1的基本功能。 在图像拾取装置1中，对象2的图像通过图像拾取镜头11形成在例如根 据如图6A所示的每个微镜头12-1的形状(圓形形状)的微镜头阵列12上。 然后，到微镜头阵列12的入射光线通过微镜头阵列12到达图像拾取器件13, 并且例如如图6B所示，入射光线由孔径光阑IO投射在其上的感光区域13-1 检测，并且通过图像拾取器件13获得图像拾取数据D0。此时，根据入射光 线的入射方向，在图像拾取器件13中的不同位置检测到微镜头阵列12的入 射光线。更具体地，光线的入射方向由分配给每个微镜头12-l的像素P的位 置确定。对应于重建图像的一个像素安排其中为每个微镜头12-l分配像素P 的区域(重建像素区域13D)。
接着，在图像拾取器件13中获取的图像拾取数据输入到图像处理部分 14中。然后，在图像处理部分14中，对图像拾取数据DO执行预定的图像处 理(例如，上述再聚焦算术处理)，从而输出通过图像处理获取的图像拾取数 据Dout作为图像拾取装置1的输出数据(重建图像的图像数据)。
10接着，参照图7-12，以下将描述图像处理部分14的图像处理操作(再 聚焦算术处理操作)的基本部分。
首先，如图7所示，在图像拾取镜头11的图像拾取镜头平面上定义了直 角坐标系统(u, v)，并且在图像拾取器件13的图像拾取平面上定义了直角 坐标系统(x， y)。图像拾取镜头11的图像拾取镜头平面和图像拾取器件13 的图像拾取平面之间的距离定义为"F"。然后，通过图像拾取镜头11和图像 拾取器件13的光线L1由四維函数Lf (x, y, u, v)表示。因此，关于光线 Ll的行进方向的信息和关于光线L1的位置的信息被记录到图像拾取器件13 中。换句话说，通过分配给每个微镜头12-1的多个像素P的安排确定了光线 的入射方向。
同样，如图8所示，在确定了图像拾取镜头平面110、图像拾取平面130
和再聚焦平面120之间的位置关系的情况下(确定再聚焦平面120以便建立
F， = aF),再聚焦平面120上的坐标(s， t)的图像拾取平面130上的检测强
度Lp由下面的公式(12)表示。此外，在再聚焦平面120上获取的图像Ep，
(s, t)是通过对于镜头孔径积分上述检测强度Lp，得到的值，因此图像EF
(s， t)由以下公式(13)表示。因此，当基于公式(13)、基于通过图像处
理获取的图像拾取数据Dout执行再聚焦算术操作时，重建了聚焦在任意焦点
(再聚焦平面120)上的图像。 LF,(s, t, u, v) = L(aF)(s, t, u， v)
T , S-Ut-V、 , 1 ，、
=LF(u+—,v十一，u,v) (12)
=L"u(l — )+ —,v(l — )+ —,u,v 1 a a a a I
EF(s,t) = :^j]"LF(S, t, u, v)dudv
^^J"Lf u(l-丄)+上,v(l陽丄)+丄,u，v dudv
更具体地，在图像处理部分14中，如图5所示，缺陷校正部分141校正 从图像拾取器件13提供的图像拾取数据DO中的缺陷，并且箝位处理部分142 对图像拾取数据DO执行箝位操作。然后，插值处理部分143对图像拾取数 据DO执行插值处理，并且分类部分144执行像素数据D1的分类处理。从而 从图像拾取数据D1中产生了图像拾取数据D2 。
在该情况下，当要通过图像处理部分14的再聚焦算术处理形成重建图像时，确定该重建图像的焦点位置在执行摄影时确定的焦点位置(微镜头阵列 12的位置)的背面(即，在比其更远的一侧)，执行其中例如选择性地提取 图9所示的光线的分类处理。换句话说，确定其焦点位置在执行摄影时确定
的焦点位置的背面的图像形成在图像拾取镜头11和微镜头阵列12之间。因
此，曾经聚集的光线的再次分散，并且依赖于其行进方向通过不同的微镜头
阵列到达图像拾取器件13。因此，例如如图11所示，执行分类每个像素数 据的处理，使得从多个互相不同的重建像素区域13D中选择性提取对应于这 种光线像素数据DIO。
另一方面，当要通过图像处理部分14的再聚焦算术处理形成重建图像 时，确定该重建图像的焦点位置在执行摄影时确定的焦点位置(微镜头阵列 12的位置)的前面(即，在比其更近的一侧)，执行其中例如选择性地提取 图IO所示的光线的分类处理。换句话说，确定其焦点位置在执行摄影时确定 的焦点位置的前面的图像形成在微镜头阵列12后面。因此，图像没有形成在 图像拾取装置1中，并且光线依赖于其行进方向通过不同的微镜头阵列到达 图像拾取器件13。因此，例如如图12所示，执行每个像素数据的分类处理， 使得从多个互相不同的重建像素区域13D中选择性提取对应于这种光线像素 数据DIO。
接着，如图5所示，噪声减少部分145还对通过这种分类处理获取的图 像拾取数据D2执行噪声减少处理，并且边缘增强部分146对图像拾取数据 D2执行边缘增强处理，然后将图像拾取数据D2提供给白平衡调整部分147。 从而，获取调整了颜色平衡的图像拾取数据。然后，伽马校正部分148对从 白平衡调整部分147提供的图像拾取数据执行伽马校正，从而从图像处理部 分14输出图像拾取数据作为图像拾取数据Dout。从而，基于图像拾取数据 Dout重建了聚焦在任意焦点(再聚焦平面120)上的图像。
接着，参照图13和14,将与比较示例相比较来描述根据本实施例的图 像拾取装置的特性功能。图13和14图示了在根据比较示例的图像拾取装置 (包括其中各微镜头12-1之间的间距不满足上述公式(1 )的微镜头阵列102, 而不是图像拾取装置1中的微镜头阵列12)中出现了图像高度偏差的情况下 (图像高度偏差量AX)的情况)的图像拾取的状态。
首先，例如如图13所示，在作为主镜头的图像拾取镜头11的孔径光阑 10的位置与图像拾取镜头11的主点PO具有一些距离的情况下，当入射到微镜头阵列12的入射光的主要光线LO相对于光轴倾斜到一定程度(在主要光 线LO没有呈现在图像拾取镜头11的主点PO上的情况下)时，依赖于孔径光 阑10的位置，形成在根据微镜头12-1的形状(圆形形状)的图像拾取器件 13上的各图像(单位图像)之间的间距从位置P1移到位置P2，如附图中的 箭头所示。
从而，例如如图14所示，图像高度偏差量A(点Pd和点Pe之间的距离) 的图像高度偏差出现在图像拾取器件13的感光平面(在更靠近微镜头阵列 12 —侧的平面)中。图像高度偏差量A由下面的公式(14)和(15)表示， 其中光轴和主要光线LO之间的倾斜角度为"e",在微镜头阵列102上形成的 主要光线LO的图像的图像高度(点Pb和点Pf之间的距离)为"y",孔径光 阑IO和微镜头阵列12之间的距离(点Pa和点Pb之间的距离)为"L",并 且每个微镜头12-1的焦距(点Pb和点Pe之间的距离)为"G"。此外，微 镜头阵列12上的图像高度y和在图像拾取器件13上形成的单位图像的图像 高度(点Pc和点Pe之间的距离)之间的比率由下面的公式(16)表示。
tane=(y/L)=(A/f2;) ...(14)
A={(yxf2)/L} …(15)
(y+A)/y=(L+f2)/L ...(16)
因此，在根据图13和14所示的比较示例的图像拾取装置中，因为微镜 头阵列102中的各微镜头12-1之间的间距p12不满足上述公式(11 ),所以 由上述公式(14)和(15)表示的图像高度偏差量A的图像高度偏差量因此发 生。换句话说，如上所述，即使在由图像拾取器件13获取的图像拾取数据 DO包括关于光的行进方向以及光强度分布的信息的情况下，各微镜头12-1 之间的间距pl2不等于图像拾取器件13的像素P的整数倍。因此，在预定方 向上分配给每个微镜头12-1的像素P的数目改变，并且在图像处理部分14 中，不能获得如再聚焦图像或任意视点图像的重建图像。
另一方面，在根据本实施例的图像拾取装置1中，在微镜头阵列12中， 各微镜头12-1之间的间距pl2满足上述公式(11)。从而，根据上述比较示 例的图像高度校正因子(对应于上述公式(16)的倒数)的值恒定为'T'。 因此，在由图像拾取器件13获取的图像拾取数据DO中，防止了图像拾取器 件13的感光平面(在更靠近微镜头阵列12—侧的平面)中的图像高度偏差 (图像高度偏差量A的图像高度偏差)的出现。
13如上所述，在本实施例中，各微镜头12-l之间的间距pl2满足上述公式 (11)。因此，在由图像拾取器件13获取的图像拾取数据D0中，可以防止图 像拾取器件13的感光平面中的图像高度偏差的出现。因此，当由图像处理部 分14通过使用这种图像拾取数据DO形成重建图像时，在以这种方式获取图 像拾取数据以便包括关于光的行进方向的信息的情况下，可以形成正确的重 建图像。
此外，不同于以下将描述的第二实施例，在本实施例中，不需要安排执 行图像高度校正的图像高度校正部分(稍后将描述的图像高度校正部分149)， 并且只通过设置各微镜头12-l之间的间距pl2来实现本实施例，因此，除非 另外移动了在设计各微镜头12-1之间的间距时确定的孔径光阑10的位置， 否则容易形成正确的重建图像。
接着，以下将描述本发明的第二实施例。根据本实施例的图像拾取装置 具有与根据第 一 实施例的图像拾取装置的配置相同的配置，除了根据本实施
例的图像拾取装置包括以下将描述的图像处理部分14A，而不是根据第一实 施例的图像拾取装置的图像处理部分14,以及其中提供了各微镜头12-1之间 的间距pl2不满足上述公式(1 )的微镜头阵列(对应于上述微镜头阵列102), 而不是微镜头阵列12。因此，相同组件用与第一实施例相同的标号来表示， 并且将不会进一步描述。
图15图示了在根据本实施例的图像拾取装置中使用的图像处理部分(图 像处理部分14A)的功能方块图。图像处理部分14A与第一实施例中所述的 图像处理部分14的配置不同在于在插值处理部分143和分类部分144之间 安排了图像高度校正部分149。
图像高度校正部分149对由图像拾取器件13获取的图像拾取数据(更具 体地，由插值处理部分143通过执行插值处理获得的图像拾取数据Dl )执行 图像高度校正，使得由单个微镜头12-1在图像拾取器件13上形成的图像(单 位图像)在预定方向上的图像大小(对应于微镜头12-1之间的间距pl2)等 于图像拾取器件13的像素P的预定方向上的像素大小的整数倍。从而，通过 图像高度校正获得图像拾取数据D3，并且将图像拾取数据D3提供给分类部 分144。更具体地，图像高度校正部分149通过使用由以下公式(17)和(18) 表示的校正因子k,对图像拾取数据Dl执行图像高度校正(图像高度校正部 分149通过将图像拾取数据D1乘以校正因子k获得图像拾取数据D3 )。这里，
14在|3= 1的情况下，pl2 = mx s由公式(18)确定。 k=(3x{L/(I>f2)} …(17) P=(mxs)/pl2 ...(18)
在这种配置中，在本实施例中，图像高度校正部分149对图像拾取数据 Dl执行图像高度校正，使得由单个微镜头12-1在图像拾取器件13上形成的 图像(单位图像)在预定方向上的图像大小(对应于微镜头12-1之间的间距 p12)等于在像素P的预定方向上的像素大小的整数倍。因此，在通过这种图 像高度校正获取的图像拾取数据D3中，不管孔径光阑IO的位置(孔径光阑 IO和微镜头阵列12之间的距离L),图像拾取器件13的感光平面(在更靠近 微镜头阵列12—侧的平面)中的图像高度偏差(图像高度偏差量A的图像高 度偏差)不会出现。因此，当由图像处理部分14A通过使用执行图像高度角 度获取的图像拾取数据D3形成重建图像时，如在第一实施例中获取图像拾 取数据以便包括关于光的行进方向的信息的情况下，可以形成正确的重建图 像而不管主镜头(图像拾取镜头11 )的孔径光阑10的位置。
尽管参照第 一 和第二实施例描述了本发明，但是本发明不限于各实施例，
而可以不同地<务改。
例如，在第一实施例中，描述了各微镜头12-l之间的间距pl2满足上述 公式(l)的情况，并且在第二实施例中，描述了由图像高度校正部分149执 行的图像高度校正的情况。然而，例如，第一和第二实施例中描述的配置可 以组合。更具体地，各微镜头12-l之间的间距pl2可以满足上述公式(11)， 并且可以由图像高度校正部分149执行的图像高度校正。
此外，在上述实施例中，图像处理部分14和14A描述为图像拾取装置 的组件。然而，图像处理部分不必安排在图像拾取装置中。更具体地，图像 处理部分可以安排在不同于图像拾取装置的装置中，例如，PC(个人计算机) 等，并且在图像拾取装置中获取的图像拾取数据可以发送到PC以在PC中对 图像拾取数据执行图像处理。
此外，在上述实施例中，孔径光阑安排在图像拾取镜头的图像侧(出口 侧)。然而，本发明不限于此，并且孔径光阑可以安排在图像拾取镜头的对象 侧(入射侧)或在图像拾取镜头中。
在上述实施例中，作为滤色镜的示例，描述了具有拜尔安排的滤色镜， 其中三种基色(即，红色(R)、绿色(G)和蓝色(B))的滤色镜以网状模式、以R: G: B=l: 2: 1的比率安排。然而，可以使用具有任何其它安排 的滤色镜。例如，可以使用具有这样安排的滤色镜(赠送(complimentary) 滤色镜)，其中四种赠送颜色(即，黄色(Y)、品红(M)、青色(C)和绿 色(G))的滤色镜(黄色滤色镜、品红色滤色镜、青色滤色镜和绿色滤色镜) 以网状模式、以Y: M: C: G=l: 1: 1: 1的比率安排。
在上述实施例中，demosaic处理描述为图像拾取数据中的像素数据的插 值处理的示例。然而，可以执行任何其它插值处理。
在上述实施例中，作为包括在图像处理部分14中执行的分类处理的图像 处理的示例，描述了使用"光场摄影"的再聚焦算术处理。然而，包括这种 分类处理的图像处理不限于此，并且例如可以使用焦距模糊处理、场深度调 整处理等。
本领域技术人员要理解的是，依赖于设计要求和其它因数可以出现各种 修改、组合、子组合和替换，只要它们在权利要求或其等效的范围内。 相关申请的交叉引用
本申请包括涉及于2008年1月28日向日本专利局提交的日本专利申请 JP 2008-016716的主题，在此通过引用并入其全部内容。
权利要求
1. 一种图像拾取装置，包括图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；以及微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头，其中满足以下公式(1)p＝(m×s)×{L/(L+f)} ...(1)其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
2. 如权利要求1所述的图像拾取装置，还包括图像处理部分，其对由图像拾取器件获取的图像拾取数据执行预定的图 像处理。
3. —种图像拾取装置，包括 图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据； 微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件 之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所 述图像拾取器件的多个图像拾取像素提供每个微镜头，以及图像高度校正部分，其对由图像拾取器件获取的图像拾取数据执行图像 高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的 图像大小等于在预定方向上图像拾取像素的像素大小的整数倍。
4. 如权利要求3所述的图像拾取装置，其中所述图像高度校正部分通过使用由下面的公式(2)和(3)表示的校正 因子k ，对图像拾取数据执行图像高度校正， k=(3x{I7(L+f)} …(2) P=(mxs)/p …(3)其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微 镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
5.如权利要求3所述的图像拾取装置，还包括图像处理部分，其对由图像高度校正部分通过图像高度校正获取的校正 图像拾取数据执行预定的图像处理。
全文摘要
一种图像拾取装置，包括图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；以及微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头，其中满足以下公式(1)p＝(m×s)×{L/(L+f)}…(1)，其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
文档编号H01L27/146GK101500086SQ200910009858
公开日2009年8月5日 申请日期2009年1月24日 优先权日2008年1月28日
发明者山本健二, 早坂健吾 申请人:索尼株式会社