图像处理设备、图像处理方法、程序和具有该图像处理设备的摄像设备的制造方法
【技术领域】
[0001] 本发明设及一种图像处理设备、图像处理方法、程序和具有该图像处理设备的摄 像设备，尤其设及用于对视差图像或用于重调焦的图像数据进行处理的图像处理设备、图 像处理方法和程序，W及具有该图像处理设备的摄像设备。
【背景技术】
[0002] 提出了该样一种摄像设备，其中，该摄像设备将摄像镜头的出射光瞳分割成多个 区域，并且可W同时拍摄与分割的光瞳区域相对应的多个视差图像。
[0003] P化1公开了一种具有二维摄像元件的摄像设备，其中，在该二维摄像元件中，一 个像素对应于一个微透镜，并且像素由多个分割的光电转换单元形成。分割的光电转换单 元配置成通过一个微透镜接收来自摄像镜头的出射光瞳的不同的部分光瞳区域的光，并且 进行光瞳分割。根据通过对分割的光电转换单元中的每一个所接收到的被摄体光进行光电 转换所生成的图像信号，可W形成与分割的部分光瞳区域相对应的多个视差图像。FTL 2公 开了该样一种技术；通过对从分割的光电转换单元所输出的所有图像信号进行逐像素相加 来生成摄像图像。
[0004] 多个拍摄的视差图像相当于用作光强度的空间分布信息和角度分布信息的光场 (L巧数据。NPL 1公开了该样一种重调焦技术，该技术通过使用所获取的LF数据在不同于 摄像平面的虚拟聚焦平面上形成图像来在摄像之后改变摄像图像的聚焦位置。
[00化]义献列表
[OOOd 专利义献
[0007] ?化 1:美国专利 4410804
[000引 ？化2:日本特开2001-083407
[0009] 非专利义献
[0010] NPL 1:Stanford Tech R巧ort CTSR 2005-02, 1(2005)
【发明内容】
[0011] 巧术问颗
[0012] 然而，存在下面的问题；由于LF数据由多个视差图像构成、并且除光强度的空间 分布信息W外，还包含每一像素的角度分布信息，因而数据量大。
[0013] 考虑到上述问题做出本发明，并且本发明的目地是提供一种可W保持必要信息、 并且抑制LF数据的数据量的图像处理设备和方法。
[0014] 间願的解决方秦
[0015] 根据本发明，提供一种图像处理设备，其用于对通过摄像元件所获取的子像素的 摄像信号进行处理，并且生成通过所述摄像元件所拍摄的摄像图像的图像数据，其中，所述 摄像元件通过排列多个像素来构成，所述多个像素中的每一个像素由用于接收穿过调焦光 学系统的不同部分光瞳区域的光的多个子像素构成，所述图像处理设备包括；区域设置单 元，用于在所述摄像图像上设置至少一个区域；相加处理单元，用于对所设置的区域的子像 素的摄像信号进行相加处理；图像处理单元，用于基于所述区域设置单元所设置的区域的 子像素的摄像信号来获得聚焦信息，控制所述区域设置单元W基于所获得的聚焦信息设置 第一区域和不同于所述第一区域的第二区域，并且控制所述相加处理单元W对所设置的第 一区域和第二区域的子像素的摄像信号进行不同程度的相加处理，从而生成第一图像数据 和第二图像数据作为拍摄图像的图像数据。
[001 d 发巧的优点效果
[0017] 根据本发明的图像处理设备，可W在保持必要信息的同时，抑制LF数据的数据 量。
[0018] 通过W下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
【附图说明】
[0019] 图1是应用根据本发明实施例的图像处理的摄像设备的框图。
[0020] 图2是示意性示出根据本发明实施例的摄像元件中的像素阵列的图。
[0021] 图3A和3B是示出根据本发明实施例的摄像元件的像素结构的图。
[0022] 图4A、4B、4C和4D是示出在光学上大体相当于根据本发明实施例的摄像元件的像 素结构的像素结构的图。
[0023] 图5是概念性示出根据本发明实施例的摄像元件中的像素和光瞳分割之间的关 系的图。
[0024] 图6是概念性示出根据本发明实施例的摄像元件和光瞳分割之间的关系的图。
[0025] 图7是概念性示出根据本发明实施例的摄像元件中的视差图像之间的图像移位 量和离焦量的图。
[0026] 图8是概念性示出根据本发明实施例的摄像元件中的子像素和可W获取的角度 信息之间的关系的图。
[0027] 图9A和9B是概念性示出根据本发明实施例的摄像元件中的重调焦处理的图。 [002引图10是示出根据本发明第一实施例的图像处理操作的流程图的图。
[0029] 图11是示意性示出根据本发明第一实施例的图像处理操作的流程的图。
[0030] 图12是示出根据本发明实施例的摄像元件的读出电路的图。
[0031] 图13是示出根据本发明第一实施例的记录数据的结构的图。
[0032] 图14是示出本发明第一实施例中的第一区域和第二区域的另一设置例子的图。
[0033] 图15是示出根据本发明第二实施例的图像处理操作的流程图的图。
[0034] 图16是示意性示出根据本发明第二实施例的图像处理操作的流程的图。
【具体实施方式】
[0035] 下面基于附图详细说明本发明的典型实施例。
[003引 连施例1
[0037] 图1是示出用作应用根据本发明的图像处理设备和方法的摄像设备的照相机的 结构的框图。该摄像设备具有如稍后所述的可W获取LF数据的摄像元件。
[003引在该图中，第一透镜组101配置在调焦光学系统前面，并且保持为可在光轴方向 上前后移动。光圈快口 102通过调节开口直径，进行摄像时的光量调节，并且还具有作为用 于对静止图像的摄像时的曝光时间进行调节的快口的功能。设置有第二透镜组103。光圈 快口 102和第二透镜组103在光轴方向上整体前后移动，从而通过与第一透镜组101的向 后/向前操作的联动来实现变倍效果（缩放功能）。
[0039] 第=透镜组105通过在光轴方向上的向后/向前运动来进行焦点调节。光学低通 滤波器106是用于降低摄像图像的伪色和摩尔纹的光学元件。摄像元件107由二维CMOS 光电传感器和外围电路构成，并且被配置在调焦光学系统的调焦平面上。
[0040] 为了进行变倍操作，变焦致动器111转动凸轮筒（未示出），并且在光轴方向上前 后驱动第一透镜组101或者第=透镜组105。为了调节摄像光量，光圈快口致动器112控制 光圈快口 102的开口直径，并且控制静止图像的摄像时的曝光时间。为了进行焦点调节，调 焦致动器114在光轴方向上前后驱动第=透镜组105。
[0041] 尽管优选将使用氣气管的闪光照明设备作为用于在摄像时照明被摄体的电子闪 光灯115,但是可W使用具有连续发光LED的照明设备。AF辅助光单元116通过光投影透 镜将具有预定开口图案的掩模的图像投影至视野，从而提高对暗被摄体或者低对比度被摄 体的焦点检测能力。
[0042] 设置在照相机中的CPU 121进行对照相机机体的各种类型的控制。CPU 121具有 算术运算单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。CPU 121装载并执行 存储在ROM中的预定程序，从而驱动和控制对于照相机所设置的各种类型的电路、并且实 现AF、摄像、图像处理和诸如记录等的一系列操作。因此，CPU 121是构成根据本发明的图 像处理设备的单元，并且进行图像处理设备中的图像处理控制。
[0043] 电子闪光灯控制单元122与摄像操作同步控制照明单元115的on/off。辅助光驱 动单元123与焦点检测操作同步控制AF辅助光单元116的on/off。摄像元件驱动单元124 控制摄像元件107的摄像操作，对所获取的摄像信号进行A/D转换，并且发送至CPU 121。 图像处理单元125对通过摄像元件107所获取的图像信号执行诸如伽马转换、颜色插值和 JPEG压缩等的处理。
[0044] 调焦驱动单元126基于焦点检测结果驱动调焦致动器114,并且在光轴方向上前 后驱动第=透镜组105 W进行焦点调节。光圈快口驱动单元128驱动光圈快口致动器112， 并且控制光圈快口 102的开口。变焦驱动单元129根据拍摄者的变焦操作，驱动变焦致动 器 111。
[0045] 诸如LCD等的显示单元131显示与照相机的摄像模式有关的信息、摄像之前的预 览图像、摄像之后用于确认的图像和焦点检测时的聚焦状态显示图像等。操作开关组132 由电源开关、释放（摄像触发器）开关、变焦操作开关和摄像模式选择开关等构成。通过记 录单元134, W预定记录格式将摄像图像记录在可拆卸的闪速存储器133中。
[0046] 接着说明对于摄像设备所设置的摄像元件107。
[0047] 图2示意性示出根据本实施例的摄像元件107的像素阵列和子像素阵列。
[0048] 图2通过（4行X4列）的范围示出根据本实施例的二维CMOS传感器（摄像元 件）的像素阵列。由于根据本实施例的摄像元件的每一像素被分成（4X4)子像素，因而图 2示出在考虑子像素阵列时的（16行X 16列的）子像素的范围。实际摄像元件不局限于图 2所示的像素阵列（4行X4列）（16行X 16列的子像素阵列），但是可WW在光接收平面 上配置许多像素的方式来构成，从而使得能够拍摄被摄体图像。通过假定下面的摄像元件 来说明本实施例：在该摄像元件中，像素周期AX等于9.2ym、并且有效像素的数量Nu等 于10. 14百万像素（=横向上的3900列X垂直方向上的2600行），而子像素周期A X等 于2. 3 y m，并且有效子像素的数量N等于162百万像素（=横向上的15600列X垂直方向 上的10400行）。
[0049] 在本实施例中，在图2所示的（2行X2列）的像素组200中，分别将具有R(红 色）光谱灵敏度的像素200R配置在左上位置处，将具有G (绿色）光谱灵敏度的像素200G 配置在右上位置和左下位置处，并且将具有B (藍色）光谱灵敏度的像素200B配置在右下 位置处。此外，在每一像素中，二维配置Ne XNe (4行X4列）的子像素201~216。
[0050] 图3A示出在摄像元件的光接收侧（+Z侦。观看的情况下，图2所示的摄像元件的 一个像素200G的平面图。图3B示出在一y侧观看的情况下，沿图3A中的线3B-3B所截取 的横断面图。
[0化