摄像装置和图像校正方法以及图像处理装置和图像处理方法_2

文档序号:9204159阅读:来源:国知局
散焦方向以及散焦量。
[0041] 视频编码器35读出通过图像处理部31生成的且在DRAM 41中暂时存储的显示用 图像数据,并将读出的显示用图像数据输出至显示部37。
[0042] 显示部37是例如液晶显示器或者有机EL显示器这样的显示部,配置于例如照相 机1的背面等。该显示部37根据从视频编码器35输入的显示用图像数据来显示图像。显 不部37用于实时取景显不或者记录完成图像的显不等。
[0043] 总线39与ADC 27、CPU 29、图像处理部31、焦点检测电路33、视频编码器35、DRAM 41、ROM 43、记录介质45连接,并传输这些模块产生的各种数据。
[0044] DRAM 41是能够电改写的存储器,暂时存储上述的摄像数据(像素数据)、记录用 图像数据、显示用图像数据、CPU 29中的处理数据这样的各种数据。另外,作为暂时存储用, 也可以使用SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存取存储 器)。
[0045] 作为存储部的一例而发挥功能的ROM 43是光罩式ROM或者闪速存储器等非易失 性存储器。ROM 43存储CPU 29中使用的程序、照相机1的调整值等各种数据。
[0046] 记录介质45构成为内置或者自由装填在照相机1中,将记录用图像数据作为规定 形式的图像文件而记录。
[0047] 图2是示出图像处理部31的详细结构的图。在图2中,省略了对图像处理部31 以外的模块的图示。
[0048] 图像处理部31具有:白平衡(WB)校正处理部311、光轴位置估计处理部312、像素 校正部313、同时化处理部314、亮度特性转换部315、边缘强调处理部316、噪声降低(NR) 处理部317、颜色再现处理部318、失真校正部319、色像差校正部320。此外,虽然省略了图 示,但是图像处理部31还具有压缩解压缩处理部等。
[0049] WB校正处理部311通过按照规定的增益量将摄像数据的各颜色成分放大来校正 图像的颜色平衡。
[0050] 光轴位置估计处理部312根据摄像数据中的摄像像素的像素输出与相位差检测 像素的像素输出,来估计摄像元件21的摄像面上的摄影镜头11的光轴的位置(像高的基 准位置)。像素校正部313根据光轴位置估计处理部312的估计结果来校正相位差检测像 素的像素输出。有关光轴位置估计处理部312以及像素校正部313的详细情况在后面进行 说明。
[0051] 同时化处理部314将例如对应于拜耳排列而经由摄像元件21输出的摄像数据等 1个像素对应1个颜色成分的摄像数据转换为1个像素对应多个颜色成分的图像数据。
[0052] 亮度特性转换部315对在同时化处理部314中生成的图像数据的亮度特性进行转 换以适应显示或者记录。
[0053] 边缘强调处理部316将使用带通滤波器等从图像数据提取出的边缘信号乘以边 缘强调系数,通过将该结果加到原来的图像数据上来强调图像数据的边缘(轮廓)成分。
[0054] NR处理部317使用取芯处理等来去除图像数据中的噪声成分。
[0055] 颜色再现处理部318进行用于将图像的颜色再现变得较合适的各种处理。作为该 处理,例如存在颜色矩阵运算处理。该颜色矩阵运算处理是对图像数据乘以例如与白平衡 模式对应的颜色矩阵系数的处理。此外,颜色再现处理部318进行饱和度/色调的校正。
[0056] 失真校正部319校正图像数据中的畸变像差。例如,失真校正部319根据用于校 正畸变像差的规定的函数来进行失真校正前的图像数据的坐标转换,从而校正图像数据中 的畸变像差。失真校正部319计算使在光轴位置估计处理部312中估计出的光轴的位置成 为中心的坐标转换函数。
[0057] 与失真校正部319 -起作为光学特性校正部的一例而发挥功能的色像差校正部 320对图像数据中的色像差进行校正。例如,色像差校正部320根据用于校正色像差的规定 的函数来进行使色像差校正前的R、G、B的图像数据的各个位置一致的坐标转换,从而校正 图像数据中的色像差。色像差校正部320对R、G、B的图像数据进行对位,使得在光轴位置 估计处理部312中估计出的光轴的位置成为各个图像数据的中心。
[0058] 图3是示出光轴位置估计处理部312的详细结构的图。光轴位置估计处理部312 具有关系式计算部3121、交点计算部3122。
[0059] 关系式计算部3121计算表示相位差检测像素的像素输出与像高的关系的关系 式。该关系式计算部3121具有电平变化检测部3121a、频率变化检测部3121b、图案变化检 测部3121c、计算部3121d。
[0060] 电平变化检测部3121a检测相位差检测像素与其附近的摄像像素之间的像素输 出的变化(像素数据的值之比或者像素数据的值之差)。频率变化检测部3121b对各相位 差检测像素检测位于与各相位差检测像素的相位差检测的方向不同的方向的多个摄像像 素的像素输出的变化。图案变化检测部3121c检测位于检测到电平变化的相位差检测像素 与其附近的摄像像素各自附近的摄像像素间的像素输出的变化。计算部3121d使用电平变 化检测部3121a的检测结果、频率变化检测部3121b的检测结果、图案变化检测部3121c的 检测结果来计算表示相位差检测像素的像素输出与像高的关系的关系式。有关这些电平变 化检测部3121a、频率变化检测部3121b、图案变化检测部3121c、计算部3121d在后面进行 详细说明。
[0061] 关于2种相位差检测像素的每1种,交点计算部3122将通过关系式计算部3121 计算出的关系式的交点作为摄影镜头11的光轴的位置来计算。
[0062] 使用图4对摄像元件21的结构进行说明。图4是示出摄像元件21的像素排列的 图。此外,在图4的右侧,将一部分像素放大示出。图4是拜耳排列的例子,但是滤色器的 排列不限于拜耳排列,能够应用各种排列。
[0063] 如上所述,拜耳排列的摄像元件21具有在水平方向上交替配置R像素与G(Gr)像 素的行以及交替配置G(Gb)像素与B像素的行。换言之,拜耳排列的摄像元件21配置为, 右侧的放大图中示出的Gr像素、R像素、Gb像素、B像素的4个像素组在水平以及垂直方向 上重复。
[0064] 在本实施方式中,在一部分摄像像素21a的位置配置相位差检测像素21b。相位差 检测像素是例如左右的任意一个区域被遮光膜遮光的像素。在图4的例子中,将左半面被 遮光的相位差检测像素(以下,称为右开口相位差检测像素)的行与右半面被遮光的相位 差检测像素(以下,称为左开口相位差检测像素)的行配置为沿垂直方向而接近。
[0065] 在高像素数的摄像元件的情况下,由于一个个像素的面积小,因此能够认为在接 近配置的像素上成像有大致相同的像。因此,通过如图4所示那样配置相位差检测像素,能 够通过图4的A行的相位差检测像素与B行的相位差检测像素的对来检测相位差。此外, 也能够通过C行的相位差检测像素与D行的相位差检测像素的对来检测相位差。
[0066] 在图4的例子中,使相位差检测像素中的遮光的区域为左右任意的区域。这种情 况下,能够检测水平相位差。与此相对,通过使遮光的区域为上下任意的区域,或者为倾斜 方向的区域,也能够检测垂直相位差或者倾斜方向的相位差。此外,遮光面积也可以不是像 素区域的1/2,只要具有一定程度的面积即可。进而,在图4中,将相位差检测像素配置于G 像素,但是也可以配置于G像素以外的R像素、B像素中的任意像素。
[0067] 此外,图4的例子示出了通过对相位差检测像素的一部分区域进行遮光来进行光 瞳分割的例子,但是相位差检测像素只要能够选择性地接受穿过了摄影镜头11的不同的 瞳孔区域的成对的被摄体光束中的一方即可。因此,也可以不是对一部分区域进行遮光的 结构,而是通过例如光瞳分割用的微型透镜来进行光瞳分割。
[0068] 参照图5A以及图5B对基于使用了如图4所示的摄像元件的相位差法的焦点检测 的原理进行说明。这里,图5A示出摄像像素21a中的像的成像状态。此外,图5B示出相位 差检测像素21b中的像的成像状态。
[0069] 如果被摄体是点光源,则摄影镜头11是对焦状态时,从被摄体出射且穿过了相对 于摄影镜头11的光轴中心而对称的不同的瞳孔区域的成对的被摄体光束在摄像元件21上 的同一位置成像。另一方面,摄影镜头11是非对焦状态时,从被摄体出射且穿过了摄影镜 头11的不同的瞳孔区域的成对的被摄体光束在摄像元件21上的不同位置成像。换言之, 在由这些成对的被摄体光束形成的像之间产生了相位差。通过根据由右开口相位差检测像 素与左开口相位差检测像素分别检测的像的相关关系来检测该相位差,从而检测摄影镜头 11的散焦量以及散焦方向。
[0070] 相位差检测像素21b由于一部分区域被遮光,因此产生了光量的下降。该光量的 下降除了根据在相位差检测像素21b上形成的遮光膜的面积的不同而不同之外,还根据遮 光膜的位置、向相位差检测像素21b入射的光的角度、像高而不同。这样的光量的下降通过 后述的像素输出校正处理来校正。
[0071] 以下,对本实施方式的摄像装置的具体的动作进行说明。图6是示出摄像装置的 动态图像记录(动态图像拍摄)动作的处理的流程图。在例如动态图像摄影模式中按下释 放按钮的情况下,开始动态图像记录动作。此外,CPU 29根据ROM 43中存储的程序来执行 图6所示的流程图的处理。另外,图6示出了动态图像记录动作,但是本实施方式的图像处 理方法也能够应用于静止图像记录动作。
[0072] 如果开始图6的流程图的动作,则CPU 29开始摄像数据的取入(步骤S101)。这 里,CPU 29向摄像控制电路23输入与现在的动作模式对应的设定数据。根据该设定数据, 摄像控制电路23控制来自摄像元件21的像素数据的读出。如果对摄像控制电路23设定 读出方式,则根据摄像控制电路23中设定的读出方式,从摄像元件21读出像素混合或者像 素间除的状态的图像信号。从摄像元件21读出的图像信号在ADC 27中被数字化之后,作 为摄像数据而暂时存储于DRAM 41。
[0073] 接下来,CPU 29对相位差检测像素的像素输出(相位信号)进行校正(步骤 S102)。在该相位信号校正处理中,利用在前一帧中执行的关系式计算处理的结果来对相
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1