图像处理装置和图像处理方法
【技术领域】
[0001] 本发明涉及对利用一部分像素作为相位差方式的焦点检测元件来检测焦点状态 的摄像元件的像素输出进行处理的图像处理装置和图像处理方法。
【背景技术】
[0002] 例如在日本特许第3592147号公报中提出了与利用摄像元件的一部分像素作为 焦点检测元件来检测焦点状态的摄像装置有关的技术。在日本特许第3592147号公报中， 将摄像元件的一部分像素设定为相位差检测像素，使穿过相对于摄影镜头的光轴中心对称 的不同瞳区域后的被摄体光束在多个相位差检测像素中成像，通过检测该被摄体光束之间 的相位差，检测摄影镜头的焦点状态。
[0003] 这里，关于相位差检测像素，例如一部分区域被遮光，以使得能够接收穿过摄影镜 头的不同瞳区域后的被摄体光束的一方。因此，相位差检测像素成为无法直接作为图像使 用的缺陷像素。因此，在日本特开2010-062640号公报所公开的摄像装置中，通过对相位差 检测像素的像素输出进行增益调整或使用周边像素进行插值，能够用于记录和显示。
[0004] 但是，除了入射光的角度、相位差检测像素中形成的遮光膜的位置以外，入射到相 位差检测像素的光的量还根据像高而不同。进而，入射到相位差检测像素的光的角度根据 摄影镜头等光学系统的制造偏差和配置在摄像元件的前表面的微镜头的制造偏差而不同。 为了提高增益调整的精度，期望正确检测每个相位差检测像素的光量的降低量，根据检测 到的降低量来设定增益调整量。
【发明内容】
[0005] 本发明是鉴于所述情况而完成的，其目的在于，提供在对来自具有相位差检测像 素的摄像元件的像素输出进行处理的摄像装置中能够进一步抑制由于相位差检测像素而 引起的画质降低的图像处理装置和图像处理方法。
[0006] 本发明的第1方式的图像处理装置对来自具有摄像像素和相位差检测像素的摄 像元件的像素输出进行处理，其中，该图像处理装置具有：像素混合部，其对多个所述像素 输出进行混合；以及图像处理部，其使用每个所述混合后的像素输出的所述相位差检测像 素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一 个以上的信息，对像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
[0007] 本发明的第2方式的图像处理方法对来自具有摄像像素和相位差检测像素的摄 像元件的像素输出进行处理，其中，该图像处理方法包括以下步骤：对多个所述像素输出进 行混合；以及使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像 素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输 出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
[0008] 根据本发明，能够提供在对来自具有相位差检测像素的摄像元件的像素输出进行 处理的摄像装置中能够进一步抑制由于相位差检测像素而引起的画质降低的图像处理装 置和图像处理方法。
[0009] 本发明的优点将在以下的说明中阐述，部分的优点将通过说明变得清楚，或者可 以通过本发明的实践而得知。可以通过以下特别指出的手段和组合实现和获得本发明的优 点。
【附图说明】
[0010] 图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机的结构 的框图。
[0011] 图2是示出摄像元件的像素排列的例子的图。
[0012] 图3是示出图像处理部的详细结构的图。
[0013] 图4A是示出增益量估计部的结构的图。
[0014] 图4B是示出增益校正部的结构的图。
[0015] 图5A是示出摄像像素21a中的像的成像状态的图。
[0016] 图5B是示出相位差检测像素21b中的像的成像状态的图。
[0017] 图6是示出摄像装置的动态图像记录处理的流程图。
[0018] 图7A是示出2X2像素混合读出前的像素配置的图。
[0019] 图7B是示出2X2像素混合读出后的像素配置的图。
[0020] 图8A是示出3X3像素混合读出前的像素配置的图。
[0021] 图8B是示出3X3像素混合读出后的像素配置的图。
【具体实施方式】
[0022] 下面，参照附图对本发明的实施方式进行说明。
[0023] 图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机（以下简 称为照相机）的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表 示控制信号流。
[0024] 图1所示的照相机1具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部 19、摄像元件21、摄像控制电路23、A-AMP 25、模拟数字转换部（ADC) 27、CPU 29、图像处理 部31、焦点检测电路33、视频编码器35、显示部37、总线39、DRAM(Dynamic Random Access Memory :动态随机存取存储器）41、ROM (Read Only Memory :只读存储器）43、记录介质45。
[0025] 摄影镜头11是用于在摄像元件21上形成来自被摄体100的像的摄影光学系统。 摄影镜头11具有用于调节对焦位置的对焦镜头，并且也可以构成为变焦镜头。光圈13配 置在摄影镜头11的光轴上，构成为其口径可变。光圈13限制穿过摄影镜头11的来自被摄 体100的光束的量。机械快门15构成为开闭自如。机械快门15对来自被摄体100的被摄 体光束入射到摄像元件21的入射时间（摄像元件21的曝光时间）进行调节。作为机械快 门15,可以采用公知的焦面快门、镜头快门等。驱动部17根据来自CPU 29的控制信号进行 摄影镜头11、光圈13和机械快门15的驱动的控制。
[0026] 操作部19包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮这样的各 种操作按钮和触摸面板等各种操作部件。该操作部19检测各种操作部件的操作状态，将表 示检测结果的信号输出到CPU 29。这里，通过本实施方式的操作部19,能够选择照相机1 的拍摄模式。即，用户通过对操作部19进行操作，能够从静态图像拍摄模式和动态图像拍 摄模式中选择照相机1的拍摄模式。静态图像拍摄模式是用于拍摄静态图像的拍摄模式， 动态图像拍摄模式是用于拍摄动态图像的拍摄模式。
[0027] 摄像元件21配置在摄影镜头11的光轴上的机械快门15的后方且通过摄影镜头 11使被摄体光束成像的位置。摄像元件21构成为二维配置有构成像素的光电二极管。这 里，本实施方式中的摄像元件21具有用于取得记录和显示用的图像的摄像像素和用于进 行焦点检测的相位差检测像素。
[0028] 构成摄像元件21的光电二极管生成与受光量对应的电荷。光电二极管产生的电 荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。 本实施方式中的摄像元件21具有多个不同的电荷的读出方式。根据来自摄像控制电路23 的控制信号读出摄像元件21中蓄积的电荷。
[0029] 并且，在构成像素的光电二极管的前表面配置有例如拜耳排列的彩色滤镜。拜耳 排列在水平方向上具有交替配置R像素和G (Gr)像素的行和交替配置G (Gb)像素和B像素 的行。
[0030] 作为像素混合部发挥功能的摄像控制电路23根据来自CPU 29的控制信号设定摄 像元件21的驱动模式，根据与所设定的驱动模式对应的读出方式进行来自摄像元件21的 图像信号的读出。例如，在实时取景显示时和动态图像记录时这样的来自摄像元件21的像 素数据的读出要求实时性的驱动模式的情况下，为了能够高速进行像素数据的读出，混合 读出来自多个相同颜色像素的像素数据或间疏读出特定像素的像素数据。另一方面，例如 在静态图像的记录时这样的与实时性相比更加要求画质的驱动模式的情况下，不进行混合 读出或间疏读出，通过读出全部像素的像素数据来维持分辨率。
[0031] A-AMP 25根据摄像控制电路23的控制，对从摄像元件21中读出的图像信号进行 放大。与摄像元件21、摄像控制电路23、A-AMP 25-起作为摄像部发挥功能的ADC 27将 从A-AMP 25输出的图像信号转换为数字形式的图像信号（像素数据）。下面，在本说明书 中，将多个像素数据的集合记载为摄像数据。
[0032] CPU 29根据ROM 43中存储的程序进行照相机1的整体控制。图像处理部31对摄 像数据实施各种图像处理而生成图像数据。例如，在静态图像的记录时，图像处理部31实 施静态图像记录用的图像处理而生成静态图像数据。同样，在动态图像的记录时，图像处理 部31实施动态图像记录用的图