像处理而生成动态图像数据。进而，在实时取景显示时，图 像处理部31实施显示用的图像处理而生成显示用图像数据。这种图像处理部31的结构在 后面详细说明。
[0033] 焦点检测电路33取得来自相位差检测像素的像素数据，根据所取得的像素数据， 使用公知的相位差方式计算摄影镜头11的相对于对焦位置的散焦方向和散焦量。
[0034] 视频编码器35将图像处理部31生成的显示用图像数据转换为视频数据，将该视 频数据输入到显示部37,使显示部37显示图像。
[0035] 显示部37例如是液晶显示器或有机EL显示器这样的显示部，例如配置在照相机1 的背面。该显示部37根据视频编码器35的动作来显示图像。显示部37用于实时取景显 不和已记录图像的显不等。
[0036] 总线39与ADC 27、CPU 29、图像处理部31、焦点检测电路33、DRAM 41、R0M 43、记 录介质45连接，作为用于转送在这些块中产生的各种数据的转送路而发挥功能。
[0037] DRAM 41是可电改写的存储器，暂时存储所述摄像数据（像素数据）、记录用图像 数据、显示用图像数据、CPU 29中的处理数据这样的各种数据。另外，作为暂时存储用，也可 以使用 SDRAM (Synchronous Dynamic Random Access Memory:同步动态随机存取存储器）。 ROM 43是罩幕式ROM或闪存等非易失性存储器。ROM 43存储CPU 29使用的程序、照相机 1的调整值等各种数据。记录介质45构成为内置或装填在照相机1中，将记录用图像数据 记录为规定的形式的图像文件。
[0038] 使用图2对摄像元件21的结构进行说明。图2是示出摄像元件21的像素排列的 例子的图。图2是拜耳排列的例子，但是，彩色滤镜的排列不限于拜耳排列，可以应用各种 排列。
[0039] 如上所述，拜耳排列的摄像元件21在水平方向上具有交替配置R像素和G(Gr)像 素的像素行和交替配置G(Gb)像素和B像素的像素行。换言之,在水平和垂直方向上反复 配置右侧的放大图所示的Gr像素、R像素、Gb像素、B像素这4个像素的组。
[0040] 在本实施方式中，在一部分摄像像素21a的位置处配置相位差检测像素21b。相 位差检测像素例如是通过遮光膜对左右的任意区域进行遮光的像素。在图2的例子中，沿 着垂直方向接近配置对左半面进行遮光的相位差检测像素（以下称为右开口相位差检测 像素）的行和对右半面进行遮光的相位差检测像素（以下称为左开口相位差检测像素）的 行。
[0041] 在高像素数的摄像元件的情况下，由于各个像素的面积较小，所以，可以认为在接 近配置的像素中形成大致相同的像。因此，通过如图2所示那样配置相位差检测像素，能够 利用图2的A行的相位差检测像素和B行的相位差检测像素的对儿来检测相位差。并且， 还能够利用C行的相位差检测像素和D行的相位差检测像素的对儿来检测相位差。
[0042] 这里，在图2的例子中，设相位差检测像素中的遮光区域为左右任意的区域。该情 况下，能够检测水平相位差。与此相对，通过设遮光区域为上下任意的区域或倾斜方向的区 域，也能够检测垂直相位差或倾斜方向的相位差。并且，只要具有某种程度的面积即可，遮 光面积也可以不是像素区域的1/2。进而，在图2中将相位差检测像素配置在G像素中，但 是，也可以配置在G像素以外的R像素、B像素中的任意一方中。并且，图2的例子示出了 通过对相位差检测像素的一部分区域进行遮光来进行瞳分割的例子，但是，相位差检测像 素只要能够选择性地接收穿过摄影镜头11的不同瞳区域的成对的被摄体光束中的一方即 可。因此，也可以不采用对一部分区域进行遮光的结构，例如通过瞳分割用的微镜头进行瞳 分割。进而，图2示出了沿着水平方向以4个像素周期配置相位差检测像素的例子。配置 相位差检测像素的周期不限于特定的周期。
[0043] 这里，由于相位差检测像素的一部分区域被遮光，所以光量降低。除了相位差检测 像素中形成的遮光膜的面积以外，该光量的降低还根据遮光膜的位置、入射到相位差检测 像素的光的角度、像高而不同。在图像处理部31中对这种光量的降低进行校正。
[0044] 图3是示出图像处理部31的详细结构的图。在图3中，省略图像处理部31以外 的块的图示。如图3所示，图像处理部31具有白平衡（WB)校正处理部311、增益量估计部 312、增益校正部313、插值判断处理部314、插值处理部315、同时化处理部316、亮度特性转 换部317、边缘强调处理部318、噪声降低（NR)处理部319、颜色再现处理部320。
[0045] WB校正处理部311通过利用规定的增益量放大摄像数据的各颜色成分，进行校正 图像的颜色平衡的白平衡校正处理。
[0046] 增益量估计部312估计在增益校正部313中用于对相位差检测像素的像素输出进 行校正的增益量。根据相位差检测像素相对于摄像像素的光量降低量来估计该增益量。根 据相位差检测像素的像素输出与相位差检测像素的附近的摄像像素的像素输出的比率来 计算相位差检测像素的光量降低量。增益校正部313根据增益量估计部312估计出的增益 量对相位差检测像素的像素输出进行校正。
[0047] 插值判断处理部314判断由增益校正部313进行增益校正后的相位差检测像素的 像素输出的应用比例。应用比例例如是增益校正后的相位差检测像素的像素输出和相位差 检测像素的周边的摄像像素的像素输出的加权相加时的加权系数。这里，周边的摄像像素 例如是相位差检测像素的周边的相同颜色（在拜耳排列的情况下为相同成分）的4个摄像 像素。当然，周边的摄像像素的像素数不限于4个像素。并且，例如根据相位差检测像素的 周边的摄像像素的像素输出的偏差（标准偏差）来判断应用比例。
[0048] 插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用 比例对由增益校正部313进行增益校正后的相位差检测像素的像素输出与其周边的摄像 像素的像素输出进行加权相加。
[0049] 同时化处理部316例如将对应于拜耳排列而经由摄像元件21输出的摄像数据等 的、1个像素对应于1个颜色成分的摄像数据转换为1个像素对应于多个颜色成分的图像数 据。亮度特性转换部317对图像数据的亮度特性（伽马特性）进行转换以使其适用于显示 和记录。边缘强调处理部318对使用带通滤波器等从图像数据中提取出的边缘信号乘以边 缘强调系数，将该结果与原来的图像数据进行相加，由此对图像数据中的边缘（轮廓）成分 进行强调。NR处理部319利用除心（coring)处理等去除图像数据中的噪声成分。颜色再 现处理部320进行用于使图像数据的颜色再现适当化的各种处理。作为该处理，例如存在 彩色矩阵运算处理。彩色矩阵运算处理是对图像数据乘以例如与白平衡模式对应的彩色矩 阵系数的处理。除此之外，颜色再现处理部320进行彩度/色相的校正。
[0050] 图4A是示出增益量估计部312的结构的图。增益量估计部312具有比率计算处 理部3121和遮光率计算处理部3122。
[0051] 比率计算处理部3121通过计算相位差检测像素的像素输出与其周边的摄像像素 的像素输出的比率，计算用于对各相位差检测像素的像素输出进行增益校正的遮光量。遮 光率计算处理部3122根据与摄像控制电路23的读出模式和摄像元件21中的相位差检测 像素的配置对应的开口朝向不同的相位差检测像素的像素输出的混入数，计算相位差检测 像素的每个开口朝向的遮光率（或采光率）。遮光率的计算在后面详细说明。
[0052] 图4B是示出增益校正部313的结构的图。增益校正部313具有校正量换算处理 部3131和增益乘法运算处理部3132。校正量换算处理部3131根据遮光率计算处理部3122 计算出的相位差检测像素的每个开口朝向的遮光率，计算用于对相位差检测像素的像素输 出进行校正的增益校正量。增益校正量的计算在后面详细说明。增益乘法运算处理部3132 通过对相位差检测像素的像素输出乘以校正量换算处理部3131计算出的增益校正量，对 相位差检测像素的像素输出进行校正。
[0053] 接着，参照图5A和图5B对具有相位差检测像素的摄像元件中产生的相位差偏移 进行说明。这里，图5A示出摄像像素21a中的像的成像状态。并且，图5B示出相位差检测 像素21b中的像的成像状态。
[0054] 为了简化说明，当设被摄体为点光源、摄影镜头11为对焦状态时，从被摄体射出 且穿过相对于摄影镜头11的光轴中心对称的不同瞳区域的成对儿的被摄体光束在摄像元 件21上的同一位置成像。这意味着，摄像像素21a中形成的被摄体像的峰值位置和相位差 检测像素21b中形成