[0067] 像素 rl的遮光率=rl/N (式2)
[0068] 另一方面，关于相位差检测像素的混入数为2个以上的像素，根据是否在混合后 的像素的像素输出中混入有开口朝向不同的相位差检测像素的像素输出，根据不同运算来 计算遮光率。
[0069] 首先，关于在混合后的像素的像素输出中未混入开口朝向不同的相位差检测像素 的像素输出的像素即像素 r2、12,与（式2)同样计算出混入有2个相位差检测像素的像素 输出的状态的遮光率后，进行用于换算为相位差检测像素的混入数为1个时的遮光率的计 算。例如，在设像素12的像素输出为12、像素12的周边的相同颜色像素 Nl的像素输出为 Nl时，如下计算图8B的像素12的混合中使用的各个相位差检测像素1的遮光率。关于像 素 r2,也能够同样计算遮光率。
[0070] 根据（式2)，如以下的（式3)所示计算像素12的遮光率。
[0071] 像素 I2的遮光率=12/N1 (式3)
[0072] 例如，在2X2像素混合读出中，在设2个相位差检测像素的输出均为0. 9、2个摄 像像素的输出均为1. 〇、相位差检测像素的周边的4个相同颜色的摄像像素的输出均为I. 0 时，式3的分子为0. 9X2+1. 0X2 = 3. 8,分母为1. 0X4,像素12的遮光率为0. 95。
[0073] 这里，在将通过（1-遮光率）计算出的值定义为采光率时，如以下的（式4)所示 计算像素12的采光率。
[0074] 像素12的采光率=1-像素12的遮光率（式4)
[0075] 相对于表不光束的入射难度的遮光率，米光率表不光束的入射容易度。但是，（式 4)是混入了 2个相位差检测像素的状态的采光率。因此，相位差检测像素的混入数为1个 时的采光率被计算为混入2个相位差检测像素的状态的采光率的平均值。因此，如以下的 (式5)所示计算1个像素1的采光率。
[0076] 像素1的采光率=像素12的采光率/2 (式5)
[0077] 因此，根据所述采光率的定义，如以下的（式6)所示计算1个像素 1的遮光率。
[0078] 像素1的遮光率=1-像素1的采光率（式6)
[0079] 接着，关于在混合后的像素的像素输出中混入有开口朝向不同的相位差检测像素 的像素输出的像素即像素!111、1'112^212^211，在与（式2)同样计算出混入有2个相位 差检测像素的像素输出的状态的遮光率后，进行用于换算为相位差检测像素的混入数为1 个时的遮光率的计算。但是，在右开口相位差检测像素和左开口相位差检测像素中分别计 算遮光率。为了在右开口相位差检测像素和左开口相位差检测像素中分别计算遮光率，建 立与遮光率有关的联立方程式。例如，在设像素 r211的像素输出为r211、像素 r 112的像素 输出为rll2、像素 r211和像素 rll2的周边的相同颜色像素 N3的像素输出为N3时，如下计 算图8B的像素 r211和像素 rll2的混合中使用的相位差检测像素 r的遮光率和相位差检 测像素1的遮光率。其他像素也能够同样计算遮光率。
[0080] 根据（式2)，分别如以下的（式7)所示计算像素 r211和像素 rll2的遮光率。
[0081] 像素 r211的遮光率=r211/N3
[0082] 像素 rll2的遮光率=rll2/N3 (式7)
[0083] 这里，可以认为像素 r211的遮光率是2个像素 r的遮光率与1个像素1的遮光率 之和，像素 r 112的遮光率是1个像素 r的遮光率与2个像素1的遮光率之和。但是，例如 像素 rll2的情况下的1个像素 r的遮光率的分子或2个像素1的遮光率的分子与（式3) 不同，在分子中不包含摄像像素的输出。例如，在2 X 2像素混合读出中，在设1个r的相位 差检测像素的输出为〇. 9、2个1的相位差检测像素的输出均为0. 5、相位差检测像素的周 边的4个相同颜色的摄像像素的输出均为I. 0时，1个像素 r的遮光率为0. 9/4 = 0. 225, 2 个像素1的遮光率成为〇· 5X2/4 = 0· 25,像素 rll2的遮光率为0· 225+0. 25 = 0· 475。
[0084] 因此，以下的（式8)所示的联立方程式成立。
[0085]
【主权项】
1. 一种图像处理装置，其对来自具有摄像像素和相位差检测像素的摄像元件的像素输 出进行处理，其中，该图像处理装置具有： 像素混合部，其对多个所述像素输出进行混合；以及 图像处理部，其使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝 向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对 像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
2. 根据权利要求1所述的图像处理装置，其中， 所述图像处理部具有增益校正部，该增益校正部对所述相位差检测像素的像素输出进 行增益校正，作为所述像素输出的校正。
3. 根据权利要求2所述的图像处理装置，其中， 所述图像处理部具有增益估计部，该增益估计部使用每个所述混合后的像素输出的所 述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混 入数中的任意一个以上的信息，估计所述增益校正部中的所述增益校正时的增益校正量， 以消除由于所述相位差检测像素而引起的画质劣化。
4. 根据权利要求1所述的图像处理装置，其中， 所述相位差检测像素的每个开口朝向的像素输出的混入数的信息和所述摄像像素的 像素输出的混入数的信息是根据所述相位差检测像素的配置周期和所述像素混合部对于 所述像素输出的混合方法而决定的。
5. 根据权利要求4所述的图像处理装置，其中， 所述像素输出的混合方法是根据所述像素输出的显示方式或记录方式而决定的。
6. 根据权利要求3所述的图像处理装置，其中， 在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素 输出在内的像素输出的情况下，所述增益估计部在不使用该开口朝向不同的所述相位差检 测像素的像素输出的情况下估计所述增益校正量。
7. 根据权利要求3所述的图像处理装置，其中， 在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素 输出在内的像素输出的情况下，所述增益估计部使用联立方程式求出开口朝向不同的每个 所述相位差检测像素的遮光率后，估计所述增益校正量。
8. 根据权利要求3所述的图像处理装置，其中， 在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素 输出在内的像素输出的情况下，所述增益估计部使用四则运算求出开口朝向不同的每个所 述相位差检测像素的遮光率后，估计所述增益校正量。
9. 一种图像处理方法，其对来自具有摄像像素和相位差检测像素的摄像元件的像素输 出进行处理，其中，该图像处理方法包括以下步骤： 对多个所述像素输出进行混合；以及 使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出 的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输出进行 校正以消除由于所述相位差检测像素而引起的画质劣化。
10. 根据权利要求9所述的图像处理方法，其中， 所述像素输出的校正是增益校正。
11.根据权利要求10所述的图像处理方法，其中， 在对所述像素输出进行校正的步骤中，使用每个所述混合后的像素输出的所述相位差 检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的 任意一个以上的信息，估计所述增益校正时的增益校正量，以消除由于所述相位差检测像 素而引起的画质劣化。
【专利摘要】图像处理装置和图像处理方法，图像处理装置对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，该图像处理装置包括像素混合部和图像处理部。像素混合部对多个所述像素输出进行混合。图像处理部使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
【IPC分类】H04N5-367, H04N5-378, H04N9-04
【公开号】CN104580949
【申请号】CN201410528304
【发明人】冈泽淳郎, 山崎辉彬, 福冨武史
【申请人】奥林巴斯株式会社
【公开日】2015年4月29日
【申请日】2014年10月9日
【公告号】US20150097992