数字相的制造方法
【专利摘要】在本发明中，对于带有偏置色相的对象准确地调整焦点。固态成像装置（20）具有正常像素（RN、GN、BN）、第一相差像素（RL、GL、BL），和第二相差像素（RR、GR、BR）。R、G和B表示为分别的每一个像素提供的滤色器滤色器的颜色。颜色依赖特性计算单元器（64）通过在颜色基础上将来自位于屏幕的中心处的正常像素（RN、GN、BN）的输出信号平均化，并且由此，计算平均输出（PR、PG、PB）。颜色确定单元部（65）基于平均输出（PR、PG、PB）在三基色中的平均输出（PR、PG、PB）确定主题对象的主要颜色。自动聚焦控制单元（27）在来自第一相差像素（RL、GL、BL）和第二相差像素（RR、GR、BR）中基于所确定的颜色的输出信号调整拍摄透镜（14）的焦点。
【专利说明】数字相机
【技术领域】
[0001]本发明涉及一种用于执行相位检测方法的自动焦点调整的数字相机。
【背景技术】
[0002]大多数数字相机包括用于执行自动焦点调整的自动聚焦装置(AF装置)。AF装置检查拍摄透镜的成像状态并且移动是拍摄透镜的一部分或者整个的聚焦透镜，以在固态成像装置诸如CXD或者CMOS的成像表面上清楚地形成主要对象的图像。
[0003]存在对比度检测方法的AF装置和相位检测方法的AF装置。在对比度检测方法中，在聚焦透镜在光轴方向上移动时作为合焦位置确定用于增大在来自相邻像素的信号之间的差异的累积值的透镜位置。在相位检测方法中，通过检测在穿过拍摄透镜的不同部分的光的入射位置之间的移位存在与否和移位幅度获得合焦位置。因为使用从固态成像装置获得的像素信号检测焦点，所以对比度检测方法是廉价的。因为在不移动聚焦透镜时检测聚焦状态，所以相位检测方法允许快速的AF控制。然而，由于需要相位检测传感器，相位检测方法趋向于由昂贵的型号采用。
[0004]例如，专利文献I和2公开了包括相位检测方法的AF装置的数字相机。还已知一种除了正常像素之外还设有两个类型的相差像素(第一和第二相差像素)由此消除对于专用的相位检测传感器的需要的固态成像装置(见专利文献3-5)。正常像素具有位于光电二极管的光接收表面的中心以上的正常开口部。正常像素光电地转换通过正常开口部在其上入射的光。第一相差像素具有相对于光电二极管的光接收表面的中心位置在第一方向上移位的第一偏心开口部。第二相差像素具有在与第一方向相反的第二方向上移位的第二偏心开口部。
[0005]正常开口部、第一偏心开口部、和第二偏心开口部通过用于覆盖其中形成光电二极管的半导体衬底的光屏蔽膜形成。第一和第二偏心开口部中的每一个的尺寸小于正常开口部的尺寸。
[0006]相差像素对于相对于像素的中心线从倾斜方向入射的光高度敏感。例如，第一相差像素对于从右上方向入射的光高度敏感。第二相差像素对于从左上方向入射的光高度敏感。
[0007]从第一相差像素获得的图像和从第二相差像素获得的图像根据拍摄透镜的聚焦状态在左右方向上移位。在该两个图像之间的移位量对应于拍摄透镜的焦点的移位量。当拍摄透镜合焦时该两个图像一致并且移位量为零。随着拍摄透镜进一步离焦，移位量增加。因此，通过检测每一个图像的移位方向和在从第一和第二相差像素获得的图像之间的移位量计算拍摄透镜的焦点调整量。
[0008]在专利文献3-5中公开的固态成像装置中，滤色器被设置用于第一和第二相差像素和正常像素。数字相机包括使用所有的正常像素、第一相差像素和第二相差像素以捕捉正常图像的固态成像装置。
[0009]现有技术文献[0010]专利文献
[0011]专利文献1:日本专利特开公报N0.2010-252277
[0012]专利文献2:日本专利特开公报N0.2007-158597
[0013]专利文献3:日本专利特开公报N0.2008-312073
[0014]专利文献4:日本专利特开公报N0.2009-157198
[0015]专利文献5:日本专利特开公报N0.2009-017152
【发明内容】
[0016]技术问题
[0017]在专利文献3-5中公开的固态成像装置中，第一和第二相差像素具有滤色器。因此，来自第一和第二相差像素的输出水平根据对象的颜色显著地降低。结果，不能准确地获得焦点调整量。例如，在其中第一和第二相差像素具有三个颜色即红色、绿色和蓝色的滤色器的情形中，当捕捉红色对象的图像时，带有绿色和蓝色滤色器的第一和第二相差像素的输出水平是低的。
[0018]本发明的一个目的在于提供一种即使对于带有偏置色相的对象仍然能够实现准确的焦点调整的数字相机。
[0019]技术方案
[0020]为了实现以上目的，本发明的数字相机包括拍摄透镜、固态成像装置、颜色依赖特性计算器、颜色确定部、自动聚焦检测器、和聚焦机构。拍摄透镜形成对象的图像。固态成像装置具有在其上布置三个类型的像素的成像表面。该三个类型的像素是具有不依赖于光的入射方向的敏感性的多个正常像素、对于第一入射方向的光高度敏感的多个第一相差像素、和对于与第一入射方向相反的第二入射方向的光高度敏感的多个第二相差像素。每一个像素具有至少三基色中的一个的滤色器。颜色依赖特性计算器在捕捉对象的彩色图像之后在颜色基础上执行来自正常像素的输出信号和来自第一和第二相差像素的输出信号中的一个或者两者的计算，以计算输出信号的颜色依赖特性。颜色确定部基于颜色依赖特性确定特定颜色。自动聚焦检测器基于来自在第一和第二相差像素中的、具有特定颜色的滤色器的像素的输出获得拍摄透镜的焦点调整量。聚焦机构根据焦点调整量将拍摄透镜设定于合焦位置。
[0021]优选的是颜色依赖特性计算器对于构成三基色的红色、绿色和蓝色中的每一种颜色将来自像素的输出信号平均化，以计算红色平均输出Pk、绿色平均输出Pe，和蓝色平均输出PB，并且从在两个颜色的平均输出之间的输出比率PK/PB、PK/Pe，和PB/Pe的幅度确定特定颜色。优选的是颜色依赖特性计算器使用来自位于成像表面的中心区域中的每一个像素的输出信号计算颜色依赖特性。
[0022]优选的是数字相机包括用于基于来自正常像素的输出信号产生二维正常图像的正常图像生成器。优选的是数字相机包括用于基于来自正常像素的输出信号和来自第一和第二相差像素的输出信号产生宽动态范围图像的宽动态范围图像生成器，并且宽动态范围图像的动态范围比正常图像的动态范围宽。优选的是数字相机包括用于基于来自第一和第二相差像素的输出信号产生视差图像的视差图像生成器。
[0023]优选的是在成像表面上的像素被布置为2X2的像素块，并且每一个像素块具有两个正常像素和第一和第二相差像素。优选的是三基色是第一颜色、第二颜色，和第三颜色，并且每一个像素块具有相同颜色的滤色器。
[0024]优选的是像素块被分类成六个类型:第一第一颜色像素块、第二第一颜色像素块、第一第二颜色像素块、第二第二颜色像素块、第一第三颜色像素块、和第二第三颜色像素块。第一N颜色像素块由在第一对角方向上布置的两个正常像素和在第二对角方向上布置的第一和第二相差像素构成，并且具有N颜色的滤色器。在第二 N颜色像素块中第一和第二相差像素的位置从在第一 N颜色像素块中的那些反转。
[0025]优选的是该数字相机具有第一像素块行和第二像素块行。优选的是第一像素块行和第二像素块行在列方向上交替布置。第一像素块行具有第一第一颜色像素块、第一第二颜色像素块、第二第一颜色像素块、和第二第二颜色像素块并按照此次序重复地布置。第二像素块行具有第一第二颜色像素块、第一第三颜色像素块、第二第二颜色像素块、第二第三颜色像素块并按照此次序重复地布置。在此情形中，优选的是第一颜色是绿色，并且第二颜色是蓝色，并且第三颜色是红色。
[0026]正常像素可以以预定间距布置在奇数行中。第一和第二相差像素可以以预定间距布置在偶数行中。第一和第二相差像素可以布置在相对于正常像素的位置在行方向上以一半间距移位的位置中。
[0027]在此情形中，优选的是三基色是第一颜色、第二颜色、第三颜色。优选的是该数字相机具有第一到第四像素行并在列方向上按照此次序重复地布置。在第一像素行中，具有第一颜色的滤色器的正常像素和具有第二颜色的滤色器的正常像素以预定间距交替布置。在第二像素行中，具有第一颜色的滤色器的第一相差像素、具有第二颜色的滤色器的第一相差像素、具有第一颜色的滤色器的第二相差像素、和具有第二颜色的滤色器的第二相差像素以预定间距按照此次序重复地布置。在第三像素行中，具有第二颜色的滤色器的正常像素和具有第三颜色的滤色器的正常像素以预定间距交替布置。在第四像素行中，具有第二颜色的滤色器的第一相差像素、具有第三颜色的滤色器的第一相差像素、具有第二颜色的滤色器的第二相差像素、和具有第三颜色的滤色器的第二相差像素以预定间距按照此次序重复地布置。在此情形中，优选的是第一颜色是蓝色、第二颜色是绿色，并且第三颜色是红色。
[0028]优选的是正常像素、第一相差像素、和第二相差像素中的每一个具有放置在滤色器之上的微型透镜、光屏蔽膜和光电二极管。光屏蔽膜具有在正常像素的光电二极管的中心之上形成的正常开口、在从第一相差像素的光电二极管的中心上方在一个方向上移位的位置中形成的第一偏心开口、和在从第二相差像素的光电二极管的中心上方在与该一个方向相反的另一个方向上移位的位置中形成的第二偏心开口。
[0029]每一个正常像素可以具有光电二极管、在光电二极管之上通过光屏蔽膜形成的开口、和放置在开口的中心线之上的微型透镜。每一个第一相差像素可以具有光电二极管、在光电二极管之上通过光屏蔽膜形成的开口、和从开口的中心线在一个方向上移位并且具有小直径的微型透镜。每一个第二相差像素可以具有光电二极管、在光电二极管之上通过光屏蔽膜形成的开口、和从开口的中心线在与该一个方向相反的另一个方向上移位并且具有小直径的微型透镜。
[0030]有益效果[0031]根据本发明，在颜色基础上执行来自正常像素的输出信号和来自第一和第二相差像素的输出信号中的一个或者两者的计算，以计算输出信号的颜色依赖特性。基于计算的颜色依赖特性确定颜色之一。基于来自具有作为确定的颜色的相同颜色的滤色器的第一和第二相差像素的输出信号获得焦点调整量。因此，即使对于带有偏置色相的对象，仍然准确地执行焦点调整。
【专利附图】
【附图说明】
[0032]图1是数字相机的框图。
[0033]图2是固态成像装置的平面图。
[0034]图3是沿着图2的线II1-1II截取的截面图。
[0035]图4是沿着图2的线IV-1V截取的截面图。
[0036]图5是光屏蔽膜的平面图。
[0037]图6是示出图像处理电路的框图。
[0038]图7是示出成像步骤的流程图。
[0039]图8是示出AF处理的流程图。
[0040]图9是示出第一和第二相差像素的修改实例的截面图。
[0041]图10是示出固态成像装置的另一个实例的平面图。
【具体实施方式】
[0042]在图1中，数字相机10具有CPUlI。CPUll从存储器(未示出)读出各种程序并且基于来自操作单元12的控制信号相继地运行这些程序。操作单元12包括快门释放按钮和各种操作按钮。CPUll控制数字相机10的每一个部分。
[0043]数字相机10具有正常成像模式、视差成像模式、和宽动态范围成像模式。在正常成像模式中，产生正常图像(二维静止图像)。在视差成像模式中，产生用于立体观察的视差图像。在宽DR成像模式中，产生带有比正常图像的宽的动态范围的宽动态范围图像(在下文中被称作宽DR图像)。操作单元12用于切换数字相机10的成像模式。
[0044]透镜单元13包含拍摄透镜14和机械快门15。拍摄透镜14包括可变焦透镜16和聚焦透镜17。可变焦透镜16和聚焦透镜17分别地被可变焦机构18和聚焦机构19驱动，并且在成像光轴01的方向上移动。机械快门15、可变焦机构18、和聚焦机构19的操作通过透镜驱动器21由CPUll控制。当变焦时，可变焦透镜16和聚焦透镜17在光轴方向上移动。当调整焦点时，聚焦透镜17在光轴方向上移动。注意可以通过移动整个拍摄透镜14调整焦点。
[0045]机械快门15具有快门叶片(未示出)。快门叶片在关闭位置和打开位置之间移动。在关闭位置中，快门叶片阻挡对象光进入固态成像装置20。在打开位置中，快门叶片允许对象光的入射。机械快门15将快门叶片移动到打开或者关闭位置以打开或者阻挡从拍摄透镜14到固态成像装置20的光路。透镜单元13包括用于控制在固态成像装置20上入射的对象光的光量的孔径光阑(未不出)。
[0046]固态成像装置20是将来自拍摄透镜14的对象光转换成电信号并且输出电信号的CMOS型图像传感器。CMOS驱动器23在CPUll的控制下控制固态成像装置20的驱动。[0047]图像处理电路22对于来自固态成像装置20的成像信号执行各种处理，诸如层次转换、白平衡校正和伽马校正并且由此产生图像数据。在正常成像模式中，图像处理电路22从已经经历图像处理的图像数据产生正常图像。在视差成像模式中，图像处理电路22产生由L视点图像和R视点图像构成的视差图像。在宽DR成像模式中，图像处理电路22产生宽DR图像。在每一个成像模式中，图像处理电路22产生用于焦点调整的L焦点检测图像数据和R焦点检测图像数据。
[0048]基于L焦点检测图像数据和R焦点检测图像数据，AF检测器26计算用于聚焦拍摄透镜14的焦点调整量(散焦量)。基于由AF检测器26计算的焦点调整量，CPUll的AF控制器27通过透镜驱动器21移动聚焦透镜17。因此执行焦点调整。注意焦点调整量的符号确定用于移动聚焦透镜17的方向。
[0049]压缩/解压电路29压缩在图像处理电路22中处理的每一个图像的图像数据。压缩/解压电路29解压通过介质I/F30从存储卡31读出的压缩图像数据。介质I/F30在存储卡31上记录每一项图像数据并且从存储卡31读出每一项图像数据。显示部32是液晶显示器等。显示部32显示取景图像(实时取景图像)、再现图像等。当捕捉视差图像时，显示部32显示立体图像。
[0050]在图2中，正常像素Rn、Gn和Bn、第一相差像素Rp Gl和Blj、第二相差像素Rr、Ge和Bk放置在固态成像装置20的成像表面20a中。这些像素被布置成正方形矩阵。这里，R、G和B表示为相应像素提供的滤色器的三基色。R代表红色。G代表绿色。B代表蓝色。每一个像素选择性地接收对应于滤色器的颜色的波长的光。
[0051]正常像素Bn用于在正常成像模式中产生正常图像(静止图像)数据。正常像素Rn、Gn和Bn的敏感性不依赖于入射光的方向。注意，在所有的正常像素Rn、Gn和Bn中的、位于屏幕的中心部分中的正常像素RN、Gn和Bn还在自动聚焦时用于确定颜色。
[0052]第一相差像素和和第二相差像素RK、GK、BK用于产生视差图像数据和聚焦检测图像数据。第一相差像素和的敏感性和第二相差像素RK、GK和Bk的敏感性依赖于入射光的方向。第一相差像素RpGlj和Blj对于特殊方向的入射光高度敏感。第二相差像素RK、Ge和Bk对于不同于特殊方向的方向的入射光高度敏感。
[0053]第一 R像素块34R1、第二 R像素块34R2、第一 G像素块34G1、第二 G像素块34G2、第一 B像素块34B1、和第二 B像素块34B2中的每一个由2X2正方形矩阵中的四个像素构成。
[0054]第一 R像素块34R1具有在第一对角方向(从右上到左下方向)上布置的两个正常像素Rn和在第二对角方向(从左上到右下)上布置的第一相差像素&和第二相差像素RK。除了第一相差像素Rl和第二相差像素Rr的位置从第一 R像素块34R1中的那些反转之外，第二 R像素块34R2与第一 R像素块34R1相同。
[0055]第一 G像素块34G1具有在第一对角方向上布置的两个正常像素Gn和在第二对角方向上布置的第一相差像素Gl和第二相差像素GK。除了第一相差像素Gl和第二相差像素Gk的位置从第一 G像素块34G1中的那些反转之外，第二 G像素块34G2与第一 G像素块34G1相同。
[0056]第一 B像素块34B1具有在第一对角方向上布置的两个正常像素Bn和在第二对角方向上布置的第一相差像素和第二相差像素Βκ。除了第一相差像素和第二相差像素Bk的位置从第一 B像素块34B1中的那些反转之外，第二 B像素块34B2与第一 B像素块34B1相同。
[0057]第一 G像素块34G1、第一 B像素块34B1、第二 G像素块34G2、和第二 B像素块34B2在行方向上按照此次序重复地布置以构成第一像素块行36。第一 R像素块34R1、第一 G像素块34G1、第二 R像素块34R2、和第二 G像素块34G2在行方向上按照此次序重复地布置以构成第二像素块行37。第一像素块行36和第二像素块行37在列方向上交替布置。
[0058]如众所周知地，固态成像装置20的每一个像素设有像素电路(未示出)。像素电路将存储在每一个像素的光电二极管41 (见图3和4)中的信号电荷转换成信号电压并且输出信号电压。固态成像装置20设有用于驱动像素电路的多条驱动线(未示出)和用于从相应像素读出信号电压的多条信号线(未示出)。注意在通过信号线读出信号电压之后，通过输出电路和放大器(这两者均未不出)将信号电压作为输出信号输出到图像处理电路22。
[0059]在图3和4中，光电二极管(PD)41设置在半导体衬底(Psub)40的表面层中。TO41由N型层形成。半导体衬底40由P型硅形成。上述像素电路(未示出)在半导体衬底40中形成。
[0060]透明绝缘膜43设置在半导体衬底40之上。绝缘膜43例如由二氧化硅(SiO2)形成。光屏蔽膜44设置在绝缘膜43之上。光屏蔽膜44例如由钨形成。
[0061]如在图5中所不，正常开口 45、第一偏心开口 46a、和第二偏心开口 46b通过光屏蔽膜44形成。这些开口具有圆形形状。第一和第二偏心开口 46a和46b中的每一个的直径小于正常开口 45的直径。
[0062]正常开口 45设置在分别的正常像素Rn、Gn和Bn之上。正常开口 45的中心位于PD41的中心线之上。因此,在正常像素Bn中的每一个的Η)41的表面之上的全部区域被暴露。
[0063]第一偏心开口 46a设置在相应的`第一相差像素Rp Glj和Blj之上。第一偏心开口46a的中心从TO41的中心线在向右方向上移位。因此，在第一相差像素&、Gl和&中的每一个的Η)41的表面之上的右区域被暴露。
[0064]第二偏心开口 46b设置在相应的第二相差像素RK、Gk和Bk之上。第二偏心开口46b的中心从TO41的中心线在向左方向上移位。因此，在第二相差像素R10G1^P Bk中的每一个的ro4i的表面之上的左区域被暴露。
[0065]透明平表面平坦化层48设置在光屏蔽膜44之上。滤色器阵列50设置在平坦化层48之上。滤色器阵列50由红色滤色器50R、绿色滤色器50G、和蓝色滤色器50B构成。
[0066]红色滤色器50R设置在正常像素Rn、第一相差像素&、和第二相差像素Rk中的每一个的TO41之上，并且红色光在这些TO41上入射。绿色滤色器50G设置在正常像素Gn、第一相差像素Gp和第二相差像素Gk中的每一个的Η)41之上，并且绿色光在这些Η)41上入射。蓝色滤色器50Β设置在正常像素Bn、第一相差像素和第二相差像素Bk中的每一个的HMl之上，并且蓝色光在这些HMl上入射。
[0067]微型透镜52设置在滤色器阵列50之上使得光轴02与TO41的分别的中心线一致。
[0068]从左倾斜方向在正常像素Rn、Gn和Bn中的每一个的微型透镜52上入射的入射光54L被收集到每一个相应的TO41的右区域上。从右倾斜方向入射的入射光54R被收集到每一个相应的Η)41的左区域上。正常像素Rn、Gn和Bn对于入射光54L和入射光54R这两者高度敏感，并且不依赖于入射光的方向。注意沿着光轴02的入射光在HMl的中心上入射。
[0069]入射光54L从左倾斜方向在第一相差像素Rl、Gl和Bl中的每一个的微型透镜52上入射。入射光54L穿过第一偏心开口 46a并且收集到TO41的右区域上。然而，从右倾斜方向入射的入射光54R被光屏蔽膜44阻挡。因此，第一相差像素Rl、Gl和Bl对于入射光54L
高度敏感。
[0070]入射光54R从右倾斜方向在第二相差像素R10G1^P Bk中的每一个的微型透镜52上入射。入射光54R穿过第二偏心开口 46b并且收集到PD41的左区域上。然而，从左倾斜方向入射的入射光54L被光屏蔽膜44阻挡。因此，第二相差像素RK、Ge和Bk对于入射光54R
高度敏感。
[0071]在图6中，图像处理电路22具有正常图像生成器58、视差图像生成器59、宽DR图像生成器60、和聚焦检测图像生成器61。
[0072]正常图像生成器58在正常成像模式中操作。正常图像生成器58基于来自正常像素Rn、Gn和Bn的输出信号产生正常图像数据。
[0073]视差图像生成器59在视差成像模式中操作。视差图像生成器59基于来自第一相差像素&、Gl和的输出信号产生L视点图像数据。视差图像生成器59基于来自第二相差像素RK、GK和Bk的输出信号产生R视点图像数据。由此获得了具有L和R视点图像数据的视差图像数据。
[0074]宽DR图像生成器60在宽DR成像模式中操作。宽DR图像生成器60基于来自所有的正常像素Rn、Gn和Bn、第一相差像素Rp Gl和和第二相差像素RK、Ge和Bk的输出信号产生宽DR图像数据。
[0075]如上所述，第一和第二偏心开口 46a和46b的开口中的每一个的直径小于正常开口 45的直径，使得在第一相差像素和与第二相差像素RK、GK和Bk中的每一个上的入射光的量小于在正常像素Rn、Gn和Bn中的每一个上的入射光的量。因此，第一相差像素Rl> Gl和与第二相差像素RK、Ge和Bk是低敏感性像素。正常像素Rn、Gn和Bn是高敏感性像素。通过将来自低敏感性像素的输出信号和来自高敏感性像素的输出信号相加获得宽DR图像数据。从日本专利特开公报N0.2011-059337等已知这种方法。
[0076]在正常成像模式或者宽DR成像模式中成像操作以预定周期重复。正常图像或者宽DR图像被输出到显示部32。由此显示部32显示取景图像。在视差成像模式中，L视点图像和R视点图像以预定周期产生并且被传输到显示部32。由此显示部32显示立体图像。注意在其中显示部32不能够显示立体图像的情形中显示部32显示L视点图像和R视点图像之一。因此，在显示部32上显示二维或者三维取景图像。
[0077]聚焦检测图像生成器61在每一个成像模式中操作。聚焦检测图像生成器61基于来自第一相差像素和与第二相差像素RK、GK和Bk的输出信号产生L焦点检测图像数据和R焦点检测图像数据。L焦点检测图像数据和R焦点检测图像数据被用于相位检测AF。更加具体地，聚焦检测图像生成器61在来自第一相差像素和与第二相差像素Re> Ge和Bk的输出信号中的、仅仅使用对应于红色(R)、绿色(G)和蓝色(B)之一的输出信号，以产生L焦点检测图像数据和R焦点检测图像数据。
[0078]聚焦检测图像生成器61具有颜色依赖特性计算器64和颜色确定部65。颜色依赖特性计算器64在颜色基础上将从在成像表面20a的中心区域中包括的正常像素Rn，Gn, Bn输出的输出信号平均化。由此颜色依赖特性计算器64计算平均值(平均输出)。更加具体地，通过将来自在中心区域中包括的正常像素Rn的输出信号平均化计算红色平均输出Ρκ。以类似的方式，通过将来自在中心区域中包括的正常像素Gn的输出信号平均化计算绿色平均输出Pe。通过将来自在中心区域中包括的正常像素Bn的输出信号平均化计算蓝色平均输出PB。
[0079]基于由颜色依赖特性计算器64计算的平均输出PK、P<^PPB中的每一项，颜色确定部65确定红色、绿色和蓝色颜色之一。更加具体地，颜色确定部65计算在红色平均输出Pe和蓝色平均输出Pb之间的输出比率(PK/PB)、在红色平均输出Pk和绿色平均输出Pe之间的输出比率(PK/Pe)和在蓝色平均输出Pb和绿色平均输出Pe之间的输出比率(PB/Pe)并且比较这些输出比率与预定值α、β和y。由此一个颜色被确定。在其中Ρκ/ΡΒ>α并且Pk/PG> β的情形中，该颜色被确定为红色。在其中ΡΚ/ΡΒ> α并且PK/Pe〈 β的情形中，或者在其*Ρκ/ΡΒ〈α并且PB/Pe〈Y的情形中，该颜色被确定为绿色。在其中Ρκ/ΡΒ〈α并且PB/Pe> Υ的情形中，该颜色被确定为蓝色。
[0080]在第一相差像素和与第二相差像素RK、GK和Bk中基于来自对应于由颜色确定部65确定的颜色的像素的输出信号，聚焦检测图像生成器61产生L焦点检测图像数据和R焦点检测图像数据。例如，在其中颜色被确定为红色的情形中，第一相差像素仏和第二相差像素Rk用于产生L焦点检测图像数据和R焦点检测图像数据。L和R焦点检测图像数据被输出到AF检测器26。
[0081]优选的是预定值α、 β和Y中的每一个大于“I”。在此情形中，颜色确定部65确定对象的主要颜色，并且基于来自对应于确定的颜色的第一和第二相差像素的输出信号产生L焦点检测图像数据和R焦点检测图像数据。例如，在其中位于屏幕的中心处的主要对象的主要颜色是绿色的情形中，颜色确定部65将该颜色确定为绿色。由此，即使对于带有偏置颜色的主要对象，仍然准确地计算了焦点调整量。
[0082]接着，参考图7和8的流程图描述数字相机10的操作。当使用操作单元12选择正常成像模式、视差成像模式和宽DR成像模式之一时，CPUll通过透镜驱动器21控制机械快门15的操作，并且通过CMOS驱动器23驱动固态成像装置20。
[0083]当机械快门15打开时来自对象的光在固态成像装置20上入射。正常像素Rn、Gn和Bn、第一相差像素Rl、Gl和Bl与第二相差像素RK、GK和Bk中的每一个的Η)41将入射光光电地转换成信号电荷并且将其存储。在CMOS驱动器23的控制下，像素电路以时间序列读出信号电荷作为信号电压。通过输出电路(未示出)从固态成像装置20输出每一个读出的信号电压作为成像信号。成像信号通过放大器和A/D转换器(这两者均未示出)并且然后作为图像信号传输到图像处理电路22。
[0084]图像处理电路22对于每一种颜色的图像信号执行图像处理(层次转换、白平衡校正、伽马校正、颜色校正等)。成像模式在初始状态中被设定为正常成像模式，使得在图像处理之后三个颜色的图像数据被传输到正常图像生成器58。正常图像生成器58在图像捕捉之前产生取景图像。在显示部32上显示取景图像。
[0085]在显示取景图像时图像处理电路22的颜色依赖特性计算器64在颜色基础上将来自在成像表面20a的中心区域中包括的正常像素Rn、Gn和Bn的输出信号平均化。由此颜色依赖特性计算器64计算平均输出Pe、Pb和Ρκ。平均输出Pe、Pb和Pk被传输到颜色确定部65。
[0086]基于平均输出P(；、PB和PK，在其*Ρκ/ΡΒ>α并且PK/Pe> β的情形中，颜色确定部65确定对象的主要颜色是红色。在其*Ρκ/ΡΒ>α并且Ρκ/Ρ<；〈β的情形中，或者在其中Ρκ/ΡΒ〈α并且PB/Pe〈Y的情形中，颜色确定部65确定对象的主要颜色是绿色。在其中Ρκ/ΡΒ〈α并且PB/PG> Y的情形中，颜色确定部65确定对象的主要颜色是蓝色。
[0087]在其中颜色确定部65确定主要颜色是红色的情形中，聚焦检测图像生成器61使用整个区域的第一相差像素&产生L焦点检测图像数据并且使用整个区域的第二相差像素Rk产生R焦点检测图像数据。类似地，在其中颜色确定部65确定主要颜色是绿色的情形中，聚焦检测图像生成器61使用第一相差像素产生L焦点检测图像数据并且使用第二相差像素Gk产生R 焦点检测图像数据。在其中颜色确定部65确定主要颜色是蓝色的情形中，聚焦检测图像生成器61使用第一相差像素产生L焦点检测图像数据并且使用第二相差像素Bk产生R焦点检测图像数据。当它们合焦时L焦点检测图像和R焦点检测图像一致。当离焦时，L焦点检测图像和R焦点检测图像根据离焦程度在左右方向上移位。
[0088]AF检测器26分析L焦点检测图像数据和R焦点检测图像数据以计算在L焦点检测图像和R焦点检测图像之间的移位的方向和数量。由此AF检测器26计算透镜单元13的焦点调整量(散焦量)。
[0089]基于由AF检测器26计算的焦点调整量，AF控制器27允许聚焦机构19通过透镜驱动器21在光轴方向上移动聚焦透镜17。由此AF控制器27执行焦点调整。注意移动聚焦透镜17的方向是基于焦点调整量的符号(正/负)确定的。在专利N0.2959142、专利特开公报N0.2009-128892、2007-158597等中详细描述了相位检测AF，从而省略其说明。在显示取景图像时，AF控制以预定周期重复。
[0090]当按下操作单元12的快门释放按钮以命令图像捕捉时，固态成像装置20的每一个像素被以强制方式复位。然后每一个像素开始存储信号电荷。当对应于对象亮度的暴光时间逝去时，机械快门15关闭以结束暴光。此后，从固态成像装置20取出一帧的输出信号。正常图像生成器58产生正常图像数据。正常图像数据在压缩/解压电路29中受到压缩并且然后通过介质I/F30记录在存储卡31中。注意，在从固态成像装置20取出信号之后，机械快门15打开。由此捕捉取景图像重新开始。
[0091]在视差成像模式中，视差图像生成器59产生L视点图像数据和R视点图像数据。L视点图像数据和R视点图像数据作为视差图像数据被压缩成图像文件并且存储在存储卡31中。在宽DR成像模式中，宽DR图像生成器60产生宽DR图像数据。宽DR图像数据被压缩并且然后记录在存储卡31中。
[0092]注意由于使用第一和第二偏心开口 46a和46b，第一相差像素Rl、Gl和&与第二相差像素RK、Ge和Bk的敏感性依赖于入射光的方向。替代地，可以通过改变微型透镜的形状或者布置给出对于入射光的方向(一个或者多个)的依赖性。
[0093]例如，在图9所示固态成像装置67中，第一相差像素&、和&具有相应的第一偏心微型透镜68a。第二相差像素RK、Ge和Bk具有相应的第二偏心微型透镜68b。第一相差像素和与第二相差像素RK、GK和Bk具有相应的正常开口 45。偏心微型透镜68a和68b中的每一个小于用于正常像素Bn的微型透镜52。
[0094]第一偏心微型透镜68a在从位于第一偏心微型透镜68a下面的Η)41的中心在向左方向上移位的位置中形成。第一偏心微型透镜68a将入射光54L收集到位于第一偏心微型透镜68a下面的TO41上。第二偏心微型透镜68a在从位于第二偏心微型透镜68b下面的Η)41的中心在向右方向上移位的位置中形成。第二偏心微型透镜68b将入射光54R收集到位于第二偏心微型透镜68b下面的TO41上。由此第一相差像素Rl、Gl和Bl对于入射光54L高度敏感。第二相差像素RK、Ge和Bk对于入射光54R高度敏感。
[0095]在图2所示固态成像装置20中，第一和第二相差像素在2X2的每一个像素块中在对角方向上布置。该布置不受限制，只要在每一个像素块中的四个像素中的两个像素是第一和第二相差像素。
[0096]接着，使用图10描述固态成像装置的另一个实例。在固态成像装置70中，以所谓的EXR布置样式布置像素。固态成像装置70具有第一像素行71、第二像素行72、第三像素行73、和第四像素行74。第一到第四像素行71到74在列方向上按照此次序重复地布置。在第一像素行71中，正常像素Bn和正常像素Gn以间距P交替地布置。在第二像素行72中，第一相差像素第一相差像素Gp第二相差像素Bk和第二相差像素Gk以间距P按照此次序重复地布置。在第三像素行73中，正常像素Gn和正常像素Rn以间距P交替地布置。在第四像素行74中，第一相差像素GK、第一相差像素Rk、第二相差像素Gp和第二相差像素&以间距P按照此次序重复地布置。
[0097]第一相差像素和与第二相差像素RK、GK和Bk位于偶数行中，并且布置在相对于位于奇数行中的正常像素Bn的位置在行方向上以一半间距(P/2)移位的位置中。即，第一相差像素&、Gl和与第二相差像素RK、Ge和Bk的正方形矩阵在行方向和列方向中的每一个以一半间距从正常像素Rn、Gn和Bn的正方形矩阵移位。注意正常像素Rn、Gn和Bn、第一相差像素Rp Gl, 和第二相差像素RK、Gk和Bk与图3到5所示的那些相同。
[0098]固态成像装置70以类似于固态成像装置20的方式产生L和R焦点检测图像、正常图像、视差图像、和宽DR图像。
[0099]替代EXR布置样式地，固态成像装置的像素可以被以各种布置样式诸如蜂窝布置样式布置。
[0100]注意使用能够显示二维图像或者三维图像的显示部32，诸如液晶显示器。柱面透镜方法、视差栅栏方法、视差栅栏方法、补色立体方法、帧序列方法、光方向方法等用于显示三维图像。
[0101]在以上实施例中，颜色依赖特性计算器64对于滤色器的每一种颜色将来自在成像表面20a的中心区域中包括的正常像素Rn、Gn、Bn的输出信号平均化。由此颜色依赖特性计算器64计算平均输出PK、Pe和PB。来自在除了中心区域之外的区域或者整个区域中包括的正常像素Rn、Gn和Bn的输出信号可以被平均化以计算平均输出PK、Pg和ΡΒ。
[0102]除了来自正常像素Rn、Gn和Bn的输出信号之外，颜色依赖特性计算器64可以将来自第一相差像素&、Gl和与第二相差像素RK、Ge和Bk的输出信号平均化，以计算平均输出PK、Pg和ΡΒ。颜色依赖特性计算器64可以仅仅将来自第一相差像素&、Gl和与第二相差像素RK、Ge和Bk的输出信号平均化以计算平均输出PK、Pg和ΡΒ。颜色依赖特性计算器64可以计算除了输出信号的平均值之外的值。颜色依赖特性计算器64可以计算输出信号的累积值等。
[0103]在以上实施例中，颜色依赖特性计算器64和颜色确定部65设置在图像处理电路22中。颜色依赖特性计算器64和颜色确定部65可以设置在固态成像装置20、67或者70或者CPUll中。
[0104]除了正常成像模式、视差成像模式、和宽DR成像模式之外，可以提供高速成像模式。高速成像模式是用于执行其中例如读出固态成像装置20的奇数行或者偶数行的像素的、所谓的稀疏读出的模式。注意，在图2所示像素布置中，所有的正常像素RN、GN、BN、第一相差像素Rl、Gl和与第二相差像素RK、Ge和Bk包括在每一个奇数行和偶数行中。因此，高速成像模式使得能够高速地读出正常图像、视差图像和宽DR图像。注意，在高速成像模式中，成像在短时间中执行但是分辨率减小。
[0105]在以上实施例中，根据对象的主要颜色选择相差像素。可替代地，可以确定α、β和Y的值使得在正常情形中选择绿色颜色。在其中对象的红色颜色显著地强烈的情形中，选择红色颜色。在其中对象的蓝色颜色显著地强烈的情形中，选择蓝色颜色。使用选择的颜色的相差像素执行AF控制。仅仅位于屏幕中心，即，固态成像装置的成像表面的中心中的相差像素可以被用于AF控制。
[0106]固态成像装置20、67和70具有红色、绿色和蓝色的基本滤色器50R、50G和50Β。替代地，可以使用黄色、品红色和青色的互补滤色器。可以使用四个或者更多颜色的滤色器。固态成像装置20、67和70不限于CMOS类型。固态成像装置20、67和70可以是CXD类型。
[0107]附图标记说明
[0108]10数字相机
[0109]17聚焦透镜
[0110]20、67、70固态成像装置
[0111]34R1第一 R像素块
[0112]34R2第二 R像素块
[0113]34G1第一 G像素块
[0114]34G2第二 G像素块
[0115]34B1第一 B像素块
[0116]34B2第二 B像素块
[0117]41光电二极管
[0118]44光屏蔽膜
[0119]45正常开口
[0120]46a、46b 第一、第二偏心开口
[0121]50、71滤色器阵列
[0122]50G、50B、50R 滤色器
[0123]RN、GN、BNE常像素
[0124]Rl、Gl、Bl第一相差像素
[0125]RK、GK、BK第二相差像素
【权利要求】
1.一种数字相机，其特征在于包括: 拍摄透镜，所述拍摄透镜用于形成对象的图像； 固态成像装置，所述固态成像装置具有成像表面，在所述成像表面上布置三个类型的像素，所述三个类型的像素是具有不依赖于光的入射方向的敏感性的多个正常像素、对第一入射方向的光高度敏感的多个第一相差像素、和对与所述第一入射方向相反的第二入射方向的光高度敏感的多个第二相差像素，每一个像素具有至少三基色中的一个的滤色器； 颜色依赖特性计算器，所述颜色依赖特性计算器用于在捕捉所述对象的彩色图像之后在颜色基础上执行来自所述正常像素的输出信号和来自所述第一和第二相差像素的输出信号中的一个或者两者的计算，以计算输出信号的颜色依赖特性； 颜色确定部，所述颜色确定部用于基于所述颜色依赖特性确定特定颜色； 自动聚焦检测器，所述自动聚焦检测器用于基于来自在所述第一和第二相差像素中的、具有所述特定颜色的滤色器的像素的输出获得所述拍摄透镜的焦点调整量；和 聚焦机构，所述聚焦机构用于根据所述焦点调整量将所述拍摄透镜设定于合焦位置。
2.根据权利要求1所述的数字相机，其特征在于:所述颜色依赖特性计算器对于构成所述三基色的红色、绿色和蓝色中的每一个颜色将来自所述像素的输出信号平均化以计算红色平均输出Pk、绿色平均输出Pe和蓝色平均输出Pb，并且从在两个颜色的平均输出之间的输出比率PK/PB、Pe/Pg和PB/Pe的幅度确定所述特定颜色。
3.根据权利要求1所述的数字相机，其特征在于:所述颜色依赖特性计算器使用来自位于所述成像表面的中心区域中的每一个像素的输出信号计算所述颜色依赖特性。
4.根据权利要求1所 述的数字相机，其特征在于包括用于基于来自所述正常像素的输出信号产生二维正常图像的正常图像生成器。
5.根据权利要求4所述的数字相机，其特征在于:包括用于基于来自所述正常像素的输出信号和来自所述第一和第二相差像素的输出信号产生宽动态范围图像的宽动态范围图像生成器，并且所述宽动态范围图像的动态范围比所述正常图像的动态范围宽。
6.根据权利要求5所述的数字相机，其特征在于包括用于基于来自所述第一和第二相差像素的输出信号产生视差图像的视差图像生成器。
7.根据权利要求1所述的数字相机，其特征在于:在所述成像表面上的像素被布置为2X2的像素块,并且每一个像素块具有两个所述正常像素和所述第一和第二相差像素。
8.根据权利要求7所述的数字相机，其特征在于:所述三基色是第一颜色、第二颜色和第三颜色，并且每一个像素块具有相同颜色的滤色器。
9.根据权利要求8所述的数字相机，其特征在于所述像素块被分类成六个类型:第一第一颜色像素块、第二第一颜色像素块、第一第二颜色像素块、第二第二颜色像素块、第一第三颜色像素块、和第二第三颜色像素块， 并且所述第一第一颜色像素块由在第一对角方向上布置的两个正常像素和在第二对角方向上布置的第一和第二相差像素构成，并且具有所述第一颜色的滤色器， 并且所述第二第一颜色像素块具有第一和第二相差像素，其位置从所述第一第一颜色像素块中的第一和第二相差像素的位置反转， 并且所述第一第二颜色像素块由在所述第一对角方向上布置的两个正常像素和在所述第二对角方向上布置的第一和第二相差像素构成，并且具有所述第二颜色的滤色器，并且所述第二第二颜色像素块具有第一和第二相差像素，其位置从所述第一第二颜色像素块中的第一和第二相差像素的位置反转， 并且所述第一第三颜色像素块由在所述第一对角方向上布置的两个正常像素和在所述第二对角方向上布置的第一和第二相差像素构成，并且具有所述第三颜色的滤色器， 并且所述第二第三颜色像素块具有第一和第二相差像素，其位置从所述第一第三颜色像素块中的第一和第二相差像素的位置反转。
10.根据权利要求9所述的数字相机，其特征在于:所述数字相机具有在列方向上交替布置的第一像素块行和第二像素块行，并且所述第一像素块行具有所述第一第一颜色像素块、所述第一第二颜色像素块、所述第二第一颜色像素块、和所述第二第二颜色像素块并按照此次序重复地布置，并且所述第二像素块行具有所述第一第二颜色像素块、所述第一第三颜色像素块、所述第二第二颜色像素块、所述第二第三颜色像素块并按照此次序重复地布置。
11.根据权利要求10所述的数字相机，其特征在于:所述第一颜色是绿色，并且所述第二颜色是蓝色，并且所述第三颜色是红色。
12.根据权利要求1所述的数字相机，其特征在于:所述正常像素以预定间距布置在奇数行中，并且所述第一和第二相差像素以预定间距布置在偶数行中，并且所述第一和第二相差像素布置在相对于所述正常像素的位置在行方向上以一半间距移位的位置中。
13.根据权利要求12所述的数字相机，其特征在于:所述三基色是第一颜色、第二颜色、和第三颜色；所述数字相机具有第一到第四像素行；具有第一颜色的滤色器的正常像素和具有第二颜色的滤色器的 正常像素在所述第一像素行中以预定间距交替布置；具有第一颜色的滤色器的第一相差像素、具有第二颜色的滤色器的第一相差像素、具有第一颜色的滤色器的第二相差像素、和具有第二颜色的滤色器的第二相差像素在所述第二像素行中以预定间距按照此次序重复地布置；具有第二颜色的滤色器的正常像素和具有第三颜色的滤色器的正常像素在所述第三像素行中以预定间距交替布置；具有第二颜色的滤色器的第一相差像素、具有第三颜色的滤色器的第一相差像素、具有第二颜色的滤色器的第二相差像素、和具有第三颜色的滤色器的第二相差像素在所述第四像素行中以预定间距按照此次序重复地布置；并且所述第一到第四像素行在列方向上按照此次序重复地布置。
14.根据权利要求13所述的数字相机，其特征在于:所述第一颜色是蓝色，所述第二颜色是绿色，并且所述第三颜色是红色。
15.根据权利要求1到14中的一个所述的数字相机，其特征在于:所述正常像素、所述第一相差像素和所述第二相差像素中的每一个具有放置在所述滤色器之上的微型透镜、光屏蔽膜、和光电二极管，并且所述光屏蔽膜具有在所述正常像素的光电二极管的中心之上形成的正常开口、在从所述第一相差像素的光电二极管的中心上方在一个方向上移位的位置中形成的第一偏心开口、和在从所述第二相差像素的光电二极管的中心上方在与所述一个方向相反的另一个方向上移位的位置中形成的第二偏心开口。
16.根据权利要求1到14中的一个所述的数字相机，其特征在于每一个正常像素具有光电二极管、在所述光电二极管之上通过光屏蔽膜形成的开口、和放置在所述开口的中心线之上的微型透镜，并且 每一个第一相差像素具有光电二极管、在所述光电二极管之上通过所述光屏蔽膜形成的开口、和从所述开口的中心线在一个方向上移位并且具有小直径的微型透镜；并且 所述每一个第二相差像素具有光电二极管、在所述光电二极管之上通过所述光屏蔽膜形成的开口、和从所述开口的中心线在与所述一个方向相反的另一个方向上移位并且具有小直径的微型透 镜。
【文档编号】H04N9/07GK103782213SQ201280042422
【公开日】2014年5月7日 申请日期:2012年8月30日 优先权日:2011年9月22日
【发明者】小柴贤明 申请人:富士胶片株式会社