图像采集设备的制作方法

专利名称：图像采集设备的制作方法
图像采集设备技术领域
本发明所公开的主题涉及一种图像采集设备，具体来说，涉及一种被配置为对 相位差检测系统的自动焦距(相位差AF)进行调整的图像采集设备。
背景技术：
图15A到图15C示出了成像透镜1与图像采集表面“m”之间的关系。当聚 焦物体时，如图15A的部分A和部分B所示，穿过成像透镜1的部件(构件)的光彻、 bQ和( 汇聚在图像采集表面m上，并且在图像采集表面m上获得了聚焦图像&。当与 图15A所示的聚焦状态相比聚焦位置处在前聚焦状态时，穿过成像透镜1的构件的光ai、 Id1和C1汇聚在了图像采集表面m的后方(图15B的部分A的右侧)，并且如图15B的部 分B所示，光在图像采集表面m上形成了不同的图像Zai、Zb1和Zc1。在后聚焦状态， 穿过成像透镜1的构件的光如、b2和( 聚焦在图像采集表面m的前方(图15C的部分A 的左侧)，并且如图15C的部分B所示，光在图像采集表面m上形成了不同的图像Zii2、 Zb2 禾口 Zc2。
可通过检测前聚焦状态和后聚焦状态下的散焦量(聚焦偏移量)来控制自动聚焦 以进入图15Α所示的聚焦状态。
传统上，为了检测散焦量，如图16所示，将分束镜3布置在成像透镜1和固态 图像采集元件2之间，并且由分束镜3所分离出的光进入传感器4进行相位差检测。
然而，存在以下的问题，S卩，如果安装专用传感器4则尺寸和成本较大，并且 由于分束镜3而使得进入固态图像采集元件2的光量较小。
因此，在日本专利第四59142号中，没有安装分束镜3和AF传感器4，而是如 图17所示在固态图像采集元件5的一部分上安装用于相位差检测的专用像素(传感器单 元)6来执行相位差AF。
具体地，在日本专利第四59142号中描述的图像采集设备在固态图像采集元件5 和布置在元件上的透镜(显微透镜)的一个当前预定的范围内相对地移动元件间的位置， 并且根据在一个方向上移动的元件所输出的信号和在另一方向上移动的元件所输出的信 号之间的比较结果来检测聚焦状态。发明内容
然而，在日本专利第四59142号所描述的图像采集设备中，只能在固态图像采 集元件5的预定部分检测相位差AF的信息。因此，需要执行移动视角来进行聚焦和在聚 焦之后恢复视角的相机操作，而这样的操作对于用户来说比较麻烦。因此，存在这样的 问题，即，用于相位差检测的像素变成了图像上的污点，因为用于相位差检测的像素并 不用作图像。另外，存在这样的问题，即使校正(更改)了像素的污点也无法防止图像的 退化，并且用于相位差检测的像素无法被布置在固态图像采集元件5上的多重位置上。
这里公开的主题是考虑了上述情况而作出的，并且这里公开的主题的目的是提供一种图像采集设备，其能够基于从布置在固态图像采集元件上用于相位差检测的像素 得到的图像信号来实现相位差AF，并且能够有效地针对主成像中的图像来利用用于相位 差检测的像素以实现拍摄宽动态范围图像和拍摄高分辨率图像。
为了实现上述目的，本发明公开的主题的第一方面提供了一种图像采集设备， 其包括成像透镜；图像采集元件，包括布置成矩阵的第一组像素和第二组像素以用于 光电转换，第二组像素包括用于相位差检测的像素，其中不对穿过成像透镜的发射孔并 进入第一组像素的光通量的入射方向进行限制，而对穿过成像透镜的发射孔并进入第二 组像素的光通量的入射方向进行限制，图像采集元件被构成为能够分别从第一组像素和 第二组像素中独立地读出第一图像信号和第二图像信号；散焦量计算装置，其被构成为 从图像采集元件中读出第二图像信号并根据第二图像信号当中的从用于相位差检测的像 素中读出的图像信号来计算成像透镜的散焦量；聚焦控制装置，被配置来通过移动成像 透镜执行聚焦调整，从而将散焦量计算装置计算出的散焦量设为“0” ；图像处理装置， 被配置为在聚焦控制装置执行聚焦调整之后从图像采集元件中读出第一图像信号和第二 图像信号，并根据所读出的第一图像信号和第二图像信号来产生图像以进行记录；以及 记录装置，被配置来将图像处理装置所产生的图像记录在记录介质中。
根据第一方面，可分别从图像采集元件的第一组像素和第二组像素中独立地读 出第一图像信号和第二图像信号。具体来说，在相位差AF期间从包括了用于相位差检测 的像素的第二组像素中读出第二图像信号，并且根据第二图像信号当中与用于相位差检 测的像素对应的图像信号来控制聚焦。因此，快速AF是可能的。而且，在相位AF之 后的主成像期间，从图像采集元件中读出第一图像信号和第二图像信号，并且根据读出 的第一图像信号和第二图像信号来产生用于记录的图像。因此，在主成像期间，用于相 位差检测的像素可被用于图像。结果，能够实现宽动态范围图像的成像、高分辨率图像 的成像等。
本发明公开主题的第二方面提供了一种根据第一方面的图像采集设备，其中， 图像采集元件包括用于第一组像素和第二组像素的每个像素的显微透镜，并且第二组像 素当中用于相位差检测的像素包括提供有第一显微透镜的第一像素和提供有第二显微透 镜的第二像素，其中第一显微透镜相对像素在第一方向上偏移，第二显微透镜在图像采 集元件的平面上与第一方向相反的第二方向上偏移。
本发明公开主题的第三方面提供了一种根据第一或第二方面的图像采集设备， 其中图像采集元件的用于相位差检测的像素包括一个用于两个相邻像素的显微透镜，并 且该显微透镜使光通量穿过成像透镜的发射孔来分离并进入两个相邻像素。
本发明公开主题的第四方面提供了一种根据第一或第二方面的图像采集设备， 其中图像采集元件的所有第二组像素都是用于相位差检测的像素。
在相位差AF期间，根据从第二组的所有像素当中的当前预定范围内(屏幕中央 的AF区域等)的像素、用户指定范围内的像素、人脸检测所自动设定的范围内的像素、 或屏幕中多个范围内的像素获取的图像信号来计算散焦量。
本发明公开主题的第五方面提供了一种根据第一到第三方面任意一个的图像采 集设备，其中，用于相位差检测的像素和不用于相位差检测的像素被混合在图像采集元 件的第二组像素中。
例如，用于相位差检测的像素可按照需要在一个屏幕内散布或仅被布置在一个 屏幕内的预定范围中。
本发明公开主题的第六方面提供了一种根据第四方面的图像采集设备，其中， 图像处理装置根据从图像采集元件的第一组像素读出的高灵敏度的第一图像信号和从第 二组像素读出的低灵敏度的第二图像信号来产生宽动态范围图像。
图像采集元件中的第二组像素是由穿过成像透镜的发射孔的光通量的光接收方 向来限定的。因此，与未被光接收方向限定的第一组的正常像素相比，第二组像素的 入射光量减小，并且是低灵敏度的像素。因此将图像处理装置设计为根据从第一组正常 (高灵敏度)像素读出的高灵敏度的第一图像信号和从第二组像素读出的低灵敏度的第二 图像信号来产生宽动态范围图像。
本发明公开主题的第七方面提供了一种根据第四方面的图像采集设备，其中， 图像处理装置根据从图像采集元件的第一组像素读出的高灵敏度的第一图像信号和从第 二组像素读出的低灵敏度的第二图像信号来产生高灵敏度的图像和低灵敏度的图像，该 图像采集设备还包括图像显示装置，其被构成为在由记录装置记录之前对所产生的高 灵敏度的图像和低灵敏度的图像进行显示；以及操作装置，其被构成为接收用户指令来 选择显示在图像显示装置上的高灵敏度的图像和低灵敏度的图像之一，其中，记录装置 只记录所选择的图像。
根据第七方面，可以产生两个图像，即，高灵敏度的图像和低灵敏度的图像， 并且由用户的选择操作来记录两个图像中的一个。例如，高亮削波失真可发生在高灵敏 度的图像的高亮度部分中，而阴影削波失真可发生在低灵敏度的图像的低亮度部分中。 因此，为用户展现高灵敏度图像和低灵敏度图像这两个图像来选择其中一个图像。
本发明公开主题的第八方面提供了一种根据第四方面的图像采集设备，还包 括曝光控制装置，被构成为单独控制图像采集元件的第一组像素和第二组像素的曝 光，并且使第一组像素的曝光值与第二组像素的曝光值相同，其中，图像处理装置根据 从第一组像素读出的第一图像信号和从第二组像素读出的第二图像信号来产生高分辨率 的图像。
本发明公开主题的第九方面提供了一种根据第八方面的图像采集设备，其中， 曝光控制装置单独控制第一组像素和第二组像素的电荷存储时间以使第一组像素的曝光 值与第二组像素的曝光值相同。
根据第九方面的设备单独控制图像采集元件的第一组像素中的电荷存储时间和 第二组像素中的电荷存储时间。可替换的是，可单独控制灵敏度(增益)来使得第一组 像素的曝光值和第二组像素的曝光值相同。
本发明公开主题的第十方面提供了一种根据第五方面的图像采集设备，其中， 图像处理装置包括校正装置，其被配置为根据与用于相位差检测的像素相邻的不用于相 位差检测的像素的图像信号来对从第二组像素读出的第二图像信号当中的与用于相位差 检测的像素相对应的图像信号进行校正，并且图像处理装置根据从第一组像素读出的第 一图像信号和在校正装置进行校正之后的第二图像信号来产生高分辨率的图像。校正装 置对与用于相位差检测的像素相邻的不用于相位差检测的像素的图像信号进行改写，以 计算与用于相位差检测的像素对应的图像信号。
根据本发明公开主题，可以分别从图像采集元件的第一组像素和第二组像素独 立地读出第一图像信号和第二图像信号。尤其是在相位差AF中，从包括用于相位差检测 的像素的第二组像素中读出第二图像信号，并且根据第二图像信号中与用于相位差检测 的像素对应的图像信号来控制聚焦。因此，可以进行快速AF。另外，在相位差AF之 后的主成像中，从图像采集元件读出第一图像信号和第二图像信号，并且根据读出的第 一图像信号和第二图像信号来产生用于记录的图像。因此，用于相位差检测的图像可被 用作主成像的图像。结果，可以实现宽动态范围图像的成像、高分辨率图像的成像等。


图1是示出根据本发明公开主题的图像采集设备(数字照相机)的实施例的框 图2是示出根据本发明公开主题的CCD的第一示例结构的示图3是图2所示CCD —部分的放大示图4是示意性示出图3所示CCD的截面的示 图5A到图5C是示出聚焦状态与用于相位差检测的像素A和B的输出(相位差) 之间关系的示图6是示出CCD的另一示例配置的示图7是示出根据本发明公开主题的图像采集设备(数字照相机)的成像期间的处 理程序的流程图8是示出对放大的动态范围的图像处理的示图9是示出根据本发明公开主题的CCD的第二示例结构的示图10是示出根据本发明公开主题的曝光控制示例的示图11是示出高分辨率图像处理流程的示图12是示出根据本发明公开主题的CCD的第三示例结构以及对从CCD获取图 像进行的高分辨率图像处理流程的示图13示出了对根据本发明公开主题的表面A的图像和表面B的图像进行选择期 间的流程；
图14A到图14C示出了对表面A的图像和表面B的图像进行显示的液晶监视器 的屏幕的示例；
图15A到图15C是示出聚焦、前聚焦和后聚焦期间状态的示图16是示出用于相位差检测的传统传感器的布置示例的示图；以及
图17是示出CCD中用于相位差检测的像素布置示例的示图。
具体实施方式
下面将参考附图来描述根据本发明公开主题的图像采集设备的实施例。
[图像采集设备的整体构造]
图1是示出根据本发明公开的主题的图像采集设备(数字相机10)的实施例的框 图。
数字相机10将拍摄图像记录在存储卡M中，并且由中央处理单元(CPU)40来全面控制相机10的操作。
数字相机10包括操作单元38，该操作单元38包括快门按钮、模式盘、重放按 钮、菜单/确认键、箭头键、后退键等。来自操作单元38的信号被输入到CPU 40，并 且CPU 40根据输入信号来控制数字相机10的电路。例如，CPU 40执行透镜驱动控制、 成像操作控制、图像处理控制、图像数据的记录/重放控制、液晶监视器(LCD) 30的显 示控制等。
快门按钮是用来输入开始成像指令的操作按钮，其由两步程开关构成，包括在 半压时接通Sl开关以及在全压时接通S2开关。模式盘是在用于对静止图像成像的自动 图像模式、手动成像模式、人的场景位置、风景、夜视等以及用于对运动图像成像的移 动图像模式选择一个的选择装置。
重放按钮是将拍摄和记录的静止图像或移动图像切换到在液晶监视器30上显示 的重放模式的按钮。菜单/确认键是具有菜单按钮功能来指示在液晶监视器30的屏幕上 显示菜单以及具有确认按钮功能来指示确认和执行所选内容的操作键。箭头键是用作输 入上、下、左、右四个方向指令的操作单元，并具有用于从菜单屏幕选择选项或从菜单 中指定各种设置选项的选择的功能按钮(光标移动操作装置)。箭头键的上/下键在成像 期间用作镜头推拉开关，或者在回放模式期间用作回放缩放开关，而左/右键在回放模 式下用作帧推进(在向前方向/向后方向上推进)按钮。后退键用于删除诸如所选项之 类的期望目标，从而取消指令内容或返回到先前操作状态。
在成像模式中，通过成像透镜12和光圈14在作为CCD (电荷耦合装置)图像传 感器的固态图像采集元件(以下称为“CCD”)16的光接收表面上形成示出一个物体的图 像光的图像。由CPU 40控制的透镜驱动单元36驱动成像透镜12，并且成像透镜12执 行聚焦控制、缩放控制等。光圈14例如是由五个光圈叶片构成。由CPU40控制的光圈 驱动单元34驱动光圈14并将光圈控制在基于AV(光圈值)的例如五个级别，即，从光 圈值F2.8到F11。
CPU 40通过光圈驱动单元34控制光圈14并通过CCD控制单元32来执行例如 对CCD 16中的电荷存储时间(快门速度)的读取控制和对来自CCD 16的图像信号的读 取控制。
<CCD结构的第一示例>
图2是根据本发明公开主题的CCD 16结构的第一示例的示图。
CCD 16包括排列为矩阵的偶数行像素组和奇数行像素组。由两个像素组光电转 换的两个表面的图像信号可按照下述方法单独读出。
如图2所示，在包括R(红)、G(绿)和B(蓝)颜色滤波器的像素当中，以 GBGB…像素排布的行和以RGBRGB…像素排布的行被交替提供在CCD 16的偶数行(0、 2、4、…)中。另一方面，在奇数行(1、3、5、…)的像素中，以GBGB…像素排布 的行和以RGBRGB…像素排布的行如偶数行中一样被交替提供，并且以相对于偶数行半 个间距来在行方向上布置像素。
奇数行的像素作为用于相位差检测的像素。更具体地，如图3所示，在偶数行 的正常像素中，光电转换元件(光电二极管)PD的中心与布置在光电二极管PD之上的显 微透镜Ll的中心相匹配。另一方面，在奇数行的用于相位差检测的像素中，光电二极管8PD的中心与布置在光电二极管PD之上的显微透镜L2的中心不匹配，并且显微透镜L2 小于显微透镜Li。
如图2和图3中的参考标号A和B所区分的那样，用于相位差检测的像素包括 两种类型的像素显微透镜L2被放置在光电二极管PD的右侧的像素；以及显微透镜L2 被放置在光电二极管PD的左侧的像素。
图4示意性示出了 CCD 16的截面图。如图4中所示，显微透镜Ll将正常像素 的光收集(汇聚)在光电二极管PD上，从而穿过成像透镜12的发射孔的光通量不由光接 收方向(入射方向)限制。然而，在用于相位差检测的像素中，显微透镜L2和光电二极 管PD被布置为使得穿过成像透镜12的发射孔的光通量不受光接收方向的限制。对光通 量的光接收方向的限制方向在像素A和B之间是不同的。
因此，根据后聚焦状态(图5C)、聚焦状态(图5B)和前聚焦状态(图5A)，从 而像素A和B的输出的相位偏离或一致。用于相位差检测的像素A和B的输出信号的相 位差对应于成像透镜12的散焦量。因此，成像透镜12的AF可通过检测相位差来控制。
用于检测相位差的像素A和B的结构并不限于如图3和4所示那样偏置显微透 镜L2。还可以相对显微透镜来偏置光电二极管PD。可选的，如图6所示，一个显微透 镜L3可被布置在两个光电二极管PD之上，并且可将两个光电二极管PD设置为像素A和 B。
回到图1，根据CCD控制单元32所提供的读数信号，存储在CCD16中的信号 电荷可被读出为与该信号电荷相对应的电压信号。从CCD16读出的电压信号被提供到一 个模拟信号处理单元18。模拟信号处理单元18对像素的R、G和B信号进行采样和保 持，并在将这些信号提供到A/D转换器20之前对他们进行放大。A/D转换器20将顺序 输入的R、G和B信号转换成数字R、G和B信号并将这些信号输出到图像输入控制器 22。
从CCD 16读出偶数行的一个屏幕(表面A)的图像信号，并且读出奇数行的一 个屏幕(表面B)的图像信号。如下面所述，图像处理根据需要被施加到表面A和B的 图像信号。
数字信号处理单元M向通过图像输入控制器22输入的图像信号施加预定的信号 处理，例如偏移处理、包括白平衡校正和灵敏度校正的增益控制处理、伽马校正处理、 和RGB/YC转换处理，并且对表面A和B的图像信号执行结合处理等。
由数字信号处理单元M处理后的图像数据被输入到VRAM(视频随机存取存储 器)50。VRAM 50包括用于存储图像数据的区域Ml和M2，每个区域指示一个帧的图 像。在VRAM50中，指示一个帧的图像的图像数据被交替地写入区域Ml和M2中。写 入的图像数据从VRAM 50的区域Ml和M2之中将要把该图像数据重新写入的区域以外 的另一个区域中读出。视频编码器观对从VRAM50读出的图像数据进行编码，并且将 图像数据输出到布置在照相机背面(后侧)的液晶监视器(LCD) 30上。结果，将物体的 图像显示在液晶监视器30的显示屏幕上。
当将操作单元38的快门按钮按下第一级(半按下)时，AF(自动聚焦调整)操 作和AE(自动曝光)操作开始。更具体的，从A/D转换器20输出的图像数据当中的表 面B的图像数据(用于相位差检测的像素的输出信号)被输入到相位差检测单元42。相位差检测单元42检测在预定聚焦区域内表面B的图像数据当中像素A的图像数据与像素 B的图像数据之间的相位差，并将表示相位差的信息输出到CPU 40。CPU 40根据从相 位差检测单元42输入的相位差信息来计算散焦量，并且通过透镜驱动单元36对包括在成 像透镜12中的聚焦透镜的位置进行控制，以使散焦量为“0”。
在其中进行相位差检测的预定聚焦区域包括一个位于屏幕中央的预设聚焦区 域、一个由面部检测单元46检测到的面部区域和一个由用户指定的区域中的至少一个。 在由面部检测单元46进行的面部检测中，将目标区域的位置在所拍摄图像中进行移动的 同时将预定目标区域的图像与面部图像模版进行比较，从而检查图像与模版之间的相关 性，并且如果目标区域的相关性评价超过预定阈值则将该目标区域检测为面部区域。还 可以使用的面部检测方法包括以下已知方法，例如由边缘检测或形状图案检测执行的面 部检测方法以及由色调检测或皮肤颜色检测执行的面部检测方法。
在半按下快门按钮期间从A/D转换器20输出的图像数据被输入到AE检测单元 44。AE检测单元44对整个屏幕的G信号求积分，针对屏幕中心部分和边缘部分使用不 同的权值来对G信号求积分，或者对面部检测单元46所检测的面部区域的G信号求积 分，并将积分值输出到CPU 40。CPU 40根据从AE检测单元44输入的积分值来计算物 体的亮度(成像Ev值)，根据成像Ev值来按照预定程序图确定光圈14的光圈值和CCD 16的电子快门(快门速度)，根据所确定的光圈值来通过光圈驱动单元34控制光圈14， 并根据预定的快门速度来通过CCD控制单元32控制CCD 16中的电荷存储时间。
当AE操作和AF操作结束并且将快门按钮按下第二级(全部按下)时，图像输 入控制器22响应于快门的按下来将由A/D转换器20输出的表面A和B的图像数据输入 到存储同步动态随机存取存储器)48，并临时存储图像数据。
从存储器48读出表面A和B的图像数据，并且数字信号处理单元M执行预定 的信号处理，包括图像结合处理和对结合图像数据的亮度数据和颜色差数据进行的生成 处理(RGB/YC转换处理)。经RGB/YC转换处理的图像数据(YC数据)从数字信号处 理单元M读出并再次存储在存储器48中。接着，将YC数据输出到压缩/解压缩处理 单元沈，并且执行诸如JPEG(联合图像专家组)之类的预定压缩处理。将压缩后的YC 数据输出并再次存储在存储器48中，由媒体控制器52将其读出并记录在存储卡M中。
[成像操作]
接着将描述成像期间由如上配置的数字照相机10执行的操作。
图7是示出由根据本发明公开的主题的图像采集设备(数字照相机10)在成像期 间进行的处理过程的流程图。
在图7中，确定操作单元38的快门按钮是否被半按下为ON)(步骤S10)。 当快门按钮Sl为ON时，CPU 40命令读出表面B的图像数据，该表面B中包括了用于 相位差检测的像素的信号612)，并且根据所读出的图像数据来执行相位差AF处理和AE 处理(步骤S14)。更具体地，如所述的那样，CPU 40使相位差检测单元42检测在预 定聚焦区域内表面B的图像数据当中像素A的图像数据与像素B的图像数据之间的相位 差，根据相位差信息计算散焦量，并通过透镜驱动单元36控制成像透镜12以使散焦量为“0”。CPU 40还使AE检测单元44对G信号积分并根据积分值来确定诸如快门速度和 光圈值之类的成像条件。
接着，确定快门按钮是否被全部按下62为ON)(步骤S16)。如果幻为ON， 则再次确定Sl是否为ON(步骤S18)。如果Sl为ON，处理移动到步骤S16，而如果Sl 不为ON，则处理移动到步骤S 10。
如果在步骤S16确定了快门按钮的幻*ON，则CPU 40命令在成像条件下进 行主成像，该成像条件例如是在步骤S14的AE处理中设定的快门速度和光圈值(步骤 S20)。CPU 40获取由主成像所获取的CCD 16的表面A和B的图像数据(步骤S22)并 对表面A和B的图像数据执行图像处理(步骤S24)。
如图3和图4可以清楚看出的，进入光电二极管PD的光量是表面A的正常像素 与表面B的用于相位差检测的像素之间的差。结果，表面A的像素是高灵敏度像素，而 表面B的像素是低灵敏度像素。附带地，表面B的像素的入射光量大约是表面A的像素 的入射光量的30%。
在图7的步骤SM中，根据由图8所示的主成像而获取到的表面A的高灵敏度像 素的图像数据和表面B的低灵敏度像素的图像数据执行用于产生宽动态范围图像的图像处理。
在图8中，提取表面A和B的像素信息段(图像数据)(部分A)。随后，获取 表面A的图像数据(部分B相对高灵敏度像素)和表面B的图像数据(部分C相对 低灵敏度像素或用于相位差AF的像素，它们都接收了较少的光量)。接着，将表面A的 图像数据和表面B的图像数据结合，并且产生拍摄图像(部分D)。在图8的部分D中， 所产生的拍摄图像的动态范围被扩大。
作为根据相对高灵敏度像素的图像数据和相对低灵敏度像素的图像数据来产生 宽动态范围图像的图像处理可以利用在日本专利申请公开第2004-2219 和2006-135684 中描述的技术。例如，根据在日本专利申请公开第2006-135684中描述的图像处理，高 灵敏度图像数据和低灵敏度图像数据的色调被转换并相加，并且将伽马校正等处理另外 施加到相加的图像数据。在相加之前的色调转换中，转换色调以从亮度“0”到最大亮 度平滑地改变相加结果。
如所描述的那样，表面B的像素的入射光量大约是表面A的像素的入射光量的 30%,并且表面B的像素的灵敏度大约是表面A的像素的灵敏度的三分之一。因此，假 设从表面A的像素获取的图像的动态范围为100%，则结合之后的宽动态范围图像的动态 范围为300%。
向具有扩大了的动态范围的图像数据施加压缩处理等，并且将数据记录在存储 卡M中(步骤S26)。
<CCD结构的第二示例>
图9是根据本发明公开主题的CCD配置的第二示例的示图。
在图9所示的CCD中，表面B上用于相位差检测的像素A和B的布置与图2所 示的CCD相比有所不同，而其他方面相同。
更具体地，在图2所示CCD的用于相位差检测的像素A和B中，每两个奇数行 中交替布置像素A和B。在图9所示的CCD中，每个奇数行中交替布置两个像素A和 两个像素B。因此，可由一个奇数行中像素的输出信号检测出相位差。
<成像操作和图像处理的第二实施例>
在第二实施例中，图7中步骤S20中的主成像期间的曝光控制有所不同，并且步 骤S24中的图像处理有所不同。
在步骤S20的主成像中，如图10所示，将正常像素(高灵敏度像素)中的曝光 时间(快门速度)与用于相位差检测的像素(低灵敏度像素)的曝光时间设计成不同的， 以获取具有相同灵敏度的图像。
更具体地，在时间tl开启机械快门并在低灵敏度像素中停止清除电荷，从而开 始存储电荷(开始曝光)。在时间t2( > tl)停止在高灵敏度像素中清除电荷，从而开始 存储电荷(开始曝光)，并且在时间t3关闭机械快门。
高灵敏度像素的电荷存储时间与低灵敏度像素的电荷存储时间的比例被设定为 高灵敏度像素的灵敏度与低灵敏度像素的灵敏度之比的倒数。
在图11中，由主成像获取的表面A的图像的灵敏度(部分B:用于主拍摄图像 的像素)和表面B的图像的灵敏度(部分D 用于相位差AF的像素，其曝光时间比表面 A的像素的曝光时间长)相同。在步骤SM的图像处理中，通过处理和结合表面A和B 的图像来由两个图像产生一个高分辨率拍摄图像(部分F)，其中表A和B的图像的像素 被交替布置。
由于表面B的图像的快门速度比表面A的图像的快门速度慢，所以表面B的图 像可能会受到相机抖动的影响(部分C和E)。在图像会受到相机抖动影响的快门速度情 况下，不改变快门速度，而是改变表面B的图像的增益(灵敏度)以使表面A和B的图 像的亮度水平一致。
<CCD的结构的第三示例>
图12的部分A是示出根据本发明公开主题的CCD结构的第三示例的示意图。
在图12部分A中示出的CCD中，与图2所示的CCD相比，布置在表面B上的 用于相位差检测的像素A和B的排列有所不同，而其他方面相同。
更具体的，在图12A所示的CCD中，在奇数行中每三个G像素交替布置像素A 和B (部分D)。尽管将用于相位差检测的像素A和B变稀疏，但如果在期望的聚焦区域 中包括有多个像素A和B (部分D到F)则可以检测相位差。
<图像处理的第三实施例>
在图12的部分A所示的CCD中，用于相位差检测的低灵敏度像素和正常的高灵 敏度像素(不用于相位差检测的像素)被混合在表面B的像素中。因此，通过包围不用 于相位差检测的像素来校正用于相位差检测的像素，从而提高用于相位差检测的像素的 灵敏度。
校正方法的示例(部分F)包括插入与用于相位差检测的像素接近并且具有相同 颜色的多个不用于相位差检测的像素的像素值，并且将插入值设置为用于相位差检测的 像素的像素值。可以执行仅对用于相位差检测的像素的图像数据的增益(灵敏度)进行 提高的图像处理。
以此方式，由主成像获取的表面A的图像的灵敏度与具有校正后的用于相位差 检测的像素的表面B的图像的灵敏度相同。通过交替布置来自两个图像的图像像素来产 生一个高分辨率图像(部分G)。
<图像处理的第四实施例>
在第四实施例中，图7的步骤SM中的图像处理不同。
如图13所示获取到表面A的高灵敏度图像(部分B和C)和表面B的低灵敏度 图像(部分D和E)。CPU 40将表面A和B的图像显示在液晶监视器30上，如图14A 到图14C所示。用户选择液晶监视器30上显示的表面A和B的图像之一并指示记录所 选图像(图13中的部分F)。
尽管表面A的图像通常是一个正常曝光的图像，但由于其图像灵敏度比表面B 的图像的灵敏度高，因此在高亮度部分可能会发生高亮削波失真。另一方面由于表面B 的图像是低灵敏度图像，所以会在低亮度部分发生阴影削波失真。用户可以操作左右箭 头键来选择表面A和B的图像之一，并可操作菜单/确认键来将所选图像记录在存储卡 54中。
图14A示出了对正常曝光且没有高亮削波失真的表面A的图像进行选择的状 态。图14B示出了由于在表面A的图像中存在高亮削波失真而选择了表面B的图像的状 态。
如果表面B的快门速度如图10所示实施例中那样被减慢，则表面B的图像中可 能有相机抖动。因此，表面A和表面B的图像可如图14C所示的那样显示，并且可以考 虑相机抖动的出现来选择图像。
即使在拍摄图像时也可通过执行手动成像模式的曝光校正等来获取曝光校正后 的两个图像。因此，可以选择曝光控制更为理想的图像。
显然本发明公开的主题并不限于上述实施例，在本发明公开主题的范围内可以 作出各种变化。
权利要求
1.一种图像采集设备，包括 成像透镜；图像采集元件，其包括布置为矩阵的用于光电转换的第一组像素和第二组像素，第 二组像素包括用于相位差检测的像素，其中不对穿过成像透镜的发射孔并进入第一组像 素的光通量的入射方向进行限制，而对穿过成像透镜的发射孔并进入第二组像素的光通 量的入射方向进行限制，将所述图像采集元件构成为能够分别从第一组像素和第二组像 素单独读出第一图像信号和第二图像信号；散焦量计算装置，构成为从图像采集元件读出第二图像信号，并且根据第二图像信 号当中的从用于相位差检测的像素中读出的图像信号来计算成像透镜的散焦量；聚焦控制装置，构成为通过移动成像透镜来执行聚焦调整，从而使得由散焦量计算 装置计算出来的散焦量为“0” ；图像处理装置，构成为在由聚焦控制装置执行聚焦调整之后从图像采集元件中读出 第一图像信号和第二图像信号，并根据读出的第一图像信号和第二图像信号来产生用于 记录的图像；以及记录装置，构成为将图像处理装置产生的图像记录在记录介质中。
2.根据权利要求1所述的图像采集设备，其中图像采集元件包括针对第一组像素和第二组像素的每一个像素的显微透镜，并且 第二组像素当中用于相位差检测的像素包括提供有第一显微透镜的第一像素和提供 有第二显微透镜的第二像素，其中第一显微透镜相对于像素在第一方向上偏移，第二显 微透镜在图像采集元件的平面中与第一方向相反的第二方向上偏移。
3.根据权利要求1或2所述的图像采集设备，其中图像采集元件用于相位差检测的像 素包括一个针对两个相邻像素的显微透镜，并且该显微透镜使得穿过成像透镜的发射孔 的光通量分割并进入两个相邻像素。
4.根据权利要求1或2所述的图像采集设备，其中图像采集元件的第二组像素都是用 于相位差检测的像素。
5.根据权利要求1所述的图像采集设备，其中用于相位差检测的像素和不用于相位差 检测的像素混合在图像采集元件的第二组像素中。
6.根据权利要求4所述的图像采集设备，其中图像处理装置根据从第一组像素读出的 高灵敏度的第一图像信号和从图像采集元件的第二组像素读出的低灵敏度的第二图像信 号来产生宽动态范围图像。
7.根据权利要求4所述的图像采集设备，其中图像处理装置根据从图像采集元件的第一组像素读出的高灵敏度的第一图像信号和 从第二组像素读出的低灵敏度的第二图像信号来产生高灵敏度图像和低灵敏度图像， 图像采集设备还包括图像显示装置，构成为在由记录装置记录之前显示所产生的高灵敏度图像和低灵敏 度图像；以及操作装置，构成为接收用户指令来选择显示在图像显示装置上的高灵敏度图像和低 灵敏度图像中的一个，其中记录装置仅记录所选择的图像。
8.根据权利要求4所述的图像采集设备，还包括曝光控制装置，构成为单独控制图像采集元件的第一组像素和第二组像素中的曝 光，以使得第一组像素的曝光值与第二组像素的曝光值一致，其中图像处理装置根据从第一组像素读出的第一图像信号和从第二组像素读出的第二图 像信号来产生高分辨率的图像。
9.根据权利要求8所述的图像采集设备，其中曝光控制装置单独控制第一组像素和第 二组像素的电荷存储时间，以使得第一组像素的曝光值与第二组像素的曝光值一致。
10.根据权利要求5所述的图像采集设备，其中，图像处理装置包括校正装置，该校 正装置构成为根据与用于相位差检测的像素相邻的不用于相位差检测的像素的图像信号 来对从第二组像素读出的第二图像信号当中与用于相位差检测的像素相对应的图像信号 进行校正，并且其中，图像处理装置根据从第一组像素读出的第一图像信号和在校正装 置进行校正之后的第二图像信号来产生高分辨率的图像。
全文摘要
一种图像采集设备包括成像透镜；图像采集元件，其包括第一组像素和第二组像素，第二组像素包括用于相位差检测的像素，图像采集元件构成为能够分别从第一组像素和第二组像素单独读出第一图像信号和第二图像信号；散焦量计算装置，构成为根据从用于相位差检测的像素中读出的图像信号来计算成像透镜的散焦量；聚焦控制装置，构成为执行聚焦调整来使得散焦量为“0”；图像处理装置，构成为在聚焦调整之后读出第一图像信号和第二图像信号，并根据第一图像信号和第二图像信号来产生用于记录的图像；以及记录装置，构成为记录所产生的图像。
文档编号H04N5/232GK102025903SQ201010279710
公开日2011年4月20日 申请日期2010年9月9日 优先权日2009年9月9日
发明者粟津亘平 申请人:富士胶片株式会社