图像感测系统和驱动该系统的方法
【专利摘要】本发明涉及一种图像感测系统和驱动该系统的方法。在第一操作模式中，从像素阵列中的包括测距像素的像素中读取信号并且基于所读取的信号来执行图像生成。在第二操作模式中，从不包括测距像素的像素中读取信号并且基于所读取的信号来控制曝光。
【专利说明】图像感测系统和驱动该系统的方法
【技术领域】
[0001]本发明涉及图像感测系统和驱动该图像感测系统的方法。
【背景技术】
[0002]已知的图像感测系统，诸如数字照相机和便携式摄像机等，包括使用用于图像感测的传感器基于相位差检测来执行自动聚焦(AF)的图像感测系统。
[0003]日本专利公开N0.2000-156823公开了以下固态图像感测装置:其被配置为使得在包括在该装置中的像素阵列的一些部分中布置用于获得测距信号的多个光电转换单元。所述光电转换单元包括一对光电转换单元，其中每个光电转换单元都具有相对于该单元的中心偏移的开口，开口以相反的方向偏移，彼此远离。
[0004]如日本专利公开N0.2000-156823中公开的那样，固态图像感测装置具有作为操作模式的跳跃模式和测距模式。在跳跃模式中，在跳过所述部分中的光电转换单元的同时从光电转换单元读取信号，这是因为来自像素阵列中的用于测距的光电转换单元的信号不被用于图像生成。电影或取景器图像数据是基于在跳跃模式中获得的数据而生成的。跳跃读取使得能够进行高速光度测定。在测距模式中，从包括用于AF的光电转换单元的行中读取信号。
[0005]然而，在日本专利公开N0.2000-156823中公开的操作期间可能不能正确地执行曝光控制。为了在跳跃模式中执行曝光控制和图像形成，从用于图像的所需数量的光电转换单元中读取信号。因此，获得一帧的信号所需的时间变得更长。在来自对象的光量由于例如短时间的频闪闪光灯(strobe)而显著变化的条件下，曝光控制可能不能跟随光量的变化。
【发明内容】
[0006]本发明的一方面提供一种包括以下部件的图像感测系统。光电转换装置，包括像素阵列和多个微透镜，像素阵列包括被以矩阵布置的多个像素，多个微透镜被与多个像素相对应地布置，多个像素包括用于图像感测的多个图像感测像素和用于测距的多个测距像素。信号处理单元，被配置为处理从光电转换装置读取的信号。测距像素包括第一测距像素和第二测距像素。第一测距像素具有相对于对应的微透镜的光学中心在第一方向上偏移的开口。第二测距像素具有在与第一方向相反的第二方向上偏移的开口。图像感测系统具有第一操作模式和第二操作模式。在第一操作模式中，读取来自光电转换装置的像素阵列中的测距像素和图像感测像素的信号，基于来自测距像素的信号来执行测距，并且基于来自图像感测像素的信号来生成图像。在第二操作模式中，读取来自图像感测像素的信号并且基于从来自图像感测像素的信号来控制曝光。
[0007]本发明的另一方面提供一种驱动图像感测系统的方法，该图像感测系统包括:光电转换装置，光电转换装置包括像素阵列和多个微透镜，像素阵列包括被以矩阵布置的多个像素，多个微透镜被与多个像素相对应地布置，多个像素包括用于图像感测的多个图像感测像素和用于测距的多个测距像素；以及还包括信号处理单元和显示单元，该信号处理单元被配置为处理从光电转换装置读取的信号，该显示单元被配置为显示基于由信号处理单元处理的信号的图像。所述测距像素包括第一测距像素和第二测距像素。第一测距像素具有相对于对应的微透镜的光学中心在第一方向上偏移的开口，第二测距像素具有在与第一方向相反的第二方向上偏移的开口。该方法包括:执行第一操作以从像素阵列中的包括测距像素的像素读取信号以便基于所读取的信号来执行测距和图像显示，并且执行第二操作以从除测距像素之外的像素读取信号以便控制曝光。
[0008]根据参照附图对示例性实施例的以下描述，本发明的更多特征将变得清楚。
【专利附图】
【附图说明】
[0009]图1是根据本发明的实施例的图像感测系统的框图。
[0010]图2是示出根据第一实施例的光电转换装置的配置的框图。
[0011]图3根据第一实施例的像素阵列的像素布置的图。
[0012]图4A至4C是本发明的实施例中的图像感测像素和AF像素的配置的顶视图。
[0013]图5是用于说明相位差检测的原理的图。
[0014]图6是用于说明相位差检测的原理的图。
[0015]图7是根据第一实施例的图像感测系统的操作顺序的流程图。
[0016]图8A和8B是示出根据第一实施例的操作的图。
[0017]图9是示出根据第二实施例的像素阵列的像素布置的图。
[0018]图10是示出根据第三实施例的像素阵列的像素布置的图。
【具体实施方式】
[0019]第一实施例
[0020]将参照附图描述根据本发明的第一实施例。
[0021]图1是示出图像感测系统的示例性配置的框图。图像感测系统1000包括光学单元100、光电转换装置200、信号处理单元300、定时生成器400以及光源500。
[0022]来自对象的光通过光学单元100并被聚焦在光电转换装置200上。所聚焦的光被光电转换单元200光电转换成电信号。光电转换装置200包括用于图像生成的图像感测像素和AF像素(测距像素)。
[0023]从光电转换装置200读取的信号被传送到信号处理单元300，在信号处理单元300中信号被存储为存储器301中的数据。相位差处理器302基于存储器301中存储的数据中的从AF像素获得的数据来执行相位差计算，以确定失焦量。信号处理单元300基于所确定的失焦量来控制光学单元100以执行AF控制。
[0024]此外，在信号处理单元300中，光量处理器303基于存储器301中存储的数据中的从用于图像生成的图像感测像素获得的数据来确定曝光量。信号处理单元300基于所确定的曝光量来控制定时生成器400和光源500。因此，定时生成器400把驱动信号提供给光电转换装置200以改变充电时间并且从光源500发射的光量被改变。光源500例如是频闪闪光灯。
[0025]尽管此处未示出，图像感测系统1000还包括接口和被配置为显示图像的显示器(显示单元)，该接口被配置为把存储器301中存储的数据传送到外部设备。
[0026]图2是示出在图像感测系统1000中包括的光电转换装置200的配置的框图。光电转换装置200包括像素阵列PA、列读取部CC、水平传送部HTR、输出部0P、行选择部VSR以及列选择部HSR。
[0027]像素阵列PA包括被以行列矩阵布置的多个像素。每个像素包括光电转换元件并响应于通过光学单元100的入射光来生成电荷。当行选择部VSR以行为基础选择多个像素时，从所选的行中的像素输出信号。每个像素包括光电转换元件、被配置为基于所生成的电荷的量来输出电压信号的放大晶体管、被配置为对光电转换元件中存储的电荷的量进行复位的复位晶体管、以及被配置为选择像素的选择晶体管。
[0028]列读取部CC包括与像素阵列PA的列对应地布置的多个列读取电路。每个列读取电路被配置为处理从相应的列中的像素输出的信号并且可包括噪声降低电路(比如相关双采样(CDS)电路)、放大器以及采样保持电路。列读取电路可包括模数(AD)转换器。
[0029]列选择部HSR选择性地把来自列读取电路的信号通过水平传送部HTR传送到输出部OP。水平传送部HTR包括用于传送模拟信号的线路和用于传送数字信号的数字总线并且可以包括串联连接以传送信号的多个缓冲电路。
[0030]输出部OP把通过水平传送部HTR供给的信号传送到图像感测系统1000后面的电路。输出部OP可以包括放大器和使得能够以低压差分信号(LVDS)格式进行差分输出的电路。
[0031]图3是示出像素阵列PA的示例性像素布置的图。在图3中，提取并示出了像素阵列PA中的14行6列的区域。参照图3，与各个像素对应地布置的滤色器的颜色由附图标记R、G和B表示:R表示“红”，G表示“绿”以及B表示“蓝”。R、G和B像素被布置为拜尔图案以使得每个单元包括2行2列的四个像素。一些像素被像素SI和S2替代。在以下描述中，像素SI和S2将被称为“AF像素”。
[0032]图4A和图4B是AF像素SI和S2的顶视图。
[0033]图4A示出AF像素SI，AF像素SI包括覆盖AF像素SI的光电转换元件的遮光部并具有开口。参照图4A，阴影区域对应于为光电转换元件遮光的遮光部，以及空白区域对应于光通过其进入光电转换元件的开口。圆表示为AF像素SI提供的微透镜的投影以及点表不微透镜的光学中心。在AF像素SI中，在图4A中开口被设置为相对于微透镜的光学中心向右偏移的位置。遮光部可以包括单层或多层的遮光构件。构成遮光部的遮光构件可以是用以传输电源电压或信号的线路。
[0034]图4B示出AF像素S2,该AF像素包括覆盖AF像素S2的光电转换元件的遮光部并具有开口。在AF像素S2中，开口被设置在与图4A的AF像素SI中的开口不同的位置。虽然AF像素SI的开口相对于微透镜的光学中心向右偏移，但AF像素S2的开口设置在相对于微透镜的光学中心向左偏移的位置。AF像素SI，作为第一测距像素，具有在第一方向上偏移的开口，而AF像素S2，作为第二测距像素，具有在第二方向上偏移的开口。换句话说，AF像素SI和S2具有相对于微透镜的光学中心向相反方向偏移的开口。尽管例如在图4A和图4B中开口在微透镜的光学中心的右侧或左侧，但是在图4A中开口可以部分地向左延伸超过微透镜的光学中心。在这种情况下，测距的准确性低于开口仅在光学中心右侧的情况。考虑到测距的准确性，开口可以相对于光学中心仅设置在一侧。[0035]图4C示出与AF像素不同的R、G或B像素(下文中，称为“图像感测像素”)以用于比较。图像感测像素具有相对于微透镜的光学中心不偏移的开口。
[0036]下面将描述使用AF像素SI和S2的相位差检测的原理。
[0037]图5示出对象图像聚焦在光电转换装置200上的状态。微透镜ML被与像素Pl到P5相对应地布置。区域Rl和区域R2是在每个像素中包括的光电转换元件的区域，并且对应于图4A和图4B中示出的开口。因为每个AF像素被遮光以使得光仅入射到相对于微透镜ML的光学中心偏移的位置，所以光电转换元件并不必须被分隔为区域Rl和R2。光电转换元件可以具有集成形式或可以被设置在区域Rl和R2中的仅一个中。
[0038]以下描述将集中在相继布置的像素Pl到P5的像素P4上。入射到像素P4的区域Rl上的光束LI通过光学单元100的对应光瞳。类似地，入射到像素P4的区域R2上的光束L2通过光学单元100的对应光瞳。如果对象被焦点对准，则光束LI和L2被会聚在微透镜ML的表面上的一点上。光束LI和L2然后分别进入光电转换元件的区域Rl和R2。因为在区域Rl和R2中形成相同的图像，所以从这些区域获得的信号具有相同的电平。
[0039]将参照图6描述对象失焦的情况。在对象失焦的情况下，光束LI和L2并不会聚到单个像素的微透镜ML上。在图6的情况下，光束LI和L2在与微透镜ML的表面不同的位置处交叉。相应地，光束LI进入像素P4并且光束L2进入像素P2。因此，从像素P4的区域Rl和R2获得的信号具有不同的电平。由h表示的在与微透镜ML的表面相切的平面与光束LI和L2交叉的位置之间的距离将被称为“失焦量”。
[0040]使用上述原理在从图3中的像素SI获得的信号和从像素S2获得的信号之间的比较使得能够对于对象是否处于焦点对准作出判断。如果信号处理单元300判断对象处于失焦，则信号处理单元300通过移动光学单元100或改变焦点来控制光学单元100。信号处理单元300重复判断并且光学单元进行控制直到对象处于焦点对准。
[0041]将参照图7描述根据该实施例的图像感测系统1000的操作顺序。
[0042]首先，信号处理单元300向定时生成器400提供控制信号以使得定时生成器400在作为第一操作模式(SI)的跳跃模式中操作。
[0043]在步骤S2中，在跳跃模式中读取一帧的信号。具体而言，光电转换装置200从像素阵列的一些像素中读取信号。在该操作模式中，除了包括图像感测像素的行之外，还从包括AF像素的行中的像素读取信号。信号处理单元300生成基于从包括图像感测像素的行获得的信号的图像。例如，通过在图像感测系统1000的显示器上显示所生成的图像，显示器可以充当电子取景器(EVF)。此外，图像可被记录为存储器301中的电影。因为信号是仅从像素阵列中的像素中的一些像素读取的，所以读取一帧的信号所需的时间可以被缩短。因此，可以获得比基于从所有像素中读取的信号的电影更流畅的电影。此外，因为来自AF像素的信号并不有助于图像生成，所以可以去除校正图像感测像素和AF像素之间的特性差别的处理。在步骤S2中，基于从AF像素获得的信号来执行相位差测距。
[0044]随后，在步骤S3中确定是否发生了事件。事件的示例包括用户接通作为光源的频闪闪光灯500的预闪开关(pre-flash switch)以及用户接通快门开关。如果在步骤S3中确定未发生事件，则操作返回步骤S2并且在跳跃模式中再次读出一帧的信号。
[0045]如果在步骤S3中确定已经接通了用于频闪闪光灯500的预闪开关，则操作进行到步骤S4。如果在步骤S3中确定已经接通了快门开关，则操作进行到步骤S7。[0046]在步骤S4中，定时生成器400从跳跃模式切换到作为第二操作模式的光控制模式。在该操作模式中，从不包括AF像素的行中读取信号并且不从包括AF像素的行中读取信号。因此，可以去除校正AF像素和图像感测像素之间的特性差别的处理。此外，因为执行跳跃读取，所以被读取信号的目标像素的数量可以比跳跃模式中的数量少。随着目标像素的数量越少，获得一帧的信号所需的时间可以越短。在不生成图像的光控制模式中，在光量短时间内大大变化的诸如频闪闪光灯等光源的使用中可以获得适当量的曝光。
[0047]在步骤S5中，基于步骤S4中读取的信号来确定适于图像感测条件的频闪闪光灯光量。在确定频闪闪光灯光量后，操作返回到步骤SI并且定时生成器400被设置为跳跃模式。
[0048]如果在步骤S3中确定接通了快门开关，则定时生成器400从跳跃模式切换到光控制模式(步骤S7)。
[0049]在步骤S8中，与步骤S5类似的方式基于在光控制模式中获得的信号来确定适于图像感测条件的频闪闪光灯光量。
[0050]在步骤S9中，定时生成器400从光控制模式切换到作为第三操作模式的静止图像拍摄模式。静止图像拍摄模式是用以读取来自图像感测像素和AF像素的信号而无需跳过像素的操作模式。
[0051]在步骤SlO中，频闪闪光灯500被允许在步骤S9中确定的光发射条件下发光。在拍摄时，操作再次返回步骤Si。
[0052]在图7中的跳跃模式中，从图像感测像素获得的图像被显示在显示器(EVF)上。在光控制模式中，执行光控制(光控制)。
[0053]图8A是说明在在图7中的步骤S3中确定接通用于频闪闪光灯500的预闪开关的情况下获得的图像感测帧的流程的图。
[0054]在步骤S2中，基于在跳跃模式中从图像感测像素获得的信号来执行EVF显示。具体而言，执行EVF显示并且基于从AF像素获得的信号来执行AF。
[0055]当在步骤S3中确定接通用于频闪闪光灯500的预闪开关时，模式切换到光控制模式。基于从除跳过的像素之外的图像感测像素读取的信号来确定频闪闪光灯光量。
[0056]在频闪闪光灯光量确定后，模式再次切换到跳跃模式。因此，执行EVF显示。在此之后，重复EVF显示直到在步骤S3中确定另一事件发生。
[0057]图SB是说明在图7的步骤S3中确定接通快门开光的情况下获得的图像感测帧的流程的图。
[0058]在步骤S2中，基于在跳跃模式中从图像感测像素获得的信号来执行EVF显示。具体而言，执行EVF显示并基于从AF像素获得的信号来执行AF。
[0059]当在步骤S3中确定接通快门开关时，模式切换到光控制模式。基于从除跳过的像素之外的图像感测像素读取的信号来确定频闪闪光灯光量。
[0060]在确定频闪闪光灯光量之后，从图像感测像素和AF像素读取信号以捕获静止图像(静止图像捕获)。在此之后，模式再次切换到跳跃模式，以使得执行EVF显示。重复EVF显示直到在步骤S3中确定另一事件的发生。
[0061]根据该实施例，在跳跃模式中从仅包括图像感测像素的行和包括AF像素的行读取信号。在光控制模式中，从不包括AF像素的行读取信号。因此，可基于针对与图像生成不相关的一帧而获得的信号来控制曝光。因此，在光(诸如频闪闪光灯光)的量在短时间内大大变化的条件下可以即刻实现适当的曝光控制。
[0062]在日本专利公开N0.2000-156823中公开的技术中，基于在跳跃模式中获得的信号执行EVF显示并且还基于这些信号来执行曝光控制。在这样的方法中，曝光控制可能不能跟随如上所述的光量的改变。如果相继的图像帧包括失焦的帧，则该帧几乎不可见。如果相继的图像帧包括具有与其它帧不同的亮度的帧，则差别容易被注意到。根据该实施例，图像感测系统1000具有跳跃模式和光控制模式，在跳跃模式中，基于从AF像素读取的信号和从图像感测像素读取的信号来执行相位差检测和图像生成，在光控制模式中，基于仅从图像感测像素读取的信号来控制曝光量。有利地，在对象处于焦点对准的同时可以生成自然的图像。
[0063]第二实施例
[0064]将参照附图描述根据本发明的第二实施例。将主要针对与第一实施例的不同来描述第二实施例。
[0065]图9是从像素阵列PA提取出的14行6列的区域。在图9中，像素符号与图3中的像素符号相同。图9中的AF像素的布置与图3的布置不同。
[0066]在第一实施例中，AF像素SI和S2被布置为在矩阵中在对角线上彼此相邻。在包括对角线上相邻的AF像素SI和S2的两行与包括对角线上相邻的AF像素SI和S2的下一组两行之间布置两行。在本实施例中，AF像素SI和S2被布置为使得在包括AF像素SI的每一行和包括AF像素S2的每一行之间布置有两行。
[0067]与第一实施例中的布置比较，可以减少同一尺寸的区域中的AF像素的数量。包括AF像素的行在跳跃模式中被跳过。因此，随着AF像素的数量越小，在跳跃模式中获得的图像的分辨率越高。
[0068]因为如上所述那样来自对象的光束部分地进入AF像素的光电转换元件，所以从AF像素获得的信号不被用于图像生成。基于从围绕AF像素的像素获得的信号来执行插值。随着要经受插值的AF像素的数量越多，用于插值所需的处理时间越长。该实施例提供与第一实施例中的优点相同的优点并进一步提供以下优点:由于每单位面积的AF像素的数量比第一实施例中的数量少，所以可以生成更高清晰度的图像并且可以达成更高速度的读取。
[0069]第三实施例
[0070]将参照附图描述根据本发明的第三实施例。将主要针对与第二实施例的不同来描述第三实施例。
[0071]图10示出从像素阵列PA提取出的20行6列的区域。在图10中，像素符号与图3和图9中的像素符号相同。每个单位面积的AF像素的数量小于图9的布置中的数量。
[0072]在第三实施例中，AF像素SI和S2被布置为使得在一个行组和下一个行组之间布置有8行,每个行组包括:包括AF像素SI的第一行,包括AF像素S2的第二行，以及被布置在第一行和第二行之间的两行。
[0073]根据该实施例，可以生成比第二实施例更高清晰度的图像并且可以达成比第二实施例更高的读取速度。
[0074]应当理解上述实施例仅是本发明的示例性的实施示例，本发明的技术范围不应解释为限定性的。具体而言，在不脱离发明的技术精神或实质特征的情况下可以以各种形式实施本发明。例如，尽管示出了 AF像素SI被布置在一列上并且AF像素S2被布置在另一列上的布置，但本发明不限于上述示例。例如，AF像素SI可以被布置在一行中而AF像素S2可以被布置在另一行中。
[0075]虽然已经参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围将要被赋予最宽泛的解释，从而包括所有这样的修改、以及等同的结构和功能。
【权利要求】
1.一种图像感测系统，包括: 光电转换装置，包括像素阵列和多个微透镜，所述像素阵列包括被以矩阵布置的多个像素，所述多个微透镜被与所述多个像素相对应地布置，所述多个像素包括用于图像感测的多个图像感测像素和用于测距的多个测距像素；以及 信号处理单元，被配置为处理从光电转换装置读取的信号， 其中，所述测距像素包括第一测距像素和第二测距像素， 其中，第一测距像素具有相对于对应的微透镜的光学中心在第一方向上偏移的开口， 其中，第二测距像素具有在与第一方向相反的第二方向上偏移的开口， 其中，图像感测系统具有第一操作模式和第二操作模式， 其中，在第一操作模式中，读取来自在光电转换装置的像素阵列中的测距像素和图像感测像素的信号，基于来自测距像素的信号来执行测距，并且基于来自图像感测像素的信号来生成图像，以及 其中，在第二操作模式中，读取来自图像感测像素的信号并且基于来自图像感测像素的信号来控制曝光。
2.根据权利要求1所述的系统，其中，在第二操作模式中被读取信号的像素的数量少于在第一操作模式中被读取信号的像素的数量。
3.—种驱动图像感测系统的方法，该图像感测系统包括:光电转换装置，光电转换装置包括像素阵列和多个微透镜，所述像素阵列包括被以矩阵布置的多个像素，所述多个微透镜被与所述多个像素相对应地布置，所述多个像素包括用于图像感测的多个图像感测像素和用于测距的多个测距像素；以及该图像感测系统还包括信号处理单元和显示单元，该信号处理单元被配置为处理从光电转换装置读取的信号，该显示单元被配置为显示基于由信号处理单元处理的信号的图像，所述测距像素包括第一测距像素和第二测距像素，第一测距像素具有相对于对应的微透镜的光学中心在第一方向上偏移的开口，第二测距像素具有在与第一方向相反的第二方向上偏移的开口，该方法包括: 执行第一操作以读取来自在光电转换装置的像素阵列中的测距像素和图像感测像素的信号，基于来自测距像素的信号来执行测距，并且基于来自图像感测像素的信号来显示图像；以及 执行第二操作以读取来自图像感测像素的信号并且基于来自图像感测像素的信号来控制曝光。
4.根据权利要求3所述的方法，其中，在第二操作中被读取信号的像素的数量少于在第一操作中被读取信号的像素的数量。
【文档编号】H04N5/232GK103491295SQ201310232259
【公开日】2014年1月1日 申请日期:2013年6月13日 优先权日:2012年6月13日
【发明者】河野祥士 申请人:佳能株式会社