包括共享像素的成像设备及其操作方法与流程

相关申请的交叉引用

本申请要求2020年1月23日向韩国知识产权局递交的韩国专利申请no.10-2020-0009399的权益，将其公开通过引用全部合并在此。

本公开总体上涉及一种成像设备，更具体地，涉及一种包括共享像素的成像设备及其操作方法。

背景技术：

获得图像并将其转换为电信号的成像设备已广泛用于诸如数码相机、移动电话的相机和便携式摄像机等各种消费电子产品，以及用于安装在汽车、安全设备、机器人等中的相机。这样的成像设备包括像素阵列，其中像素阵列中的每个像素可以包括感光元件。感光元件可以根据吸收的入射到其上的光的强度来生成电信号。

已经提出了用于共享浮动扩散节点的包括多个子像素在内的共享像素的结构，以提高自动聚焦功能并增加成像设备的动态范围。提高这种共享像素成像设备的性能的研究在进行中。

技术实现要素：

本发明构思的实施例提供了一种成像设备及其操作方法，能够生成高分辨率图像并同时执行提高的自动聚焦操作。

根据本发明构思的方面，提供了一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由微透镜覆盖的子像素。在该方法中，从接收物体反射的光的多个共享像素，生成捕获图像。使用静态相位信息来补偿所述捕获图像，所述静态相位信息基于所述多个共享像素中的每一个的微透镜的未对准。基于对所述捕获图像的补偿来执行自动曝光控制。基于补偿后的捕获图像来执行自动聚焦控制；以及通过处理所述补偿后的捕获图像来生成输出图像。

根据本发明构思的方面，提供了一种成像设备，包括像素阵列，所述像素阵列包括多个共享像素，所述多个共享像素共享浮置扩散节点，每个共享像素包括由微透镜覆盖的子像素，并且接收从物体反射的光。存储器存储基于所述多个共享像素中的每一个的微透镜的未对准的静态相位信息。处理电路被配置为使用所述静态相位信息来补偿从所述多个共享像素生成的捕获图像，并生成补偿后的捕获图像；以及控制器被配置为基于对所述捕获图像的补偿程度来执行自动曝光控制，并使用所述补偿后的捕获图像来执行自动聚焦控制。

根据本发明构思的另一方面，提供了一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由一个微透镜覆盖的子像素，所述操作方法包括：从接收物体反射的光的所述多个共享像素来生成捕获图像；使用基于所述多个共享像素中的每一个的微透镜的未对准程度的静态相位信息来补偿所述捕获图像；以及基于操作模式来处理补偿后的捕获图像。

附图说明

根据以下结合附图进行的详细描述，将更清楚地理解本发明构思的实施例，在附图中：

图1是示出根据本发明构思的实施例的成像设备的结构的示例的图，其中，成像设备执行自动聚焦功能和自动曝光功能；

图2a是示出根据本发明构思的实施例的图像传感器的框图；

图2b、图2c和图2d是示出共享像素的图；

图3是示出根据本发明构思的实施例的生成静态相位信息的方法的图；

图4是示出根据本发明构思的实施例的对捕获图像的补偿操作的流程图；

图5是示出根据本发明构思的实施例的自动曝光控制和自动聚焦控制方法的流程图。

图6a、图6b和图6c是示出根据本发明构思的实施例的像素阵列的实现示例的图；

图7a、图7b和图7c是示出关于图8描述的视差的图；

图8是示出根据本发明构思的实施例的在正常模式下的成像设备的操作方法的流程图；

图9是示出根据本发明构思的实施例的在正常模式下的操作方法的成像设备的框图；

图10a和图10b是示出在高动态范围(hdr)模式下与像素阵列有关的曝光时间的图；

图11是示出根据本发明构思的实施例的在hdr模式下的成像设备的操作方法的流程图；

图12是示出根据本发明构思的实施例的在hdr模式下的操作方法的成像设备的框图；

图13是示出根据本发明构思的实施例的包括成像设备在内的系统的框图；以及

图14是示出根据本发明构思的实施例的包括成像设备在内的电子设备的透视图。

具体实施方式

在下文中，将参照附图详细描述本发明构思的实施例。

图1是示出根据本发明构思的实施例的成像设备1000的结构的示例的图，其中，成像设备1000执行自动聚焦功能和自动曝光功能。成像设备1000可以包括成像单元1100、图像传感器100和控制器1200。

成像单元1100是接收光的组件，并且可以包括透镜1110、透镜驱动单元1120、光圈1130和光圈驱动单元1140。透镜1110可以包括多个透镜。图像传感器100可以将入射光转换成图像信号。图像传感器100可以包括像素阵列110、时序控制器120和信号处理单元130。穿过透镜1110和光圈1130的光信号可以到达像素阵列110的光接收表面以形成物体s的图像。

控制器1200可以控制成像设备1000的整体操作。为此，控制器1200可以提供用于每个组件(例如透镜驱动单元1120、光圈驱动单元1140、定时控制器120等)的操作的控制信号。

透镜驱动单元1120可以与控制器1200通信关于焦点检测的信息，并且可以根据从控制器1200提供的控制信号来调整透镜1110的位置。控制器1200可以生成关于焦点检测的信息，稍后将详细描述。透镜驱动单元1120可以在透镜1110到物体s的距离增加或减少的方向上移动透镜1110。因此，可以调整透镜1110与物体s之间的距离。物体s可以根据透镜1110的位置而被聚焦或模糊。

例如，当透镜1110与物体s之间的距离相对近时，透镜1110的位置可能偏离用于聚焦物体s的对焦位置，并且在从图像传感器100生成的图像之间可能出现相位差。在这种情况下，透镜驱动单元1120可以基于从控制器1200提供的控制信号向内移动透镜1110以增加到物体s的距离。

另一方面，当透镜1110与物体s之间的距离相对远时，透镜1110可能偏离对焦位置，并且在从图像传感器100生成的图像之间可能出现相位差。在这种情况下，透镜驱动单元1120可以基于从控制器1200提供的控制信号向外移动透镜1110以减小到物体s的距离。

像素阵列110可以是将光信号转换成电信号的互补金属氧化物半导体图像传感器(cis)。像素阵列110可以包括多个共享像素。共享像素共享浮置扩散节点，并且包括由一个微透镜覆盖的多个子像素。稍后关于图2b等给出共享像素的描述。可以由时序控制器120相对于共享像素来调整像素阵列110的曝光时间、灵敏度等。根据本发明构思的实施例，可以根据成像设备1000的操作模式来不同地控制与共享像素有关的曝光时间。例如，成像设备1000可以在正常模式或高动态范围(hdr)模式下操作，并且可以分别在这两种模式下不同地控制与共享像素的子像素有关的曝光时间。

根据本发明构思的实施例的信号处理单元130可以包括静态相位补偿模块132。像素阵列110的共享像素各自具有其中由一个微透镜覆盖多个子像素的结构。在实际过程中，由于难以将微透镜一致地布置在理想位置中的每个共享像素中，因此共享像素可能与微透镜未对准，并且每个共享像素的微透镜的未对准可能不同。(在此，“未对准”可以理解为“未对准程度”。未对准程度可以指与预期的取向不同的取向角度的方向和/或取向角度的未对准幅度)。考虑到共享像素的不同程度的未对准，信号处理单元130可以通过静态相位补偿模块132来补偿从像素阵列110接收的捕获图像。作为实施例，信号处理单元130可以基于像素阵列110的每个共享像素的微透镜的未对准程度，使用静态相位信息来补偿捕获图像。

此外，静态相位信息对应于与缺省相位差有关的信息，所述缺省相位差是由于每个共享像素与不同的微透镜之间的未对准程度而引起的每个共享像素的像素图像之间的相位差。作为实施例，静态相位信息可以包括针对每个共享像素的补偿增益，所述补偿增益基于通过将通过向像素阵列110的共享像素照射平面光而生成的样本图像与参考图像进行比较而得出的比较结果。参考图像可以对应于当将微透镜对准并布置在每个共享像素中时期望生成的图像信息，并且针对每个共享像素的补偿增益可以对应于施加到从每个共享像素输出的每个像素图像的增益。每个共享像素的像素图像可以形成捕获图像。

作为实施例，信号处理单元130可以根据成像设备1000的操作模式对从像素阵列110接收的捕获图像自适应地执行处理。首先，当成像设备1000在正常模式下操作时，信号处理单元130可以检测由物体s和成像设备1000之间的距离生成的动态相位，并且基于检测到的动态相位来校正捕获图像。在正常模式下，可以将与像素阵列110的一个共享像素中的多个子像素有关的曝光时间控制为相同。关于这一点的具体实施例将参考图9等进行描述。

当成像设备1000在hdr模式下操作时，可以将与像素阵列110的一个共享像素中的多个子像素有关的曝光时间控制为具有至少两个曝光时间(可互换地为“图案”)。例如，如果子像素被配置为2×2，使得当子像素包括第一至第四子像素时，则第一子像素具有长的曝光时间，第二子像素具有短的曝光时间，第三和第四子像素具有中间的曝光时间。

信号处理单元130可以针对每个曝光时间分割捕获图像，并且将图案中与参考图案相对应的分割图像的亮度与参考亮度进行比较以生成亮度差信息。信号处理单元130可以基于亮度差信息来校正补偿的捕获图像。稍后将参考图12等描述这方面的详细实施例。

信号处理单元130可以对捕获图像执行诸如颜色插值、颜色校正、自动白平衡、伽马校正、颜色饱和度校正、格式校正、坏像素校正、色调校正等的各种操作以生成输出图像。

控制器1200可以基于从信号处理单元130接收的经补偿或校正的捕获图像来执行自动曝光控制。此外，作为信号处理单元130对捕获图像的补偿操作的结果，由于整个图像亮度可能比以前更亮，因此考虑到这一点有必要执行自动曝光控制。因此，控制器1200可以基于图像亮度改变的程度来执行自动曝光控制，该图像亮度改变的程度是根据基于捕获图像的静态相位信息的补偿。控制器1200可以控制光圈1130、定时控制器120和快门(未示出)速度中的至少一个，以进行自动曝光控制。例如，控制器1200可以将曝光时间控制为比考虑对捕获图像的补偿操作之前的曝光时间短。

控制器1200可以基于从信号处理单元130接收的补偿或校正的捕获图像来执行自动聚焦控制。控制器1200可以对从信号处理单元130接收的捕获图像执行相位差计算，并且可以获取焦点的位置、焦点的方向、或者物体s与成像设备1000(或者图像传感器100)之间的距离作为相位差计算的结果。控制器1200可以基于相位差计算的结果向透镜驱动单元1120输出控制信号以移动透镜1110的位置。

考虑到每个共享像素的微透镜的未对准和由未对准程度的差异引起的相位差，根据本发明构思的实施例的成像设备1000可以补偿捕获图像，并且根据操作模式自适应地校正捕获图像，从而生成具有良好图像质量的图像，并同时提供提高的自动聚焦功能。

图2a是示出根据本发明构思的实施例的图像传感器100的配置的框图，图2b至图2d是示出共享像素spa和spb的图。

参考图1和图2a，图像传感器100可以包括像素阵列110、时序控制器120、信号处理单元130、行驱动器140和信号读取单元150。

像素阵列110可以以像素为单位形成，并且可以包括多个共享像素spa和spb。共享像素spa和spb可以分别包括多个子像素sub_px11至sub_px14和sub_px21至sub_px24。子像素sub_px11至sub_px14和sub_px21至sub_px24可以各自包括感光元件。例如，感光元件可以包括光电二极管。共享像素spa和spb可以吸收光以生成电荷，并且根据所生成的电荷的电信号可以被提供给信号读取单元150。信号读取单元150可以包括相关双采样(cds)电路151、模数(adc)电路153、缓冲器155和灯信号生成电路(单元)157。控制器120可以将时序信号施加给信号读取单元150，以控制从像素阵列110读出灰度电压。

图2b示出了从一侧观看的图1的共享像素spa。如图2b所示，共享像素spa可以包括第一子像素sub_px11和第二子像素sub_px12，并且第一子像素sub_px11的第一光电二极管pd1和第二子像素sub_px12的第二光电二极管pd2可以设置在基板st上。预定的滤色器cf(例如，红色、绿色和蓝色滤色器之一)可以设置在基板st上。第一子像素sub_px11和第二子像素sub_px12可以由一个微透镜ml覆盖，该微透镜ml可以被称为共享微透镜ml。

此外，进一步参考图2c，由于第一微像素ml1中的处理中的各种因素，第一微透镜ml1可能在第一方向上被偏置以覆盖第一共享像素spa。另外，进一步参考图2d，由于第二共享像素spb中的处理中的各种因素，第二微透镜ml2可以在不同的第二方向上偏置以覆盖第二共享像素spb。

因为第一共享像素spa与第一微透镜ml1之间的未对准以及第二共享像素spb与第二微透镜ml2之间的未对准是不同的，所以由于上述差异引起的像素图像之间的相位差，存在图像质量可能劣化的问题。因此，考虑到诸如以上所描述的相位差，根据本发明构思的实施例的信号处理单元130可以通过静态相位补偿模块132来补偿来自包括第一共享像素spa和第二共享像素spb在内的像素阵列110的捕获图像。信号处理单元130可以根据操作模式对补偿后的捕获图像执行各种处理操作，结果，可以生成具有良好图像质量的输出图像。

图3是示出根据本发明构思的实施例的生成静态相位信息的方法的图。

参考图3，在操作s100中，可以将平面光照射到包括多个共享像素在内的像素阵列。在操作s100中，可以通过共享像素来生成样本图像。样本图像是从由共享像素从平面光接收到的光信号生成的，并且可以对应于用于检查每个共享像素与微透镜的未对准的信号。在操作s120中，可以将样本图像和参考图像进行比较以计算每个共享像素的静态相位信息。参考图像可以被预设为当每个共享像素的微透镜被对准时期望通过平面光而生成的信号。如上所述，静态相位信息可以包括针对每个共享像素的补偿增益。在操作s130中，可以将在操作s120中计算出的静态相位信息预先存储在成像设备的存储器中，并且将来可以通过将每个共享像素的补偿增益施加于从共享像素生成的像素图像来对捕获图像执行补偿操作。

图4是示出根据本发明构思的实施例的对捕获图像的补偿操作的流程图。

参考图4，在操作s200中，成像设备可以使用像素阵列的多个共享像素来生成捕获图像。在操作s210中，成像设备可以访问存储器以获取预先存储的针对每个共享像素的补偿增益。在操作s220中，成像设备可以利用针对每个共享像素的补偿增益来补偿捕获图像。在操作s230中，成像设备可以根据操作模式来自适应地处理补偿后的捕获图像。

图5是示出根据本发明构思的实施例的自动曝光控制和自动聚焦控制方法的流程图。

参考图5，在操作s300中，成像设备可以执行自动曝光控制，并且作为这种操作的一部分，可以基于针对每个共享像素的补偿增益来调整曝光时间。也就是说，随着针对每个共享像素的补偿增益被施加于捕获图像，补偿后的捕获图像的亮度可以增加，并且因此，成像设备可以考虑针对每个共享像素的补偿增益来调整共享像素的曝光时间以使其减少，以调整最终输出图像的亮度。在操作s310中，成像设备可以执行自动聚焦控制，并且作为这种操作的一部分，可以基于补偿后的捕获图像来调整透镜位置。例如，成像设备可以计算补偿后的捕获图像中包括的与各个共享像素相对应的像素图像之间的相位差，以调整透镜的位置。

图6a至图6c是示出根据本发明构思的各个实施例的像素阵列块的实现示例的图。参考图6a，像素阵列块210可以包括多个共享像素。在典型的实施例中，像素阵列110可以包括数百、数千或超过一百万个共享像素。具有2×2子像素块的共享像素(四个子像素)被定义为包括以两行两列布置的子像素的单元。在这种情况下，共享像素可以包括与四个子像素分别相对应的四个光电二极管。共享像素中的四个光电二极管可以共享浮置扩散节点(未示出)。图6a的示例示出了包括第一共享像素sp1至第十六共享像素sp16的像素阵列块210a。共享像素sp1至sp16可以各自包括滤色器，以通过滤除特定颜色(例如，红色(r)、绿色(g)或蓝色(b))的波长之外的波长来允许感测该特定颜色。第一共享像素sp1至第十六共享像素sp16中的每一个可以包括其上布置有相同滤色器的子像素。

在以下讨论中，为了简洁起见，“第i个共享像素spi”可以仅称为“spi”或仅称为“像素spi”，其中i是任何整数。例如，在图6a中，像素sp1、sp3、sp9和sp11可以包括具有b滤色器的子像素；像素sp2、sp4、sp5、sp7、sp10、sp12、sp13和sp15可以包括具有g滤色器的子像素；像素sp6、sp8、sp14和sp16可以包括具有r滤色器的子像素。另外，可以在与拜耳图案相对应的像素阵列块210a中布置以下每个组：(i)像素sp1、sp2、sp5和sp6；(ii)像素sp3、sp4、sp7和sp8；(iii)像素sp9、sp10、sp13、sp14；(iv)像素sp11、sp12、sp15和sp16。

在其他实施例中，像素阵列块210a可以包括其他类型的滤色器，例如用于感测黄色、青色、品红色和绿色的滤色器。在另一示例中，滤色器包括用于感测红色、绿色、蓝色和白色的滤波器。另外，在其他实施例中，每个像素阵列块(例如210a)可以包括更多数量的共享像素。

参考图6b，第一共享像素sp1、第二共享像素sp2、第三共享像素sp3和第四共享像素sp4中的每一个可以包括九个子像素。第一共享像素sp1可以包括具有b滤色器的九个子像素，第二共享像素sp2和第三共享像素sp3中的每一个可以包括具有g滤色器的九个子像素。第四共享像素sp4可以包括具有r滤色器的九个子像素。

作为另一示例，参考图6c，第一共享像素sp1、第二共享像素sp2、第三共享像素sp3和第四共享像素sp4中的每一个可以包括16个子像素。以与图6b相同的方式，第一共享像素sp1可以包括具有b滤色器的16个子像素，并且第二共享像素sp2和第三共享像素sp3中的每一个可以包括具有g滤色器的16个子像素。第四共享像素sp4可以包括具有r滤色器的16个子像素。

图7a至图7c是示出将关于图8描述的视差的图。在下文中，引用并描述了图6a的像素阵列210a的结构。

参考图7a，示出了第一侧图像和第二侧图像，第一侧图像示出从设置在第一侧(例如第一列col1、第三列col3、第五列col5和第七列col7)上的子像素检测到的预定物体21a至24a，第二侧图像示出从设置在第二侧(例如第二列col2、第四列col4、第六列col6和第八列col8)上的子像素检测到的预定物体21b至24b。第一侧图像的物体21a至24a可以与第二侧图像的物体21b至24b分别相对应。

在图7c中，示出了第一侧图像与第二侧图像重叠的状态的示例。可以获得第二侧图像相对于第一侧图像的视差。作为示例，视差可以由移位像素的数量和方向信息指示。

此外，在另一实施例中，成像设备可以生成第一侧图像和第二侧图像，第一侧图像示出从设置在第一行row1、第三行row3、第五行row5和第七行row7中的子像素中检测到的预定物体，第二侧图像示出从设置在第二行row2、第四行row4、第六行row6和第八行row8中的子像素中检测到的预定物体，并且可以获得第二侧图像相对于第一侧图像的视差。

如上所述的用于获得视差的第一侧图像和第二侧图像可以被定义为图像深度信息中包括的数据，并且视差可以指的是由物体与成像设备之间的距离的变化而生成的动态相位。

图8是示出根据本发明构思的实施例的在正常模式下的成像设备的操作方法的流程图。

参考图8，在操作s400中，成像设备可以使用共享像素来生成图像深度信息。作为另一实施例，成像设备还可以包括飞行时间(tof)传感器，以使用tof传感器来生成图像深度信息。在操作s410中，成像设备可以使用图像深度信息来生成视差。在操作s420中，成像设备可以确定视差是否超过阈值。可以预先设置阈值以确定成像设备将来用于处理捕获图像的方法。当操作s420为“是”时，成像设备可以在预定像素图像的单元中模糊捕获图像。否则，当操作s420为“否”时，成像设备可以跳过操作s430，并且在操作s440中对捕获图像进行拜耳变换。通过操作s430或操作s440，成像设备可以校正由捕获图像中的物体与成像设备之间的距离的改变引起的动态相位。

图9是示出根据本发明构思的实施例的在正常模式下的操作方法的成像设备300a的框图。

参考图9，成像设备300a可以包括图像捕获单元310a、静态相位补偿单元320a、自动聚焦(af)控制单元330a、自动曝光(ae)控制单元340a、坏像素校正单元350a、动态相位检测单元360a、动态相位校正单元370a和拜耳变换单元380a。图像捕获单元310a可以通过接收用户输入u_input来生成捕获图像，并将捕获图像提供给静态相位补偿单元320a。用户输入u_input可以包括从物体反射的光。静态相位补偿单元320a可以基于校准数据c_data来补偿捕获图像。校准数据c_data是包括在上述静态相位信息中的数据，并且可以包括与针对每个共享像素的补偿增益有关的数据。静态相位补偿单元320a可以将补偿后的捕获图像或与针对每个共享像素的补偿增益有关的信息提供给af控制单元330a和ae控制单元340a中的每一个。例如，af控制单元330a可以使用补偿后的捕获图像来控制af，并且ae控制单元340a可以基于针对每个共享像素的补偿增益来控制ae。坏像素校正单元350a可以基于坏像素信息对补偿后的捕获图像执行坏像素校正。坏像素信息可以包括指示在共享像素中输出劣化图像的一些共享像素的信息，并且可以被预设。动态相位检测单元360a可以接收图像深度信息d_info，并且可以基于图像深度信息d_info来生成捕获图像的视差。动态相位检测单元360a可以基于所生成的视差来检测捕获图像中的动态相位，并将检测结果提供给动态相位校正单元370a。动态相位校正单元370a可以基于检测结果对捕获图像执行模糊处理，并且拜耳变换单元380a可以从动态相位校正单元370a接收校正后的捕获图像并且执行拜耳变换以生成输出图像img_out。

图10a和图10b是示出在hdr模式下与像素阵列110的像素阵列块210c和210d有关的曝光时间的图。

参考图10a，像素阵列110的像素阵列块210c可以包括第一共享像素sp1至第四共享像素sp4，并且第一共享像素sp1至第四共享像素sp4可以分别包括在hdr模式下被控制为具有各种曝光时间的子像素sub_px11至sub_px14、sub_px21至sub_px24、sub_px31至sub_px34以及sub_px41至sub_px44。例如，第一共享像素sp1可以包括具有长曝光时间(“长图案”)的第三子像素sub_px13、具有短曝光时间(“短图案”)的第二子像素sub_px12、以及具有中间曝光时间(“中间图案”)的第一子像素sub_px11和第四子像素sub_p14。

参考图10b，像素阵列块210d可以包括第一共享像素sp1至第四共享像素sp4，并且第一共享像素sp1至第四共享像素sp4可以分别包括在hdr模式下被控制为具有各种曝光时间的子像素sub_px11至sub_px14、sub_px21至sub_px24、sub_px31至sub_px34以及sub_px41至sub_px44。例如，第一共享像素sp1可以包括具有短曝光时间的第一子像素sub_px11、第三子像素sub_px13和第四子像素sub_px14，以及具有长曝光时间的第二子像素sub_px12。第二共享像素sp2可以包括具有长曝光时间的第一子像素sub_px21、第三子像素sub_px23和第四子像素sub_px24，以及具有短曝光时间的第二子像素sub_px22。

这里要注意，可以在其他实施例中施加与图10a和10b所示的方案不同的在hdr模式下用于曝光时间控制的其他方案，以增加动态范围。

在下文中，将在图10a的示例的前提下描述hdr模式下的成像设备的操作方法。

图11是示出根据本发明构思的实施例的成像设备的操作方法的流程图。

参考图11，在操作s500中，成像设备可以关于共享像素中的子像素不同地控制曝光时间。例如，成像设备可以控制一个共享像素(为共同共享的像素)内的子像素以使其具有如图10a所示的各种曝光时间。在操作s510中，成像设备可以针对每个曝光时间将通过操作s500生成的捕获图像分割成像素图像。例如，成像设备可以将捕获图像分割成与长曝光时间相对应的像素图像、与短曝光时间相对应的像素图像和与中间曝光时间相对应的像素图像。在操作s520中，成像设备可以使用共享像素中的参考曝光时间(可互换地，“参考图案”)来生成亮度差信息。例如，成像设备可以通过将与参考曝光时间相对应的分割图像的亮度与参考亮度进行比较来生成亮度差信息。此外，参考曝光时间可以被设置为图10a的中间曝光时间，或者图10b的长曝光时间(“长图案”)或短曝光时间(“短图案”)。参考亮度可以被预设为通过具有参考曝光时间的子像素而生成的理想像素图像的亮度。在操作s530中，图像设备可以确定基于亮度差信息的视差是否超过阈值。可以预先设置阈值，以确定由成像设备执行以在将来处理捕获图像的方法。当操作s530为“是”时，成像设备可以考虑局部运动来校正捕获图像。局部运动可以表示检测到的对象的运动。具体地，成像设备可以基于从与参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的差来生成第一权重，并且通过将第一权重施加于从与不同图案(例如，长图案或短图案)相对应的子像素而生成的像素图像来校正捕获图像。否则，当操作s530为“否”时，成像设备可以遵照操作s540，在操作s540中，成像设备可以检测在多个共享像素中的具有从与参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的最小差的共享像素。然后，可以基于从与检测到的共享像素中的参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的差来生成第二权重。可以通过将第二权重施加于从与不同图案(例如，长图案或短图案)相对应的子像素而生成的像素图像来校正捕获图像。最后，在操作s550中可以校正捕获图像的相位。

图12是示出根据本发明构思的实施例的在hdr模式下的操作方法的成像设备300b的框图。

参考图12，成像设备300b可以包括图像捕获单元310b、静态相位补偿单元320b、af控制单元330b、ae控制单元340b、图像分割单元350b、权重生成单元360b以及hdr图像生成单元370b。图像捕获单元310b可以通过接收用户输入u_input来生成捕获图像，并将捕获图像提供给静态相位补偿单元320b。静态相位补偿单元320b可以基于校准数据c_data来补偿捕获图像的静态相位。图像分割单元350b可以从补偿的捕获图像来生成针对每个曝光时间而分割的多个像素图像。权重生成单元360b可以通过将与参考图案相对应的像素图像的亮度与参考亮度进行比较来生成权重。例如，权重生成单元360b可以基于从与参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的差来生成第一权重。另外，权重生成单元360b可以检测多个共享像素中具有从与参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的最小差的共享像素，并基于从与检测到的共享像素中的参考图案相对应的子像素而生成的像素图像的亮度与参考亮度之间的差来生成第二权重。hdr图像生成单元370b可以通过将所生成的第一权重和第二权重施加于与除了参考图案之外的其他图案相对应的像素图像，来根据局部运动来校正捕获图像中的相位差，或者可以通过校正由另一个因素引起的捕获图像中的相位差来生成(或重构)hdr图像。af控制单元330b和ae控制单元340b可以接收hdr图像，并分别使用hdr图像执行af控制和ae控制。

图13是示出根据本发明构思的实施例的包括成像设备1030在内的系统1000的框图。

图13的系统1000可以包括需要图像数据的计算机系统、相机系统、扫描仪、交通工具导航、视频电话、安全系统和运动检测系统。系统1000可以包括中央处理单元或处理器1010、非易失性存储器1020、包括图像传感器在内的成像设备1030、输入/输出设备1040和ram1050。中央处理单元1010可以通过总线1060与非易失性存储器1020、成像设备1030、输入/输出设备1040和ram1050通信。

根据本发明构思的实施例，系统1000中包括的成像设备1030可以执行用于补偿由于与共享像素的每个微透镜的未对准而导致的捕获图像中的静态相位的操作，并且根据操作模式自适应地执行捕获图像的处理操作。

从成像设备1030输出的图像数据可以通过总线1060被传送到中央处理单元1010、非易失性存储器1020、输入/输出设备1040和ram1050。根据本发明构思的实施例的成像设备1030可以提供具有良好图像质量和宽动态范围的改进图像。

图14是示出根据本发明构思的实施例的包括成像设备2010在内的电子设备的透视图。

参考图14，可以在移动电话2000中提供根据本发明构思的实施例的成像设备2010。此外，成像设备2010可以包括在以下电子设备中：例如，相机、便携式摄像机、个人数字助理(pda)、无线电话、膝上型计算机、光学鼠标、传真机、复印机等。另外，根据本发明构思的实施例的成像设备2010可以设置在以下设备中：例如，望远镜、移动电话手机、扫描仪、内窥镜、指纹识别设备、玩具、游戏机、家用机器人、交通工具等。

在本文中，当“单元”或“模块”用作包括电路的组件的名称的一部分以执行其描述的功能时，术语“电路系统”、“电路”等可以替代单词“单元”或“模块”。因此，例如，信号处理单元130、静态相位补偿模块132、af控制单元330a或330b、ae控制单元340a或340b、图像捕获单元310a或310b、静态相位补偿单元320a或320b、坏像素校正单元350a、动态相位检测单元360a、动态相位校正单元370a、拜耳变换单元380a、图像分割单元350b、权重生成单元360b和hdr图像生成单元370b可以分别可替代地称为信号处理电路/电路系统130、静态相位补偿电路132、af控制电路或电路系统330a或330b、......hdr图像生成电路/电路系统370b。此外，这些组件中的每一个可以包括处理电路/控制电路或可以由处理电路/控制电路实现以执行本文所述的其各自的功能，所述处理电路/控制电路可以执行从成像设备内的非暂时性存储器(例如，存储器1020和/或1050)读取的指令。

尽管已经参照本发明构思的实施例具体示出并描述了本发明构思，但是将会理解，在不脱离所附权利要求书的精神和范围的情况下，可以进行形式和细节上的各种变化。