固态图像传感器、电子设备和自动聚焦方法

固态图像传感器、电子设备和自动聚焦方法
【专利摘要】电子设备的固态图像传感器包括布置成矩阵形式的多个像素，所述多个像素具有多个相位差像素。所述多个相位差像素布置于在不同的多个跳过读出模式下共同读出的像素位置。
【专利说明】
固态图像传感器、电子设备和自动聚焦方法
技术领域
[0001] 根据本公开的设备和方法涉及自动聚焦，更具体地讲，涉及用于使用拍摄表面的 相位差进行自动聚焦的固态图像传感器、电子设备和自动聚焦方法。
【背景技术】
[0002] 作为通过典型数字相机的自动聚焦技术的示例，使用对比度自动聚焦(AF)和相位 差AF。
[0003]对比度AF是指用于通过数字相机驱动聚焦透镜以发现对象的对比度的峰值且调 整聚焦的方法。当焦点聚焦于对象的前方(前聚焦)或聚焦于对象后方(后聚焦)时，对比度 下降。另一方面，当焦点聚焦于对象时，对比度最大。根据对比度AF，需要发现对比度从其增 大然后减小的点（对象焦点），以便发现对比度最大的点，前后移动透镜。因此，重复图像变 模糊然后变锐化的操作，以对焦点聚焦。同样地，根据对比度AF，由于通过直接移动聚焦透 镜使得焦点聚焦，因此显示在电子取景器上的图像变模糊且聚焦延长。然而，由于直接移动 透镜，焦点被准确地聚焦。
[0004] 相位差AF是指用于检测在固态图像传感器形成的图像的相位差以调整聚焦的方 法。相位差AF的特性在于，在前聚焦和后聚焦两种情况下，相位差增大。根据相位差AF，可以 经由检测到的相位差识别聚焦方向信息以及相位差值，由此，可以通过仅移动一次聚焦透 镜来进行聚焦。也就是说，预先计算基于相位差和聚焦方向信息的透镜的移动值，然后，参 考该移动值驱动一次聚焦透镜以执行聚焦。因此，可以快速地执行聚焦而无需模糊显示在 电子取景器上的图像。然而，通常，公知的是与对比度AF相比，聚焦精度下降。
[0005] 关于相位差AF，如何在固态图像传感器中布置相位差像素是重要问题。当太多数 量的相位差像素布置在固态图像传感器中时，图像分辨率会下降，当太少数量的相位差像 素布置在固态图像传感器中时，难以检测准确的相位差。另外，具有对象成像功能的电子设 备支持各种成像模式，例如实时取景模式、静止图像模式、运动图像模式等。在这方面，用于 产生图像的读出像素的位置在各种模式中是不同的，并且可以根据相位差像素的布置，根 据每种模式中的成像性能而改变。因此，需要一种在使用相位差AF的固态图像传感器中布 置相位差像素以改善数字相机的性能的技术。

【发明内容】

[0006] 技术问题
[0007] 本公开的各种实施例可以克服上述缺点中的一个或多个缺点或者以上没有描述 的其他缺点。此外，并不要求本公开克服上述缺点，并且本公开的示例实施例可以不克服上 述问题的任一个。
[0008] 本公开提供一种固态图像传感器、电子设备和自动聚焦方法，用于通过在具有拍 摄功能的电子没备的各种模式下检测相位差来自动聚焦而无需模糊图像。
[0009] 问题的解决方案
[0010] 根据实施例，一种电子设备的固态图像传感器包括:多个像素，布置成矩阵形式； 以及所述多个像素中的多个相位差像素，布置于在不同的多个跳过读出模式下共同读出的 像素位置。
[0011] 所述多个跳过读出模式可以包括:读出一条像素线且跳过两条像素线的第一跳过 读出模式，以及读出两条像素线且跳过两条像素线的第二跳过读出模式。
[0012] 所述多个像素可以被分类为在第一跳过读出模式下读出的第一像素区域和在第 二跳过读出模式下读出的第二像素区域，并且所述多个像素被处理。所述多个相位差像素 可以被布置为使得第一像素区域的部分和第二像素区域的部分彼此重叠。
[0013] 所述多个像素可以具有一个第一相位差像素、两个第一一般像素、一个第二相位 差像素和8个第二一般像素依次布置在竖直方向或水平方向上的矩阵图案。
[0014] 第一相位差像素和第二相位差像素可以是一个相位差像素对的不同类型的相位 差像素。
[0015] 所述多个相位差像素中的每个相位差像素可以与另一相邻相位差像素间隔开与 至少两个像素相对应的间隔。
[0016] 根据另一实施例，一种电子设备包括:固态图像传感器，包括布置成矩阵形式的多 个像素，所述多个像素具有布置于在不同的多个跳过读出模式下共同读出的像素位置的多 个相位差像素；以及控制器，读出相位差像素的数据以检测相位差，并基于检测到的相位差 执行透镜聚焦。
[0017]控制器读出所述多个像素中除了相位差像素之外的像素的数据以生成图像。
[0018]图像可以是实时取景图像、静止图像或运动图像中的任何一个。
[0019] 所述多个跳过读出模式可以包括:读出一条像素线且跳过两条像素线的第一跳过 读出模式，以及读出两条像素线且跳过两条像素线的第二跳过读出模式。
[0020] 像素线可以是布置成矩阵形式的多个像素的水平像素线或竖直像素线中的任何 一个。
[0021] 控制器可以在第一跳过读出模式下读出所述多个像素的第一像素区域，并在第二 跳过读出模式下读出所述多个像素的第二像素区域。所述多个相位差像素可以被布置为使 得第一像素区域的部分和第二像素区域的部分彼此重叠。
[0022] 控制器可以在第一跳过读出模式下生成第一分辨率图像，并在第二跳过读出模式 下生成第二分辨率图像。
[0023] 所述多个像素可以具有一个第一相位差像素、两个第一一般像素、一个第二相位 差像素和8个第二一般像素依次布置在竖直方向或水平方向上的矩阵图案。
[0024] 第一相位差像素和第二相位差像素可以是一个相位差像素对的不同类型的相位 差像素。
[0025] 所述多个相位差像素中的每个相位差像素可以与另一相邻相位差像素间隔开与 至少两个像素相对应的间隔。
[0026] 根据另一实施例，一种电子设备的自动聚焦方法包括:通过读出布置成矩阵形式 的多个像素的数据来检测相位差，其中，所述数据包括所述多个像素中的多个相位差像素 的数据，所述多个相位差数据布置于在不同的多个跳过读出模式下共同读出的像素位置； 以及基于检测到的相位差执行透镜聚焦。
[0027] 所述方法还可以包括:在预定跳过读出模式下读出所述多个像素的预定区域的像 素的数据；以及使用读出的像素数据之中除了相位差像素之外的像素的读出数据来生成图 像。
[0028] 图像可以是实时取景图像、静止图像或运动图像中的任何一个。
[0029] 所述多个跳过读出模式可以包括第一跳过读出模式和第二跳过读出模式。读出预 定区域的数据可以包括:在第一跳过读出模式下读出一条像素线且跳过两条像素线，并在 第二跳过读出模式下读出两条像素线且跳过两条像素线。
[0030] 像素线可以是布置成矩阵形式的多个像素的水平像素线或竖直像素线中的任何 一个。
[0031] 可以在第一跳过读出模式下读出所述多个像素的第一像素区域，并在第二跳过读 出模式下读出所述多个像素的第二像素区域。所述多个相位差像素可以被布置为使得第一 像素区域的部分和第二像素区域的部分彼此重叠。
[0032] 生成图像可以包括:在第一跳过读出模式下生成第一分辨率图像，并在第二跳过 读出模式下生成第二分辨率图像。
[0033] 所述多个像素可以具有一个第一相位差像素、两个第一一般像素、一个第二相位 差像素和8个第二一般像素依次布置在竖直方向或水平方向上的矩阵图案。
[0034] 第一相位差像素和第二相位差像素可以是一个相位差像素对的不同类型的相位 差像素。
[0035]发明的有益效果
[0036] 前述各种实施例提供了一种固态图像传感器、电子设备和自动聚焦方法，用于通 过在具有拍摄功能的电子设备的各种模式下检测相位差来自动聚焦而无需模糊图像。
[0037] 本发明的附加和/或其他方面和优点将部分地在以下描述中阐述，并且根据所述 描述将部分地变得清楚，或者可以通过本发明的实践来学习。
【附图说明】
[0038] 通过参照附图描述各种实施例，本公开的上述和/或其他实施例将更清楚，附图 中：
[0039] 图1是示出了根据实施例的具有成像功能的电子设备的组件的示意性框图；
[0040] 图2是示出了根据实施例的固态图像传感器的多个像素的布置的示图；
[0041] 图3是示出了根据实施例的相位差像素和一般像素的布置的示图；
[0042] 图4是示出了根据实施例的上下相位像素对和左右相位像素对的示图；
[0043] 图5是示出了根据实施例的在第一跳过读出模式下相位差像素和一般像素的布置 的示图；
[0044] 图6是示出了根据实施例的在第二跳过读出模式下相位差像素和一般像素的布置 的示图；
[0045] 图7是示出了根据实施例的在第三跳过读出模式下相位差像素和一般像素的布置 的示图；
[0046] 图8是示出了根据实施例的在第四跳过读出模式下相位差像素和一般像素的布置 的示图；
[0047] 图9是示出了根据实施例的相位差像素和一般像素的另一布置的示图；
[0048] 图10是示出了根据另一实施例的电子设备的配置的框图；
[0049] 图11是示出了根据实施例的电子设备的控制器的电路配置的框图的示图；
[0050] 图12是示出了图像处理电路的电路配置的框图的示图；以及 [0051 ]图13和图14是根据各种实施例的自动聚焦方法的流程图。
【具体实施方式】
[0052]现在，将参照附图来更详细地描述各种实施例。
[0053]图1是根据实施例的具有成像功能的电子设备100的组件的示意性框图。图2是示 出了电子设备1〇〇的固态图像传感器120的多个像素的布置的示图。图3是示出了根据实施 例的相位差像素和一般像素的布置的示图。
[0054] 参照图1，根据实施例的电子设备100包括透镜110、固态图像传感器120和控制器 130〇
[0055]透镜110是从对象反射的光入射到其上的组件，并且包括变焦透镜和聚焦透镜中 的至少一个，其中，变焦透镜用于根据焦距控制视角变窄或变宽，聚焦透镜用于对对象的焦 点聚焦。透镜110容纳在电子设备100的镜头筒(未示出）中，并且根据电机驱动器115(图10) 的驱动信号进行移动来调整焦点，如下所述。另外，镜头筒包括快门（未示出）和光圈（未示 出），例如，它们均使用各自的驱动电机调整入射到透镜110上的光量。
[0056] 固态图像传感器120是用于从穿过透镜110的光形成对象图像的组件。固态图像传 感器120包括布置成矩阵形式的多个像素。多个像素中的每个像素根据入射光接收光子，并 作为电信号输出与光子相对应的图像。固态图像传感器120可以是电荷耦合器件(CCD)、互 补金属氧化物半导体(CMOS)器件等。
[0057] 根据实施例，固态图像传感器120包括多个相位差像素，其中，所述多个相位差像 素布置在多个像素的在多个不同跳过读出模式下共同读出的像素位置(例如，相位差像素 是多个跳过读出模式中的每个跳过读出模式共有的）。这里，跳过读出模式表示并非多个像 素全部被读出的读出模式，因此，多个像素中只有一些像素被读出，其余像素不被读出（即， 像素被跳过）。出于以下原因而使用跳过读出模式。关于实时取景图像或运动图像，由于图 像处理负荷基于运动图像的帧率和图像分辨率而变得更加密集，因此可以仅使用一些像素 来生成图像以提高图像处理速度。然而，关于静止图像，当高分辨率图像不是必需的时，也 在跳过读出模式下仅读出一些像素以生成较低分辨率的图像。电子设备100可以支持用于 根据用户输入生成较低分辨率的静止图像的模式。
[0058] 图2示出了根据实施例的多个像素的布置。也就是说，如图2所示，多个像素可以形 成拜尔图案(Bayer pattern)。在图2中，用灰色阴影示出的每个像素指示相应像素的数据 被读出。在读出全部像素而不是读出一些像素的"全部读出"模式下，多个像素的图像数据 被全部读出，如图2所示。
[0059] 然而，如上所述，根据实施例，多个像素包括多个相位差像素。也就是说，根据实施 例，如图3所示，在多个像素的前面提到的位置处放置多个相位差像素中的每个相位差像素 来替代一般像素。
[0060] 在图3中，用灰色阴影示出的区域表示一般像素(例如，包括R、G和B像素），示出的 没有阴影的区域表示相位差像素（由相位Phase的第一个字符P表示）。
[0061 ]由于相位差像素混合在一般像素之间，因此在全部读出模式下排除从相位差像素 读出的图像数据，以生成图像。在这种情况下，使用与相位差像素邻近的一般像素对与相位 差像素部分相对应的一般像素的值进行插值。
[0062]图4是示出了上下相位像素对和左右相位像素对的示图。
[0063]根据相位差自动聚焦原理，将通过入射到透镜110上的光所形成的图像划分为右 图像和左图像或者上图像和下图像，并且使用在左图像和右图像被成像的点处的相位差或 者在上图像和下图像被成像的点处的相位差进行自动聚焦。例如，将左相位差像素和右相 位差像素分组为第一对，将上相位差像素和下相位差像素分组为第二对，以构成相位差像 素集合。在一些实施例中，可以只使用左右相位差像素集合和上下相位差像素集合中的一 个集合。
[0064] 为了便于多个相位差像素中的每个相位差像素从整个图像分离任一方向图像，在 对另一方向图像进行成像时的点处放置掩膜M，如图4所示。根据透镜110的位置，在构成对 的相位差像素集合上对朝一个方向倾斜的图像进行成像。将当焦点聚焦于相位差像素的前 方时在一对相位差像素上成像的图像的位置与当焦点聚焦于相位差像素的后方时在该对 相位差像素上成像的图像的位置进行比较，可以预期焦点准确地聚焦于相位差像素上的情 况下透镜110的移动方向。通常，随着焦点变宽，相位差增大，并且可以使用查找表确定透镜 110的移动位置，其中，查找表定义了焦点与相位差值之间的关系。
[0065] 然而，实施例不限于如图4所示的在相位像素 P放置掩膜Μ的实施例。也就是说，掩 膜Μ可以放置在另一位置。例如，掩膜Μ可以在一对相位差像素上沿对角方向布置。
[0066] 图5是示出了根据实施例的在固态图像传感器120的第一跳过读出模式下相位差 像素和一般像素的布置的示图。
[0067] 根据当前实施例，可以将读出一条像素线且跳过两条像素线的模式定义为第一跳 过读出模式1R2S。如图5所示，在第一跳过读出模式下，通过从多个像素读出第二水平像素 线的像素，跳过第三和第四水平像素线的像素，且随后读出第五水平像素线的像素，来执行 读出。因此，可以看出，在竖直方向上以3像素间隔布置相位差像素线。
[0068] 相位差像素可以布置在读出的水平像素线中。在图5中，相位差像素布置在示出的 没有阴影的水平像素线中。当与水平同步时间相比快速地读出水平像素线的数据时，根据 水平方向跳过，速度可能不会增大，因此，可以在水平像素线中自由地布置相位差像素，只 要图像分辨率没有不当地降低。
[0069] 图6是示出了根据实施例的在固态图像传感器120的第二跳过读出模式下相位差 像素和一般像素的布置的示图。
[0070] 根据当前实施例，可以将读出两条像素线且跳过两条像素线的模式定义为第二跳 过读出模式2R2S。如图6所示，在第二跳过读出模式下，通过从多个像素读出第一和第二水 平像素线的像素，跳过第三和第四水平像素线的像素，且随后读出第五和第六水平像素线 的像素，来执行读出。因此，可以看出，在竖直方向上以4像素间隔布置相位差像素线。
[0071] 相位差像素可以布置在读出的水平像素线中。在图6中，相位差像素可以放置在示 出的没有阴影的水平像素线中。当与水平同步时间相比快速地读出水平像素线的数据时， 根据水平方向跳过，速度可能不会增大，因此，可以在水平像素线中自由地布置相位差像 素，只要图像分辨率没有不当地降低。
[0072] 图7是示出了在第三跳过读出模式下相位差像素和一般像素的布置的示图。
[0073] 相位差像素可以布置在固态图像传感器120的多个像素之中在多个不同跳过读出 模式下共同读出的像素位置处。
[0074]根据实施例，多个跳过读出模式可以包括:读出一条像素线且跳过两条像素线的 第一跳过读出模式1R2S，以及读出两条像素线且跳过两条像素线的第二跳过读出模式 2R2S〇
[0075]如图7所示，在第一跳过读出模式下，通过从多个像素读出第二水平像素线的像 素，跳过第三和第四水平像素线的像素，且随后读出第五水平像素线的像素，来执行读出。 在第二跳过读出模式下，通过从多个像素读出第一和第二水平像素线的像素，跳过第三和 第四水平像素线的像素，且随后读出第五和第六水平像素线的像素，来执行读出。在这些水 平像素线中，第二和第五水平像素线是共同的，因此，相位差像素布置在相应的水平像素线 中。图7中示出的没有阴影的像素线是相位差像素线。
[0076]也就是说，可以将多个像素分类为在第一跳过读出模式下读出的第一像素区域和 在第二跳过读出模式下读出的第二像素区域，并且将多个相位差像素布置在第一像素区域 和第二像素区域彼此重叠的部分处。
[0077] 相位像素是检测相位差以执行自动聚焦的组件，然而，用于执行自动聚焦的相位 差像素的数量不必太多。随着相位差像素的数量增加，输出图像的图像分辨率会降低。因 此，考虑到多个跳过读出模式，与单独模式下相比减少相位差像素的数量不是问题。
[0078] 根据实施例，多个相位差像素中的每个相位差像素可以与另一相邻相位差像素间 隔开与至少预定数量的像素相对应的间隔。当相位差像素彼此太近时，准确地检测相位差 变得更加困难，因此，可以在一对相位差像素之间布置预定数量的一般像素。根据当前实施 例，可以在一对相位差像素之间布置两个一般像素。
[0079]如之前实施例所述，当相位差像素布置于在读出一条像素线且跳过两条像素线的 第一跳过读出模式1R2S下和在跳过两条像素线的第二跳过读出模式2R2S下共同读出的像 素区域中时，相位差像素的布置间隔对应于这两种模式的最小公倍数，12个像素。
[0080] 当在相位差像素的一个间隔内，在相位差像素之间存在至少两个一般像素时，可 以看出，一条相位差像素线(水平）、两条一般像素线（水平）、一条相位差像素线(水平)和8 条一般像素线(水平)构成了竖直方向上的一个间隔，如图7(1R2S+1R8S)所示。电子设备100 可以将这种类型的读出模式设置为一种读出模式(例如，第三跳过读出模式）。
[0081] 当如图所示针对第三跳过读出模式布置相位差像素时，可以在全部读出模式和多 个跳过读出模式下均匀地读出相位差像素的数据，由此，可以在所有模式下检测相位差。因 此，可以在不模糊图像的情况下在所有模式下进行自动聚焦。
[0082] 当与水平同步时间相比快速地读出水平像素线的数据时，根据水平方向跳过，速 度可能不会增大，因此，可以在水平像素线中自由地布置相位差像素，只要分辨率没有不当 地降低。
[0083] 关于竖直像素线以及水平像素线，可以设置与第三跳过读出模式类似的第四跳过 读出模式。图8示出了该实施例。
[0084] 也就是说，图8是示出了根据实施例的在第四跳过读出模式下相位差像素和一般 像素的布置的示图。
[0085] 如图8所示，通过从多个像素中读出第二竖直像素线的像素，跳过第三和第四竖直 像素线的像素，读出第五竖直像素线的像素，并且随后跳过第六至第十三竖直像素线，来执 行读出（1R2S+1R8S)。
[0086] 如之前实施例所述，一条竖直像素线上的所有像素不必都是相位差像素。因此，一 条竖直像素线上的每个相位差像素可以与另一相邻相位差像素间隔开与至少预定数量的 像素相对应的间隔。根据当前实施例，可以在一对相位差像素之间布置两个一般像素。
[0087] 当电子设备支持的图像分辨率相对高且因此水平同步时间受水平方向上(或竖直 方向上)读出的像素线上的数据量影响时，可以不将所有相位差像素都布置在水平像素线 上。类似地，当在运动图像模式或实时取景模式下对水平像素线上所有像素的读出影响处 理速度时，可以仅读出一些像素并且可以跳过其余像素。在这种情况下，与前述实施例类似 地，可以在每条水平像素线上布置相位差像素(参考图9)。
[0088] 图9是示出了根据实施例的在第五跳过读出模式下相位差像素和一般像素的布置 的示图。
[0089] 如图9所示，示出了沿水平方向仅读出一些竖直像素线且跳过其余竖直像素线的 跳过读出模式。与针对水平像素线的前述跳过读出模式一起，可以设置针对读出的水平像 素线读出一些像素且跳过其余像素的第五跳过读出模式，如图9所示。在第五跳过读出模式 下，确定将沿竖直方向读出的水平像素线和将读出的水平像素线，并且确定将沿竖直方向 读出的像素以及在要读出的水平像素线中将跳过的像素。
[0090] 如上所述，在第三跳过读出模式下，在竖直方向上，读出一条水平像素线，跳过两 条水平像素线，读出一条水平像素线，然后跳过8条水平像素线。
[0091] 在第四跳过读出模式下，在水平方向上，读出一条竖直像素线，跳过两条竖直像素 线，读出一条竖直像素线，然后跳过8条竖直像素线。
[0092] 当相位差像素布置于在第三跳过读出模式和第四跳过读出模式下共同读出的像 素位置时，相位差像素可以如图9所示布置(1R2S+1R8S-H+1R2S+1R8S-V)。
[0093] 可以将多个像素分类为在第一跳过读出模式下读出的第一像素区域、在第二跳过 读出模式下读出的第二像素区域和在第四跳过读出模式下读出的第三像素区域，并且将多 个相位差像素布置在第一像素区域、第二像素区域和第三像素区域彼此至少部分重叠的部 分处。
[0094] 相位差像素可以与另一相邻相位差像素间隔开与至少预定数量的像素相对应的 间隔。当相位差像素彼此太近时，准确地检测相位差变得更加困难，因此，在一对相位差像 素之间布置预定数量的一般像素。根据当前实施例，可以在一对相位差像素之间布置至少 两个一般像素。也就是说，可以按与至少两个像素相对应的间隔来布置竖直方向和水平方 向上的相位差像素。
[0095]结果，在第五跳过读出模式下，在竖直方向上读出一条水平像素线，在水平方向上 识别一个相位差像素，在水平方向上识别两个一般像素，在水平方向上识别一个相位差像 素，然后识别8个一般像素。
[0096]在竖直方向上读出两条水平像素线，在这种情况下，不识别相位差像素。
[0097]另外，在竖直方向上读出一条水平像素线，在水平方向上识别一个相位差像素，在 水平方向上识别两个一般像素，在水平方向上识别一个相位差像素，然后识别8个一般像 素。
[0098] 接着，在竖直方向上读出8条水平像素线，在这种情况下，不识别相位差像素。
[0099] 在重复前述过程时，识别相位差像素。
[0100] 下文中，根据各种实施例，将描述使用前述相位差像素执行自动聚焦的技术和电 子设备1〇〇的整体配置。
[0101] 图1〇是示出了根据另一实施例的电子设备100的配置的框图。
[0102 ] 参照图10，根据另一实施例的电子设备100包括透镜110、固态图像传感器120、时 序生成器(TG) 125、模拟前端(AFE)140、电机驱动器115、控制器130、通用串行总线(USB)模 块150、同步动态RAM(SDRAM)模块160、存储卡170、闪存180和显示器190。
[0103] 控制器130控制电子没备100的各种组件以控制电子设备100的整体成像操作。控 制器130对原始图像数据进行图像处理，并将原始图像数据记录在SDRAM模块160中。另外， 将SDRAM模块160的经图像处理的数据显示在显示器190上。具体地，控制器130将读出的相 位差像素的数据与一般像素的数据区分，并使用相位差像素的数据计算相位差。另外，控制 器130基于计算的相位差来计算聚焦透镜的移动，并控制电机驱动器115驱动聚焦透镜。以 下将更加详细地描述控制器130的操作和详细组件。
[0104]如上所述，透镜110是从对象反射的光入射到其上的组件，并包括变焦透镜和聚焦 透镜中的至少一个。
[0105] 如上所述，固态图像传感器120是用于从穿过透镜110的光形成对象图像的组件。 固态图像传感器120包括布置成矩阵形式的多个像素。多个像素中的每个像素根据入射光 接收光子，并将由光子导致的图像作为电信号输出。
[0106] TG 125输出用于读出固态图像传感器120的像素数据的时序信号。TG 125受控制 器130控制。
[0107] AFE 140对从固态图像传感器120输出的对象图像上的电信号进行采样和数字化。 AFE 140受控制器130控制。
[0108] 然而，如上所述，AFE 140和TG 125所提供的特征可以并入其他组件中。具体地，当 固态图像传感器120被实施为CMOS型器件时，可以省略这些组件。
[0109] 控制器130读出相位差像素，并控制电机驱动器115基于计算的信息驱动透镜110 的聚焦透镜，聚焦在焦点上。
[0110] 控制器130控制各种设备以控制电子设备100的整体操作。控制器130对原始图像 数据进行图像处理，并将原始图像数据记录在SDRAM模块160中。另外，可以将SDRAM模块160 的经图像处理的数据显示在显示器190上。具体地，控制器130将读出的相位差像素的数据 与一般像素的数据区分，并使用相位差像素的数据计算相位差。另外，控制器130基于计算 的相位差来计算聚焦透镜的移动，并控制电机驱动器115驱动聚焦透镜。
[0111] USB模块150提供与外部设备的接口。当USB模块150通过USB线缆连接到个人计算 机(PC)或其他外部设备时，USB模块150处理图像数据的发送和接收。另外，USB模块150可以 处理固件发送和接收以升级固件。
[0112] SDRAM模块160存储图像，或者被用于使用中央处理器(CPU)(例如，控制器130)进 行的图像处理。根据实施例，与仅来自负边沿的输出相比，双数据速率(DDR)SDRAM通过允许 输出来自系统时钟的正边沿和负边沿二者而使输出加倍。
[0113] 闪存（闪速MEMH80可以存储固件程序、适合于电子设备100的规范的各种调整信 息、根据用户输入的电子设备100的设置信息、捕获的图像文件等。
[0114] 存储卡(MEM卡）170可以包括闪存，并且可从电子设备100拆卸。存储卡170可以存 储捕获的图像文件。
[0115]显示器190是用于显示包括字符、图标等的用户界面、电子设备信息、实时取景图 像、动态图像和静止图像中的至少一个的组件。另外，显示器190可以提供电子取景器。
[0116] 图11是示出了根据实施例的电子设备100的控制器130的电路配置的示例的框图。 图12是示出了图像处理电路132的电路配置的示例的框图。
[0117] 参照图11，根据实施例的电子设备100的控制器130包括分离电路131、图像处理电 路132、相位差计算电路133、联合图像专家组(JPEG)编解码器设备134和中央处理器(CPU) 135〇
[0118] 分离电路131从固态图像传感器120所输出的且由AFE 140采样的信号中分离用于 生成图像的信号(从一般像素读出的信号)和用于计算相位差的信号(从相位差像素读出的 信号）。这通过在使用用于计算相位差的信号计算相位差的同时并行地生成诸如实时取景 的图像，来允许自动聚焦的更快速的性能。
[0119] 图像处理电路132将原始图像数据处理为YCbCr数据或其他颜色模型。参照图12， 首先，由校正电路41校正原始图像数据的像素缺陷。校正电路41参考登记了缺陷像素的地 址的校正表44来校正像素缺陷。从周围像素对具有与登记地址相同的地址的像素执行校 正。
[0120]光学黑色(0B)钳位电路42确定图像的黑色电平。固态图像传感器120具有0B区域， 并检测0B区域的信号平均值，以基于像素值之间的差异确定黑色电平。
[0121] 感光率调整电路43针对各种颜色执行不同的感光率调整。感光率调整电路43在标 准光照下调整颜色R、G和B的感光度。通常，G的增益值固定为1，根据G的增益值调整R和B的 感光度。
[0122] 在全部读出模式下，在感光率调整之后，通过输出缓冲器46输出图像数据。在全部 读出模式下，以隔行（interlace)方式生成图像，因此，不可以立即执行后处理。另一方面， 在跳过读出模式下，以逐行(progr essive)方式生成图像，因此，可以立即执行后处理。在 跳过读出模式下，如本文中所述执行附加操作。
[0123] 水平跳过读出电路47执行跳过读出，因此，降低了原始图像的像素数量。如上所 述，通过保持预定像素线并丢弃其余像素线来执行该操作。
[0124] 白平衡(WB)调整电路48调整图像数据的WB。照明的光谱分布根据拍摄环境而变 化，因此，即使拍摄白色对象，对象可能也不显示为白色。对各个R、G和B像素给予不同增益 值以调整信号电平。通常，G的增益值固定为1，根据G的增益值调整R和B的信号电平。
[0125] 伽马校正电路49对图像数据执行伽马校正。通过伽马校正，根据显示器190的输出 执行色调转换。
[0126]颜色插值电路50从每一个像素具有一种颜色的拜尔信号生成每一个像素具有三 种颜色的一般颜色图像信号。
[0127]颜色转换/颜色校正电路52根据输出执行颜色空间转换和颜色校正。必要时，颜色 转换/颜色校正电路52可以使用查找表(LUT)。在颜色转换/颜色校正之后，图像数据转换为 YCbCr数据。
[0128] 分辨率转换电路53转换图像分辨率以调整图像的大小。
[0129] 空间滤波器电路54对图像数据进行空间滤波。空间滤波器电路54加强信号Y的边 缘，并对信号Cb/Cr进行低通滤波(LPF)。
[0130] CbCr跳过读出电路55对信号Cb/Cr执行跳过读出，以将信号Cb/Cr转换为YCbCr 4: 2: 2的图像数据。通过输出缓冲器57输出图像数据，并通过第一总线将图像数据记录在 SDRAM模块160中。
[0131] 在全部读出模式下，可以以隔行方式执行读出。在这种情况下，不存在相邻像素 线，因此，不可以直接处理颜色插值。因此，在预处理完成之后，通过输出缓冲器46调整像素 线顺序，然后，以逐行形式将像素线顺序存储在SDRAM模块160中。通过输入缓冲器51重新读 取图像数据并将图像数据输入到图像处理电路132。
[0132] 然而，本公开的实施例不限于全部读出模式下的隔行方式。也就是说，可以以逐行 方式执行读出。
[0133] 关于静止图像，可以生成预览图像或缩略图图像，从而在拍摄之后显示小图像。与 跳过读出模式下类似，当写入时省略一些像素的数据。
[0134] 关于静止图像，当按短时间间隔执行连续拍摄功能时，需要快速检测相位差，因 此，可以应用之前描述的特征。
[0135] AF信号插值电路56使用一般像素值对相位差像素的一部分进行插值。如上所述， 由于相位差像素位于一般像素之间，因此当保持且使用该部分时，分辨率会下降。因此，使 用相邻的一般像素执行插值。
[0136] 通过第一总线将由分离电路131分离的相位差像素的信号记录在SDRAM模块160 中。由于对多个像素全部执行读出和分离，因此相位差像素信号在短时间段内累积在SDRAM 模块160中。
[0137] 通过第一总线将存储的相位差像素信号输入到相位差计算电路133。相位差计算 电路133计算相位差像素之间的相位差，并计算聚焦透镜的移动方向和移动程度。计算的移 动程度暂时记录在相位差计算电路133中的寄存器中，并由CPU 135读取。
[0138] CPU 135读取聚焦透镜的计算的移动程度以生成控制命令。将生成的控制命令发 送到电机驱动器115以驱动透镜110的聚焦透镜。
[0139] JPEG编解码器设备134压缩YCbCr数据以提供压缩图像(例如，JPG图像）。另外，将 压缩图像记录在SDRAM模块160中。当CPU 135读取记录在SDRAM模块160中的压缩图像数据 且将图像数据记录在存储卡170中时，完成图像生成过程。
[0140] 根据各种前述实施例的电子设备100不限于使用相位差像素的自动聚焦技术。也 就是说，根据各种实施例的电子设备100还可以包括用于执行对比度自动聚焦的技术组件。 另外，电子设备100可以使用利用相位差自动聚焦和对比度自动聚焦二者的混合自动聚焦 技术来实现。
[0141] 下文中，将针对各种实施例描述自动聚焦方法。
[0142] 图13和图14是根据各种实施例的自动聚焦方法的流程图。
[0143] 参照图13,根据实施例的电子设备的自动聚焦方法包括:操作（S1310)，通过读出 布置成矩阵形式的多个像素的数据以及该多个像素中布置于在多个不同跳过读出模式下 共同读出的像素位置的多个相位差像素的数据，来检测相位差；以及操作(S1320)，基于检 测到的相位差执行透镜聚焦。
[0144] 参照图14,根据另一实施例的自动聚焦方法包括分别与前述操作S1310和S1320类 似的操作S1420和S1430。另外，自动聚焦方法还可以包括:操作（S1410)，在预定跳过读出模 式下读出该多个像素的预定区域的像素的数据；以及操作(S1440)，使用读出的像素数据之 中除了相位差像素之外的像素的读出数据来生成图像。
[0145] 在这种情况下，生成的图像可以是实时取景图像、静止图像或运动图像中的任何 一个。
[0146] 另外，多个跳过读出模式包括第一跳过读出模式和第二跳过读出模式。在读出预 定区域的像素的数据的操作中，在第一跳过读出模式下，可以读出一条像素线并可以跳过 两条像素线，在第二跳过读出模式下，可以读出两条像素线并可以跳过两条像素线。
[0147]像素线可以是布置成矩阵形式的多个像素的水平像素线和竖直像素线中的任何 一个。
[0148] 可以在第一跳过读出模式下读出多个像素的第一像素区域，可以在第二跳过读出 模式下读出多个像素的第二像素区域，并且多个相位差像素可以布置在第一像素区域和第 二像素区域彼此至少部分重叠的部分。
[0149] 在生成图像的操作中，可以在第一跳过读出模式下生成第一分辨率图像，并且可 以在第二跳过读出模式下生成第二分辨率图像。
[0150] 多个像素可以具有一个第一相位差像素、两个第一一般像素、一个第二相位差像 素和8个第二一般像素依次布置在竖直方向或水平方向上的矩阵图案。
[0151] 另外，第一相位差像素和第二相位差像素可以是构成一对的不同类型的相位差像 素。
[0152] 与前述实施例中类似，当布置相位差像素时，可以在全部读出模式和跳过读出模 式下均匀地读出相位差像素的数据，由此，可以在所有模式下检测相位差。因此，可以在不 模糊图像的情况下在所有模式下进行自动聚焦。
[0153] 本文中引用的包括出版物、专利申请和专利的所有参考通过参考与每个参考被单 独具体地指示以通过参考被并入且被全部阐述于此的范围相同的范围而合并于此。
[0154]出于促进理解本发明的原理的目的，参考附图中示出的实施例，并且使用具体语 言来描述这些实施例。然而，本发明的范围不受该具体语言的限制，并且本发明应当被解释 为包含本领域普通技术人员一般将想到的所有实施例。本文使用的术语仅用于描述具体实 施例，而不旨在限制本发明的示例性实施例。在对实施例的描述中，当被视为可能会不必要 地模糊本发明的主旨时，省略对相关技术的某些详细解释。
[0155]本文中描述的设备可以包括:处理器，用于存储将由处理器执行的程序数据的存 储器，诸如磁盘驱动器的永久存储器，用于处理与外部设备的通信的通信端口，以及用户接 口设备，包括显示器、触摸面板、按键、按钮等。当涉及软件模块时，这些软件模块可以被存 储为非暂时性计算机可读介质上的可由处理器执行的程序指令或计算机可读代码，其中， 非暂时性计算机可读介质例如磁存储介质（例如，磁带、硬盘、软盘）、光学记录介质（例如， ⑶-R0M、数字多功能盘(DVD)等）以及固态存储器(例如，随机存取存储器(RAM)、只读存储器 (ROM)、静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、拇指驱动 器等）。计算机可读记录介质也可以分布在联网的计算机系统上，使得按照分布式方式存储 和执行计算机可读代码。该计算机可读记录介质可以被计算机读取，存储在存储器中，并被 处理器执行。
[0156] 此外，使用本文的公开，本发明所属领域的普通编程技术人员可以容易地实现用 于制造和使用本发明的功能程序、代码和代码段。
[0157] 可以在功能块组件和各种处理步骤方面描述本发明。可以由被配置为执行指定功 能的任意数量的硬件和/或软件组件来实现这种功能块。例如，本发明可以采用可以在一个 或多个微处理器或其他控制设备的控制下实施各种功能的各种集成电路组件，例如，存储 器元件、处理元件、逻辑元件、查找表等。类似地，在使用软件编程或软件元件实现本发明的 元件的情况下，可以利用任何编程或脚本语言(例如，C、C++、JAVA?、汇编语言等）以及各种 算法来实现本发明，其中，利用数据结构、对象、进程、例程或其他编程元件的任何组合来实 现所述各种算法。功能方面可被实现为在一个或多个处理器上执行的算法。此外，本发明可 以采用用于电子配置、信号处理和/或控制、数据处理等的任意数量的传统技术。最后，可以 按照任何适当顺序执行本文中描述的所有方法的步骤，除非本文中另外指出或者上下文另 外明确地相反指示。
[0158]此外，前述自动聚焦方法可以通过嵌入式软件或固件的形式由复杂指令集计算机 (CISC)芯片、精简指令集计算机(RISC)芯片和位片微处理单元(MPU)中的任何一个来提供。 [0159]为了简洁，可以不详细描述系统的传统电子、控制系统、软件开发和其他功能方面 (和系统的各个操作组件的组件）。此外，所呈现的各种附图中示出的连接线或连接器意在 表示各种元件之间的示例性功能关系和/或物理或逻辑连接。应该注意的是，在实践设备中 可以存在许多替代的或者附加的功能关系、物理连接或逻辑连接。词语"机制"、"元件"、"单 元"、"结构"、"装置"和"构造"被广义地使用且不限于机械或物理实施例，而可以包括与处 理器等结合的软件例程。
[0160] 本文中提供的任何和所有示例或示例性语言(例如，"诸如(例如)"）的使用仅意在 更好地阐述本发明，不对本发明的范围施加限制，除非另外要求。在不脱离由权利要求限定 的本发明的精神和范围的情况下，多种修改和改编对本领域普通技术人员将是显然的。因 此，本发明的范围不是由本发明的详细描述而是由所附权利要求来限定，并且该范围内的 所有不同均应认为包含在本发明中。
[0161] 没有项目或组件对本发明的实施是必要的，除非该元件被具体地描述为"必要的" 或"关键的"。还将认识到，本文中使用的术语"包括"、"包含"和"具有"具体地意在被解读为 本领域的开放式术语。在描述本发明的上下文中（尤其是在权利要求的上下文中）的单数术 语及类似指示物的使用应当被解释为涵盖单数和复数两者，除非上下文另外明确地指示。 另外，应当理解的是，虽然术语"第一"、"第二"等可以在此用于描述各种元件，但是这些元 件不应受这些术语限制，这些术语仅用于将一个元件与另一元件区分开来。此外，除非本文 中另外指示，否则本文中对值的范围的叙述仅意在用作分别参考落入该范围内的各个值的 便捷方法，并且各个值被并入本说明书中犹如其被单独在此叙述一样。
[0162] 前述示例性实施例和优点仅是示例性的，而不应理解为限制本发明。本发明的教 导易于应用于其他类型的设备。此外，示例性实施例的描述意在说明性的，而不是为了限制 权利要求的范围，并且本领域技术人员将清楚多种替代、改进和变化。
【主权项】
1. 一种电子设备的固态图像传感器，包括： 多个像素，布置成矩阵形式；以及 所述多个像素中的多个相位差像素，布置于在不同的多个跳过读出模式下共同读出的 像素位置。2. 根据权利要求1所述的固态图像传感器，其中，所述多个跳过读出模式包括:读出一 条像素线且跳过两条像素线的第一跳过读出模式，以及读出两条像素线且跳过两条像素线 的第二跳过读出模式。3. 根据权利要求2所述的固态图像传感器，其中： 所述多个像素被分类为在第一跳过读出模式下读出的第一像素区域和在第二跳过读 出模式下读出的第二像素区域，并且所述多个像素被处理；以及 所述多个相位差像素被布置为使得第一像素区域的部分和第二像素区域的部分彼此 重叠。4. 根据权利要求1所述的固态图像传感器，其中，所述多个像素具有一个第一相位差像 素、两个第 般像素、一个第二相位差像素和8个第二一般像素依次布置在竖直方向或水 平方向上的矩阵图案。5. 根据权利要求4所述的固态图像传感器，其中，第一相位差像素和第二相位差像素是 一个相位差像素对的不同类型的相位差像素。6. 根据权利要求1所述的固态图像传感器，其中，所述多个相位差像素中的每个相位差 像素与另一相邻相位差像素以对应于至少两个像素的间隔分隔开。7. -种电子设备，包括： 固态图像传感器，包括布置成矩阵形式的多个像素，所述多个像素具有布置于在不同 的多个跳过读出模式下共同读出的像素位置的多个相位差像素；以及 控制器，用于读出相位差像素的数据以检测相位差，并基于检测到的相位差执行透镜 聚焦。8. 根据权利要求7所述的电子设备，其中，控制器读出所述多个像素中除相位差像素之 外的像素的数据以生成图像。9. 根据权利要求8所述的电子设备，其中，图像是实时取景图像、静止图像或运动图像 中的任何一个。10. 根据权利要求7所述的电子设备，其中，所述多个跳过读出模式包括:读出一条像素 线且跳过两条像素线的第一跳过读出模式，以及读出两条像素线且跳过两条像素线的第二 跳过读出模式。11. 根据权利要求10所述的电子设备，其中，像素线是布置成矩阵形式的多个像素的水 平像素线或竖直像素线中的任何一个。12. 根据权利要求10所述的电子设备，其中： 控制器在第一跳过读出模式下读出所述多个像素的第一像素区域，并在第二跳过读出 模式下读出所述多个像素的第二像素区域;以及 所述多个相位差像素被布置为使得第一像素区域的部分和第二像素区域的部分彼此 重叠。13. 根据权利要求10所述的电子设备，其中，控制器在第一跳过读出模式下生成第一分 辨率图像，并在第二跳过读出模式下生成第二分辨率图像。14. 根据权利要求10所述的电子设备，其中，所述多个像素具有一个第一相位差像素、 两个第一般像素、一个第二相位差像素和8个第二一般像素依次布置在竖直方向或水平方 向上的矩阵图案。15. 根据权利要求14所述的电子设备，其中，第一相位差像素和第二相位差像素是一个 相位差像素对的不同类型的相位差像素。
【文档编号】H04N5/232GK105993164SQ201480065699
【公开日】2016年10月5日
【申请日】2014年12月2日
【发明人】下川修, 下川修一, 金东民, 李相玟, 柳贵成, 林承贤, 崔祐硕, 闵炳旭, 薄井高文
【申请人】三星电子株式会社