专利名称：具抖动补偿的图像传感器的制作方法
技术领域：
本发明一般涉及成像传感器，且更特定而言但非专指，涉及具有用于抖动补偿的 元件的成像传感器。
背景技术：
集成电路已开发成减小用于实现电路的组件的大小。举例而言，集成电路已使用 不断变小的设计特征，此举减小用于实现电路的面积，以使设计特征现恰好低于可见光的 波长。由于作为感测阵列的一部分的图像传感器及个别像素的大小不断减小，更有效率地 捕获在入射光照射感测阵列时所形成的电荷变得重要。另外，相机的运动(诸如由手持式 相机引起的抖动)的效应较不利地影响由大小不断减小的感测阵列所摄取的图像的质量。附图简述参考以下附图来描述本发明的非限制性且非详尽的实施例，其中除非另有说明， 否则相同附图标记贯穿各附图指示相同部分。
图1为示出根据本发明的一个实施例的成像传感器的框图。图2为根据本发明的实施例的样本抖动检测像素群的示意图。图3为示出根据本发明的一个实施例的从抖动检测像素群和主像素阵列中读出 数据的时序图。图4为示出根据本发明的一个实施例的以主像素阵列的k倍速率从抖动检测像素 群中读出数据的时序图。图5为示出根据本发明的一个实施例的以主像素阵列的四倍速率从抖动检测像 素群中读出数据的时序图。图6为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。图7为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。图8(现有技术)为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序 图。图9为示出根据本发明的一个实施例的预览模式与摄取模式之间的不同分辨率 及帧速率的时序图。图10为示出根据本发明的一个实施例的可执行抗抖动计算的时间周期的时序图。图11为示出根据本发明的一个实施例的使用抖动检测像素群选择主像素帧的流 程图。
具体实施例方式本文中描述具有抖动补偿的图像传感器的实施例。在以下描述中，陈述众多特定 细节以透彻理解这些实施例。然而，本领域普通技术人员将认识到可在没有这些特定细节 中的一个或多个的情况下或通过其它方法、组件、材料等等来实践本文中所描述的技术。在
4其它情况下，不详细显示或描述熟知结构、材料或操作以避免使某些方面混淆。本说明书通篇中引用“一个实施例”或“一实施例”意味着结合该实施例中所描述 的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，本说明书通篇中各处的 词组“在一个实施例中”或“在一实施例中”的出现未必均指同一实施例。另外，可在一个或 多个实施例中以任何合适的方式组合特定特征、结构或特性。如本文中所使用的术语“或” 通常意味着涵盖包括性功能的意义，诸如“和/或”。如本文中所使用的术语“相机”亦可指 多功能装置(诸如蜂窝电话)，这些多功能装置包含类似于相机的功能且常共享诸如内存 的组件和处理功能。图1为示出根据本发明的一个实施例的成像传感器100的框图。可使用正面或背 面照明成像传感器来实践本发明的实施例。成像传感器100的所示实施例包括像素阵列 105、读出电路110、功能逻辑115、控制电路120，以及一个或多个抖动检测像素群130。可 如说明来放置该一个或多个抖动检测像素群130，但是可使用其它位置、形状、取向及大小。像素阵列105为成像像素(例如，像素P1、P2.....Pn)的二维(“2D”)阵列。在
一个实施例中，每个像素为诸如互补金属氧化物半导体(“CMOS”)成像像素的有源像素传 感器(“APS”)。每个像素通常具有诸如光电二极管区域的感光区域，其用于收集由入射到 像素上的光所生成的电荷。如所说明，将每个像素排列成行(例如，行Rl至Ry)和列(例 如，列C 1至Cx)以获取人、地点或对象的图像数据，该图像数据接着可用来呈现人、地点或 对象的2D图像。每个像素可包括针对不同色彩的子像素群(诸如，具有以拜耳图案(Bayer pattern)排列的彩色微透镜的四个像素)。在每个像素已获取其图像数据或图像电荷之后，图像数据由读出电路110读出并 转移至功能逻辑115。读出电路110可包括放大电路、模数转换电路或其它电路。功能逻 辑115可包括用于处理抖动检测像素群数据的诸如离散逻辑、一个或多个处理器和/或内 存(包括查找表)的逻辑电路。功能逻辑亦可用于储存图像数据或通过应用后期图像效果 来操纵图像数据(例如，剪切、旋转、消除红眼、调整亮度、调整对比度或其它操作)。在一个 实施例中，读出电路110可沿读出列线一次读出一行图像数据(已说明)或者可使用各种 其它技术读出图像数据(未说明)，诸如串行读出或并发地全并行读出所有像素。控制电路120耦接至像素阵列105以控制像素阵列105的操作特性。举例而言， 控制电路120可生成用于控制图像获取的快门信号。可响应于用户按压快门按钮、接收到 来自闪光灯的信号、定时器信号的期满及其类似而生成该快门信号。在一个实施例中，色彩图案(例如，拜耳图案)及图像处理可用于重构每个像素的 RGB色彩。在另一实施例中，多个分离图像传感器可用于通过结合来自每个传感器的同一像 素的图像来确定个别像素的RGB色彩以重构个别像素的RGB色彩。举例而言，使用一个或多个抖动检测像素群130以减小可能是由于使用手持式相 机拍摄照片而产生的模糊。由移动相机拍摄的照片可归因于例如手抖动、机械快门所引起 的移动或推压快照按钮而模糊。本发明的教示允许减小最终所摄取的图像内的由这些移动 所引起的模糊效应。在各种实施例中，可按照节省成本的方式来实现这些教示以便使这些 教示适用于消费型电子产品。相比而言，常规方法常通过使用具有抵消驱动机构的机械悬架来减小相机移动对 于最终所摄取的图像的影响。系统中常包括机电运动感测装置。其它常规方法可包括将数据处理算法应用于具有所摄取的每个帧的数据的整个集合，其需要海量存储器和/或需要 大量复杂逻辑软件或逻辑电路的滤波器电路。常规解决方案的典型的高成本常使其较不易 被较低成本的消费型电子装置所接受。尽管可使用其它位置，但可如所示来放置一个或多个抖动检测像素群130。取决于 传感器的设计，处于“抖动检测像素群130”中的像素可为任何大小。一个或多个抖动检测 像素群130可取决于成本考虑因素实现于各种实施例中，且其可取决于设计及应用要求而 位于传感器阵列上的任何位置中。大体而言，较多抖动检测像素群130导致较佳性能，且每 个群内的较多像素导致较佳性能。图2为样本抖动检测像素群的示意图。一个或多个附加像素群可用于检测图像的 抖动量。与从主像素阵列105读出图像信息相比，每个附加像素群可按照更快的帧速率或 更快读出时序(诸如，以两倍或两倍以上的速率)来操作。每个抖动检测像素群130可排列成(例如)单一像素210、mXn阵列220、长为m 的行230、高为η的列240或长为m的行X高为η的列250。可通过使用像素阵列的子集 (根据定义，其包括该集合)而形成抖动检测像素群130。因此，可从与主像素阵列105共 享相同衬底的阵列中的像素的子集形成一个或多个抖动检测像素群130。在其它实施例中， 分离衬底可用于一个或多个抖动检测像素群130及主像素阵列105。如上文所论述，通常以比读出主像素阵列的速率快的速率来读出抖动检测像素群 130。图3为示出从抖动检测像素群130及主像素阵列105读出数据的时序图。行310示 出从主像素阵列105发生的帧读出速率。行320示出从抖动检测像素群130发生的读出速 率。在所说明的实施例中，行320示出从抖动检测像素群130发生的读出速率为从主像素 阵列105发生的读出速率的两倍。行320中的数据为抖动检测像素群130的平均亮度值。在所说明的实例中，每个 帧的“抖动量”可如下计算帧i的抖动量=ABS (数据1⑴-数据2⑴)，其中ABS(x)为χ的绝对值。更一般而言，该等式可描述为帧i的抖动量=STD (数据1⑴、数据2(i).....数据k(i))，其中STD(x(k))为数据l(i)、数据2(i).....数据k(i)的标准偏差值。在使用多个(诸如四个)群(群A、群B、群C、群D)的情况下，抖动量可如下计算帧i中的像素群A的抖动量=STD (数据A l(i)、数据A 2⑴.....数据A k(i))，帧i中的像素群B的抖动量=STD (数据B l(i)、数据A 2⑴.....数据B k(i))，帧i中的像素群C的抖动量=STD(数据C l(i)、数据A 2(i).....数据C k(i))，帧i中的像素群D的抖动量=STD (数据D l(i)、数据A 2(i).....数据D k(i))。可通过使用平均值方法、最大值方法或其它方法来计算最终抖动量。可如下地确 定使用平均值方法来计算的最终抖动量帧i的最终抖动量=(帧I中的像素群A的抖动量+帧I中的像素群B的抖动量 +帧I中的像素群C的抖动量+帧i中的像素群D的抖动量)/4。可如下文所概述来确定使用最大值方法来计算的最终抖动量。假设帧I中的像素 群A的抖动量为帧I中的最大值，则最终抖动量为
帧I的最终抖动量=帧I中的像素群A的抖动量。图4为示出以主像素阵列105的k倍速率从抖动检测像素群130读出数据的时序 图。行410示出从主像素阵列105发生的帧读出速率。行420示出从抖动检测像素群130 发生的读出速率。因此，行420示出从抖动检测像素群130发生的读出速率是从主像素阵 列105发生的读出速率的k倍。在比正常像素读出周期快的k倍速率处应用最终抖动量的情况下，则“抖动量”可 描述为帧i的抖动量=STD (数据1⑴、数据2(i).....数据k(i))，其中STD(x(k))为数据l(i)、数据2(i).....数据k(i)的标准偏差值。图5为示出以主像素阵列105的四倍速率从抖动检测像素群130读出数据的时序 图。行510示出从主像素阵列105发生的帧读出的速率。行520示出从抖动检测像素群 130发生的读出的速率。因此，行520示出从抖动检测像素群130发生的读出的速率独立于 从主像素阵列105发生的实际读出。图6为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。行610示 出从主像素阵列105发生的帧读出的速率。时间630示出用户何时开始获取合乎需要地点 中的图像目标。如行610中所示出，在时间630期间进行预览帧读出。时间640示出用户 何时按压“快照”按钮。时间650示出从主像素阵列105读出摄取帧的时间周期。相机抗 抖动装置可选择摄取帧中的任一帧作为最佳帧。在时间660处，相机返回至进行预览帧读 出的预览模式。然而，在许多情况下，因为用户通常在按压快照按钮之前几秒尝试获取正确 点中的正确图像目标，所以在按压快照按钮的前相机已看到若干类似帧。图7为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。时间周期 730示出为用户想要摄取的图像目标呈现相同和/或类似图像目标的时间周期。因为常规 或传统抗抖动装置通常使用应用正常传感器像素数据的通用或专用高通滤波器或抗抖动 滤波器，所以难以使来自具有不同分辨率及帧速率的帧的数据相关联。图8为示出在预览模式与摄取模式之间使用不同分辨率及帧速率的常规技术的 时序图。行810示出从主像素阵列105发生的帧读出的速率。行820示出亦从主像素阵列 读出预览帧的抗抖动数据(PD)的速率。在预览模式830期间，数据通常以较快帧速率但以 较低分辨率读出。在帧摄取模式840期间，数据通常以较慢帧速率但以较高分辨率读出。由于难以使来自具有不同分辨率及帧速率的帧的数据相关联，所以即使相机可在 用户在时间850处按压摄取/快照按钮之前具有来自若干帧的相同/类似图像目标，常规 抗抖动装置通常仅在用户按压摄取/快照按钮之后在时间周期860处开始抗抖动计算或决 定。此限制通常导致非常缓慢的抗抖动响应时间或需要大的帧缓冲器以改良性能。相比而 言，本发明具有与主像素阵列不同的读出周期。因为“最佳帧”决定使用来自抖动检测像素 群130的数据，所以可独立地计算抖动量。图9为示出根据本发明的一个实施例的预览模式与摄取模式之间的不同分辨率 及帧速率的时序图。行910示出从主像素阵列105发生的帧读出的速率。行920示出从抖 动检测像素群130读出抖动检测数据的速率。在预览模式930期间，抖动检测数据可按照 与帧摄取模式940期间的抖动检测数据读出相同的速率及分辨率读出。因为本文中揭示了不同读出周期及分离像素，所以可独立于正常像素阵列帧速率或分辨率来计算与抗抖动有关的数据。因为可独立于正常像素阵列帧速率或分辨率来计算 与抗抖动有关的数据，所以可在用户在时间950处按压摄取/快照按钮的前计算与抗抖动 有关的数据。图10为示出可执行抗抖动计算的时间周期的时序图。抗抖动计算可始于时间 1030而开始。因为在用户按压摄取按钮之前所摄取的图像已聚焦若干帧，所以可执行预先 快门按压计算以达成较佳抗抖动算法性能。图11为示出使用抖动检测像素群的主像素帧选择的流程图。在操作1110中，从 一个或多个抖动检测像素群接收抖动检测像素群数据。该抖动检测像素群数据以比来自主 像素阵列的帧速率快的速率传输。可从所接收的抖动检测像素数据提取平均亮度信息。在操作1120中执行抖动计算。可使用抖动检测像素群数据使用以下(或等效、类 似和/或经调适的)等式来确定抖动信息周期i的抖动量=STD (数据1⑴、数据2⑴.....数据k(i))，其中STD(x(k))为数据l(i)、数据2(i).....数据k(i)的标准偏差的值。在操作1130中，判定是否已接收到照片拍摄信号。该照片拍摄信号可为，例如用 户已按压相机上的快门按钮、闪光信号、定时器信号等。若已接收到照片拍摄信号，则逻辑 流程进行至操作1140。在操作1140中，使用抖动检测像素群数据来计算统计量，诸如先前N个周期的最 大值、最小值、平均值和/或其它与抖动有关的信息。这些统计量可用于，例如通过比较这 些所计算值与预定限值而确定所摄取的图像帧是否将有可能是可接受的。最大值为表示N 个周期中的最大抖动值的值。最小值为表示N个周期期间的最小抖动值的值。平均值为表 示N个周期的平均抖动值的值。N为整数值，其表示可计算最大值、最小值及平均值的周期 的数目。可由应用程序设计师根据速度、功率、成本及准确度取舍来选择N的值。若在操作 1130中确定尚未接收到照片拍摄信号，则逻辑流程进行至操作1150，在操作1150中评估 “是否(条件)”。可使用诸如最大值、最小值或平均值的抖动检测像素群导出的数据和当前 周期抖动信息来评估该是否(条件)。举例而言，可按比例调整当前周期抖动值并将其与最 大值、最小值或平均值的值相比较，例如以判定是否选择当前帧。若按比例调整的当前周期 值大于最大值且大于平均值并小于最小值，则程序流程进行至操作1160，此时选择来自主 像素阵列的图像帧作为与所接收的照片拍摄信号相关联的照片。若比较的结果为否，则程 序流程进行至上文所论述的操作1140。在各种实施例中，用以确定帧选择的可接受值可表 达为百分比、容许值的范围、查找表等。可通过使用如上文实例中所说明的一个或若干条件 来确定对于是否选择当前帧作为最终照片的确定。亦可由应用程序设计师根据速度、功率、 成本及准确度取舍来选择逻辑条件的阈值。包括摘要中所描述的内容的本发明的所示实施例的以上描述并不旨在穷尽或将 本发明限于所揭示的精确形式。如本领域普通技术人员将认识到，虽然本文中出于说明性 目的而描述本发明的特定实施例及示例，但各种修改可能落入本发明的范围内。可根据以上描述对本发明进行这些修改。不应将以下权利要求中所使用的术语理 解为将本发明限于本说明书中所揭示的特定实施例。实情为，本发明的范围将完全由以下 权利要求来确定，其将根据已建立的权利要求解释原则来解释。
8
权利要求
1.一种相机，包括主像素阵列，其用于以图像帧速率生成图像的图像帧；第一抖动检测像素群，其用于生成抖动检测数据，其中以比所述图像帧速率快的速率 采样所述第一抖动检测像素群的一个或多个像素；以及逻辑电路，其用于在接收到照片拍摄信号之后评估所述抖动检测数据以选择所生成的 图像帧中的一帧。
2.如权利要求1所述的相机，其特征在于，还包括用于生成抖动检测数据的第二抖动 检测像素群，其中以比所述图像帧速率快的速率采样所述第二抖动检测像素群的一个或多 个像素。
3.如权利要求1所述的相机，其特征在于，所述第一抖动检测像素群包括排列成行和 列的多个像素。
4.如权利要求3所述的相机，其特征在于，每一行中像素的所述数目相同。
5.如权利要求1所述的相机，其特征在于，所述图像帧速率包括摄取帧速率，且其中所 述第一抖动检测像素群的所述一个或多个像素各自以所述摄取帧速率的两倍快的速率采样。
6.如权利要求1所述的相机，其特征在于，还包括在接收到所述照片拍摄信号之前用 所述主像素阵列摄取预览帧。
7.如权利要求6所述的相机，其特征在于，以比所述预览帧的摄取速率快的速率采样 所述第一抖动检测像素群的所述一个或多个像素。
8.如权利要求6所述的相机，其特征在于，响应于所述照片拍摄信号而选择所述图像 帧中的一帧。
9.如权利要求1所述的相机，其特征在于，对于在由所述图像帧速率确定的时间周期 期间接收的所述抖动检测数据执行一逻辑函数。
10.如权利要求9所述的相机，其特征在于，所述逻辑函数为对于在由所述图像帧速率 确定的周期期间接收的抖动检测数据执行的标准偏差函数。
11.如权利要求9所述的相机，其特征在于，在接收到所述照片拍摄信号之前执行所述 逻辑函数。
12.如权利要求11所述的相机，其特征在于，在接收到所述照片拍摄信号之前所执行 的所述逻辑函数用于在接收到所述照片拍摄信号之后从所述主像素阵列选择图像帧。
13.如权利要求1所述的相机，其特征在于，所执行的逻辑函数比较所计算的值与预定限值。
14.如权利要求1所述的相机，其特征在于，所述主像素阵列及所述第一抖动检测像素 群在同一衬底上形成。
15.一种用于图像稳定化的方法，包括 在相机处接收图像的入射光；用所接收的入射光来照射主像素阵列及第一抖动像素检测群； 响应于照射所述主像素阵列的所述入射光而生成图像帧；通过以比图像帧速率快的速率采样所述第一抖动检测像素群的一个或多个像素而生 成抖动检测数据；接收照片拍摄信号；以及响应于所计算的像素抖动数据及所接收的照片拍摄信号从所生成的图像帧选择最终 图像。
16.如权利要求15所述的方法，其特征在于，还包括通过以比所述图像帧速率快的速 率采样第二抖动检测像素群的一个或多个像素而生成抖动检测数据，其中所接收的入射光 照射所述第二抖动检测像素群。
17.如权利要求15所述的方法，其特征在于，还包括评估所述抖动检测数据以确定选 择所生成的图像帧中的一帧以与所述所接收的照片拍摄信号相关联的时间。
18.如权利要求15所述的方法，其特征在于，还包括在接收到所述照片拍摄信号之前 使用所述主像素阵列生成预览帧。
19.如权利要求18所述的方法，其特征在于，还包括对于在由所述图像帧速率确定的 时间周期期间接收的所述抖动检测数据执行逻辑函数。
20.如权利要求19所述的方法，其特征在于，在接收到所述照片拍摄信号之前执行所 述逻辑函数。
21.—种成像传感器，包括衬底；形成于所述衬底中的主像素阵列，其中所述主像素阵列排列成以图像帧速率生成图像 的图像帧；形成于所述衬底中的第一抖动检测像素群，其中所述第一抖动检测像素群被排列成生 成抖动检测数据，其中以所述图像帧速率的至少两倍快的速率采样所述第一抖动检测像素 群的一个或多个像素；以及逻辑电路，其用于在接收到照片拍摄信号之前评估所述抖动检测数据，且其中在接收 到所述照片拍摄信号之后响应于所述所评估的抖动检测数据而选择一帧。
22.如权利要求21所述的成像传感器，其特征在于，还包括用于生成抖动检测数据的 第二抖动检测像素群，所述第二抖动检测像素群定位成与所述第一抖动检测像素群分离， 其中以比所述图像帧速率快的速率采样所述第二抖动检测像素群的一个或多个像素。
23.如权利要求22所述的成像传感器，其特征在于，响应于所述照片拍摄信号而生成 这些图像帧且其中所述图像帧包括图像摄取帧。
全文摘要
本发明涉及具有抖动补偿的图像传感器。一种相机包括主像素阵列、一个或多个抖动检测像素群及逻辑电路。该主像素阵列可按照图像帧速率生成图像的图像帧。该一个或多个抖动检测像素群可生成抖动检测数据，其中以比该图像帧速率快的速率采样该第一抖动检测像素群的一个或多个像素。该逻辑电路可在接收到照片拍摄信号之后评估该抖动检测数据以选择所生成的图像帧中的一帧。
文档编号H04N5/3745GK102065221SQ20101055043
公开日2011年5月18日 申请日期2010年11月10日 优先权日2009年11月11日
发明者李镐星 申请人:美商豪威科技股份有限公司