专利名称：用于相机的手抖动减少系统的制作方法
技术领域：
本发明涉及数字图片处理，且更明确地说，涉及一种用于相机的手抖动减少系统。 怖支^
对移动通信中多媒体应用的需求已在以令人惊讶的速度增长。如今，使用者可从因 特网发送和接收静态图像以及下载图像和视频，以供在移动单元或手机上观看。数码相 机到移动单元中的集成进一步有助于移动通信中多媒体功能性的增长趋势。
给定与移动单元相关联的如电池容量、处理功率和传输速度的有限量的资源，需要 有效的数字成像处理技术来支持多媒体功能。这要求减少用于多媒体应用的计算复杂性 同时维持图像质量的较高级硬件和软件的开发。此类硬件和软件的开发导致移动单元的 较低功率消耗和较长待机时间。
数字成像过程的一个方面涉及从图片移除模糊。可能由手抖动引起模糊。使用者的 手在用相机拍摄数字图片时的移动引起手抖动。即使使用者未意识到移动，手也可能在 不断移动。所述移动相对较小，但如果移动相对于曝光时间较大，那么数字图片可能模 糊。图片中的物体或人可看上去在移动。也可能由当拍摄图片时物体/人移动引起模糊。 还可能由用于俘获图片的光学系统的限制引起模糊。
在低光照条件下，例如移动单元中所用的数码相机花费较长时间来配准图片。较长 曝光时间增加了手产生的轻微移动可导致模糊的可能性。类似地，较长曝光时间增加了物体/人的移动可相对于曝光时间较大的概率。
当前用于补偿相机移动的技术涉及使用小型陀螺仪或其它机械装置。所述技术似乎 均不具有可接受的方式来以数字方式补偿相机移动，尤其是在低光照条件下。将需要以 在所有条件下适于移动应用的有效处理资源减少数字图片中的模糊量。
发明内容
附图和以下描述内容中陈述一个或一个以上配置的细节。从描述内容、图式和权利 要求书中将了解其它特征、目的和优点。
一种包括手抖动减少(hjr)减少模式和正常模式的相机系统可通过将曝光时间与增 益相乘以产生曝光时间-增益乘积来操作。可存在正常模式曝光时间-增益乘积和hjr模式 曝光时间-增益乘积。正常模式中正常曝光时间与正常增益的曝光时间-增益乘积可在需 要时存储在表中或加以使用。hjr模式中的曝光时间-增益乘积也可存储在表中。可通过 修改(加上、减去、乘以或除以)正常模式中的曝光时间-乘积表(或条目)中的条目来 产生hjr模式中的曝光时间-增益乘积。如此，可不一定需要单独的表，但hjr模式中的 等效曝光时间-增益乘积可需要与正常模式中的曝光时间-增益乘积进行比较。当在hjr 模式中操作时，改变参数以减少hjr模式中的曝光时间-增益乘积与正常模式中的曝光时 间-增益乘积之间的差。只要相机系统中的图像传感器能够高于最小平均光级，所述差就 可减少。在hjr模式中在图像传感器不能满足最小平均量的光级的任何区中，可能不可 能在hjr模式中维持与在正常模式中相同的曝光时间-增益乘积。相机在正常模式中的操 作可响应于所感测光级高于阈值。相机在hjr模式中的操作可由使用者选择。可响应于 所感测光级低于所述阈值而使用hjr模式。
附图中借助实例而不是以限制的方式说明各种配置。 图1是说明数字成像过程的一个配置的框图。
图2是说明数字图像处理系统中的一个前端图像处理模块的一个配置的功能性的框图。
图3是说明数字图像处理系统中的一前端图像处理模块的另一配置的功能性的框图。
图4A是说明针对正常模式曝光时间对光级的曲线图。 图4B是说明针对正常模式增益对光级的曲线图。图5A是说明针对手抖动减少模式曝光时间对光级的曲线图。
图5B是说明针对手抖动减少模式增益对光级的曲线图。
图6是说明产生经修改自动曝光参数的方法的流程图。
图7是说明如何在正常模式和手抖动减少模式中操作相机系统的流程图。
图8是说明在手抖动减少模式中修改相机系统中的自动曝光参数的流程图。
具体实施例方式
本文使用词语"示范性"来表示"用作实例、例子或说明"。本文描述为"示范性"的任何配置、方案、设计或校准均未必被解释为与其它配置、方案、设计或校准相比是优选或有利的。 一般来说，本文描述减少数字图片中由于手抖动和/或比正常光照条件低的光照条件而引起的模糊的技术。还描述校准可在正常模式和手抖动减少模式中操作的相机的技术。
在常规相机装置中，当使用者拍摄快照(当前通过按压按钮来完成)时，通常仅一个帧用于产生图片。使用一个以上帧来产生图片的方法通常不成功，因为其产生较差结果。利用常规相机装置，图片可能由于使用者自己的手移动而产生的移动而模糊，这些手移动称为手抖动，常规相机装置还受到曝光图片所需的时间量挑战。在低光照条件下，通常增加曝光时间。增加曝光时间增加了使用者可观察到的由于低光照条件引起的噪声量，以及增加手抖动将产生模糊图片的可能性。当前，相机装置可含有小型陀螺仪以补偿使用者产生的手抖动。然而，存在当将陀螺仪放置在移动单元上时面对的许多挑战。即使当克服这些挑战时，数字手抖动减少技术可与具有陀螺仪的装置组合使用。当前相机装置还可在低光照条件下縮放增益。遗憾的是，简单地增加增益放大了由于低光级而存在的噪声。结果通常是具有较差质量的图片。类似地，对于手抖动的数字补偿不总是提供适当结果。然而，通过本发明中揭示的技术，已有可能减少手抖动以及减少较低光条件下的噪声。
图1是说明适于集成到移动单元中的相机装置的数字成像过程的框图。移动单元可以是无线电话、个人数字助理(PDA)、膝上型计算机，或任何其它移动无线装置。透镜(未图示)可用于将图像聚焦到图像传感器模块104中的图像传感器102上。在一种配置中，图像传感器模块104可具有用于存储增益和曝光参数的存储器。图像传感器模块104还可具有用于修改增益和自动曝光参数的控制驱动器。在另一配置中，图像传感器模块104可耦合到集成电路(例如，移动台调制解调器(MSM ))或具有用于存储和修改增益和自动曝光参数的存储器和/或控制驱动器的其它模块。图像传感器102可以是电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器，或任何其它适宜的图像传感器。在图像传感器102的至少一种配置中，半导体阵列可用于在图像的不同像素处俘获光。定位在图像传感器102前方的彩色滤光片阵列(CFA)(未图示)可用于将单一色彩(即，红、绿或蓝)传递到每一半导体。最常见的CFA是RGB和CMYG图案。图像传感器模块104可驱动或控制图像传感器102以修改增益和或曝光时间。
在使用者按压按钮以拍摄快照并产生数字图片之前，预览模式可俘获由图像传感器102产生的一系列帧。整个帧或帧的子部分被称为图像或(可互换地称为)图片。出于说明性目的，便利地论述将图像处理为一系列帧。但应认识到，当使用前端图像处理模块106时不需要处理整个帧。另外，帧序列还被称为串流。可将所述串流提供到前端图像处理模块106，在该处其被去马赛克以便获得全RGB分辨率作为到静态图像和视频压縮器108的输入。当串流通过前端图像处理模块106时，在预览模式中，可收集关于辅助产生数字图片的帧的统计数据。这些统计数据可为(但不限于)曝光量度、白平衡量度和聚焦量度。
前端图像处理模块106可将帮助控制图像传感器102的各种信号反馈到图像传感器模块104中。静态图像和视频压縮器108可使用JPEG压縮，或任何其它适宜的压縮算法。自动曝光控制模块IIO可接收与由前端图像处理模块106处理的光级成比例的值，并将其与所存储的光目标进行比较，以便辅助前端图像处理模块106的功能中的至少一者。通过前端图像处理模块106中的模块处理的图像是数字帧的部分。还可将串流发送到可位于显示模块112中的取景器。在预览模式中，来自显示模块112的预览决策可用于控制自动曝光。
具有数码相机的移动单元中的预览模式可用于正常模式或手抖动减少(hjr)模式。使用者可经由菜单或手动地通过使用者界面选择hjr模式(图1中展示为hjr选择)。可在使用者按压按钮以拍摄快照并产生数字图片之后瞬间内确定例如增益、自动曝光时间、帧速率和要处理的帧数目等自动曝光参数。所收集的统计数据可用于确定在正常模式和hjr模式两者中在快照期间使用的自动曝光参数。因此，在使用者按压按钮之后，hjr模式与正常模式之间的图像处理可不同。在使用者按压按钮之前，即使已选择hjr模式，预览模式也如同其在正常模式中那样处理图像。
图2是说明数字图像处理系统中的一个前端图像处理模块106a的一个配置的功能性的框图。前端图像处理模块106a可用于补偿人类视觉系统的响应与由图像传感器102产生的传感器信号之间的差异。可使用各种处理技术来校正这些差异，所述处理技术包含(以实例方式)黑色校正和透镜滑移202、去马赛克模块204、白平衡和色彩校正206、伽玛调节208，以及色彩转换210。这些过程在图2中表示为单独的处理模块，但或者可使用共享硬件或软件平台来执行。此外，这些模块可包含执行相同功能的多个图像处理模块，借此允许对不同图像并行地执行所述功能。
在色彩转换模块处理帧之后，可将三色图像分量(Y、 Cb和Cr)发送到手抖动控制模块212。可将来自自动曝光控制模块的各种参数馈送到手抖动控制模块212中。手抖动控制模块212可用于多个用途。手抖动控制模块212可确定快照之后发生的图像处理。手抖动控制模块212可检测hjr选择的值并确定是否需要执行手抖动减少(hjr)。尽管使用者已选择hjr模式，但手抖动控制模块212可确定可发生如正常模式中完成的图像处理。手抖动控制模块212可确定发生hjr模式中的图像处理。在hjr模式中产生数字图片图像处理可包含俘获单一帧或多个帧。如果手抖动控制模块212确定将俘获多个帧，那么在通过hjr控制模块之后，可将帧连同指示噪声减少/帧配准模块214可处理多少帧的参数一起发送到噪声减少/帧配准模块214。如果将处理单一帧，那么可通过使用噪声减少模块215在单一帧上发生噪声减少。噪声减少模块可以是拜尔(bayer)过滤器，或其它类似的过滤器。如果将处理多个帧，那么噪声减少/帧配准模块214可缓冲由手抖动控制模块212指定的帧数目mimf，并对其执行帧配准。依据多少帧和光级，多个帧配准的目的可用于噪声减少和/或模糊减少的用途。多个帧配准可由帧配准模块216完成。
如果手抖动控制模块212确定图像处理如在正常模式中那样发生，那么尽管使用者选择hjr模式，也可不使用噪声减少/帧配准模块214，且可使用来自(例如)色彩校正模块210的输出。依据手抖动控制模块212确定什么图像处理(正常模式中的图像处理或hjr模式中的图像处理)，可使用信号(sel)来选择哪一多路复用器217输出发送到后处理模块218。可将后处理模块218的输出发送到静态和图像视频压縮器108和/或显示模块112。
除了输出选择信号(sd)和帧数目以用于噪声减少/帧配准外，手抖动控制模块212还可输出其它参数新自动曝光帧速率(aefr一new)、新自动曝光增益(ae gain—new)、新自动曝光时间(ae time—new),和待处理的帧数目(numf)。可将这些参数发送到图像传感器模块104以控制图像传感器102。手抖动控制模块212也可输出数字增益且可施加在图像传感器模块104之后的任何模块处。作为一实例，可在白平衡/色彩校正模块206期间施加数字增益。
所属领域的一般技术人员将认识到，虽然通常描述像素，但子像素或多个像素也可用作进入前端图像处理模块106a中的输入。此外，这些图像分量的子集或其它形式也可将经RGB和空间-频率变换的像素发送到手抖动控制模块，例如手抖动控制模块212。如此，图3中说明俘获数字图像处理系统中的前端图像处理模块的功能性的另一 配置。
在图3中，已移动手抖动控制模块212、噪声减少/帧配准模块214和多路复用器217 并将其插入在黑色校正和透镜滑移模块202与去马赛克模块204之间。内嵌在前端图像 处理模块106b中的此配置展示手抖动控制模块212可对R、 G和B图像分量操作，而 不仅对Y、 Cb和Cr操作。 一般来说，手抖动控制模块212可在图像传感器102俘获光 之后在任何后续模块中且在任何显示模块112或静态图像和视频压縮器模块108之前操 作。
可通过创建至少一个自动曝光时间-增益表来校准正常模式和手抖动减少模式。自动 曝光时间-增益表可具有曝光时间列和增益列。曝光时间列中的条目和增益列中的条目可 相乘以产生曝光时间-增益乘积。进入自动曝光时间-增益表中的每一行条目或索引可表 示光级值，即可将每一光级映射到进入自动曝光时间-增益表中的自动曝光指数。自动曝 光时间-增益表可具有各种操作区，例如那些在图4A、图4B、图5A和图5B中指出的 区。在所有四张图(图4A、图4B、图5A和图5B)中，存在在横坐标轴上说明的四个 可能的光级区，Rl、 R2、 R3禾BR4。区的分离可由不同边界(边界—a、边界—b和边界—c) 来控制。横坐标轴的最左侧展示的光级开始较高且接着降低为低，如横坐标轴的最右侧 所展示。每一区中曝光时间-增益乘积(即，(曝光时间)*(增益))应旨在不降低。如此， 曝光时间或增益的降低可导致增益或曝光时间的增加。可依据传感器类型、相机的设置 和/或特性来校准自动曝光时间-增益表。还可使用一个以上帧速率来校准所述表。另外， 可将所述表存储在位于进行主要图像处理的集成电路(例如，前端图像处理模块106以 及静态图像和视频压缩器模块108)上的存储器中。还可将所述表存储在不位于进行主 要图像处理的集成电路上的存储器中。在两种情况下，不管是否位于与主要图像处理相 同的集成电路上，所述表均可耦合到图像传感器模块104。
图4A是说明针对正常模式曝光时间与(所检测的)光级的曲线图，且图4B是说明 针对正常模式增益对(所检测的)光级的曲线图。因为光级在区Rl中为高，所以曝光 时间较短，即低值。类似地，在区Rl中，增益处于标称值，即相对于其它区较低。对 于缓慢移动的物体或当使用者的手的移动非常小(即，约5ms)时，可存在校正区Rl 中的模糊和/或噪声减少的最小优点。即使将执行模糊和/或噪声减少，其对于使用者的 眼睛也是不可见的。因此，边界—a位于模糊和/或噪声减少对于使用者可见的点周围， 即允许使用者可见地看到模糊和/或噪声减少的曝光时间与增益的组合。分离区R1与区 R2的边界一a可根据不同的使用者和/或不同的相机而变化。还可将边界—a视为正常模式中的图像处理与hjr模式中的图像处理之间的阈值。
在区R1和R2中，相机可在一个帧速率(例如，frl)下操作。如图4A所示，随着 光级降低，在区R1中，曝光时间增加。曝光时间在区R1中增加。曝光时间可在区R2 中继续增加直到曝光时间对于帧速率1 (frl)达到最大值为止。在此光级下(其中曝光 时间首先对于帧速率l (frl)处于最大值)，增益(图4B所示)可开始增加。增益可继 续增加直到校准期间设置的预定值处于存在可接受的噪声级的点为止。如果增益增加到 最大值，那么噪声级对于所述给定曝光时间可能不可接受。对于正常模式，可将边界J) 表示为帧速率l (fH)下的曝光时间处于最大值且增益处于其中存在可接受的噪声级的 预定值的点。分离区R2与区R3的边界一b可根据不同的相机而变化。
需要尽可能连续地进行从一个区转变到另一区。因此，区&2中最右侧的曝光时间-增益乘积可接近区R3中最左侧的曝光时间-增益乘积或与之相同。由于曝光时间处于最 大值(如区R2中最右侧所示)，所以帧速率可在边界—b处降低。帧速率的降低(即， 使帧速率从frl变化为fr2)允许曝光时间增加。曝光时间可对于新的帧速率(帧速率2 fr2) 达到最大值(如图4B中在区R3中所示)。为了保持区R2与区R3之间曝光时间-增益 乘积的连续性，降低区R3中的增益以使曝光时间的增加偏移。增益可增加直到其达到 最大值为止。尽管可施加数字增益，但正常模式中使用的增益通常为模拟的。在正常模 式中，边界—c是模拟增益达到最大值的点。在边界一c处，在正常模式中，可将对应的 光级存储为将在手抖动减少模式中检查的光目标。
可通过创建另一自动曝光时间-增益表来校准手抖动减少(hjr)模式。可对正常模 式自动曝光时间-增益表条目执行减法、加法、除法或乘法以产生手抖动减少模式中所需 的"等效"自动曝光时间-增益表。图5A和图5B说明另一自动曝光时间-增益表或"等 效"自动曝光时间-增益表的列(曝光时间和增益)中的特性。当在hjr模式中拍摄快照 时，通过等效的自动曝光时间-增益表对曝光时间和增益的改变是相对于处于预览模式时 的正常模式。预览模式使用正常模式的特性和自动曝光参数。
图5A是说明针对手抖动减少模式曝光时间对(所检测的)光级的曲线图。图5B 是说明针对手抖动减少模式增益对(所检测的)光级的曲线图。在手抖动减少(hjr)模 式中，目标是旨在维持与正常模式中相同的曝光时间-增益乘积。如此，[hjr模式中的曝 光时间]* [hjr模式中的增益]应旨在与[正常模式中的曝光时间]* [正常模式中的增益]相 同。如先前所提及，存在试图减少区Rl中的手抖动的最小优点，因为其对于人眼可能 不可见。在区R1中，hjr模式中的增益和曝光时间可与正常模式中相同。因此，在正常 模式中在区Rl中发生的图像处理也可在处于hjr模式时在区Rl中发生。然而，在区R2、R3和R4中，图像处理在hjr模式中发生。减少手抖动的图像处理以经修改自动曝光参 数发生，而不需要减少手抖动的图像处理以未经修改自动曝光参数发生。
较长曝光时间增加手产生的轻微移动可导致模糊的可能性。因此， 一旦眼睛在区 R2中可检测到模糊和/或噪声减少，曝光时间就应减少。因此，减少区R2中的曝光时间 (如图5A所示)以降低手抖动将导致模糊的可能性。为了抵消曝光时间的减少，增加区 R2中的增益(如图5B所示)。注意，在hjr模式中保留与正常模式中相同的曝光时间和 增益在区R2中的形状。在区R2中正常模式与hjr模式之间的差异之一在于来自正常模 式的曝光时间和增益与hjr模式有偏移。在hjr模式中，曝光时间比在正常模式中处于更 低偏移，且增益比在正常模式中处于更高偏移。然而，在区中曝光时间-增益乘积在正常 模式与hjr模式之间是等效的。
如先前所提及，在正常模式或hjr模式中，可预览一系列帧。预览模式使用正常模 式的特性和(未经修改的)自动曝光参数。在hji"模式中，等效的自动曝光时间-增益表 是相对于处于预览模式时的正常模式。因此，当增加或减少曝光时间、增益或帧速率时， 其是相对于预览模式中的值。在hjr模式中，可通过检查曝光时间-增益乘积何时达到与 正常模式中的曝光时间-增益乘积相同的值来确定边界一b。在hjr模式中，如果光级在区 R3中，那么帧速率可增加大于帧速率fr2的量。这之所以可发生是因为，在预览模式中， 在区R3中，帧速率为fr2 (低于frl的速率)。举例来说，如果帧速率frl为30帧每秒 (fps)，且帧速率fr2为15 fps，那么在hjr模式中15fps的帧速率可增加某一量L，直到 帧速率frl。在此实例中，L为15fps。因此，在hjr模式中，将帧速率(例如)从15 fps 增加到30fps允许曝光时间在区R3中被最大化到针对正常模式其在区R2中的值。曝光 时间在区R3中的增加可导致增益在区R3中的降低。如果在区R1、 R2和R3中使用模 拟增益，那么由于在hjr模式中增加的增益偏移(在区R2的最左侧)的缘故，区R3中 的模拟增益可在边界—c之前饱和，即达到最大值(如区R3的最右侧所见)。为了超出最 大模拟增益而操作，可将数字增益添加到模拟增益。在图5B的底部处在区R3与区R4 之间说明数字增益。
可将在正常模式中边界—c处的光级作为预定光目标而存储，以在hjr模式中进行检 查。在hjr模式中，如果光级低于所存储光目标的光目标，那么可能没有足够的光供图 像传感器102产生用于图像传感器102的最小平均光级。可通过将每一像素处的光值(亮 度和/或色度)相加并除以像素总数目来确定最小平均光级。计算用于图像传感器102 的最小平均光级的另一方式是在计算中丢弃低于某一阈值的所有像素。举例来说，不使 用低于值10的像素，且使用剩余像素(高于某一阈值)来计算最小平均光级。通常，使用亮度光值，但也可使用色度值。出于说明性目的，论述亮度值。在hjr模式中，如 果亮度值低于预定亮度(光)目标，那么光(亮度)级将在区R4中。
如果已确定在hjr模式中光级低于亮度目标，那么无需改变在预览模式中为fr2的帧 速率。然而，可由于光的量减少而调节曝光时间，且可增加曝光时间。可将曝光时间增 加到对于帧速率fr2所允许的最大值。为了抵消曝光时间的增加，数字增益在边界j处 减小，且可在区R4中不断增加。
在区Rl、 R2和R3中，正常模式与hjr模式之间的曝光时间-增益乘积旨在相同。 即，应减少差以使两者之间的差尽可能接近零。在区R4中，图像传感器102可能不满 足最小平均量的光级。因此，可施加数字增益以增加区R4中的增益级。
图6是说明产生经修改自动曝光参数的方法的流程图。如流程图中所说明，可在快 照之后俘获帧600。可将预览模式中处理的最后帧存储在存储器中。俘获意味着从存储 器检索帧可用于产生数字图片。在移动单元上的当前帧速率和存储器存储容量下，快照 之后存储器中可存在少于十个帧。但并非在产生数字图片时可能需要存储器中的每个 帧。通常，至多三个所俘获帧可用于产生数字图片。为了在快照之后产生经修改自动曝 光参数，相机可处于hjr模式。因此，在另一实施例中，进入hjr模式602可先于在快照 之后俘获帧。但在图6中，进入hjr模式602说明为在在快照之后俘获帧之后。 一旦处 于hjr模式，所检测的光级就与来自正常模式的未经修改自动曝光参数相关联604。可在 所检测的光级下从存储器检索未经修改的增益和曝光时间606。可通过将来自正常模式 的曝光时间和增益相乘来完成正常模式中的曝光时间-增益乘积的计算608。可通过修改 来自正常模式的自动曝光参数来计算hjr模式中的曝光时间-增益乘积，这些自动曝光参 数可为增益、曝光时间和/或帧速率。可修改自动曝光参数以减小hjr模式中的曝光时间 -增益乘积与正常模式中的曝光时间-增益乘积之间的差610。因此，存在对应于正常模 式中的曝光时间-增益乘积的hjr模式中的曝光时间-增益乘积。理想上，所述对应应相同。 然而，由于相乘时的潜在计算精度差和hjr模式与正常模式之间潜在的所检测光级略有 不同，所以所述对应可不相同。hjr模式与正常模式中的曝光时间-增益乘积之间的差尽 可能多地减少便已足够。另外，在hjr模式中的一区(例如上文的区4)中，图像传感器 102可能不满足最小平均量的光级。因此，可能不可能在hjr模式中维持与正常模式中相 同的曝光时间-增益乘积。
图7中是说明如何在正常模式和手抖动减少模式中操作相机系统的流程图。为了产 生图像，第一动作是在快照之后俘获帧700。 一旦俘获，就执行检查以査明是否已选择 hjr模式。如果尚未选择hjr模式，那么可传递未经修改自动曝光参数以控制图像传感器
1704。这些参数可为自动曝光帧速率(aefr)、自动曝光时间(aetime)、自动曝光增益(ae gain)、所测量亮度，和亮度目标。如果选择了hjr模式，那么在需要时发生自动曝光参 数的修改706。在下一动作中，执行检查以查明光级是否在区R1中708，即在正常模式 中存在相同(或几乎相同)参数的区中。如果所述光级大于边界—a处的光级(即，光级 在区R1中)，那么可传递未经修改自动曝光参数以控制图像传感器704。尽管选择了 hjr 模式，但可发生正常模式中的图像处理。在后续动作中，在传递未经修改自动曝光参数 以控制图像传感器之后，可继续数字图片的处理710。如果所述光级低于边界—a处的光 级(如决策框708中的检查所执行的)，那么可使用经修改自动曝光参数以及帧数目 (rmmf)和数字增益来控制图像传感器711。经修改自动曝光参数可以是新的自动曝光帧 速率(ae fr—new)、新的自动曝光时间(ae time—new)、新的自动曝光增益(ae gain—new)、 所测量亮度，和亮度目标。可检查将处理以产生数字图片的帧的数目numf712。如果numf 大于l，那么可配准多个帧714。帧配准可补偿帧之间的运动(水平、垂直或成角度)。 其可增加帧配准之后所得图像的强度。如果numf大于2，那么帧配准还可辅助噪声减少。 如果numf为1且已选择了 hjr，那么也可发生噪声的减少716。减少一个帧中的噪声的 一种可能的方式是向图像分量应用拜尔过滤。在发生噪声减少之后，可继续数字图片的 处理710。应注意，可在手抖动控制模块212中找到图7中的框702、 704、 706和711。
图8是说明在手抖动减少模式中修改相机系统中的自动曝光参数的流程图。尽管可 能已发生hjr模式的选择，但仍可使用正常模式中的图像处理。由决策框800执行检查， 如果光级大于边界—a处的光级，那么将待处理以产生数字图片的帧数目numf设置为1 802，且使用正常的图像处理。在此情况下，没有对自动曝光参数进行修改。如果光级 小于边界一a处的光级，那么可使用hjr模式中的图像处理。将待处理以产生数字图片的 帧数目numf设置为1 804。如图5A和图5B中所说明，可将曝光时间减小某一量M 806。 存在M可在的较广范围，然而，处于或大约50%的值已展示良好结果。增益也可增加 某一量K 808。由于hjr模式中的曝光时间-增益乘积旨在维持正常模式中的曝光时间-增 益乘积，所以K的处于或大约200%的值己展示会减少手抖动。
如果增加的增益超过图像传感器的最大模拟增益，那么可使用增加了 K的增益与最 大(模拟)增益之间的最小值的选择810。也可在其中在如R2的区中使用数字增益的 配置中使用其。可将增加了 K的增益与新的模拟增益(ae—gain—new)的比率812与常 数Cl进行比较。CI与传感器的最大模拟增益相关，且典型的值可为1。选择CI与增 加了 K的增益和新的模拟增益的比率之间的最小值814，且在所述最小值处可施加数字 增益。决策框816比较光级是否大于边界—b处的光级。如果光级大于边界一b处的光级， 那么在需要时修改自动曝光参数706结束。如果光级小于边界—b处的光级，那么决策框 818比较光级是否大于边界一c处的光级。如果光级大于边界—c处的光级，那么可将帧速 率增加某一量L 820。如上文所提及，在区R3中，在hjr模式中，可将帧速率fr2增加 直到且包含帧速率frl。因此，L可为调节帧速率使其较接近且包含帧速率frl的量。可 将待处理数字图片的帧数目numf设置为2 822。如果光级小于边界—c处的光级，那么 hjr模式中新的曝光时间824和新的增益826可与正常模式中所使用的相同。可将亮度— 目标与所测量亮度的比率(即，图像传感器的平均亮度)828与常数C2进行比较。常 数C2与亮度—目标和所测量亮度的比率之间的最小值选择830可产生数字增益。可使用 典型值2，且当区R4中的所测量亮度已下降到低于亮度—目标的一半时典型值2可对应 于两次使用所述常数而不是所述比率。当图像传感器不满足亮度—目标时，可使用待处 理以产生数字图片的更多帧numf来在帧配准之后减少噪声并增加强度。已发现皿mf 的最小值三个帧832在此情况下是满足的。
已描述若干不同的配置和技术。所述技术可改进以较长曝光时间从图像中移除模 糊。所述技术和配置还可为拍摄图片的实际上任何数字装置辅助减少手抖动。所述技术 和配置可实施在硬件、软件、固件或其任何组合中。如果实施在软件中，那么所述技术 和配置可针对于包括计算机可读程序代码(也可称为计算机代码)的计算机可读媒体， 所述计算机可读程序代码当在拍摄图片的装置中执行时执行上文提及的方法中的一者 或一者以上。
所述计算机可读程序代码可以计算机可读指令的形式存储在存储器上。在所述情况 下，例如DSP的处理器可执行存储在存储器中的指令以便实行本文所描述的技术中的一 者或一者以上。在一些情况下，所述技术可由DSP执行，所述DSP调用例如曝光时间 与增益的相乘的各种硬件组件以产生曝光时间-增益乘积。所揭示的曝光时间-增益乘积 可实施在一个或一个以上微处理器、 一个或一个以上专用集成电路(ASIC)和一个或一 个以上现场可编程门阵列(FPGA)或某一其它硬件-软件组合中。这些技术和配置在所 附权利要求书的范围内。
权利要求
1.一种装置，其包括用于识别至少一个所俘获图像中的光级的装置；用于检测手抖动减少模式的选择的装置；用于动态地选择手抖动模式的经修改自动曝光参数、以对所述至少一个所俘获图像进行图像处理的装置，所述手抖动减少模式的未经修改自动曝光参数具有对应于正常模式经修改自动曝光参数的曝光时间-增益乘积的曝光时间-增益乘积。
2. 根据权利要求1所述的装置，其中所述经修改自动曝光参数包括增益和曝光时间。
3. 根据权利要求1所述的装置，其中所述经修改自动曝光参数进一步包括帧速率。
4. 一种存储指令集的计算机可读媒体，其中所述指令集在由一个或一个以上处理器执 行时包括用于识别至少一个所俘获图像中的光级的装置； 用于检测手抖动减少模式的选择的装置；用于动态地选择手抖动模式的经修改自动曝光参数、以对所述至少一个所俘获图 像进行图像处理的装置，所述手抖动减少模式的未经修改自动曝光参数具有对应于 正常模式经修改自动曝光参数的曝光时间-增益乘积的曝光时间-增益乘积。
5. 根据权利要求4所述的计算机可读媒体，其中所述经修改自动曝光参数包括增益和 曝光时间。
6. 根据权利要求4所述的计算机可读媒体，其中所述经修改自动曝光参数进一步包括 帧速率。
7. —种包括手抖动减少模式的执行图像处理的装置，其具有用于检测光级的装置和响 应于所述检测的光级以减少手抖动的装置，所述减少所述手抖动包含当所述光级处 于第一范围内时的单帧噪声减少，和当所述光级处于第二范围内时的多帧噪声减 少。
8. 根据权利要求7所述的装置，其中所述减少手抖动包含经修改的自动曝光参数。
9. 根据权利要求8所述的装置，其中所述经修改的自动曝光参数是增益、曝光时间和 帧速率。
10. 根据权利要求7所述的装置，其中所述多帧噪声减少通过多帧配准而减轻模糊。
11. 根据权利要求7所述的装置，其中所述单帧噪声减少是拜尔过滤。
12. 根据权利要求7所述的装置，其中当所述检测的光级高于移除数字图片中的模糊时 所使用的最小量的光级时，进行手抖动减少模式中的图像处理。
13. 根据权利要求11所述的装置，其中所述检测的光级被映射到自动曝光指数。
14. 根据权利要求7所述的装置，其中所述第一范围第一帧速率达到最大值，且作为响 应，所述第一帧速率降低以产生第二帧速率来增加曝光时间。
15. 根据权利要求14所述的装置，其中增益响应于所述增加的曝光时间而降低。
16. 根据权利要求7所述的装置，其中所述第二范围包括两个范围，第三范围和第四范 围。
17. 根据权利要求16所述的相机装置，其中所述第三范围与所述第四范围之间的第二 边界是由不满足亮度目标的所述光级来确定的。
18. 根据权利要求17所述的装置，其中在所述第三范围和所述第四范围中施加数字增、ITfT-。
19. 根据权利要求7所述的装置，其中所述第一范围在边界一a与边界—b之间。
20. 根据权利要求7所述的装置，其中所述第二范围超出边界—b。
21. —种集成电路，其适于耦合到图像传感器，以响应于由所述集成电路产生的经修改 的自动曝光参数，而在手抖动减少模式中减少所俘获数字图像的手抖动，所述集成 电路包括用于识别至少一个所俘获图像的装置；用于检测手抖动减少模式的选择的装置； 用于识别与所述至少一个所俘获图像相关联的光级的装置； 用于将所述光级映射到对应于正常模式中的增益和曝光时间的装置； 用于从所述对应的增益和曝光时间计算第一曝光时间-增益乘积的装置；以及 用于响应于所述计算所述曝光时间-增益乘积而产生经修改的自动曝光参数、以 减少手抖动的装置。
22. 根据权利要求21所述的装置，其中所述用于响应于所述计算所述曝光时间-增益乘 积、而产生经修改自动曝光参数的装置，包括修改所述增益和曝光时间。
23. 根据权利要求22所述的装置，其中所述用于产生经修改的自动曝光参数的装置进 一步包括计算第二曝光时间-增益乘积。
24. 根据权利要求21所述的装置，其中所述集成电路是MSMTM。
25. —种产生经修改的自动曝光参数的方法，其包括在快照之后俘获至少一个帧； 进入hjr模式；使所检测的光级与未经修改自动曝光参数相关联； 从存储器检索曝光时间和增益；从所述检索的曝光时间和增益计算第一曝光时间-增益乘积；以及 基于所述第一曝光时间-增益乘积产生经修改的自动曝光参数。
26. 根据权利要求25所述的方法，其中所述基于所述第一曝光时间-增益乘积产生经修 改的自动曝光参数包含乘以、减去、加上和除以所述检索的曝光时间和增益。
27. 根据权利要求25所述的方法，其中所述经修改自动曝光参数包括增益和曝光时间。
28. 根据权利要求27所述的方法，其中所述经修改自动曝光参数进一步包括帧速率。
全文摘要
一种处于正常模式和手抖动减少(hjr)模式的相机系统可包括通过将正常模式曝光时间乘以正常模式增益来产生第一曝光时间-增益乘积。其可进一步包括修改所述正常模式曝光时间和增益，并将这些经修改参数相乘以产生用于hjr模式的第二曝光时间-增益乘积，其减小了所述第一曝光时间-增益乘积与所述第二曝光时间-增益乘积之间的差。为了减小所述差，还可修改所述正常模式帧速率。相机在正常模式中的操作可响应于所感测的光级高于阈值。使用者可在所述相机正操作时选择所述hjr模式。可响应于所感测的光级低于所述阈值而使用所述hjr模式。
文档编号H04N5/243GK101518054SQ200780035447
公开日2009年8月26日 申请日期2007年1月20日 优先权日2006年9月25日
发明者全舒学, 卡林·阿塔纳索夫, 李京强, 江晓云, 英·谢·诺伊斯, 钱川·安德鲁·秋 申请人:高通股份有限公司