专利名称：用于图像稳定化的方法和系统的制作方法
技术领域：
本发明一般地涉及图像稳定化，并且更特别地涉及通过图像处理的图像稳定化。
背景技术：
图像稳定化的问题追溯到摄影术的开始，并且该问题涉及这样的事实，即图像传感器需要足够的曝光时间来形成相当良好的图像。在曝光时间期间，相机的任何运动都引起投影在图像传感器上的图像的平移，其导致形成的图像的退化。与运动相关的退化称作运动模糊。在拍摄时使用一只或两只手握持相机，在相当长的曝光或合成时间期间几乎不可能避免不期望的相机运动。运动模糊在相机设置在高变焦比时，特别容易发生的是甚至很小的运动也可以显著退化所获取的图像的质量。在恢复运动模糊的图像中一个主要的困 难归因于这样的事实根据在曝光时间期间发生的实际相机运动，该运动模糊在图像之间有所不同。正在进行的具有图像获取能力的消费者设备的开发和小型化增加了对于鲁棒性和有效图像稳定化方案的需求。这种需求基于以下两个主要因素I.在使用小型手持设备(比如相机电话)时，在合成时间期间避免不希望的运动的困难。2.由于源自图像传感器小型化以及图像分辨率的增加导致的小像素区域而需要较长的合成时间。像素区域越小，每单位时间可以由像素捕获的光子越少，这样为了良好的结果需要更长的合成时间。图像稳定化通常在称作单帧方案的技术中执行。单帧方案基于在长曝光时间期间捕获单个图像帧。这实际上是图像捕获的经典情况，其中获取的图像通常被运动模糊破坏，该运动模糊由曝光时间期间发生的运动造成。为了恢复图像，必须具有关于曝光时间期间发生的运动的非常准确的知识。因而该方法可能需要非常昂贵的运动传感器(陀螺仪)，除了它们的成本以外，其在尺寸上也很大并且因此很难包含在小型设备中。此外，如果曝光时间长，那么从运动传感器输出导出的位置信息展现出相对于真实值的偏移误差。该误差随时间累积，从而在某一点可能显著地影响系统的结果。在单帧方案中，已经使用多个方法来减小或消除运动模糊。在对相机运动的补偿中，光学图像稳定化通常包括侧向平移投影在图像传感器上的图像。图像的平移可以由以下四个通用技术之一获得透镜平移,该光学图像稳定化方法包括在基本上垂直于系统光轴的方向上移动该光学系统的一个或多个透镜元件；图像传感器平移，该光学图像稳定化方法包括在基本上垂直于光学系统光轴的方向上移动图像传感器；
液体棱镜，该方法包括将两个平行板之间密封的液体层改变为契形，从而通过折射改变系统的光轴；以及相机模块倾斜，该方法保持光学系统中的所有纽件不变，而倾斜整个模块，从而相对于场景(scene)平移光轴。在上述图像稳定化技术中的任何一个中，需要致动器机构来影响光轴中的改变或图像传感器的平移。致动器机构通常是复杂的，这意味着它们昂贵并且在尺寸上很大。另一个图像稳定化的方法是多帧方法。该方法基于将长曝光时间划分为多个较短时间间隔并且在那些较短时间间隔中捕获相同场景的多个图像帧。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。在捕获所有这些帧之后，在两个步骤中计算最终图像-登记步骤相对于作为参考的所选图像中的一个登记所有图像帧，以及 -像素融合基于所有各个帧中相应的值计算最终图像中每个像素的值。像素融合的一个简单方法可以计算每个像素的最终值作为各个帧中的其值的平均值。典型多帧图像稳定化方案中主要问题包括I.图像登记中的复杂计算，以及2.场景中的移动对象如果在获取图像帧的时间的期间，在场景中存在正在移动的对象，则这些对象在最终图像中失真。失真存在于对象的粘合(paste)在一起的多个实例中。希望提供用于图像稳定化的更简单的方法和系统。
发明内容
本发明涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。根据本发明的一个实施方式，将长曝光时间划分成多个较短时间间隔，从而捕获多个图像帧，并且仅将在相机位置处于预定范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定，则使用一个或几个较短帧。根据其他实施方式，对于图像传感器的曝光持续时间由曝光期间的相机运动确定。来自于多个曝光的多个捕获的帧可以用于形成最终图像。可替换地，仅从多个曝光中捕获单个帧并且该单个帧用于形成最终图像。如果多个帧用于形成最终图像，则将这些帧中的相应像素的像素灰度(intensity)值相加从而获取最终图像。相加过程可以在图像传感器中或处理器中完成。本发明使用运动传感器感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围，则丢弃在该大移动周期期间捕获的较短帧。可替换地，图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法，不需要在像素融合过程中光学地或电子地平移较短帧中捕获的图像。因此，本发明的第一方面提供在曝光周期期间对成像系统中获取的图像进行稳定化的方法。该方法包括为了获得一个或多个曝光，对投影在成像系统的图像传感器上的图像曝光至少部分曝光周期；为了在所述曝光周期中获取相对于所述成像系统的初始位置的移动量，在所述曝光周期期间感应所述成像系统的移动；以及基于在所述曝光周期中所述移动量处于预定移动范围内时获得的一个或多个曝光构造获取的图像。根据一个实施方式，在移动量处于预定移动范围内时获得的一个或多个曝光形成曝光周期期间的单个图像帧，并且该方法进一步包括在曝光周期之后捕获单个图像帧用于 构造获取的图像。根据另一个实施方式，在移动量处于预定移动范围内时获得的一个或多个曝光分别地形成曝光周期期间的一个或多个图像帧，并且该方法进一步包括至少在曝光周期期间捕获多个图像帧用于构造获取的图像。根据不同的实施方式，曝光周期划分为多个较短时间周期并且在至少部分曝光周期期间获得的所述一个或多个曝光形成一个或多个图像侦，每个图像帧针对一个较短时间周期，所述方法进一步包括至少在曝光周期期间捕获所述一个或多个图像帧；以及为了构造获取的图像，在移动量处于预定移动范围内时选择从一个或多个曝光中形成的捕获的图像帧。本发明的第二方面提供一种成像系统，包括图像传感器，用于在曝光周期期间获得一个或多个曝光；移动传感器，用于感应在曝光周期期间成像系统的移动，从而获得在曝光周期中相对于成像系统初始位置的移动量；以及处理器，可操作地连接至图像传感器，用于基于在移动量处于预定的移动范围内时获得的一个或多个曝光构造图像。成像系统进一步包括光学系统，用于在图像传感器上提供投影的图像，从而允许图像传感器在曝光周期期间获得一个或多个曝光，以及快门，与光学系统相关地定位，用于在移动量处于预定的移动范围之外时防止投影图像到达图像传感器。可替换地，该成像系统进一步包括电子电路，其可操作地连接至图像传感器，用于在移动量处于预定的移动范围之外时防止图像传感器获得曝光。该电子电路可以提供信号以指示移动量是否处于预定的移动范围内，从而允许图像传感器仅在移动量处于预定的范围内时获得所述一个或多个曝光。本发明的第三方面提供一种在成像系统中使用的图像稳定化模块，其中成像系统包括图像传感器；光学模块，该光学模块用于将图像投影在图像传感器上，从而允许图像传感器在曝光周期期间获得一个或多个曝光；以及处理器，可操作地连接至图像传感器，用于基于一个或多个曝光构造图像。图像稳定化模块包括移动传感器，用于感应曝光周期期间成像系统的移动；以及装置，可操作地连接至移动传感器，用于在曝光周期中确定相对于成像系统初始位置的成像系统的移动量，以及用于向处理器提供指示移动量是否处于预定的移动范围内的信号，从而处理器仅在移动量处于预定的范围内时获得一个或多个曝光。
光快门可以用于在移动量处于预定的移动范围之外时防止投影的图像到达图像传感器。本发明将在结合附图I至图9阅读说明书时交得明显。
图I示出了由于相机的线性移动在图像传感器上的图像中的平移。图2示出了由于相机的旋转移动在图像传感器上的图像中的平移。图3示出了图像平移的距离与图像平移的角度改变的关系。
图4a示出了由于相机移动，在图像平面上投影的图像点的轨迹。图4b示出了在图像平面上投影的图像点的轨迹以及不同的希望的曝光区域。图4c示出了在图像平面上投影的图像点的轨迹以及另一希望的曝光区域。图4d示出了在图像平面上投影的图像点的轨迹以及又一希望的曝光区域。图5是示出了根据本发明的一个实施方式的如何读出曝光的时间图。图6是示出了根据本发明的另一实施方式的如何读出曝光的时间图。图7是示出了根据本发明的又一实施方式的如何读出曝光的时间图。图8是示出了根据本发明的运动稳定化系统的示意图。图9是示出了根据本发明的图像稳定化方法的流程图。
具体实施例方式使用小型手持设备，诸如相机电话来拍摄，设备相对于场景的移动在大部分时间中是不可避免的。如果曝光时间长，则发生图像模糊。图像模糊是图像平面中图像平移的结果。如图I所示，图像传感器上的图像点P由于相机相对于场景中的点S的线性移动而平移到点P'。图2示出了由于相机相对于点S的旋转运动而造成的图像平移。如果点P和点P'之间的图像平移距离D大于三个或四个像素，那么图像质量可能很差。因此，希望限制相机移动，从而图像平移处于预定的范围内，该预定的范围即一个或两个像素。图像平移距离不仅随相机移动而改变，而且随图像平面和透镜之间的焦距f改变。在具有变焦透镜的相机中，图像平移距离在透镜拉变时较大。图像平移距离D可以涉及平移角度a，如图3所示。平移角度a约等于D/f。针对相机移动的相同量，平移角度a不随着焦距f而显著改变。如果相机在长曝光时间期间不稳定，则图像平面中的图像点P可能响应于相机相对于场景的移动而环绕移动。通常，相机的用户尝试将相机瞄准场景。因此，尽管在长曝光时间期间相机移动，但是相同的图像不会偏离图像点P很远。图4a至图4d示出了在长曝光时间期间图像点的轨迹。当轨迹穿过其本身时，这指示相机在从某瞄准方向或位置移开后又移回到该相同的方向或位置。然而，轨迹可以穿过或可以不穿过初始的图像点P。根据本发明的图像稳定化方法涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。根据本发明的一个实施方式，长曝光时间划分成多个短时间间隔，从而捕获多个图像帧并且仅将在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定，则使用一个或几个较短帧。根据其他实施方式，对图像传感器的曝光持续时间由曝光期间的相机运动确定。来自多个曝光的多个捕获的帧可以用于形成最终图像。可替换地，仅从多个曝光中捕获单个帧并且将该单个帧用于形成最终图像。如图4a所示，尽管在特定的曝光时间期间轨迹不通过图像点P，但是其可能通过图像点P初始所位于的像素。该像素通过由虚线矩形限定的区域指示并且该轨迹在h通过该像素。在这种情况中，至少初始较短帧和^处的较短帧可以用于形成最终图像。让我们将由虚线矩形限定的区域称作“希望的曝光区域”。根据本发明，将其中图像点的轨迹通过希望的曝光区域的某些或所有较短帧用于形成最终图像。最终图像的清晰度取决于希望的曝光区域有多大。在数码相机中，较小的希望的曝光区域是一个像素。然而，希望的曝光区域可以大于一个像素。当希望的曝光区域增大时，轨迹更可能通过希望的曝光区域。如图4b所示，轨迹在t2再次通过希望的曝光 区域。因此，至少三个较短帧可以用于形成最终图像。可替换地，在形成最终图像中，替代希望的曝光区域，希望的曝光角度范围可以用于选择较短帧。希望的曝光角度范围可以通过希望的曝光区域除以相机的焦距f限定。在图4c中，希望的曝光角度范围由虚线圆圈界定。在图4d中，希望的曝光角度范围由虚线椭圆界定。应该指出，针对相同的相机移动，存在不止一种形成最终图像的方式，如图5至图7所示。在图5(d)、图6(d)和图7(d)中示出了相机移动。如图所示，相机移动的某部分处于描述为“希望的曝光区域“(或角度)的预定的范围内。仅在相机移动处于预定的范围内时对图像传感器的曝光被使用。当激活相机上的快门按钮时，曝光开始，如图5(a)、图6(a)和图7(a)所不。在图5(b)和图6(b)中，图像传感器仅在相机移动处于预定的范围内时有效曝光。如果相机移动处于预定的范围之外，则由机械或光学快门、或者由电子电路或图像传感器内的多个电子元件切断曝光光线。在诸如电荷耦合器件(CCD)的图像传感器中，电荷将在曝光周期期间在像素中聚积以形成图像。通常，每个像素中聚积的电荷读出作为像素灰度。在每个曝光周期之后，捕获帧，如图6(c)所示。如图6(d)所示，相机移动的轨迹移出希望的曝光区域三次，并且因此在快门按扭被激活之后存在三个曝光。因而，分别地以及单独地捕获三个帧以用于最终图像。在该实施方式中，在可操作地连接至图像传感器的处理器中将像素灰度相加。可替换地，仅在拍摄后读出单个帧，如图5(c)所示。该单个帧有效地将三个不同曝光周期中的像素灰度相加。在不同的实施方式中，将用于拍摄的长曝光时间划分成多个短周期并且针对每个短周期中的曝光捕获帧。在拍摄时读出针对每个捕获的帧的图像。如图7(c)所示，仅将针对在相机移动处于预定的范围内时的曝光捕获的帧用于相加。在图7(c)中，使用的帧标记为“0K”并且丢弃的帧标记为“NG “。在该实施方式中，将使用的帧的像素灰度在可操作地连接到图像传感器的处理器中相加。尽管图7(b)示出了有效光快门周期，但是该实施方式不需要快门。
为了选择用于形成最终图像的较短帧，本发明使用运动传感器，诸如陀螺仪或加速计，以在相机运动处于关于初始位置的希望的曝光角度范围之外或希望的曝光区域之外时选择性地切断图像传感器。如图8所示，本发明的成像系统10包括一个或多个透镜20以将图像投影在图像传感器30上。图像/信号处理器40配置为读出在图像传感器上形成的图像。当照明充足时，一个短帧可能足以捕获场景的图像。在低光照情况中，将很多短帧用于捕获多个短曝光图像，从而短帧中的像素灰度可以由图像/信号处理器40相加以形成最终图像。可操作地连接至图像/信号处理器40的运动传感器50向处理器40发送信号，以在相机移动处于希望的曝光角度范围之外或希望的曝光区域之外时有效地切断图像传感器30。曝光光线例如可以由机械快门或光阀55切断。在很多成像系统中，曝光时间随照明改变。在照明较低时使用较长的曝光时间。出于该目的，使用光传感器60。根据本发明，在成像系统中，曝光时间也可以取决于照明。因此，在低光照情况中，曝光时间可以增加从而增加图像点的轨迹通过希望的曝光区域或角度范围的可能性。然而，还可能在低光照情况中增加希望的曝光角度范围或希望的曝光区域。
总之，本发明使用单个捕获的帧或多个捕获的帧形成最终图像。如果多帧用于形成最终图像，则帧中对应像素的像素灰度值相加，从而获得最终图像。相加过程可以在图像传感器中或处理器中完成。全稳定化过程概括在图9所示的流程图中。如图9中流程图100所示，在步骤100，当激活相机上的快门按钮时，开始投影到图像传感器的图像的曝光。在步骤120，为了确定相机移动是否处于希望的曝光区域或角度内，立即开始相机移动感应。在步骤130，在曝光周期期间或曝光周期期间捕获图像帧。在步骤140，将从在移动处于希望的曝光区域或角度内时的曝光形成的图像帧用于构造最终图像。在本发明的一个实施方式中，在移动超出希望的曝光区域或角度时，防止投影的图像到达图像传感器。仅使用图像传感器上的像素子集确定相机的移动是有优势的。本发明使用运动传感器来感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围，那么丢弃在该大移动周期期间捕获的较短帧。可替换地，图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法，在像素融合过程中不需要光学地或电子地平移较短帧中捕获的图像。因此，尽管已经相对于本发明的一个或多个实施方式描述了本发明，但是本领域的技术人员应该理解在不脱离本发明的范围的情况下，可以在实施方式的形式和细节方面进行前述和各种其他改变、省略和变形。
权利要求
1.一种用于构造图像的方法，包括 在检测到成像系统的快门按钮激活时，开始曝光周期； 在曝光周期期间感测所述成像系统的移动，以便获得所述成像系统相对于所述成像系统的初始位置的移动量； 在所述曝光周期期间捕获多个帧，使得基于所述成像系统的相应移动量是否处于预定的移动范围内，每个被捕获的帧都被标记为指示被捕获的帧是否将被丢弃；以及 基于没有被标记为将被丢弃的至少一个被捕获的帧，构造图像。
2.如权利要求I所述的方法，其中，所述曝光周期的长度随照明而变化。
3.如权利要求I所述的方法，其中，所述成像系统的移动量是使用图像传感器上的像素子集来确定。
4.一种用于构造图像的方法，包括 在检测到成像系统的快门按钮激活时，开始曝光周期； 在曝光周期期间感测所述成像系统的移动，以便获得所述成像系统相对于所述成像系统的初始位置的移动量； 控制所述成像系统，使得当所述成像系统的移动量处于预定的移动范围以内时，图像传感器被有效地曝光，当所述成像系统的移动量不是处于所述预定的移动范围以内时，图像传感器没有被有效地曝光，并且当所述成像的移动量回到所述预定的移动范围以内时，所述图像传感器被有效地重新曝光；以及 基于至少一个曝光来构造图像，每个曝光都是在所述图像传感器是曝光周期期间被曝光和被重新曝光中的一个的情况下获得的。
5.如权利要求2所述的方法，其中，针对每个曝光捕获帧，并且所述图像基于所捕获的帧被构造。
6.如权利要求2所述的方法，其中，所述图像是通过将每个曝光期间所累积的像素灰度累积起来而构造。
7.如权利要求4-6中任一项所述的方法，其中，通过对机械快门、光学快门以及所述图像传感器内的至少一个电子元件中的至少一个进行控制，使得所述图像传感器没有被有效地曝光。
8.如权利要求4-6中任一项所述的方法，其中，所述曝光周期的长度随照明而变化。
9.如权利要求4-6中任一项所述的方法，其中，所述成像系统的移动量是使用图像传感器上的像素子集来确定。
10.一种成像系统，包括 移动传感器，用于在曝光周期期间感测所述成像系统的移动，以便获得所述成像系统相对于所述成像系统的初始位置的移动量，该初始位置被确定为曝光周期的开始，并且在检测到所述成像系统的快门按钮激活时，所述曝光周期开始； 图像传感器，用于在所述曝光周期期间捕获多个帧，使得基于所述成像系统的相应移动量是否处于预定的移动范围内，每个被捕获的帧都被标记为指示被捕获的帧是否将被丢弃；以及 处理器，被配置为控制所述成像系统的整体操作，并基于没有被标记为将被丢弃的至少一个被捕获的帧来构造图像。
11.如权利要求10所述的成像系统，其中，所述曝光周期的长度随照明而变化。
12.如权利要求10所述的成像系统，其中，所述成像系统的移动量是使用所述图像传感器上的像素子集来确定。
13.一种成像系统，包括 移动传感器，用于在曝光周期期间感测所述成像系统的移动，以便获得所述成像系统相对于所述成像系统的初始位置的移动量，该 初始位置被确定为曝光周期的开始，并且在检测到所述成像系统的快门按钮激活时，所述曝光周期开始； 处理器，被配置为 控制所述成像系统，使得当所述成像系统的移动量处于预定的移动范围以内时，图像传感器被有效地曝光，当所述成像系统的移动量不是处于所述预定的移动范围以内时，图像传感器没有被有效地曝光，并且当所述成像的移动量回到所述预定的移动范围以内时，所述图像传感器被有效地重新曝光；以及 基于至少一个曝光来构造图像，每个曝光都是在所述图像传感器是曝光周期期间被曝光和被重新曝光中的一个的清况下获得的。
14.如权利要求13所述的成像系统，其中，针对每个曝光捕获帧，并且所述处理器基于所捕获的帧来构造所述图像。
15.如权利要求13所述的成像系统，其中，所述处理器通过将每个曝光期间所累积的像素灰度进行累积来构造所述图像。
16.如权利要求13-15中任一项所述的成像系统，其中，通过对机械快门、光学快门以及所述图像传感器内的至少一个电子元件中的至少一个进行控制，所述图像传感器没有被有效地曝光。
17.如权利要求13-15中任一项所述的成像系统，其中，所述曝光周期的长度随照明而变化。
18.如权利要求13-15中任一项所述的成像系统，其中，所述移动传感器基于图像传感器上的像素子集来确定所述成像系统的移动量。
全文摘要
一种用于感应在曝光周期期间相机移动的运动传感器。该相机具有图像传感器以形成一个或多个曝光。当移动在特定范围内时，曝光用于提供一个或多个帧，从而可以基于帧构造图像。在一个实施方式中，将曝光周期划分为多个短时间间隔，从而捕获多个图像帧，并且仅在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么所有或很多较短帧用于形成最终图像。
文档编号H04N5/232GK102769718SQ201210113440
公开日2012年11月7日 申请日期2007年5月7日 优先权日2006年6月22日
发明者H·卡科里 申请人:核心无线许可有限公司