专利名称：数字照相机的调焦的制作方法
技术领域：
本发明涉及数字照相机，例如用于诸如移动电话、个人数字助理(PDA)，便携式计算机或数字照相机本身的便携式电子设备的微型照相机。这种数字照相机具有用于捕获图像的图像传感器和用于使光线聚焦在图像传感器上的镜头组件。
本发明尤其与数字照相机的调焦有关，在这种数字照相机中，镜头组件由于其镜头通常是可移动的，因而具有可变的焦点。
许多数字照相机都配备有自动聚焦工具。通常，自动聚焦算法可以是闭环算法或开环算法。典型地，在公知的闭环自动聚焦算法中，执行机构移动镜头组件，在镜头组件提供不同焦点的位置捕获一序列样本图像。样本图像通常仅覆盖图像的小部分区域，通常为图像的中心。然后对样本图像进行分析，以比较样本图像的聚焦质量，从而确定镜头组件的哪个位置提供最佳的聚焦。然后利用执行机构使镜头移动到该位置，以便拍摄聚焦的照片。典型地，在公知的闭环自动聚焦算法中，为了确定聚焦质量对样本图像进行反复捕获和分析，利用这一点来获取反馈信号，以控制执行机构来使镜头组件移动，从而优化聚焦。
这种自动聚焦算法，不管是闭环算法还是开环算法，都需要执行机构来移动镜头组件。执行机构是具有一定复杂性的必不可少的精密设备，并典型地是诸如电磁电动机(例如步进电机)的机电执行机构或压电执行机构。例如，在开环控制的情况下，执行机构必须允许精确控制，以返回到被确定为提供最佳聚焦的位置。这种精密的电动机和执行机构的制造成本相对较高。此外，执行机构增大了照相机的体积和重量，这在便携式设备(例如移动电话)中是不期望的。另外，执行机构在工作期间消耗能量，这样会耗尽电池的寿命。
希望减少由于需要提供能够精确和可重复控制的执行机构而带来的这些问题。
发明内容
根据本发明的第一方面，提供了一种数字照相机，包括用于捕获图像的图像传感器；镜头组件，其被设置用来使光线聚焦在所述图像传感器上并提供可变的焦点；存储器，用于存储所述图像传感器所捕获的图像；以及控制器，其被设置用来控制所述数字照相机的操作，并被设置用来执行包括如下步骤的图像捕获操作使所述图像传感器捕获图像序列，并将所捕获的图像序列存储于存储器中，其中，所述图像序列中的每一个均由整个图像区构成，并具有所述镜头组件所提供的不同的焦点；以及对所述存储器中存储的所述图像进行分析，以确定所述图像的聚焦质量，并且基于分析的结果，从所述图像序列中获得焦点对准的图像。
根据本发明的第二方面，提供了一种用于数字照相机的调焦方法，所述照相机包括用于捕获图像的图像传感器；镜头组件，其被设置用来使光线聚焦在所述图像传感器上并具有可变的焦点；以及存储器，用于存储所述图像传感器所捕获的图像；所述调焦方法包括捕获图像序列并将所捕获的图像序列存储在所述存储器中，所述图像序列中的每一个图像均由整个图像区构成；以及对所述存储器中存储的所述图像进行分析，以确定所述图像的聚焦质量，并且基于所分析的结果，从所述图像序列中获得焦点对准的图像。
因此，镜头组件的焦点是改变的，图像用不同的焦点来捕获。所捕获的图像并不是像上述现有技术那样包含整个图像区的一部分的样本图像，而是由用户所需的整个图像区构成。然后对图像进行分析，以确定聚焦质量。基于分析的结果，然后得到焦点对准(in-focus)的图像作为照片使用，例如通过显示在照相机的显示器上和/或存储于照相机的存储器中。在本发明的最简单的应用中，通过从图像序列汇中选取被确定为具有最佳聚焦的一个图像，来获得焦点对准的图像，但是在较复杂的应用中，从图像序列合成所述聚焦图像，下面将对此进行更加详细的描述本发明的优点在于对镜头组件的精确控制的要求有所降低。例如，与上面所概括的开环自动聚焦技术相比，镜头组件无需被物理地返回到最佳的焦点对准位置以拍摄照片，因为从存储器中可获得的图像序列中可以获得适当的图像。因此不需要能够精确的或可重复定位的执行机构。在下面进一步描述的实施方案的显著优点在于完全不需要执行机构。即使采用执行机构，重要的优点仍在于，无需像利用公知的自动聚焦技术那样提供相同精度的控制。这样可降低采用执行机构的某些或全部复杂性、成本和体积。
与上述的开环自动聚焦算法相比，本发明的另一优点在于减少了获得聚焦的图像所需的时间，因为在捕获输出的图像之前，无需执行使镜头组件返回到最佳聚焦位置的最后步骤。
在利用执行机构来移动镜头组件的情况下，数字照相机进一步包括被设置用来移动镜头组件的执行机构，图像捕获操作进一步包括控制执行机构移动镜头组件以改变焦点，在移动所述执行机构时，执行对所述图像序列的所述捕获。
本发明可采用压电执行机构。压电执行机构具有多种优点，特别是较小的尺寸和低功耗。但是，许多压电执行机构存在滞后，这使得无法根据控制信号来预知镜头组件的位置，因而导致难于利用开环自动聚焦算法来返回到先前确定的具有最佳聚焦的位置。但是，本发明在无需返回到先前确定的位置的情况下，提供了焦点对准的图像。这允许使用具有相关优点的压电执行机构。
本发明还可采用电动机形式的执行机构。在这种情况下，不需要采用通常在提供自动聚焦的照相机中使用的精确的步进电机，可以采用例如DC电机的更简单和更便宜的电机，因为无需精确控制或知道位置。
在不需要执行机构的实施方案中，所述数字照相机进一步包括可由用户操作的按钮；以及机械联动装置，其连接所述按钮与所述镜头组件，并适于根据所述按钮的操作来移动所述镜头组件，所述控制器被设置用来响应所述按钮的操作执行所述图像捕获操作，即，在所述镜头组件根据所述按钮的操作而被移动时，捕获所述图像序列。
因此，通过所述机械联动装置，由所述按钮的操作来机械地驱动所述镜头移动。即，用于所述镜头组件移动的动力来自于所述按钮的操作，因而来自于用户。在下文中，所述按钮将被称作“快门按钮”或“快门释放按钮”，以指代用户操作用来捕获图像的按钮。应该注意，数字照相机中通常不存在机械“快门”，这一术语并不意味着存在任何快门，而仅是从胶片照相机的先前功能中简单得来的。
一种选择是，当用户按下按钮时，简单的机械联动装置使镜头移动所需的距离。这可以是简单机构的直接连接，例如杆，以改变施加的力或连接的方向。在微型照相机中，所述镜头组件为几毫米，镜头组件的相应质量为几克或更少，因此用户几乎注意不到所需的力。通常，镜头需要移动约0.2mm，以覆盖可能的焦点位置的范围。因此，直接连接是可能的。如果操作者更进一步地按下按钮，例如1-2mm，简单的杆机构或其它连接机构就足以实现移动。所述机械联动装置可以是任何适当的形式。所述机械联动装置优选包括一个或几个被形成为塑料模制品的部件。
另一种选择是所述机械联动装置被设置成通过按下所述按钮使所述镜头组件从其静止位置移动，所述机械联动装置进一步包括弹性元件(更简单地，为压缩弹簧)，其被设置成在按下所述按钮之后，朝所述镜头组件的静止位置偏压所述镜头组件；以及阻尼器；其被设置成控制所述镜头组件朝其静止位置移回的速度，所述控制器被设置成执行所述图像捕获操作，即，在按下所述按钮之后，当所述镜头组件朝其静止位置移动回时，捕获所述图像序列。因此，按下按钮的动作压迫弹性元件，弹性元件然后使镜头组件在阻尼器的控制下朝其静止位置移回，所述阻尼器以预定的方式控制镜头组件的移动。可以采用利用粘性液体的典型“阻尼延迟器(dash-pot)”来实现这种阻尼器，或者这种阻尼器可更优选为抗损耗/机械的塑料材料。通过适当地选取几何形状和材料的组合，所述弹性元件和阻尼器可由一个塑料模制品和相同的塑料模制品制成(可能为多拍摄(multi-shot))。
在捕获图像序列过程中，提供自动返回机构使得操作可以不依靠镜头动力学。因此，镜头的行程是已知的和可重复的，从而可以精确地预先选择捕获图像(定位镜头)的时机。
一种可选的特征是提供光学传感器来感知镜头筒组件上的暗标记和亮标记，这种光学标记代表希望捕获图像序列的各种焦点的位置(或位置之间的过渡点)。然后，可以利用来自于光学传感器的信号来触发图像捕获处理，而不依赖于执行机构的动作、精确性或可重复性、或捕获图像序列期间镜头的速度。
本发明可用于任何尺寸的数字照相机，但是有利地，所述数字照相机为微型数字照相机，即其中镜头直径为几个毫米的照相机，例如镜头直径在2mm到20mm范围内。由于尺寸小，镜头元件的质量较小(几克或更小)，因此联动装置上的机械负荷则较轻，因而用户能够简单地按下按钮，即按下按钮不会遇到大的阻力，并且可被设计成对于用户来说具有好的“手感”。
至于图像序列中的图像数量，增大图像数量会更接近于最佳聚焦。对于一些应用来说，两个或三个聚焦位置就足以提供一个近似聚焦准确的图像。对于最佳聚焦来说，当与例如300百万像素或更高像素的高分辨率的图像传感器一起使用时，当采用例如10个或10个以上的更多的镜头位置时会获得更好的效果。实际上，在5到7个镜头位置捕获图像通常可以提供充分聚焦的图像。
在第一类实施方案中，图像序列全部被存储，以用于随后的分析和确定聚焦准备的图像。在这种情况下，对存储器的要求相对较高。对于X百万像素的分辨率的图像来说，对存储器的典型要求为3X百万字节的级别。因此，例如，3百万像素照相机的单个帧需要9百万字节级的存储空间。但是，对于3百万像素的照相机来说，可以获得可选的格式和压缩，从而使所需的存储器空间减少到1-2百万字节的级别。因此，必须提供足够的暂时存储器来存储图像序列中的多个图像。在分析之后，确定的聚焦准确的图像可在显示器显示，并进一步对其进行存储，同时可以删除图像序列中其余的图像以释放存储器，或者当下次需要存储器时简单地将其覆盖。
在第二类实施方案中，通过以下步骤对图像进行实时分析首先将所述图像序列的第一图像作为所述焦点对准的图像存储，以及对于所述图像序列中的每一个相继图像，通过将所述每一个相继图像与作为所述焦点对准的图像而存储的图像进行比较，从而对所述每一个相继图像进行分析以确定其聚焦质量，并基于分析的结果来更新作为所述焦点对准的图像而被存储的图像。
所述第二类实施方案比所述第一类实施方案需要较少的存储器，因为在任何时刻需要存储的最多的图像为两个，即图像序列中最新被捕获的图像，并且聚焦准确的图像被更新，而不是图像序列中的全部图像被更新。另一方面，第二类实施方案需要足够高的处理速度，或者较低的图像序列捕获速率，这就意味着，在将下一个图像从图像传感器读入存储器之前，必须对前一个图像进行充分分析。数字照相机中典型的帧速率为每秒30幅，在这种情况下，可用于图像比较的时间为33ms级。
从图像序列中获得焦点对准的图像的方式有多种。
一种选择是，从图像中选取具有最佳聚焦的一个图像来获得焦点对准的图像。可以基于对整个图像的部分区域(例如中心区域)或整个图像区进行的分析，来执行对聚焦质量的分析。
另一种选择是，从图像序列合成焦点对准的图像，例如，对图像序列中一幅以上的图像进行合成。这可以通过以下步骤来实现确定图像在其多个部分中的各个中的图像聚焦质量，对于图像区的多个部分中的各个部分，从所述图像序列中的一个图像中选取被确定具有最佳聚焦的图像区部分。因此，焦点对准的图像的不同部分可以来自于在不同的焦点位置捕获的不同图像，以允许图像的全部区域是焦点对准的。这样可以增大照相机的可见景深。在该实施方案中，在逐个部分基础上进行选择。通常，基于以下分析区中的任意一个来在图像的多个部分中的各个部分中确定图像的聚焦质量(a)图像区部分的一部分区域，(b)图像区各个部分的整个区域，或(c)图像区部分的整个区域和邻近区域。
所述图像区部分可以是多个像素的区域。在这种情况下，可以从图像序列中的被确定为具有最佳聚焦的一个图像中，选取图像区部分。为了获得最佳效果，区域的尺寸需要相对较小，而镜头位置的数量需要相对较大。通过仿真表明，对于3百万像素的传感器，可以在面积基本相等的9到25个区域之间，并且在3到10个镜头位置之间获得高质量的图片。所述区域可具有任意的形状和配置。所述区域的边界可选择为“粗糙的”而不是直线。所述区域还可以有用地具有六边形周边而不是矩形周边。这两个特征使得人眼几乎不会注意到区域的边界。
作为一种选择，各个图像部分均可包含单个像素。在这种情况下，基于由该像素和图像邻近区域构成的分析区，对每个像素确定图像的聚焦质量。与先前描述的处理相比，该方案的主要优点在于不会在最终合成的焦点对准的图像的不同部分之间出现人为地引入的边界(可看到显著的边界聚焦误差)。相反地，该处理有效地使每个像素本身构成一个区域，因此，合成的图像将无论如何都不会存在可见的区域边界。
为了便于更好的理解，下面将参照附图以非限制性的实施例的方式描述本发明的实施方案，其中
图1是包含照相机的移动电话的前视图；图2是照相机的镜头组件的透视后视图；图3是沿图2中的剖面线AA′剖开的、照相机的光学部件的结构排列的剖视图；图4是照相机的电子部件的图；图5是照相机为确定图像的聚焦质量而执行分析的流程图；图6是照相机的第一图像捕获操作的流程图；图7是照相机在镜头组件的连续位置捕获的一序列图像的示意图；图8是用于照相机的快门释放按钮的联动机构的改进形式的侧视图；图9是照相机的第一图像捕获操作的流程图；图10是图9的第一图像捕获操作处理的图像的实施例的示意图；图11是图9的第一图像捕获操作处理的图像的另一实施例的示意图；以及图12示出了采用执行机构的可选形式的照相机。
图1示出了在其中配备有根据本发明的照相机5的移动电话1。在移动电话1的前表面设有键盘2、显示屏3以及照相机5的快门释放按钮4。
最好参见图2，照相机5具有在其中安装有镜头组件6的壳体7。镜头组件6朝移动电话1后部设置，用于接收来自移动电话1外部的光线。如图2所示，镜头组件6包括固定透镜9和可移动的透镜10。镜头组件6设置于图像传感器11前方，以使接收的光线聚焦在图像传感器11上。镜头组件6是可移动的，特别地，其通过可移动的透镜10的移动改变光线在图像传感器11上的聚焦。为清晰起见，将固定透镜9和可移动的透镜10描述为单个的镜头，然而在实际中它们一般由镜头组构成。
如图2的虚线以及图3中详细所示，照相机5具有机械联动装置8，机械联动装置8使快门释放按钮4与镜头组件6相连，特别是与可移动的透镜10相连。在这种情况下，机械联动装置8为简单的杆。用户一旦按下快门释放按钮4，按钮4便移动到虚线4a所示的位置，机械联动装置8与按钮一起移动，并驱动可移动的透镜10移动到虚线10a所示的位置，从而改变光线在图像传感器11上的聚焦。
此外，照相机5具有如图4所示的电子部件，对这些电子部件的设置如下。
图像传感器11被连接，以通过信号处理器12将所捕获的图像的输出图像信号提供到存储器13。后面将进一步讨论，在操作中，由整个图像区所组成的图像储存于存储器13中。图像传感器11、信号处理器12、存储器13以及照相机5的其他部件的操作均由控制器14控制。控制器14还响应于快门释放按钮4的操作。控制器14通常通过运行适当程序的微处理器来实现。作为一种选择，控制器14的某些功能(例如，后面描述的对所捕获的图像进行分析以确定聚焦质量的操作)或全部功能可由专门的硬件来实现。
控制器14利用图5所示的算法，分析存储器13中存储的图像的聚焦质量。在步骤S1，选取图像的分析区。该分析区可以是整个图像区、或者可以是整个图像区的一部分区域，例如整个图像区的中心部分或多个部分。
在步骤S2，由高通滤波器对选定的区域进行滤波。采用高通滤波器的根据是，高的空间频率分量的增加会使聚焦更好，因此高通滤波器的输出代表聚焦质量。因此需要对高通滤波器进行设计。下面是对该滤波器的要求·直流系数必须为零，因为直流信号从不传达有用的聚焦信息；·超高频率可能会由像素噪声来控制(如果这一点可以由对特定系统的散光圈的分析来证明，则其将是十分有用的信息)。所述频率还应被削弱；·中间频率将包含有用的聚焦信息。
这些频带之间的过渡带不应太陡峭，否则它们会起阈值作用，并且会阻止算法在某些环境下工作。
根据空间原型来设计频域滤波器是获得满意结果的一种方法。在知道在空间域中需要什么卷积运算的情况下，其可被转换为频域乘法。
一种可能的高通滤波器为高斯拉普拉斯滤波器。
所述高通滤波器可在频域中实现。一种可能是执行离散余弦变换，例如对8×8的像素块执行离散余弦变换。然后，可以通过使空间频率分量与频域滤波器系数相乘，来获得聚焦质量的度量。
在步骤S3，对步骤S2的输出取绝对值，以及在步骤S4，将绝对值相加。作为在步骤S3取绝对值的一种选择，可以进行幂运算，但是绝对值运算比幂运算的运算成本低，而二者几乎同样实用。
因此，步骤S4的输出提供了图像聚焦质量的度量。图5所示的算法产生了非常满意的结果，并且在仿真中与采用其他算法(某些基于频率的算法和某些基于空间的算法)相比更佳。但是，应当理解，可以可选地采用用于确定聚焦质量的其他算法。
下面将对图6示出的由控制器执行的第一图像捕获操作进行描述。
在步骤S10，检测是否按下按钮4。响应于此，操作执行步骤S11，在步骤S11，控制器14使图像传感器11捕获一序列图像，并将它们存储于存储器13中。每个被存储的图像均由整个图像区构成。所述整个图像区可对应于图像传感器11的整个图像区，但是在某些情况下，可丢弃图像传感器11的某些周边像素。在最初按下按钮4之后的预定时间存储这些图像，以使每个被存储的图像是在镜头组件6的不同位置捕获的、具有不同焦点的图像。
例如在图7中示出了这种情况，图7示出了照相机5用于容纳镜头组件6的部分的剖视图。可移动的透镜10支撑在镜头架15中，镜头架15可以是镜头筒。透镜10和镜头架15都是圆对称的。镜头架15连到能够在平行于光轴的方向(附图中的水平方向)移动镜头架15的机械联动装置8上。镜头架15、可移动的透镜10以及机械联动装置8与诸如悬挂部件、固定透镜以及图像传感器(未示出)的其他部件一起放置在壳体7中。在按压按钮4期间，机械联动装置8使镜头架15并因此使可移动的透镜10移动(如水平方向的箭头所示)到由虚线所示并由8a、15a以及10a表示的位置。在镜头组件6移动期间，在标记为1-6的细垂线表示的、可移动的透镜10的几个位置，捕获全部图像并将它们存储于存储器13中，其中位置1对应于较近的焦点，而位置6对应于较远的焦点。在该实施例中采用了6个透镜位置，但是可以采用更少或更多的透镜位置。在移动的起始位置1、结束位置6以及4个中间位置2-5，捕获全部图像。在图7的下部，示意性地示出了透镜移动过程中由图像传感器捕获的6个图像。
尽管图像序列中的数量在图7中被示为6，但是通常可以为任意的复数。
在图6中，在将全部图像存储在存储器13中之后执行的步骤S12，利用图5所示的算法来确定每个图像的聚焦质量。然后在步骤S13，选取具有最佳聚焦质量的图像作为焦点对准(in focus)的图像。将该焦点对准的图像显示在显示屏3上，并将其保留在存储器13中。
对于本领域的技术人员来说显而易见的是，不管快门释放按钮4和镜头组件6在电话中的位置如何，机械联动装置8通常都可容易地将它们连接起来，并且机械联动装置8进一步可以被设计成产生镜头组件6移动的期望范围和速度分布。例如，机械联动装置8可并入弹簧和阻尼系统，用于不管多快地按下按钮4，镜头组件6的移动基本都可由弹簧的刚度(spring stiffness)和阻尼器的阻抗(damperresistance)来控制。例如利用回动弹簧，可以容易地使镜头组件6返回到其起始位置。
类似地，图像序列的捕获和存储可发生在镜头组件6返回到其起始位置的过程中，而不是发生在按下按钮4的过程中。在这种情况下，虽然镜头组件4的移动仍然由用户通过按钮4的操作来驱动，但是这样做的优点在于，可更好地控制镜头组件6的移动，因为镜头组件6的移动较少地取决于用户的动作。所有这些设计均包含在本发明的范围之内。
图8示出了联动机构8的改进形式，其在镜头组件6返回到其初始位置过程中捕获和存储图像序列。在图8中示出了移动电话1的壳体的两个相对的壁21和22，这两个壁通常是固定的，并且联动机构就设置在它们之间。快门释放按钮4突出而穿过壁21，并经由硬联杆23连接到超程分离机构24，超程分离机构24则经由硬联杆25连接到弹簧26一端。弹簧26的另一端作用于移动电话1的壳体的壁22。弹簧26可由任何弹性元件来代替。联杆25还连接到阻尼机构27(例如缓冲器，或其他具有粘滞特性的阻尼装置)，阻尼机构27还作用于移动电话1的壳体的壁22。最后，联杆25与镜头组件6的可移动的透镜10机械连接，这是联动机构8移动的主要目标。
超程分离机构24的作用是传递施加到快门释放按钮4的任何弹力，直到实现某个按压(图8的右侧)为止。在此之后，快门释放按钮4被有效分离，直到联杆25(在被压缩的弹簧26的反向驱动下)返回到如图8所示并且例如由壁21所限定的静止位置。在此，任何适当的传统公知的机构都将满足要求。
联动机构8的操作如下最初，弹簧7基本未被压缩并且快门释放按钮4处于其静止位置(图8左侧)。用户按下快门释放按钮4(图8右侧)，用户施加的压缩力经由超程分离机构24传递到联杆25。这使得联杆25跟随快门释放按钮4的移动，从而压缩弹簧26、按下阻尼器27并驱动可移动的透镜10到达极端位置。当快门释放按钮4接近其行程终点时，超程分离机构24解扣(trip in)，从而使快门释放按钮4有效地与联杆25分离。此后，联杆25以及与之相连的部件(弹簧26、阻尼器27以及可移动的透镜10)在被压缩的弹簧26的作用力下，自由退回到它们的静止位置(图8左侧)，其中由摩擦力并且主要由阻尼器27的阻尼作用来控制速度。这些运动一起使可移动的透镜10以基本恒定的速度、在其操作范围内平缓地往返运动(如果需要的话，通过细心设计和构造阻尼器27，可以产生不同的速度分布)。
控制器14可操作地在联杆25和可移动的透镜10的返回运动过程中捕获和存储图像。
有利地，将镜头组件6的标准的静止位置设为镜头组件的无穷大焦距，以便在照相机摇摄时，始终有尽可能多的聚焦准确的场景。上述位置可以是厂商预置的位置。在这种情况下，可将联动机构8配置用来允许如下的操作。在按下按钮4后，镜头组件6便被推回到其范围的一端(例如最小焦距)并停留在那里，直到按钮4到达其行程的终点，即对于按钮4来说，无需被释放。当到达行程的终点位置时，按钮4可有用地发出噪音，例如通过推回在行程结束时释放的臂，所述臂然后返回并撞击另一元件，从而产生噪音。一旦在按钮4的下行冲程中，在用户所压缩的弹簧的作用下到达行程的终点，就会获得聚焦的图像序列，如上所述。镜头组件6一旦到达其另一行程终点，它便断开另一个杆(或可能为电子开关)，所述另一个杆然后使镜头组件6与回程弹簧分离。之后，镜头组件6的位置受较弱的弹簧的控制，而较弱的弹簧只是使镜头组件6返回到无穷大焦距。在本文中，“弹簧”可以是任何弹性元件，并可以仅仅通过一片弯曲的塑料、金属或弯曲的导线来实现。这样或许会很好地工作，因为无穷大焦距(HFD)返回机构的强度只要能够移动较轻的镜头组件6就可以了，而按钮激励的回程系统的强度很大(足以完全使HFD返回系统过载)，因为它是由相对较强的用户激励并且是减速的(gear down)，例如速度降低10倍的量级。
图9示出由控制器可选地执行的第二图像捕获操作，下面将对此进行描述。在第一图像捕获操作中，将全部图像存储于存储器13中之后，执行对图像序列的分析，但是在第二图像捕获操作中，动态(on-the-fly)对图像进行分析，因此降低了对存储器的要求。
在步骤S20，检测是否按下按钮4。响应于此，操作进行到步骤S21。在步骤S21，控制器14使图像传感器11捕获图像序列中的第一图像，并将其作为焦点对准的图像存储于存储器13中，该图像由整个图像区构成。接下来在步骤S22，控制器14使图像传感器11捕获图像序列中的下一个图像，将其存储于存储器13中并与上述焦点对准的图像隔开，该存储的图像由整个图像区构成。在步骤S21和S22，在最初按下按钮4之后与第一图像捕获操作相同的预定时间存储每个图像，以便使每个被存储的图像都是在镜头组件6的不同位置捕获的，并具有不同焦点。
之后，在步骤S23，利用图5所示的算法确定下一个图像的聚焦质量，并且焦点对准的图像的聚焦质量也是如此确定的(如果在步骤S23的先前的重复中还未确定的话)。在步骤S24，将下一个图像的聚焦质量与焦点对准的图像的聚焦质量进行比较，如果下一个图像的聚焦质量更好，则将具有最佳聚焦质量的图像存储为焦点对准的图像，例如，通过覆盖先前的焦点对准的图像。
在步骤S25，确定是否存储并分析了图像序列中的所有图像。如果没有，那么操作返回到步骤S22。一旦存储并分析了图像序列中的所有图像，则在步骤26结束处理，在这种情况下，图像序列中具有最佳聚焦质量的图像被保留作为焦点对准的图像。因而，结果与第一图像捕获操作相同，但是步骤S23和S24的快速分析需要较少的存储器13的空间。
图10示出了第二图像捕获操作的实施例，其中第四图像具有最佳的聚焦质量。图像由图7中的数字来区分，分析区19被示为是整个图像区的一部分。每一行表示在步骤S24执行的比较，并用问号表示，图像的第一列是被存储的焦点对准的图像，第二列是各个后继的新图像。最后一列表示作为比较的结果而被存储为焦点对准的图像。因此，在最初的三次比较中，每次都对聚焦的图像进行更新，以使第四图像成为焦点对准的图像，此后则未改变该焦点对准的图像。
如上所述，第一图像捕获操作和第二图像捕获操作导致选取图像序列中的一个完整图像作为焦点对准的图像。作为一种选择，可以通过在理论上将图像区分成多个部分，并选取图像序列中的一个图像的各个部分，来改变第一图像捕获操作的步骤S13和第二图像捕获操作的步骤S24的处理。结果是，焦点对准的图像可以是从图像序列中的一个以上的图像构成的合成图像。
可以将图像分成任意数量的部分。随着分割数量的增加，总的聚焦质量提高，但是需要更大的处理能力。最简单的变体可以是将图像分成两部分，可以有用地将这两部分配置成位于图像中心的单个圆形像素块(用于对感兴趣的物体进行聚焦)，并由第二像素块(用于对背景进行聚焦)所围绕。
被分割的部分通常可以具有任意的形状和尺寸。为了减少所需的处理，被分割的部分可以包括任意形状(例如矩形、三角形和六边形)的多个像素区域，其中这些区域可具有直的或波状的边界，以使相邻区域互锁，从而降低边界假象(boundary artefact)的可见度。所述区域可以被规则或不规则地配置，并且可以具有相同或不同的尺寸。
为了提高分辨率，图像被分割的部分可以非常小，例如单个像素、或者单个像素及离其最近的像素，例如5个或9个像素。这提供了最高的分辨率，但是易于受到图像中的噪声干扰，因为像素级的信噪比是高的。但是，如果噪声级是已知的，则可以修改聚焦处理以容许噪声。可以例如根据以下条件来估计噪声级传感器芯片的公知特性；场景的整体亮度或局部亮度(暗淡的场景将具有更多的噪声)；以及环境温度(温度越高，噪声越大)，环境温度可通过测量单个晶体管上的电压来度量。
在采用区域的情况下，优选基于处理的区域中的图像聚焦质量的确定，来选择图像区的各个部分。但是，在采用更少的图像部分的情况下，希望基于对分析区域(包括处理的图像部分和邻近的图像区域)中的图像聚焦质量的确定，来选择图像区的各个部分，。
图11独立示出了采用独立选择图像区部分的第二图像捕获操作的实施例，其中采用9个矩形区域作为图像的部分。在图11中，上部的图表示在处理开始即在镜头位置1，聚焦的图像的组成；中间的图表示在镜头位置4的、经3次比较处理步骤之后的图像的组成；以及下部的图示出在镜头位置6的、经过最后的处理步骤之后，最终图像的组成。在该实施例中，在镜头位置1，中心区域和中心区域下部的区域对应于较近的物体或前景物体是最佳焦点对准的；在镜头位置3，右侧区域对应于中间距离是最佳焦点对准的；以及在镜头位置6，其余的区域对应于无穷远是最佳焦点对准的。
如上所述，自动聚焦操作可与快门释放按钮4的操作结合，即当用户希望拍照片时。作为一种选择，可以使自动聚焦操作发生在其他时间。如果用户想要在拍照片之前，在显示器3上观看焦点对准的图像，那么这一点则是有用的。为此，除了快门释放按钮4之外，还可以提供聚焦按钮。作为一种选择，快门释放按钮4可被设置成触发与拍照操作分开的自动聚焦操作。但是，至少为了能够使用，自动聚焦操作要么捕获并存储聚焦的图像，要么捕获和显示聚焦的图像，或者捕获、存储并显示聚焦的图像，因此为照相机操作提供两种模式是同样有用的；在模式1中，按下快门释放按钮4导致捕获多个完整图像、选择焦点以及仅显示最终的最佳聚焦的图像(可选地，随后更加永久地存储所显示的图像)；在模式2中，模式1的所有操作与将最佳聚焦图像自动转移到更加永久的存储装置是一起发生的。因此，模式1是“看并看见(look and see)”模式，而模式2与传统的傻瓜(point-and-shoot)模式非常类似。作为一种选择，可对快门释放按钮4进行如下设计按钮4行程的第一部分使自动聚焦机构工作，按钮4行程的第二部分使照片被拍摄。这样，所述第一部分导致焦点对准的图像被显示，但并不作为照片存储，而在所述第二部分，显示并存储焦点对准的图像。
如图12所示，上面描述的照相机5可适于采用执行机构15而不采用联动机构来驱动镜头组件6移动。在这种情况下，控制器14控制执行机构15响应于快门释放按钮4的操作，来移动镜头组件6(或者更具体地说移动可移动的透镜10)。因此，可以采用第一图像捕获算法和第二图像捕获算法，但是步骤S11、S21以及S22被修改为包括对执行机构15的控制，并且利用施加到执行机构15上的控制信号的适当值，来捕获和存储图像。所述执行机构可以是压电执行机构，例如WO-01/47041中公开的执行机构，该执行机构可用于WO-02/103451中公开的照相机。在这种情况下，可以像WO-2005/003834所公开的那样，利用并入执行机构15的悬挂系统来悬挂镜头组件6。作为一种选择，执行机构15可以是电动机，例如直流电动机。
上面描述的照相机5为静止图像照相机，但是可以容易地适于作为采用相同调焦方法的摄像机。
权利要求
1.一种数字照相机，包括用于捕获图像的图像传感器；镜头组件，其被设置用来使光线聚焦在所述图像传感器上并提供可变的焦点；存储器，用于存储所述图像传感器所捕获的图像；以及控制器，其被设置用来控制所述数字照相机的操作，并被设置用来执行包括如下步骤的图像捕获操作使所述图像传感器捕获图像序列，并将所捕获的图像序列存储于存储器中，其中，所述图像序列中的每一个图像均由整个图像区构成，并具有所述镜头组件所提供的不同的焦点；以及对所述存储器中存储的所述图像进行分析，以确定所述图像的聚焦质量，并且基于分析的结果，从所述图像序列中获得焦点对准的图像。
2.如权利要求1所述的数字照相机，其中所述镜头组件可移动以改变所述焦点。
3.如权利要求2所述的数字照相机，其中所述数字照相机进一步包括可由用户操作的按钮；以及机械联动装置，连接所述按钮与所述镜头组件，并适于根据所述按钮的操作来移动所述镜头组件，所述控制器被设置用来响应所述按钮的操作执行所述图像捕获操作，即，在所述镜头组件根据所述按钮的操作而被移动时，捕获所述图像序列。
4.如权利要求3所述的数字照相机，其中，所述机械联动装置被设置成通过按下所述按钮使所述镜头组件从其静止位置移动，所述机械联动装置进一步包括弹性元件，其被设置成在按下所述按钮之后，朝所述镜头组件的静止位置偏压所述镜头组件；以及阻尼器；其被设置成控制所述镜头组件朝其静止位置移回的速度，所述控制器被设置成执行所述图像捕获操作，即，在按下所述按钮之后，当所述镜头组件朝其静止位置移动回时，捕获所述图像序列。
5.如权利要求2或3所述的数字照相机，其中，所述数字照相机进一步包括被设置用来移动所述镜头组件的执行机构；所述图像捕获操作进一步包括控制所述执行机构移动所述镜头组件以改变所述焦点，当所述执行机构被移动时，执行所述捕获图像序列的操作。
6.如权利要求5所述的数字照相机，其中所述执行机构为压电执行机构或电动机。
7.如前述权利要求中的任意一项所述的数字照相机，其中所述获得焦点对准的图像的步骤包括从所述图像序列中选取一个被确定为具有最佳聚焦的图像。
8.如权利要求6所述的数字照相机，其中，基于分析区确定所述图像的所述聚焦质量，所述分析区是所述整个图像区的一部分。
9.如权利要求1至5中的任意一项所述的数字照相机，其中所述获得焦点对准的图像的步骤包括从所述图像序列合成图像。
10.如权利要求8所述的数字照相机，其中，所述图像的所述聚焦质量是在所述图像的多个部分中的各个中确定的；所述获得焦点对准的图像的步骤包括通过针对所述图像区的所述多个部分中的各个部分，从所述图像序列中的一个图像中选取被确定为具有最佳聚焦的图像区部分，以从所述图像序列合成图像。
11.如权利要求9所述的数字照相机，其中，基于分析区在所述图像的多个部分中的各个中确定所述图像的所述聚焦质量，其中所述分析区是所述图像区部分的部分区域。
12.如权利要求9所述的数字照相机，其中基于分析区在所述图像的多个部分中的各个中确定所述图像的所述聚焦质量，其中所述分析区是所述图像区的各个部分的整个区域。
13.如权利要求9所述的数字照相机，其中，基于分析区在所述图像的多个部分中的各个中确定所述图像的所述聚焦质量，其中所述分析区由所述图像区部分的整个区域和邻近区域构成。
14.如权利要求12所述的数字照相机，其中所述图像区的所述部分中的每一个均包含单个像素。
15.如前述权利要求中的任意一项所述的数字照相机，其中在将全部的图像序列存储于所述存储器之后，执行对所述存储器中存储的图像进行分析以确定所述图像的聚焦质量，以及基于所分析的结果，从所述图像序列中获得焦点对准的图像的所述步骤。
16.如权利要求1至13中的任意一项所述的数字照相机，其中对所述存储器中存储的图像进行分析以确定所述图像的聚焦质量，以及基于分析的结果，从所述图像序列中获得聚焦图像的所述步骤是当通过以下步骤捕获所述图像序列中的相继图像时执行的首先将所述图像序列的第一图像作为所述焦点对准的图像存储，以及对于所述图像序列中的每一个相继图像，通过将所述每一个相继图像与作为所述焦点对准的图像而存储的图像进行比较，从而对所述每一个相继图像进行分析以确定其聚焦质量，并基于分析的结果来更新作为所述焦点对准的图像而被存储的图像。
17.如前述权利要求中的任意一项所述的数字照相机，其中所述数字照相机具有显示器，所述焦点对准的图像显示于所述显示器。
18.如前述权利要求中的任意一项所述的数字照相机，其中所述焦点对准的图像存储于所述存储器中。
19.一种用于数字照相机的调焦方法，所述照相机包括用于捕获图像的图像传感器；镜头组件，其被设置用来使光线聚焦在所述图像传感器上并具有可变的焦点；以及存储器，用于存储所述图像传感器所捕获的图像；所述调焦方法包括捕获图像序列并将所捕获的图像序列存储在所述存储器中，所述图像序列中的每一个图像均由整个图像区构成；以及对所述存储器中存储的所述图像进行分析，以确定所述图像的聚焦质量，并且基于所分析的结果，从所述图像序列中获得焦点对准的图像。
20.一种用于数字照相机的调焦方法，其中，在镜头的一系列位置捕获一系列图像，采用自动聚焦算法来确定所述被捕获的一系列图像中，哪一个图像是最佳焦点对准的图像，以及选取所述最佳焦点对准的图像用于显示和/或保留。
21.一种用于数字照相机的调焦方法，其中，在镜头的一序列位置捕获一系列图像，根据所述一系列图像合成焦点对准的图像，以及显示和/保留所述合成图像。
22.一种数字照相机，包括可由用户操作的按钮，可移动以改变焦距的镜头组件，以及连接所述按钮与所述镜头组件的机械联动装置，其中当所述用户按下所述按钮时，所述机械联动装置适于移动所述镜头组件。
全文摘要
一种数字照相机，包括用于捕获图像的图像传感器，被设置用来使光线聚焦在所述图像传感器上并提供可变的焦点的镜头组件，以及用于存储所述图像传感器所捕获的图像的存储器。通过所述镜头组件提供的具有不同焦点的图像序列来实现聚焦，所述图像序列被所述图像传感器捕获并被存储于所述存储器中。利用为了确定图像的聚焦质量而对所述存储器中存储的图像进行的分析，以便从图像序列中获得焦点对准的图像。这样避免了采用镜头组件的自动聚焦控制的复杂性。镜头组件的移动可以由用户操作的按钮来驱动，这样避免了使用用于镜头组件的执行机构。
文档编号H04N5/225GK1934854SQ200580009088
公开日2007年3月21日 申请日期2005年3月23日 优先权日2004年3月25日
发明者厄休拉·鲁思·勒内尔, 安东尼·胡利 申请人:1...有限公司