专利名称：用于图像拾取的装置和方法
技术领域：
本发明涉及用于图像拾取的装置和方法。更具体而言，本发明涉及用于减小图像中的噪声和抖动(shaking)影响的装置和方法。
背景技术：
存在若干种用于减小抖动对拍摄图像的影响的传统技术。例如，一种方法相对于拍摄表面沿与摄影师的手抖动相反的方向偏移透镜位置，以减小在拍摄时抖动的影响。在另一种方法中，利用高速快门对多幅图像拍摄，并且基于被拍摄对象的特征点组合被拍摄图像以电子地减小抖动影响，如在日本待审查公开专利No.2005-295302中公开的。该方法对于在低光强情况下使用低速快门拍摄图像尤其有效。另外，日本待审查公开专利No.2003-116064公开了一种在低光强环境下通过从在曝光状态下拍摄的图像中减去在暗状态下拍摄的图像来消除固定模式噪声的方法。
根据传统的降噪方法，利用高快门速度拍摄的、使用时分(timedivision)曝光取得的多幅图像(下文中也称为时分图像)被组合，并从组合图像中减去利用低快门速度在暗状态下拍摄的图像以减少固定模式噪声。然而，如果结合电子抖动减小技术和减暗帧的技术，则包括固定模式噪声的时分图像被组合。在这种情况下，每幅图像的固定模式噪声分布在图像区域中，从而，当从组合图像中减去暗帧时并没有精确消除固定模式噪声。
发明内容
本发明的实施例提供了一种能够减小图像中的噪声的图像拾取装置和方法。具体而言，根据本发明，可以在执行用于减小抖动对正在拍摄的图像的影响的过程的同时减小图像中的噪声。
根据本发明的一方面，图像拾取装置通过组合利用时分曝光以预定时间间隔拍摄的多幅图像，来电子地减小由于手的晃动或其他晃动引起的抖动影响。该装置包括用于在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像的曝光拍摄单元和用于在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧的暗帧拍摄单元。该装置还采用从曝光图像中减去暗帧以减小图像中的噪声的减法处理器以及用于组合以预定时间间隔拍摄的多幅图像的图像组合器。
曝光拍摄单元可以在曝光状态下利用时分曝光以预定的时间间隔拍摄至少一幅曝光图像。同样，暗帧拍摄单元可以在暗状态下利用时分曝光以预定的时间间隔拍摄至少一个暗帧。减法处理器可以从曝光图像中减去暗帧以减小图像中的噪声。可以从曝光图像中减去固定模式噪声，因此可以有效地减小组合图像中的噪声。
暗帧拍摄单元可以拍摄一个暗帧，并且减法处理器可以从利用时分曝光以预定时间间隔拍摄的每一幅曝光图像中减去这一个暗帧，以减小图像中的噪声。可以利用一个暗帧进行降噪过程。从而，可以减小该过程所需的存储器量，并且可以以高速执行该过程。
曝光拍摄单元和暗帧拍摄单元可以交替地拍摄曝光图像和暗帧，并且减法处理器可以从相应曝光图像中减去在每个曝光图像被拍摄之后立即被拍摄的暗帧，以减小图像中的噪声。高快门速度图像和暗帧之间的时间差较小，从而可以精确地由暗帧代表在拍摄高快门速度图像时的噪声，从而能够高精度地实现降噪。
该装置还可以包括暗帧插值单元，其用于基于至少两个暗帧进行插值，并生成与在拍摄暗帧之间的至少一个时间点相对应的暗帧，以使减法处理器从曝光图像中减去通过插值获得的暗帧，以减小图像中的噪声。可以在减小处理时间和存储器容量的同时执行高度精确的降噪。
本发明的另一方面提供了一种用于通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响的图像拾取装置。该装置包括用于在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像的曝光拍摄单元和用于在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧的暗帧拍摄单元。该装置还包括用于检测曝光图像的每个特征点的特征点检测器、用于记录特征点的位置的特征记录单元以及图像组合器，图像组合器用于在偏移曝光图像后组合曝光图像以便形成具有重合特征点的组合曝光图像，并在根据曝光图像的偏移移动对与曝光图像相对应的暗帧进行偏移后组合这些暗帧以形成组合暗帧。该装置还包括用于从组合曝光图像中减去组合暗帧以减小图像中的噪声的减法处理器。
曝光拍摄单元可以在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像。暗帧拍摄单元可以在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧。特征点检测器可以检测曝光图像的每个特征点，并且特征记录单元可以记录特征点的位置。图像组合器可以在偏移曝光图像后组合曝光图像以便形成具有重合特征点的组合曝光图像，并在根据曝光图像的偏移移动对与曝光图像相对应的暗帧进行偏移后组合这些暗帧以形成组合暗帧。减法处理器可以从组合曝光图像中减去组合暗帧以减小图像中的噪声。可以利用一个过程实现组合图像的降噪。
本发明的另一方面提供了一种通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响的图像拾取方法。该方法包括以下操作在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像，在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧，组合这多幅图像，以及从利用时分曝光以预定时间间隔拍摄的曝光图像中减去暗帧以减小噪声。
在拍摄曝光图像时，可以在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像。在拍摄暗帧时，可以在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧。在减法操作中，可以从利用时分曝光以预定时间间隔拍摄的曝光图像中减去暗帧以减小噪声。可以从曝光图像中减小固定模式噪声，并且可以有效地减小组合图像的噪声。
在拍摄至少一个暗帧时，可以利用时分曝光拍摄一个暗帧，并且在图像的减法中，可以从利用时分曝光以预定时间间隔拍摄的每幅曝光图像中减去暗帧以减小图像中的噪声。可以利用一个暗帧进行降噪。从而，可以减小所需的存储器容量，并且可以高速执行该过程。
在拍摄曝光图像和拍摄暗帧时，可以交替地拍摄曝光图像和暗帧。对于每个曝光图像而言，当减去图像时，可以从相应的曝光图像中分别减去在曝光图像被拍摄之后立即被拍摄的暗帧。高快门速度图像和暗帧之间的时间差较小，从而，可以精确地由暗帧代表在拍摄高快门速度图像时的噪声，从而导致能够高精度地降噪。
该方法还可以包括以下操作基于至少两个暗帧进行插值，并生成与在对这两个暗帧拍摄之间的至少一个时间点相对应的暗帧，以使得对于每个曝光图像而言，通过从曝光图像中减去通过插值获得的相应暗帧来执行图像的减法，以减小图像中的噪声。从而，可以在减小处理时间和存储器容量的同时执行高度精确的降噪。
本发明的又一方面提供了一种通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响的图像拾取方法。该方法包括在曝光状态下利用时分曝光以预定时间间隔拍摄一幅或多幅曝光图像，在暗状态下利用时分曝光以预定时间间隔拍摄一个或多个暗帧，检测曝光图像的每个特征点，以及记录曝光图像的特征点的位置。该方法还包括以下操作通过偏移曝光图像以使图像的特征点可以重合，借此来组合曝光图像以形成组合曝光图像，通过根据曝光图像的偏移移动对与曝光图像相对应的暗帧进行偏移来组合这些暗帧以形成组合暗帧，并从组合曝光图像中减去组合暗帧以减小图像中的噪声。
在拍摄曝光图像时，可以在曝光状态下利用时分曝光以预定时间间隔拍摄一个或多个曝光图像。在拍摄暗帧时，可以在暗状态下利用时分曝光以预定时间间隔拍摄一个或多个暗帧。在检测特征点时，可以检测曝光图像的每个特征点。在组合图像时，可以在偏移曝光图像以使图像的特征点可以重合之后组合曝光图像，以形成组合曝光图像，并且可以通过根据曝光图像的偏移移动对与曝光图像相对应的暗帧进行偏移来组合这些暗帧以形成组合暗帧。在执行减法操作时，可以从组合曝光图像中减去组合暗帧以减小图像中的噪声。可以通过执行一次减法过程实现组合图像的降噪。
拍摄装置还可以包括例如曝光控制器，其用于基于物体的亮度确定可以获得合适曝光的适当快门速度。拍摄装置还可以包括时分拍摄数设置单元和曝光拍摄单元，时分拍摄数设置单元通过将适当快门速度除以高快门速度(在设置高快门速度的情况下)来计算要拍摄的曝光次数，曝光拍摄单元用于在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像。另外，拍摄装置可以包括用于记录每一曝光图像的亮度值的亮度记录单元、用于在暗状态下利用时分曝光以预定时间间隔拍摄至少一个暗帧的暗帧拍摄单元以及用于从曝光图像中减去暗帧以减小图像中的噪声的减法处理器。拍摄装置还可以包括用于通过计算相邻像素之间的差来检测特征的特征点检测器以及用于基于特征点组合减后图像的图像组合器。
该装置还可以包括暗帧拍摄控制器，其用于控制暗帧在拍摄预定数目的曝光图像之后被拍摄。另外，减法处理器可以从每幅曝光图像中减去一个暗帧。
或者，暗帧拍摄控制器可以控制暗帧在拍摄初始时分图像之后立即被拍摄。然后，每当暗帧被拍摄时，减法处理器都可以从每幅曝光图像中减去一个暗帧。
另外，暗帧拍摄控制器可以操作为使得在拍摄初始曝光图像后拍摄第一暗帧，并且在拍摄最终的曝光图像后拍摄第二暗帧。在这种情况下，暗帧插值单元通过插值第一和第二暗帧的亮度数据，生成与初始曝光图像和最终曝光图像之间的曝光图像的拍摄定时相对应的暗帧。减法处理器可以从曝光图像中减去与曝光图像的拍摄定时相对应的暗帧。与拍摄定时之间的插值相似，可以拍摄第一和第二时间点之间的任意时间点上的暗帧，并且可以基于在使用插值的时间点拍摄的暗帧计算与第一和第二时间点之间的任意时间点相对应的暗图像。另外，任意时间点并不限于一个时间点，而可以是多个时间点。
本发明的以上和其他的特征和优点将通过结合附图详细地描述本发明的示例性实施例而变得更加清楚，在附图中图1是根据本发明一个实施例的图像拾取装置的框图；图2是图示图1的图像拾取装置中的中央处理单元(CPU)的功能例子的框图；图3是图示图1的图像拾取装置中的图像信号处理器的功能例子的框图；图4是高快门速度图像和低快门速度图像的样本图；图5图示了组合高快门速度图像的过程的例子；图6图示了减去暗帧的过程的例子；图7图示了从组合图像中减去暗帧的过程的例子；图8图示了根据本发明一个实施例的拾取图像的过程的例子；图9是图示根据本发明实施例的图像拾取过程的例子的流程图；图10是图示根据本发明另一个实施例的图像拾取过程的例子的流程图；图11是图示根据本发明另一个实施例的图像拾取过程的例子的流程图；图12是图示根据本发明另一个实施例的图像拾取过程的例子的流程图；以及图13图示了根据本发明另一个实施例的图像拾取过程的例子。
具体实施例方式
下面将更完整地参考附图描述本发明的实施例，附图中示例性的相近标号表示相近的元件。
图1图示了根据本发明实施例的图像拾取装置的例子。
图1中所示的图像拾取装置100包括光学系统102、驱动器104、106和108、定时控制器110、电荷耦合器件(CCD)112、相关双采样(CDS)/放大器(AMP)114、模拟/数字(A/D)转换器116以及图像输入控制器118。该装置还包括中央处理单元(CPU)120、控制单元122、图像信号处理器124、视频随机访问存储器(VRAM)126、压缩处理器128、存储器130、显示单元132、液晶显示(LCD)驱动器134、记录介质控制器136和记录介质138。
光学系统102通过透镜将代表物体图像的光聚焦到CCD 112上。驱动器104驱动光学系统102的缩放(zoom)设备。驱动器106驱动光学系统102的光圈设备，驱动器108驱动光学系统102的聚焦设备。定时控制器110控制形成CCD 112的每个像素的曝光时段或电荷读取。CCD 112由可以执行光电转换的器件形成，并且根据器件接收到的光生成电信号。CDS/AMP 114去除包括在从CCD 112获得的电信号中的低频噪声，并同时将电信号放大到预定电平。A/D转换器116将模拟电信号转换为数字信号。图像输入控制器118接收来自CPU120的操作命令，并控制与图像输入有关的CCD 112、CDS/AMP 114和A/D转换器116的操作。控制单元122例如包括电源开关、模式转换单元和快门按钮，并且可以由用户用来设置快门速度、国际标准化组织(ISO)灵敏度或任何其他适当的特征。另外，图像信号处理器124计算通过控制自动曝光(AE)设置的曝光量的估计值，并计算通过控制自动聚焦(AF)设置的焦距的估计值。
在该例中，VRAM 126是显示图像的存储器，并且包括具有多个通道以便同时向显示单元132写入显示图像并从显示单元132读取这些图像的存储器。压缩处理器128以联合图像专家组(JPEG)压缩格式或Lempel-Ziv-Welch(LZW)压缩格式压缩输入图像数据。存储器130可以是诸如同步DRAM(SDRAM)之类的半导体记录器件，并且存储器130可以包括利用高速快门拾取的时分拍摄图像。另外，由图像信号处理器124组合成的组合图像可以记录在存储器130上，或者CPU 120的操作程序可以存储在存储器130中。另外，存储器可以用作特征点检测器，其记录从拍摄的曝光图像或暗帧中检测到的特征。曝光图像是在曝光状态下拍摄的图像，而暗帧是在不将CCD 112暴露于任何外部光的情况下(例如通过保持CCD照相机的快门关闭)拍摄的图像。
在该例中，显示单元132包括诸如LCD之类的显示单元，并且从VRAM 126读取的图像被显示在显示单元132上。LCD驱动器134驱动显示单元132并控制显示单元132的输出。
记录介质控制器136控制将图像数据记录到记录介质138上或从记录介质138读取图像数据的操作，并控制记录在记录介质138上的设置信息。记录介质138可以是光学记录介质、光磁盘、磁盘、半导体记录介质或任何其他合适的介质，并且可以记录拍摄的图像数据。另外，记录介质138可以附接到图像拾取装置100或者与图像拾取装置100分离。
参考图2，在该例中，CPU 120包括曝光控制器602、时分拍摄数设置单元604、曝光拍摄单元606、暗帧拍摄单元608、暗帧拍摄控制器610和暗帧插值单元612。即，由以上单元完成的功能可以由CPU120执行，或者每个单元可以形成为独立的硬件。曝光控制器602基于物体亮度确定可获得合适曝光的适当快门速度。即，可以进行自动曝光控制。时分拍摄数设置单元604计算要拍摄的曝光次数，并确保在设置高快门速度的情况下，通过组合在将所述适当快门速度除以高快门速度计算得到的快门速度下拍摄的时分图像，产生曝光图像所需的适当光量。
曝光拍摄单元606在曝光状态下利用高快门速度拍摄时分图像。拍摄操作由CPU 120控制，然而，拍摄自身可以由光学系统102、CCD112和图像输入控制器118控制。暗帧拍摄单元608在暗状态下利用高快门速度拍摄至少一个暗帧。如下文中描述的，暗帧可以在所有时分图像都已被拍摄之后被拍摄，或者可以在拍摄任一时分图像的时候被拍摄。另外，暗帧可以在最初的时分图像被拍摄后立即被拍摄。暗帧拍摄控制器610控制暗帧的拍摄操作。
暗帧插值单元612由多个暗帧生成插值图像。更详细地说，通过线性插值或非线性插值，根据与在两个或更多个时间点拍摄的多个暗帧的像素相对应的亮度值的时间序列数据，计算与拍摄时刻之间的任意时间点相对应的亮度值。当通过插值计算出与所述像素相对应的亮度值时，可以形成具有与每个所述像素相对应的亮度值的暗帧。
参考图3，图像信号处理器124包括减法处理器702、特征点检测器704和图像组合器706。减法处理器702从一个时分图像中减去一个暗帧以生成减后图像。即，从一个时分图像中的像素的亮度值中减去暗帧中的相应像素的亮度值，从而，可以计算出减后图像中的像素的亮度值。特征点检测器704检测时分图像或减后图像中的像素的特征。即，计算相邻像素之间的差，并检测差较大的点。具体而言，可以检测物体图像的边缘，并且可以将这些边缘作为特征来检测。图像组合器706组合通过以上过程生成的减后图像以生成组合图像。
下文中将描述使用图像拾取装置的图像拾取方法。
首先将描述一般的电子抖动减小方法的例子。在该例中，假定当快门速度为1/8秒并且光圈值(F)为2.8时获得了适当的场景曝光。一般而言，当焦距较长时，由于手的晃动或其他原因引起的抖动对图像具有较大的影响。然而，即使当焦距短时，在1/8秒的快门速度下抖动也对图像有影响。另一方面，当焦距为28mm时，抖动一般将不会影响以约1/64秒的快门速度拍摄的图像。因此，具有电子抖动减小功能的图像拾取装置以1/64秒的快门速度拍摄8幅图像(而不是以1/8秒的快门速度拍摄一幅图像)，然后组合图像以减小抖动的影响。
一般而言，抖动可影响拍摄图像的快门速度是与比被转换为35mm胶片照相机的焦距的焦距(mm)的倒数长的时间相对应的快门速度。例如，当焦距为200mm时，利用比1/200秒长的快门速度拍摄的图像可能受到抖动的影响。另外，当摄影师进行放大时，经常发生抖动，因而需要高快门速度。
图4示出了以1/64秒的快门速度和1/8秒的快门速度拍摄的图像样本。以1/64秒的高快门速度拍摄的图像A一般缺少曝光，并且是暗的。然而，以高快门速度拍摄的8幅图像被组合以生成具有图像B的亮度的图像。如图5所示，在步骤(1)中，在每幅图像中噪声都减少，在步骤(2)中检测图像的特征，并且在步骤(3)中基于这些特征进行图像组合。因此，可以减小抖动的影响。
电子抖动减小功能(其中以高于适当快门速度的快门速度拍摄多幅时分图像，然后组合这些时分图像)对于低亮度场景是有效的。高快门速度可能受到各种条件的限制，例如拍摄设备的灵敏度或大小以及相应的焦距。然而，可以减小抖动影响的快门速度可以预先设置。适当的快门速度是由自动曝光控制设置的。因此，利用高快门速度拍摄的时分图像的数目可以通过将适当的快门速度除以预定的高快门速度来计算。高快门速度或要拍摄的时分图像的数目可以由用户设置。另外，高快门速度或要拍摄的时分图像的数目可以根据物体的亮度和所用的光学系统的种类来设置。
通过分析图像中像素的亮度数据并检测边缘部分可以检测出特征，其中亮度值与相邻像素有很大不同。即，在相对于像素位置的坐标绘出亮度值并且绘出的点彼此相连的亮度图中，计算点的差分值，然后可以确定具有最大差分值的点作为特征。根据差分值，可以检测到大量的特征，并且可以组合高快门速度图像以使特征的位置重合。此时，可以旋转以及偏移高快门速度图像的位置。
随后，下面将描述可以通过减去暗帧来减小固定模式噪声的噪声减小方法。图6图示了固定模式噪声减小方法的例子。标号202表示曝光图像，标号204表示暗帧。标号206表示通过从曝光图像202中减去暗帧获得的减后图像。
一般而言，为了拍摄低亮度场景，进行长时间曝光以确保足够的曝光量。在这种情况下，在诸如CCD或CMOS之类的拍摄设备中生成固定模式噪声(也称为暗噪声)。具体而言，当进行长时间曝光时，对于较高的温度，固定模式噪声更加显著。例如，如曝光图像202中所示，噪声被完全混合，同时，类似于过度曝光图像的亮度条纹可能被部分混合，但是噪声的形状并不限于条纹状。因而，拍摄暗帧204，然后从曝光图像202中减去暗帧204。这样就消除了噪声，如减后图像206中所示。
然而，当组合通过减去暗帧来减小固定模式噪声的噪声减小功能和通过组合时分图像来减小抖动影响的电子抖动减小功能时，一般并不获得精确的噪声减小效果。例如，如图7所示，假定在执行了通过组合包括固定模式噪声的时分图像的电子抖动减小方法之后减去暗帧。标号302表示利用高快门速度拍摄的时分图像的组合过程。在曝光状态下拍摄的每幅时分图像都包括固定模式噪声。然而，根据电子抖动减小方法，由于从物体图像中检测出特征并基于特征组合图像，因此固定模式噪声被分散并组合。于是，固定模式噪声的位置是分散的，并且噪声在组合图像304中彼此重叠，从而扩展了噪声的位置。当从组合图像304中减去暗帧306时，扩展后的噪声的一部分不能消除，而是由包括在暗帧中的噪声在新的图像308中形成了新的噪声。
如上所述，通过简单地组合电子抖动减小方法和固定模式噪声减小方法，不能获得有效的噪声减小效果。因此，根据本发明实施例的图像拾取装置，通过从时分图像中减去暗帧然后组合时分图像来实现降噪。
实施例1参考图8，将描述根据本发明一个实施例的图像拾取方法。图8图示了从各自利用高快门速度拍摄的每个时分图像中分别减去暗帧的过程例子。
标号402、404和406是以高快门速度拍摄的时分图像。标号408是在暗状态下拍摄的暗帧。暗帧408是以与在曝光状态下拍摄的图像402、404和406相同的快门速度拍摄的。根据本发明的实施例，从每幅图像402、404和406中减去暗帧408以形成减后图像，并且组合减后图像以生成组合图像410。
下面将参考图9描述噪声减小过程，图9是图示根据本发明一个实施例的拍摄过程的例子的流程图。假定可以获得合适曝光的适当快门速度是由AE控制预先设置的。另外，假定高快门速度是预先设置的。而且，在曝光状态下以高快门速度拍摄的图像数(n)是根据适当快门速度和预定高快门速度之间的比率计算的，从而可以通过组合利用高快门速度拍摄的图像获得合适的曝光量。下文中，高快门速度图像是指在曝光状态下以高快门速度拍摄的图像。另外，假定暗帧是以与高快门速度图像相同的快门速度拍摄的，并且被称为暗帧。拍摄暗帧的时刻并不限于拍摄过程的开始或结尾，而是可以在拍摄曝光图像期间的某一时刻来拍摄。
在曝光状态下以高快门速度执行拍摄操作，并且将n幅高快门速度图像存储在存储器中，如步骤S102、S104和S106中所示。随后，在将高快门速度图像存储在存储器中之后，拍摄一个暗帧并在步骤108中将其存储在存储器中。在存储了暗帧之后，从每个高快门速度图像中减去暗帧以生成减后图像，如步骤S110、S112和S114中所示。从高快门速度图像中减去相同的暗帧。基于物体的亮度值从减后图像中检测出特征，并且在步骤S116中基于特征组合减后图像。
实施例2下面将参考图10描述根据本发明另一个实施例的图像拾取方法。图10是图示根据本实施例的示例性图像拾取过程的流程图。将省略对与以上实施例类似的部分的描述。
根据该第二实施例，在曝光状态下拍摄n幅高快门速度图像，并拍摄暗帧，然后形成减后图像。根据本实施例，每当在步骤S204中拍摄一幅高快门速度图像并将其存储在存储器中时，在步骤S206中都拍摄暗帧并将其存储在存储器中。而且，每当存储暗帧时，都在步骤S208中从高快门速度图像中减去暗帧以生成减后图像。在生成了减后图像之后，可以从存储器中清除高快门速度图像和暗帧。在步骤S202-S210中重复该过程图像数目n次。此后，从减后图像中检测出特征，并在步骤S212中基于特征组合减后图像。
将本实施例的图像拾取方法与前一实施例相比，本实施例的图像拾取方法可能使用额外的处理时间和更大的存储器容量。然而，高快门速度图像和暗帧之间的时间差较小，从而，在拍摄高快门速度图像时的噪声可以由暗帧精确地表示，并且可以预期产生高精度的降噪效果。
实施例3下面将参考图11描述根据本发明另一个实施例的图像拾取方法，图11是图示根据本实施例的图像拾取过程的例子的流程图。将省略对与以上实施例类似的部分的描述。
如上所述，根据第一实施例，拍摄一个暗帧，从而可以高速执行降噪过程并且只需要很小的存储器容量。另外，根据第二实施例，高快门速度图像和暗帧之间的时间差较小，并且可以精确地执行降噪。因此，根据第三实施例，在拍摄第一幅高快门速度图像之后拍摄第一暗帧，在拍摄最后一幅(第n幅)高快门速度图像之后拍摄第二暗帧，然后基于第一和第二暗帧进行插值计算以生成中间暗帧。下文中，第q幅图像将被称为图像(q)。
首先，拍摄高快门速度图像(1)，并在步骤S302中将其存储在存储器中。另外，拍摄暗帧(1)，并在步骤S304中将其存储在存储器中。此后，在步骤S306中从高快门速度图像(1)中减去暗帧(1)以生成减后图像(1)。
随后，在步骤S308、S310和S312中拍摄高快门速度图像(q)(q＝2～n-1)，并将其存储在存储器中。然后，拍摄高快门速度图像(n)，并在步骤S314中将其存储在存储器中。另外，拍摄暗帧(n)，并在步骤S316中将其存储在存储器中，然后，在步骤S318中从高快门速度图像(n)中减去暗帧(n)以生成减后图像(n)。
然后，在步骤S320中基于暗帧(1)和(n)生成与每个高快门速度图像(q)(q＝2～n-1)相对应的暗帧(q)。更详细地说，通过插值计算出在拍摄高快门速度图像(q)并将其存储在存储器中时的暗帧(q)。一般而言，图像中的固定噪声的位置是很少改变的。然而，在长时间拍摄的情况下，固定噪声的亮度对于较晚图像的拍摄来说是改变的。因此，暗帧(n)中的像素的亮度值与暗帧(1)中的像素的亮度值相对应地被绘为时间序列数据，并且两点通过直线彼此相连以获得与特定时间点相对应的暗帧的亮度值。即，可以执行暗帧(1)和暗帧(n)之间的线性插值。如果高快门速度图像是以恒定时间间隔拍摄的，则将两点之间的部分除以被拍摄的图像数以计算暗帧(q)的亮度值。如果代表根据拍摄时间的亮度值改变的特性曲线是已知的，则两点之间的部分可以利用特性曲线进行插值，从而可以形成减后图像。另外，插值可以利用预定的非线性函数进行。例如，m阶(m≥2)函数可以用于插值。在使用预定特性曲线或直线的情况下，对拍摄暗帧的定时和次数没有限制，并且像素的亮度值可以根据拍摄期间接收的暗帧的电平被偏移和放大。当以预定间隔来拍摄与所需的帧数目相对应的多个暗帧时，与未被拍摄的帧相对应的暗帧可以被距离该帧最近的暗帧替换。
当通过插值生成了暗帧(q)(q＝2～n-1)时，在步骤S322、S324和S326中从高快门速度图像(q)中减去暗帧(q)以生成减后图像(q)。此后，从减后图像(1)到减后图像(n)中检测出特征，并在步骤S328中基于特征组合这些减后图像。如上所述，减后图像是利用插值后的暗帧形成的，因而可以高速进行降噪，而不会降低精度。
实施例4下面将参考图12描述根据本发明另一个实施例的图像拾取方法。图12是图示根据该实施例的图像拾取过程的例子的流程图。将省略对与以上实施例类似的部分的描述。
根据前述实施例，通过插值形成暗帧(1)和暗帧(n)之间的暗帧(q)，然后从高快门速度图像中减去暗帧(q)以减小噪声。然而，根据该方法，如果噪声特性的时间相关变化具有强烈的非线性，则可能无法精确计算预期的降噪效果。根据使用图像拾取装置的环境，噪声的时间依赖性可能是变化的。因此，根据该第四实施例，多个暗帧可以用作计算与噪声特性曲线的非线性相对应的插值的参考。
在步骤S402中拍摄高快门速度图像(1)并将其存储在存储器中。另外，在步骤S404中拍摄暗帧(1)并将其存储在存储器中。此后，在步骤S406中从高快门速度图像(1)中减去暗帧(1)以生成减后图像(1)。
随后，在步骤S408、S410和S412中拍摄高快门速度图像(q)(q＝2～k-1，3≤k≤n-2，n≥5)，并将其存储在存储器中。此后，拍摄高快门速度图像(k)，并在步骤S414中将其存储在存储器中。另外，拍摄暗帧(k)，并在步骤S416中将其存储在存储器中。
随后，在步骤S418、S420和S422中拍摄高快门速度图像(q)(q＝k+1～n-1)，并将其存储在存储器中。
然后，在步骤S424中基于暗帧(1)和(k)之间的插值生成暗帧(2)到暗帧(k-1)。另外，在步骤S426中基于暗帧(k)和(n)之间的插值生成暗帧(k+1)到暗帧(n-1)。插值过程可以与前述实施例的相同。
当通过插值形成了暗帧(q)(q＝2～k-1，k+1～n-1)时，在步骤S428、S430和S432中从相应的高快门速度图像(q)中减去暗帧(q)以生成减后图像(q)。然后，从减后图像(1)到(n)中检测出特征，并在步骤S434中基于特征组合这些减后图像。如上所述，三个或更多个插值后的暗帧被用于生成减后图像，即使当噪声非线性增大时也可以精确地执行降噪。以上描述了基于以三个时间点拍摄的暗帧的插值，然而，拍摄点并不限于三个点。如果在噪声增大特性中出现了更强的非线性，则更多的暗帧可以用于执行插值。另外，k可以被确定为1和n之间的中间数，然而，根据噪声特性可以被确定为较早的或较晚的数。
实施例5下面将参考图13描述根据本发明另一个实施例的图像拾取方法，图13图示了根据该实施例的图像拾取过程的例子。将省略对与以上实施例类似的部分的描述。
在根据以上实施例的图像拾取方法中，从高快门速度图像中减去暗帧以分别生成减后图像，然后组合减后图像。根据第五实施例，组合高快门速度图像502、504和506(这些图像的位置基于特征进行调节)，然后组合暗帧508、510和512(这些暗帧的位置被调节)。此后，基于组合图像生成减后图像以减小噪声。因此，该实施例的图像拾取方法可以应用于通过前述实施例的图像拾取方法获得的暗帧。在这种情况下，保存图像的调节信息，例如用于调节高快门速度图像的位置的像素移动量或旋转角等信息。基于所保存的调节信息，调节并组合暗帧。同时，形成高快门速度图像的组合图像514，并从以上组合图像中减去暗帧的组合图像516以生成噪声降低的减后图像518。因此，可以一次执行所有的降噪。
尽管已经参考示例性的实施例具体示出并描述了本发明，但是本领域技术人员应当理解，可以进行各种形式和细节上的变化，而不脱离由权利要求限定的本发明的精神和范围。
权利要求
1.一种图像拾取装置，通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响，所述装置包括曝光拍摄单元，其用于在曝光状态下利用时分曝光以预定的时间间隔拍摄至少一幅曝光图像；暗帧拍摄单元，其用于在暗状态下利用时分曝光以至少一个预定的时间间隔拍摄至少一个暗帧；减法处理器，其用于从所述曝光图像中减去所述至少一个暗帧，以减小所述曝光图像中的噪声并产生降噪的曝光图像；以及图像组合器，其用于组合所述降噪的曝光图像。
2.如权利要求1所述的装置，其中，所述暗帧拍摄单元拍摄一个暗帧，并且所述减法处理器从利用时分曝光以预定时间间隔拍摄的每一幅所述曝光图像中减去所述一个暗帧，以减小所述曝光图像中的噪声。
3.如权利要求1所述的装置，其中，所述曝光拍摄单元和所述暗帧拍摄单元交替地拍摄所述曝光图像和所述暗帧，并且所述减法处理器从相应的曝光图像中减去在所述相应的曝光图像被拍摄之后立即被拍摄的相应的暗帧，以减小所述相应的曝光图像中的噪声。
4.如权利要求1所述的装置，还包括暗帧插值单元，其用于基于至少两个暗帧进行插值，并生成与在拍摄所述暗帧的时刻之间的至少一个时间点相对应的暗帧，其中所述减法处理器从所述曝光图像中减去通过所述插值获得的暗帧，以减小所述曝光图像中的噪声。
5.如权利要求4所述的装置，其中所述插值是线性插值。
6.如权利要求4所述的装置，其中所述插值是非线性插值。
7.如权利要求4所述的装置，其中所述暗帧插值单元基于所述至少两个暗帧的像素的亮度值进行插值。
8.一种图像拾取装置，通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响，所述装置包括曝光拍摄单元，其用于在曝光状态下利用时分曝光以预定的时间间隔拍摄至少一幅曝光图像；暗帧拍摄单元，其用于在暗状态下利用时分曝光以至少一个预定的时间间隔拍摄至少一个暗帧；特征点检测器，其用于检测所述曝光图像的每个特征点；特征记录单元，其用于记录所述特征点的位置；图像组合器，其用于在偏移所述曝光图像后组合所述曝光图像以便形成具有重合特征点的组合曝光图像，并在根据所述曝光图像的偏移移动对与所述曝光图像相对应的暗帧进行偏移后组合这些暗帧，以形成组合暗帧；以及减法处理器，其用于从所述组合曝光图像中减去所述组合暗帧，以减小所述组合曝光图像中的噪声。
9.如权利要求8所述的装置，其中所述特征点检测器基于所述曝光图像中的相邻像素之间的亮度差检测所述特征点。
10.如权利要求8所述的装置，其中；所述特征点检测器检测所述曝光图像的边缘作为这些图像的特征点。
11.一种通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响的图像拾取方法，所述方法包括在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像；在暗状态下利用时分曝光以至少一个预定时间间隔拍摄至少一个暗帧；从所述曝光图像中减去所述至少一个暗帧，以减小所述曝光图像中的噪声并产生降噪的曝光图像；以及组合所述降噪的曝光图像。
12.如权利要求11所述的方法，其中在所述至少一个暗帧的拍摄步骤中，利用时分曝光拍摄一个暗帧，并且在图像的减法步骤中，从利用时分曝光以预定时间间隔拍摄的每一幅所述曝光图像中减去所述暗帧，以减小所述曝光图像中的噪声。
13.如权利要求11所述的方法，其中，在所述曝光图像的拍摄步骤和所述暗帧的拍摄步骤中，交替地拍摄所述曝光图像和所述暗帧，并且在图像的减法步骤中，从相应的曝光图像中分别减去在所述相应的曝光图像被拍摄之后立即被拍摄的相应的暗帧。
14.如权利要求11所述的方法，还包括基于至少两个暗帧进行插值，并生成与在拍摄所述两个暗帧的时刻之间的至少一个时间点相对应的暗帧，其中对于每个曝光图像而言，通过从曝光图像中减去通过所述插值获得的相应暗帧来执行图像的减法步骤，以减小所述曝光图像中的噪声。
15.如权利要求14所述的方法，其中所述插值是线性插值。
16.如权利要求14所述的方法，其中所述插值是非线性插值。
17.如权利要求14所述的方法，其中所述插值是基于所述至少两个暗帧的像素的亮度值进行的。
18.一种通过组合利用时分曝光以预定时间间隔拍摄的多幅图像来电子地减小抖动影响的图像拾取方法，所述方法包括在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像；在暗状态下利用时分曝光以至少一个预定的时间间隔拍摄至少一个暗帧；检测所述曝光图像的每个特征点；记录所述曝光图像的特征点的位置；通过偏移曝光图像以使所述图像的特征点可以重合，借此组合所述曝光图像以形成组合曝光图像，并通过根据所述曝光图像的偏移移动对与所述曝光图像相对应的暗帧进行偏移来组合这些暗帧以形成组合暗帧；以及从所述组合曝光图像中减去所述组合暗帧，以减小所述组合曝光图像中的噪声。
19.如权利要求18所述的方法，其中所述特征检测步骤基于所述曝光图像中的相邻像素之间的亮度差检测特征点。
20.如权利要求18所述的方法，其中所述特征检测步骤检测所述曝光图像的边缘作为这些图像的特征点。
全文摘要
公开了一种用于图像拾取的装置和方法，其能够减小图像中的噪声，以减小例如由于手的晃动而引起的抖动影响。该图像拾取装置和方法可以采用在曝光状态下利用时分曝光以预定时间间隔拍摄至少一幅曝光图像的曝光拍摄单元、在暗状态下利用时分曝光以至少一个预定时间间隔拍摄至少一个暗帧的暗帧拍摄单元、用于从曝光图像中减去暗帧以减小曝光图像中的噪声的减法处理器以及用于组合多幅降噪的曝光图像的图像组合器。
文档编号H04N5/235GK101052101SQ20071009162
公开日2007年10月10日 申请日期2007年4月3日 优先权日2006年4月3日
发明者田中俊幸, 滨村俊宏 申请人:三星Techwin株式会社