专利名称：基于运动估计的图像增强的制作方法
技术领域：
本发明的一个方面涉及处理已经被接连捕获的一组图像的方法。该方法可以被应用于例如数字摄影以便在主观上改善已经使用闪光捕获的图像。本发明的其它方面涉及图像处理器、图像捕获设备、以及用于图像处理器的计算机程序产品。
背景技术：
由Elmar Eisemann等人、在siggraph 2004，Los angeles，USA，August 8-12，2004，Volume 23，Issue 3，page673-678(2004年8月8-12日在美国洛杉矶的Siggraph 2004的第23卷第3期的673-678页)上发表的题目为“Flash Photography Enhancement viaIntrinsic Relighting(通过内在重新照明的闪光摄影增强)”的文章，描述了增强在黑暗环境中的摄影捕获的方法。使用可用光拍摄的照片与使用闪光拍摄的照片相组合。双边(bilateral)滤波器把照片分解成细节和大标度的(large scale)。一个图像一方面使用用可用光拍摄的照片的大的标度，而另一方面使用用闪光捕获的照片的细节进行重构。因此，原始照明的环境结合了闪光图像的锐度。已经论及了可以使用先进的方法来补偿主体运动。
发明内容
根据本发明的一个方面，已经被接连捕获的一组图像包括已经在基本相似的光条件下捕获的多个图像，以及已经在基本不同的光条件下捕获的一个图像。一个运动指示是得自已经在基本相似的光条件下捕获的至少两个图像。已经在基本不同的光条件下捕获的图像在得自已经在基本相似的光条件下捕获的至少两个图像的运动指示的基础上进行处理。
本发明考虑下列方面。当图像使用相机捕获时，一个或多个构成图像的组成部分的物体可能相对相机移动。例如，构成图像的组成部分的物体可能相对于也构成图像的组成部分的另一个物体移动。该相机可能仅跟踪这些物体之一。如果手持相机的人手抖动的话，构成图像的组成部分的所有物体通常将移动。
图像可以以考虑构成图像的组成部分的物体的各自运动的方式进行处理。这样的基于运动的处理可以增强由人所感知的图像质量。例如，可以防止一个或多个移动物体使图像变模糊。当对在不同瞬间(instant)捕获的两个或多个图像进行组合时，运动可以被补偿。基于运动的处理可以进一步被使用来编码图像，使得相对小量的数据便可以以令人满意的质量来表示该图像。基于运动的图像处理通常要求某种形式的运动估计，其提供了图像的各个组成部分中的各自运动的指示。
运动估计可以以下面的方式来执行。感兴趣的图像与所谓的参考图像进行比较，所述参考图像已经在不同的瞬间捕获，例如就在感兴趣的图像已经被捕获之前或者之后。感兴趣的图像被划分成若干个像素块。对于每个像素块，在参考图像中搜索最匹配于感兴趣的像素块的一个像素块。在运动的情况下，在两个上面所述的像素块之间存在相对位移。相对位移提供感兴趣的像素块的运动指示。因此，运动指示可以为感兴趣的图像中的每个像素块来建立。各个运动指示构成用于该图像的总体上的运动指示。这样的运动估计一般称作块匹配运动估计。根据运动图片专家组(MPEG)标准的视频编码典型地使用块匹配运动估计。
当感兴趣的图像和参考图像已经在不同的光条件下捕获时，块匹配运动估计通常是不可靠的。例如，如果感兴趣的图像已经使用环境光捕获而参考图像已经使用闪光捕获，或者反之亦然，则情况可能是这样。当搜索感兴趣的图像中的像素块和参考图像中的像素块之间的最佳匹配时，块匹配运动估计考虑照度。因此，块匹配运动估计可以发现在感兴趣的图像中具有给定照度的像素块最佳匹配于在参考图像中具有相似照度的像素块。然而，各个像素块可能属于不同的物体。
例如，假设第一图像使用环境光捕获而第二图像使用闪光捕获。在第一图像中，存在看起来是浅灰色的物体X和看起来是深灰色的另一个物体Y。在使用闪光捕获的第二图像中，物体X可能看起来是白色的而物体Y可能看起来是浅灰色的。存在严重的风险就是块匹配运动估计发现属于物体X的第一图像中的浅灰色像素块最佳匹配于属于物体Y的第二图像中的相似浅灰色像素块。块匹配运动估计将因此产生一个运动指示，其涉及第一图像中的物体X相对于第二图像中的物体Y的位置的位置。块匹配运动估计因此使物体混乱。该运动指示是错误的。
有可能应用一种不同的运动估计技术，其对已捕获各个图像的光条件中的差别不太敏感。例如，运动估计操作可以被安排成使得忽略照度或亮度信息。仅将颜色信息考虑进去。不过，这样的基于颜色的运动估计通常不提供足够精确的运动指示。其原因在于颜色包括比照度更少的细节。另一种可能性是基于边缘信息进行运动估计。高通滤波器可以从图像中提取边缘信息。考虑像素值中的变化而不是像素值本身。甚至是这样的基于边缘的运动估计在相当多的情况下也提供相对不精确的运动指示。其原因在于当光条件改变时边缘信息通常也受到影响。通常，任何运动估计技术都在一定程度上对不同的光条件敏感，这可能引起错误的运动指示。
根据本发明的上述方面，从已经在基本相似的光条件下捕获的至少两个图像中得出一个运动指示。然后在得自已经在基本相似的光条件下捕获的至少两个图像的运动指示的基础上来处理已经在基本不同的光条件下捕获的图像。
运动指示相对于已经在基本相似的光条件下捕获的至少两个图像来说相对精确。这是因为运动估计还没有受到光条件上差异的干扰。然而，得自已经在基本相似的光条件下捕获的至少两个图像的运动指示并不直接相关于已经在基本不同的光条件下捕获的图像。这是因为后一图像在运动估计的过程中没有被考虑进去。这可能带来某些不精确。实际上，假设了运动在图像捕获期间的整个时间间隔上基本是连续的。通常，这个假设在许多情况下是足够正确的，使得任何不精确性通常将相对适中(modest)。与此前所述的由于光条件差异而引起的不精确相比尤其如此。因此，本发明允许对已经在基本不同的光条件下捕获的图像中的运动的更精确指示。结果，本发明允许相对好的图像质量。
本发明可能有利地应用于例如数字摄影中。数字相机可能被编程来与使用闪光捕获一个图像相联系而使用环境光捕获至少两个图像。数字相机从使用环境光捕获的至少两个图像中得出运动指示。该数字相机可以使用这个运动指示来进行使用闪光捕获的图像和使用环境光捕获的两个图像至少之一的高质量组合。
本发明的另一个优势关于下列方面。根据本发明，用于已经在基本不同的光条件下捕获的图像的运动指示不必从图像本身得出。本发明因此不要求运动估计技术对光条件中的差异相对不敏感。此前已经描述的这样的运动估计技术通常要求复杂的硬件或软件或者两者。本发明允许用相对简单的运动估计技术得到令人满意的结果，比如举例来说，块匹配运动估计技术。可以使用已存在的硬件和软件，这是很划算的。由于那些原因，本发明允许很划算的实现。
本发明的这些和其它方面此后将参照附图更具体地加以描述。
图1是示出了数字相机的框图。
图2A和2B是示出了数字相机执行的操作的流程图。
图3A、3B和3C是示出了数字相机捕获的三个相继的图像的示意图。
图4A和4B是示出了数字相机可能执行的备选操作的流程图。
图5示出了图像处理设备。
具体实施例图1示出了数字相机DCM。数字相机DCM包括光拾取单元OPU、闪光单元FLU、控制与处理电路CPC、用户接口UIF、以及图像存储介质ISM。光拾取单元OPU包括镜头与快门系统LSY、图像传感器SNS和图像接口电路IIC。用户接口UIF包括图像拍摄按钮SB和闪光按钮FB并且可能进一步包括可以显示图像的小型显示设备。图像传感器SNS可以是例如电荷耦合设备或互补金属氧化半导体(CMOS)电路的形式。控制与处理电路CPC可能是例如适当编程的电路的形式，它将典型地包括包含指令即软件的程序存储器，并且包括一个或多个执行这些指令的处理单元，该指令使数据被修改或转移或者既被修改又被转移。图像存储介质ISM可以是例如可移动存储设备比如致密闪存的形式。
光拾取单元OPU以基本常规的方式捕获图像。构成镜头与快门系统LSY的组成部分的快门在相对短的时间间隔内打开。图像传感器SNS在那个时间间隔期间接收光信息。构成镜头与快门系统LSY的组成部分的镜头以适当的方式将光信息投射到图像传感器SNS上。焦距和光圈是定义镜头设置的参数。光传感器将光信息转换成模拟的电信息。图像接口电路IIC将模拟的电信息转换成数字的电信息。因此，获得将光信息表示为一组数字值的数字图像。这就是所捕获的图像。
闪光单元FLU可以提供闪光FLSH来照明相对靠近数字相机DCM的物体。这样的物体将反射部分闪光FLSH。闪光FLSH的反射部分将有助于到达光传感器的光信息。因此，闪光FLSH可以增强相对靠近数字相机DCM的物体的光度(luminosity)。然而，闪光FLSH可能造成看起来不自然的光效果，比如举例来说，红眼，并且还可能造成图像具有无深浅反差且刺眼的外观。已经使用充足的环境光捕获的场景的图像通常被认为比使用闪光捕获的同样场景的图像更令人愉快。然而，如果没有足够的环境光，则图像可能是有干扰的(noisy)和模糊的，在这种情况下闪光图像通常是优选的。
图2A和2B示出了数字相机DCM执行的操作。该操作以一系列步骤ST1-ST10的形式示出。图2A示出了步骤ST1-ST7并且图2B示出了步骤ST8-ST10。所示出的操作典型地在控制与处理电路CPC的控制下借助适当的软件来执行。例如，控制与处理电路CPC可能发送控制信号给光拾取单元OPU，这样以引起所述光拾取单元执行一定的步骤。
在步骤ST1中，控制与处理电路CPC检测到用户已经按下闪光按钮FB和图像拍摄按钮SB(FB↓及SB↓)。响应于此，控制与处理电路CPC使数字相机DCM执行下面所描述的步骤(如果用户仅已经按下图像拍摄按钮SB且控制与处理电路CPC检测到没有足够的环境光，数字相机DCM也可能执行这些步骤)。
在步骤ST2中，光拾取单元OPU在瞬间t0时捕获第一环境光图像IM1a(OPUIM1a在t0)。控制与处理电路CPC在图像存储介质ISM中存储第一环境光图像IM1a(IM1a→ISM)。在步骤ST3中，光拾取单元OPU在瞬间t0+ΔT时捕获第二环境光图像IM2a(OPUIM2a在t0+ΔT)，符号ΔT表示第一环境光图像IM1a被捕获的瞬间与第二环境光图像IM2a被捕获的瞬间之间的时间间隔。控制与处理电路CPC在图像存储介质ISM中存储第二环境光图像IM2a(IM2a→ISM)。
在步骤ST4中，闪光单元FLU产生闪光(FLSH)。数字相机DCM在闪光期间执行步骤ST5。在步骤ST5中，光拾取单元OPU在瞬间t0+2ΔT时捕获闪光图像IMFa(OPUIMFa在t0+2ΔT)。这样，闪光仅在瞬间t0+2ΔT之前出现。在第二环境光图像IM2a被捕获时的瞬间和闪光图像IMFa被捕获时的瞬间之间的时间间隔基本上等于ΔT。控制与处理电路CPC在图像存储介质ISM中存储闪光图像IMFa(IMFa→ISM)。
在步骤ST6中，控制与处理电路CPC在第一环境光图像IM1a和第二环境光图像IM2a的基础上执行运动估计，这两个图像存储在图像存储介质ISM(MOTEST[IM1a，IM2a])中。构成这些图像的组成部分的一个或多个物体可能处于运动中。运动估计提供了这样运动的指示。该指示典型地为运动矢量(MV)的形式。
存在许多不同的方式来执行步骤ST6中的运动估计。适当的方式是例如所谓的三维(3D)递归搜索，其在G.de Haan的、在2000年8月发表在IEEE Transactions on Consumer Electronics的第46卷第3期的449-459页上的文章“Progress in motion estimationfor video format conversion(用于视频格式转换的运动估计的进展)”中有所描述。所述3D递归搜索的好处在于这个技术通常提供准确反映感兴趣图像中的运动的运动矢量。
在步骤ST6中，还有可能执行块匹配运动估计。将被编码的图像被划分成几个像素块。对于将被编码的图像中的像素块，搜索前面的或随后的图像中的、最佳匹配于将被编码的图像中的像素块的像素块。在运动的情况下，在两个上面所述的像素块之间存在相对位移。运动矢量表示相对位移。因此，可以为将被编码的图像中的每个像素块建立运动矢量。
3D递归搜索或块匹配运动估计可以以相对低的代价来实现。其理由是在各种消费电子应用中已经存在用于这些类型的运动估计的硬件和软件。图1中示出的数字相机DCM的实现可以因此受益于现有的低成本运动估计硬件和软件。并不需要开发完全新的硬件或软件。尽管可能，这将相对昂贵。
在步骤ST7中，控制与处理电路CPC在第二环境光图像IM2a和步骤ST6中运动估计所产生的运动矢量MV的基础上执行运动补偿(MOTCMP[IM2a，MV])。运动补偿提供一个经运动补偿的环境光图像IM2aMC，其可能被存储在图像存储介质ISM中。运动补偿应当为第二环境光图像IM2a和闪光图像IMFa之间的运动进行补偿。即，该运动补偿相对于闪光图像IMFa来执行。
理想地，在经运动补偿的环境光图像IM2aMC和闪光图像IMFa中的相同物体具有相同的位置。即，如果上面所述的图像被重叠的话，所有的物体应当理想地是对准的。唯一的差别应当在于相应物体的照度和颜色信息。经运动补偿的环境光图像IM2aMC中的物体将显得比使用闪光捕获的闪光图像IMFa中的那些暗。
实际上，运动补偿并非完美地对准图像。可能仍余留相对小的误差。这是由于以下事实，即运动矢量与第二环境光图像IM2a相对于第一环境光图像IM1a的运动有关。也就是说，运动矢量不直接相关于闪光图像IMFa。不过，运动补偿可以在这些运动矢量的基础上提供令人满意的对准。
如果第二环境光图像IM2a相对第一环境光图像IM1a的运动类似于闪光图像IMFa相对于第二环境光图像IM2a的运动，则对准将是精确的。如果图像比较快地接连捕获，则情况通常是这样。例如，假设图像涉及一个包括加速物体的场景。当图像被捕获时，如果时间间隔相关于物体的加速度是相对短的，则该物体在各个瞬间将具有基本相似的速度。
在图2B中示出的步骤ST8中，控制与处理电路CPC对闪光图像IMFa和经运动补偿的环境光图像IM2aMC进行组合(COMB[IMFa，IM2aMC])。该组合得到了增强的闪光图像IMFaE，其中减小了闪光可能引起的不自然和不太舒适的效果。例如，闪光图像IMFa中的颜色和细节信息可能与第二环境光图像IM2a中的光分布进行组合。闪光图像IMFa中的颜色和细节信息通常将比第二环境光图像IM2a中的更逼真。然而，第二环境光图像IM2a中的光分布将通常被认为比闪光图像IMFa中的更舒适。应当指出，存在多种方式来在使用环境光捕获的图像和使用闪光捕获的图像的基础上获得增强图像。在现有技术的描述中提到的文章是可以应用于步骤ST8的图像增强技术的一个例子。
在步骤ST8中进行的组合还提供对闪光图像IMFa中可能出现的任何红眼进行校正的可能性。当捕获具有眼睛的生物的图像并且使用闪光时，眼睛可能看起来是红色的，这是不自然的。这样的红眼可以通过比较经运动补偿的环境光图像IM2aMC和闪光图像IMFa来检测。假设控制与处理电路CPC检测到闪光图像IMFa中存在红眼。在那种情况下，经运动补偿的环境光图像IM2aMC的眼睛颜色信息定义了在增强的闪光图像IMFa中眼睛的颜色。还有可能是用户检测到并校正红眼。例如，在图1中示出的数字相机DCM的用户可以通过构成用户接口UIF的一部分的显示设备观看到闪光图像IMFa中的红眼。图像处理软件可以允许用户做适当的校正。
在步骤ST9中，控制与处理电路CPC在图像存储介质ISM中存储了增强的闪光图像IMFaE(IMFaE→ISM)。因此，增强的闪光图像IMFaE可以稍后被传送到图像显示设备。任选地，在步骤ST10中，控制与处理电路CPC删除在图像存储介质ISM中存在的环境光图像IM1a、IM2a和闪光图像IMFa(DEL[IM1a，IM2a，IMFa])。经运动补偿的环境光图像IM2aMC也可以被删除。然而，将上述图像保持在图像存储介质ISM中可能是有用的，这样这些图像可以在稍后的时刻进行处理。
图3A、3B和3C分别示出了如前所述的被接连捕获的第一和第二环境光和闪光图像IM1a，IM2a，IMFa的例子。在这个例子中，图像关于这样的场景，其包括多种物体桌子TA、球BL、和有花FL的花瓶VA。球BL移动它在桌子TA上向着花瓶VA滚动。其它的物体是不动的。假设手持数字相机DCM的人手稳定不动。以相对快的连续性和例如每秒15个图像的速率来捕获图像。
环境光图像IM1a、IM2a看起来基本相似。两个图像都使用环境光拍摄。在两个图像中每个物体都具有相似的光度和颜色。唯一的区别在于球BL，其已移动。因此，前面已经描述的在步骤ST6中的运动估计将提供指示该运动的运动矢量。第二环境光图像IM2a包括一组或多组基本属于球BL的像素。这样一组像素的运动矢量指示球BL的位移，即运动。对比之下，基本属于除球BL之外的物体的一组像素将具有指示无运动的运动矢量。例如，基本属于花瓶VA的一组像素将指示这是一个静止的物体。
闪光图像IMFa相对不同于环境光图像IM1a、IM2a。在闪光图像IMFa中，前景物体比如桌子TA、球BL、具有花FL的花瓶VA，比环境光图像IM1a、IM2a更清楚地被照亮。这些物体具有更高的光度和更逼真的颜色。闪光图像IMFa不同于第二环境光图像IM2a不仅因为不同的光条件。球BL的运动还使闪光图像IMFa不同于第二环境光图像IM2a。因此存在两种主要原因来解释闪光图像IMFa和第二环境光图像IM2a之间的差别光条件和运动。
从环境光图像IM1a、IM2a得出的运动矢量允许在由于光条件的差别和由于运动的差别之间进行相对精确的区分。这基本上是由于这样的事实，即环境光图像IM1a、IM2a已经在基本相似的光条件下捕获。运动矢量因此不受到光条件上的任何差别的影响。因此，有可能以仅仅光条件不同为基础来增强闪光图像IMFa。基于运动矢量的运动补偿防止了使增强的闪光图像IMFaE模糊。
图4A和4B示出了数字相机DCM可以执行的备选操作。示出了以一系列步骤ST101-ST111形式的备选操作。图4A示出了步骤ST101-ST107并且图4B示出了步骤ST108-ST111。这些备选操作典型地在控制与处理电路CPC的控制下通过适当的计算机程序来执行。图4A和4B因此示出了用于控制与处理电路CPC的备选软件。
在步骤ST101中，控制与处理电路CPC检测到用户已经按下闪光按钮FB和图像拍摄按钮SB(FB↓及SB↓)。响应于此，控制与处理电路CPC使数字相机DCM执行下面描述的步骤(如果用户仅已经按下图像捕获按钮SB并且控制与处理电路CPC检测到没有足够的环境光，则数字相机DCM也可能执行这些步骤)。
在步骤ST102中，光拾取单元OPU在瞬间t1时捕获第一环境光图像IM1b(OPUIM1b在t1)。控制与处理电路CPC在图像存储介质ISM中存储第一环境光图像IM1b。表示瞬间t1的时间标号与第一环境光图像IM1b相关地存储(IM1b及t1→ISM)。
在步骤ST103中，闪光单元FLU产生闪光(FLSH)。数字相机DCM在闪光期间执行步骤ST104。在步骤ST104中，光拾取单元OPU在瞬间t2时捕获闪光图像IMFb(OPUIMFb在t2)。这样，闪光就在瞬间t2之前出现。控制与处理电路CPC在图像存储介质ISM中存储闪光图像IMFb。表示瞬间t2的时间标号与闪光图像IMFb相关地存储(IMFb及t2→ISM)。
当闪光变暗并且已返回环境光条件的时候，数字相机DCM执行步骤ST105。在步骤ST105中，光拾取单元OPU在瞬间t3时捕获第二环境光图像IM2b(OPUIM2b在t3)。控制与处理电路CPC在图像存储介质ISM中存储第二环境光图像IM2b。表示瞬间t3的时间标号与第二环境光图像IM2b相关地存储(IM2b及t3→ISM)。
在步骤ST106中，控制与处理电路CPC在第一环境光图像IM1b和第二环境光图像IM2b的基础上执行运动估计，这两个图像存储在图像存储介质ISM(MOTEST[IM1b，IM2b])中。运动估计提供了指示构成第一环境光图像IM1b和第二环境光图像IM2b的组成部分的物体的运动的运动矢量MV1，3。
在步骤ST107中，控制与处理电路CPC适配在步骤ST106中运动估计已提供的运动矢量MV1，3(ADP[MV1，3；IM1b，IMFb])。因此，获得了经适配的运动矢量MV1，2。经适配的运动矢量MV1，2与闪光图像IMFb相对于第一环境光图像IM1b的运动有关。为此，控制与处理电路CPC考虑当环境光和闪光图像IM1b、IM2b和IMFb已经捕获时的各个瞬间t1、t2和t3。
运动矢量MV1，3可以以相对简单的方式来适配。例如，假设运动矢量具有水平分量和垂直分量。水平分量可以使用等于瞬间t1和瞬间t2之间的时间间隔除以瞬间t1和瞬间t3之间的时间间隔的比例系数来缩放。垂直分量可以以同样的方式来缩放。因此，获得了经缩放的水平分量和经缩放的垂直分量。在组合中，这些经缩放的分量组成了经适配的运动矢量，其有关闪光图像IMFb相对第一环境光图像IM1b的运动。
在如图4B所示的步骤ST108中，控制与处理电路CPC在第一环境光图像IM1b和适配的运动矢量MV1，2的基础上执行运动补偿(MOTCMP[IM1b，MV1，2])。运动补偿提供一个经运动补偿的环境光图像IM1bMC，其可以被存储在图像存储介质ISM中。运动补偿应当为第一环境光图像IM1b和闪光图像IMFb之间的运动进行补偿。即，该运动补偿相对闪光图像IMFb来执行。
在步骤ST109中，控制与处理电路CPC对闪光图像IMFb和经运动补偿的环境光图像IM1bMC进行组合(COMB[IMFb，IM1bMC])。该组合得到了增强的闪光图像IMFbE，其中减少了闪光可能引起的不自然和不太舒适的效果。在步骤ST110中，控制与处理电路CPC在图像存储介质ISM中存储了增强的闪光图像IMFbE(IMFbE→ISM)。任选地，在步骤ST111中，控制与处理电路CPC删除在图像存储介质ISM中存在的环境光和闪光图像IM1b、IM2b、IMFb(DEL[IM1b，IM2b，IMFb])。经运动补偿的环境光图像IM1bMC也可以被删除。
图5示出了图像处理设备IMPA，其可以从图1中所示的数字相机DCM接收图像存储介质ISM。图像处理设备IMPA包括接口INT、处理器PRC、显示设备DPL、以及控制器CTRL。处理器PRC包括适当的硬件和软件，用于处理存储在图像存储介质ISM上的图像。显示设备DPL可以显示原始图像或已处理的图像。控制器CTRL控制各种部件比如接口INT、处理器PRC和显示设备DPL执行的操作。控制器CTRL可以与遥控设备RCD进行交互，通过遥控设备RCD用户可以控制这些操作。
图像处理装置IMPA可以处理关于同一场景的一组图像。至少两个图像已经使用环境光捕获。至少一个图像已经使用闪光捕获。图3A、3B和3C示出了这样的一组图像。该图像处理装置IMPA在至少两个使用环境光捕获的图像的基础上执行运动估计。因此，获得了运动指示，其可以是运动矢量的形式。随后，这个运动指示用于在使用环境光拍摄的至少一个图像的基础上增强使用闪光捕获的图像。
例如，假设数字相机DCM被编程来执行步骤ST1-ST5，而不是步骤ST10(见图2A和2B)。图像存储介质ISM将包括环境光图像IM1a、IM2a和闪光图像IMFa。图5中示出的图像处理设备IMPA可以执行如图2A和2B中所示的步骤ST6-ST8，以便获得增强的闪光图像IMFbE。这个过程可以是以类似于在个人计算机上的常规照片编辑方式由用户控制的。例如，用户可以定义在增强的闪光图像IMFbE中的照明分布在何种程度上基于在第二环境光图像IM2a中的照明分布。
可选地，数字相机DCM可被编程来执行步骤ST101-ST105，而不是步骤ST111(见图4A和4B)。图5中示出的图像处理设备IMPA于是可以执行如图4A和4B中所示的步骤ST106-ST109，以便获得增强的闪光图像IMFbE。
增强的闪光图像将具有基本取决于运动估计精度的质量。如前所述，3D递归搜索允许相对好的精度。称为内容自适应递归搜索的技术是一种好的备选方案。可以使用复杂的运动估计技术，其可以解决图像之间的倾斜以及平移。而且，有可能先执行全局的运动估计，其关于总体上的图像，而接着是局部运动估计，其关于图像的各种不同部分。对图像进行二次抽样简化了全局运动估计。还应当看到运动估计可以是基于分段(segment)而不是基于块。基于分段的运动估计考虑了物体可以具有完全不同于块形式的形式。运动矢量可以是关于像素的任意形状组，而不必是关于块的。因此，基于分段的运动估计可以是相对精确的。
下面的规则通常适用。运动估计所基于的图像的数量越大，运动估计将越精确。在前面的说明中，运动估计基于使用环境光捕获的两个图像。如果两个以上的图像使用环境光捕获并且随后被用于估计运动，则可以获得更精确的运动估计。例如，可能在两个已经被接连捕获的图像的基础上估计物体的速度，而不是物体的加速度。三个图像允许进行加速度估计。假设与闪光图像相关联地捕获三个环境光图像。在那种情况下，与当两个环境光图像被捕获的时候相比，可以做出更精确的关于在闪光图像被捕获的瞬间物体在何处的估计。
结束语上面参照附图的详细描述示出了如下的特征。已经被接连捕获的一组图像包括已经在基本相似的光条件下捕获的多个图像(图2A的第一和第二环境光图像IM1a、IM2a，以及图4A的IM1b、IM2b)以及已经在基本不同的光条件下捕获的一个图像(图2A的闪光图像IMFa，以及图4A的IMFb)。运动指示(为运动矢量MV的形式)得自已经在基本相似的光条件下捕获的至少两个图像(这在图2A的步骤ST6以及图4A的步骤ST106、ST107中完成)。已经在基本不同的光条件下捕获的图像在得自已在基本相似的光条件下捕获的至少两个图像的运动指示的基础上进行处理(这在图2A、2B的步骤ST7、ST8以及图4B的步骤ST108、ST109中完成；增强的闪光图像IMFaE从这个处理中得到)。
前面的详细描述进一步示出了下面的任选特征。首先使用环境光捕获至少两个图像并且随后使用闪光捕获一个图像(根据图2A和2B的操作两个环境光图像IM1a、IM2a被首先捕获并且随后捕获闪光图像IMFa)。这些特征的优点在于运动估计所基于的环境光图像可以相对地在闪光图像被捕获之前不久被捕获。这有助于运动估计的精度并且因此有助于好的图像质量。
前面的详细描述进一步示出了下面的任选特征。图像在各个瞬间被相继捕获，这些瞬间之间有固定的时间间隔(ΔT)(根据图2A和2B的操作)。这些特征的优点在于运动估计和进一步的处理可以相对简单。例如，从环境光图像得出的运动矢量可以直接应用到闪光图像。不需要适配。
前面的详细描述进一步示出了下面的任选特征。一个图像使用环境光捕获，随后一个图像使用闪光捕获，并且随后又一个图像使用环境光捕获(根据图4A和4B的操作闪光图像IMFb在两个环境光图像IM1b、IM2b之间)。这些特征的优点在于运动估计可以相对精确，特别是在恒速运动的情况下。因为闪光图像可以说是被夹在环境光图像之间，所以闪光图像中的物体的各个位置可以以相对较大的精度来被估计。
前面的详细描述进一步示出了下面的任选特征。运动指示包括适配的运动矢量(MV1，2)，其如下所示地获得(图4A和4B示出了这一点)。运动矢量(MV1，3)从已经在基本相似的光条件下捕获的至少两个图像获得(步骤ST106MV1，3得自环境光图像IM1b、IM2b)。运动矢量在当至少两个图像已经被捕获时和当图像(IMFb)已经在基本不同的光条件下捕获时(步骤ST107)的各个瞬间(t1，t2，t3)的基础上进行适配。这进一步有助于运动估计的准确度。
前面的详细描述进一步示出了下面的任选特征。运动估计步骤以考虑已经为另一组像素建立的运动矢量的方式建立了属于一组像素的运动矢量。这是例如在3D递归搜索中的情况。与简单的块匹配运动估计技术相比，上面所述的特征允许准确的运动估计。运动矢量将真实地指示相关组像素所属于的物体的运动。这有助于好的图像质量。
上面所述的特征可以以多种不同的方式加以实现。为了示出这一点，简要指出了某些备选方案。该组图像可以构成运动图片而不是静止图片。例如，将要处理的该组图像可以通过摄像机来捕获。该组图像也可以来自一组常规的纸照片的数字扫描。该组图像可以包括已经在基本相似的光条件下捕获的两个以上的图像。该组图像还可以包括已经在基本不同的光条件下捕获的一个以上的图像。各图像可以相对彼此定位于任何一个地方。例如，闪光图像可以先捕获，接着是两个环境光图像。运动指示可以得自这两个环境光图像，在其基础上闪光图像可以被处理。可选地，可以先捕获两个闪光图像并且随后捕获环境光图像。运动指示得自闪光图像。在这种情况下，闪光图像构成已经在基本相似的光条件下捕获的图像。
存在许多不同的方式来处理该组图像。处理不必一定包括如上所述的图像增强。处理可以包括例如图像编码。在处理包括图像增强的情况下，存在许多的方式来这样做。在上面的说明中，经运动补偿的环境光图像先被建立。随后，闪光图像在经运动补偿的环境光图像的基础上被增强。可选地，闪光图像可以直接在逐块的基础上被增强。闪光图像中的像素块可以在表示环境光图像中的对应像素块的那个像素块的运动矢量的基础上被增强。因此，闪光图像中的各个像素块可以被相继增强。在这样的实现中，不必先建立经运动补偿的环境光图像。
该组图像不必一定包括表示各个图像已被捕获的各个瞬间的时间标号。例如，如果在这些相应瞬间之间已存在固定的时间间隔，则不要求时间标号。时间间隔不必相同，它们是已知的就足够了。
存在借助硬件或软件项或两者来实现功能的许多方式。在这个方面，附图是示意性的，各表示本发明的仅一个可能的实施例。而且，尽管附图将不同功能示出为不同的块，但这决不排除单个硬件或软件项执行若干功能或者硬件或软件项或两者的组装执行一个功能。
此前所做的评注展示了参考附图的详细描述是说明而不是限制本发明。存在落入到所附权利要求的范围内的许多备选方案。权利要求中的任何参考符号不应当被解释为限制权利要求。单词“包括”不排除除了在权利要求中所列出的那些元素或步骤之外的其它元素或步骤的存在。元素或步骤之前的单词“一”或“一个”并不排除多个这样的元素或步骤的存在。
权利要求
1.一种处理一组已被接连捕获的图像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)的方法，该组图像包括已经在基本相似的光条件下捕获的多个图像(IM1a，IM2a；IM1b，IM2b)，以及已经在基本不同的光条件(FLSH)下捕获的一个图像(IMFa；IMFb)，该方法包括-运动估计步骤(ST6；ST106，ST107)，其中一个运动指示(MV)从已经在基本相似的光条件下捕获的至少两个图像得出；以及-处理步骤(ST7，ST8；ST108，ST109)，其中已经在基本不同的光条件下捕获的图像在得自已经在基本相似的光条件下捕获的至少两个图像的运动指示的基础上进行处理。
2.根据权利要求1的处理方法，包括-图像捕获步骤，其中至少两个图像(IM1a，IM2a)使用环境光捕获，并且随后，一个图像(IMFa)使用闪光捕获。
3.根据权利要求2的处理方法，其中各图像(IM1a，IM2a，IMFa)在相应的瞬间被接连捕获，在这些瞬间之间具有固定的时间间隔(ΔT)。
4.根据权利要求1的处理方法，包括-图像捕获步骤，其中一个图像(IM1b)使用环境光捕获，随后一个图像(IMFb)使用闪光捕获，且随后，另一个图像(IM2b)使用环境光捕获。
5.根据权利要求1的处理方法，其中运动指示包括一个被适配的运动矢量(MV1，2)，其来自于-运动矢量得出步骤(ST106)，其中运动矢量(MV1，3)从已经在基本相似的光条件下捕获的至少两个图像(IM1b，IM2b)得出；以及-运动矢量适配步骤(ST107)，其中运动矢量在当至少两个图像已经捕获时以及当图像(IMFb)已经在基本不同的光条件下捕获时的各个瞬间(t1，t2，t3)的基础上进行适配。
6.根据权利要求1的处理方法，其中该组图像包括已经在相似的光条件下捕获的两个以上的图像并且其中运动指示从这些两个以上的图像得出。
7.根据权利要求1的处理方法，其中运动估计步骤(ST6；ST106，ST107)以以下方式建立属于一组像素的运动矢量，即考虑已经为另一组像素建立的运动矢量。
8.一种图像处理器(IMPA)，其被安排来处理一组已被接连捕获的图像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，该组图像包括已经在基本相似的光条件下捕获的多个图像(IM1a，IM2a；IM1b，IM2b)，以及已经在基本不同的光条件(FLSH)下捕获的一个图像(IMFa；IMFb)，该图像处理器包括-运动估计器(MOTEST)，其被安排来从已经在基本相似的光条件下捕获的至少两个图像得出一个运动指示(MV)；以及-图像处理器(PRC)，被安排来在运动指示的基础上处理已经在基本不同的光条件下捕获的图像，该运动指示是从已经在基本相似的光条件下捕获的至少两个图像得出的。
9.一种图像捕获设备(DCM)，包括-图像捕获装置(OPU，FLU，CPC，UIF)，其被安排来接连捕获一组图像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，该组图像包括已经在基本相似的光条件下捕获的多个图像(IM1a，IM2a；IM1b，IM2b)，以及已经在基本不同的光条件(FLSH)下捕获的一个图像(IMFa；IMFb)；-运动估计器(MOTEST)，其被安排来从已经在基本相似的光条件下捕获的至少两个图像得出一个运动指示(MV)；以及-图像处理器(PRC)，其被安排来对已经在基本不同的光条件下捕获的图像和已经在基本相似的光条件下捕获的至少一个图像进行组合以便获得改善的图像(IMFE)，该组合在得自已经在基本相似的光条件下捕获的两个图像的运动指示的基础上进行。
10.一种用于图像处理器(IMPA)的计算机程序产品，其被安排来处理已经被接连捕获的一组图像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，该组图像包括已经在基本相似的光条件下捕获的多个图像(IM1a，IM2a；IM1b，IM2b)，以及已经在基本不同的光条件(FLSH)下捕获的一个图像(IMFa；IMFb)，该计算机程序产品包括一组指令，当该组指令被装载到图像处理器中时引起图像处理器执行-运动估计步骤(ST6；ST106，ST107)，其中一个运动指示(MV)从已经在基本相似的光条件下捕获的至少两个图像得出；以及-处理步骤(ST7，ST8；ST108，ST109)，其中已经在基本不同的光条件下捕获的图像在得自已经在基本相似的光条件下捕获的至少两个图像的运动指示的基础上进行处理。
全文摘要
已经被接连捕获的一组图像(IM1a，IM2a，IMFa)包括已经在基本相似的光条件下捕获的多个图像(IM1a，IM2a)，以及已经在基本不同的光条件(FLSH)下捕获的一个图像(IMFa)。例如，两个图像可以使用环境光捕获并且一个图像使用闪光捕获。一个运动指示(MV)从(ST6)已经在基本相似的光条件下捕获的至少两个图像(IM1a，IM2a)得出。已经在基本不同的光条件下捕获的图像(IMFa)在得自已经在基本相似的光条件下捕获的至少两个图像(IM1a，IM2a)的运动指示(MV)的基础上进行处理(ST7，ST8)。
文档编号G06T7/20GK101048796SQ200580037054
公开日2007年10月3日 申请日期2005年10月25日 优先权日2004年10月27日
发明者S·德维勒 申请人:皇家飞利浦电子股份有限公司