用于设置相机焦点的方法和装置与流程

文档序号:12133337阅读:465来源:国知局
用于设置相机焦点的方法和装置与流程

本发明通常涉及用于设置相机焦点的自动聚焦算法。



背景技术:

图像捕捉装置诸如数字相机和其他类似机构变得更加平凡。曾经仅在高端专业相机上可应用,今天这些装置在移动电话、个人数字助理、以及其他便携式电子装置中被找到。许多便携式电子装置中可应用的图像捕捉装置包括自动聚焦特征。自动聚焦系统使用图像处理电路以自动地确定适当的焦点,因此无需用户来完成。

这种自动聚焦机构具有的一个缺点是它们可以是相对缓慢的。例如,在一些集成至电子装置(例如,诸如移动电话的便携式电子装置,或诸如连接至网络的监控相机的固定电子装置)中的图像捕捉系统中,自动聚焦系统必须通过智能试错法将镜头移动至对应于被聚焦图像的特定位置。自动聚焦系统通过检查图像、移动镜头、捕捉另一图像、以及再次检查图像以确定是否已经实现了适当聚焦而完成这点。过程重复直至找到最佳镜头位置。如果当进行自动聚焦操作时图像捕捉装置在移动则时间可以大大延长。例如,用户摇晃的手或者移动的平台可以使得图像捕捉装置显著移动。这种移动可以导致模糊的图像,因为自动聚焦特征缺乏在其上实现聚焦的一致的主体。此外,即使最终完成聚焦,这样移动也使得自动聚焦操作花费甚至更多时间来完成。

US8,274,596(摩托罗拉移动有限责任公司Motorola Mobility LLC)涉及一种用于在执行自动聚焦(AF)过程之前确定入射在图像传感器上的图像是否足够稳定的方法和图像捕捉装置。例如,可以由诸如陀螺仪或加速度计的硬件确定图像是否稳定。即便该文件中的公开可以解决模糊图像的问题,也因为AF过程并未执行除非图像是稳定的,其并未提高AF过程的速度。相反地,当相机在移动时,延迟了AF过程。



技术实现要素:

考虑到以上,本发明的目的在于解决或者至少减小如上所述的一个或数个缺点。通常,由所附独立权利要求实现以上目的。

根据第一方面,由一种用于设置包括卷帘快门图像传感器和聚焦镜头装置的相机的焦点的自动聚焦方法而实现本发明,自动聚焦方法包括步骤:

-由卷帘快门图像传感器捕捉一个或多个图像帧,其中卷帘快门图像传感器包括多个像素区域,其中卷帘快门图像传感器在图像帧的捕捉期间一次从一个像素区域读出像素数据,

-在像素数据的读出期间连续地测量相机的相机运动水平,用于产生与像素数据相关联并且指示了在从多个像素区域读出像素数据期间测得的多个相机运动水平的运动数据;

-使用自动聚焦算法设置相机的焦点,自动聚焦算法将一个或多个图像帧中的每一个划分为多个焦点窗口,其中每个焦点窗口包括多个像素区域中的一个或多个的像素数据。

此外,自动聚焦算法包括:针对多个焦点窗口的每个焦点窗口,

-基于该焦点窗口中所包括的像素数据计算该焦点窗口的焦点测量值,

-基于与该焦点窗口中所包括的像素数据相关联的运动数据计算该焦点窗口的运动水平,并且

-通过以至少该焦点窗口的运动水平加权该焦点窗口的焦点测量值而计算该焦点窗口的加权焦点测量值。

卷帘快门图像传感器是不在单个场景下及时捕捉场景图像而是替代地通常垂直地或水平地扫描场景、并且因此在不同时刻读出像素数据的传感器。换言之,在同一瞬间并未精确地记录场景图像的所有部分。因此,在本说明书的上下文中术语“像素区域”应该理解为例如卷帘快门图像传感器的像素行或像素列。像素区域也可以包括卷帘快门图像传感器的多个行或列。在像素数据的这种读出期间,连续地测量相机的相机运动水平。例如可以针对卷帘快门图像传感器的每个像素区域或者每隔一个像素区域测量相机运动水平。然而,在从多个像素区域读出像素数据期间将在至少两个时机上测量相机运动水平以使得一个像素区域可以与运动数据(指示了测得的相机运动水平)相关联,该运动数据不同于与另一个像素区域相关联的运动数据。

本发明人已经认识到当使用自动聚焦(AF)算法设置相机焦点时可以有利地使用与分立像素区域相关联的这种不同的运动数据。自动聚焦算法将一个或多个图像帧中的每一个划分为多个焦点窗口,以使得每个焦点窗口包括多个像素区域中的一个或多个的像素数据。这意味着图像帧的第一焦点窗口可以包括在相机(也即卷帘快门图像传感器)移动期间读出的像素数据,而同一图像帧的另一焦点窗口包括当相机完全静止(或者或较多或较少移动)时读出的像素数据。当计算焦点窗口的焦点测量值时,通过考虑相机的移动,与包括了在相机较少或零移动期间读出的像素数据的焦点窗口的焦点测量值的重要性相比,可以减小包括了在相机移动期间读出的像素数据的焦点窗口的焦点测量值的重要性。

通过计算每个焦点窗口的运动水平而执行焦点测量值的加权。运动水平可以例如是与焦点窗口中像素数据相关联的相机的最大移动(由运动数据指示),或者其可以是与焦点窗口中像素数据相关联的相机的平均移动(由运动数据指示)。可以采用计算焦点窗口的运动水平的其他方式。

某一焦点窗口的运动水平随后在计算焦点窗口的焦点测量值的重要性时被使用。换言之,通过以至少焦点窗口的运动水平加权焦点窗口的焦点测量值而计算焦点窗口的加权焦点测量值。

本发明因此提供了一种改进的自动聚焦算法,因为可以对源自在相机移动期间读出的像素数据的焦点测量值进行与源自在相机较少移动期间读出的像素数据的焦点测量值不同的加权。这接着使其能够仍然使用这种图像帧,其中像素数据的一部分在例如相机显著移动期间读出,而像素数据的其他部分在例如相机的非显著移动期间读出。因此,可以提高AF算法的速度,因为即便在像素数据读出期间相机移动也可以执行AF。此外,本发明的自动聚焦算法可以提供更精确的结果,因为可以如上所述对源自在相机移动期间读出的像素数据的焦点测量值进行降权。

根据一些实施例,捕捉一个或多个图像帧的步骤包括捕捉仅一个图像帧的步骤,并且计算焦点测量值的步骤包括从该焦点窗口中所包括的像素数据计算基于相位的焦点测量值。根据该实施例,计算加权焦点测量值的步骤包括加权焦点测量值以使得相比于具有低运动水平的焦点窗口的焦点测量值采用更低的权重而加权具有高运动水平的焦点窗口的焦点测量值。

通过将入射光划分为多个图像对并且比较它们而实现相位检测。相位检测自动聚焦传感器比较主体的两个偏移图像(从仅一个图像帧得到)并且计算它们之间的相位差或分离误差。如果图像并未布置成行(也即分离误差非零),则主体并未焦点对准。图像之间的分离误差用于决定焦点应该改变多少,而两个图像的相对位置用于决定与当前焦点设置相比新焦点需要更靠近还是更远离。对于具有卷帘快门图像传感器的相机,每个焦点窗口可以导致不同的分离误差,因为在读出焦点窗口中所包括的像素数据期间相机可以不同地移动。通过加权焦点测量值以使得相比于具有低运动水平的焦点窗口的焦点测量值采用更低的权重而加权具有高运动水平的焦点窗口的焦点测量值,可以实现改进的自动聚焦算法,因为在相机移动期间读出的像素数据的焦点测量值(从分离误差得到)与在相机较少移动期间读出的像素数据的焦点测量值相比较不正确。

根据一些实施例,设置相机焦点的步骤包括计算仅一个图像帧的多个焦点窗口中的每一个的加权焦点测量值的平均值。该实施例可以导致设置相机焦点的低计算复杂度。

根据一些实施例,捕捉一个或多个图像帧的步骤包括捕捉多个图像帧,每个图像帧由相机使用聚焦镜头装置的不同焦点设置捕捉。根据该实施例,自动聚焦算法将多个图像帧中的每一个划分为多个焦点窗口。多个图像帧中的每个图像帧将因此划分为多个焦点窗口,并且因此例如第一图像帧的焦点窗口将在每个剩余图像帧中有对应的焦点窗口。基于对比度的焦点测量值随后可以用于计算每个焦点窗口的焦点测量值。计算加权焦点测量值的步骤可以包括使用焦点窗口的运动水平和多个图像帧中剩余图像帧中的每个中的对应焦点窗口的运动水平计算合成运动水平,并且由合成运动水平加权焦点测量值以使得相比于具有低合成运动水平的焦点窗口的焦点测量值采用更低的权重对具有高合成运动水平的焦点窗口的焦点测量值加权。

在本说明书的上下文中,术语“合成运动水平”应该理解为合并多个运动水平(多个图像帧之中对应焦点窗口中的每个具有一个运动水平)以便于计算合成运动水平。根据一些实施例,求和所述多个运动水平以形成合成运动水平。根据其他实施例,在所述多个运动水平之中的最大值、平均值或中位数值用作合成运动水平。换言之,对于每个焦点窗口,合并在不同时间点处测得的多个(可能不同的)运动水平以形成特定焦点窗口的合成运动水平。

可以通过镜头测量传感器视野或焦点窗口内的对比度而实现基于对比度的聚焦算法。例如焦点窗口中所包括的像素数据的相邻像素或附近像素之间的强度差或焦点测量值随着正确图像焦点而增大。通过使用不同焦点捕捉多个图像帧并且在多个图像帧中对应焦点窗口之间比较焦点测量值,可以设置相机的正确焦点。本实施例可以有利地为对应焦点窗口的集合降低焦点测量值的重要性的权重,其中对应焦点窗口的集合中至少一个焦点窗口包括当相机移动时捕捉的像素数据。

例如,在使用登山算法的情况下,如果在捕捉第一图像帧的焦点窗口和第二图像帧的对应焦点窗口任一中所包括的像素数据期间相机移动,则因为两个焦点测量值之间的比较可以给出错误的结果,所以可以降低第一图像帧的焦点窗口和第二图像帧的对应焦点窗口的比较的权重。

根据一些实施例,合成运动水平的计算包括计算该焦点窗口的运动水平与多个图像帧中剩余图像帧中的每个中的对应焦点窗口的运动水平之和。这在下列情况下是有利的:相机移动影响了在对应焦点窗口的集合中多于一个焦点窗口中计算得到的焦点测量值,这可以相比于仅对应焦点窗口的集合中的一个包括相机移动期间读出的像素数据,对集合的焦点测量值之间比较的正确性影响更多。

根据一些实施例,合成运动水平的计算包括计算该焦点窗口的运动水平与多个图像帧中剩余图像帧中的每个中的对应焦点窗口的运动水平中的最大运动水平。该实施例可以减小用于计算合成运动水平的计算复杂度。

根据一些实施例,针对图像传感器的每个像素区域的每次读出而测量相机运动水平,以使得与像素数据相关联的运动数据包括针对每个像素区域每次读出的分立相机运动水平。这可以改进自动聚焦算法的正确性。

根据一些实施例,当相机运动水平低于预定相机运动水平时,运动数据设置为第一数值,并且当相机运动水平等于或者高于预定相机运动水平时,运动数据设置为第二数值。例如,低于预定相机运动水平的所有相机运动水平(也即相机移动)可以解释为不影响计算得到的焦点测量值,并且因此可以忽略相机移动。这可以减小自动聚焦算法的计算复杂性并且也提高算法的速度。

根据一些实施例,运动数据的第二数值导致以零权重对包括与运动数据相关联的像素数据的焦点窗口的焦点测量值加权。这意味着只要当相机已经比预定相机运动水平移动更多时已经读出了焦点窗口中包括的任何像素数据,当设置相机焦点时将完全忽略该焦点窗口的焦点测量值。在采用了基于对比度的焦点测量的情形中,这意味着在对应焦点窗口集合(如上所述,所述多个图像帧中的每一个具有一个对应焦点窗口)中针对所有焦点窗口的焦点测量值的权重将是零并且因此当设置相机焦点时完全忽略。

根据一些实施例,当相机运动水平低于第一预定相机运动水平时,运动数据设置为第一数值,当相机运动水平高于第二预定相机运动水平时,运动数据设置为第二数值,并且当相机运动水平在第一预定相机运动水平和第二预定相机运动水平之间时,运动数据设置为在第一数值和第二数值之间的另一数值,其中另一数值与相机运动水平相关。例如,在由零至一之间的数字代表运动数据的情形中,其中零代表没有相机运动以及一代表相机的最大运动,本实施例可以实施如下。如果相机运动水平低于第一预定相机运动水平,则运动数据可以设置为零(也即没有运动),并且如果相机运动水平高于第二预定相机运动水平,则运动数据可以设置为一(也即最大运动),并且在第一预定相机运动水平和第二预定相机运动水平之间,运动数据可以取决于相机运动水平而设置为在零和一之间的数字。相机运动水平和运动数据之间的变换可以因此类似于S型函数。

这可以减小自动聚焦算法的计算复杂性并且也提高算法的速度,因为相机运动水平被以阈值界定在高于和低于某些预定相机运动水平的恒定运动数据值。

以类似的方式,当采用基于对比度的焦点测量时,根据一些实施例,当合成运动水平低于第一预定运动水平时,以合成运动水平加权焦点测量值的步骤包括采用第一权重加权焦点测量值。根据该实施例,当合成运动水平高于第二预定运动水平时,以合成运动水平加权焦点测量值的步骤包括采用第二权重加权焦点测量值。此外,根据该实施例,当合成运动水平在第一预定运动水平和第二预定运动水平之间时,以合成运动水平加权焦点测量值的步骤包括采用在第一权重和第二权重之间的另一权重加权焦点测量值,其中另一权重与合成运动水平相关。该实施例可以通常具有与关于运动数据的阈值的限定如上所述实施例相同的特征和优点。

根据一些实施例,连续测量相机运动水平包括从相机的运动传感器接收输入的步骤,输入与运动传感器感测的相机运动有关。运动传感器可以是任何合适类型的运动传感器,诸如振动传感器、陀螺仪、加速度计、红外传感器等。该传感器可以已经存在于相机上并且因此为了该原因也可以采用。可替代地或额外地,根据一些实施例,连续测量相机运动水平包括步骤:从相机的摇摄/倾斜PT电动机接收输入,输入与PT电动机引起的相机运动相关。这可以是有利的,在相机的实际移动之前接收该输入并且算法可以因此利用相机将移动的认知。

在第三方面中,本发明提供了一种计算机程序产品,包括具有当由具有处理能力的装置执行时适用于执行第一特征方面方法的至少一部分的指令的计算机可读存储介质。根据一些实施例,计算机程序产品包括具有适用于执行第一特征方面的整个方法的指令的计算机可读存储介质。根据其他实施例,计算机程序产品包括具有适用于执行第一特征方面的方法与自动聚焦算法有关的步骤的指令的计算机可读存储介质。

在第三特征方面中,本发明提供了一种用于设置包括卷帘快门图像传感器和聚焦镜头装置的相机的焦点的装置,装置被设置用于:

-接收与由卷帘快门图像传感器捕捉的一个或多个图像帧相关的像素数据,其中卷帘快门图像传感器包括多个像素区域,其中卷帘快门图像传感器在图像帧的捕捉期间一次从一个像素区域读出像素数据,

-接收与像素数据相关联并且指示了在从多个像素区域读出像素数据期间测得的多个相机运动水平的运动数据,其中在像素数据的读出期间连续地测量相机的相机运动水平,

-使用自动聚焦算法设置相机的焦点,自动聚焦算法将一个或多个图像帧中的每一个划分为多个焦点窗口,其中每个焦点窗口包括多个像素区域中的一个或多个的像素数据,

其中自动聚焦算法包括,针对多个焦点窗口中的每个焦点窗口,

-基于该焦点窗口中所包括的像素数据计算该焦点窗口的焦点测量值,

-基于与该焦点窗口中所包括的像素数据相关联的运动数据计算该焦点窗口的运动水平,

-通过由至少该焦点窗口的运动水平加权该焦点窗口的焦点测量值而计算该焦点窗口的加权焦点测量值。

该装置可以实施在相机中或者是与相机分立并且有线地或无线地耦合至相机的分立装置中。

第二和第三特征方面可以通常具有与第一特征方面相同的特征和优点。

附图说明

参考附图通过本发明实施例的以下示意性和非限定性详细说明将使得本发明的以上以及额外的目的、特征和优点更好理解,其中相同附图标记将用于类似元件,其中:

图1示出了由卷帘快门图像传感器捕捉的图像帧,其中由卷帘快门图像传感器读出的像素数据与运动数据相关联,

图2a-图2b示出了在测得的相机运动水平与得到的运动数据之间的映射函数的示例,

图3示出了图1的图像帧的基于相位的焦点测量值的曲线图,

图4示出了根据本发明实施例的如何使用基于对比度的焦点测量值而设置相机焦点,

图5示出了根据本发明实施例的对于基于对比度的焦点测量值如何使用登山算法设置相机焦点,

图6示出了根据本发明实施例的用于设置相机测量值的焦点的自动聚焦方法,

图7示出了根据本发明实施例的用于设置相机焦点的装置,

图8示出了根据本发明其他实施例的用于设置相机焦点的装置。

具体实施方式

在具有卷帘快门图像传感器的相机中,因为在稍微不同的时刻读取像素的线(行或列),一些读数可以受振动(由例如陀螺仪或加速度计、或者借由PT信号而感知)影响而一些不会。这在图1中描述。在图1的示意性示例中,卷帘快门图像传感器包括四个像素区域。在捕捉相机正面的场景期间,卷帘快门图像传感器读出四组像素数据106a-d。换言之,图像帧100的像素数据包括像素104的四行106a-d。因为连续地测量相机的振动和/或其他移动,每个像素104可以与相机运动水平102(由图1中箭头所表示,其中箭头的长度表示运动量,并且箭头的方向示意性地表示移动的方向)相关联。应该注意的是可以在读出图像帧100包括的像素数据期间,针对每个像素区域而测量相机运动水平102,或者每隔一个像素区域、或者以任意其他次数而测量相机运动水平102。测得的运动水平用于产生与像素数据相关联的运动数据。

根据一些实施例,运动数据可以是测得的运动水平的直接数字表示。

根据其他实施例,运动数据可以表示测得的运动水平的映射数字表示。这种映射在图2a-b中示出。

例如,在图2a中,当相机运动水平102低于预定相机运动水平114时,运动数据112可以设置为第一数值,并且当相机运动水平102等于或者高于预定相机运动水平114时,运动数据112可以设置为第二数值。该实施例可以例如用于在自动聚焦算法中从稍后使用省略图像帧100的像素数据104的一部分(在相机运动水平102等于或高于预定相机运动水平114情况下),而当稍后用于自动聚焦算法中时与低于预定相机运动水平114的相机运动水平102相关联的像素数据104的一部分可以不受影响。

另一映射函数在图2b中示出,其中当相机运动水平102低于第一预定相机运动水平116时,运动数据112设置为第一数值。当相机运动水平102高于第二预定相机运动水平118时,运动数据112设置为第二数值,并且当相机运动水平在第一预定相机运动水平116和第二预定相机运动水平118之间时,运动数据112设置为在第一数值和第二数值之间的另一数值,其中另一数值与相机运动水平102相关。类似于图2a中所示的实施例,该实施例可以省略一部分像素数据(与等于或者高于第二预定相机运动水平118的相机运动水平102相关联)并且当稍后用于自动聚焦算法中时保留像素数据的另一部分(与低于第一预定相机运动水平116的相机运动水平102相关联)不受影响。但是与图2a中实施例相反,当稍后用于自动聚焦算法时,与在第一预定相机运动水平116和第二预定相机运动水平118之间的相机运动水平102相关联的像素数据的重要性可以根据在读出所述像素数据期间相机的移动量而改变。

为了自动聚焦的目的,将图像帧划分为多个焦点窗口108a-b。在图1中,每个焦点窗口108a-b包括两行像素,例如上部焦点窗口108a包括两个上部像素行106a-b。根据其他实施例,每个焦点窗口可以包括一个、三个、五个或任意其他合适数目的像素行。此外,焦点窗口可以根据一些实施例不包括整个行而是替代地每个图像帧100可以沿水平方向以及沿垂直方向划分为焦点窗口。

运动数据用于针对每个焦点窗口108a-b计算运动水平。可以使用与焦点窗口中所包括像素数据相关联的所有运动数据相加而计算运动水平。也可以基于与焦点窗口中所包括像素数据相关联的任何运动数据的最大值或者与焦点窗口中所包括像素数据相关联的所有运动数据的平均值而计算运动水平。可以使用计算焦点窗口的运动水平的任何其他合适的方式。

焦点窗口的运动水平随后可以用于以至少焦点窗口的运动水平对焦点窗口的焦点测量值加权而为焦点窗口计算加权焦点测量值。基于焦点窗口中所包括的像素数据计算焦点窗口的焦点测量值。从像素数据计算焦点测量值是广泛已知的过程并且因此在该文件中仅简要描述。

图3示出了图1的图像帧的基于相位的聚焦测量值的曲线图。在该情形中,自动聚焦算法仅需要一个图像帧。上部曲线图涉及上部焦点窗口108a并且下部曲线图涉及下部焦点窗口108b。简言之,虚线曲线202是从焦点窗口108a的像素数据推得的第一偏移图像的焦点曲线图,并且实线曲线204是从焦点窗口108a的像素数据推得的第二偏移图像的焦点曲线图。两条曲线202、204的最大值之间的距离206对应于相位差(或分离误差)。使用距离206推得焦点窗口108a的焦点测量值。下部曲线图以类似方式示出了焦点窗口108b的焦点测量值,其中两条曲线208、210的最大值之间的距离212对应于相位差或分离误差。从距离212推得焦点窗口108b的焦点测量值。

距离206描述了20个像素的分离误差,而距离212描述了25个像素的分离误差。可以注意的是,数目20和25仅视作是纯粹为了简化一般原理的解释说明而使用的示例。可以使用不同的数字值,并且也可以以其他术语表示分离误差,诸如相位差的度数。在不应用两个分离误差的加权的情况下,自动聚焦算法可以导致基于22.5个(20+25的平均值)像素的分离误差而设置相机的焦点。计算分离误差以便于找到物体是在前焦点还是后焦点位置。分离误差转换为焦点测量值(焦点距离、焦点误差等),其用作相机焦点的所需改变量的估算值(例如通过焦点环形移动)。然而,图1中很明显,在相机移动期间读出上部焦点窗口108a中所包括的像素数据106a-b,而在相机不移动期间读出下部焦点窗口108b中所包括的像素数据106c-d。因为本发明涉及基于至少焦点窗口的运动水平而加权焦点测量值,所以当设置相机焦点时,上部焦点窗口108a的焦点测量值可以视为不如下部焦点窗口108b的焦点测量值那么重要。

例如,在读出上部焦点窗口中所包括的像素数据期间测得的相机运动水平可以如图结合2a所述高于预定相机运动水平。在该情形中,如果采用了结合图2a所述的映射函数,并且运动数据112的第二数值导致以零权重对焦点窗口108a的焦点测量值加权,则当设置相机焦点时可以完全忽略来自上部焦点窗口108a的焦点测量值。这接着意味着将仅采用来自下部焦点窗口108b的焦点测量值并且因此导致可以基于25个像素的分离误差而设置相机的焦点。

根据另一示例,采用权重0.2对来自上部焦点窗口108a的焦点测量值加权,而采用权重0.8对来自下部焦点窗口108b的焦点测量值加权。在该情形中可以基于24(20*0.2+25*0.8)个像素的分离误差而设置相机的焦点。换言之,基于仅一个图像帧100的多个焦点窗口108a-b中的每一个的加权焦点测量值的平均值而设置相机的焦点。

应该注意的是可以用大量不同方式计算该说明书中所述的权重。例如,可以采用类似于图2a-b中所述映射函数的运动数据的预定阈值。此外,权重可以计算为运动数据的倒数,例如1/(1+sum(运动数据))。

可以在与焦点测量值相乘之前归一化权重。

图4描述了其中采用基于对比度的焦点测量值的AF算法的实施方式。对于该实施方式,捕捉多个图像帧100a-f,每个图像帧使用聚焦镜头装置的不同焦点设置而捕捉。

AF算法将多个图像帧100a……f中的每一个划分为多个焦点窗口108a-c。通过确定焦点窗口中的对比度的量,例如通过对焦点窗口像素数据使用苏贝尔(Sobel)算符,而计算焦点窗口的焦点测量值。图4示出了每个焦点窗口108a-c的焦点测量值如何针对聚焦镜头装置的不同焦点设置而改变。在图4中,由实线404表示焦点窗口108a的焦点测量值,由虚线408表示焦点窗口108b的焦点测量值,并且由点划线406表示焦点窗口108c的焦点测量值。

如图4中可见,焦点窗口108b-c的焦点测量值均增大,直至达到用于图像帧100d的焦点设置并且随后减小。然而,对于焦点窗口108a,焦点测量值在图像帧100c和图像帧100d之间骤然下跌。

如果使用来自不同焦点窗口的焦点测量值的直线平均(由黑点402表示),则自动聚焦算法将确定图像100c的焦点设置是最佳的。然而,因为在大大影响了该焦点窗口的焦点测量值的相机运动水平期间读出在图像帧100d的焦点窗口108a中所包括的像素数据,所以与所有图像100a-f中的焦点窗口108a相关的焦点测量值读数的重要性将降低。

得到该结论是因为,针对计算的焦点窗口108a的所有焦点测量值,使用每个图像帧100a-f中焦点窗口108a的运动水平而计算合成运动水平。换言之,由于影响该合成运动水平的帧100d的高运动水平,在所有多个图像帧100a-f中焦点窗口108a的焦点测量值的重要性将降低。因此相比于加权焦点窗口108b-c的焦点测量值,采用更低的权重而加权图像帧100a-f中焦点窗口108a的焦点测量值。

例如,用于焦点窗口108a的焦点测量值的权重可以是零,这意味着将省略该焦点窗口的焦点测量值读数。返回至图4,明显的是,当忽视对应于焦点窗口108a的焦点测量值的实线404时,用于图像100d的焦点设置给出了最高平均值,并且因此,自动聚焦算法将随后得出结论,图像100d的焦点设置反而是最佳的。

可以注意的是,所述合成运动水平也可以以类似于结合以上附图2a-b以及图3所述类似的方式而映射至权重。

替代于总是针对相机的聚焦镜头装置的所有可能的焦点设置捕捉图像帧,可以采用登山算法。这意味着只要焦点窗口的焦点测量值(或例如平均焦点测量值)增大,就测试另外的焦点设置,但是当焦点测量值开始减小时,不再测试另外的焦点设置并且迄今给出了最佳结果的焦点设置被用于设置相机的焦点。

对于该算法,仅将当前焦点设置的焦点测量值与在前焦点设置的焦点测量值比较。因此,在本发明的上下文中,自动聚焦方法一次仅使用两个图像帧。除了使用登山算法之外,用于图5中曲线的焦点测量值读数和情况与图4中的那些相同。如图5中所示(在虚线区域502内)典型的自动聚焦算法(使用焦点测量值402的平均值)的使用将导致当设置相机的焦点时选择用于图像帧100c的聚焦镜头装置的焦点设置。

然而,因为假设在捕捉图像100d中焦点窗口108a的像素数据的时刻相机在移动,所以应该基于从图像帧100d和图像帧100c的运动水平计算得到的高合成运动水平而加权图像100c-d的焦点窗口108a的焦点测量值。以该方式,焦点窗口108a的焦点测量值,实线404,在图像帧100c和图像帧100d之间骤然下跌的重要性将减小,并且登山算法将针对至少一个焦点设置(图像帧100e)继续并且随后确定用于图像帧100d的焦点设置是最佳的。

现在将结合图6-8描述用于设置包括了卷帘快门图像传感器和聚焦镜头装置的相机的焦点的装置。在图7中,装置710实施在相机700内,而在图8中,装置710实施为与相机700分离但是与相机700通信。相机700包括卷帘快门图像传感器702,其包括多个像素区域(例如像素的行或列)。卷帘快门图像传感器配置为在使用相机捕捉图像帧期间一次从一个像素区域读出像素数据。

相机还包括用于在由卷帘快门图像读取器702读出像素数据期间连续地测量S604相机运动水平的运动水平测量装置703。运动水平测量装置703可以例如是运动传感器706(振动传感器、陀螺仪、加速度计、红外传感器等)。替代地或额外地,运动水平测量装置703可以从相机的摇摄/倾斜PT电动机704接收输入,该输入与由PT电动机704引起的相机运动相关。

相机700进一步包括聚焦镜头装置708。

用于设置相机700的焦点的装置710被设置为接收与由卷帘快门图像传感器702捕捉S602的一个或多个图像帧相关的像素数据,并且进一步接收与像素数据相关联并且指示了在由卷帘快门图像传感器702从卷帘快门图像传感器702的多个像素区域读出像素数据期间由运动水平测量装置703测量S604的多个相机运动水平的运动数据。在图8的实施例中,可以由用于设置相机700的焦点的装置710以任何合适的通信方式诸如经由有线或者使用诸如蓝牙、WiFi等的任何无线通信协议而接收该数据。

用于设置相机700的焦点的装置710被设置为使用由装置710实施的自动聚焦算法而经由聚焦镜头装置708设置相机的焦点。装置710可以例如包括处理器(例如现有的计算机处理器,或者用于合适系统的专用计算机处理器),其可以运行包括具有用于执行自动聚焦算法的指令的计算机可读存储介质的计算机程序产品。

自动聚焦算法函数包括,如上结合图1-5更详细所述的,针对多个焦点窗口中的每个焦点窗口,基于该焦点窗口中所包括的像素数据计算S606该焦点窗口的焦点测量值,基于与该焦点窗口中所包括的像素数据相关联的运动数据而计算S608该焦点窗口的运动水平,并且通过以至少该焦点窗口的运动水平加权该焦点窗口的焦点测量值而计算S612该焦点窗口的加权焦点测量值。

可选地,如果采用基于对比度的自动聚焦算法,则自动聚焦算法进一步包括使用该焦点窗口的运动水平以及多个图像帧中剩余图像帧中的每个中的对应焦点窗口的运动水平而计算S610合成运动水平。在该情形中,步骤S606中计算的焦点测量值以运动的合成运动水平加权。

最终,使用例如自动聚焦算法的输出设置S614相机的焦点。

尽管附图可以显示方法步骤的特定顺序,步骤的顺序可以不同于所示出的。此外可以同时地或者部分同时地执行两个或多个步骤。例如,使用卷帘快门图像传感器702捕捉S602一个或多个图像帧的步骤以及测量S604相机的相机运动水平以用于产生运动数据的步骤优选地使用例如相机700的分立处理器或者相机700的单个处理器的分立线程而同时执行。该变化将取决于所选择的软件和硬件系统以及设计者的选择。所有这些变化在本公开的范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1