用于连续自动聚焦(CAF)的系统和方法与流程

文档序号:11519797阅读:624来源:国知局
用于连续自动聚焦(CAF)的系统和方法与流程

本申请案大体涉及成像系统,且更具体地说,涉及追踪对象以用于连续自动聚焦。



背景技术:

自动聚焦系统自动调整镜头元件与图像传感器之间的距离以保持对象焦点对准。这些系统中的许多基于正聚焦的图像内的高频内容来确定最佳焦点。举例来说,使高频内容最大化的镜头位置可表示具有最佳对比率和因此最佳焦点的图像。然而,当对象相对于相机移动时,现有自动聚焦系统可失去焦点。因此,存在对于连续且自动维持对移动对象的焦点的系统和方法的需求。



技术实现要素:

接下来是本发明的样本方面的概述。为方便起见,本发明的一或多个方面可在本文中简单地被称作“一些方面”。

本文中揭示的方法和设备或装置各自具有若干方面,所述方面中的任何单一者均不独自负责其合乎需要的属性。在不限制(例如)如由以下权利要求书所表示的本发明的范围的情况下,现将简要地论述其较显著的特征。在考虑这个讨论之后,且明确地说,在阅读名为“具体实施方式”的章节之后,人们将理解所描述的特征如何提供包含允许追踪对象以用于连续自动聚焦的优点。

一个方面为一种聚焦相机的方法。在各种实施例中,所述方法可包含依序捕获场景的第一和第二图像。所述方法可进一步包含确定所述第一图像中的第一对象的第一大小。所述方法可进一步包含确定所述第二图像中的所述第一对象的第二大小。所述方法可进一步包含基于所述第一大小与所述第二大小之间的差来聚焦所述相机。

对于一些实施方案,所述方法可进一步包含确定第一界限区域包含所述第一图像中的所述第一对象。对于一些实施方案,所述方法可进一步包含确定第二界限区域包含所述第二图像中的所述第一对象。对于一些实施方案,所述方法可进一步包含基于所述第一界限区域与所述第二界限区域之间的差来聚焦所述相机。

对于一些实施方案,所述方法可进一步包含基于所述第一界限区域的面积与所述第二界限区域的面积之间的差来聚焦所述相机。

对于一些实施方案,所述方法可进一步包含确定所述第二界限区域的面积与所述第一界限区域的面积之间的比率。对于一些实施方案,所述方法可进一步包含基于所述比率小于大小减小阈值或超过大小增大阈值来聚焦所述相机。

对于一些实施方案,所述方法可进一步包含如果所述差超过区域差阈值,那么聚焦所述相机。对于一些实施方案,所述方法可进一步包含如果所述差不超过所述区域差阈值,那么维持所述相机的所述焦点。

对于一些实施方案,所述方法可进一步包含将所述第一和第二图像分段成多个对应的区域。对于一些实施方案,所述方法可进一步包含确定所述第一图像中的第一区域包含所述第一对象,和所述第二图像中的对应的第二区域。对于一些实施方案,所述方法可进一步包含确定所述第一区域与所述第二区域中的图像内容之间的第一差。对于一些实施方案,所述方法可进一步包含基于图像内容的所述第一差聚焦所述相机。

对于一些实施方案,所述方法可进一步包含当聚焦所述相机时,排除考虑所述多个区域中经确定不包含所述第一对象的区域。

对于一些实施方案,所述方法可进一步包含确定所述第二图像中的第三区域包含所述第一对象。对于一些实施方案,所述方法可进一步包含在第三时间捕获所述对象的第三图像,所述第三时间在所述第二时间后。对于一些实施方案,所述方法可进一步包含确定对应于所述第三区域的所述第三图像中的第四区域。对于一些实施方案,所述方法可进一步包含确定所述第三区域与所述第四区域中的图像内容之间的第二差。对于一些实施方案,所述方法可进一步包含响应于图像内容的所述第二差聚焦所述相机。

另一方面为一种成像设备。所述成像设备可包含相机,其被配置以依序捕获场景的第一和第二图像。所述成像设备可包含与所述相机通信的处理器。所述处理器可被配置以确定所述第一图像中的第一对象的第一大小。所述处理器可被进一步配置以确定所述第二图像中的所述第一对象的第二大小。所述成像设备可包含相机控制器,其被配置以基于所述第一大小与所述第二大小之间的差聚焦所述相机。

对于一些实施方案,所述处理器被进一步配置以确定第一界限区域包含所述第一图像中的所述第一对象。用于一些实施方案,所述处理器被进一步配置以确定第二界限区域包含所述第二图像中的所述第一对象。对于一些实施方案,所述处理器被进一步配置以基于所述第一界限区域与所述第二界限区域之间的差来聚焦所述相机。

对于一些实施方案,所述相机控制器被进一步配置以基于所述第一界限区域的面积与所述第二界限区域的面积之间的差来聚焦所述相机。

对于一些实施方案,所述处理器被进一步配置以确定所述第二界限区域的面积与所述第一界限区域的面积之间的比率。对于一些实施方案,所述相机控制器被进一步配置以基于所述比率小于大小减小阈值或超过大小增大阈值来聚焦所述相机。

对于一些实施方案,所述相机控制器被进一步配置以如果所述差超过区域差阈值,那么聚焦所述相机。对于一些实施方案,所述相机控制器被配置以如果所述差不超过所述区域差阈值,那么维持所述相机的所述焦点。

对于一些实施方案,所述处理器被进一步配置以将所述第一和第二图像分段成多个对应的区域。对于一些实施方案,所述处理器被进一步配置以确定所述第一图像中的第一区域包含所述第一对象,和所述第二图像中的对应的第二区域。对于一些实施方案,所述处理器被进一步配置以确定所述第一区域与所述第二区域中的图像内容之间的第一差。对于一些实施方案,所述相机控制器被进一步配置以基于图像内容的所述第一差聚焦所述相机。

对于一些实施方案,所述处理器被进一步配置以当聚焦所述相机时,排除考虑所述多个区域中经确定不包含所述第一对象的区域。

对于一些实施方案,所述处理器被进一步配置以确定所述第二图像中的第三区域包含所述第一对象。对于一些实施方案,所述处理器被进一步配置以在第三时间捕获所述对象的第三图像,所述第三时间在所述第二时间后。对于一些实施方案,所述处理器被进一步配置以确定对应于所述第三区域的所述第三图像中的第四区域,其中所述处理器被进一步配置以确定所述第三区域与所述第四区域中的图像内容之间的第二差,且其中所述相机控制器被进一步配置以响应于图像内容的所述第二差聚焦所述相机。

另一方面为一种成像设备。所述设备可包含用于依序捕获场景的第一和第二图像的装置。所述设备可包含用于确定所述第一图像中的第一对象的第一大小的装置。所述设备可包含用于确定所述第二图像中的所述第一对象的第二大小的装置。所述设备可包含用于基于所述第一大小与所述第二大小之间的差来聚焦所述捕获装置的装置。

对于一些实施方案,所述捕获装置可包含相机。对于一些实施方案,所述第一大小确定装置可包含处理器。对于一些实施方案,所述第二大小确定装置可包含处理器。对于一些实施方案,所述聚焦装置可包含相机控制器。

另一方面为一种非暂时性计算机可读媒体,其存储用于聚焦相机的指令,所述指令在经执行时执行方法。所述方法可包含依序捕获场景的第一和第二图像。所述方法可包含确定所述第一图像中的第一对象的第一大小。所述方法可包含确定所述第二图像中的所述第一对象的第二大小。所述方法可包含基于所述第一大小与所述第二大小之间的差来聚焦所述相机。

附图说明

图1说明包含可记录场景的图像的成像系统的设备(例如,移动通信装置)的实例。

图2是追踪对象以用于连续自动聚焦的成像系统的实施例的实例的框图表示。

图3是说明用于连续自动聚焦的方法的实例的流程图。

图4是包含在三个不同时间的监测区域内的对象的场景的表示:在聚焦对象后,在对象移动前,和在对象移动到新位置后。

图5是对象从第一图像中的第一监测区域中的第一位置移动到第二图像中的第二监测区域中的第二位置的表示,对于所述对象,监测区域的改变触发监测区域以及聚焦事件的切换。

图6展示如与对象的第一大小相比在不同大小比率下的界限框内的对象的表示,对于所述对象,当大小比率的改变小于界限框比率减小阈值时,或当大小比率的改变大于界限框比率增大阈值时,触发聚焦事件。

图7是说明根据本文中所描述的实施例的用于连续自动聚焦的过程的方法的流程图。

具体实施方式

以下详细描述是针对本发明的某些特定实施例。然而,本发明可以大量不同方式体现。应当显而易见的是,本文中的方面可以多种形式体现,并且任何特定结构、功能或本文所揭示的这两者仅为代表性的。基于本文中的教示,所属领域的技术人员应了解,本文中所揭示的方面可以独立于任何其它方面而实施,且可以各种方式组合这些方面中的两个或更多个方面。举例来说,可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。此外,使用除了在本文中所阐述的方面中的一或多个之外或不同于在本文中所阐述的方面中的一或多个的其它结构、功能性或结构和功能性可以实施此设备或可以实践此方法。

另外,本文中描述的系统和方法可实施于代管相机的多种不同计算装置上。这些包括移动电话、平板计算机、专用相机、可佩戴式计算机、个人计算机、照相间或亭、个人数字助理、超移动个人电脑和移动互联网装置。它们可使用通用或专用计算系统环境或配置。可适合供本发明使用的计算系统、环境和/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式装置或笔记本电脑装置、多处理器系统、基于微处理器的系统、可编程消费型电子装置、网络pc、微型计算机、大型计算机,包含上述系统或装置中的任一个的分布式计算环境和类似者。

自动聚焦系统测量在镜头元件与图像传感器之间的不同距离的焦点参数,且选择最佳化所述焦点参数的距离。举例来说,所述焦点参数可为视野的一部分中的高频内容的测量,这是由于焦点对准的图像通常具有比离焦图像频率高的内容。现有系统通过基于视野的一部分确定焦点参数来减少测量全部视野的焦点参数的计算负荷。所述部分可为视野的中心区域、由用户选择的区域或包含对象的区域。所述对象可被自动检测到(例如,使用自动面部辨识),或由用户选择。不管是中心视野、由用户选择的区域、包含自动检测到的对象的区域还是包含由用户选择的对象的区域,按镜头元件与图像传感器之间的不同差来计算用于视野的此部分的焦点测量,且选择最佳化所述焦点参数的距离。控制器将镜头移动到具有最适宜的焦点参数的距离以聚焦图像。然而,当对象移动时,现有自动聚焦系统可失去焦点。

对象可在由自动聚焦系统监测的视野的一部分内移动,或移动到未由自动聚焦系统监测的视野的一部分。除了侧向移动之外,对象可在其移动得更靠近相机时显得较大,或在其移动得更远离相机时显得较小。这些事件中的每一个可使对象失去焦点。因此,当对象移动时,本文中揭示的连续自动聚焦系统可触发聚焦事件。

可使用触摸屏选择待聚焦的对象,或使用图像处理和图案辨识技术自动确定待聚焦的对象。对象可围封于例如界限框或凸包的壳体中。通常为小矩形形状(包含对象)的界限框可用以测量焦点参数。所述界限框可为最小界限框。在一些方面,界限框的侧可与图像的行和列对准。

连续自动聚焦系统可将其视野划分成不重叠监测区域。举例来说,一些实施方案可具有由四个行和四个列(4×4)组成的监测区域。在一些实施方案中,行与列的数目可相等,例如,2×2、3×3、4×4、8×8、16×16,或在一些其它实施方案中,监测区域可不对称,且布置为(例如)2×4或4×2。连续自动聚焦系统可监测这些区域的子集以确定焦点参数,而非监测全部视野。一些实施方案可测量(例如)一个、两个、三个或四个区域。举例来说,在具有12个区域的实施方案中,如果监测只一个区域,那么监测视野的仅十二分之一。

揭示的连续自动聚焦系统可首先识别可包含对象的所有区域的子集。对于一些实施方案,可定义“包含对象”以允许对象包含在仅一个区域中。这些实施方案可(例如)将包含对象定义为包含对象的质心、界限区域的中心、对象的面积中比任一其它区域大的部分或界限区域的面积中比任一其它区域大的部分中的一个。对于一些实施方案,可定义“包含对象”以允许对象包含在多于一个区域中。这些实施方案可(例如)将包含对象定义为包含对象的一部分或界限区域的一部分中的一个。

在识别可包含对象的所有区域的一子集后,揭示的系统使用用于子集的焦点参数来聚焦所述对象。当聚焦相机时,可排除考虑不在子集中的其它区域。一旦聚焦,连续自动聚焦系统比较用于聚焦的帧的子集中的区域与后续图像中的对应的区域。当存在差时,例如,当差超过阈值时,连续自动聚焦系统可触发聚焦事件。如果对象移动到不在监测的区域的当前子集中的不同区域,那么连续自动聚焦系统可包含区域的子集中的新区域。另外,可从正被监测的区域的子集去除其它区域。当对象移动到不同区域时,也可触发聚焦事件。

在一些方面,可监测单个区域。在这些方面,如果对象跨越多于一个区域,那么可基于例如具有对象质心的区域、具有界限框的中心的区域或具有对象的最大百分比的区域或具有对象的界限框/壳体的最大百分比的区域的准则来指派用于对象的监测的区域。

连续自动聚焦系统可自从前一聚焦事件来追踪对象的大小。举例来说,如果对象移动得更靠近或更远离相机,那么大小可改变。可直接在每一图像内,或换句话说,基于对象自身的边界轮廓来测量对象的大小。替代地,用于对象的界限框/壳体的大小可用以估计对象的相对大小。可将界限框的面积的改变用作自从前一聚焦事件以来的对象大小的改变的估计。对于一些实施方案,连续自动聚焦系统使用自从最后一个聚焦事件的大小的比率或百分比改变。

因此,当存在对象的图像的大小的改变、存在正监测区域(即,定位对象的区域)的改变或存在监测的区域的图像内容的改变时,一些实施方案触发焦点事件改善对移动对象的聚焦。也可比现有系统有效地且按较大计算效率来实现聚焦。

图1说明包含可记录场景的图像的成像系统的设备100(例如,移动通信装置)的实例。设备100包含显示器120。设备100还可在设备的相反侧上包含相机,其未图示。显示器120可显示在相机的视野130内捕获的图像。设备100内的处理逻辑可将视野130划分成具有区域边界140的多个区域。图1展示在视野130内的对象150(人)。所述对象150还在区域145内。设备100内的处理逻辑可检测到对象150且确定围封对象150的界限区域。在一些方面,确定的区域可为多边形或矩形。如所展示,设备100内的处理逻辑确定围封对象150的界限区域(界限框)160。在此实例中,将界限框160与组成视野130的成像元件的行和列对准。在一些方面,界限区域可仅足够大得围封对象150,且因此为最小界限框。

图2为图1中展示的设备100的实施例的内部框图。所述设备100包含相机110、显示器120、用户输入装置240、电子处理器250和电子存储器260。处理器250可操作地连接到显示器120、相机110、用户输入装置240和存储器260。相机110包含镜头210、相机控制器220和成像传感器230。相机控制器220和成像传感器与处理器250通信。

成像传感器(图像传感器,传感器)230按由传感器230的分辨率限制的空间分辨率捕获图像。传感器116可包括可使用半导体技术(例如,带电耦合装置(ccd)或互补金属氧化物半导体(cmos)技术)的图元(像素)的行和列,所述技术在每一图像帧的曝光周期期间确定每个像素处的入射光的强度。在一些实施例中,可将入射光滤波到一或多个光谱范围以拍摄彩色图像。举例来说,传感器116上的拜耳滤波器马赛克可使用红色、绿色及蓝色滤波器滤波光以捕获全色三个频带图像。

相机控制器230可可操作地控制镜头210(或至少一个镜头元件)的移动以用于聚焦,控制孔隙的大小和/或孔隙打开多长以控制曝光(和/或曝光周期),和/或控制传感器230性质(例如,增益)。

存储器260可存储配置处理器250执行功能的处理器指令。举例来说,所述指令可配置处理器以使用相机110捕获一或多个图像,和在显示器120上显示捕获的图像。所述指令还可配置处理器250以执行多种图像处理任务,包含本文中论述的成像处理方法。

对于一些实施例,处理器160可执行(或处理)与以下图3中描绘的流程图中的框相关联的功能性。举例来说,处理器250可被配置以执行(或处理)选择对象310功能性、聚焦对象320功能性、监测具有对象的区域330功能性、确定是否改变区域中的图像功能性340、追踪对象位置350功能性、确定是否改变对象区域360功能性、改变区域功能性、追踪对象大小380功能性和/或确定是否改变对象大小390功能性。在一些方面,处理器可由存储于存储器260中的指令配置以执行以下关于图7论述的一或多个功能。

显示器120被配置以显示从处理器160传达到显示器120的图像。对于一些实施方案,显示器120显示用户反馈,例如,对于指示选定帧段的触摸到焦点的注释。对于一些实施方案,显示器120显示提示用户输入的菜单。

用户输入装置240被配置以接受用户输入。在一些实施例中,用户输入装置240为显示器120中包含的触摸屏。在一些实施方案中,触摸屏240接受来自用户的多点触摸输入。在一些实施方案中,存储器260中的指令可配置处理器接受来自用户输入装置240的选择图像内的区域的输入。选定区域可含有用户希望相机聚焦于的对象。在一些实施方案中,可将多个区域叠加到显示器120上显示的图像上。用户输入装置240可接收选择叠加的区域中的一个的输入。选定区域可接着由处理器250用以确定相机110的焦点。

图3为用于连续自动聚焦的实例方法300的流程图。在框310,方法300选择对象。方法300可或自动或手动地选择对象。在一些方面,处理器250可基于图像中的多个强度值使用对象检测或对象识别系统自动选择对象。对于一些实施方案,处理器250可使用面部辨识技术识别对象。用以自动识别对象的方法可取决于应用或情境,所述应用或情境可为用户通过用户输入装置240可选择。

在一些方面,对象的选择可基于从用户输入装置240接收的输入。举例来说,如上所论述,用户可使用用户输入装置240选择对象或图像的区域。在一些方面,输入可指定大体上围封对象的界限框的拐角。在允许用户选择图像的区域的实施方案中,在框310中,处理器250可接着执行在选定区域内的对象检测以选择对象。

在框315中,方法300确定用于对象的监测区域。在一些方面,可将成像传感器的视野划分成多个区域。那些区域中的一或多个可选择为用于选定对象的监测区域。如上所论述,监测的区域可包含选定对象的所有或相当大部分。在一些方面,方法300可围封对象;例如,通过产生围绕一或多个选定区域内的选定对象的界限区域。在一些方面,界限区域可为最小界限框,和/或形状似多边形或矩形。在一些方面,可将界限区域与图像的行和列对准。

在框320中,方法300使相机聚焦对象。在一些方面,基于在框315中确定的监测区域使相机聚焦对象。举例来说,可评估监测区域的图像内容以聚焦相机。在实施例中,在框320中,方法300可经过不同焦平面距离,测量在不同聚焦平面距离中的每一个处的监测的区域的焦点参数,和选择使焦点参数最佳化为使相机聚焦的聚焦平面的聚焦平面距离。举例来说,焦点参数可测量在特定焦距处的高频内容。在一些方面,在框320中,可聚焦相机,而不考虑不为在框315和/或370(以下论述)中确定的当前监测的区域的部分的一或多个区域。可排除考虑图像的一些区域,以减少与确定用于相机的最佳焦点位置相关联的计算附加项。通过减少需求处理的图像数据的量,可更快速且有效率地执行自动聚焦。

在框330中,方法300监测包含对象的区域的图像内容。如上所论述,方法300可将捕获的图像划分成不重叠区域。可基于在框310中选择的对象的位置来选择那些区域中的一或多个用于监测。可排除监测其它区域。

在决策框340中,如果区域中的图像已改变,那么在框320中,使相机重新聚焦于对象。在一些方面,在框340中区域是否已改变可基于改变的图像内容的量与阈值的比较。举例来说,如果改变的像素的数目超过阈值,那么在决策框340的一些实施方案中,将区域的图像内容视为改变。一些方面可确定当前图像与前一焦点应用到的图像之间的差图像。可将差图像的绝对值求和,且可将所述总和与区域差阈值比较以确定图像是否已充分改变以保证框320的重新聚焦。在一些方面,绝对值函数可由其它函数代替,例如,对差值求平方。在一些实施例中,方法300确定一或多个传感器230信息统计(例如,曝光或聚焦值)的差。在一些实施例中,不必寄存图像,因为全局运动(即,来自抖动)将触发重新聚焦。如果决策框340确定监测的区域中的图像尚未大体上改变(或大于阈值),那么方法300返回到框330,其继续经由额外依序捕获的图像监测区域。

框350追踪在以上论述的多个区域内的选定对象的位置。追踪选定对象的位置可包含产生指示对应的一系列图像帧中的对象的当前位置的一系列输出。这一系列输出可接着由以下详细论述的决策框360评估。

取决于实施方案,框350可使用多种方法追踪多个区域内的对象的位置。举例来说,在一些实施方案中,对象的位置可基于对象的计算的质心。在这些实施方案中,无论哪个区域拥有对象的质心,为被监测的区域。在这实施方案中,可不监测所有其它区域。

其它方面可追踪多个区域。举例来说,在一些方面中,可监测包含对象或界限对象的区域的至少一部分的所有区域。在这些实施方案中,可不监测不含有对象(或界限对象的区域)的部分的区域。

在其它实施方案中,可针对一系列对应的图像帧确定用于对象的一系列界限区域。可使用界限区域的中心点来确定在哪一(些)区域中定位对象。举例来说,如果中心进入新区域,那么可调整含有对象的区域以包含中心所位于的区域。可从包含所述对象的一组区域去除其它区域,举例来说,如果那些区域不再包含选定对象的任一部分。

选定对象的大小还可影响确定包含所述对象的区域。举例来说,如果选定对象朝向相机110移动,那么其可在相机110的视野内变得较大,且涵盖视野130的更多区域。在此情况下,可调整含有所述对象的区域以包含新区域。替代地,如果选定对象移动得离相机110更远,那么其可包含于比先前图像帧少的区域中。因此,在一些实施方案中,可调整确定包含所述对象的区域以去除不再包含选定对象的任一部分的区域。在其它实施方案中,随着对象移动得更远离,界限对象的区域的其质心和/或中心可改变区域。

基于由监测框330产生的输出,决策框360确定对象的位置是否已改变到不同区域。如果由框330产生的当前目标区域表示改变,那么可在框370中更新正被监测的区域。在一些方面,框370更新一组监测的区域以与确定包含对象的区域框350一致。因此,在框370中,可从所述一组监测的区域去除一或多个其它区域,举例来说,如果其不再包含选定对象的任一部分,那么对象的质心已移动到新区域,或界限区域的中心已移动到新区域。如上所论述,基于对象的质心的位置、大体上围封对象的界限区域的中心,或基于包含对象的至少一部分的区域,基于实施方案,在框370中,可将区域添加到一组监测的区域。

如果决策框360确定对象继续存在于当前监测的区域内,那么方法300返回到框350,其继续经由额外依序捕获的图像追踪对象的位置。

在框380中,方法300追踪对象大小。取决于实施方案,可使用多种方法确定对象的大小。在一些实施例中,方法300追踪围封对象的界限区域的面积,例如,围封对象的最小界限框。大小接着基于界限区域的面积。在一些方面,基于对象自身的实际大小,例如,基于包含于对象中的像素或图像元素的数目,确定大小。

在决策框390中,方法300确定对象大小是否在前一聚焦事件与当前图像帧之间改变。对于一些实施例,如果对象的大小相对于在先前聚焦的图像帧中的前一大小测量增大大于大小增大阈值,那么方法300通过移动到框320而触发聚焦事件。大小增大阈值可为1.01、1.05、1.1、1.15、1.2、1.25、1.3、1.35、1.4或其间的任一阈值。举例来说,阈值1.2可对应于自从前一聚焦事件的大小的20%增大。对于一些实施例,如果对象的大小减小大于大小减小阈值,那么方法300通过移动到框320而触发聚焦事件。举例来说,在一些实施方案中,大小减小阈值可为0.85,其对应于自从最后一个聚焦事件的大小的面积的15%减小。其它实施方案可利用0.99、0.95、0.9、0.8、0.75、0.7或这些值之间的任一大小减小阈值的大小减小阈值。如果决策框390确定对象的大小尚未大体上改变(或大于如上所论述的大小阈值),那么方法300返回到框380,其继续通过比较额外依序捕获的图像中的对象的大小与前一聚焦事件处的对象的大小来追踪对象的大小。

图3说明框330、350和380的并行操作。在其它实施方案中,这些操作可依序或以不同次序进行。因为一个聚焦触发器足够起始聚焦操作,所以在聚焦操作期间,可不存在监测区域、追踪对象位置和追踪对象大小的需求。

在一些实施方案中,如果方法300可不再识别选定对象(例如,对象移动出视图,或对象变得过小而不能被追踪),那么过程300可返回到框310,其中可选择新的对象。

图4是包含在三个不同时间的监测区域145内的对象150/450a/450b的场景的表示:在聚焦对象150后,在对象450a移动前,和在对象450b移动后。在聚焦对象后,对象150开始于位置151处。表示为对象450a的同一对象在移动前保持于位置151中。表示为对象450b的同一对象移动到位置152。因为当对象450a停留在位置151中时区域145中的图像并不改变,所以对象保持焦点对准且处理器250不触发聚焦事件。然而,当对象从位置151移动到位置152时,区域145中的图像确有改变。这改变触发聚焦事件,因为图像内容的差超过图像差阈值。

图5是对象从第一图像中的第一监测区域中的第一位置移动到第二图像中的第二监测区域中的第二位置的表示,对于所述对象,监测区域的改变触发监测区域以及聚焦事件的切换。图5展示场景中的对象150的两个图像。在聚焦后,具有中心点170的界限框160中的对象150在监测区域145中。在后续图像中,对象150沿着箭头180移动到监测区域545。这第二图像为对象154,其对应于场景中的同一人。这第二图像展示在具有中心点174的界限框164中的对象154。因为界限框的中心点174在区域545中,所以连续自动聚焦系统可将监测区域从区域145切换到区域545且触发聚焦事件。

图6说明选定对象150的大小的改变可触发聚焦事件的方式。在图6中,将对象150a到g展示为以多种大小描绘的同一对象。对象150a到g中的每一个由对应的界限框660a到g围封。对象150d表示开始大小(或位置)。在此实例中,可一开始使相机聚焦于对象150d。对对象150d的初始聚焦由散列标记620表示。在对象150d右边的对象(即,150e到g)比对象150d相对大,而在对象150d左边的对象(即,150a到c)比对象150d相对小。

在一些实施方案中,随着对象150d的大小在大小上改变(例如,由右边的位置表示,即,对象150e到g),一些实施方案可确定对象150d与(例如)对象150e的大小之间的大小比率。在一些方面,大小比率是基于对象150d和150e自身的面积。在其它方面,大小比率是基于限界框660d和660e的面积的比率。在一些方面,当大小或比率的改变大于阈值时,触发聚焦事件,如上关于图4和框380和390论述。

在图6中,虽然对象150e比对象150d大,但在所说明的实施方案中,大小并不足够大得超过大小阈值。因此,对象150d与150e之间的大小的改变不触发聚焦事件。然而,当对象在大小上进一步增大(如由对象150f表示)时,对象150d与150f之间的大小的差超过大小增大阈值,且触发聚焦事件。这由散列标记630表示。当对象在大小上从150f进一步增大到150g时,不触发聚焦事件。这可归因于对象150f与150g的大小之间的大小比率小于在说明的实施方案中使用的大小比率。注意,大小比率是基于当执行最后聚焦事件时的对象的大小。因此,将对象150e的大小和对象150f的大小都与对象150d的大小比较,这是由于对象150d是聚焦事件应用于的最后一个对象,如由散列标记620表示。相比之下,将对象150g的大小与对象150f的大小相比,这是由于那是聚焦应用于的最后一个对象,如由散列标记640表示。

当对象在大小上减小时,使用类似过程。举例来说,如果对象150d在大小上改变到由对象150c表示的大小,那么可确定在对象150d与对象150c的大小之间的大小比率。可将这差与大小减小阈值比较,且如果差超过阈值,那么可触发聚焦事件。在此实例中,基于缺乏对象150d与150c之间的散列标记,基于从150d到150c的改变,无事件被触发。类似地,大小从150c到150b的进一步减小仍然不导致聚焦事件,因为对象150d与150b之间的大小的差仍然不超过实例实施方案的大小阈值。然而,当对象在大小上进一步减小(如由对象150a表示)时,对象150a与150d之间的差超过大小阈值,且触发聚焦事件,如由散列标记610表示。注意,虽然大小的增大和大小的减小都可导致大小差与阈值之间的比较,但可将不同阈值用于每一情况。举例来说,一些实施方案可使用10%的大小增大或1.1的比率来触发聚焦事件,和使用8%的大小减小或0.92的比率来触发聚焦事件。其它实施方案可将类似阈值用于大小的增大和减小两者。举例来说,一些实施方案可使用大小的9%增大或减小来触发聚焦事件。

图7是说明根据本文中所描述的实施例的连续自动聚焦的方法700的流程图。在一些方面,存储于图2的存储器260中的指令配置处理器250以执行方法700的功能。在一些方面,图3的方法700和方法300被集成或为同一方法的部分。举例来说,方法300的“追踪对象大小”框380和390可至少对应于以下论述的方法700的框720到740。

在框710,方法700依序捕获场景的第一和第二图像。在一些实施方案中,框710的功能性中的至少一些可由图2中所说明的相机110执行。举例来说,在一些方面,存储于存储器260中的处理器指令可配置处理器250以控制相机110捕获第一和第二图像。

在框720,方法700确定所述第一图像中的第一对象的第一大小。在一些实施方案中,框720的功能性可由图2中所说明的处理器250执行。如上所论述,在一些方面,第一大小是基于界限第一图像内的第一对象的区域的面积,或基于第一图像中第一对象自身的面积。举例来说,面积可基于表示第一图像内的第一对象的像素或图像元素的数目。

在框730,方法700确定第二图像中的第一对象的第二大小。在一些实施方案中,框730的功能性可由图2中所说明的处理器250执行。如上所论述,在一些方面,第二大小是基于界限第二图像内的第一对象的区域的面积,或基于第二图像中第一对象自身的面积。

在框740,方法700基于第一大小与第二大小之间的差来聚焦相机。举例来说,框740可聚焦相机,如上关于图3和/或图6的框380和390所描述。

在一些方面,将第一图像与第二图像的大小之间的比率与一或多个阈值比较。举例来说,在一些实施方案中,第一临限值可小于一,且控制对象在第二图像中是否已在大小上减小(如与第一图像相比)到应重新聚焦相机的程度。在此实施方案中,所述比率可表示第二图像中的第一对象的大小,如与第一图像中的对象的大小相比。如果此比率小于第一临限值,那么可触发聚焦事件。类似地,可将此比率与大于一的第二阈值比较。如果所述比率超过第二阈值,那么一些实施方案可确定第二图像中的对象的大小比第一图像中的对象大到应重新聚焦相机的此程度。在一些实施方案中,可将一个阈值与两个计算的比率比较。举例来说,第一比率可表示第一大小/第二大小,而第二比率表示第二大小/第一大小。

所属领域的技术人员将理解,其它实施方案可倒转由单个计算的比率表示的第一与第二大小之间的关系,即,在其它实施方案中,相反比率可表示如与第二图像中的对象的大小相比,第一图像中的第一对象的大小。在这些实施方案中,所属领域的普通技术人员将理解,可识别两个阈值以实现聚焦事件,如上所述。

在一些实施方案中,框720的功能性可由图2中所说明的相机控制器220执行。在一些实施方案中,框720可由处理器250结合相机控制器220执行。举例来说,处理器250可确定第一大小与第二大小之间的差,且取决于差与一或多个阈值比较的方式,可命令相机控制器110聚焦相机。

方法700的一些方面可包含以上关于框330/340和/或350/360/370论述的功能中的一或多个。

应理解,对本文中使用例如“第一”、“第二”等等名称的元件的任何参考通常不限制那些元件的数量或次序。实际上,这些名称可在本文中用作区别两个或多于两个元件或元件的实例的方便方法。因此,对第一和第二元件的参考不意味着此处可使用仅两个元件或第一元件必须以某一方式在第二元件之前。并且,除非另外说明,否则一组元件可包括一或多个元件。另外,用于说明书或权利要求的形成“以下各者中的至少一个:a、b或c”的术语意味着“a或b或c或这些元件的任一组合”。

如本文中所使用,术语“确定”涵盖广泛多种动作。举例来说,“确定”可包含计算、运算、处理、导出、研究、查找(例如,在表、数据库或另一数据结构中查找)、判定和类似者。而且,“确定”可包含接收(例如,接收信息)、存取(例如,存取存储器中的数据)和类似者。并且,“确定”可包含解析、选择、挑选、建立和类似者。

如本文中所使用,提到一列项目“中的至少一个”的短语是指那些项目的任何组合,包含单个成员。作为实例,“a、b或c中的至少一个”意在涵盖:a、b、c、a-b、a-c、b-c和a-b-c。

以上描述的方法的各种操作可由能够执行所述操作的任何合适的装置来执行,例如,各种硬件和/或软件组件、电路和/或模块。通常,各图中所说明的任何操作可以由能够执行所述操作的对应功能装置执行。

可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其它可编程逻辑装置(pld)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器,但在替代方案中,处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,dsp与微处理器的组合、多个微处理器、一或多个微处理器结合dsp核心,或任何其它此配置。

在一或多个方面,所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体和通信媒体两者,通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。举例来说且非限制,此类计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或例如红外线、无线电和微波和无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、dsl或例如红外线、无线电和微波的无线技术包含于媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。因此,在一些方面,计算机可读媒体可包括非暂时性计算机可读媒体(例如,有形媒体)。此外,在一些方面,计算机可读媒体可包括暂时性计算机可读媒体(例如,信号)。以上的组合也应包含于计算机可读媒体的范围内。

本文中所揭示的方法包括用于达成所描述的方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非指定了步骤或动作的特定次序,否则在不脱离权利要求书的范围的情况下可修改特定步骤和/或动作的次序和/或使用。

另外,应了解,用于执行本文所描述的方法和技术的模块和/或其它适当装置可在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说,可将此装置耦合到服务器以促进传送用于执行本文中所描述方法的装置。替代地,可经由存储装置(例如,ram、rom、例如压缩光盘(cd)或软盘等的物理存储媒体)来提供本文中所描述的各种方法,使得用户终端和/或基站可在将存储装置耦合或提供到装置后就获得各种方法。此外,可利用用于将本文中所描述的方法和技术提供到装置的任何其它合适的技术。

应理解,权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下,可进行上文所描述的方法和设备的布置、操作和细节的各种修改、改变和变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1