用于使成像装置自动聚焦的方法和设备的制作方法

用于使成像装置自动聚焦的方法和设备的制作方法
【专利摘要】用于自动聚焦图像的方法和设备在选择对象来聚焦时考虑对象移动或对象的颜色。在一些实施方案中，接收对应于将聚焦的对象颜色的输入。随后用图像传感器俘获图像。在所述图像中检测对象且基于对应于将聚焦的所述颜色的对象的颜色来选择所述对象。在一些实施方案中，随后可使所述图像传感器自动聚焦以将所述选定对象带入聚焦。
【专利说明】用于使成像装置自动聚焦的方法和设备

【技术领域】
[0001 ] 本发明实施例涉及成像装置，且特定来说涉及用于成像装置的自动聚焦的方法和设备。

【背景技术】
[0002]数字处理技术与成像装置的整合已实现更有力且更容易使用的照相产品。举例来说，以数字方式控制成像装置的快门速度、光圈和传感器灵敏度的能力已经提供用于在多种成像环境中得到改善的图片质量而不需要照相者针对每一环境手动确定和设定这些参数。
[0003]自动聚焦能力还通过使得几乎任何照相者(无论技能如何)能够在大多数成像环境中获得清晰图像来使得俘获高质量照片更容易。自动聚焦能力可能还已经减少专业照相者的工作负荷。这可使得照相者能够将他们更多的能量集中于其交易的创新方面，且这些照相者制作的照片的质量存在对应增加。
[0004]在现代数字成像装置中可使用多种自动聚焦方法。举例来说，因为具有较高对比度的图像可能往往具有较尖锐的焦点，所以一些自动聚焦方法寻求提供具有最高对比度的图像的焦点位置。一些其它自动聚焦方法可优化图像的一部分内的对比度。
[0005]虽然数字处理技术和摄影术的整合已实现如上所述的若干进步，但若干问题仍有待解决。举例来说，数码相机的自动聚焦能力在一些成像环境中仍然低效。虽然当相机保留在自动聚焦模式中时共同的纵向和横向场景可获得足够的聚焦，但针对一些场景对成像装置进行聚焦可能仍需要执行手动聚焦。在例如一些成像环境中，照相者的主题可定位于其它对象之间、后方或甚至被其它对象部分地阻挡。这可能使得相机难以确定对哪一对象进行聚焦。这可导致选择错误的对象进行聚焦。在一些成像环境中，相机可能频繁地改变选定焦点。
[0006]当对野生生物进行照相时情况可能如此。鹿可能出现在森林环境内，其中照相者与鹿之间存在若干树。在此成像环境中，鹿可能仍相当可见，使得适当聚焦将提供吸引人的照片。然而，因为许多自动聚焦方法未针对此环境优化，所以当成像装置处于自动聚焦模式中时鹿可能不会被聚焦。举例来说，一些成像装置可能尝试聚焦于鹿与照相者之间的树而不是鹿本身。当尝试拍摄树上的鸟时可能发生类似结果。传统的自动聚焦方法可能难以获得对鸟的聚焦而不会难以获得树的树枝和树叶的聚焦。如果树叶和树枝比鸟更靠近照相者，那么对于传统自动聚焦方法这可能尤其成问题。
[0007]其它成像环境可针对传统自动聚焦方法存在额外挑战。举例来说，在一些成像环境中，照相者可能希望使图像聚焦于移动对象。体育照片可呈现此成像环境。垒球场的图像可包含场地上的若干选手，其中一个选手在垒之间奔跑。照相者可能希望俘获奔跑的选手的图像，其中所述选手具有最尖锐的聚焦。在垒之间奔跑的选手可能与场上的其它选手距成像装置不同的距离，且因此特定聚焦设定可将奔跑的玩家带到适当聚焦。传统自动聚焦方法出于若干原因可能无法在此环境中实现适当聚焦。首先，传统自动聚焦方法可能无法识别帧中的多个选手中的哪一者应具有最佳聚焦。举例来说，一些自动聚焦方法可选择聚焦于最靠近相机的选手。如果从第一垒跑到第二垒的选手比例如一垒手远离相机，那么此方法无法实现适当聚焦。
[0008]其它方法可寻求提供良好总体聚焦的折中聚焦。通过此方法，处于距相机的“平均”距离的选手可大多数处于聚焦，而比“平均”选手更靠近或更远离照相者的选手可较少聚焦。
[0009]选手的移动也可针对传统自动聚焦方法产生挑战。一些传统自动聚焦方法可在确定最佳聚焦位置时俘获多个图像。这些方法中的一些可用不同聚焦位置俘获多个图像中的每一者。从在自动聚焦过程期间俘获的图像中的每一者导出的数据可随后进行比较。从若干图像导出的数据的此相对比较可用以确定最佳聚焦。举例来说，在每一聚焦位置处图像的对比度可在确定如何对成像装置进行自动聚焦时比较。
[0010]当在每一聚焦位置处俘获的每一图像的内容相对恒定时此相对比较良好工作。这可允许相对比较评估改变的聚焦位置如何影响每一图像的特性。当在自动聚焦过程期间俘获的多个图像不仅包含对聚焦位置的改变，而且包含对图像自身的改变时，可能将某种不准确性引入到此相对比较。这可导致自动聚焦方法选择较差聚焦位置。


【发明内容】

[0011]本发明实施例中的一些可包含使数字成像装置聚焦的方法。所述方法可包含用图像传感器俘获图像，识别图像内的一或多个对象，至少部分地基于至少一个对象相对于图像背景的移动而选择至少一个对象来聚焦，以及使图像传感器自动聚焦于所述选定对象。
[0012]所揭示的一个创新方面是一种使数字成像装置聚焦的方法。所述方法包含用图像传感器俘获图像。所俘获图像可包含对象和背景。所述方法还包含识别图像内的一或多个对象，以及至少部分地基于所识别对象的移动而选择所识别对象中的至少一者来聚焦。随后使图像传感器自动聚焦于至少一个选定对象。在一些实施方案中，选择所述所识别对象中的至少一者包含确定所述一或多个所识别对象中的至少一部分的运动向量。所述选择可至少部分地基于所述运动向量的大小。在一些实施方案中，所述所识别对象中的至少一者的所述选择至少部分地基于所述所识别对象相对于图像背景的移动。在一些实施方案中，所述所识别对象中的至少一者的所述选择至少部分地基于所述所识别对象与所述装置的平移运动一致的移动。在一些实施方案中，所述所识别对象中的至少一者的所述选择至少部分地基于所述所识别对象在所述图像内的相对位置。使所述图像传感器自动聚焦可包含接收指示所述图像传感器应至少部分地聚焦于所述至少一个选定对象的移动的输入。所述方法可包含在电子显示器上显示指示所述图像传感器是否应至少部分地聚焦于对象移动的用户接口。在一些实施方案中，选择所述所识别对象中的至少一者进一步基于所述所识别对象的一或多个颜色。
[0013]在一些实施方案中，所述方法可包含识别所述图像内的至少两个对象，且使所述图像传感器自动聚焦于所述选定对象可包含调整所述图像传感器的光圈以使所述图像传感器聚焦于所述至少两个对象。在一些实施方案中，在一时间点预测一或多个对象的位置可基于每一对象的运动，其中所述一或多个对象包含经选择进行聚焦的所述至少一个对象。所述图像传感器的所述自动聚焦也可基于所述选定至少一个对象的预测位置。
[0014]另一创新方面包含一种成像装置。所述装置可包含图像传感器，和传感器控制模块，其经配置以用所述图像传感器俘获图像。所述装置还可包含对象检测模块，其经配置以识别所述所俘获图像内的一或多个对象，以及聚焦优先化模块，其经配置以至少部分地基于至少一个对象的移动而选择所述至少一个对象来聚焦，以及主控制模块，其经配置以使所述图像传感器自动聚焦于所述选定至少一个对象。
[0015]在一些实施方案中，所述装置可包含对象运动检测模块，所述对象运动检测模块经配置以确定所述一或多个所识别对象中的至少一部分的运动向量。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于至少一个对象相对于图像背景的移动而选择所述至少一个对象来聚焦。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于所述所识别对象中的至少一者与所述装置的平移实质上一致的移动而选择所述至少一个对象。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于至少一个对象在所述图像内的位置而选择所述至少一个对象。
[0016]所述装置可包含输入处理模块，所述输入处理模块经配置以接收指示所述图像传感器应至少部分地聚焦于正在移动的所述至少一个对象的输入。在一些实施方案中，所述装置可包含电子显示器，且所述主控制模块可进一步经配置以显示指示所述图像传感器是否应至少部分地聚焦于对象移动的用户接口。
[0017]所揭示的另一创新方面是一种成像装置。所述成像装置包含用于用图像传感器俘获图像的装置。所述所俘获图像可包含对象和背景。所述装置还可包含用于识别所述图像内的一或多个对象的装置；以及用于至少部分地基于所述所识别对象中的至少一者的移动而选择所述至少一个对象来聚焦的装置；以及用于使所述图像传感器自动聚焦于所述至少一个选定对象的装置。在一些实施方案中，所述用于俘获图像的装置包括图像传感器。在一些实施方案中，所述用于选择所述所识别对象中的一者的装置至少部分地基于所述运动向量的大小而选择所述对象。在一些实施方案中，所述用于选择对象的装置还至少部分地基于对象在所述图像内的相对位置而选择所述对象。
[0018]在一些实施方案中，所述用于选择的装置至少部分地基于对象相对于图像背景的移动而选择所述对象来聚焦。在一些实施方案中，所述用于选择的装置至少部分地基于对象与所述装置的平移实质上一致的移动而选择所述对象来聚焦。在一些实施方案中，成像装置还包含用于基于每一对象的运动在一时间点预测一或多个对象的位置的装置，其中所述一或多个对象包含经选择进行聚焦的所述对象，且其中所述图像传感器的所述自动聚焦是基于所述选定对象的预测位置。
[0019]所揭示的另一创新方面是一种使数字成像装置聚焦的方法。所述方法包含:接收来自用户的指示选定颜色的输入；用图像传感器俘获图像；识别所述所俘获图像内的一或多个对象；至少部分地基于所述选定颜色而选择第一对象来聚焦；以及使所述图像传感器自动聚焦于所述选定对象。在一些实施方案中，所述选择所述第一对象来聚焦还基于所述第一对象在所述图像内的相对位置。在一些其它实施方案中，所述方法包含至少部分地基于所述选定颜色而选择至少第二对象来聚焦，其中所述自动聚焦包含聚焦于将聚焦的所述第一对象和将聚焦的所述第二对象两者。在一些实施方案中，选择第一对象来聚焦进一步至少部分地基于所述第一对象中的一或多者在所述所俘获图像内的大小。在一些实施方案中，所述方法进一步包含接收指示将不聚焦的第二颜色的输入，其中所述选择所述第一对象来聚焦进一步基于所述第二颜色。
[0020]所揭示另一创新方面是一种成像装置。所述成像装置包含图像传感器、输入装置，和输入处理模块，其经配置以接收来自所述输入装置的指示选定颜色的输入。所述装置还包含:传感器控制模块，其经配置以用所述图像传感器俘获图像；对象检测模块，其经配置以识别所述所俘获图像内的一或多个对象；以及聚焦优先化模块，其经配置以至少部分地基于所述选定颜色而选择至少一个对象来聚焦；以及主控制模块，其经配置以使所述图像传感器自动聚焦于所述至少一个选定对象。在一些实施方案中，所述装置包含电子显示器，所述电子显示器经配置以显示关于将聚焦的颜色的输入的提示。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于对象在所述图像内的位置而选择所述对象。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于对象在所述所俘获图像内的大小而选择所述对象。在一些实施方案中，所述聚焦优先化模块进一步经配置以至少部分地基于对象相对于图像背景的移动而选择所述对象。

【专利附图】

【附图说明】
[0021]下文将结合附图描述所揭示的方面，提供附图以说明而非限制所揭示的方面，其中相同名称表示相同元件。
[0022]图1展示成像环境，包含照相者在包含树枝和树叶的自然环境内俘获鸟的图像。
[0023]图2展示成像环境，包含照相者俘获在赛道上运动的赛车的图像。
[0024]图3是实施至少一个操作实施例的成像装置的框图。
[0025]图4是用于使成像装置自动聚焦的过程的流程图。
[0026]图5是用于使场景内的移动对象优先化的过程的流程图。
[0027]图6是用于使成像装置自动聚焦的过程的流程图。
[0028]图7是用于使成像装置自动聚焦的过程的流程图。
[0029]图8是可作为使成像装置自动聚焦的方法的部分而俘获的图像。

【具体实施方式】
[0030]本文揭示的实施方案涉及用于使数字成像装置自动聚焦的方法和系统。一个实施方案是经配置以用成像装置俘获图像的系统或方法。一旦俘获图像，便识别图像内的一或多个对象。随后可基于所述至少一个对象相对于图像的背景的运动来选择将聚焦的至少一个对象。随后可调整图像传感器以聚焦于所述至少一个选定对象。此方法与传统自动聚焦方法相比时可改善所述至少一个对象在运动中的聚焦。因此举例来说，例如数码相机等数字成像装置可指向在足球比赛中奔跑的人。系统将基于其相对于剩余背景的运动来识别奔跑的人，且将图像传感器聚焦于所述人，即使比赛中的其它足球选手更靠近或相对于数码相机更居中。相对于背景的运动也可用以优先聚焦于主题而不是背景。
[0031]其它实施例可基于至少一个对象的颜色来选择将聚焦的至少一个对象。在此实施例中，数字成像装置可接收来自用户的指示所关注特定颜色的输入。颜色匹配于所关注颜色的对象可经选择进行聚焦。在一个实例中，用户可能希望聚焦于绿色灌木中的红色鸟。用户将在数字成像装置上选择红色，且随后装置将尝试聚焦于具有匹配的红色的对象，即使不同颜色的对象在场景中更靠近或更显著。在另一实例中，相机可自动选择不同于且独特于背景的颜色，例如由绿色背景围绕的上述红色鸟。所属领域的技术人员将认识到，这些实施例可以硬件、软件、固件或其任一组合来实施。
[0032]在以下描述中，给出具体细节以提供对实例的详尽理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，电组件/装置可在框图中展示以免以不必要的细节混淆所述实例。在其它实例中，可详细展示此些组件、其它结构和技术以进一步阐释所述实例。
[0033]还应注意，实例可描述为过程，其描绘为流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述为顺序过程，但许多操作可并行或同时执行，且过程可重复。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等等。当过程对应于软件函数时，其终止对应于所述函数到调用函数或主函数的返回。
[0034]所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
[0035]如较早描述，传统的自动聚焦方法的问题是在某些成像环境中无法实现充分聚焦。举例来说，在图像内在距图像传感器不同距离处存在多个对象的成像环境可使得自动聚焦方法难以确定应选择所述多个对象中的哪一个或一些对象进行聚焦。其它成像环境可包含运动的对象。运动的对象可能不会被传统自动聚焦方法辨识。这可能导致与本文揭示的方法相比较差的聚焦。
[0036]一些所描述方法和设备利用照相者对其成像环境的先前了解。照相者可事先知道其成像环境将存在背景和包含某些特性的主题。举例来说，野生生物照相者可了解其图像背景可包含例如树、树枝、树叶、草地或花等对象。照相者还可知道其照相主题具有某些特性。举例来说，野生生物照相者可既定拍摄可为红色的鸟且尤其是红雀。在本文揭示的一些方法和设备中，照相者可提供例如经由用户接口的输入，其指示红色对象应被给予较高优先级来由成像装置聚焦。一些实施方案还可允许照相者配置应将褐色和绿色对象解除优先，使得成像装置将聚焦于不具有这些颜色特征的任何对象。因此，当照相者使用根据所揭示方法或系统的装置俘获图像时，数字成像装置可基于由照相者在装置中选择的颜色信息来提供改善的聚焦。
[0037]在一些其它实施方案中，图像内对象的颜色的唯一性可确定其是否被选择进行聚焦。举例来说，成像环境可包含若干对象，包含一个黄色对象和若干蓝色对象。在一些实施方案中，黄色对象可经选择进行聚焦，因为其颜色对于图像中检测到的其它对象是唯一的。在此实施方案中，系统将测量场景内不同颜色的比例。基于此选择，基于预定阈值最唯一或处于最低比例的颜色将被选择进行自动聚焦。因此，使用此设定，用户可连续自动聚焦于场景内高于预设阈值的最唯一颜色对象。举例来说，用户可选择自动聚焦于具有少于场景的总颜色的50、40、30、20、10、5、2或I个百分比的颜色的任何对象。此设定将允许自动聚焦于一大片绿色或褐色灌木中存在的任何颜色的鸟。在相关实施方案中，自动聚焦颜色可基于其在自然情形中的低发生率来确定。举例来说，亮蓝色、红色和黄色在一些实施方案中可比较频繁出现的自然颜色优先级更高，所述自然颜色例如在室外照相设定中的褐土色(褐色、棕褐色)、天空色和植物色(某一范围的绿色)。
[0038]在一些其它实施方案中，在选择对象进行聚焦时可连同对象移动或对象颜色一起考虑其它对象特性。举例来说，当选择对象以聚焦时也可考虑图像内对象的位置。当成像环境存在相同颜色的若干对象时这可改善自动聚焦。在此环境中，如果一个特定对象比相同颜色的其它对象更靠近帧的中心定位，那么可选择所述对象以至少部分地聚焦。
[0039]图1展示成像环境，包含照相者10使用相机12在包含树枝25和树叶30的自然环境内俘获鸟20的图像15。相机12包含提供所说明成像环境中鸟的改善聚焦的软件指令或命令。如下文描述，相机12可包含接收指示将聚焦的对象的颜色的输入的软件和硬件。匹配于此颜色的对象随后被给予较高优先级进行聚焦。举例来说，照相者10可经由相机12上的电子用户接口选择红色对象应被给予比除了红色之外的颜色的对象高的聚焦优先级。在说明的实例中，树枝25和树叶30的颜色可为褐色或棕褐色。如果照相者先前已向相机12提供红色对象应优先进行聚焦的输入，那么相机12将选择对红色鸟比对绿色或褐色树枝提供更好的自动聚焦的聚焦位置。在实施例中，将聚焦的对象的颜色也可基于图像中的对象位置和/或当与一或多个背景颜色相比时对象的唯一性来自动确定。举例来说，在图像中位置较靠近中心的对象可优先于相同颜色的定位于图像边缘处的对象而被选择。类似地，对象的形状或颜色的唯一性也可用以自动为所述对象选择较高聚焦优先级。
[0040]在一些实施方案中，相机可经编程以确定应将多个对象带入到聚焦。这些实施方案可在俘获图像时调整快门速度、光圈和图像传感器灵敏度以改善多个对象的聚焦和清晰度。举例来说，一些实施方案可增加所俘获图像的景深以确保多个对象获得充分的聚焦。
[0041]图2展示成像环境，包含照相者10使用相机12俘获在赛道45上运动的赛车40a到40b的图像35。相机12可包含通过在与图像中的例如静止赛道45等其它对象相比时优先进行移动的赛车40a到40b的聚焦而改善赛车40a到40b的聚焦的软件和硬件。一些实施方案还可在存在检测到的运动的情况下确定快门速度和/或图像传感器灵敏度以改善图像清晰度。一些实施方案可包含配置设定，其允许照相者选择界定对象将具有多少移动从而被给予自动聚焦优先级的阈值。举例来说，相机可经编程以自动聚焦于比场景内的其它对象的移动快1、3、5、8、10、12、15、20、25、40、50、75或更高百分比的对象。
[0042]一些实施方案还可基于在相机平移经过移动场景时多少对象在相机的中心保持聚焦来跟踪对象。举例来说，照相者10可在他尝试俘获赛车40a的图像时平移相机12经过赛道45。在此实施方案中，相机12包含检测相机的平移运动的软件和硬件。平移可通过与相机装置集成的加速度计或其它运动感测装置来检测。可分析一或多个俘获的场景以识别可能正在与平移运动一致或大体上一致的方向上移动的一或多个对象。一些实施方案可识别与相机的平移一致的对象而无单独的运动检测器的辅助。举例来说，这些实施方案可确定一或多个图像中的对象的运动向量。可基于运动向量的方向和长度确定平移方向和速度。具有较小运动向量的对象可选择为与装置的平移一致。随后可将这些对象优先化以进行聚焦。
[0043]在这些实施方案中，如果相机软件确定在平移运动期间赛车40a正将其位置维持在视场的中心，那么相机12可自动聚焦于赛车40a，原因是当相机12正由照相者10平移时其在帧中的相对稳定位置。
[0044]一些实施方案还可预测移动对象的运动。举例来说，这些实施方案可在例如照相快照等图像将被俘获未来的某一时间点预测移动对象的位置。这些实施方案可随后确定在俘获快照时聚焦移动对象的聚焦位置或设定。举例来说，可基于估计的焦点改变速率和所述焦点改变速率的加速度/减速度来确定聚焦或设定。这些实施方案可随后设定焦距，且在用于预测的时间俘获图像。举例来说，对象运动检测模块355中的指令可表示用于预测移动对象的运动的一个装置。主控制模块375中的指令可表示用以确定在俘获图像时使移动对象聚焦的聚焦位置的一个装置。
[0045]一些其它实施方案也可在俘获图像时调整快门速度、光圈和图像传感器灵敏度以改善移动对象的聚焦和清晰度。
[0046]图3是实施至少一个操作实施例的成像装置12的框图。成像装置12包含处理器320，其操作地耦合到若干组件，包含存储器330、图像传感器315、工作存储器305、存储装置310、显示器325和输入装置390。存储器330存储若干模块。这些模块含有配置处理器320以执行如下所述的某些功能的指令。举例来说，操作系统模块380包含配置处理器320以管理装置10的硬件和软件资源的指令。传感器控制模块335包含配置处理器320以控制图像传感器315的指令。举例来说，传感器控制模块335中的一些指令可配置处理器320以改变图像传感器315的聚焦位置。传感器控制模块335中的其它指令可配置处理器320以使得处理器320控制图像传感器315以俘获图像。因此，传感器控制模块335中的指令可表示用于以图像传感器俘获图像的一个装置。传感器控制模块335中的其它指令可控制图像传感器315的设定。举例来说，通过传感器控制模块335中的指令可设定快门速度、光圈或图像传感器灵敏度。
[0047]输入处理模块337包含配置处理器320以从输入装置390读取输入数据的指令。举例来说，输入数据可指示将聚焦的颜色。其它输入数据可指示成像装置12的哪些自动聚焦模式在作用中。举例来说，可接收指示“聚焦于移动对象”模式在作用中的输入。可接收指示“聚焦于具有唯一颜色的对象”模式在作用中的其它输入。其它输入可包含不聚焦的一或多个颜色的指示。
[0048]对象检测模块340可配置处理器320以检测由图像传感器315俘获的图像内的对象。因此，对象检测模块340中的指令可表示用于识别图像内的一或多个对象的一个装置。对象运动检测模块355可包含配置处理器320以检测由图像传感器315俘获的一或多个图像内的每一对象的运动的指令。对象运动检测模块355可使用此项技术中已知的运动检测技术中的任一者。举例来说，对象运动检测模块355可确定一或多个所识别对象中的至少一部分的运动向量。每一对象的运动向量可随后经评估以确定每一对象的运动的程度和方向。对象颜色检测模块360可确定由对象检测模块340检测到的每一对象的颜色。
[0049]聚焦优先化模块365可确定由对象检测模块340检测到的每一对象的聚焦优先级。举例来说，聚焦优先化模块365可从对象颜色检测模块360接收对象颜色数据。此信息可用以确定对象的聚焦优先级。聚焦优先化模块365还可从对象运动检测模块355接收数据。所接收运动数据也可用以确定对象的聚焦优先级。聚焦优先化模块365还可选择一或多个对象进行聚焦。所述选择可基于如上确定的对象的优先级。因此，聚焦优先化模块中的指令表示用于至少部分地基于对象相对于图像背景的移动而选择一或多个对象以进行聚焦的一个装置。聚焦优先化模块中的指令也可表示用以至少部分地基于对象的颜色而选择一或多个对象进行聚焦的装置。对象的颜色可对应于经由来自输入装置390的输入接收的颜色。
[0050]主控制模块375可包含配置处理器320以控制装置12的总体操作的指令。举例来说，主控制模块375可包含配置处理器320以调用传感器控制模块335中的子例程的指令，所述子例程改变图像传感器315的聚焦位置且用图像传感器315俘获图像。主控制模块375还可包含在显示器325上显示用户接口的指令。举例来说，主控制模块375可在显示器325上显示提示。所述提示可请求指示对象颜色的输入。主控制模块375可随后配置处理器320以经由例如输入装置390等输入装置接收输入。所述输入可指示应当优先进行聚焦的对象的颜色。因此，主控制模块中的指令可表示用于接收指示将聚焦的颜色的输入的一个装置。
[0051]或者，在一些实施方案中，所述提示可改为请求是否应利用移动来优先化对象的聚焦。主控制模块375也可调用聚焦优先化模块365中的子例程以便对由图像传感器315俘获的图像中检测到的多个对象的聚焦进行优先化。聚焦优先化模块365可在一些实施方案中将待聚焦的一或多个选定对象返回到主控制模块375。主控制模块375也可包含配置处理器320以使图像传感器315自动聚焦于一或多个选定对象的指令。因此，主控制模块375中的指令可表示用于使图像传感器自动聚焦于一或多个选定对象的一个装置。
[0052]输入装置390可取决于实施方案而采取许多形式。在一些实施方案中，输入装置390可与显示器325集成以便形成触摸屏显示器。在其它实施方案中，输入装置390可包含成像装置12上的单独键或按钮。这些键或按钮可为显示于显示器325上的菜单的导航提供输入。显示于显示器325上的一些菜单可接收选择特定颜色或其它设定的输入。举例来说，来自输入装置390的输入可经由显示于显示器325上的菜单选择颜色。在其它实施方案中，输入装置390可为输入端口。举例来说，输入装置390可提供另一装置到成像装置12的操作耦合。成像装置12可随后经由输入装置390从附接的键盘或鼠标接收输入。
[0053]图4是用于使成像装置自动聚焦于移动对象的一个过程400的流程图。过程400可由图3中说明的成像装置12执行。过程400在开始框405处开始且随后移动到框410，其中确定对象移动检测阈值。此阈值在一些实施方案中可用以确定哪些对象分类为移动对象且哪些对象分类为不移动或静态对象。具有比阈值长的长度的运动向量的对象可视为移动对象，而具有比阈值短的长度的运动向量的对象可视为不移动对象。此阈值可具有当制造成像装置或相机时设定的默认值。一些实施方案可允许移动检测阈值可由用户配置或经由有特权的配置接口配置。对所述有特权的配置接口的接入可经由口令或其它装置来限制，使得仅具有专门技能或训练的个人能够修改阈值。在设定对象移动检测阈值之后，过程400移动到框420，其中俘获场景的第一图像。可用图像传感器俘获图像。过程400随后移动到框430，其中俘获场景的第二图像。也可用图像传感器俘获此第二图像。过程400随后移动到框435，其中检测场景中的对象。对象也可在第一图像与第二图像之间相关。框435可由图3中说明的对象检测模块340中包含的指令执行。
[0054]在检测到对象且在两个图像之间相关之后，过程400移动到框440，其中计算对象中的每一者的运动向量。如所说明，过程400的一些实施方案可俘获多个图像以检测运动。这些实施方案可基于第一图像中对象的位置和第二图像中对象的位置来计算对象的运动向量。在一些实施方案中，第一图像和第二图像可使用相同聚焦位置俘获。在其它实施方案中，第一图像和第二图像可使用不同聚焦位置俘获。基于运动向量，这些实施方案可调整图像中检测到的对象的聚焦优先级。
[0055]过程400随后移动到决策框445，其中确定检测到的对象中的任一者是否具有超过框410中确定的运动检测阈值的运动向量。如果没有对象具有超过运动检测阈值的运动向量，那么过程400移动到决策框465，其中确定是否存在应处理的额外场景。举例来说，一些实施方案可提供连续操作的自动聚焦模式，其中重复处理和分析图像以便确定用于场景的适当自动聚焦解决方案和/或最大曝光时间。在这些实施方案中，例如过程400可从决策框465返回到框420。过程400可从框420重复。
[0056]返回到框445的论述,如果至少一个对象的运动向量超过框410中确定的对象运动检测阈值，那么过程400从框445移动到框450，其中将检测到的移动对象优先化。在一些场景中，可存在一个以上对象具有高于框410中确定的对象移动检测阈值的运动向量。当分析此场景时，过程400可确定应当聚焦于多个移动对象中的哪一者。在一些实施方案中，可确定每一移动对象的优先级，其中成像装置或相机聚焦于最高优先级的移动对象。下文在图5的论述中提供关于移动对象优先化的更多细节。在将移动对象优先化之后，过程400随后移动到决策框455，其中做出经优先化对象中的任一者是否具有高于聚焦优先级阈值的优先级的确定。聚焦优先级阈值可设定对象的聚焦优先级的下限，以便成像装置自动聚焦于所述对象。如果至少一个对象具有高于聚焦优先级阈值的优先级，那么过程400随后移动到框460，其中成像装置或相机自动聚焦于最高优先级对象。框460可由图3中说明的主控制模块375中包含的指令执行。
[0057]自动聚焦于一或多个较高优先级对象可包含选择提供场景内的移动对象的增加对比度的透镜聚焦位置。自动聚焦于移动对象可包含调整一或多个图像传感器参数。举例来说，可调整图像传感器的快门速度、传感器灵敏度和光圈。在一些聚焦模式中，也可考虑环境光量。实施自动聚焦方法的指令，例如主控制模块375中的指令，也可估计较高优先级对象的速度。基于估计的速度和环境光或由闪光装置产生的光，可确定快门速度。举例来说，可选择减少一或多个移动对象的模糊的快门速度。当减小快门速度时，也可调整其它成像参数以维持足够曝光。举例来说，可增加图像传感器的光圈。也可增加传感器灵敏度以补偿减小的快门速度。
[0058]自动聚焦于一或多个最高优先级对象也可包含调整曝光参数以便聚焦于一个以上对象。举例来说，处理框460可确定多个对象具有高于优先级阈值的聚焦优先级。为了将那些对象带到足够的聚焦，处理框460可进一步调整成像参数，例如图像传感器的光圈。通过减小光圈，由图像传感器俘获的图像的景深可增加。当与在较大光圈设定下俘获的图像相比时这可提供具有足够聚焦的更多对象。如上文提到，自动聚焦图像传感器可进一步包含除了调整光圈之外还调整其它成像参数。举例来说，通过较小光圈，可能需要增加快门速度或增加传感器灵敏度以提供足够曝光。
[0059]一些实施方案可提供若干聚焦模式，其控制成像装置将成像参数调整到什么程度。举例来说，成像装置可包含用于光圈值(光圈)、传感器灵敏度或快门速度的参数。在一些实施方案中，所述参数可设定为特定值，或可各自设定为“自动”模式。一些实施方案可随后在参数设定为自动模式时调整这些参数。
[0060]在框460中已自动聚焦图像传感器之后，一些实施方案可使用经自动聚焦图像传感器俘获图像。在框460的处理完成之后，过程400移动到结束框490。
[0061]如果没有对象具有足够优先级进行自动聚焦，那么过程400从框455移动到决策框465，其中确定是否应当俘获额外场景。例如如果相机正在连续自动聚焦模式中操作，那么可俘获额外场景。在连续自动聚焦模式中，一些实施方案可连续俘获图像且针对运动分析图像。如果在决策框465做出应俘获更多场景的确定，那么过程400返回到框420。如果将不俘获额外场景，那么过程400移动到结束框490。在一些实施例中，如果不存在超过阈值的运动，那么一些实施例可自动选择聚焦优先级确定的不同模式，例如风景模式。
[0062]虽然将过程400说明为俘获第一和第二图像且基于第一和第二图像计算对象的运动向量，但其它实施方案可基于图像中对象的模糊程度和方向来检测运动。这些实施方案可进一步使运动检测基于图像传感器的快门速度或灵敏度。这些实施方案可能够基于单个图像检测一或多个对象的运动。
[0063]除了对象移动之外，一些实施方案可至少部分地基于其它对象特性来选择将聚焦的一或多个对象。举例来说，对象的选择也可基于对象在图像内的位置。举例来说，较靠近图像的中心定位的对象可比较靠近图像的边缘定位的对象更优先。对象的选择可进一步基于对象的颜色。
[0064]一些实施方案可组合多个对象特性以确定框450中检测到的每一对象的聚焦优先级。聚焦优先级可基于对象的相对运动而增加。聚焦优先级可以基于对象的颜色或对象在图像内的对象相对位置而增加或减小。在这些实施方案中，在已基于这些和其它对象特性调整每一对象的聚焦优先级之后，可选择具有最高优先级的对象进行聚焦。
[0065]在一些其它实施方案中，可选择一个以上对象进行聚焦。举例来说，如果多个对象的聚焦优先级在彼此的阈值或阈值百分比内，那么可全部选择所述多个对象进行聚焦。在这些实施方案中，可调整图像传感器的聚焦位置以改善选定对象的聚焦。在这些实施方案中的一些中，可通过调整图像传感器的光圈来调整景深，使得可将所述多个对象全部带入足够聚焦。随后可使用选定的聚焦位置和选定的景深来俘获图像。这可允许多个对象处于焦点对准。
[0066]图5是用于使场景内的移动对象优先化的过程450的流程图。过程450可在图3中说明的聚焦优先化模块365中实施。过程450在开始框505处开始且随后移动到框510，其中检索第一对象。过程450随后移动到框515，其中将对象的大小与大小阈值进行比较。在一些实施方案中，可不考虑小于阈值大小的对象进行聚焦优先化。这可避免在成像装置或相机尝试聚焦于场景中的极小对象(例如背景中的对象)的情况下可能发生的一些假效应。在说明的实施方案中，如果对象的大小小于大小阈值,那么对象不会被优先化或插入优先级列表，所述优先级列表用以在说明的实施方案中确定将自动聚焦的对象。事实上，如果对象小于阈值，那么过程450移动到决策框530，其中确定是否存在应在过程450中分析的额外对象。
[0067]如果对象的大小高于大小阈值，那么过程450移动到框520，其中基于对象的运动向量的大小、对象在场景内的位置和对象的大小中的至少一者计算对象的优先级。在一些实施方案中，基于每一特性对聚焦优先化的相对重要性可对所述特性指派权重。也可关于每一特性对对象评分。举例来说，可为对象指派大小得分、位置得分和移动得分。随后可针对每一对象产生这些特性的经加权总和或平均。随后可基于多个检测到的对象的经加权总和或平均来将所述对象优先化。其它实施方案可仅考虑这些特性中的一者，其中完全基于单个特性执行优先化。
[0068]在一些实施方案中，如何将对象优先化可为可配置的。举例来说，与上文论述的每一特性相关联的权重和/或阈值可经配置以改变优先化。在一些实施方案中，阈值或权重的确定可由装置用户例如经由用户接口来完成。在一些实施方案中，成像装置可包含API，其允许开发定制优先化软件。举例来说，在一些实施方案中，聚焦优先化模块365可提供API “钩”。所述钩可允许定制软件更改由聚焦优先化模块确定的优先化。
[0069]在框520中确定对象的优先级之后，基于优先级将对象插入经优先化对象列表中。过程450随后移动到框530，其中确定是否存在额外对象待分析。如果存在额外对象待优先化，那么过程450移动到处理框550，其中获得下一对象。过程450随后返回到决策框515且过程450重复。应注意，虽然过程500说明以串行方式处理每一对象，但其它实施方案可并行处理对象。举例来说，可产生或使用两个或两个以上线程或过程，且将每一所识别对象分配于所述过程或线程中的一者进行处理。每一过程或线程可随后将经处理对象插入优先级列表中，所述优先级列表以互斥量适当保护以确保线程安全。
[0070]如果在决策框530中未识别额外对象进行处理，那么过程450移动到框540，其中返回对象的经优先化列表。在一些实施方案中，经优先化列表可作为参数返回到实施过程450的子例程。在其它实施方案中，经优先化列表可为到实施过程450的函数的返回函数值。过程450随后移动到结束框545。
[0071]图6是用于基于目标颜色自动聚焦成像装置的过程600的流程图。在一些实施例中，可将多个颜色优先化。过程600可由图3中说明的成像装置12执行。过程600在开始框605处开始且随后移动到处理框610，其中接收指示将聚焦的一或多个颜色的输入。框610可由如图3中说明的主控制模块375中包含的指令执行。输入可由也在图3中说明的输入装置390接收。过程600随后移动到框615，其中俘获图像。框615可由图3中说明的传感器控制模块335中包含的指令执行。过程600随后移动到框620，其中在图像内识别一或多个对象。框620可由图3中说明的对象检测模块340中包含的指令执行。
[0072]过程600随后移动到框630，其中确定所识别对象的颜色。过程600随后移动到决策框640，其中其确定是否任何对象具有类似于将聚焦的颜色(在框610中接收)的颜色。过程600如何确定对象是否具有类似于将聚焦的颜色的颜色可按实施方案变化。一些实施方案可将待聚焦的颜色和对象的颜色映射到颜色空间，例如RGB颜色空间或YCbCr颜色空间。随后可在空间中计算对象的颜色与将聚焦的颜色之间的距离。如果所述距离低于阈值，那么对象的颜色可视为“类似”于将聚焦的颜色。如果决策框640确定至少一个对象具有类似于将聚焦的颜色的颜色，那么过程600移动到框650，其中针对聚焦将对象优先化。
[0073]在一些场景中，多个对象可具有类似于将聚焦的颜色的颜色。当对这些场景进行成像时，可能必须在对象之间优先化以确定成像装置或相机应自动聚焦于对象中的哪一者。在一些实施方案中，对象的优先化可基于在多维颜色空间中每一对象的颜色与将聚焦的颜色的距离。举例来说，在三维颜色空间中具有较靠近将聚焦的颜色的颜色的对象可比在三维空间中具有较远离将聚焦的颜色的颜色的对象优先级更高。
[0074]在其它实施方案中，对象的颜色与将聚焦的颜色的距离可为确定对象的聚焦优先级中的一种考虑。举例来说，还可考虑对象的大小和在图像内的位置。一些实施方案可将大小得分指派于每一对象，其中大小得分的量值与场景中的对象的大小成比例。因此，较大对象将接收到比较小对象大的大小得分。也可为对象指派位置得分。可为较靠近场景的中心的对象指派比较远离场景的中心的对象更高的位置得分。也可为每一对象指派颜色匹配得分，其与在颜色空间中对象的颜色到将聚焦的颜色的距离成反比。在这些实施方案中，具有较靠近将聚焦的颜色的颜色的对象接收到比在颜色空间中颜色较远离将聚焦的颜色的对象更高的颜色匹配得分。
[0075]在一些实施方案中，可将颜色、大小和位置得分相加或平均化以确定对象的优先级。随后可比较每一对象的优先级以确定哪一对象具有最高优先级。在一些实施方案中，这些得分中的每一者也可被指派权重，且产生针对每一对象的经加权总和或平均。经加权总和或平均可确定每一对象的优先级。在一些实施方案中，当设计成像装置或相机时可指派默认权重。在一些实施方案中，一或多个特性的权重可为可配置的。权重可经由在成像装置或相机的电子显示器上提供的用户接口来配置。在一些实施方案中，权重可经由输入装置所提供的通信接口来配置。举例来说，一些成像装置可包含实现与外部装置的电子通信的USB或其它I/O端口。可界定使得外部装置能够经由I/O端口上的通信配置成像装置参数的API。
[0076]一旦将其颜色类似于将聚焦的颜色的对象优先化，过程600便随后移动到框660，其中使成像装置自动聚焦于一或多个最高优先级对象。框660可由如图3中说明的主控制模块375中包含的指令执行。在一些实施方案中，可在自动聚焦传感器之后俘获图像。过程600随后移动到结束框670。
[0077]返回到框640，如果没有对象具有类似于将聚焦的颜色的颜色，那么过程600移动到决策框645。在框645中，做出关于是否应俘获额外图像的确定。在一些其它实施方案中，如果没有对象具有类似于将聚焦的颜色的颜色，那么可选择替代聚焦方法。举例来说，可基于对象在场景中的中心性或对象在图像内的移动来选择聚焦。一些实施方案可选择聚焦以为总体场景提供良好聚焦。举例来说，由图像传感器俘获的图像的对比度可通过选定的聚焦设定而最大化。在一些实施方案中，自动聚焦能力可连续操作，使得针对将聚焦的对象连续俘获且评估图像。在这些实施方案中，过程600可从决策框645移动到框615，其中俘获另一图像且过程600重复。在其它实施方案中，过程600可从框645移动到结束框670。
[0078]当选择将聚焦的最高优先级对象时，一些实施方案可选择单个对象。其它实施方案可选择将聚焦的多个对象。在一些实施方案中，场景的本质可确定是否应选择单个对象或多个对象进行自动聚焦。举例来说，在一些场景中，若干对象可具有类似的聚焦优先级。在一些场景中，这可能起因于多个对象类似于将聚焦的颜色。在其它场景中，这可由聚焦优先级计算的组件造成，从而导致两个或两个以上对象的类似聚焦优先级。
[0079]举例来说，在一个场景中，第一对象的颜色可为与将聚焦的颜色的确切匹配。在多维颜色空间内此对象的颜色与将聚焦的颜色之间的距离可为零或非常小。这可导致此对象具有高颜色匹配得分。此第一对象可位于场景的边缘，从而导致第一对象的低位置得分。第二对象的颜色可较少类似于将聚焦的颜色，从而导致比第一对象低的颜色匹配得分。第二对象也可比第一对象位于更靠近场景的中心处，从而导致第二对象具有比第一对象高的位置得分。因此，在一些实施方案中，第一对象和第二对象的所得优先级可为类似的。通过这些场景，一些实施方案可选择两个图像进行自动聚焦。在这些实施方案中，使图像传感器自动聚焦于选定对象可包含选择聚焦位置以及选择图像的景深。选定景深可使得两个对象在选定聚焦位置处具有足够的聚焦。
[0080]图7是用于使数字成像装置自动聚焦的过程的流程图。过程700可由图3中说明的成像装置12实施。过程700在开始框705处开始，且随后移动到框710，其中获得自动聚焦参数。框710可至少部分地由图3中说明的主控制模块375中包含的指令执行。自动聚焦参数可提供对自动聚焦方法的一般控制，例如由过程700描述的方法。这些参数可能不特定针对作为过程700的部分检测的特定对象。
[0081]在一些实施方案中，框710可包含接收界定一或多个自动聚焦参数的值的输入。举例来说，第一组自动聚焦参数可指示一或多个第一颜色。第一颜色的对象可被给予比不同颜色的对象高的聚焦优先级。或者，类似于第一颜色中的一者的颜色的对象可被给予较高的颜色匹配得分，如下文所述。在一些实施方案中，对象的颜色匹配得分可与在多维颜色空间内对象的颜色到所述一或多个第一颜色的距离成反比。
[0082]第二组自动聚焦参数可指示一或多个第二颜色。此第二组参数可指示具有类似于第二颜色中的一或多者的颜色的对象被给予比不同于所述一或多个第二颜色的颜色的对象低的聚焦优先级。
[0083]第三组自动聚焦参数可包含布尔参数，其指示当确定图像中识别的对象的聚焦优先级时是否应考虑对象移动。第四组参数可指示对指派于对象的每一得分指派的权重。举例来说，第四组参数可指示颜色匹配得分、对象位置得分和对象大小得分的权重。
[0084]第五组自动聚焦参数可包含用于快门速度、光圈或图像灵敏度的边界值。这些边界值可对当使成像装置或相机自动聚焦时自动聚焦方法可如何设定这些参数设定限制。
[0085]其它自动聚焦参数可界定一或多个自动聚焦模式。举例来说，自动聚焦模式可包含“聚焦于移动对象”、“聚焦于具有唯一颜色的对象”、“聚焦于特定颜色的对象”或“聚焦于最靠近图像的中心的对象”。在“聚焦于具有唯一颜色的对象”模式中，图像内具有较唯一颜色的对象可被给予比具有较不唯一颜色的对象高的聚焦优先级。
[0086]在已获得自动聚焦参数之后，过程700移动到框720，其中用图像传感器俘获一或多个图像。框720可由图3中说明的传感器控制模块335中包含的指令实施。在俘获一个以上图像的一些实施方案中，图像中的一些可在不同焦距处俘获。在框720中俘获一个以上图像的一些实施方案中，图像中的一些可在相同焦距处俘获。一些实施方案可利用在框720中俘获的多个图像来检测跨越多个图像的运动。
[0087]过程700随后移动到处理框730。在处理框730中，在一或多个图像中识别对象。在俘获一个以上图像的实施方案中，识别对象可包含使一个图像中的对象与另一图像中的对象相关。过程700随后移动到框740，其中确定每一所识别对象的聚焦优先化数据。在一些实施方案中，聚焦优先化数据可包含对象的颜色、对象颜色的唯一性、对象的运动、对象的大小和对象在图像内的位置中的至少一者。在一些实施方案中，确定聚焦优先化数据可包含从自动聚焦参数读取数据。确定聚焦优先化数据也可包含分析所述一或多个图像以获得数据。举例来说，可分析一或多个图像以确定对象的颜色或移动。
[0088]过程700随后移动到框750，其中基于聚焦优先化数据和配置数据选择一或多个将聚焦的对象。下文在图8的论述中更详细阐释框750。
[0089]过程700随后移动到框760，其中确定影响所述一或多个选定对象的聚焦的成像参数。若干成像参数可影响选定对象的聚焦。举例来说，透镜聚焦位置可影响一或多个对象的聚焦。其它参数也可影响一或多个对象的聚焦。举例来说，如果选择多个对象，那么选定对象可能距图像传感器不同距离。在此成像环境中，单个焦距可能无法实现所有选定对象的足够聚焦，除非调整其它成像参数。也可确定将增加或减小景深的用于图像传感器的光圈设定。可调整光圈设定以允许选定对象中的至少两者或两者以上实现足够聚焦。此调整的确定可由框710中获得的边界参数定界。也可调整其它图像传感器设定，例如快门速度和图像传感器灵敏度，以在给定确定的光圈的情况下提供适当的曝光。
[0090]一旦确定成像参数，过程700便移动到框770，其中设定确定的成像参数以便使图像传感器聚焦于一或多个选定对象。在一些实施方案中，这可包含将图像俘获参数写入或另外发送到图像传感器。框770还可包含物理上改变透镜的聚焦位置以对应于使透镜聚焦于选定对象的焦距。在一些实施方案中，框770可视为使图像传感器自动聚焦于一或多个选定对象。过程700随后移动到框780，其中使用设定的成像参数俘获图像。过程700随后移动到结束框790。
[0091]图8是可作为使成像装置自动聚焦的方法的部分俘获的图像。举例来说，图8中表示的图像可在图4中说明的过程400 (尤其是框420或框430)、图6中说明的过程600 (尤其是框615)或图7中说明的过程700 (尤其是框720)的执行期间俘获。先前描述的使成像装置自动聚焦的方法可识别图像800内的对象。举例来说，这些方法可识别飞机820和海滩游客作为对象810、830、840、850和860。
[0092]一些实施方案可随后将检测到的对象优先化以确定将聚焦于哪一个或多个对象。这些实施方案可在类似于下文呈现的表I的表中组织检测到的对象的聚焦数据:
[0093]表I
[0094]
(a) (h) k) (d) k) ΓΠ --) (h)(i) I
对象颜对象颜ν}<6/ν ν|<? 对象聚焦对象聚ft;.对象 # ■配ft唯一优先级实优先?
对象820蓝色|低|直|啬|啬|啬| 啬Φ
对象810橙色一髙* Φ Ii 一髙生— 生啬对象840皮肤—低 M 低—低 ΦM?
对象830皮肤低__M____M__i__M__篮对象850皮肤—低 Ii 低―低 Φ低M
对象860橙色I 髙1丨生丨篮 I 低 ΦΦ生一
[0095]*假定说明的实施方案已接收到指示应选择橙色对象进行聚焦或应对其给予比其它颜色的对象高的聚焦优先级的输入。
[0096]表I展示用于聚焦优先化表的至少一个实施方案的组织或结构。表I的行表示个别对象。举例来说，每一行可表示由图3中说明的对象检测模块340检测到的对象。表I的列b到g各自表示特定对象特性,其可用以至少部分地确定每一对象的聚焦优先级。一些实施方案可仅实施这些列的子集。其它实施方案可实施表I中说明的列和未说明的其它额外列。
[0097]表I的单元列(b)到(g)可记录由每一列表示的对象特性的“得分”。举例来说，将对象720说明为具有高颜色唯一性得分，但具有低颜色匹配得分。虽然表I在列b到g中的单元展示为具有“高”、“中”和“低”的得分，但这些值仅用于说明目的。一些实施方案将在列的单元中提供数字值。举例来说，一些实施方案可将每一对象的得分求和或求平均以产生聚焦优先级。此聚焦优先级可记录在下文论述的列(h)或列(i)中。
[0098]为了此描述的目的，表I的列(a)识别对象。图8中世界所列出的每一对象。列(b)指示每一检测到的对象的颜色。在一些实施方案中，由列(h)或(i)表示的聚焦优先级可基于对象颜色。举例来说，实施方案可接收指示一或多个颜色的输入。当检测到的对象匹配于这些颜色中的一者时，可增加所述对象的聚焦优先级。这些实施方案可利用列(C)，其表示对象的颜色匹配于作为将聚焦的颜色作为输入接收的颜色的接近程度。列(C)的颜色匹配得分可基于从每一对象的颜色到经配置以作为将聚焦的颜色的一或多个颜色的距离来确定。所述距离可在多维颜色空间内，例如RGB颜色空间或YCrCb颜色空间。对象的颜色匹配得分可与从对象的颜色到经配置以进行聚焦的一或多个颜色的距离成反比。
[0099]列(d)指示每一对象的颜色唯一性得分。对象的颜色唯一性得分可表示当与图像的其它对象相比时对象的颜色的相对唯一性。在一些实施方案中，颜色的唯一性得分可以与在多维颜色空间内对象的颜色与所有其它检测到的对象的颜色之间的距离成比例。举例来说，这些实施方案可首先计算从对象的颜色到其它检测到的对象的颜色中的每一者的距离。随后可将这些距离求和以产生颜色唯一性得分。此过程随后可针对每一检测到的对象重复。
[0100]在图8的说明实例中，检测到的对象中的三者，对象840、830和850具有检测到的颜色“皮肤”。因为图像内的其它对象具有相同颜色，所以这些对象不可视为具有唯一颜色。举例来说，使用上述确定颜色唯一性得分的方法，在多维颜色空间中对象830、840和850的颜色之间的距离可为零。这可导致这些对象具有相对低的颜色唯一性得分。或者，对象820是仅有的蓝色对象，因此其具有高颜色唯一性得分。两个对象，对象810和860具有橙色，从而导致这些对象的中颜色唯一性得分。对象820、810和860与对象830、840和850相比时全部具有较高唯一性得分。
[0101]列(e)表示对象的移动得分。如果检测到对象的移动，那么对象的移动得分可高于较静态的对象的移动得分。在一些实施方案中，对象的移动得分可基于针对所述对象确定的运动向量的大小。举例来说，一些实施方案可跨越多个俘获的图像、例如第一图像和第二图像使对象相关。可计算对象的运动向量，其将对象在第一图像中的位置映射到对象在第二图像中的位置。这些运动向量的绝对大小可指示对象相对于静态图像背景的运动的程度或速度。表I中说明的移动得分可基于这些运动向量的大小。如图8和表I的说明实例中可见，飞机820具有比表中的其它对象高的移动得分。飞机在说明的图像中正在以可能比其它检测到的对象快的速度向右移动。
[0102]列(f)表示每一检测到的对象的位置得分。在一些实施方案中，较靠近图像的中心定位的对象可具有比较靠近图像的边缘定位的对象高的位置得分。在说明的实例中，对象820和810两者具有高位置得分。这些对象说明为靠近图像的中心。剩余对象较靠近图像的边缘定位且因此具有较低位置得分。
[0103]列(g)表示每一检测到的对象的大小得分。在一些实施方案中，为对象指派与其在图像中的相对大小成比例的大小得分。在图像800的说明实例中，飞机820明显具有比海滩游客(例如，海滩游客810)大的大小。因此,飞机的大小得分可大于海滩游客的大小得分。
[0104]列(h)和⑴各自表示不同实施方案基于表I的列(a)到(g)中提供的数据将检测到的对象优先化的结果。虽然表I中将每一对象的优先级表示为“高”、“中”或“低”，但这些聚焦优先级仅用于说明性目的。一些实施方案可提供数字得分和聚焦优先级以便实现对象得分和优先级的求和、求平均和数字比较。为了简单，如所说明来表示得分。
[0105]如列(h)和⑴中所示的聚焦优先级可基于对象的颜色匹配得分(列(C))、对象的颜色唯一性得分(列(d))、对象的移动得分(列(e))、对象的位置得分(列(f))或对象的大小得分(列(g))中的一或多者。
[0106]一些实施方案可将表I中表示的得分中的一或多者相加或求平均以确定对象聚焦优先级。其它实施方案可将权重指派于每一列。经加权总和或经加权平均可随后用以确定对象的聚焦优先级。
[0107]在确定聚焦优先级时指派于每一列的权重可按实施方案改变。举例来说，一些实施方案可对对象的移动得分比对象的位置得分加权更高。其它实施方案可使用其它权重用于位置和移动。权重可由成像装置的设计者基于目标市场确定。举例来说，一些成像装置可出售给最关注于优先对移动的聚焦的照相者。在这些装置中，列(e)中所示的移动得分可被给予最高权重。在其它目标市场中，大对象可为重要的。在为这些市场设计的装置中，列(g)中所示的对象大小得分可被给予最高优先级。
[0108]在一些实施方案中，指派于每一列的权重可通过可配置参数来确定。举例来说，一些实施方案可提供多个自动聚焦模式，其中用户基于其需要来选择特定模式。模式可确定表I的每一列的权重。举例来说，实施方案可为移动得分列指派零权重，除非已启用“聚焦于移动对象”自动聚焦模式。
[0109]另一自动聚焦模式，例如“聚焦于匹配的颜色”模式，可对列(C)的颜色匹配得分指派比表I的其它列高的权重。在此模式中，列⑷的权重可为零。或者，列(d)的权重可为除了零之外的权重，但可具有比列(C)的权重低的权重。
[0110]“聚焦于唯一颜色的对象”模式可将较高权重指派于列(d)中所示的颜色唯一性得分。在此模式中，列(C)的权重可为零。或者，在此模式中列(C)的权重可为除了零之外的权重,但可比列⑷的权重低。
[0111]在一些实施方案中，指派于一或多个列的权重可为直接可配置的。此能力可在“高级配置”模式中提供，其为高级照相者提供定制和调节成像装置或相机的自动聚焦方法的能力。
[0112]由列(h)表不的实施方案为对象820提供最闻聚焦优先级。对象810和860具有第二最高聚焦优先级。在此实施方案中对象830、840和850各自具有最低聚焦优先级。此实施方案可能在确定聚焦优先级时已将对象移动列比某些其它列加权更高。举例来说，列(h)可表示当成像装置处于“聚焦于移动对象”模式中时确定的聚焦优先级。在此模式中，尽管对象810的颜色在某种程度上是唯一的且对象810靠近图像的中心定位的事实，飞机820的聚焦优先级也高于人810的聚焦优先级。
[0113]由列(i)表示的实施方案实现相同对象的不同聚焦优先级。列(i)可表示包含聚焦于特定颜色的对象的自动聚焦模式的实施方案。当此模式在作用中时列(i)中所示的结果可产生。在此实例中，实施方案可能已经配置以聚焦于橙色对象。在此模式中，表示对象的移动得分的列(e)可接收到比其在由列(f)表示的实施方案中接收到的权重低的权重来确定聚焦优先级。举例来说，在此自动聚焦模式中列(e)可接收零权重。或者，在此自动聚焦模式中列(e)可接收非零权重。
[0114]在由图8表示的图像中，对象810和860两者具有检测到的橙色。通过此成像环境，一些实施方案可选择两个橙色对象来聚焦。在这些实施方案中，可作出关于是否单个焦距可实现两个对象的足够聚焦的确定。如果可以，那么可不执行进一步调整且可在适当焦距处俘获图像。如果作出在给定当前成像参数的情况下无法将两个对象带到足够聚焦的确定，那么可进行一些调整。举例来说，一些实施方案可调整图像的景深以便对所有选定对象提供足够聚焦。
[0115]其它实施方案可基于对象在图像内的相对位置在相同颜色的对象之间进一步区分。举例来说，产生列(i)中给定的聚焦优先级的实施方案可基于每一对象在图像内的位置进一步优先化相同颜色的对象。在说明的实施方案中，对象860具有比对象810低的位置得分。这可通过对象810比对象860更靠近图像的中心来引起。在列(i)说明的实施方案中，每一对象的位置得分为确定性的以将对象810优先于对象860进行聚焦。
[0116]可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代例中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器与DSP核心的联合，或任何其它此配置。
[0117]可直接以硬件、以由处理器执行的软件模块或以上述两者的组合实施结合本文所揭示的实施方案而描述的方法或过程的步骤。软件模块可驻留于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器，使得处理器可从计算机可读存储媒体读取信息和向计算机可读存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于用户终端、相机或其它装置中。在替代例中，处理器和存储媒体可作为离散组件驻留于用户终端、相机或其它装置中。
[0118]如果以软件来实施，那么所述功能可存储在计算机可读媒体上或作为一或多个指令或代码经由计算机可读媒体来传输。本文揭示的方法或算法的步骤可在可驻留于计算机可读媒体上的处理器可执行软件模块中实施。计算机可读媒体包含计算机存储媒体和通信媒体两者，所述通信媒体包含可经启用以将计算机程序从一个位置传送到另一位置的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接均被适当称为计算机可读媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字通用光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为一个或任一组合或集合的代码和指令驻留在可并入到计算机程序产品中的机器可读媒体和计算机可读媒体上。
[0119]所属领域的技术人员可容易了解对本发明中描述的实施方案的各种修改，且在不脱离本发明的精神或范围的情况下可将本文界定的一般原理应用于其它实施方案。因此，权利要求书既定不限于本文所示的实施方案，而是应被赋予与本发明、本文揭示的原理和新颖特征一致的最广范围。词语“示范性”在此专门用以表示“充当实例、例子或说明”。本文描述为“示范性”的任何实施方案不一定解释为比其它实施方案优选或有利。另外，所属领域的技术人员将容易了解，术语“上部”和“下部”有时用于便于描述图式，且指示适当定向页上对应于图式的定向的相对位置，且可能不反映所实施的MOD的适当定向。
[0120]在本说明书中在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合地实施。相反，在单个实施方案的上下文中描述的各种特征也可在多个实施方案中单独地或在任何合适子组合中实施。而且，虽然以上可将特征描述为在某些组合中作用且甚至初始如此主张，但来自所主张组合的一或多个特征在一些情况下可从组合实践，且所主张的组合可针对子组合或子组合的变化。
[0121]类似地，虽然在图中以特定次序描绘操作，但这不应理解为要求此些操作以所示特定次序或以循序次序执行或要求执行所有说明的操作以实现合意的结果。此外，图式可以流程图的形式示意性描绘一或多个实例过程。然而，未描绘的其它操作可并入在示意性说明的实例过程中。举例来说，在所说明操作中的任一者之前、之后、同时或之间可执行一或多个额外操作。在某些情况下，多任务和并行处理可为有利的。而且，在上述实施方案中各种系统组件的分离不应理解为在所有实施方案中都要求此分离，且应了解，所述程序组件和系统可大体上在单个软件产品中集成在一起或封装到多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些情况下，权利要求书中陈述的动作可以不同次序执行且仍实现合意的结果。
[0122]在此包含标题以用于参考且帮助定位各个部分。这些标题既定不限制相对于其描述的概念的范围。此些概念在整个说明书中可具有适用性。
[0123]提供先前对所揭示实施方案的描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施方案的各种修改，且本文中所定义的一般原理可在不脱离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不希望限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征一致的最宽范围。
【权利要求】
1.一种使数字成像装置聚焦的方法，其包括: 用图像传感器俘获图像，其中所述所俘获图像包括对象和背景； 识别所述图像内的一或多个对象； 至少部分地基于所述所识别对象的移动而选择所述所识别对象中的至少一者来聚焦；以及 使所述图像传感器自动聚焦于所述至少一个选定对象。
2.根据权利要求1所述的方法，其中选择所述所识别对象中的至少一者包括确定所述一或多个所识别对象中的至少一部分的运动向量，其中所述选择至少部分地基于所述运动向量的大小。
3.根据权利要求1所述的方法，其中所述所识别对象中的至少一者的所述选择至少部分地基于所述所识别对象相对于图像背景的移动。
4.根据权利要求1所述的方法，其中所述所识别对象中的至少一者的所述选择至少部分地基于所述所识别对象的移动与所述装置的平移运动一致。
5.根据权利要求1所述的方法，其中选择所述所识别对象中的至少一者至少部分地基于所述所识别对象在所述图像内的相对位置。
6.根据权利要求1所述的方法，其中使所述图像传感器自动聚焦包括接收指示所述图像传感器应至少部分地聚焦于所述至少一个选定对象的移动的输入。
7.根据权利要求6所述的方法，其进一步包括在电子显示器上显示指示所述图像传感器是否应至少部分地聚焦于对象移动的用户接口。
8.根据权利要求1所述的方法，其中选择所述所识别对象中的至少一者进一步基于所述所识别对象的一或多个颜色。
9.根据权利要求1所述的方法，其进一步包括: 识别所述图像内的至少两个对象，其中使所述图像传感器自动聚焦于所述选定对象包含调整所述图像传感器的光圈以使所述图像传感器聚焦于所述至少两个对象。
10.根据权利要求1所述的方法，其进一步包括: 基于每一对象的运动在一时间点预测一或多个对象的位置，其中所述一或多个对象包含被选择用于聚焦的所述至少一个对象，且其中所述图像传感器的所述自动聚焦是基于所述选定至少一个对象的预测位置。
11.一种成像装置，其包括: 图像传感器； 传感器控制模块，其经配置以用所述图像传感器俘获图像； 对象检测模块，其经配置以识别所述所俘获图像内的一或多个对象； 聚焦优先化模块，其经配置以至少部分地基于至少一个对象的移动而选择所述至少一个对象来聚焦；以及 主控制模块，其经配置以使所述图像传感器自动聚焦于所述选定至少一个对象。
12.根据权利要求11所述的装置，其进一步包括对象运动检测模块，所述对象运动检测模块经配置以确定所述一或多个所识别对象中的至少一部分的运动向量。
13.根据权利要求11所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于至少一个对象相对于图像背景的移动而选择所述至少一个对象来聚焦。
14.根据权利要求11所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于所述所识别对象中的至少一者的移动与所述装置的平移实质上一致而选择所述至少一个对象。
15.根据权利要求11所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于至少一个对象在所述图像内的位置而选择所述至少一个对象。
16.根据权利要求11所述的装置，其进一步包括输入处理模块，所述输入处理模块经配置以接收指示所述图像传感器应至少部分地聚焦于正在移动的所述至少一个对象的输入。
17.根据权利要求11所述的装置，其进一步包括电子显示器，其中所述主控制模块进一步经配置以显示指示所述图像传感器是否应至少部分地聚焦于对象移动的用户接口。
18.—种成像装置，其包括: 用于用图像传感器俘获图像的装置，其中所述所俘获图像包括对象和背景； 用于识别所述图像内的一或多个对象的装置； 用于至少部分地基于所述所识别对象中的至少一者的移动而选择所述至少一个对象来聚焦的装置；以及 用于使所述图像传感器自动聚焦于所述至少一个选定对象的装置。
19.根据权利要求18所述的成像装置，其中所述用于俘获图像的装置包括图像传感器。
20.根据权利要求18所述的成像装置，其中所述用于选择所述所识别对象中的一者的装置至少部分地基于所述运动向量的大小而选择所述对象。
21.根据权利要求18所述的成像装置，其中所述用于选择对象的装置还至少部分地基于对象在所述图像内的相对位置而选择所述对象。
22.根据权利要求18所述的装置，其中所述用于选择的装置至少部分地基于对象相对于图像背景的移动而选择所述对象来聚焦。
23.根据权利要求18所述的装置，其中所述用于选择的装置至少部分地基于对象的移动与所述装置的平移实质上一致而选择所述对象来聚焦。
24.根据权利要求18所述的成像装置，其进一步包括: 用于基于每一对象的运动在一时间点预测一或多个对象的位置的装置，其中所述一或多个对象包含被选择用于聚焦的所述对象，且其中所述图像传感器的所述自动聚焦是基于所述选定对象的预测位置。
25.一种使数字成像装置聚焦的方法，其包括: 接收来自用户的指示选定颜色的输入； 用图像传感器俘获图像； 识别所述所俘获图像内的一或多个对象； 至少部分地基于所述选定颜色而选择第一对象来聚焦；以及 使所述图像传感器自动聚焦于所述选定对象。
26.根据权利要求25所述的方法，其中所述选择所述第一对象来聚焦还基于所述第一对象在所述图像内的相对位置。
27.根据权利要求25所述的方法，其进一步包括至少部分地基于所述选定颜色而选择至少第二对象来聚焦，其中所述自动聚焦包含聚焦于将聚焦的所述第一对象和将聚焦的所述第二对象两者。
28.根据权利要求25所述的方法，其中选择第一对象来聚焦进一步至少部分地基于所述第一对象中的一或多者在所述所俘获图像内的大小。
29.根据权利要求25所述的方法，其进一步包括接收指示将不聚焦的第二颜色的输入，其中所述选择所述第一对象来聚焦进一步基于所述第二颜色。
30.一种成像装置，其包括: 图像传感器； 输入装置； 输入处理模块，其经配置以接收来自所述输入装置的指示选定颜色的输入； 传感器控制模块，其经配置以用所述图像传感器俘获图像； 对象检测模块，其经配置以识别所述所俘获图像内的一或多个对象； 聚焦优先化模块，其经配置以至少部分地基于所述选定颜色而选择至少一个对象来聚焦；以及 主控制模块，其经配置以使所述图像传感器自动聚焦于所述至少一个选定对象。
31.根据权利要求30所述的装置，其进一步包括电子显示器，所述电子显示器经配置以显示关于将聚焦的颜色的输入的提示。
32.根据权利要求30所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于对象在所述图像内的位置而选择所述对象。
33.根据权利要求30所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于对象在所述所俘获图像内的大小而选择所述对象。
34.根据权利要求30所述的装置，其中所述聚焦优先化模块进一步经配置以至少部分地基于对象相对于图像背景的移动而选择所述对象。
【文档编号】H04N5/232GK104205801SQ201380015909
【公开日】2014年12月10日 申请日期:2013年3月25日 优先权日:2012年3月28日
【发明者】阿诺德·J·古姆 申请人:高通股份有限公司