专利名称：使用存储对象识别的数码相机对焦的制作方法
技术领域：
本发明大体地涉及数码相机的自动对焦，并且尤其涉及使用识别的存储对象的数 码相机的自动对焦。
背景技术：
数码相机已在除了独立的相机之外的非常宽泛范围的设备中得到了广泛的使用。 这些设备例如包括移动或固定无线通信设备、视频相机、计算机附件等。另外，这些许多的 数码相机设备在变化范围很大的应用中得以使用。这些应用可包括例如拍摄朋友和家庭的 日常图片的简单应用，或者例如具有脸部识别的安全监视器的复杂应用。在大多数情况下， 这些相机的操作者不是专业的或甚至熟练的摄影者，并且因此这些用户欢迎得到能够被提 供的任何帮助，以快速和简单地来捕获精确图像。因此，数码相机的制造者已将各种类型的 自动操作引入了他们的相机，以便帮助用户。自动对焦技术是包括了长期努力领域的，用于数码相机的一种自动操作。例如，已 在数码相机中引入了系统来提供对人脸的自动对焦，对人脸的自动对焦是摄影的最典型的 问题。使用精密的算法，自动对焦可检测人脸的某些典型和一般的特性，并且使用边缘检 测、高频内容检测、或其它已知对焦技术来对焦于那些特性上。另外，对于例如机场安全相 机的视频系统，人们可能一直在移动一移动到焦点内和移动出焦点外，并且重要的是这些 相机系统提供了良好的对焦系统来精确地捕获脸部，以用于随后与已知人的数据库进行比 较。在这些情形的任意一个中，期望具有一种数码相机，其对焦于图像中所选择的人 脸或对象，而不是其它周围的对象。然而，当在图像帧中存在许多人时，现有技术没有提供 方法来挑选出任何一个人或对象进行对焦，而不是对其它周围的人进行对焦。所需要的是一种数码相机中的对焦技术，其允许相机对焦在图片帧中的特定人或 对象上。同样有利的是提供一种方法和系统来以简单、快速和精确的方式完成该自动对焦， 以便获取期望的结果。
通过提供在以下详细描述中所描述的方法和装置，特别是当结合附图来研究时， 以上的需求得以满足，其中图1包括根据本发明的数码相机装置的简化框图；以及图2包括根据本发明的方法的流程图。本领域技术人员将会理解，出于简单和清楚而示出图中的元素，并且对在商业上 可行的示例中有用或者必需的常见但是很好理解的元素不进行描述，以便于不会妨碍对本 发明的这些各种实施例的理解。
具体实施例方式一般而言，依照这些各种实施例，本发明提供一种数码相机中的自动对焦技术，其 允许相机对焦于图片帧中的特定人(多个)或对象(多个)。以简单、快速和精确的方式来 完成该操作，以便获取期望的结果。如这里描述的，本发明使用对人脸对焦的示例。然而，应当认识到，本发明同样可 应用于对任何图像对象(例如界标等)进行对焦，或者甚至是对图像对象的仅仅特定的特 性(例如具有例如特定形状或颜色的一部分图像)进行对焦。参考图1，根据本发明示出数码相机装置100。数码相机100包括处理器102、 图像捕获设备104、存储器106、和透镜设备108。应当认识到，在数码相机内存在许多其它 已知设备，为了简单没有将其示出。处理器用于便利这里描述的许多各种动作。该处理器 102可包括集成平台，或者可分布于多个物理分离的处理机构上，而该两种架构的方法在 领域中大体上都是公知的。如果需要，处理器102可整体或部分地包括由本质上是硬连线 (hard-wired)的处理和响应所组成的专用平台。然而，在优选实施例中，处理器102包括可 编程平台，并且可包括一个或多个微处理器、微控制器、数字信号处理器等。处理器102可具有足够的本地存储器，以便利其的各种动作，并且/或者可选地， 它可以可操作地耦合到如所示的另外的存储器104、106。如与给定应用相适应地，该另外的 存储器104、106可与处理器102物理地处于同一位置，或者可物理地位于其远处。图像捕获设备与可以包括电荷耦合设备(未示出)的透镜设备108 —起工作，以 临时地捕获图像。图像捕获设备可以是静像捕获设备或者视频图像捕获设备。在优选实施 例中，图像捕获设备在处理器102的控制下操作，但是如果需要，可以以开环的方式或者响 应于诸如独立的触发器设备的替选控制机制(未示出)，来提供捕获图像信息的连续流。如 果需要，图像捕获设备(多个)可以是远程可控制的，从而使得相机可以以受控方式在优选 方向上进行对准，和/或响应于(例如来自处理器102的)远程信令来允许使用变焦能力 或其它可选择特征(例如曝光、对焦、或对比)。通常，图像捕获设备被定位和配置为允许捕获人的图像(表征整个人的图像或者 其有关部分)。具体地，优选地定向图像捕获设备，以允许捕获人脸的图像(按照需要，该图 像可以是完整的正视图、完整的侧面图、透视图等)。这些脸部图像可由处理器102使用，以 便于进行如下面更详细评注的自动对焦。典型地，图像捕获设备包括缓冲器104，其可以是分离的设备、CXD的一部分、或 者存储器106的一部分。缓冲器耦合到处理器102，处理器102可分析缓冲器中的图像，以 在将图像112捕获到存储器106中之前，如领域中已知的，调节图片质量特征，例如速度、曝 光等。可选地，必须预先对焦相机以在第一位置中获取可识别的脸部。如领域中已知的，这 可通过在试图拍摄照片之前让对焦透镜总是驱动到第一固定焦点(例如，无穷远)；或者使 用图像中的一般化的对象，驱动对焦透镜来对图像进行预先对焦来完成。根据本发明，存储器106可操作地预先存储由用户选择的至少一个特定图像对 象。例如，用户可能最关心的是正确地将相机对焦于(如这里作为示例使用的)他们的孩 子、家庭成员、或朋友的脸部。因此，如将在下面优选实施例中详述的，这些用户可将每一 个他们孩子的脸部的标志特征(signature)存储在存储器中，作为用于随后比较的图像对 象。可选地，他们孩子的脸部的实际图像可存储在存储器中，作为用于随后比较的图像对
4象。然而，这将消耗存储器中更多的空间，并且需要更高级的处理能力来用于随后与实际图 像的比较。在任意一种情况下，所需的图像对象由外部源Iio提供，或者由处理器102从相 机100中捕获的图像转换而来，用于存储在存储器106中作为图像对象。理想地，期望存储仅表示所需图像的对象，例如使孩子的脸部位于单色模糊的背 景上。虽然在该示例中这可以实现，但是当试图存储不能从背景对象中分离的界标的图像 时这是不实际的。因此，优选地，在图片中隔离期望的对象，以便更好地定义用于存储的图 像对象。这可通过以下来完成，即，通过数字地仅高亮照片的期望区域，并且修剪该高亮区 域以便尽可能多地移除背景，并且仅存储包括期望图像对象的高亮区域或者得出定义高亮 图像区域的标志特征。如领域中已知地，标志特征是将图像的预先定义的特性提取为独特数字标识的图 像对象。例如，人脸可由眼睛、鼻子、耳朵、眉毛、和嘴的结构、肤色、特征之间的距离和排列 等来标识。然后，一系列这些特性被编码为描述这些特性中每一个的该脸的数字标志特征， 该数字特征然后可存储到存储器中作为图像对象。在操作中，当启动时，图像捕获设备(缓冲器104和透镜108)可操作为用于获取 图像112。处理器102耦合到存储器106和缓冲器104，并且可操作为用于分析缓冲器104 中存储的图像中的对象。该分析可包括使用脸部识别的已知技术来识别图像112中存在脸 部(A、B、C)。例如，处理器可使用已知的身体特征分析工具来识别在图像112中存在眼睛， 或者使用颜色分析工具来识别在具有已知肤色或发色色谱的图像中存在有颜色的区域。以 该方式，处理器可在图像中标记区域，所述区域应当包含可用于随后比较的脸部。可选地， 处理器可使用蛮力技术(brute force technique)来将图像解析为块并且扫描每个块以寻 找与预先存储的脸部的匹配。一旦处理器已标识和标记了它在图像中发现的脸部，则如先前为上述预先存储的 图像对象所做地，处理器可将这些脸部中的每一个的特性提取为该脸的数字标志特征，以 定义图像对象。如果先前预先存储了实际图像用于比较，那么处理器使用图像的所标记图 像区域作为图像对象。处理器102然后将图像中的所标记对象与至少一个特定的预先存储的图像对象 进行比较，并且确定在图像中的至少一个对象和至少一个特定的预先存储的图像对象之间 是否存在匹配。具体地，处理器比较预先存储的标志特征(多个)与为图像中的脸部(A、B、 C)所确定的标志特征(多个)。该比较可以是提供两个数字标志特征之间的差(误差)的 简单数学比较。如果差小于预定阈值，那么处理器可假设图像中的所比较的脸部(A、B、C) 是如下的脸部，其匹配于存储在存储器中的期望的脸部。当然，存在本领域中已知的多种技 术，包括概率技术，通过这些技术可实现该匹配，但是为了简洁，这里将不再给出。如果处理器102发现存在匹配，处理器驱动对焦透镜108来将图像112对焦在所 匹配对象上。例如，如果脸部B是已预先存储在存储器中的用户孩子之一的脸部，并且如果 处理器能够发现它们之间的足够的匹配，那么处理器将驱动对焦透镜108来将图像112对 焦于脸部B。在此时，处理器102可通过将对焦的图像传送到存储器106用于存储，从而捕获缓 冲器中对焦的图像。上面的情形按照发现一个匹配的脸的情况来进行描述。然而，本发明 预期了对于没有发现匹配或者发现多个匹配的情况的不同情形。当然，如果没有发现匹配，相机可使用任何先前已知的技术来对焦图像112，例如对焦在无穷远处、边缘检测、或者对 焦透镜以最大化缓冲器中的高频内容。然而，如果发现了多个匹配，那么多个选项本身可以呈现。在第一选项中，如果多个脸部(例如A和B)被匹配，则处理器102可驱动对焦透 镜108来依次对焦于每个匹配对象A和B，然后处理器102指示图像捕获设备108、104、106 捕获每个对焦的图像作为两个单独的图片。可用领域中已知的技术在拍摄照片时或者在此 随后及时地组合两个单独的图像。在第二选项中，如果多个脸部(例如A和B)被匹配，则处理器102可驱动对焦透 镜来对焦于作为组的对象A和B，然后处理器102指示图像捕获设备108、104、106捕获图像 作为一个图片。这可通过以下实现，即，通过取脸部A和B的图像的焦点度量的平均或加权 平均，或者通过对图像进行对焦，使得脸部A和B的标志特征均与它们对应的预先存储的标 志特征匹配到某个阈值之上。在第三选项中，如果多个脸部(例如A和B)被匹配，则处理器102可指示用户选择 要对焦在哪个匹配对象上，其中处理器指示对焦透镜对所选择对象进行对焦，并且指示图 像捕获设备捕获该被对焦的对象。例如，处理器可在相机的图形用户界面上标识所标记的 脸部(例如，LCD屏幕高亮，未示出)，并且用户可使用光标、范围按钮、触摸屏等选择要对哪 个所标记的脸部进行对焦，其中，处理器获得用于标识所选择的所标记的脸部的用户输入， 从而对图像进行对焦。应当清楚地理解，上述实施例仅仅旨在是说明性的。实际上，许多其它结构和/或 部件能够容易地用于实现这些相同的教导。此外，这些相同教导可应用于上面提及的或除 此之外的许多其它应用。例如，本发明可应用于视频安检关卡。当对象通过受监视的关卡 时，例如，诸如机场行列时，他们的脸部可与来自与个人相关的预先存在的外部数据库110 中的脸部相比较，并且当存在标志特征的匹配时，所述脸部被对焦和捕获。参考图2，本发明还提供了一种用于自动对焦数码相机的方法。第一步骤200包括预先存储至少一个特定图像对象。该图像对象可以是特定的已 知的人脸、界标、或用户期望对其进行对焦的任何其它已知对象。例如，用户可存储他们孩 子的图像，以使得每当这些孩子中的一个或多个在图片帧中时，数码相机将排除图片中的 其它对象，而自动对焦于这些孩子的脸上。优选地，图像对象是描述脸或界标特性的数字标 志特征。下一步骤202包括启动相机以获取图像。在该步骤中必须包括预先对焦图像的子 步骤，以便首先获取可使用的图像。下一步骤204包括分析图像中的对象。这种分析可包括以下任何或所有子步骤 识别脸部，获取脸部的数字标志特征，以及在图像中标记脸部。例如，分析可在图像的两个 区域中将图像中的对象识别为人脸，其中这些区域可归纳为数字标志特征，并且被标记为 区域A和区域B，用于与预先存储的图像对象的比较。下一步骤206包括将图像中的所标记对象与至少一个特定的预先存储的对象进 行比较。下一步骤208包括确定在图像中至少一个所标记对象和至少一个特定的预先存 储对象之间是否存在匹配。如果不存在匹配，那么可使用任何先前已知的对焦技术来对图像进行对焦210。如果存在一个匹配209，则下一步骤212包括将图像对焦在匹配对象上。如果存在 一个以上的匹配209，则多个选项本身可以呈现。在第一选项中，如果根据确定步骤208存 在一个以上的匹配209，则对焦步骤214依次对焦在每个匹配的脸部上，并且捕获步骤220 捕获每个对焦的图像。在第二选项中，如果根据确定步骤208存在一个以上的匹配209，则 对焦步骤216对焦在作为组的全部匹配的脸部上(例如，取平均值)。在第三选项中，如果 根据确定步骤208存在一个以上的匹配209，引入另外的子步骤让用户选择(例如，通过图 形用户界面)要对焦在哪个匹配的脸部上，其中，对焦步骤218对所选择的脸进行对焦。最后的步骤220包括捕获对焦的图像(多个)。可以不同于所描述的次序来执行这里示出和描述的顺序和方法。图中描绘的特定 顺序、功能、和操作仅仅是说明本发明的一个或多个实施例，并且对于本领域技术人员来说 其它实现也将是明显的。附图旨在示出可由本领域普通技术人员理解和适当实现的本发明 的各种实现方式。被计算以实现相同目的的任何方案可代替示出的特定实施例。本发明可以以任何适当形式实现，包括硬件、软件、固件或这些的任何组合。可选 地，本发明可部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算 机软件。本发明的实施例的元件和部件可以以任何适当方式而物理地、功能地和逻辑地实 现。实际上，功能可在单个单元中、在多个单元中或者作为其它功能单元的一部分被实现。 因此，本发明可在单个单元中实现，或者可物理地和功能地分布于不同单元和处理器之间。尽管已结合某些实施例描述了本发明，但是其不旨在受限于这里阐述的特定形 式。而是，本发明的范围仅由所附权利要求限定。另外，尽管结合特定实施例描述了特征， 但是本领域技术人员将会认识到，根据本发明可组合所述实施例的各种特征。在权利要求 中，术语“包括”不排除其它元素或步骤的存在。而且，尽管被单独地列出，但是例如可通过单个单元或处理器来实现多个装置、元 件或方法步骤。另外，尽管各个特征可包括在不同权利要求中，但是其可能被有利地组合， 并且不同权利要求中的包含不暗示特征的组合不是可行的和/或有利的。而且，在一类权 利要求中的特征的包含不暗示受限于该类别，而是表示按照需要，特征可同样应用于其它 权利要求类别。而且，权利要求中特征的次序不暗示着特征必须按其进行工作的任何特定次序， 并且尤其是，方法权利要求中的各个步骤的次序不暗示着必须以该次序来执行步骤。而是， 可以任何适当次序执行步骤。另外，单数引用不排除复数。因此，对“一”、“一个”、“第一”、 “第二”等的引用不排除复数形式。
权利要求
一种用于对焦数码相机的方法，包括预先存储至少一个特定图像对象；启动所述相机以获取图像；分析所述图像中的对象；将所述图像中的所述对象与所述至少一个特定图像对象进行比较；确定在所述图像中的至少一个对象和所述至少一个特定图像对象之间是否存在匹配，其中，如果存在匹配，则将所述图像对焦在匹配对象上。
2.根据权利要求1所述的方法，其中，如果在所述确定步骤中存在一个以上的匹配，则 所述对焦步骤依次对焦在每个匹配对象上，然后是捕获每个对焦的图像的进一步的步骤。
3.根据权利要求1所述的方法，其中，如果在所述确定步骤中存在一个以上的匹配，则 所述对焦步骤对焦在作为组的全部所述匹配对象上，然后是捕获所对焦的图像的进一步的 步骤。
4.根据权利要求1所述的方法，其中，如果在所述确定步骤中存在一个以上的匹配，则 进一步包括用户选择要对所述匹配对象中的哪个进行对焦的步骤，其中，所述对焦步骤对 所选择的对象进行对焦，然后是捕获所对焦的图像的进一步的步骤。
5.根据权利要求1所述的方法，其中，所述分析步骤包括获取标志特征，并且在所述图 像中标记对象用于比较。
6.根据权利要求1所述的方法，其中，所述预先存储步骤包括特定界标。
7.根据权利要求1所述的方法，其中所述预先存储步骤包括特定的人脸。
8.根据权利要求1所述的方法，其中，所述启动步骤包括使用所述图像中的一般化的 对象来预先对焦所述图像。
9.一种数码相机装置，包括存储器，所述存储器操作为用于预先存储用户所选择的至少一个特定图像对象；图像捕获设备，所述图像捕获设备操作为用于当被启动时获取图像；以及处理器，所述处理器耦合到所述存储器和所述图像捕获设备，所述处理器操作为用于 分析所述图像中的对象，将所述图像中的所述对象与所述至少一个特定图像对象进行比 较，并且确定在所述图像中的至少一个对象和所述至少一个特定图像对象之间是否存在匹 配；以及对焦透镜，所述对焦透镜受所述处理器控制，其中，如果所述处理器发现存在匹配，则 所述处理器驱动所述对焦透镜以将所述图像对焦在匹配对象上。
全文摘要
描述了一种用于对焦数码相机的技术，其包括预先存储(200)至少一个特定图像对象，例如已知的脸部或界标；启动(202)相机以获取图像；分析(204)图像中的对象；比较(206)图像中的对象和至少一个特定图像对象；并且确定(208)在图像中的至少一个对象和至少一个特定图像对象之间是否存在匹配。如果发现匹配，则相机对焦(212、214、216、218)在匹配对象上，并且捕获(220)图像。
文档编号G06T7/00GK101911670SQ200980101788
公开日2010年12月8日 申请日期2009年1月5日 优先权日2008年1月7日
发明者威廉·P·阿尔伯斯, 迪安·E·索尔森 申请人:摩托罗拉公司