图像中的对象选择的制作方法
【专利摘要】公开了允许在图像中进行对象选择的方法、机器可读取的介质，以及计算设备的说明性实施例。在某些实施例中，方法可以包括检测机器可读的图像文件中的对象的一个或多个特征，通过向一个或多个检测到的特征中的每一个分配虚拟点电荷，来模拟静电电荷分布，确定从模拟的静电电荷分布所产生的虚拟电势场，以及选择机器可读的图像文件中的对象的由虚拟电势场中的等势线所包围的部分。
【专利说明】图像中的对象选择
[0001] 背景
[0002] 对图像中的对象的识别和选择在计算摄影领域带来了挑战性的问题。被配置成基 于对象的所感兴趣的特征选择图像中的对象的系统和方法可以显著改善图像编辑软件的 有效性，以及其用户体验。例如，选择包含对象的所感兴趣的特征的图像区域--而避免选 择包含不需要的图像伪像的不必要地大的图像区域--可以允许对象被以无缝方式复制 和粘贴到另一图像中。具体而言，被配置成基于对象的所感兴趣的特征选择图像中的对象 的系统和方法可以允许移动计算设备的用户执行对由移动计算设备的摄像机捕捉到的图 像的动态（οη-the-fly)编辑。
[0003] 当前图像编辑系统通常使用"图割（graph-cut)"方法来选择图像中的对象。图割 方法一般通过确定每个像素和其相邻像素的相似度（或相异性）并选择在最为相异的像素 之间划的线所包围的图像区域，来尝试分离图像中的感兴趣的对象与图像的背景。当选择 图像中的某些类型的对象（例如，人脸）时，这样的图割方法常常选择包含不需要的图像伪 像（例如，背景像素、几何伪像等等）的不必要地大的图像区域。
[0004] 附图简要描述
[0005] 此处所描述的本发明是作为示例说明的，而不仅限于各个附图的图形。为说明简 单和清楚起见，图形中所示出的元件不一定是按比例绘制的。例如，为了清楚起见，某些元 件的尺寸可以相对于其他元件而放大。此外，在合适的情况下，在不同的图形中参考标签重 复使用，以表示对应的或类似的元件。
[0006] 图1是包括摄像机和被配置成选择由摄像机捕捉到的图像中的对象的图像协处 理器的计算设备的至少一个实施例的简化框图；
[0007] 图2是用于选择机器可读的图像文件中的对象的方法的至少一个实施例的简化 流程图；
[0008] 图3示出了包括人脸（包括多个特征）的图像的至少一个实施例；
[0009] 图4示出了图3的图像的至少一个实施例，进一步包括模拟的静电电荷分布，该静 电电荷分布包括分配给多个特征的的虚拟点电荷；
[0010] 图5示出了图3的图像的至少一个实施例，进一步包括从图4的模拟的静电电荷 分布所产生的虚拟电势场；以及
[0011] 图6示出了图3的人脸的选择的部分的至少一个实施例，以及alpha掩码，人脸的 所选部分被图5的虚拟电势场的等势线包围。
[0012] 附图详细描述
[0013] 尽管本发明的概念可以具有各种修改和替代形式，但是，在附图中作为示例示出 了并详细描述其特定的示例性实施例。然而，应该理解不将本发明的概念限制于所公开 的特定形式，相反地，意图将涵盖符合本发明和所要求保护的所有修改、等效内容和替代方 案。
[0014] 在下面的描述中，阐述了诸如逻辑实现、操作码、指定操作数的手段、资源分区/ 共享/复制的实现方式，系统组件的类型和相互关系，以及逻辑分区/集成选择之类的很多 具体细节，以便提供对本发明的更全面的理解。然而，本领域技术人员可以理解，本发明的 各实施例可以在没有这样的具体细节的情况下实施。在其他情况下，没有详细示出控制结 构、门级电路，以及完全软件指令序列，以便不至于使本发明变得模糊。所属领域的技术人 员，利用包括的描述，将能够实现合适的功能，无需过度的实验。
[0015] 说明书中对"一个实施例"、"实施例"、"示例实施例"等等的引用表示所描述的实 施例可包括特定特征、结构或特性，但是，每一个实施例可以不一定包括该特定特征、结构， 或特征。此外，这样的短语不一定是指同一个实施例。此外，当结合一个实施例描述特定特 征、结构或特性时，认为在本领域技术人员学识范围内，可以与其他实施例一起实施这样的 特征、结构或特性，无论是否对此明确描述。
[0016] 可以使用硬件、软件、固件或其任何组合来实现本发明的各实施例。在计算设备中 实现的本发明的各实施例可以包括组件之间的一个或多个基于总线的，基于链路的互连和 /或组件之间的一个或多个点对点互连。本发明的各实施例还可实现为携载于或存储在一 个或多个机器可读取的介质中的可以由一个或多个处理器读取和执行的指令。机器可读取 的介质可以实现为用于以可由机器（例如，计算设备）读取的形式存储或传输信息的任何 设备、机制或物理结构。例如，机器可读取的介质可以实现为只读存储器（ROM);随机存取 存储器（RAM);磁盘存储介质；光存储介质；闪存设备；微型或微SD卡、记忆棒，电信号，及 其他。
[0017] 在附图中，为便于描述，可以示出诸如表示设备、模块，指令块和数据元素的那些 之类的示意元素的特定的布局或排序。然而，所属领域的技术人员应该理解，附图中的示 意元素的特定的顺序或布局不意味着暗示要求处理的特定顺序或序列，或过程的分离。进 一步地，在附图中包括示意元素不意味着暗示，在所有实施例中要求有这样的元素，或由这 样的元素所表示的特征不能包括在某些实施例中，或不能与某些实施例中的其它元素相结 合。
[0018] 一般而言，用于表示指令块的示意元素可以使用任何合适的形式的机器可读的指 令来实现，诸如软件或固件应用程序、程序、函数、模块、例程、进程、过程、插件、小程序、窗 口部件（widget)、代码段，和/或其他，每一个这样的指令都可以使用任何合适的编程语 言、库、应用程序编程接口（API)，和/或其他软件开发工具来实现。例如，一些实施例可以 使用Java、C++和/或其他编程语言来实现。类似地，用于表示数据或信息的示意元素可 以使用任何合适的电子布局或结构来实现，诸如寄存器、数据存储、表、记录、阵列、索引、散 列、映射、树、列表、图、文件（任何文件类型）、文件夹、目录、数据库和/或其他。
[0019] 进一步地，在附图中，在使用连接元素（例如，实线或虚线或箭头）来示出两个或 更多示意元素之间的连接、关系或关联的情况下，任何这样的连接元素的不存在不意味着 暗示不能存在连接、关系或关联。换言之，在附图中可以不示出元素之间的一些连接、关系 或关联以便不使本发明模糊。另外，为便于图示，可以使用单一连接元素来表示元素之间的 多个连接、关系，或关联。例如，在连接元素表示信号、数据，或指令的通信的情况下，所属领 域的技术人员应该理解，这样的元素可以表示一个或多个信号路径（例如，总线），如可能 需要的，以实行通信。
[0020] 本发明一般涉及用于基于对象的所感兴趣的特征来选择机器可读的图像文件中 的对象的系统和方法。术语"图像"在本发明中是指静止图像和视频（可以理解，包括可以 按类似的方式处理的静止图像的系列）并考虑二维（2D)和三维（3D)图像和视频。目前所 公开的系统和方法可以用于，作为示例，诸如图1中所示出的移动计算设备100之类的计算 设备中。如下面更详细地描述的（参考图2中所示出的简化流程图），目前所公开的系统和 方法涉及检测机器可读的图像文件中的对象的一个或多个特征，以及通过向一个或多个检 测到的特征中的每一个分配虚拟点电荷，来模拟静电电荷分布。然后，可以确定从模拟的静 电电荷分布所产生的虚拟电势场（例如，使用泊松求解程序）。在确定虚拟电势场之后，可 以使用虚拟电势场中的等势线来选择机器可读的图像文件中的对象的部分。将进一步参考 包含人脸的图像的多个说明性实施例来描述目前所公开的系统和方法，如图3-6所示。
[0021] 现在参考图1，作为简化框图示出了可以选择机器可读的图像文件中的一个对象 的计算设备1〇〇的一个说明性实施例。计算设备1〇〇可以实现为能够执行此处所描述的功 能的任何类型的电子设备。作为示例，计算设备100可以实现为个人计算机、工作站、膝上 型计算机、手持式计算机、移动因特网设备、蜂窝电话、个人数据助理、电话设备、网络电器、 虚拟化设备、存储器控制器，或其他基于计算机的设备。在图1所示出的说明性实施例中， 计算设备100被实现为移动计算设备（例如，移动因特网设备），包括处理器102、I/O子系 统104、系统存储器106、图像协处理器108、摄像机110,以及通信电路112。计算设备100 还可以可任选地包括一个或多个外围设备114和一个或多个数据存储设备116。此外，还应 该理解，计算设备100可以包括通常在计算机和/或计算设备中发现的在图1中为描述清 楚起见未示出的其他组件、子组件，以及器件。
[0022] 计算设备100的处理器102可以是能够执行软件/固件的任何类型的处理器，诸 如微处理器、数字信号处理器、微控制器，等等。可以构想，处理器102可以被实现为单核处 理器或多核处理器。处理器102充当计算设备100的主处理器（或中央处理单元），一般负 责执行软件堆栈，软件堆栈可以包括操作系统和常驻在计算设备1〇〇上的各种应用、程序、 库，以及驱动程序。
[0023] 处理器102通过许多信号路径可通信地耦合到I/O子系统104。这些信号路径（及 图1中所示出的其他信号路径）可以被实现为能够促进计算设备1〇〇的各组件之间的通信 的任何类型的信号路径。例如，信号路径可以被实现为任意数量的线路、电缆、光波导、印刷 电路板迹线、通道、总线、中间设备，和/或等等。计算设备100的I/O子系统104可以被实 现为促进对计算设备100的处理器102和/或其他组件的输入/输出操作的电路和/或组 件。在某些实施例中，I/O子系统104可以被实现为存储器控制器中枢（MCH或"北桥")、输 入/输出控制器中枢（ICH或"南桥"），以及固件设备。在其他实施例中，可以使用具有其 他配置的I/O子系统。例如，在某些实施例中，I/O子系统104可以被实现为平台控制器中 枢（PCH)。在这样的实施例中，存储器控制器中枢（MCH)可以被包含在处理器102中或以别 的方式与处理器102相关联，处理器102可以直接与系统存储器106进行通信（如图1中 的虚线所示）。在其他实施例中，I/O子系统104可以构成片上系统（SoC)的一部分，并与 计算设备100的处理器102及其他组件一起包括在单一集成电路芯片上。
[0024] 计算设备100的系统存储器106还通过许多信号路径可通信地耦合到I/O子系统 104。系统存储器106可以被实现为一个或多个存储器设备或数据存储位置，包括，例如，动 态随机存取存储器设备（DRAM)、同步动态随机存取存储器设备（SDRAM)、双倍数据速率同 步动态随机存取存储器设备（DDR SDRAM)、闪存设备，和/或其他易失性存储器设备。另外， 虽然在图1中只示出了单一系统存储器设备106,但是，在其他实施例中，计算设备100可以 包括附加的系统存储器设备。在某些实施例中，系统存储器106可以被用作可以被计算设 备100的诸如图像协处理器108之类的附加的处理器访问的共享存储器。
[0025] 计算设备100还包括可以从主处理器102分摊图像处理功能的图像协处理器108。 图像协处理器108可以是能够执行软件/固件的任何类型的处理器，诸如微处理器、数字信 号处理器、微控制器，等等。图像协处理器108通过许多信号路径可通信地耦合到计算设备 100的摄像机110,并接收由摄像机110捕捉到的机器可读的图像文件（包括静止图像和/ 或视频）。如图1所示，图像协处理器108还可以通过许多信号路径可通信地耦合到I/O子 系统104。在某些实施例中，图像协处理器108、主处理器102,以及I/O子系统104可以全 部都是SoC的一部分并包括在单一集成电路芯片上。
[0026] 计算设备100的通信电路112可以被实现为用于在计算设备100和一个或多个网 络（未示出）（所述网络包括，但不仅限于，局域网、广域网、公开可用的全球网络（例如，因 特网），和/或其他网络）之间进行通信的任意数量的器件和电路。通信电路112可以包括 促进通过这些网络的有线和/或无线部分的通信的一个或多个有线和/或无线网络接口。 通信电路112通过许多信号路径可通信地耦合到I/O子系统104。
[0027] 计算设备100还可以可任选地包括一个或多个外围设备114和一个或多个数据存 储设备116。作为说明性示例，外围设备114可以包括显示器、触摸板、触摸屏、键盘、麦克 风、和/或一个或多个外接扬声器。计算设备100中所包括的特定外围设备114可以取决 于，例如，计算设备1〇〇的计划的用途。数据存储设备116可以被说明性地实现为任何类型 的被配置成用于数据的短期或长期存储的设备，诸如，例如，存储器设备和电路、存储器卡、 固态驱动器、硬盘驱动器，或其他数据存储设备。当存在时，外围设备114和数据存储设备 116中每一个都通过许多信号路径可通信地耦合到I/O子系统104,允许I/O子系统104接 收来自外围设备114和/或数据存储设备116的输入并向它们发送输出。
[0028] 现在参考图2,作为简化流程图示出了用于选择机器可读的图像文件中的对象的 方法200的说明性实施例。可以使用方法200来从图像中选择任何所需的类型的对象。例 如，可以使用方法200来选择存在于图像中的小汽车、房屋、动物，或任何其他对象。方法 200特别适合于选择图像中的人脸，下面将使用对人脸的选择作为示例来描述方法200的 说明性实施例（参考图3-6)。在说明性实施例中，方法200可以由图像协处理器108执行， 以选择由摄像机110捕捉到的图像中的（和/或从系统存储器106检索的机器可读的图像 文件中的）对象。还设想，在其他实施例中，方法200可以由，例如，诸如处理器102之类的 多用途处理器来执行。方法200在图2中被示为许多框202-214。在方法200的一些实施 例中可以可任选地使用框206和214,因此，框206和214在图2中以阴影指出。
[0029] 方法200以框202开始，其中、图像协处理器108检测机器可读的图像文件中的对 象的一个或多个特征。由图像协处理器108在框202中检测到的一个或多个特征可以是涉 及要选择的特定对象的所感兴趣的任何特征。作为示例，在要通过方法200选择的对象是 人脸的情况下，图像协处理器108可以检测到一个或多个面部特征。在图3中示出了包括 人脸302的图像300的一个说明性实施例。在此说明性实施例中，人脸302包括可以由图 像协处理器108检测到的多个特征：眼睛304的中心、嘴角306、鼻子308,及其他。还设想， 人脸302的附加特征（例如，眼角、唇，等等）可以由图像协处理器108检测和/或用于方 法200中。
[0030] 在框202中，图像协处理器108可以使用用于识别机器可读的图像文件中的对象 的任何合适的方法，检测对象的一个或多个特征。在某些实施例中，图像协处理器108可 以通过向机器可读的图像文件应用基于Haar(Haar-like)特征的分类器级联，来检测对象 的一个或多个特征。例如，图像协处理器108可以应用已知的Viola-Jones算法，或其变 体。在图像的大小与要选择的对象相比相对比较大的情况下，图像协处理器108可以反复 使用多个分类器来执行框202。首先，图像协处理器108可以在整个图像上使用合适的分 类器来检测对象。其次，图像协处理器108可以在对象的仅某一区域上使用一个或多个合 适的分类器来检测所感兴趣的一个或多个特征。作为示例，可以向相对比较大的图像应用 Viola-Jones算法，以检测人脸302,导致图3所示出的较小的图像300。然后，可以向图像 300应用进一步的分类器，以检测眼睛304的中心、嘴角306,以及鼻子308。
[0031] 在框202之后，方法200进展到框204,其中，图像协处理器108通过向在框202检 测到的对象的一个或多个特征中的每一个分配虚拟点电荷400,来模拟静电电荷分布。在某 些实施例中，图像协处理器108可以向对象的多个特征应用虚拟点电荷400,但是，不必向 每个可检测的特征应用虚拟点电荷400。如图4所示，作为示例，图像协处理器108可以向 在框202检测到的眼睛304的中心和嘴角306应用虚拟点电荷400 (但不向鼻子308或其 他特征应用）。如此，通过图像300中的相关特征304, 306的相对位置来确定模拟的静电电 荷分布中的虚拟点电荷400的间隔。虽然图4所示出的所有虚拟点电荷400都被示为具有 正电荷，但是，还设想，模拟的静电电荷分布可以附加地或另选地包括带有负电荷的虚拟点 电荷400。
[0032] 在方法200的某些实施例中，框204可以可任选地包括框206,其中，图像协处理 器108响应于每一个虚拟点电荷400附近的像素颜色，为分配给一个或多个检测到的特征 304, 306中的每一个的虚拟点电荷400加权。换言之，图像协处理器108可以给一些虚拟点 电荷400分配比其他虚拟点电荷400更大的或更小的电荷值（例如，+1库仑，+2库仑，+3 库仑等等）。与带有较小的电荷值的虚拟点电荷400相比，带有较大的电荷值的虚拟点电 荷400将对所产生的电势场具有较大的影响。在方法200的不包括框206的各实施例中， 虚拟点电荷400中的每一个都可以具有相同电荷值（例如，+1库仑）。
[0033] 在框204 (以及，可任选地，框206)之后，方法200进展到框208,其中，图像协处理 器108确定从模拟的静电电荷分布所产生的虚拟电势场。图像协处理器108可以使用用于 计算由特定静电电荷分布（即，在框204中分配的虚拟点电荷400的布局）所创建的电势 场的任何合适的方法。在框208的某些实施例中，图像协处理器108可以计算图像300内 的每一个像素处的虚拟电势，或电压。如图5所示，虚拟电势场可以通过许多等势线500A-H 来表示。每一个等势线500A-H都表示图像300中的具有特定电势（即，彼此相等的电压） 的所有像素。可以理解，图像300的虚拟电势场可以包含比图5中所示出的那些更多的或 更少的等势线。
[0034] 在说明性实施例中，图像协处理器108可以在框208中通过应用泊松求解程序来 计算虚拟电势场，确定从模拟的静电电荷分布所产生的虚拟电势场。如本领域的技术人员 所理解的，由特定静电电荷分布（P )所产生的电势场?)将满足泊松方程：
[0035]
【权利要求】
1. 一种计算设备，包括： 摄像机；以及 图像协处理器，所述图像协处理器被配置成：（i)检测由所述摄像机捕捉到的图像中 的对象的一个或多个特征，（ii)通过向所述一个或多个检测到的特征中的每一个分配虚拟 点电荷，来模拟静电电荷分布，（iii)确定从所述模拟的静电电荷分布所产生的虚拟电势 场，以及（iv)选择所述捕捉到的图像中的所述对象的由所述虚拟电势场中的等势线所包 围的部分。
2. 如权利要求1所述的计算设备，其特征在于，所述计算设备的所述图像协处理器和 主处理器两者都是片上系统的一部分。
3. 如权利要求1所述的计算设备，其特征在于，所述图像协处理器被配置成至少部分 地通过向所述捕捉到的图像应用基于Haar特征的分类器级联，来检测所述对象的所述一 个或多个特征。
4. 如权利要求1所述的计算设备，其特征在于，所述图像协处理器被配置成至少部分 地通过响应于所述虚拟点电荷附近的像素颜色，对分配给所述一个或多个检测到的特征中 的每一个的所述虚拟点电荷加权，来模拟所述静电电荷分布。
5. 如权利要求1所述的计算设备，其特征在于，所述图像协处理器进一步被配置成向 所述对象的所述选择的部分应用alpha掩码。
6. 如权利要求1-5中任一权利要求所述的计算设备，其特征在于，所述图像协处理器 被配置成至少部分地通过应用泊松求解程序以计算所述虚拟电势场，来确定从所述模拟的 静电电荷分布所产生的所述虚拟电势场。
7. 如权利要求1-5中任一权利要求所述的计算设备，其特征在于，所述图像协处理器 被配置成至少部分地通过反复应用泊松求解程序以计算所述虚拟电势场，直到实现所述虚 拟电势场的所希望的求解质量，来确定从所述模拟的静电电荷分布所产生的所述虚拟电势 场。
8. 如权利要求1-5中任一权利要求所述的计算设备，其特征在于，所述图像协处理器 被配置成通过检测人脸的多个特征来检测所述对象的所述一个或多个特征。
9. 如权利要求8所述的计算设备，其特征在于，所述图像协处理器被配置成通过检测 至少一个眼睛特征和至少一个嘴特征来检测人脸的多个特征。
10. -种方法，包括： 检测机器可读的图像文件中的对象的一个或多个特征； 通过向所述一个或多个检测到的特征中的每一个分配虚拟点电荷，来模拟静电电荷分 布； 确定从所述模拟的静电电荷分布所产生的虚拟电势场；以及 选择所述机器可读的图像文件中的所述对象的由所述虚拟电势场中的等势线所包围 的部分。
11. 如权利要求10所述的方法，其特征在于，检测所述对象的一个或多个特征包括向 所述机器可读的图像文件应用基于Haar特征的分类器级联。
12. 如权利要求10所述的方法，其特征在于，模拟所述静电电荷分布包括响应于所述 虚拟点电荷附近的像素颜色，对分配给所述一个或多个检测到的特征中的每一个的所述虚 拟点电荷加权。
13. 如权利要求10所述的方法，其特征在于，进一步包括向所述对象的所述选择的部 分应用alpha掩码。
14. 如权利要求10-13中任一权利要求所述的方法，其特征在于，确定从所述模拟的静 电电荷分布所产生的所述虚拟电势场包括应用泊松求解程序以计算所述虚拟电势场。
15. 如权利要求10-13中任一权利要求所述的方法，其特征在于，确定从所述模拟的静 电电荷分布所产生的所述虚拟电势场包括反复应用泊松求解程序以计算所述虚拟电势场， 直到实现所述虚拟电势场的所希望的求解质量。
16. 如权利要求10-13中任一权利要求所述的方法，其特征在于，检测所述对象的所述 一个或多个特征包括检测人脸的多个特征。
17. 如权利要求16所述的方法，其特征在于，检测人脸的多个特征包括检测至少一个 眼睛特征和至少一个嘴特征。
18. 包括多个指令的一个或多个机器可读取的介质，所述指令，响应于被执行，导致计 算设备的处理器： 检测机器可读的图像文件中的对象的一个或多个特征； 通过向所述一个或多个检测到的特征中的每一个分配虚拟点电荷，来模拟静电电荷分 布； 确定从所述模拟的静电电荷分布所产生的虚拟电势场；以及 选择所述机器可读的图像文件中的所述对象的由所述虚拟电势场中的等势线所包围 的部分。
19. 如权利要求18所述的一个或多个机器可读取的介质，其特征在于，所述多个指令 导致所述处理器至少部分地通过向所述机器可读的图像文件应用基于Haar特征的分类器 级联，来检测所述对象的所述一个或多个特征。
20. 如权利要求18所述的一个或多个机器可读取的介质，其特征在于，所述多个指令 导致所述处理器至少部分地通过响应于所述虚拟点电荷附近的像素颜色，对分配给所述一 个或多个检测到的特征中的每一个的所述虚拟点电荷加权，来模拟所述静电电荷分布。
21. 如权利要求18所述的一个或多个机器可读取的介质，其特征在于，所述多个指令 进一步导致所述处理器向所述对象的所述选择的部分应用alpha掩码。
22. 如权利要求18-21中任一权利要求所述的一个或多个机器可读取的介质，其特征 在于，所述多个指令导致所述处理器至少部分地通过应用泊松求解程序以计算所述虚拟电 势场，来确定从所述模拟的静电电荷分布所产生的所述虚拟电势场。
23. 如权利要求18-21中任一权利要求所述的一个或多个机器可读取的介质，其特征 在于，所述多个指令导致所述处理器至少部分地通过反复应用泊松求解程序以计算所述虚 拟电势场，直到实现所述虚拟电势场的所希望的求解质量，来确定从所述模拟的静电电荷 分布所产生的所述虚拟电势场。
24. 如权利要求18-21中任一权利要求所述的一个或多个机器可读取的介质，其特征 在于，所述多个指令导致所述处理器通过检测人脸的多个特征来检测所述对象的所述一个 或多个特征。
25. 如权利要求24所述的一个或多个机器可读取的介质，其特征在于，所述多个指令 导致所述处理器通过检测至少一个眼睛特征和至少一个嘴特征来检测所述人脸的多个特 征。
【文档编号】G06K9/46GK104067308SQ201280068036
【公开日】2014年9月24日 申请日期:2012年1月25日 优先权日:2012年1月25日
【发明者】D·V·拉戈真, I·M·米罗诺夫 申请人:英特尔公司