小割或者最大流算法来确切地最小化能量 函数。
[0023] 根据本发明的一个实施例，可以定义目标函数用于在交互选择方法中使用以考虑 到可以被直接地偏向于前景或背景的非局部、基于特征的邻域。R项可以被定义为应用一般 性偏移而不是基于用户笔划的约束。
[0025] 可以在所有像素标签的集合X和代表特征聚类的标签的集合Y之上优化目标函 数。例如，每个红-绿-蓝（RGB)颜色可以包括聚类i，该聚类i具有Y中的标签 71。在正 则RGB空间中，每个颜色通道通常具有256个值，并且因此存在总计2563个聚类。然而，根 据本发明的一个实施例，可以使用经量化的RGB颜色空间。因此，相比之下，在经量化的RGB 颜色空间中，颜色被分组使得每个颜色通道仅有例如64个颜色（或者16个颜色、128个颜 色或者任何其它数目的颜色）。因此，经量化的RGB颜色空间具有比正则RGB空间更少的总 聚类。其它特征（例如，L*a*b颜色空间、尺度不变特征变换或者SIFT)或者聚类算法可以 被使用。
[0026] 每个特征聚类i (具有Y中的标签71)可以与具有特定特征的所有像素关联。使用 RGB颜色，每个特征聚类i代表一种颜色，而具有该颜色的每个像素 j在目标函数中被链接 到聚类，其中N(X，Y)定义哪些像素与哪些特征相关联。成本被指派给具有与像素关联的特 征不同的标签的任何像素。每个特征聚类也具有与朝着前景或者背景直接地偏移该聚类的 区域项R相似的区域项R f。附加地，边界项Bf将相邻特征链接在一起（例如，如果两个像素 在色空间中恰好相互邻近，这意味着它们很相似，则鼓励这些像素两者具有相同的标签）。 每个λ是对对应项的加权。如在本公开内容中所描述的，基于前景偏移来定义R。在一些 实施例中，如在图切割方法中那样定义项B。B f和Bfp二者被设置为预定的恒定值。在一些 实施例中，不一定使用Rf (例如，对于所有Y1S R f (Y1) = 0)。
[0027] 以上描述的目标函数当包括时间信息时也可以被使用。针对其中来自先前帧的结 果被对齐到当前帧（例如，使用弯曲（wraping)、点跟踪（point tracking)或者其它适当技 术）的情况，可以修改R项以包括先前结果。例如，R项可以替换通常使用的偏移图（bias map)，或者它可以被添加到偏移图，从而在偏移中反映两者。针对其中来自先前帧的特征 (例如，当先前帧中颜色被偏向于前景时，该颜色可以在当前帧中被偏向于前景）被使用在 当前帧中的情况，可以在R f项中捕获这一效果。例如，用于给定特征的Rf的值可以使用在 先前帧中的具有给定特征的像素的具有前景比背景的百分比来设置。
[0028] 在一个实施例中，可以使用图切割来最小化以上描述的目标函数。然而，将会理 解，在一些实施例中，诸如信任传播的不同算法可以被用来最小化相同目标函数。
[0029] 在一个具体实施例中，输入是相机馈送的当前图像帧，图像可以从该相机馈送被 连续地更新。帧包括一个或者多个对象。首先，偏移被创建用于初始地确定一个或者多个 对象位于帧中的何处、一个或者多个对象不位于何处或者二者。一个这样的偏移是中心偏 移。例如，约为图像的大小的一半的矩形可以被放置于图像的中心。矩形内的图像帧的区域 可以朝着前景被加权，这意味着矩形是朝着对象位于何处的偏移或者对象位于何处的初始 猜测。相似地，图像的边界（例如，在矩形以外的区域）内用作朝着背景的偏移或者对象不 位于何处的猜测。在前向偏移区域与图像的边界之间可以存在没有偏移的中间区域；也就 是说，中间区域中的一些像素可以未朝着前景或者背景被偏移。中心偏移倾向于选择在帧 的中心的对象。然而，将会理解，可以使用不同偏移。例如，偏移无需是矩形，但是代之以可 以是在图像帧中居中并且朝着边缘下降的高斯曲线。另一示例偏移是脸部或者身体偏移， 其中对象是人。脸部检测器可以被用来发现图像中的脸部。脸部和在脸部以下的区域（例 如，身体）朝着位于前景中被偏移，而在脸部以上和侧部的区域朝着位于背景中被偏移。其 它类型的偏移根据本公开内容将是明显的。
[0030] 接着，偏移被馈送到用于目标函数的优化算法中，诸如具有非局部邻域图结构的 图切割算法或者信任传播算法。将会理解，其它优化算法可以被用来求解目标函数。在图 切割中，帧中的每个像素由图中的节点代表。数据项被用来将每个像素朝着前景或者背景 加权。偏移被用来形成数据项。非局部、基于颜色的邻域项被用于向邻近像素指派相同标 签（例如，前景或者背景）该类型的邻域意味着前景偏移区域中的像素可以影响图像中的 将作为前景的相同颜色的所有像素（例如，包括非邻接像素，诸如其中若干不同对象出现 在帧的前景中），而在背景偏移区域中的像素可以影响图像中的将作为背景的相同颜色的 所有像素。取代颜色或者除了颜色之外的特征可以被使用。这与一些现有算法形成对照， 在这些算法中仅紧接地包围给定像素的像素被视为邻居。图切割可以被优化以产生图像的 初始二元分割，其中一段包括对象（前景）。在一些实施例中，可以对图像的低分辨率版本 执行图切割以提高性能；然而根据本公开内容将会理解，可以对包括全分辨率或者高分辨 率的其它分辨率执行图切割。
[0031] 接着，使用遮片（matting)算法在全分辨率下改进图切割的低分辨率结果（例如， 初始图像分割）。遮片算法可以创建对对象的边缘更准确地进行建模的软像素遮罩并且可 以捕获毛发和软毛中的细节。软像素遮罩是其中像素被指派了多于一个加权标签的软像素 遮罩。例如，取代于所有像素被标注为纯前景或者背景，像素可以用某个百分比、诸如70% 前景和30%背景来标注。接着，在显示器上交互地示出遮罩，因此用户可以看见分割。例 如，遮罩可以使用对目标对象或者对象集合着色或者染色、纹理化或者加轮廓来被描绘。
[0032] 在另一实施例中，可以跟踪相机的移动，使得使用先前帧而获得的遮罩可以被用 来通知当前帧中的遮罩。移动信息可以被包括在图切割的数据项中以提高选择的时间相干 性。例如，如果用户将相机从各种角度和定位朝向对象，则可以使用帧序列来随时间改进遮 罩以更精确地分割图像。在一个特定实施例中，来自以往帧的信息可以被用来影响当前帧 中的分割。这样的时间信息可以被用于若干目的。例如，一个目的可以包括保证分割的时 间相干性；例如，为了保证包含对象的段不从对象到前景并返回地、快速地交替（例如，通 过平均从实况相机馈送的若干图像帧的分割产生的若干像素遮罩）。时间信息也可以被用 来通过将段的一部分锁定在位置上使得用户可以移动相机并且完成选择来改进分割。根据 一些实施例，存在用于收集时间信息的若干技术。一种这样的技术包括计算从先前帧到当 前帧的扭曲或者仿射变换。然后，可以向当前帧传送来自先前帧的遮罩。该技术特别地用 于在用户相当静止地持有相机时提高分割的时间相干性。另一种这样的技术包括用于从一 个区域向另一区域传送时间信息的点跟踪或者区域跟踪算法。例如，点跟踪算法寻找图像 中的易于准确地跟踪的点。这些点可以充当到下一帧的输入以指示某些像素应当是前景的 部分或者背景的部分。用于收集时间信息的又一种技术包括存储前景或者背景的特征分 布。例如，算法可以使用颜色作为特征并且查看对象的颜色，然后使用颜色来影响后来帧中 的像素，这些像素具有将成为对象的一部分的那些颜色。
[0033] -些相机系统，诸如移动电话（所谓智能电话）上的相机系统或者数字相机，具有 帮助它们检测运动的传感器（陀螺仪、加速度计、罗盘）。在这些情况下，设备的检测到的运 动可以被用来计算先前帧和当前帧的初始对准。这可以单独被用来传送时间信息，或者它 可以被用作用于另一算法的起始点。在一些情况下，用户可能希望指示是否应当使用时间 信息。例如，用户可能想要锁定当前选择中的所有像素，并且然后少量移动相机以得到其余 的像素。这可以通过按下按钮来完成。如果相机具有运动传感器，则用于这样做的另一种 方式是检测用户是否持续了指定的时间量没有移动相机，并且如果是则锁定选择中的任何 像素。可以显示视觉提示以向用户示出当前选择正在被锁定。在这样的情况下，预定义的 运动，如迅速移动或者摇动手势可以被用来解锁选