择。
[0034] 诸如在本公开内容中提供的、用于收集时间信息的技术中的一种或者多种技术可 以被用来生成像素图，该像素图示出可能成为对象或者成为背景的像素。这可以通过替换 偏移来实施，或者可以被包括作为附加的偏移。另一备选方案是在为当前帧计算选择之后， 从时间信息生成的对象遮罩可以被混合到当前遮罩中。
[0035] 示例系统
[0036] 图1图示根据实施例的用于分割实况相机馈送的图像帧的示例计算设备100。设 备100包括相机110、处理器120和显示器130。一般而言，设备100可以包括任何类型的 计算设备，诸如个人计算机（PC)、膝上型计算机、平板或者智能电话。如以下将进一步具体 讨论的，处理器可以包括编程为或者以其他方式配置为处理图像数据的图像分割模块112。 将会理解，相机110、处理器120和显示器130可以被集成到单个设备中或者若干设备中 (例如，相机110可以是连接到计算设备100的单独的通用串行总线（USB)相机，或者显示 器130可以是连接到计算设备100的单独的计算机监视器）。
[0037] 举例而言，相机110可以被配置为获得多个图像帧并且向处理器120发送每个图 像帧。例如，图像帧可以包括比对背景而设置的一个或者多个对象。处理器120又可以向 显示器130发送图像帧中的一个或者多个图像帧，使得用户可以查看图像，例如，作为实况 相机馈送。因此，随着用户相对于对象而移动相机110,可以更新显示器130上的实况相机 馈送以反映相机110的可变透视和视野。如以下将进一步具体描述的，除了实况相机馈送 之外还可以在显示器130上示出由处理器120生成的附加信息。例如，可以在实况相机馈 送上叠加遮罩以指示视野中的对象的边界。例如，这样的遮罩或者对象选择可以在编辑应 用中有用。
[0038] 示例用例
[0039] 图2A描绘根据本发明的实施例的示例图像帧200。图像帧200可以例如由图1的 相机110获取，并且代表例如来自实况相机馈送的帧序列的一个帧。图像帧200包括背景 偏移区域202和在图像帧的前景中的至少一个对象204。为了清楚，对象204和背景202被 示出为具有基本上均匀的颜色；然而，将根据本公开内容理解到，对象204和背景202中的 任一个或者二者可以具有变化的颜色（例如，由于阴影、纹理或者其它特性）。一旦获取，例 如，图像帧200可以由图像分割模块112处理、由显示器130显示或者二者。
[0040] 图2B描绘图2A的示例图像帧，示出根据本发明的实施例的偏移206的示例表示。 如以上所指出的，由偏移206代表的区域可以是图像帧200内的对象204的位置的初始猜 测，而在图像帧200的边界周围的区域可以是对象204不位于何处的初始猜测。偏移206可 以被用作图切割优化算法中的数据项，用于标识图像帧200中的前景对象（诸如对象204) 的边界。在图2B中，偏移206由以帧200的中心为中心的矩形区域代表。矩形可以是图像 帧200内的任何大小或者位置。如以上所指出的，偏移206不一定需要由矩形区域代表。例 如，偏移可以由任何多边形或者高斯曲线代表。然而，当对象204大体地位于图像帧200的 中心或者附近时，矩形偏移可以足以用于在图切割算法中使用。
[0041] 如以下将进一步具体描述，在前景偏移区域内的一个或者多个像素（例如，在偏 移206以内的像素）以及在前景偏移区域以外的一个或者多个像素可以被用作用于求解目 标函数的、用于使用适当图像分割算法（诸如图切割优化算法或者信任传播算法）来分割 来自前景202的对象204的约束。例如，在图切割优化算法中，图像帧200中的每个像素可 以由图中的节点代表。与对象204中的像素对应的节点可以被加权到前景，而与背景202 中的像素对应的节点被加权到背景。对于图的所有可能的二元分割，根据最小成本函数的 分割可以被用来确定哪些节点、以及因此哪些像素是前景段的成员而哪些节点是背景段的 成员。在一些实施例中，由处理器120用来执行图切割优化算法的存储器数量可以通过对 图像帧200的低分辨率版本执行图切割来减少。
[0042] 一旦根据分割确定了对象204的边界，遮片算法可以被用来对对象202的边缘更 准确地进行建模，特别是其中这样的边缘具有不规则或者复杂形状。遮片算法的结果是可 以在对象204或者前景202之上叠加为可视地指示对象204的边界的遮罩。图2C描绘图 2A的具有叠加在对象204之上的遮罩214的图像帧200。图2D备选地描绘图2A的具有叠 加在背景202之上的遮罩222的图像帧200。可以经由图1的显示器130显示图像帧200 和叠加的遮罩214或者222。
[0043] 在一些实施例中，图像帧200随着实况相机馈送进展随时间而更新。例如，如果用 户移动相机110,则图像帧200随着相机110的定位改变而改变。在这样的情况下，诸如如 图2E中所示，对象204和遮罩214、222的边界被更新为与对象204的在更新的图像帧200 内相对于背景202的改变的定位相对应。例如，在图2E中，图2C中的对象204和对应遮罩 214的先前位置被描绘为假想虚线（可以不向用户实际地显示），并且遮罩的更新的位置被 指示在216处。在一些实施例中，先前图像帧（例如，在更新之前出现的图像帧）中的遮罩 可以被用来通知用于更新遮罩214、222的遮片算法。例如，遮罩可以被包括在用于以上讨 论的图切割优化算法的数据项中，以随着对象204在连续的图像帧内改变位置而提高图像 分割的时间相干性（例如，遮罩214、222的位置与更新的图像帧中的对象204的位置上的 改变同时地改变）。
[0044] 示例方法
[0045] 图3是根据实施例的用于分割实况相机馈送的图像帧的示例方法300的流程图。 例如，示例方法300可以由图1的图像分割模块112实施。方法300通过接收302当前图像 帧（例如，图2A的图像帧200)来开始。例如，当前图像帧可以由相机（例如，图1的相机 110)获取。当前图像帧包括前景偏移区域（例如，与图像帧中的对象对应）和背景偏移区 域。在一些实施例中，可以存在多于一个前景偏移区域（例如，图像的右侧可以被偏移到第 一对象，图像的左侧可以被偏移到第二对象，而图像的边界可以被偏移到背景）。方法300 通过计算304偏移项来继续。例如，偏移项可以代表以当前图像帧的中心为中心的矩形区 域或者当前图像帧的任何其它区域。方法300通过使用基于偏移项的图切割优化算法来将 当前图像帧分割306成前景段和背景段来继续。分割将当前图像帧中的每个像素指定为前 景像素或者背景像素。前景像素可以、但是不一定是邻近或者邻接像素。因此，前景段和背 景段可以各自包括若干不连续像素组（段）。
[0046] 在一些实施例中，分割可以基于非局部、基于颜色的邻域，在该邻域中，前景偏移 区域中的具有第一颜色的像素可以影响图像中的将在前景段中的、具有相同第一颜色或者 相似颜色的一些或者所有像素，而背景偏移区域中的具有第二颜色的像素可以影响图像中 的将在背景段中的、具有相同第二颜色或者相似颜色的一些或者所有像素。
[0047] 方法300通过生成308与前景段、背景段或者两个段的组合对应的像素遮罩来继 续。如以上关于图2C和2D所讨论的，像素遮罩可以对应于当前图像帧的前景或者当前图 像帧的背景。方法300通过显示310图像帧和像素遮罩（例如，经由图1的显示器130)来 继续。例如，像素遮罩可以被分别叠加在当前图像帧的前景或者背景之上。
[0048] 在一些实施例中，该方法通过接收312诸如在实况相机馈送中发现的图像帧序列 中的不同图像帧来继续。在一些实施例中，该方法通过跟踪314相机的运动来继续。例如， 如果相机的透视随时间而改变，则前景中的对象的位置可以相对于图像帧而改变。该方法 通过更新前景段和背景段的分割以反映不同图像帧中的前景和背景的位置上的改变来继 续。该方法通过基于更新的分割而更新318像素遮罩来继续。然后，如以上所描述的，可以 显示310更新的像素遮罩。
[0049] 在一些实施例中