限定图像边界的制作方法
【专利说明】
[0001] 本申请是国际申请日为2009年5月22日的、名称为"限定图像边界"的发明专利 申请No. 200980119458. 6 (PCT/US2009/045094)的分案申请。
技术领域
[0002] 本发明涉及图像编辑。特别地，本发明涉及为图像限定边界。
【背景技术】
[0003] 图像编辑应用（以及视频和其他媒体编辑应用）为用户提供从数字图像的初始状 态修改该数字图像的能力。通常，用户希望修改整个图像的颜色属性，或者更常见的是修改 图像的选取部分（selection)。例如，用户有可能希望增大选取部分中的饱和度，以使颜色 更加强烈夺目，并且由此使该选取部分在图像中更为突出。用户有可能希望改变的其他颜 色属性包括色度、亮度等等。对选取部分的颜色属性的修改将被称为色彩校正。
[0004] 为了修改图像的选取部分，用户必须首先具备用于限定其希望修改的选取部分的 工具。一些现有技术的选择工具以用户选择的颜色为基础来进行选择。用户可以（通过从 调色板中选择或是通过点击图像中的点）规定其希望选择的颜色，并且选择工具会将选取 部分限定成是图像中处于所选颜色阈值以内的所有像素。但是，在一些情况中，用户只希望 选择一些具有所选颜色的像素（例如在图像中存在多个面部且用户希望突出显示其中一 个面部的情况下）。更进一步，所期望的选取部分有时会包含多种颜色（例如具有皮肤、头 发、眼睛等等的头部）。
[0005] 其他现有技术的选择工具允许用户围绕其希望选择进行色彩校正的区域来绘制 边界。但是，执行这种处理通常是一个非常困难的处理，这是因为选取部分的边界是由光标 的精确移动限定的。这需要用户非常缓慢仔细地在图像上移动。由此需要一种选择工具，其 中所述选择工具允许用户更快地在图像上移动，但仍然在恰当的位置限定图像中的边界。
[0006]此种现有技术中的选择工具的另一个缺点在于其无法校正错误。此类选择工具的 用户必须能够从期望边界的起始点开始并在没有犯错的情况下始终向着期望端点移动光 标。如果出错，则用户必须重新开始所述选择处理。这对用户来说是一个让人非常沮丧的 过程，在用户尝试绘制的边界很长的情况下尤其如此，用户必须进行多次尝试来绘制边界。 由此需要一种允许用户在尝试限定图像中的边界的时候校正错误的选择工具。
[0007] 上述现有技术中的选择工具的第三个缺陷在于其限定的边界并未顾及从前景 (foreground)到背景（background)的自然过渡。一些工具并未在选取部分与图像剩余部 分之间创建硬边缘（hardedge)，而是应用了简单柔化选取部分边缘的处理。但是，这些工 具并未根据顾及边界实际特性的智能算法来创建柔化效果。当尝试选择如带有头发的头部 之类的区域时，这时几乎不可能描绘出每一根头发，但是将头发保持于前景的能力是一个 很有用的特征。此外，即便是在易于被选择的边界，从前景到背景的特定于边界的智能过渡 (intelligenttransition)也是可取的。由此需要用户能够限定一个区域作为过渡部分， 并且确定所述过渡部分的尺寸和形状。此外还需要能够为选取部分限定从前景到背景的智 能过渡。
【发明内容】
[0008] 本发明的一些实施例提供一种用于在光标在图像上滚动时限定边界的方法。在一 些实施例中，当图像编辑应用加载图像以进行显示和编辑时，所述应用将会识别图像的边 缘。在识别边缘之前，一些实施例对图像应用去噪算法，使得只保持图像中最相关的边缘。
[0009] 一些实施例使用边缘来限定图像的边界。例如在一些实施例中，所述方法（1)识 别位于在图像上移动的光标附近的边缘，以及（2)将限定的边界锁定到附近已被识别的边 缘。在这其中的一些实施例中，所述方法显示搜索窗口，在所述搜索窗口中搜索靠近光标的 边缘。一些实施例根据光标在图像上的移动速度来改变搜索窗口的尺寸。在一些实施例中， 光标移动的越快，搜索窗口也就越大。
[0010] 一些实施例将所限定的边界绘制成一系列分段，使得在这些分段之间具有点。一 些实施例还接收输入，以便在限定边界的同时删除所限定的边界的一部分。在一些实施例 中，删除边界一部分的输入是光标在先前限定的边界上向后移动通过边界上的至少一个 点。
[0011] -些实施例使用限定的边界来执行图像编辑操作，例如对图像一部分进行色彩校 正或是删去（即裁切）图像一部分，以及其他图像编辑操作（例如添加纹理和其他效果等 等）。为了协助这些操作，一些实施例在限定边界的周围产生一个隧道。在一些实施例中， 所述隧道具有恒定的设置宽度，使得所述隧道任一侧边都与边界具有相等的距离。在其他 实施例中，隧道宽度可以改变，从而避免自相交（self-intersection)。在一些实施例中，在 生成隧道之后，所述方法接收针对所述隧道的修改。一些实施例中的修改包括改变隧道宽 度以及修改隧道一侧或两侧的形状。
[0012] 如上所述，一些实施例使用隧道来执行图像编辑操作。例如，一些实施例使用隧道 来产生图像中的前景到背景过渡。为了实施这种过渡，一些实施例对隧道外部的像素进行 采样，并且基于采样像素来为隧道内部的像素确定a值。根据一种比较采样像素图像值与 隧道内部像素图像值的算法确定所述a值。
【附图说明】
[0013] 在随附权利要求中阐述了本发明的新颖特征。但出于说明目的，在以下附图中阐 述了本发明的若干实施例。
[0014] 图1概念性地示出了由本发明的一些实施例实施的整个处理。
[0015] 图2示出的是具有前景、背景和过渡部分的图像。
[0016] 图3示出的是为图2的图像识别的边缘。
[0017] 图4示出的是为图2的图像限定的边界。
[0018] 图5示出的是围绕图4的边界所产生的隧道。
[0019] 图6示出的是在图5的隧道内部生成的前景到背景过渡。
[0020] 图7示出的是一些实施例的图像编辑应用。
[0021] 图8示出的是根据一些实施例来预先计算图像边缘的处理。
[0022] 图9示出的是选择将要打开的图像文件。
[0023] 图10示出的是打开的图像。
[0024] 图11示出的是对图像应用去噪算法而只识别最相关边缘的一些实施例的处理。
[0025] 图12示出的是未应用去噪算法的图像的边缘。
[0026] 图13示出的是应用去噪算法的图像的边缘。
[0027] 图14示出的是用于限定图像边界的一些实施例的处理。
[0028] 图15和16示出的是用于限定边界的一些实施例的不同尺寸的搜索窗口。
[0029] 图17-19示出的是一些实施例的边缘搜索处理。
[0030] 图20示出的是为图像限定的边界，其中所述图像的一部分已经被锁定到图像边 缘，并且一部分未被锁定到边缘。
[0031] 图21示出的是允许在限定过程中删除已限定边界中的一部分的一些实施例的处 理。
[0032] 图22-25示出的是使用图21的处理来限定边界。
[0033] 图26-28示出的是对已限定的图像边界的修改。
[0034] 图29示出的是用于从限定的边界中产生隧道的一些实施例的处理。
[0035] 图30示出的是限定的边界。
[0036] 图31示出的是从图30的边界产生的隧道。
[0037] 图32示出的是限定的边界。
[0038] 图33示出的是从图32的边界产生的隧道。
[0039] 图34示出的是对图31的隧道宽度进行的修改。
[0040] 图35示出的是对图33的隧道宽度进行的修改。
[0041] 图36示出了一条隧道。
[0042] 图37示出的是具有若干个用于修改隧道的控制点的图36的隧道。
[0043] 图38和39示出的是使用控制点来修改图36的隧道。
[0044] 图40示出的是用于选择图像内部的关注部分的一些实施例的处理。
[0045] 图41-44示出的是在图像内部选择关注部分。
[0046] 图45示出的是用于为图像中的像素产生a值的一些实施例的处理。
[0047] 图46示出的是图像的一部分上的隧道。
[0048] 图47示出的是围绕图46的隧道的前景和背景采样像素。
[0049] 图48和49示出的是具有不同采样宽度的隧道。
[0050] 图50示出的是覆盖在图46的图像的所述部分上的计算得到的a值。
[0051] 图51示出的是图50的a值。
[0052] 图52示出的是一些实施例中具有选定的a画笔工具的图像编辑应用。
[0053] 图53示出的是用于添加具有第一半径的a的第一a画笔。
[0054] 图54示出的是用于添加具有第二半径的a的第二a画笔。
[0055] 图55示出的是用于修改a画笔柔和度的工具。
[0056] 图56示出的是用于去除a的a画笔。
[0057] 图57示出的是使用图56的a画笔。
[0058] 图58-63示出的是在多份图像中选取图像中的婴儿的头部。
[0059] 图64示出的是图像和色彩校正工具。
[0060] 图65示出的是使用色彩校正工具来修改图像。
[0061] 图66概念性地示出了一些实施例的图像编辑应用的软件架构。
[0062] 图67概念性地示出了实施本发明一些实施例的计算机系统。
【具体实施方式】
[0063] 在以下描述中出于说明目的而对众多细节进行了阐述。但是，本领域普通技术人 员将会认识到，本发明是可以在不使用这些特定细节的情况下实践的。
[0064] 第一节.综述
[0065] 本发明的一些实施例提供一种用于在光标在图像上滚动时限定边界的方法。在一 些实施例中，当图像编辑应用加载图像以进行显示和编辑时，所述应用会识别图像的边缘。 在识别边缘之前，一些实施例对图像应用去噪算法，由此只保持图像中最相关的边缘。
[0066] 一些实施例使用边缘来为图像限定边界。例如在一些实施例中，所述方法（1)识 别位于在图像上移动的光标附近的边缘，以及（2)将限定的边界锁定到附近已被识别的边 缘。在这其中的一些实施例中，所述方法显示搜索窗口，在所述搜索窗口中搜索光标附近的 边缘。一些实施例根据光标在图像上的移动速度来改变搜索窗口的尺寸。在一些实施例中， 光标移动的越快，搜索窗口也就越大。
[0067] 一些实施例将所限定的边界绘制成一系列分段，使得在这些分段之间具有点。一 些实施例还接收输入，以便在限定边界的同时删除所限定的边界的一部分。在一些实施例 中，删除边界一部分的输入是光标在先前限定的边界上向后移动通过边界上的至少一个 点。
[0068] 一些实施例使用限定的边界来执行图像编辑操作，例如对图像的一部分进行色彩 校正或是删去图像的一部分。为了协助这些操作，一些实施例在限定的边界周围产生一个 隧道。在一些实施例中，所述隧道具有恒定的设置宽度，使得所述隧道的任一侧都与边界具 有相等的距离。在其他实施例中，所述隧道的宽度可以改变，从而避免自相交。在一些实施 例中，在生成隧道之后，所述方法接收针对所述隧道的修改。一些实施例中的修改包括改变 隧道的宽度以及修改隧道一侧或两侧的形状。
[0069] 如上所述，一些实施例使用隧道来执行图像编辑操作。例如，一些实施例使用隧道 来产生图像中的前景到背景过渡。为了实施这种过渡，一些实施例对隧道外部的像素进行 采样，并且基于采样像素来为隧道内部的像素确定a值。一些实施例基于一种对采样像素 的图像值与隧道内部像素的图像值进行比较的算法来确定所述a值。
[0070] 图1示出的是由本发明一些实施例执行的整个处理100。图2-6示出的是将处理 100应用于图像200的示例。图像200包括前景205 (面部和颈部）、背景210以及过渡部 分215 (与前景和背景混合的头发区域）。处理100是在105以识别图像中的边缘为开始 的。在识别边缘之前，一些实施例对图像应用去噪算法，以便仅仅识别最为相关的部分。图 3示出了在105识别的图像200的边缘305。一些实施例识别更多或更少的边缘；例如，一 些实施例有可能识别头发区域中的一个或多个很小的边缘。
[0071] 在识别边缘之后，当光标穿过图像时，所述处理会使用所述边缘来限定图像200 的边界（在110)。图4示出了具有所限定的边界405的图像200。边界405是沿着一些边 缘305限定的，并且包括具有点415的分段410。应该指出的是，所述边界不必是沿着整个 连续边缘