专利名称：用于使用标度空间来处理图像的设备和方法
技术领域：
本公开内容总体上涉及图像处理，并且更具体地，涉及使用图像的标度空间表示来处理图像。
背景技术：
处理动态影像等的图像可以包括标识一帧或者多帧中的对象。可以通过确定对象边界来标识对象。可以使用描摹(rotoscoping)来标识对象边界。描摹包括通过数字手段逐帧追踪动态影像中的对象边界。描摹可以提取数字蒙板(matte)以允许向图像施加特效和其他图像处理。特效的示例包括将场景中的对象替换为经由计算机生成的其他对象、将来自一个场景的表演者合成到另一场景以及将二维OD)动态影像改变成三维(3D)动态影像。其他图像过程的示例包括跟踪图像序列中的对象以及跟踪左眼和右眼图像序列中的对象。当诸如蓝屏方法的其他技术无法在可接受的精度容限内产生蒙板时，可以使用描摹。例如，图像可能包括复杂背景(例如使用档案胶片的图像)，蓝屏方法对此可能无法产生可接受的结果。描摹可能是人力密集的。为求效率，可以使用半自动描摹技术。这样的技术包括基于轮廓的方法和阿尔法通道算法。基于轮廓的方法可能涉及到用户，该用户尽可能准确地在一帧或者多帧中指定轮廓。轮廓是对象边界的粗略估计。通过估算能量函数，活动轮廓(active contour)可基于粗略估计的轮廓而与边界相关联。能量函数可用迭代方法使其最小化，由此产生围绕对象的优化轮廓。在某些基于轮廓的方法中，执行笔划匹配，包括分析成本函数以确定哪些笔划在关键帧之间与对象的特定轮廓相匹配。上述算法可以输出相对平滑的轮廓，并且在相邻帧中的轮廓之间建立对应关系，但是这常常需要技术娴熟的用户来勾画感兴趣的对象。阿尔法通道算法可以通过分析三个色区域来提取对象的软边界相对于对象而言的前景，相对于对象而言的背景，以及在沿着对象边界的中间区域中混合的前景和背景。阿尔法通道算法虽然也有可能应用于序列，但是它常常应用于个体帧。阿尔法通道算法可以提取软边界以及阿尔法值或者该值的透明度。在一些阿尔法通道算法中应用贝叶斯方式，其利用空间可变高斯集对前景色和背景色分布二者进行建模，并且假设前景色和背景色的部分混合，从而产生最终输出。其他阿尔法通道算法假设 纯前景色是一组聚类的线性组合，并且通过检查前景和背景中的成对聚类来计算颜色和阿尔法值。又一些其他阿尔法通道算法执行以下一个或者多个(i)通过假设聚类在红、绿、蓝(RGB)色空间中为扁长或者雪茄形来估计高分辨率图像和图像序列中的阿尔法蒙板； ( )根据关于前景和背景色的局部平滑假设导出成本函数，并且通过解析消除前景和背景色获得关于阿尔法的二次成本函数；(iii)导出将图像的梯度与阿尔法值相关的偏微分方程，并且描述高效算法从而提供阿尔法值作为方程的解；(iv)将自然图像抠图(matting) 的问题形式化为使用蒙板梯度场求解泊松方程的问题以及使用成对闪光/非闪光图像来提取蒙板(称为“闪光抠图”)之一；(ν)允许“运行中”构造环境蒙板而无需专门校准；(vi) 通过捕获前景对象和阿尔法蒙板以及捕获对象如何折射和反射光的描述，以及通过使用环境合成将前景对象放置于新环境中来执行环境抠图。然而，这些阿尔法通道算法寻求产生软分割，而不产生可获得更准确分割的硬分割。另一描摹技术是随机游走。随机游走是一种图形化的图像分割算法，尝试标识出从某个“种子”像素出发向某个“汇点”像素行进的随机游走者将穿越特定像素的概率。可以对像素之间的边缘进行加权，使得按照某个标准被视为相似的像素具有低边权值，使游走者更有可能穿越该边缘。概率可被确定为组合Dirichlet解。随机游走也可以使用局部保持投影对颜色空间进行变换，使得相似的颜色(例如梯度缓慢变化的颜色)可被放在一起，而不相似的颜色可被分开。然而，随机游走可能无法在存在噪声的情况下干净地分割图像，从而造成不准确的对象边界标识。因而，需要可以高效和准确地标识对象边界的方法、设备和系统。还需要可以产生硬分割并且在存在噪声的情况下准确标识对象边界的方法、设备和系统。
发明内容
某些方面和实施方式涉及通过根据图像创建标度空间图像以及使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像是图像的多分辨率信号表示。标度空间图像表示图像的不同细节层次。可以在展示之前进一步处理对象边界已被标识的图像。 例如，图像可以是动态影像的二维图像。通过标识对象边界，可以使用标识的对象边界来处理二维QD)图像，从而将2D图像转换成三维(3D)图像。在一个实施方式中，接收具有至少一个对象的图像。计算设备可以根据该图像生成两个或者更多标度空间图像。标度空间图像可以用来确定位势图(potential map)。位势图可以表示像素在对象的边界内或在对象的边界以外的可能性。位势图可以用来标识对象的边界。在一些实施方式中，将图像转换成颜色模型。颜色模型可以是CIE LW颜色空间。在一些实施方式中，通过使用两个或者更多低通滤波器将图像转换成标度空间， 从而根据图像生成标度空间图像。低通滤波器可以包括高斯内核。不同细节层次可以包括不同的模糊程度。在一些实施方式中，通过使用(i)两个或者更多小波滤波器或者(ii) 一种保边 (edge preserving)分解过程将图像转换成标度空间，从而根据图像生成标度空间图像。在一些实施方式中，标度空间图像可以用来为图像的每个像素确定权值。每个权值可以与一链接边关联。可以通过确定与像素关联的链接边来确定权值。可以确定针对与像素关联的每链接边的权值。可以收集针对每个链接边的权值，以形成针对像素的权值。
在一些实施方式中，接收用于图像的标签(label)。可以根据权值并且使用标签来确定位势值。每个位势值可以表示相关联的像素在对象的边界内或者在对象的边界外的可能性。可以通过确定位势值的几何平均而根据位势值确定位势图。位势图可以包括针对位势值的几何平均。在一些实施方式中，可以生成和使用标签以确定位势图。接收用于图像的对象模板(mask)。根据用于图像的对象模板计算反转对象模板。根据反转对象模板确定第一距离变换。根据对象模板确定第二距离变换。使用第一距离变换来标识图像中的前景像素。使用第二距离变换来标识图像中的背景像素。基于标识的前景像素和标识的背景像素生成标签。在一些实施方式中，可以根据初始位势图生成标签。接收用于图像的对象模板。根据用于图像的对象模板计算反转对象模板。使用形态瘦化(thinning)过程来收缩反转对象模板。使用形态瘦化过程来收缩用于图像的对象模板。基于收缩的反转对象模板和收缩的用于图像的对象模板生成初始标签。使用初始标签来确定用于图像的初始位势图。使用初始位势图、收缩的反转对象模板和收缩的对象模板来生成标签。在一些实施方式中，位势图被用来生成图像模板。接收标识对象的估计边界的两个或者更多关键点。基于关键点计算标签。基于标签来剪切图像段。根据图像段来确定位势图。根据位势图创建边界点。如果接收到将边界点标识为不可接受的命令，则使用新关键点来计算第二位势图。如果接收到将边界点标识为可接受的命令，则输出边界点。可以使用边界点来生成图像模板。在一些实施方式中，新关键点的数目大于所述关键点。另外，在一些实施方式中， 关键点标识两个或者更多图像帧中的对象的估计边界。边界点标识一个或多个图像帧中的对象的估计边界位于两个或者更多图像帧之间的部分。在一些实施方式中，关键点标识两个或者更多图像帧中的对象的估计边界。新点的第一集合标识至少一个图像帧中的对象的估计边界位于该两个或者更多图像帧之间的部分。在一些实施方式中，位势图可以由存储于计算机可读介质上的程序代码确定。在一些实施方式中，位势图可以由存储于计算机可读介质上并且由计算设备的处理器执行的标度空间引擎确定。提及这些示例实施方式并非为了限制或者限定公开内容而是提供示例以有助于其理解。在具体实施方式
中讨论附加实施方式并且在具体实施方式
中提供进一步的描述。 可以通过审视本说明书或者通过实现呈现的一个或者多个实施方式来进一步理解各种实施方式中的一个或者多个实施方式所赋予的优点。
图1是根据本发明一个实施方式的用于生成可用来处理图像的位势图的系统的框图。图2是根据本发明一个实施方式的用于生成用于处理图像的位势图的方法的流程图。图3是根据本发明第二实施方式的用于生成用于处理图像的位势图的方法的流
9程图。图4是根据本发明一个实施方式的用于基于标度空间图像的针对图像一像素的图形的图示。图5是根据本发明一个实施方式的用于基于对象模板根据图像确定标签的方法的流程图。图6是根据本发明第二实施方式的用于基于对象模板根据图像确定标签的方法的流程图。图7A-图7D是根据本发明一个实施方式的确定图像中的对象边界的图示。图8是根据本发明一个实施方式的用于使用位势图基于关键点来确定对象边界点的方法的流程图。
具体实施例方式某些方面和实施方式涉及通过根据图像创建标度空间图像，并且使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像可以具有不同的细节层次。可以在展示之前进一步处理对象边界已被标识的图像。例如，图像可以是动态影像的二维图像。可以标识对象边界，并且可以使用所标识的对象边界来处理二维OD)图像从而将2D图像转换成三维(3D)图像。标度空间图像是图像的多分辨率信号表示。可以通过使用不同特性的滤波器(例如，不同的滤波器内核尺寸)对图像进行滤波，以形成标度空间图像。使用不同特性的滤波器形成的标度空间图像可以具有不同的细节层次。在一些实施方式中，通过将图像与具有不同尺寸的高斯内核进行卷积来形成标度空间图像。标度空间图像可以对应于层次。例如， 标度空间图像可以对应于表示图像中的细节层次的层次。在一些实施方式中，标度空间图像是这样形成的通过使用尺寸不同的滤波组件对图像进行多次滤波，以滤除与图像中的“精细”细节有关的信息。该滤波组件可以是尺寸逐渐增大的低通滤波器内核。使用大尺寸的内核滤波器生成的标度空间图像可以是包含较少细节层次的较高层次标度空间图像。使用尺寸较小的内核滤波器生成的标度空间图像是包括较多细节层次的较低层次标度空间图像。在一个实施方式中，滤波器内核是等量 (isometric)高斯低通滤波器内核，并且得到的标度空间图像具有包括不同的特性(包括模糊)。在一些实施方式中，标度空间图像可以用来计算针对每个像素的三维图形。一个像素可以与多个标度空间图像的相邻像素相链接。链接该像素同某个相邻像素两者之间的链接边可以用权值相关联。权值的值可以由两像素之间的相似度来确定。标度空间图像可以用来确定针对图像的位势图。例如，三维图形可以用来计算位势图。对于图像或者图像的一部分中的每个像素，位势图还可以包括位势值，该位势值表示该像素在图像中的对象边界内或者在对象边界外的可能性。位势图可以用来处理图像。例如，位势图可以用来标识图像对象的边界，以允许该对象出于3D展示以及其他目的而被修改。在一些实施方式中，可以接收用于图像的标签，以支持计算位势图。标签可以标识可作为对象的边界像素候选者的图像像素。标签可以与边界容限关联，以确保真正的对象边界像素被包含在标签内。标签可以通过不精确的边界像素信息来计算。在一些实施方式中，使用交互手段从人类操作者接收标签。标签的示例是在对象边界的周围绘制并且包括该边界的三分图(trimap)。三分图将图像像素划分成三组属于对象的像素(前景)、对象外部的像素(背景)以及在前景和背景之间、可能是对象边界像素但尚不确定的像素。可以使用标签来计算位势图。在一些实施方式中，可以通过将随机游走算法应用于标度空间图像来计算位势图。得到的位势图被用来标识对象边界。位势图可以与随机游走算法一起使用，从而在存在噪声的情况下改进对象边界标识。给出这些说明性示例是为了向读者介绍这里讨论的一般性主题，而并非为了限制公开的概念的范围。以下章节参照其中相似标号表明相似单元的附图描述各种附加实施方式和示例。示例系统实施图1描绘了一种根据某些实施方式的系统，该系统能够使用根据图像生成的标度空间图像来确定位势图，并且能够允许使用位势图来处理图像。可以使用其他实施方式。该系统包括具有处理器104的计算设备102，处理器104可以执行计算机可读介质(如存储器 106)上存储的代码，以使计算设备102使用根据图像生成的标度空间图像来确定位势图。 计算设备102可以是能够处理数据并且执行作为指令集的代码以进行动作的任何设备。计算设备102的示例包括桌面型个人计算机、膝上型个人计算机、服务器设备、手持计算设备和移动设备。处理器104的示例包括微处理器、专用集成电路(ASIC)、状态机或者其他适当处理器。处理器104可以包括一个处理器或者任意数目的处理器。在一些实施方式中，处理器104包括与具有IGB或者更少VRAM的高端图形卡关联的图形处理单元(GPU)。在其他实施方式中，处理器104是包括两个、四个或者更多处理单元的多核处理器。多核处理器可以包括单指令多数据(SIMD)兼容能力，例如流式SIMD扩展(SSE)和3DNow ！。诸如LAPACK 的线性代数包可以用来有益地使用SIMD扩展和处理器的能力。处理器104可以经由总线108访问存储器106中存储的代码。存储器106可以是能够存储代码的任何有形计算机可读介质。存储器106可以包括能够向处理器104提供可执行代码的电设备、磁设备或者光设备。存储器106的示例包括随机存取存储器(RAM)、只读存储器(ROM)、软盘、光盘、数字视频设备、磁盘、ASIC、配置的处理器或者能够有形地包含代码的其他存储设备。总线108可以是能够在计算设备102的部件之间传送数据的任何设备。总线108可以包括一个设备或者多个设备。计算设备102可以通过输入/输出(I/O)接口 110与附加部件共享数据。I/O接口 110可以包括USB端口、以太网端口、串行总线接口、并行总线接口、无线连接接口或者能够允许在计算设备与另一部件之间传送数据的任何适当接口。附加部件可以包括用户接口 (UI)设备112、显示器114和网络116。UI设备112可以包括键盘、鼠标设备、触屏接口或者能够从用户接收命令并且向计算设备102提供命令的其他设备。显示器114可以包括液晶显示器(LCD)、等离子体屏、阴极射线管(CRT)或者能够显示计算设备102生成的图像的任何设备。网络116可以包括因特网、内部网、广域网(WAN)、局域网(LAN)、虚拟专用网(VPN) 或者允许计算设备102与其他部件通信的任何适当通信网络。在其他实施方式中，计算设备102是能够以脱机方式实现根据本发明各种实施方式的各种方法的脱机设备。指令可以在存储器106中存储为可执行代码。指令可以包括由编译器和/或解译器根据代码而生成的特定于处理器的指令，其中代码以诸如C、C++、C#、Visual Basic, Java、Python、Perl、JavaScript和ActioMcript等任何适当的计算机编程语言编写。指令可以包括图像处理应用118，它在由处理器104执行时可以使计算设备102使用根据图像生成的标度空间图像来确定位势图，并且使用位势图来处理图像。图像处理应用118包括标度空间引擎120，当其由处理器104与图像处理应用118 —起执行时，可以使计算设备 102根据图像生成标度空间图像以根据标度空间图像确定位势图，并且使用位势图来处理图像。提供这一示例系统配置仅为了举例说明可以用来实施某些实施方式的位势配置。 当然可以使用其他配置。生成位势图的示例方法可以使用根据本发明各种实施方式的各种方法来生成用来处理图像的位势图。图 2图示了用于根据标度空间图像生成位势图的方法的一个实施方式。图2中所示方法是参照图1的系统配置来描述的。然而其他系统实施也是可行的。在块202中，图像处理应用118接收图像。图像例如可以是作为图像序列的动态影像的图像。在一些实施方式中，图像包括一个或者多个对象。对象可以是在图像中可视表示的有形项目。图像可以是RGB(红、绿、蓝)图像或者在不同颜色空间(例如YUV、XYX 或者CIE LW颜色空间)中。在块204中，标度空间引擎120根据图像生成细节层次不同的标度空间图像。每个标度空间图像可以具有不同于所生成的其他标度空间图像的细节层次。标度空间引擎120 可以使用各种方法来生成标度空间图像。一种方法包括使用具有不同内核尺寸的滤波器对图像进行滤波。每个滤波器可以产生具有特定细节层次的标度空间图像，其不同于由不同尺寸的滤波器产生的其他标度空间图像。滤波器可以实现为软件，例如实现为标度空间引擎120的一部分。在其他实施方式中，滤波器实现为由标度空间引擎120访问或者控制的硬件。在一些实施方式中，可以在标度空间引擎120将图像转换成标度空间之后生成标度空间图像。可以使用例如小波滤波器或者保边分解过程将图像转换成标度空间。在块206中，标度空间引擎120使用标度空间图像来确定针对图像的位势图。位势图可以包括与图像的像素或者部分像素关联的位势值。例如，位势值可以与图像的像素关联。位势值可以表示关联像素处于图像中的对象边界内或者在对象边界外的可能性。在一些实施方式中，基于与像素和邻近像素之间的链接边相关联的权值来为像素确定位势值。 链接边以及相关联的权值可以使用标度空间图像来标识和确定。在块208中，图像处理应用118使用位势图来处理图像。例如，图像处理应用可以使用位势图来生成用于图像的图像模板。图像模板可以用来标识图像中的对象。在一些实施方式中，在使用位势图标识对象边界之后，可以修改图像中的对象位置。图3描绘了用于生成在处理图像时使用的位势图的方法的另一实施方式。图3的方法是参照图1的系统和图4的图示来描述的。然而其他实施也是可行的。在块302中，图像处理应用118接收包括至少一个对象的图像。图像处理应用118如图2的块202中那样接收图像。在块304中，标度空间引擎120将图像转换成颜色模型。转换成颜色模型可以允许标度空间引擎120更容易地区分图像的颜色。在一些实施方式中，图像是RGB图像，其被转换为颜色模型，即CIE LW颜色空间中的图像。在块306中，标度空间引擎120根据颜色模型生成至少两个标度空间图像。标度空间图像可以具有不同的细节层次。每个标度空间图像具有与其他标度空间图像不同的细节层次。可以使用各种方法来执行标度空间图像。在一个实施方式中，使用尺寸逐渐增大的高斯低通滤波器(LPF)内核对图像进行滤波，以生成标度空间图像。使用高斯内核有助于防止不希望的结构被引入图像中，对于相对较大尺寸的滤波器而言尤其如此。由高斯内核生成的标度空间图像可以具有包括不同量的图像模糊的不同细节层次。具有N个层次的标度空间ζ可以表示为ζ = {I [χ, y]*f(x，y| σ n) ση = 0,1,2,4, · · · 2^1}其中I[x,y]是初始图像；并且
“i 、 1 i-O2+/)1f(x> yWn)= ι 2 expjI这是尺寸为η的高斯内核。
Vη,根据标度空间ζ中的N个标度空间图像，标度空间引擎120可以生成针对图像或者图像一部分的每个像素的三维图形。该图形可以示出标度空间图像的不同层次的像素之间的关系，并且可以示出特定层次的像素与邻近像素之间的关系。图4图示了根据本发明一个实施方式的根据标度空间ζ生成的图形402。该图形包括不同的层4(Ma-404c。虽然示出了三个层4(Ma-404c，但是可以实现任何数目的层。层 404a-404c中的每个层可以对应于根据图像生成的标度空间图像。层中的每个节点可以对应于相应标度空间图像中的像素。例如，层40 可以对应于第一标度空间图像，层404b可以对应于第二标度空间图像，层4(Mc可以对应于第三标度空间图像。另外，可以从较多的细节层次向最少的细节层次布置层4(Ma-404c。例如，层40 可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有最多细节的层次(例如，精细的细节层次)的第一标度空间图像。层404b可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有中等细节层次的第二标度空间图像。层4(Mc可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有最少细节的层次(可以称为粗略层次)的第三标度空间图像。图4中的图402是包括像素406的六连接结构。也可以实现其他类型的连接结构、 例如八连接结构等。像素406中的每个像素对应于标度空间图像，并且可以连接到六个对应的像素，诸如同一层中的四个邻近像素以及来自较高层和较低层的对应像素。每对连接的像素之间具有连接像素的链接边。例如链接边410位于层40 上的像素408与层404b 上的像素406之间。这一布置可以允许每个层影响其他层，从而可以在较高层保持细节，并且可以在较低层控制来自噪声的影响。在块308中，标度空间引擎120使用标度空间图像针对图像的每个像素而确定链接边以及每链接边的权值。例如，图4中的每链接边表示像素与邻近像素或者与位势图的另一层中的对应像素之间的连接，并且链接边可以与权值相关联。可以使用以下关系来确定链接边的权值
权利要求
1.一种方法，包括接收具有至少一个对象的图像；由计算设备根据所述图像生成至少两个标度空间图像，所述计算设备包括处理器，其配置用于使所述计算设备创建所述至少两个标度空间图像，所述至少两个标度空间图像具有不同的细节层次；使用所述至少两个标度空间图像为所述图像的每个像素确定多个权值； 根据所述多个权值确定位势值，每个位势值表示相关联的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性； 根据所述位势值确定位势图；以及使用所述位势图来处理所述图像。
2.根据权利要求1所述的方法，还包括将所述图像转换为颜色模型，其中所述颜色模型包括CIE LW颜色空间中的所述图像。
3.根据权利要求1所述的方法，其中根据所述图像生成所述至少两个标度空间图像包括使用至少两个低通滤波器将所述图像转换到标度空间。
4.根据权利要求3所述的方法，其中所述至少两个低通滤波器包括高斯内核，其中所述不同的细节层次包括不同的模糊程度。
5.根据权利要求1所述的方法，其中根据所述图像生成所述至少两个标度空间图像包括使用至少两个小波滤波器将所述图像转换到标度空间。
6.根据权利要求1所述的方法，其中根据所述图像生成所述至少两个标度空间图像包括使用保边分解过程将所述图像转换到标度空间。
7.根据权利要求1所述的方法，其中使用所述至少两个标度空间图像为所述图像的每个像素确定所述多个权值包括确定与像素相关联的多个链接边；确定与所述像素相关联的所述多个链接中每个链接边的权值；以及收集所述多个链接中每个链接边的所述权值以形成所述多个权值。
8.根据权利要求1所述的方法，其中根据所述位势值确定所述位势图包括确定所述位势值的几何平均，所述位势图包括所述位势值的所述几何平均。
9.根据权利要求1所述的方法，还包括接收用于所述图像的像素的标签，其中根据所述多个权值确定位势值包括使用所述标签来确定所述位势值。
10.根据权利要求9所述的方法，其中接收所述标签包括生成所述标签，包括 接收用于所述图像的对象模板；根据用于所述图像的所述对象模板计算反转对象模板； 根据所述反转对象模板确定第一距离变换； 根据所述对象模板确定第二距离变换； 使用所述第一距离变换来标识所述图像中的前景像素； 使用所述第二距离变换来标识所述图像中的背景像素；以及基于标识的所述前景像素和标识的所述背景像素生成所述标签。
11.根据权利要求9所述的方法，其中接收所述标签包括生成所述标签，包括 接收用于所述图像的对象模板；根据用于所述图像的所述对象模板计算反转对象模板；收缩所述反转对象模板；收缩用于所述图像的所述对象模板；基于收缩的反转对象模板并且基于用于所述图像的收缩的对象模板来生成初始标签；使用所述初始标签确定用于所述图像的初始位势图；以及使用所述初始位势图、所述收缩的反转对象模板和所述收缩的对象模板来生成所述标签。
12.根据权利要求11所述的方法，其中收缩反转对象模板包括对所述反转对象模板使用形态瘦化过程，其中收缩用于所述图像的所述对象模板包括对用于所述图像的所述对象模板使用所述形态瘦化过程。
13.根据权利要求1所述的方法，其中使用所述位势图来处理所述图像包括使用所述位势图生成图像模板。
14.根据权利要求13所述的方法，其中使用所述位势图生成所述图像模板包括 接收标识所述对象的估计边界的至少两个关键点；基于所述至少两个关键点计算标签； 基于所述标签剪切图像段； 根据所述图像段确定位势图； 根据所述位势图创建边界点；响应于接收到将所述边界点标识为不可接受的命令，使用新关键点来计算第二位势图；响应于接收到将所述边界点标识为可接受的命令，输出所述边界点；以及使用所述边界点生成所述图像模板。
15.根据权利要求14所述的方法，其中所述新关键点包括大于所述至少两个关键点的数目。
16.根据权利要求14所述的方法，其中所述至少两个关键点标识至少两个图像帧中的所述对象的所述估计边界，其中所述边界点标识至少一个图像帧中的所述对象的所述估计边界位于所述至少两个图像帧之间的部分。
17.一种计算设备，包括 处理器；以及计算机可读介质，用于存储标度空间引擎，所述标度空间引擎可由所述处理器执行以使所述计算设备接收具有至少一个对象的图像；根据所述图像生成至少两个标度空间图像，所述至少两个标度空间图像具有不同的细节层次；使用所述至少两个标度空间图像为所述图像的每个像素确定多个权值，所述多个权值中的每个权值与链接边相关联；接收用于所述图像的标签；根据所述多个权值并且使用所述标签来确定位势值，每个位势值表示相关联的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性； 根据所述位势值确定位势图；以及使用所述位势图来创建用于处理所述图像的图像模板。
18.根据权利要求17所述的计算设备，其中所述标度空间引擎被配置用于使所述计算设备将所述图像转换为颜色模型，其中所述颜色模型包括CIE LW颜色空间中的所述图像。
19.根据权利要求17所述的计算设备，其中所述标度空间引擎被配置用于使所述计算设备通过使用(i)至少两个小波滤波器、(ii)保边分解过程或者(iii)至少两个低通滤波器之一将所述图像转换为标度空间，从而根据所述图像生成所述至少两个标度空间图像。
20.根据权利要求17所述的计算设备，其中所述标度空间引擎被配置用于使所述计算设备通过确定所述位势值的几何平均来根据所述位势值确定所述位势图，所述位势图包括所述位势值的所述几何平均。
21.根据权利要求17所述的计算设备，其中所述标度空间引擎被配置用于使所述计算设备通过生成用于所述图像的所述标签来接收所述标签，其中所述图标空间引擎被配置用于使所述计算设备通过以下操作来生成所述标签接收用于所述图像的对象模板；根据用于所述图像的所述对象模板计算反转对象模板；根据所述反转对象模板确定第一距离变换；根据所述对象模板确定第二距离变换；使用所述第一距离变换来标识所述图像中的前景像素；使用所述第二距离变换来标识所述图像中的背景像素；以及基于标识的所述前景像素和标识的所述背景像素生成所述标签。
22.根据权利要求17所述的计算设备，其中所述标度空间引擎被配置用于使所述计算设备通过生成用于所述图像的所述标签来接收所述标签，其中所述标度空间引擎被配置用于使所述计算设备通过以下操作来生成所述标签接收用于所述图像的对象模板；根据用于所述图像的所述对象模板计算反转对象模板；收缩所述反转对象模板；收缩用于所述图像的所述对象模板；基于收缩的反转对象模板并且基于用于所述图像的收缩的对象模板生成初始标签； 使用所述初始标签来确定用于所述图像的初始位势图；以及使用所述初始位势图、所述收缩的反转对象模板和所述收缩的对象模板来生成所述标签。
23.一种计算机可读介质，具有存储于所述计算机可读介质上的程序代码，所述程序代码包括用于接收具有至少一个对象的图像的代码；用于根据所述图像生成至少两个标度空间图像的代码，所述至少两个标度空间图像具有不同的细节层次；用于使用所述至少两个标度空间图像来确定位势图的代码，所述位势图表示像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性；以及用于使用所述位势图来标识所述对象的所述边界的代码。
24.根据权利要求23所述的计算机可读介质，还包括用于将所述图像转换为颜色模型的代码，其中所述颜色模型包括CIE LW颜色空间中的所述图像。
25.根据权利要求23所述的计算机可读介质，其中用于根据所述图像生成所述至少两个标度空间图像的代码包括用于使用包括高斯内核的至少两个低通滤波器将所述图像转换到标度空间的代码，其中所述不同的细节层次包括不同的模糊程度。
26.根据权利要求23所述的计算机可读介质，其中用于根据所述图像生成所述至少两个标度空间图像的代码包括用于使用(i)至少两个小波滤波器或者(ii)保边分解过程之一将所述图像转换到标度空间的代码。
27.根据权利要求23所述的计算机可读介质，其中用于使用所述至少两个标度空间图像来确定所述位势图的代码包括用于使用所述至少两个标度空间图像来为所述图像的每个像素确定多个权值的代码， 所述多个权值中的每个权值与链接边相关联，包括 用于确定与像素相关联的多个链接边的代码；用于确定与所述像素相关联的所述多个链接中每个链接边的权值的代码；以及用于收集所述多个链接中每个链接边的所述权值以形成所述多个权值的代码； 用于接收用于所述图像的标签的代码；用于根据所述多个权值并且使用所述标签来确定位势值的代码，每个位势值表示相关联的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性；以及用于根据所述位势值确定所述位势图的代码，包括用于确定所述位势值的几何平均的代码，所述位势图包括所述位势值的所述几何平均。
28.根据权利要求23所述的计算机可读介质，还包括用于生成将被用于确定所述位势图的标签的代码，其中用于生成所述标签的所述代码包括用于接收用于所述图像的对象模板的代码；用于根据用于所述图像的所述对象模板计算反转对象模板的代码；用于根据所述反转对象模板确定第一距离变换的代码；用于根据所述对象模板确定第二距离变换的代码；用于使用所述第一距离变换来标识所述图像中的前景像素的代码；用于使用所述第二距离变换来标识所述图像中的背景像素的代码；以及用于基于标识的所述前景像素和标识的所述背景像素生成所述标签的代码。
29.根据权利要求23所述的计算机可读介质，还包括用于生成将被用于确定所述位势图的标签的代码，其中用于生成所述标签的所述代码包括用于接收用于所述图像的对象模板的代码；用于根据用于所述图像的所述对象模板计算反转对象模板的代码；用于使用形态瘦化过程来收缩所述反转对象模板的代码；用于使用所述形态瘦化过程来收缩用于所述图像的所述对象模板的代码；用于基于收缩的反转对象模板并且基于用于所述图像的收缩的对象模板生成初始标签的代码；用于使用所述初始标签来确定用于所述图像的初始位势图的代码；以及用于使用所述初始位势图、所述收缩的反转对象模板和所述收缩的对象模板来生成所述标签的代码。
30.根据权利要求23所述的计算机可读介质，其中用于使用所述位势图来标识所述对象的所述边界的代码包括用于使用所述位势图来生成图像模板的代码，包括用于接收标识所述对象的估计边界的至少两个关键点的程序代码； 用于基于所述至少两个关键点计算标签的程序代码； 用于基于所述标签剪切图像段的程序代码； 用于根据所述图像段确定位势图的程序代码； 用于根据所述位势图创建边界点的程序代码；用于响应于接收到将所述边界点标识为不可接受的命令而使用新关键点来计算第二位势图的程序代码，其中所述新关键点包括大于所述至少两个关键点的数目；用于响应于接收到将所述边界点标识为可接受的命令而输出所述边界点的程序代码；以及用于根据所述边界点生成所述图像模板的程序代码。
31.根据权利要求30所述的计算机可读介质，其中所述至少两个关键点标识至少两个图像帧中的所述对象的所述估计边界，其中所述边界点标识至少一个图像帧中的所述对象的所述估计边界位于所述至少两个图像帧之间的部分。
32.一种方法，包括接收具有至少一个对象的图像；由计算设备根据所述图像生成至少两个标度空间图像，所述计算设备包括处理器，其配置用于使所述计算设备创建所述至少两个标度空间图像，所述至少两个标度空间图像具有不同的细节层次；使用所述至少两个标度空间图像来确定位势图，所述位势图表示所述图像的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性；以及使用所述位势图来标识所述对象的所述边界。
全文摘要
某些实施方式涉及通过根据图像创建标度空间图像并且使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像可以具有不同的细节层次。它们被用来确定位势图，该位势图表示像素在对象的边界之内或者之外的可能性。可以生成和使用估计对象边界的标签，以标识潜在地可能在边界之内的像素。在展示之前可以进一步处理对象边界已被标识的图像。例如，图像可以是动态影像的二维图像。可以标识对象边界，并且二维(2D)图像可以使用标识的对象边界来处理并被转换为三维(3D)图像以供展示。
文档编号G06T5/50GK102246204SQ200980149967
公开日2011年11月16日 申请日期2009年12月11日 优先权日2008年12月11日
发明者D·安得劳索斯, R·J·里泽祖克, R·法恩, S·周, T·F·埃尔-马拉格希 申请人:图象公司