专利名称：涂鸦分割方法和装置的制作方法
技术领域：
本发明总地涉及图像分割，并且更具体地涉及涂鸦(scribble)分割方法及其相
关装置。
背景技术：
分割是一种已知的编辑图像和视频的方法，主要被用于将来自一个图像的对象提 取和插入到另一图像中，以及/或者在执行调节的同时屏蔽掉图像的特定区域。医学图像的分割是治疗计划领域中的一项常见但耗时的任务。分割目标和危险器官在治疗计划应用中是至关重要的，因为除其它因素以外，计划过程还依赖分割的准确性来决定其结果的质量。目前，有很多分割工具可用，从完全手动到完全自动的。对于纯手动分割方法，用户通常“勾勒”或“画出”结构。虽然这种方法为用户提供了对结果的完全控制，但是这是一项非常耗时且乏味的任务。此外，手动方法可能在不同用户之间产生很大差异。因此，自动化分割在理论上是非常具有吸引力的。然而，自动方法通常要舍弃用户对结果的高度控制，并且通常不能得到正确的结果，甚至不能得到令人满意的结果。这迫使用户手动改正结果，即使这种改正是可能的，手动改正结果也可能与从开始就手动分割结构一样耗时。如果自动方法提供对最终结果的任何控制，那么控制通常是经由对结果有着非常间接的影响的设置来实现，使得用户难以理解如何最佳地调节所有设置。半自动方法比全自动方法更加现实并且比手动方法更快速。这些方法大大减少分割时间，同时为用户提供对结果的更直接的控制。一类这样的方法是“涂鸦”分割方法，其中用户用标签(例如前景或背景)标注一些像素，然后计算机根据某种设定的标准确定对所有未被标记的像素的最佳标记。如果结果不令人满意，则用户对更多的像素进行标记，直到得到所想要的结果为止。需要一种具有自动方法的优点的用于分割图像的改进的半自动方法和系统，同时允许用户具有对结果更加直接的控制。
发明内容
本发明提供了用于利用半自动涂鸦分割方法对数字化图像进行分割的方法和系统。一方面，本发明提供了用于通过以下步骤对数字化图像进行分割的方法对图像元素子集的成员值进行约束；针对被约束的成员值对加权的双调和(biharmonic)方程进行求解，其中权值根据图像元素之间的相似度而被确定；并基于每个图像元素的成员值确定最终的分割。在一些实施例中，图像元素可以是像素，而在其它示例中图像元素可以是体素。约束条件可以是内部、外部和/或边缘标签。在其它实施例中，利用代数多重网格技术对双调和方程求解。在另一些实施例中，双调和方程被重新格式化为耦合问题并利用多重网格技术被求解。
另一方面，本发明提供了通过以下步骤对数字化图像进行分割的方法对图像元素子集的成员值进行约束，通过利用多重网格技术解线性方程系统来确定在给定约束条件下的未知成员值，以及对多重网格等级的较粗级别进行更新以利用补丁矩阵表述附加约束条件。另一方面，本发明提供了包括用于执行这里所描述的方法的处理器和存储器设备的系统。另一方面，本发明提供了被存储在计算机可读介质上的、当被计算机执行时实现这里所描述的方法的软件。
根据结合附图对各种实施例的以下描述，本发明的前述和其它目标、特征和优点以及发明本身将被更充分地理解，在附图中·图I是利用涂鸦分割来分割图像的示例；图2(a)是现有技术的分割方法的结果，图2(b)是示出了针对图2(a)中的分割的随机漫步位势的图；图3(a)是根据本发明的一个实施例的分割的结果，图3(b)是示出了针对图3(a)中的分割的成员值的图；图4是描述利用多重网格技术的现有涂鸦分割方法的流程图；以及图5是描述根据本发明实施例的利用结合补丁矩阵的多重网格技术的涂鸦分割方法的流程图。
具体实施例方式本发明涉及用于分割图像的涂鸦分割方法。如图I中所示，用户用不同类型的涂鸦(例如两个涂鸦)来表示图像，每个涂鸦代表不同的约束条件，例如前景/背景或者内部/外部。因而，在使用两种涂鸦的实现方式中，第一种涂鸦被操作者用于表示图像中要被考虑为前景的部分的区域，而第二种涂鸦表示图像中被考虑为背景的区域。在操作者认为必要的情况下，任一类型的任意数目的涂鸦可以被添加以进一步对结果进行约束。实践中，用户可以对来自三维图像的二维投影或平面截图进行操作，然后系统基于用户的输入对三维图像进行处理。因此，在本描述中，术语“像素”和“体素”(voxel)将可互换地被使用。涂鸦可以通过经由诸如鼠标或绘图板的手写笔之类的人体接口设备(HID)所应用的笔触来添加。不同类型的涂鸦可以通过经由图形用户接口选择新的模式、通过利用对诸如左右鼠标按钮之类的HID或者诸如键盘上的SHIFT键之类的另一 HID的不同控制结合鼠标或手写笔移动来表示。涂鸦可以是操作者选择的任何适合的形状，或者可以是通过单个鼠标点击的简单的选点。实现涂鸦分割的一种方式是图割(Graph Cuts)方法，其中图像中的每个像素变成图中的节点。在所有相邻节点之间创建边，并且边与基于指定属性(例如亮度相似度或颜色)的花销相关联。表示前景和背景的两个特殊节点被添加到图中。表示被用户标记为前景或背景的像素的节点被连接到使用无限权值的前景或背景节点。为了得到该结果，最小切割(min-cut)算法被用于以使得被切割的边的总和最小化的方式将节点划分成与前景节点相关联的节点或者与背景节点相关联的节点。另一种方法是随机漫步方法，该方法将此问题看作组合的Dirichlet问题，并且通过大型线性方程系统来求解。利用这种方法，每个像素与位势相关联，该位势是未知的，除非在被用户标记的像素处。然后，被标记的像素被用于定义约束位势(例如，对于背景而言为O,对于前景而言为I)的Dirichlet边界条件。通过应用边界条件确定使得Dirichlet积分最小的位势来得到解。方程(I)
权利要求
1.一种对数字化图像进行分割的方法，该方法包括 对所述数字化图像内的图像元素子集的成员值U进行约束； 对加权的双调和方程进行求解，其中所述双调和方程用方程V4w = O表示并被应用所述被约束的成员值，并且其中权值根据所述数字化图像内的所述图像元素之间的相似度而被确定；以及 基于每个图像元素的成员值确定最终的分割。
2.根据权利要求I所述的方法，其中，所述图像元素是像素或体素中的一种。
3.根据权利要求I所述的方法，其中，所述成员值约束条件根据被分配的内部、外部和边缘标签的子集而得到。
4.根据权利要求I所述的方法，其中，所述双调和方程利用代数多重网格技术被求解。
5.根据权利要求4所述的方法，其中，所述双调和方程被重新格式化为用V4m = O^v V 表示的耦合问题，并且利用多重网格被求解。
[v = V2M
6.根据权利要求5所述的方法，其中，被标记的图像元素的V值根据u值被估计。
7.根据权利要求4所述的方法，其中，所述多重网格基于所述双调和方程中变化的权值调节约束算子和插值算子。
8.根据权利要求4所述的方法，其中，所述对粗糙节点的选择基于所述双调和方程中变化的权值。
9.根据权利要求5所述的方法，其中，多重网格求解器中的张弛执行与被约束的图像元素相对应的u或V值的集体张弛。
10.一种对数字化图像进行分割的方法，该方法包括 对所述数字化图像内的图像元素子集的成员值u进行约束； 通过解线性方程系统确定在给定约束条件下的未知成员值，其中所述线性方程系统利用多重网格技术被求解；以及 更新多重网格等级的较粗级别以利用补丁矩阵表述附加约束条件。
11.根据权利要求10所述的方法，其中，所述约束条件根据被分配的内部、外部和边缘标签的子集而得到。
12.根据权利要求11所述的方法，其中，所述方程系统是拉普拉斯或双调和方程。
13.根据权利要求12所述的方法，其中，包括所述附加约束条件的方程系统被表示为Ah=Al +ΔΛ，其中4是没有所述附加约束条件的方程系统，AAh是所述补丁矩阵，并且所述较粗级别通过方程為被得到，其中/A2A是多重网格约束算子，4是多重网格插值算子。
14.根据权利要求11所述的方法，其中，所述补丁矩阵表述由新的涂鸦标注得到的新的约束条件。
15.一种用于对数字化图像进行分割的系统，该系统包括 显示器； 数据存储模块； 用户接口 ；处理器，其中所述处理器通过以下步骤对所述数字化图像进行分割 对所述数字化图像内的图像元素子集的成员值U进行约束； 对用方程V4m = O表示的加权的双调和方程进行求解，其中所述双调和方程被应用所述被约束的成员值，并且其中权值根据所述数字化图像内的所述图像元素之间的相似度而确定；并且 基于每个图像元素的成员值确定最终的分割。
16.一种用于对数字化图像进行分割的系统，该系统包括 显示器； 数据存储模块； 用户接口 ； 处理器，其中所述处理器通过以下步骤对所述数字化图像进行分割 对所述数字化图像内的图像元素子集的成员值u进行约束； 通过解线性方程系统确定在给定约束条件下的未知成员值，其中所述线性方程系统利用多重网格技术被求解；以及 更新多重网格等级的较粗级别以利用补丁矩阵表述附加约束条件。
17.一种其上实现有用于对数字化图像进行分割的计算机可读程序部分的制品，该制品包括用于按以下步骤对所述数字化图像进行分割的计算机可读指令 对所述数字化图像内的图像元素子集的成员值u进行约束； 对用方程V4m = O表示的加权的双调和方程进行求解，其中所述双调和方程被应用所述被限制的成员值，并且其中权值根据所述数字化图像内的所述图像元素之间的相似度而被确定；并且基于每个图像元素的成员值确定最终的分割。
18.一种其上实现有用于对数字化图像进行分割的计算机可读程序部分的制品，该制品包括用于按以下步骤对所述数字化图像进行分割的计算机可读指令 对所述数字化图像内的图像元素子集的成员值u进行约束； 通过解线性方程系统确定在给定约束条件下的未知成员值，其中所述线性方程系统利用多重网格技术被求解；以及 更新多重网格等级的较粗级别以利用补丁矩阵表述附加约束条件。
全文摘要
本发明提供了一种涂鸦分割方法和装置。图像通过以下步骤被分割对图像元素子集的成员值进行约束；针对被约束的成员值对加权的双调和方程进行求解，其中权值根据图像元素之间的相似度而被确定；并且基于每个图像元素的成员值确定最终的分割。图像也可以通过以下步骤被分割对图像元素子集的成员值进行约束，通过利用多重网格技术解线性方程系统来确定在给定约束条件下的未知成员值，以及对多重网格等级的较粗级别进行更新以利用补丁矩阵表述附加约束条件。
文档编号G06T7/00GK102915533SQ201210249168
公开日2013年2月6日 申请日期2012年7月11日 优先权日2011年7月11日
发明者安德里亚斯·E·扎利德, 马库斯·L·何尼克斯 申请人:埃莱克特公司