涂鸦分割方法和装置的制造方法
【专利说明】
[0001] 分案申请说明
[0002] 本申请是申请日为2012年7月11日的题为"涂鸦分割方法和装置"的发明专利 申请No. 201210249168. 7的分案申请。
技术领域
[0003] 本发明总地涉及图像分割，并且更具体地涉及涂鸦（scribble)分割方法及其相 关装置。
【背景技术】
[0004] 分割是一种已知的编辑图像和视频的方法，主要被用于将来自一个图像的对象提 取和插入到另一图像中，以及/或者在执行调节的同时屏蔽掉图像的特定区域。医学图像 的分割是治疗计划领域中的一项常见但耗时的任务。分割目标和危险器官在治疗计划应用 中是至关重要的，因为除其它因素以外，计划过程还依赖分割的准确性来决定其结果的质 量。
[0005] 目前，有很多分割工具可用，从完全手动到完全自动的。对于纯手动分割方法，用 户通常"勾勒"或"画出"结构。虽然这种方法为用户提供了对结果的完全控制，但是这是 一项非常耗时且乏味的任务。此外，手动方法可能在不同用户之间产生很大差异。因此，自 动化分割在理论上是非常具有吸引力的。然而，自动方法通常要舍弃用户对结果的高度控 制，并且通常不能得到正确的结果，甚至不能得到令人满意的结果。这迫使用户手动改正结 果，即使这种改正是可能的，手动改正结果也可能与从开始就手动分割结构一样耗时。如果 自动方法提供对最终结果的任何控制，那么控制通常是经由对结果有着非常间接的影响的 设置来实现，使得用户难以理解如何最佳地调节所有设置。
[0006] 半自动方法比全自动方法更加现实并且比手动方法更快速。这些方法大大减少分 割时间，同时为用户提供对结果的更直接的控制。一类这样的方法是"涂鸦"分割方法，其 中用户用标签（例如前景或背景）标注一些像素，然后计算机根据某种设定的标准确定对 所有未被标记的像素的最佳标记。如果结果不令人满意，则用户对更多的像素进行标记，直 到得到所想要的结果为止。
[0007] 需要一种具有自动方法的优点的用于分割图像的改进的半自动方法和系统，同时 允许用户具有对结果更加直接的控制。
【发明内容】
[0008] 本发明提供了用于利用半自动涂鸦分割方法对数字化图像进行分割的方法和系 统。一方面，本发明提供了用于通过以下步骤对数字化图像进行分割的方法：对图像元素子 集的成员值进行约束；针对被约束的成员值对加权的双调和（biharmonic)方程进行求解， 其中权值根据图像元素之间的相似度而被确定；并基于每个图像元素的成员值确定最终的 分割。
[0009] 在一些实施例中，图像元素可以是像素，而在其它示例中图像元素可以是体素。约 束条件可以是内部、外部和/或边缘标签。在其它实施例中，利用代数多重网格技术对双调 和方程求解。在另一些实施例中，双调和方程被重新格式化为耦合问题并利用多重网格技 术被求解。
[0010] 另一方面，本发明提供了通过以下步骤对数字化图像进行分割的方法：对图像元 素子集的成员值进行约束，通过利用多重网格技术解线性方程系统来确定在给定约束条件 下的未知成员值，以及对多重网格等级的较粗级别进行更新以利用补丁矩阵表述附加约束 条件。
[0011] 另一方面，本发明提供了包括用于执行这里所描述的方法的处理器和存储器设备 的系统。
[0012] 另一方面，本发明提供了被存储在计算机可读介质上的、当被计算机执行时实现 这里所描述的方法的软件。
【附图说明】
[0013] 根据结合附图对各种实施例的以下描述，本发明的前述和其它目标、特征和优点 以及发明本身将被更充分地理解，在附图中：
[0014] 图1是利用涂鸦分割来分割图像的示例；
[0015] 图2(a)是现有技术的分割方法的结果，图2(b)是示出了针对图2(a)中的分割的 随机漫步位势的图；
[0016] 图3(a)是根据本发明的一个实施例的分割的结果，图3(b)是示出了针对图3(a) 中的分割的成员值的图；
[0017] 图4是描述利用多重网格技术的现有涂鸦分割方法的流程图；以及
[0018] 图5是描述根据本发明实施例的利用结合补丁矩阵的多重网格技术的涂鸦分割 方法的流程图。
【具体实施方式】
[0019] 本发明涉及用于分割图像的涂鸦分割方法。如图1中所示，用户用不同类型的涂 鸦（例如两个涂鸦）来表示图像，每个涂鸦代表不同的约束条件，例如前景/背景或者内部 /外部。因而，在使用两种涂鸦的实现方式中，第一种涂鸦被操作者用于表示图像中要被考 虑为前景的部分的区域，而第二种涂鸦表示图像中被考虑为背景的区域。在操作者认为必 要的情况下，任一类型的任意数目的涂鸦可以被添加以进一步对结果进行约束。实践中，用 户可以对来自三维图像的二维投影或平面截图进行操作，然后系统基于用户的输入对三维 图像进行处理。因此，在本描述中，术语"像素"和"体素"（voxel)将可互换地被使用。
[0020] 涂鸦可以通过经由诸如鼠标或绘图板的手写笔之类的人体接口设备（HID)所应 用的笔触来添加。不同类型的涂鸦可以通过经由图形用户接口选择新的模式、通过利用对 诸如左右鼠标按钮之类的HID或者诸如键盘上的SHIFT键之类的另一 HID的不同控制结合 鼠标或手写笔移动来表示。涂鸦可以是操作者选择的任何适合的形状，或者可以是通过单 个鼠标点击的简单的选点。
[0021] 实现涂鸦分割的一种方式是图割（Graph Cuts)方法，其中图像中的每个像素变成 图中的节点。在所有相邻节点之间创建边，并且边与基于指定属性（例如亮度相似度或颜 色）的花销相关联。表示前景和背景的两个特殊节点被添加到图中。表示被用户标记为前 景或背景的像素的节点被连接到使用无限权值的前景或背景节点。为了得到该结果，最小 切割（min-cut)算法被用于以使得被切割的边的总和最小化的方式将节点划分成与前景 节点相关联的节点或者与背景节点相关联的节点。
[0022] 另一种方法是随机漫步方法，该方法将此问题看作组合的Dirichlet问题，并且 通过大型线性方程系统来求解。利用这种方法，每个像素与位势相关联，该位势是未知的， 除非在被用户标记的像素处。然后，被标记的像素被用于定义约束位势（例如，对于背景而 言为〇,对于前景而言为1)的Dirichlet边界条件。通过应用边界条件确定使得Dirichlet 积分最小的位势来得到解。
[0023] 方·
[0024] 最小值通]Q：应用辺界条仵求觯拉晋拉斯方程而得到。
[0025] 方程（2) : V2" = 0
[0026] 拉普拉斯方程的解是双调和（biharmonic)函数。在离散设置中，Dirichlet积分 的组合形式变为
[0027]方程（3)
[0028] 其中权值Wlj基于附近像素之间的相似度。相似度可以用亮度、颜色、灰度级或其 它属性来衡量。
[0029] 将该技术扩展到三维会带来某些挑战。虽然随机漫步和图割方法可以被扩展到三 维，但是性能会变得比在二维中糟糕很多，产生直观的并且通常是不正确的分割。导致在 三维中的这种糟糕性能的一个原因是所谓的"收缩偏差"问题，因为该算法更倾向于较小的 不太准确的切割，而不能标识分段之间的好的大型切割。这种结果的示例在图2(a)中被示 出。三维中收缩偏差的效应是分割结果仅仅延伸从前景标签起很短的距离，而不是在各个 方向上向结构表面以外延伸来进行分割。
[0030] 利用随机漫步，不存在像图割那样显著的切割，而是存在位势的渐进变化。为了 最小化惩罚位势变化的花销函数，主要的位势变化应当发生在图像亮度有很大变化的区域 中。这通常包括边缘，因为边缘具有与其相关联的较小的"花销"。然而，收缩偏差使得位势 在不建议有图像边缘的较小区域内快速变化，因为区域的小弥补了区域内较大的花销。这 可以被视为图2(b)中位势的快速下降。蓝色和红色轮廓分别是外部和内部标签，而绿色轮 廓表示得到的分割。收缩偏差在三维中变得很严重，因为切割的尺寸比二维中增长更快。例 如，二维圆所需要的切割与半径成比例地增长，但是对于三维球体，切割与半径的平方成比 例地增长。