专利名称：一种基于目标形状的自动图像分割方法
技术领域：
本发明涉及图像处理技术领域，具体的说是一种基于目标形状的自动图像分割方法。
背景技术：
图像分割是计算机视觉领域中的一个基本性的问题，也是图像处理与图像理解的 重要研究方向，它的目的是将图像分成若干个有意义的区域。图像分割问题也可以看作是 像素标号问题。在过去的几十年中，研究人员针对自动图像分割技术进行了大量的研究，业 已提出了许多算法。一些早期的分割算法由于没有具体的分割能量表达式，没有形成一个 清楚的代价函数，所以不易与其他算法结合，也不容易对分割结果做出评价。将能量极小化 方法引入到图像分割当中可以很好的解决上述问题。能量极小化方法包括两个主要的步 骤设计目标函数和最小化目标函数。1989年，Greig等人首先从组合优化的角度提出图割算法可以用来最小化视觉 中特定的能量函数，这个能量可以表示为一个在MAP-MRF框架下的后验能量。基于图割的 能量最小化方法首先要对针对能量函数建立一个图，使得MRF的组合与图的割之间一一对 应，因此割的总代价就等价于组合的总能量。构造了这样一个图，就能通过最小割来找到一 个最小能量的MRF组合，这个最小割就是能量的最小值。根据Ford和Fulkerson的理论， 最小割可以通过最大流算法计算。由于过去的最大流/最小割方法效率很低，加上二值图像复原看似有很大的应用 局限性，导致很长一段时间以来Greig等人的研究没有得到足够的重视。这种情况一直持 续到2000年左右。Boykov等人在计算机视觉高水平会议和期刊上连续发表了关于新的图 割方法的论文，并提出一种交互式图像分割算法。他们用这个新的图割算法最优化定义在 离散变量集合的MAP-MRF能量。这个能量函数一般由两项组成一项用来惩罚解与观察数 据的不一致性，另一项则加强空间上的一致性。与传统的方法相比，新的最大流/最小割方 法可以极大提高算法效率，并且能够推广到N维。在视觉实际应用中的研究表明，该算法可 以在普通的PC机上接近实时的解决二维或者三维图像分割问题。Boykov等人的工作将图 割在视觉领域中的应用推向了一个新的发展阶段。自那之后，对图割方法的研究呈现出不 断上升的势头，越来越多的知名学府和研究机构的专家学者加入到此项研究的行列中来。 图割方法引起的关注极大的推动了视觉领域各个相关技术的发展，用图割进行能量最优化 在计算机和图形领域已经变成一个热点。Marr曾提出各层相互独立、严格由低到高的分层视觉框架。由于各层之间不存在 反馈，数据自底向上单向流动，高层信息无法指导底层特征的提取，导致底层误差不断积累 传播到高层，并且没有提供任何可以修正的机会，许多底层的视觉任务由于欠缺约束条件 而成为病态问题，没有唯一解。背景噪声的存在，目标被其它物体遮挡，目标的对比度很低 甚至某些部分缺失时，会导致虚假的边缘，轮廓的断裂，以及目标之间边界的交迭，此时传 统的分割方法往往会失效。目标的位姿、光照，以及相机视点的改变等，也会导致不一致的分割结果。这就需要建立一种更接近人类视觉机理的分割框架，能将基于图像本身的低层 次视觉特征与高层信息有机地结合起来，共同指导图像分割。结合关于目标形状的先验知识会使得分割更加鲁棒。形状先验能够通过排除所有 不符合先验知识的分割区域来减少分割的不明确性。加入分割目标的先验知识指导分割正 是通过高层的信息来指导低层的分割。进入20世纪以来，有许多学者从事关于在主动轮廓 分割模型中使用基于水平集的形状先验的研究工作。但从他们的论文中可以看出，水平集 分割是数值不稳定的，而且倾向于陷入局部极小值解。近年来，人们又尝试将目标的形状先 验知识加入基于图割的分割模型来改进分割效果。将形状先验与图割框架相结合进行图像 分割方面研究是一个崭新的课题，形状知识在分割模型中有效的表述仍是需要研究的一个 问题。而且，在分割模型中加入先验信息会增加算法的复杂度，影响它们在实时条件下的应 用。目前基于图割的图像分割方法大多是采用人机交互的半自动分割方式，而在实际应用 中需要算法能够自动进行分割。
发明内容
针对现有技术中存在的分割精度低、需要人工交互操作等不足，本发明要解决的 技术问题是提供一种分割精度高的基于图割算法的自动图像分割方法。为解决上述技术问题，本发明采用的技术方案是本发明基于目标形状的自动图像分割方法包括以下步骤形状模板制备在包含目标的已知图像中，根据目标形状，建立多尺度形状模板， 提取形状信息；自动图像分割根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流 /最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结^ ο所述形状模板制备包括以下步骤在已知图像上沿着目标边缘绘制出形状轮廓；从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺度 的形状；在所得到的各个尺度的形状图像中做四连通距离变换；根据预先设定的变形率，得到形状模板的内、外轮廓；将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点、汇点 和普通节点分类记录；对源点、汇点和普通节点中的每个节点依次判断其4邻域内有无合法数据点，并 保存判断结果和邻居点序号。所述自动图像分割包括以下步骤读入制备好的形状模板信息，并将当前最小能量设为无穷大；根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合，利用图 像灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权值 加权；使用最大流/最小割算法找到该s-t图的最小割，得到分割能量与最小割对应的
4饱和边，将分割能量与饱和边的边数相除得到归一化能量；上述归一化能量与当前最小能量做比较，若归一化能量< 当前最小能量，则将归 一化能量的值赋给当前最小能量，并保存当前分割结果；判断多尺度模板中的所有尺度是否计算完毕；如果所有尺度计算完毕，则判断待分割图像中的所有位置是否计算完毕；如果所有位置计算完毕，则输出能量最小值对应的分割结果；如果所有位置没有计算完毕，则计算待分割图像中的下一个位置，返回读入制备 好的形状模板信息，并将当前最小能量设为无穷大步骤；如果所有尺度没有计算完毕，读入下一尺度形状信息；返回根据多尺度模板的节 点类型信息构建s_t图的节点集合和4邻域边集合步骤；如果归一化能量不小于当前最小能量，则接续判断多尺度模板中的所有尺度是否 计算完毕步骤。本发明具有以下有益效果及优点1.本发明在能量极小化的图像分割框架下，采用图割优化技术，结合已知目标的 形状信息，进行自动图像分割，模板制备完成后，无需任何人工干预，能够全自动的完成分 割任务。2.本发明可以用于灰度和彩色图像分割，尤其适用于在连续视频图像中自动提取 已知形状的目标。
图1为本发明基于目标形状的自动分割算法流程图；图2为本发明方法实施例采用的已知形状图像；图3为本发明方法中实施例多尺度形状模板图像；图4为本发明方法中实施例应用的待分割图像；图5为采用本发明方法实施例分割结果图像。
具体实施例方式以下结合附图和具体实施例对本发明进行说明，但本发明不限于本实施例。本发明基于目标形状的自动图像分割方法利用已知图像制备形状模板，将目标的 形状信息引入图割框架指导图像分割，包括以下步骤形状模板制备在包含目标的已知图像中，根据已知目标形状，建立多尺度形状模 板，提取形状信息；自动图像分割根据待分割图像颜色以及上述形状信息建立s_t图，使用最大流 /最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。1.形状模板制备如图1所示，在本步骤中，需要从已知图像中获取目标的形状信息，并保存为便于 在分割算法中使用的形式。具体方法为1)在已知图像上(如图2所示)沿着目标边缘绘制出形状轮廓。
用鼠标在已知图像中，绘制出已知目标的闭合轮廓，得到原始目标形状二值图像， 图像的尺寸等于所绘制轮廓的外接矩形。2)从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺 度的形状。设定最大尺度Smax和尺度步长Δ s，利用原始目标形状二值图像进行图像缩放，依 次生成各个尺度下的形状轮廓二值图像。3)在所得到的各个尺度的形状图像中做四连通(Li)距离变换。4)在所得到的距离图像中根据预先设定的变形率，得到形状模板的内、外轮廓 (如图3所示白色部分)。设定变形率a，表示允许形状轮廓在士a个像素的范围内自由变化，根据实际情 况，各个尺度下a的数值可以相同也可分别设计。距离值等于a且在形状外部的点为外轮 廓点，距离值等于a且在形状内部的点为内轮廓点。5)将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点 (source)、汇点(sink)和普通节点分类记录。将外轮廓点记录为源点，内轮廓点记录为汇点，距离值在0到a之间的点记录为普 通节点(如图3所示白色部分之间所夹灰色部分)，并记录每个节点对应的距离值，将记录 点按照尺度级分别保存。6)对源点(source)、汇点(sink)和普通节点中的每个节点依次判断其4邻域内 有无合法数据点，并保存判断结果和邻居点序号。本步骤对所记录的形状信息加以处理是为了加快s_t图的建立速度。在形状模板制备步骤完成后，生成的每一尺度级的形状模板包括以下信息所在 尺度，模板宽高，节点个数，变形率，模板数据。每个模板数据信息包括节点类型，相邻节 点，坐标，邻居序号，距离值。2.自动图像分割步骤如下本步骤需要利用制备好的形状模板信息，从待分割图像中自动分割出已知目标。 具体方法为1)读入制备好的形状模板信息，并将当前最小能量设为无穷大打开待分割图像(如图4所示)，本实施例从图像的左上角第一个合法位置开始计 算，令当前能量最小值Emin=⑴。2)根据多尺度模板的节点类型信息构建s_t图的节点集合和4邻域边集合，利用 图像灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权 值加权根据多尺度模板的节点类型信息自动建立s-t图；按形状信息节点顺序依次判断 模板中各个节点的节点类型信息，确定源点、汇点和普通节点，根据相邻节点信息和邻居标 号信息确定各条边。根据图像的颜色和灰度，边权值通过下式计算/g) = exp -1^y \\fp-fc\( 1 )
\ Ζσ )有时目标内部颜色或者灰度分布不均勻，但具有统一纹理特征，此时边权值可通过结构张量计算
权利要求
1.一种基于目标形状的自动图像分割方法，其特征在于包括以下步骤形状模板制备在包含目标的已知图像中，根据目标形状，建立多尺度形状模板，提取 形状信息；自动图像分割根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小 割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。
2.按权利要求1所述的基于目标形状的自动图像分割方法，其特征在于所述形状模板 制备包括以下步骤在已知图像上沿着目标边缘绘制出形状轮廓；从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺度的形状；在所得到的各个尺度的形状图像中做四连通距离变换；根据预先设定的变形率，得到形状模板的内、外轮廓；将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点、汇点和普 通节点分类记录；对源点、汇点和普通节点中的每个节点依次判断其4邻域内有无合法数据点，并保存 判断结果和邻居点序号。
3.按权利要求1所述的基于目标形状的自动图像分割方法，其特征在于所述自动图像 分割包括以下步骤读入制备好的形状模板信息，并将当前最小能量设为无穷大；根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合，利用图像 灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权值加 权；使用最大流/最小割算法找到该s-t图的最小割，得到分割能量与最小割对应的饱和 边，将分割能量与饱和边的边数相除得到归一化能量；上述归一化能量与当前最小能量做比较，若归一化能量< 当前最小能量，则将归一化 能量的值赋给当前最小能量，并保存当前分割结果；判断多尺度模板中的所有尺度是否计算完毕；如果所有尺度计算完毕，则判断待分割图像中的所有位置是否计算完毕；如果所有位置计算完毕，则输出能量最小值对应的分割结果。
4.按权利要求3所述的基于目标形状的自动图像分割方法，其特征在于如果所有位 置没有计算完毕，则计算待分割图像中的下一个位置，返回读入制备好的形状模板信息，并 将当前最小能量设为无穷大步骤。
5.按权利要求3所述的基于目标形状的自动图像分割方法，其特征在于如果所有尺 度没有计算完毕，读入下一尺度形状信息；返回根据多尺度模板的节点类型信息构建s-t 图的节点集合和4邻域边集合步骤。
6.按权利要求3所述的基于目标形状的自动图像分割方法，其特征在于如果归一化 能量不小于当前最小能量，则接续判断多尺度模板中的所有尺度是否计算完毕步骤。
全文摘要
本发明涉及一种基于目标形状的自动图像分割方法，其包括以下步骤形状模板制备在包含目标的已知图像中，根据目标形状，建立多尺度形状模板，提取形状信息；自动图像分割根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。本发明在能量极小化的图像分割框架下，采用图割优化技术，结合已知目标的形状信息，进行自动图像分割，模板制备完成后，无需任何人工干预，能够全自动的完成分割任务，可以用于灰度和彩色图像分割，尤其适用于在连续视频图像中自动提取已知形状的目标。
文档编号G06T7/00GK102117485SQ20091024893
公开日2011年7月6日 申请日期2009年12月30日 优先权日2009年12月30日
发明者付双飞, 吴清潇, 周静, 朱枫, 欧锦军, 郎咸朋, 郝颖明 申请人:中国科学院沈阳自动化研究所