专利名称：一种图像分割方法及系统的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种图像分割方法及系统。
背景技术：
图像分割是图像处理和分析的第一步，是图像目标识别的核心技术，同时也是图像处理中最古老和最困难的问题之一。图像分割是将图像表示为物理上有意义的连通区域的集合，也就是根据目标与背景的先验知识，对图像中的目标、背景进行标记、定位，然后将目标从背景或其他伪目标中分离出来的过程。图像分割的方法有多种，任何基于单一特征的分割算法都只能在对该特征敏感的图像类上产生较好的分割效果，而对于该特征不适应的图像则分割的性能下降很大，因此，融合了多种特征的分割算法才能对大多数的图像均获得较为理想的分割性能。
现有技术中，采用将提取的多个全局特征组成一个高维的特征向量的方式来融合多特征的分割方法，由于每种视觉特征所占的维度不同，因此维度高的特征往往在分割中起到了主导作用，而其它特征难以发挥作用，分割的性能难以提高；采用基于词袋(Bag ofwords)的方式将提取的多个全局特征和局部特征组成视觉单词来融合多特征的分割方式，由于全局特征和局部特征性质不同，形成的视觉词也是明显不同的，因此，简单地将这两种视觉词直接在分割中联合起来使用并不能发挥每种特征的作用，分割的性能难以改善。由于视觉特征向量和Bag of words中各部分维数和权值的设置不当，使得特征对分割的性能无法起到应有的作用，因此，这些方式无法发挥每种特征在分割中起到的作用。
发明内容
本发明实施例提供一种图像分割方法及系统，能够更有效的融合多种特征的分割结果。为了解决上述技术问题，本发明实施例的技术方案如下一种图像分割方法，包括对给定图像进行预分割，获得多个子区域；按照至少两种特征分别对所述多个子区域进行合并，获得每种特征对应的子分割结果;将所述至少两种特征对应的子分割结果表示为超图；基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果。进一步，所述对所述多个子区域进行合并，包括确定每个子区域的链接区域；计算所述每个子区域的链接区域的合并权值；将所述每个子区域与其合并权值满足条件的链接区域进行合并。进一步，所述确定每个子区域的链接区域，包括
提取子区域与其邻接子区域的特征值；根据提取的特征值，计算所述子区域与其邻接子区域之间的特征相似度；将特征相似度大于相似度阈值，且区域面积大于所述子区域的邻接子区域作为所述子区域的链接区域。进一步，所述计算所述每个子区域的链接区域的合并权值，包括根据所述每个子区域与其链接区域间的特征相似度及语义相似度评估函数，按照网页级别算法，确定所述每个子区域的链接区域的合并权值。
进一步，所述语义相似度评估函数为正态分布函数或折线函数。进一步，所述将所述每个子区域与其合并权值满足条件的链接区域进行合并，包括将所述每个子区域与其合并权值最大的链接区域进行合并。进一步，所述基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果，包括设定最终聚类数目；基于所述超图将所述至少两种特征的子分割结果按照所述最终聚类数目进行谱聚类集成，获得所述给定图像的分割结果。进一步，所述设定最终聚类数目包括针对所述至少两种特征对应的子分割结果分别计算特征相似度；对计算获得的特征相似度进行归一化；将归一化后特征相似度的最小值所对应的子分割结果的聚类数目作为所述最终聚类数目。一种图像分割系统，包括预分割单元，用于对给定图像进行预分割，获得多个子区域；合并单元，用于按照至少两种特征分别对所述多个子区域进行合并，获得每种特征对应的子分割结果；转换单元，用于将所述至少两种特征对应的子分割结果表示为超图；分割单元，用于基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果。进一步,所述合并单元包括定位子单元，用于确定每个子区域的链接区域；计算子单元，用于计算所述每个子区域的链接区域的合并权值；合并子单元，用于将所述每个子区域与其合并权值满足条件的链接区域进行合并。进一步，所述定位子单元包括提取模块，用于提取子区域与其邻接子区域的特征值；第一计算模块，用于根据提取的特征值，计算所述子区域与其邻接子区域之间的特征相似度；确定模块，用于将特征相似度大于相似度阈值，且区域面积大于所述子区域的邻接子区域作为所述子区域的链接区域。
进一步，所述计算子单元，具体用于根据所述每个子区域与其链接区域间的特征相似度及语义相似度评估函数，按照网页级别算法，确定所述每个子区域的链接区域的合并权值。进一步，所述合并子单元，具体用于将所述每个子区域与其合并权值最大的链接区域进行合并。进一步,所述分割单元包括设定子单元，用于设定最终聚类数目；分割子单元，用于基于所述超图将所述至少两种特征的子分割结果按照所述最终聚类数目进行谱聚类集成，获得所述给定图像的分割结果。
进一步，所述设定子单元包括第二计算模块，用于计算所述每种特征对应的子分割结果的特征相似度；处理模块，用于对所述至少两种特征的子分割结果的特征相似度进行归一化；设定模块，用于将归一化后特征相似度的最小值所对应的子分割结果的聚类数目作为所述最终聚类数目。本发明实施例通过首先获得多种特征的子分割结果，然后将不同特征的子分割结果表示在一个超图中，进而利用聚类集成的方法获得了最终的图像分割结果。该分割方法有效地结合了多种特征对图像的分割，克服了一般分割算法因为基于单一的图像特征而不具备通用性的缺点，同时，通过一个超图模型将多种特征空间下的分割结果进行合并，通过超图上的聚类集成形成对图像的一个最终的划分，避免了因为视觉特征向量和Bag ofwords中各部分权值和维数的设置不当而使得特征对分割的性能无法起到应有作用的问题，对噪声、异常点、采样点变动不敏感，具有较强的鲁棒性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图I是本发明实施例一种图像分割的方法流程图；图2是本发明实施例一种对多个子区域进行合并的方法流程图；图3是本发明实施例一种确定某一子区域的链接区域的方法流程图；图4是本发明实施例中将三种特征的子分割结果表示为超图的示意图；图5是本发明实施例一种基于超图对子分割结果进行谱聚类集成的方法流程图；图6是本发明实施例一种设定最终聚类数目的方法流程图；图7是本发明实施例一种图像分割系统的结构示意图；图8是本发明实施例一种合并单元的结构示意图；图9是本发明实施例一种分割单元的结构示意图。
具体实施例方式为了使本领域技术人员能进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，附图仅提供参考与说明，并非用来限制本发明。下面结合附图和实施例，对本发明的技术方案进行描述。参见图1，为本发明实施例一种图像分割的方法流程图。该方法可以包括步骤101，对给定图像进行预分割，获得多个子区域。在本发明实施例中，首先对给定图像进行预分割，分割出多个子区域。分割的方法可以参见多种现有技术，例如，利用名称为“Normalized cuts and image segmentation”，作者为 J· Shi, and J. Malik.,发表于 IEEE Transactions on Pattern Analysis andMachine Intelligence, 22(8) (2000)888-905的参考文献提出的方法，即Ncut方法将图像分割成若干个网格状的连接区域。 步骤102，按照至少两种特征分别对多个子区域进行合并，获得每种特征对应的子分割结果。首先，选取至少两种特征，例如颜色、纹理、SIFT (Scale-invariant featuretransform，尺度不变特征转换)等，然后基于不同的特征分别对预分割获得的多个子区域进行合并，获得每种特征对应的子分割结果，例如按照颜色特征对预分割获得的多个子区域进行合并，合并后的结果即为该颜色特征对应的子分割结果。其中，对于子区域的合并，可以借用网页级别算法或者其他类似于网页级别算法的方式，如基于相似性的随机游走方法，对子区域进行合并，还可以是采用基于语义相似度修正后的网页级别算法对子区域进行合并。具体请参见后续实施例的描述。步骤103，将该至少两种特征对应的子分割结果表示为超图。在获得各特征对应的子分割结果后，即可将所有特征对应的子分割结果表示为一个超图。其中，将预分割获得的各子区域表示为超图的顶点，将各特征对应的子分割结果表示为超图的超边。具体的转化为超图的过程请参见后续实施例的描述。步骤104，基于该超图将至少两种特征的子分割结果进行聚类集成，获得给定图像的分割结果。在将各特征的子分割结果表示为超图后，即可依据该超图进行聚类集成，得到该给定图像的最终的分割结果。其中，聚类集成所采用的方法可以是谱聚类，也可以是其它的聚类方法，例如，K-means聚类方法、复杂图方法等，此处不再一一列举。本发明实施例通过首先获得多种特征的子分割结果，然后将不同特征的子分割结果表示在一个超图中，进而利用聚类集成的方法获得了最终的图像分割结果。该分割方法有效地结合了多种特征对图像的分割，克服了一般分割算法因为基于单一的图像特征而不具备通用性的缺点，同时，通过一个超图模型将多种特征空间下的分割结果进行合并，通过超图上的聚类集成形成对图像的一个最终的划分，避免了因为视觉特征向量和Bag ofwords中各部分权值和维数的设置不当而使得特征对分割的性能无法起到应有作用的问题，对噪声、异常点、采样点变动不敏感，具有较强的鲁棒性。本发明实施例提供的是一种通用性非常强的分割方法，针对不同类型的图像，能够保证分割质量的稳定性和通用性，而且，该方法是一种无监督的自动分割技术，无需事先输入大量的训练集，在分割中也无需人工参与，如指定聚类的数量，指定区域增长的种子数量等。
在执行步骤102按照至少两种特征分别对多个子区域进行合并，获得每种特征对应的子分割结果时，对于每种特征其合并子区域获得子分割结果的步骤相同，在本发明的另一实施例中，以一种特征为例，如颜色特征，其对多个子区域进行合并的过程，如图2所示，可以包括步骤201，确定每个子区域的链接区域。在本实施例中，可以根据子区域间的特征相似度和面积来确定每个子区域的链接区域，以确定某一子区域的链接区域为例，其具体过程如图3所示，可以包括步骤301，提取子区域与其邻接子区域的特征值。在本实施例中所选取的特征为颜色，则在本步骤中即提取子区域与其邻接子区域的颜色特征值，该提取过程可以参见现有技术中的特征值提取方法，此处不再赘述。其中，与某一子区域位置相邻的子区域即为该某一子区域的邻接子区域。步骤302，计算子区域与其邻接子区域之间的特征相似度。子区域与其邻接子区域之间的特征相似度可以根据两子区域的特征值进行计算，具体的，可以是两子区域的特征值的欧式距离，例如两子区域的颜色特征值的欧氏距离。步骤303，将特征相似度大于相似度阈值，且区域面积大于该子区域的邻接子区域作为该子区域的链接区域。当子区域与其邻接子区域之间的特征相似度大于设定的相似度阈值时，认为该子区域与其邻接子区域之间具有链接关系，然后比较两子区域的区域面积，大于该子区域面积的邻接子区域即认定为该子区域的链接区域。子区域的链接方向指向其链接区域。其中，相似度阈值可以根据经验设定，也可以针对不同的特征分别设定，例如，颜色特征对应的相似度阈值可以设定为所有子区域的HSV颜色的特征相似度均值；纹理特征对应的相似度阈值可以设定为所有子区域的纹理共生矩阵的特征相似度均值；SIFT特征对应的相似度阈值可以设定为所有子区域的SIFT特征相似度均值。通过上述步骤30广302即可确定每个子区域的链接区域，在其它实施例中，也可以采用其它方法确定每个子区域的链接区域，例如选用邻接的边界大小等来确定。在确定链接区域后，执打以下步骤202。步骤202，计算每个子区域的链接区域的合并权值。当前图像的分割主要考虑的是图像的底层视觉特征，这些特征只是图像的一种属性，而不具有任何语义意义，与人的语义理解层面上不具备一一对应的关系，也就是语义鸿沟问题，即底层视觉特征相似，并不代表语义内容一致；而语义一致的对象、区域也可能在底层视觉特征上差别很大。为了解决视觉底层特征与高层语义之间的语义鸿沟问题，本实施例引入了语义相似度来替代特征相似度，即采用了语义相似度评估函数，将特征相似度输入语义相似度评估函数，该函数有效地模拟了特征相似性与语义相似度的关系，即特征相似不一定语义相似，而语义相似在特征上也可能是不同的。
在引入了语义相似度后，本实施例采用了类似于网页节点使用的网页级别(Pagerank)算法确定链接区域的合并权值，进而实现区域合并，该方法不仅考虑区域的邻接关系，更是将邻接区域的合并转换为基于语义的合并过程，极大的提高了图像分割的性倉泛。
具体的，可以根据每个子区域与其链接区域间的特征相似度及语义相似度评估函数，按照网页级别算法，确定每个子区域的链接区域的合并权值。首先，基于类似于网页节点使用的Pagerank算法，如果子区域Pi链接指向了子区域Pp也即子区域P」为子区域Pi的链接区域，则子区域Pi分配给子区域P」的语义相似度为子区域Pi和P」的语义相似度占Pi和其所有链接区域的语义相似度之和的比率，也即
权利要求
1.一种图像分割方法，其特征在于，包括 对给定图像进行预分割，获得多个子区域； 按照至少两种特征分别对所述多个子区域进行合并，获得每种特征对应的子分割结果; 将所述至少两种特征对应的子分割结果表示为超图； 基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果。
2.根据权利要求I所述的方法，其特征在于，所述对所述多个子区域进行合并，包括 确定每个子区域的链接区域； 计算所述每个子区域的链接区域的合并权值； 将所述每个子区域与其合并权值满足条件的链接区域进行合并。
3.根据权利要求2所述的方法，其特征在于，所述确定每个子区域的链接区域，包括 提取子区域与其邻接子区域的特征值； 根据提取的特征值，计算所述子区域与其邻接子区域之间的特征相似度； 将特征相似度大于相似度阈值，且区域面积大于所述子区域的邻接子区域作为所述子区域的链接区域。
4.根据权利要求2所述的方法，其特征在于，所述计算所述每个子区域的链接区域的合并权值，包括 根据所述每个子区域与其链接区域间的特征相似度及语义相似度评估函数，按照网页级别算法，确定所述每个子区域的链接区域的合并权值。
5.根据权利要求4所述的方法，其特征在于，所述语义相似度评估函数为正态分布函数或折线函数。
6.根据权利要求2所述的方法，其特征在于，所述将所述每个子区域与其合并权值满足条件的链接区域进行合并，包括 将所述每个子区域与其合并权值最大的链接区域进行合并。
7.根据权利要求I至6中任意一项所述的方法，其特征在于，所述基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果，包括 设定最终聚类数目； 基于所述超图将所述至少两种特征的子分割结果按照所述最终聚类数目进行谱聚类集成，获得所述给定图像的分割结果。
8.根据权利要求7所述的方法，其特征在于，所述设定最终聚类数目包括 针对所述至少两种特征对应的子分割结果分别计算特征相似度； 对计算获得的特征相似度进行归一化； 将归一化后特征相似度的最小值所对应的子分割结果的聚类数目作为所述最终聚类数目。
9.一种图像分割系统，其特征在于，包括 预分割单元，用于对给定图像进行预分割，获得多个子区域； 合并单元，用于按照至少两种特征分别对所述多个子区域进行合并，获得每种特征对应的子分割结果；转换单元，用于将所述至少两种特征对应的子分割结果表示为超图； 分割单元，用于基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果。
10.根据权利要求9所述的系统，其特征在于，所述合并单元包括 定位子单元，用于确定每个子区域的链接区域； 计算子单元，用于计算所述每个子区域的链接区域的合并权值； 合并子单元，用于将所述每个子区域与其合并权值满足条件的链接区域进行合并。
11.根据权利要求10所述的系统，其特征在于，所述定位子单元包括 提取模块，用于提取子区域与其邻接子区域的特征值； 第一计算模块，用于根据提取的特征值，计算所述子区域与其邻接子区域之间的特征相似度； 确定模块，用于将特征相似度大于相似度阈值，且区域面积大于所述子区域的邻接子区域作为所述子区域的链接区域。
12.根据权利要求10所述的系统，其特征在于， 所述计算子单元，具体用于根据所述每个子区域与其链接区域间的特征相似度及语义相似度评估函数，按照网页级别算法，确定所述每个子区域的链接区域的合并权值。
13.根据权利要求10所述的系统，其特征在于， 所述合并子单元，具体用于将所述每个子区域与其合并权值最大的链接区域进行合并。
14.根据权利要求9至13中任意一项所述的系统，其特征在于，所述分割单元包括 设定子单元，用于设定最终聚类数目； 分割子单元，用于基于所述超图将所述至少两种特征的子分割结果按照所述最终聚类数目进行谱聚类集成，获得所述给定图像的分割结果。
15.根据权利要求14所述的系统，其特征在于，所述设定子单元包括 第二计算模块，用于计算所述每种特征对应的子分割结果的特征相似度； 处理模块，用于对所述至少两种特征的子分割结果的特征相似度进行归一化； 设定模块，用于将归一化后特征相似度的最小值所对应的子分割结果的聚类数目作为所述最终聚类数目。
全文摘要
本发明实施例提供一种图像分割方法及系统。该方法包括对给定图像进行预分割，获得多个子区域；按照至少两种特征分别对所述多个子区域进行合并，获得每种特征对应的子分割结果；将所述至少两种特征对应的子分割结果表示为超图；基于所述超图将所述至少两种特征的子分割结果进行聚类集成，获得所述给定图像的分割结果。该分割方法有效地结合了多种特征对图像的分割，克服了一般分割算法因为基于单一的图像特征而不具备通用性的缺点，同时，避免了因为视觉特征向量和Bag of words中各部分权值和维数的设置不当而使得特征对分割的性能无法起到应有作用的问题。
文档编号G06K9/62GK102819836SQ201210224358
公开日2012年12月12日 申请日期2012年6月28日 优先权日2012年6月28日
发明者王晓茹, 余志洪, 邬书哲, 李旭, 辛海明, 张宇 申请人:北京邮电大学