一种非监督的基于超像素和目标发现机制的图像分割方法
【技术领域】
[0001] 本发明涉及一种非监督的基于超像素和目标发现机制的图像分割方法，适用
[0002] 于图片的协同分割、用户照片的感兴趣目标提取以及图片分类识别等领域。
【背景技术】
[0003] 在计算机视觉领域，自下而上的非监督图像分割是一个基础而又经典的难题，它 的解决能够对其他诸如目标识别、物体分类等众多图像处理问题起到很好的辅助作用。在 实际应用中，智能监控、医疗诊断、机器人技术与智能机器、工业自动化乃至军事制导等领 域都与图像分割有着紧密的联系。随着互联网浪潮的兴起，处理大批量的多媒体数据（例 如图像、视频等）已成为人们迫切的需求。如何能够从大量的图像信息中提取出人们感兴 趣的目标物体已经成为人们非常关心的问题。借助于互联网，人们可以非常容易获取包含 有相同物体或者同一类别物体的大量图片，而如何从这类图片中自动辨别并分割出人们感 兴趣的共同物体成为我们研究的主要目的。通过图像的底层信息（颜色、纹理等）可以分割 出感兴趣的目标，但是仅仅依赖底层的图像数据信息并不能得到想要的分割结果，而跨图 片的隐含信息则能够帮助辨别何为需要辨识的共同物体。这类利用包含相同物体或者相同 类别物体的多张图片来完成对感兴趣的共同物体进行分割的研究，称之为协同分割。协同 分割是近些年兴起的一个热门研究主题，目前已存在较多的关于协同分割的研究工作。然 而，纵观有关协同分割领域的研究和应用可知，目前的协同分割领域研究依旧存在诸多技 术难题如下：
[0004] 1)在不同图片中，共同物体存在着颜色、光照条件、姿态、尺度等各种干扰因素，使 得现存的分割方法难以得到较高的精度。
[0005] 2)背景条件常常伴随着噪声、遮挡、信息丢失、背景混乱等，且在多张图片中，背景 常常非常相似，这容易对自动处理系统造成前背景的混淆。
[0006] 3)大多数分割方法仍然依赖人工给出前背景的标注信息，而不能自动辨别出前背 景，这给大数据量的处理带来困难。
[0007] 以上的技术难题为协同分割技术在多媒体领域的广泛应用带来了诸多困扰，开发 出一套非监督的高效目标分割方法具有较高的应用价值。
【发明内容】
[0008] 为了解决现有技术中存在的难题，本发明公开了一种非监督的基于超像素和目 标发现机制的图像分割方法，该方法适用于具有复杂精细结构的共同物体的分割，目标发 现机制融合了显著性特征以及重复性特征，能够快速地从大量图片集中发现共同的前景目 标，并引导计算资源向目标物体分配，而迭代分割算法引入了树图的结构化约束条件，从而 使得对物体的分割更为精确，且大大提高了计算效率。
[0009] 本发明采用以下技术方案：一种非监督的基于超像素和目标发现机制的图像分割 方法，包含以下步骤：
[0010] (1)图像预分割：对于包含共同目标物体的图像数据集I = U1,...，IN}中的每一 幅图像I1, i = 1，2......，N，进行过分割处理，得到超像素集
[0011] (2)自动目标发现：基于每幅图像的超像素集：^，统计每个超像素的显著性 值构:m和重复性值Wini，并计算超像素灾的评价值
评价值小于〇· GXmax(Scorei)的超像素设置为背景，将评价值大于等于0· GXmax(Scorei) 的超像素设置为前景；max (scored为超像素集中评价值最大的超像素的评价值；
[0012] (3)目标建模：基于步骤⑵分类后的信息，对共同目标物体基于HSV颜色空间建 立目标模型和背景模型Wb。采用Hellinger距离度量方法分别计算超像素或超像素组 合与目标模型之间的相似程度<，超像素或超像素组合与背景模型之间的相似程度
[0013] 目标模型Wf的建立方法如下：将原图像进行颜色空间的变换，得到HSV颜色空间 下的图像；对HSV颜色空间下的图像用H，S，V以及"G"四个颜色分量进行均匀量化，统计目 标物体在各个颜色分量上的分布，得到直方图分布，即目标模型Ψ%按照相同方法，统计背 景图像在各个颜色分量上的分布，得到直方图分布，即背景模型其中"G"分量代表饱和 度低于5%的像素点的颜色量化值；
[0017] c为等分后的所有区间个数，&和h f分别为归一化后的超像素或超像素组合R的 颜色直方图和目标模型的颜色直方图，hR .和hb分别为归一化后的超像素或超像素组合R' 的颜色直方图和背景模型的颜色直方图。
[0018] (4)基于超像素的分割：利用目标模型Wf和背景模型Wb，采用组合优化的算法对 超像素进行前背景的再次分类，从而得到目标物体的最终分割；并且引入树图的约束，假设 每个超像素对应于一个顶点，最后的分割结果由多个超像素构成，且能够表示为邻接图免 的子树。通过建立邻接图免二< ε 来推断子树的方法确定最后的分割结果；具体 实现过程如下：
[0019] (4. 1)构建邻接图：假设图像中的每个超像素对应于图中的一个顶点，两个相邻 的超像素之间由一条边连接，由此构成邻接图& 。对于最终的目标物体分 割结果，假设其由邻接图所包含的一个子树构成；
[0020] (4. 2)建立数值模型求解：建立数值模型，将目标分割的问题转换为组合优化问 题的求解，如下：
[0021]
[0024] 当R为前景中的超像素或超像素组合时，
；当W为背景中的超像素或超 像素组合时，= 1;:约束条件表示对于任意一个超像素 R只能属于前背景中的一类。通 过推导可得，若要求解分割结果，实际上可转换为求解最优子树的方法，而要求最优子树， 需要先估计最大生成树；
[0025] (4. 3)推导最大生成树：通过beam search的定向搜索方法来得到所有可能的候 选子树集合C广基于候选子树集合·(?，.通过最大似然估计的方法得到最大生成树1}%推导 如下：
[0026]
[0027] T(化>表示所有潜在的生成树集合，P(Gir)表示数据似然概率，最终可导出，
[0028]
[0029] (?候选子树集合，Cq e 4为某一子树，Pm(CjT)表示对T5(Gi1T)的最大 似然估计，S (·)为指示函数，δ ((X，y) e Cq)指示边（X，y)是否属于某一子树Cq;
为子树Cq与目标模型的相似程度，指示边是否属于某一子树，P (X，y)表示 边（X，y)的概率，户_,叉)为对P(x，y)的最大似然估计。通过上式可得最大生成树77的 最大似然估计。
[0030] (4. 4)搜索分割子树：基于最大生成树77的最大似然估计求得7)'然后通过动态 规划技术在中搜索得到最优子树，即为所求分割结果。
[0031] (5)迭代分割：根据步骤4得到的分割结果更新步骤3中的目标模型，按照步骤4 所述的方法，进行再分割；
[0032] (6)重复步骤5,直至最终分割结果不再变化，即得到最终的分割结果。
[0033] 进一步地，所述步骤2中，超像素显著性值私m,度量具体为：
[0034] 通过显著性检测技术，对第i幅图像I1得到原始显著性图Φ i，然后计算每个超像 素包含的所有像素点的显著性均值作为其度量，具体计算如下：
[0035]
[0036] 其中第i幅图像I1中第m个超像素 Rini的平均显著性值，供f表示第j个像 素点的显著性值，area (Rim)为超像素 Rim包含的像素个数。
[0037] 超像素重复性值W1JS量，具体为：
[0038] 度量每个超像素与其他每幅图像中所有超像素的距离最小值，得到N-I个最小距 离{d (Rini，Ik)} ^ i，进一步对N-I个最小距离{d (Rini，Ik)} ^ i求平均，得到平均最小值.(!_。： 其中距离度量d(Rini，Ik)由基于HSV颜色的矢量距离以及基于SIFT特征的词袋模型距离加 权得到，具体如下：
[0040] 其中Cini和g 1Π1分别代表第i幅图像I i中第m个超像素 R 1Π1的HSV颜色特征矢量和 SIFT词袋模型特征矢量，Ckni,和gkni,分别代表第k幅图像Ik中第V个超像素 Rkni,的HSV颜 色特征矢量和SIFT词袋模型特征矢量；
[0041] 由sigmoid公式计算超像素重复性度量权重Wini:
[0043] 其中μ和〇是控制该sigmoid函数形态的参数，μ = 0· 5，〇 = 〇· 1。
[0044] 进一步地，步骤6具体为：
[0045] (6. 1)根据最新的分割结果，更新之前的前景目标模型，使之更加接近待分割目 标；