多图像联合分割方法和装置制造方法
【专利摘要】本发明公开了一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分割。所述方法包括：将每张图像划分为多个子区域；提取每一张图像的各张子区域的特征；基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
【专利说明】多图像联合分割方法和装置
【技术领域】
[0001] 本发明涉及图像分割技术，特别涉及对于多张具有相同物体的图像进行联合分割 的技术。
【背景技术】
[0002] 传统的图像分割方法是对每张图像独立进行分割。为了增强分割准确度，传统方 法会采集一些训练样本进行学习，用学习出来的模型对测试图像进行分割。上述方法的缺 点在于需要为这些训练样本精确地标注出前背景图像，而这需要投入高昂的人力劳动，因 此难以有效推广到实际问题中。
[0003] 联合分割问题是另一类图像分割方法，该方法同时对多张图像进行分割。对于若 干张包含同一类物体的图像，联合分割的目标是根据图像间的相似性，同时找到每张图像 中的前景部分。
[0004] 然而，由于没有精确的训练样本可供参考，且不同图像间的前景物体可能会呈现 一定的视觉差异，导致联合分割的难度很大。现有的联合分割方法往往只适合同时分割两 张或少量的几张图像，而对于十张以上的图像则难以进行有效处理。本专利提出一种有效 的快速算法，同时考虑了图像内距离，图像间距离和前背景平衡度，可以快速地分割大量的 包含同一物体的图像。本专利所提出的联合分割技术，可以用于图像分类，图像检索以及物 体跟踪等多种实际问题，具有广泛的通用性。
【发明内容】
[0005] 本专利提出一种高效的联合分割方法，其中同时考虑了图像内距离，图像间距离 和前背景平衡度，可以快速地对大量包含同一物体的图像进行图像分割。本专利所提出的 联合分割技术，可以用于图像分类，图像检索以及物体跟踪等多种实际问题，具有广泛的通 用性。
[0006] 在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理 解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关 键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念， 以此作为稍后论述的更详细描述的前序。
[0007] 根据本发明的一个方面，公开了一种对多张图像实现联合分割的方法，用于对多 张包含同一类物体的图像进行分割，所述方法包括：将每张图像分割为多个子区域，提取每 一张图像的各张子区域的特征；基于上述提取的特征，根据各张图像的图像内距离、图像间 距离以及前背景平衡度来计算各张图像中的各张子区域是否属于前景区域，其中，所述图 像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前 景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区 域的子区域之间的比例熵；根据上述计算结果，对各张图像进行分割，得到各张图像中的前 景区域。
[0008] 根据本发明的另一个方面，公开了一种对多张图像实现联合分割的装置，用于对 多张包含同一类物体的图像进行分割，所述装置包括：子区域划分单元，用于将每张图像划 分为多个子区域；特征提取单元，用于提取每一张图像的各张子区域的特征；前景区域确 定单元，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平 衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张 图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度， 所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间 的比例熵；图像分割单元，用于根据上述计算结果，在各张图像中分割出前景区域以及背景 区域。
【专利附图】
【附图说明】
[0009] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。
[0010] 图1示出了根据本发明的对多张图像实现联合分割的方法示意性流程图；
[0011] 图2示出了根据本发明的对多张图像实现联合分割的装置的示意性结构图；
[0012] 图3示出了前景区域确定单元203的示意性结构图；
[0013] 图4示出了 N张具有同一类物体的图像在分割前与分割后的示意图；
[0014] 图5示出了可用于实施根据本公开的实施例的计算机的示意性结构图。
【具体实施方式】
[0015] 图1示出了根据本发明的多图像联合分割方法的示意性流程图。
[0016] 首先，在步骤S101中，将要进行分割的多张包含同一类物体的图片分别划分为多 个子区域。
[0017] 在步骤S102中，提取每一张图像中的各个子区域的特征，提取每一张图像的各张 子区域的特征，其中，所述特征包括子区域的图像特征以及相邻子区域的相邻边长，并且所 述图像特征可以包括颜色特征、纹理特征或灰度特征等。
[0018] 在步骤S103中，基于在步骤S102中所提取的各个子区域的特征，并根据各张图像 的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前 景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离 表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的 子区域和属于背景区域的子区域之间的比例熵。
[0019] 最后，在步骤S104中，根据步骤S103的计算结果，将各张图像分割为前景和背景。
[0020] 上述步骤S103中的计算各张图像中的各个子区域是否属于前景区域具体包括构 建能量函数、最小化所述能量函数、计算各个子区域的向量，以及对计算得出的子区域向量 进行二值化，从而确定该子区域是否属于前景区域等几个步骤。
[0021] 首先，根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子 区域向量的能量函数，所述能量函数中包括根据各张图像内相邻子区域的特征的相似度构 建的基于图像内距离的能量函数部分、根据各张图像的前景区域的特征的相似度构建的基 于图像间距离的能量函数部分，以及根据各张图像的前景区域和背景区域的比例构建的基 于前背景平衡度的能量函数部分，将上述三部分能量函数加权求和，即形成了基于每张图 像的子区域向量的能量函数。
[0022] 其次，将所构建的能量函数转化为凸集二次规划形式，并使用迭代的方式对所述 凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图 像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环；其中， 判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确 定，则计算过程结束，如果均为否定，则继续进行迭代。
[0023] 其中，对每次迭代中计算得出的当前子区域的向量进行二值化；其中，当子区域向 量值为1时，该子区域为前景区域，当子区域向量值为〇时，该子区域为背景区域。
[0024] 通过上述步骤，确定了各张图像中的子区域属于前景区域或是背景区域，从而实 现了图像中前景区域和背景区域的分割。
[0025] 如图2所示，本发明还公开了一种对多个图像实现联合分割的装置200,其用于对 多张包含同一类物体的图像进行分割。所述装置200包括子区域划分单元201、特征提取单 元202、前景区域确定单元203,图像分割单元204,其中，前景区域确定单元203进一步包括 能量函数构建模块2031、能量函数计算模块2032,以及子区域向量值确定模块2033。
[0026] 其中，子区域划分单元201用于将每张图像划分为多个子区域，特征提取单元202 用于提取每一张图像的各张子区域的特征，前景区域确定单元203,用于基于上述提取的特 征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个 子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似 度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图 像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；图像分割单元204， 用于根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
[0027] 下面将参照图3详细描述前景区域确定单元203的处理过程。
[0028] 前景区域确定单元203中的能量函数构建模块2031基于特征提取单元202所提 取每一张图像的各张子区域的特征，根据图像内距离、图像间距离以及前背景平衡度来构 建基于每张图像的子区域向量的能量函数，所述能量函数中包括根据各张图像内相邻子区 域的特征的相似度构建的基于图像内距离的能量函数部分、根据各张图像的前景区域的特 征的相似度构建的基于图像间距离的能量函数部分，以及根据各张图像的前景区域和背景 区域的比例构建的基于前背景平衡度的能量函数部分，将上述三部分能量函数加权求和， 即形成了基于每张图像的子区域向量的能量函数。
[0029] 接下来，能量函数计算模块将能量函数构建模块2031所构建的能量函数转化为 凸集二次规划形式，并使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其 中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一 个图像中的子区域向量，并依次循环；其中，判断所述能量函数是否收敛或迭代的循环次数 是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进 行迭代。
[0030] 其中，子区域向量值确定模块2033对每次迭代中计算得出的当前子区域的向量 进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为〇时， 该子区域为背景区域。
[0031] 通过上述处理，确定了各张图像中的子区域属于前景区域或是背景区域，从而在 各张图像中分割出前景区域和背景区域。
[0032] 下文中，为了更清楚的描述本发明的方法以及装置，将以图4中所示的多个图像 的联合分割为例来进行说明。
[0033] 如图4所示，其中的输入为N张图像，并已知每张图像都包含了同一类物体卿，人 体)，目标是对每张图像分割出该物体所处的前景区域。
[0034] 本实施例的操作包括以下步骤：
[0035] (1)首先将每张图像\划分为&个子区域，其中，可以采用一些现有的技术实现 图像的分割，例如，快速移动（quick shift)图像分割算法。子区域的数目Si为经验参数， 一般在40到60个之间。
[0036] (2)预处理，包括：
[0037] (2. 1)对每张图像\中每个子区域j，根据其包含的像素点颜色值计算颜色直方 图（color histogram),作为该子区域的特征，表示为向量比（j)，j e [l，Si]。
[0038] (2. 2)计算每个子区域与其相邻子区域的边长，即相邻像素点的个数。子区域j和 k的相邻的边长表示为a (j，k)。
[0039] (3)以子区域为变量，建立一个能量函数最小化问题（energy function minimization problem)〇
[0040] 具体来说，对于N张输入图像，每张图像Xi的前景区域由向量yi来定义。该向量 yi的维度si为图像\中子区域的数量，每个子区域j对应yi (j)，yi (j)为二值变量，当值 为1时代表该子区域属于前景，为〇时代表背景。
[0041] 使用每张图像的yi作为能量函数的变量进行最小化求解。该能量函数由图像内 距离，图像间距离和前背景平衡度三部分组成，每部分的定义和作用如下：
[0042] 图像内距离考虑了图像内部相邻子区域的前背景一致性，目的是使得当相邻子区 域的特征接近时，它们的前背景取值尽可能一致。图像Xi内相邻两个子区域j，k的距离 w,. a k)定义为：
【权利要求】
1. 一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分 害I]，所述方法包括： 将每张图像划分为多个子区域； 提取每一张图像的各张子区域的特征； 基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来 计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中 相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前 背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例 熵； 根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
2. 如权利要求1所述的方法，其中，根据各张图像的图像内距离、图像间距离以及前背 景平衡度的计算步骤包括： 根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的 能量函数； 通过对所述能量函数最小化来计算每张图像的子区域向量，所述每张图像的子区域 向量包括多个元素，每一元素反映该图像中的相应子区域是否属于前景区域。
3. 如权利要求2所述的方法，其中，根据图像内距离、图像间距离以及前背景平衡度构 建基于每张图像的子区域向量的能量函数的步骤进一步包括： 根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数； 根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数； 根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数； 对上述分别构建的能量函数进行加权求和来构建基于每张图像的子区域向量的能量 函数。
4. 如权利要求2所述的方法，其中，所述计算步骤进一步包括： 将所述能量函数转化为凸集二次规划形式。
5. 如权利要求4所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子 区域向量包括： 使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中， 将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域 向量，并依次循环。
6. 如权利要求5所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子 区域向量进一步包括： 判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果 为确定，则计算过程结束，如果均为否定，则继续进行迭代。
7. 如权利要求2-6中任意一项所述的方法，其中，所述计算步骤进一步包括： 对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该 子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
8. -种对多个图像实现联合分割的装置，用于对多张包含同一类物体的图像进行分 害!]，所述装置包括： 子区域划分单元，用于将每张图像划分为多个子区域； 特征提取单元，用于提取每一张图像的各张子区域的特征； 前景区域确定单元，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距 离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像 内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景 区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域 的子区域之间的比例熵； 图像分割单元，用于根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
9. 如权利要求8所述的装置，其中，所述前景区域确定单元进一步包括能量函数构建 模块，被配置为： 根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的 能量函数； 通过对所述能量函数最小化来计算每张图像的子区域向量，所述每张图像的子区域 向量包括多个元素，每一元素反映该图像中的相应子区域是否属于前景区域。
10. 如权利要求9所述的装置，其中，所述能量函数构建模块进一步被配置为： 根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数； 根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数； 根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数； 对上述分别构建的能量函数进行加权求和来构建基于每张图像的子区域向量的能量 函数。
11. 如权利要求8所述的装置，其中，所述前景区域确定单元进一步包括能量函数计算 模块，被配置为： 将所述能量函数转化为凸集二次规划形式。
12. 如权利要求11所述的装置，其中，所述能量函数计算模块进一步被配置为： 使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中， 将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域 向量，并依次循环。
13. 如权利要求12所述的装置，其中，所述能量函数计算模块进一步被配置为： 判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果 为确定，则计算过程结束，如果均为否定，则继续进行迭代。
14. 如权利要求9-13中任意一项所述的装置，其中，所述前景区域确定单元进一步包 括子区域向量值确定模块，被配置为： 对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该 子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
【文档编号】G06T7/60GK104123713SQ201310150162
【公开日】2014年10月29日 申请日期:2013年4月26日 优先权日:2013年4月26日
【发明者】王正翔, 刘汝杰 申请人:富士通株式会社