一种图像显著性物体检测方法和装置制造方法
【专利摘要】本发明公开了一种图像显著性物体检测方法和装置，属于计算机视觉领域。所述方法包括：根据图像构建一个随机森林，根据所述随机森林用全局的图像块稀有性捕捉显著物体的近似轮廓，将图像分为轮廓内和轮廓外两部分；通过度量内外部图像块的对比度来压制与轮廓外部相似的内部图像块，凸显与轮廓内部相似的外部图像块；最后使用基于图切割的图像分割修饰局部图。采用本发明提供的图像显著性物体检测方法可以检测图像中任何大小的物体，并且能够实现物体的完整精确检测，同时，采用本发明提供的图像显著性物体检测方法可以检测出单幅图像中的多个显著物体。
【专利说明】一种图像显著性物体检测方法和装置
【技术领域】
[0001]本发明涉及计算机视觉领域，特别涉及一种图像显著性物体检测方法和装置。
【背景技术】
[0002]视觉显著性是一个来自于神经科学和生理学的概念，它使吸引人的注意力的区域从人的视场中凸显出来。
[0003]传统的视觉显著性检测方法通常基于局部或者全局的对比分析来计算显著性。基于局部的方法敏感于图像中高对比度的边缘和噪声，从而弱化了物体内的平滑区域，这使得它们更适合检测小物体。在基于全局对比的方法中，基于图像块的方法也趋向于凸出物体的边界而非整个物体区域。虽然基于分割的方法有效地克服了“物体弱化”问题(物体内部被压制)，当物体的内部不均匀时，它们仍然很难凸出整个物体。大部分情况下，基于局部的方法和基于全局对比的方法只能检测出物体的某些部分。
[0004]文 献“Exploiting local and global patch rarities for saliencydetection”(A.Borji and L.1tt1.1n CVPR，2012)提出用全局的图像块稀有性(图像块在整幅图像中出现的频率)去填充物体的内部区域。然而对大的物体来说，稀有的图像块通常出现在物体和背景的交界处。
[0005]上述的大部分模型是本着检测单个显著性物体而被提出。这些模型的局限使得它们有一定的难度去检测一幅图像中的多个物体。
[0006]与本发明最近似的方法是论文“Automaticsalient object segmentation basedon context and shape prior(H.Jiang, J.Wang, Z.Yuan, T.Liu, and N.Zheng, in Proc.BMVC, 2011)。这篇文献的作者把显著性图和物体的形状先验(显著物体有很明显的封闭边界)整合到一个模型中去分割显著物体。这个形状先验是依靠结合显著性和通过边缘检测器得到的物体边界信息而被提取出来的。
[0007]在实现本发明的过程中，发明人发现现有技术至少存在以下问题:
[0008]1.现有显著性检测技术不适合检测小物体；2.当物体内部不均匀时，现有显著性检测技术只能检测出物体的一些部分；3.现有显著性检测技术难以检测一幅图像中的多个显著性物体。
【发明内容】
[0009]为了解决现有技术存在的问题，本发明实施例提供了一种图像显著性物体检测方法和装置。所述技术方案如下:
[0010]一方面，本发明提供了一种图像显著性物体检测方法，所述方法包括:
[0011]将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，以递归的方式从所述图像块集合中构建出一个随机森林；
[0012]根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；[0013]根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
[0014]将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图。
[0015]具体地，所述将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合具体包括:将图像拉伸到HXH的大小，将拉伸后的图像划分为(H/r) X (H/r)个大小为rXr的图像块，将这些图像块按照从左向右，自上而下的顺序，以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P= (P1, P2, “.，ρη}，其中H对r可除。
[0016]具体地，所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括:以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F= IT1, -Ττ}，随机森林中的每棵树均由分割结点和叶子结点构成，其中，叶子结点具体为不能被继续分割的分表1]结点；
[0017]进一步地，以递归的方式从所述图像块集合中构建一棵树Tk具体包括:
[0018]Al:在树Tk的分割结点η处，产生两个随机数Ii1和h2，定义
(IiOi1, h2) =Pi Oi1)-PiOi2)；
[0019]A2:构造η处的分割函数，将到达η的图像块集合Sn分割为包含在η的左孩子结点内的图像块集合S1和包含在η的右孩子结点内的图像块集合Sr ；
[0020]A3:将η的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，执行Α4;
[0021]Α4:选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk ；
[0022]更进一步地，所述Α2具体包括:构造η处的分割函数为
【权利要求】
1.一种图像显著性物体检测方法，其特征在于，所述方法包括: 将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，以递归的方式从所述图像块集合中构建出一个随机森林； 根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图； 根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图； 将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图。
2.根据权利要求1所述的方法，其特征在于，所述将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合具体包括:将图像拉伸到HXH的大小，将拉伸后的图像划分为(H/r)X(H/r)个大小为rXr的图像块，将这些图像块按照从左向右，自上而下的顺序，以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P= {Pl，P2，…，P1J，其中H对r可除。
3.根据权利要求1所述的方法，其特征在于，所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括:以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F=IT1,…Ττ}，随机森林中的每棵树均由分割结点和叶子结点构成，其中，叶子结点具体为不 能被继续分割的分割结点。
4.根据权利要求3所述的方法，其特征在于，以递归的方式从所述图像块集合中构建一棵树Tk具体包括: Al:在树Tk的分割结点η处，产生两个随机数Ii1和h2,定义(Ii (h” h2) =Pi Oi1) -Pi (h2)；A2:构造η处的分割函数，将到达η的图像块集合Sn分割为包含在η的左孩子结点内的图像块集合S1和包含在η的右孩子结点内的图像块集合Sr ； A3:将η的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，执行Α4; Α4:选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk。
5.根据权利要求4所述的方法，其特征在于，所述Α2具体包括:构造η处的分割函数
? Di e S1.1ff dik,L.) <θ,,,.,% K(Sa-JhJh) = 1:,Λ，其中，S1为包含在η的左孩子结点内的图像
[jf^f € 5 f.， ι ? Al；
I块集合包含在η的右孩子结点内的图像块集合，Sj表示图像块集合大小。
6.根据权利要求5所述的方法，其特征在于，所述随机数Ii1和匕满足公式(K ’ /h ) = arS max fc j,: 1^1 Σ ^: s? ⑷(;?丨為)―0Ih J, )2 *
7.根据权利要求1所述的方法，其特征在于，所述根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析具体包括:根据公式
8.根据权利要求7所述的方法，其特征在于，根据公式
9.根据权利要求1所述的方法，其特征在于，所述根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度具体包括: B1:将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Stjut ； B2:计算显著性物体轮廓外部图像块集合Stjut中的图像块Pi和显著性物体轮廓内部图像块集合Sin中的图像块P」在随机森林的同一颗树中的相似性； B3:整合Pi和P」在随机森林的每一棵树中的相似性，得到Pi和P」间的相似性； B4:计算Pi与Sin间的相似性,并根据Pi与Sin间的相似性计算Pi的显著性值； B5:计算Pj与Stjut间的相似性,并根据Pj与Srat间的相似性计算P」的显著性值。
10.根据权利要求9所述的方法，其特征在于，所述B2具体包括:根据公式
11.一种图像显著性物体检测装置，其特征在于，所述装置包括:构建随机森林模块、显著物体轮廓提取模块、显著物体检测模块和显著物体修饰模块；其中: 所述构建随机森林模块，包括图像块提取单元和递归单元，所述图像块提取单元用于将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，所述递归单元用于以递归的方式从所述图像块集合中构建出一个随机森林； 所述显著物体轮廓提取模块，包括稀有性分析单元和显著物体轮廓提取单元，所述稀有性分析单元用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，所述显著物体轮廓提取单元用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图； 所述显著物体检测模块，用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图； 所述显著物体修饰模块，用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图。
12.根据权利要求11所述的装置，其特征在于，所述图像块提取单元具体用于将图像拉伸到HXH的大小，将拉伸后的图像划分为(H/r) X (H/r)个大小为rXr的图像块，将这些图像块按照从左向右，自上而下的顺序，以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P=Ip1, P2,…，P1J，其中H对r可除。
13.根据权利要求11所述的装置，其特征在于，所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F= IT1,…Ττ}，随机森林中的每棵树均由分割结点和叶子结点构成，其中，叶子结点具体为不能被继续分割的分割结点。
14.根据权利要求13所述的装置，其特征在于，所述递归单元具体包括:` 构造分割函数子单元，用于在树Tk的分割结点η处，产生两个随机数Ii1和h2，定义(IiOi1, h2) =Pi Oi1)-Pi (h2),构造 η 处的分割函数； 分割图像块集合子单元，用于根据所述构造分割函数子单元构造的分割函数将到达η的图像块集合Sn分割为包含在η的左孩子结点内的图像块集合S1和包含在η的右孩子结点内的图像块集合& ;还用于将η的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk。
15.根据权利要求14所述的装置，其特征在于，所述构造分割函数子单元具体用于在树Tk的分割结点η处，产生两个随机数Ii1和h2,定义(Ii Qi1, h2) =Pi Oi1) -Pi (h2),构造η处的
? P,- e Si, -- Jh) < 0h h ,分割函数为4(?AlsIi2) = ^" 1,2，其中，S1为包含在n的左孩子结
[P, e Sr, --ΙΙ,点内的图像块集合，Sr包含在η的右孩子结点内的图像块集合，Jh 二 j^|ZVAeS; )，Sn表示图像块集合Sn的大小。
16.根据权利要求15所述的装置，其特征在于，所述构造分割函数子单元生成的所述1随机数 Ii1 和 h2 满足公式(K)=?*8规》秘(d,f?
17.根据权利要求11所述的方法，其特征在于，所述稀有性分析单元具体用于根据公式
18.根据权利要求17所述的装置，其特征在于，所述稀有性分析单元根据公式
19.根据权利要求11所述的装置，其特征在于，所述显著物体检测模块具体包括: 图像块划分单元，用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Stjut ； 第一相似性计算单元，用于计算显著性物体轮廓外部图像块集合Swt中的图像块Pi和显著性物体轮廓内部图像块集合Sin中的图像块P」在随机森林的同一颗树中的相似性； 整合单元，用于整合所述第一相似性计算单元计算得到的Pi和P」在随机森林的每一棵树中的相似性，得到Pi和P」间的相似性； 第二相似性计算单元，用于计算Pi与Sin间的相似性，并根据Pi与Sin间的相似性计算Pi的显著性值； 第三相似性计算单元，用于计算P」与Srat间的相似性，并根据P」与Swt间的相似性计算h的显著性值。
20.根据权利要求19所述的装置，其特征在于，所述第一相似性计算单元具体用于根 据公式
【文档编号】G06T7/00GK103793710SQ201310686930
【公开日】2014年5月14日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】陈世峰, 杜书泽 申请人:中国科学院深圳先进技术研究院