一种基于超像素关联性增强Adaboost分类学习的显著性检测方法
【专利摘要】本发明公开了一种基于超像素关联性增强Adaboost分类学习的显著性检测方法，属于图像处理领域。首先，生成基于背景的显著图，由超像素在颜色特征空间和位置空间上的全局对比度得到。然后在背景显著图基础上，采用K?最近邻算法作为弱分类器，使用AdaBoost算法进行增强学习，得到一个强学习的分类器，对图像超像素进行分类，得到分类显著图，并使用邻居超像素关联矩阵分别对背景显著图和分类显著图进行优化。最后对分类后得到的显著图和背景显著图进行加权融合，生成最终的显著图。该发明在PASCAL数据集上进行测试，能够得到较好的显著性检测结果。显著性分析结果可用于促进图像分割、对象检测与跟踪、头像分析理解等应用。
【专利说明】
一种基于超像素关联性増强Adaboost分类学习的显著性检测 方法
技术领域
[0001] 本发明属于图像处理领域，涉及一种基于超像素关联性增强AdaBoost分类学习的 显著性检测方法，采用K-最近邻分类算法作为基本分类器，考虑邻居超像素之间的关联性， 属于自底向上显著性检测模型。
【背景技术】
[0002] -般情况下，人们只会对视觉场景中感兴趣的只是某个局部而不是视力范围内的 所有物体。显著性检测技术能够模拟人类的视觉系统，检测出图像中最能吸引人们注意最 能表现图像内容的显著部分。这部分相对于它的邻近区域突出，比如在颜色、纹理、形状等 方面与邻近区域有较明显的区别。
[0003] 目前，随着人们对显著性检测的研究越来越深入，已经涌现出来很多好的检测方 法与检测模型。自底向上的显著性检测模型是图像显著性检测中运用比较广泛的一种模 型，相比于基于高层语义信息的自顶向下显著性检测模型，它基于底层特征，能更有效的检 测图像的细节信息。同时，人们发现对比度是对检测结果影响较大的因素。对比度即两个单 元在颜色、梯度、亮度、空间距离、形状等特征上的差别程度。根据对比单元分布，对比度分 为全局对比度和局部对比度。局部对比度方法是基于周围邻近像素估计一特定区域的显著 性，这类方法能产生较清晰的显著图，但忽略了全局关系结构，而且对图像的高频部分更为 敏感。全局对比度方法在整幅图像上考察对比度关系。这类方法倾向于将大范围的目标同 周围环境分离开，检测结果通常优于会在轮廓附近产生较高显著性的局部对比度方法，但 是由于较多关注整幅图像的结构和统计特征，需要解决复杂的整合问题。对于特征差异较 明显的图像，利用对比度理论能够得到较好的显著性检测结果，但是对于那些颜色等底层 特征不够突出即与周围边缘特征相近的图像，检测结果还不够精确。
【发明内容】
[0004] 本发明考虑超像素之间的联系，提出了一种基于超像素关联性增强AdaBoost分类 学习的显著性检测方法，目的在于克服现有技术的不足，在背景显著图基础上，从邻近超像 素的关联性角度出发，对图像超像素进行分类，以更有效的区分目标超像素和背景超像素， 得到较好的显著性图。
[0005] 本发明的技术方案：
[0006] -种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，步骤如下： [0007]步骤1.生成背景显著图并用超像素关联矩阵进行优化
[0008] 生成背景显著图：确定背景超像素种子，将背景超像素种子依据颜色特征分类聚 簇;依据空间位置(W)、CIELab、HSV和纹理(T)等四个特征，将非背景超像素与上述各分类聚 簇的背景超像素种子进行对比度计算，生成背景显著图S bc;
[0009] 用超像素关联矩阵对背景显著图进行优化：
[0010] 在空间位置（W)、CIELab、HSV和纹理（T)等特征上建立超像素关联矩阵A = [&"]ΝΧΝ，其中N为超像素数。邻居超像素在上述四个特征间具有关联性，采用欧式距离判定 邻居超像素关联性，公式为：
[0011]
[0012] 其中，本发明中此处feat(i)、feat(j)分别为超像素 i和超像素 j的HSV颜色特征，η (i)为超像素 i的邻居超像素集合，〇:为常量。
[0013] 对背景显著图Sbg进行优化，优化公式为：
[0014]
[0015]
[0016]步骤2.对背景显著图超像素进行分类:采用AdaBoost增强学习分类算法，为考虑 邻近超像素之间的相互影响，将K-最近邻分类算法作为AdaBoost算法的弱分类器，在背景 显著图上，依据超像素的显著性值对超像素进行分类，即划分为目标超像素和背景超像素。
[0017] 步骤3.生成分类显著图并使用超像素关联矩阵进行优化:在步骤2分类结果上，对 超像素显著性重新赋值，得到分类显著图。同理步骤1中对背景显著图的优化，使用超像素 关联矩阵对分类显著图进行进一步优化。
[0018] 步骤4.生成融合显著图：将步骤3和步骤1得到的显著图进行加权融合，得到最终 的显著图。
[0019] 本发明的有益效果:本发明所提出的基于超像素关联性增强Adaboost分类学习的 显著性检测方法，无论是在背景区域与目标区域的划分上，还是在对显著图的优化上，都着 重考虑了邻近超像素之间的关联性。而且这种邻近关系不仅仅是指空间位置上的邻近，还 包括纹理特征空间以及CIELab和HSV两个相互补的颜色特征空间上的邻近，使得背景区域 与目标区域的划分更加精确，得到高质量的显著图。
【附图说明】
[0020] 图1是本发明图像显著性检测方法的流程图。
[0021] 图2是本发明的实例检测流程的效果图。
【具体实施方式】
[0022]以下结合附图和技术方案，进一步说明本发明的【具体实施方式】。
[0023] 针对上述四个步骤，对每一个步骤进行以下具体说明：
[0024]步骤1:生成背景显著图
[0025] 1-1用PB(probability of boundary)方法检测出图像的边界信息，得到超像素 i 的边缘像素的平均PB值，计算公式?
>其中1#是超像素 i中像素 I的PB值， B11是超像素 i中像素数量。采用OTSU方法得到一个自适应阈值，把PB值小于阈值的超像素 作为背景种子。
[0026] 1-2采用K-means方法将背景种子依据CIELab颜色特征分类聚簇，聚类中心点数量
[0031] 其中上述公式左边(km，i)表示第1^个簇中第i个超像素，公式右边^表示第kmf 用Km表示。这里的Km值依据一般性边缘颜色数量取为Km=3。然后在空间位置(W)、纹理(T)、 CIELab、HSV等特征上，将非背景超像素与上述各分类聚簇的背景超像素种子进行对比度计 算。针对上述四个特征分别得到Km个簇的特征显著图。第!^(!^^{^，…，-:^个簇类特征 显著图可表示为S feat(km，i)，其中，&&七￡{1，1\(：此1^13，!^￥}。超像素显著性值计算公式分 别为：
[0027]
[0028]
[0029]
[0030] 簇中超像素个数，在公式(3)中11W(i)，w(j) 11为超像素 i与超像素 j在空间位置上的欧式距 离，公式(4)中I IT(i)，T(j) I I为超像素 i和超像素 j在纹理特征上的欧式距离，公式(5)中I CLab(i)，CLab(j)| I为超像素 i与超像素 j在CIELab颜色空间上的欧式距离，公式(6)中I |CHSV (i)，chsv( j) I I为超像素 i与超像素 j在HSV颜色空间上的欧式距离，〇2、〇3、〇4、〇5为常量。
[0032] 1-3对步骤1 _2中得到的Sw、St、SLab、Shsv特征显著图进彳丁融合，生成背景显著图Sbg， 其超像素显著性值计算公式为：
[0033]
[0034] 1-4在上述特征空间上建立超像素关联矩阵A= U1Jnxn,其中N为超像素数。邻居 超像素在特征上相互影响，依旧采用欧式距离来判定关联性的大小，计算公式为：
[0035]
[0036]其中，本发明中此处f eat为HSV颜色特征，η (i)为超像素 i的邻居集合，O5为常量参 数。
[0037] 对步骤1-4中得到的背景显著图Sbc采用超像素关联矩阵进行优化，优化公式为：
[0038] (9)
[0039]
[0040] 步骤2:对背景显著图的超像素进行分类
[0041] 2-1获取分类样本:为同一张背景显著图|@选取两个阈值：目标像素阈值Tf和背 景像素阈值Tb;阈值是由OTSU方法依据超像素的显著性值确定，然后赋予两个不同的权重， 设定目标阈值权重Pf=I .45,背景阈值权重pb = 0.95;背景显著图·^中显著性值大于目标 超像素阈值Tf的超像素为目标超像素，定义其类别标签label = 1，同理小于Tb的确定为背景 超像素，定义其类别标签Iabel = -I,处于两者之间的为待分类样本;将确定的目标超像素 和背景超像素作为分类器训练样本，表示为X: Ix1，X2, ...，Xn}，对应类别集合表示为label: {Iabel(Xi) I XieX，label e {1，-1}} 0
[0042] 2-2构造弱分类器，即K-最近邻分类器(KNN) ;KNN算法中一个超像素的邻近超像素 是由该超像素与其他超像素在空间位置、纹理、CIELab和HSV四个特征的欧式距离来确定 的;KNN算法中邻近超像素选取个数用Kn表示;KNN算法中的测试集中超像素 i与训练集中超 像素 j在特征feat上的欧式距离表示为：
[0043] Dfeat=I |Testfeat(i)-Train(j) I (10)
[0044] 其中，TeStfe3at(i)、Trainfe3at(j)分别为测试集中超像素 i和训练集中超像素 j的 feat特征，feate {CIELab，HSV，T，W}，此处的测试集为在样本集合X中随机选取的一部分样 本，样本集合X中剩余部分样本作为此处的训练集。
[0045] 选取前Kn个最小Dfe3at值所对应的超像素 j作为超像素 i的Kn个最近邻超像素;分别 计算Kn个超像素中目标超像素个数NUMiabei=i和背景超像素个数NUMi abei=-i，如果NUMiabeI=I^: NUMhkx，则超像素 i为目标超像素，反之为背景超像素。最后计算分类误差率ε。
[0046]在KNN算法中，Kn值的选择对算法的性能有着很大影响。本发明中采用10折交叉验 证算法，选取平均分类误差率歹最小时的Kn值作为KNN算法的最优Kn值。
[0047] 2-3构造强分类器。采用AdaBoost增强学习算法，在训练样本上对步骤2-2中构造 的弱分类器进行迭代训练得到多个弱分类器，把多个弱分类器依据权重融合成一个强分类 器。
[0048] 首先，按如下方法改进样本初始权重分布：
[0049] …、 (11)
[0050] 其中，IxpcisltlveI为目标超像素个数，IxnegalveI为背景超像素个数，Iabel(X 1)为样 本Xi的初始类别标签。
[0051] 其次，使用初始权重分布，对弱分类器进行训练学习；设定T轮训练，针对图像四个 特征及分别对应的Kn值，每轮训练得到四个单特征的弱分类器，选取使误差率^最小的弱分 类器，作为本轮训练的最优弱分类器。第t轮训练得到的最优弱分类器可表示为h t。
[0052] 最后，计算弱分类器权重并更新样本初始权重。
[0053] 第t轮弱分类器ht权重计算公式为：
[0054]
[0055]
[0056] 其中N为样本数，ht (Xi)为第t个弱分类器对样本Xi的分类输出。[0057]样本权重更新公式为：
[0058]
[0059]
[0060]
[0061]步骤3:生成分类显著图并使用超像素关联矩阵进行优化
[0062] 3-1使用步骤2中生成的强分类器对步骤1中生成的背景显著图中的超像素进 行分类，对分类后的超像素重新赋予显著性值，使目标更突出。计算公式如下：
[0063]
[0064] 其中，S1JA常量。
[0065] 3-2对步骤3-1中生成的分类显著图进行关联矩阵优化，同步骤1-4中对背景显著 的优化，对分类显著图优化公式为：
[0066]
(16)
[0067] 步骤4:生成融合显著图
[0068] 最后一步是把步骤1生成的背景显著图九e和步骤3-2生成的分类显著图进行 加权融合，生成最终的显著图。融合公式为：
[0069] ,
(17)
[0070] 其中，β1+β2 = 1。
【主权项】
1. 一种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，其特征在于，步 骤如下： 步骤1:生成背景显著图并用超像素关联矩阵进行优化 生成背景显著图：确定背景超像素种子，将背景超像素种子依据颜色特征分类聚簇;依 据空间位置W、CIELab、HSV和纹理T四个特征，将非背景超像素与上述各分类聚簇的背景超 像素种子进行对比度计算，生成背景显著图S BC; 用超像素关联矩阵对背景显著图进行优化： 在空间位置W、CIELab、HSV和纹理T上建立超像素关联矩阵A=[aij]NXN，其中N为超像素 数;邻居超像素在上述四个特征间具有关联性，采用欧式距离判定邻居超像素关联性，公式 为，其中，feat(i)、feat(j)分别为超像素 i和超像素 j的HSV颜色特征，n(i)为超像素 i的邻 居超像素集合，〇:为常量； 对背景显著图SBe进行优化，优化公式为：步骤2:对背景显著图的超像素进行分类 2-1获取分类样本:为同一张背景显著图选取两个阈值：目标像素阈值Tf和背景像素 阈值Tb;阈值是由0TSU方法依据超像素的显著性值确定，然后赋予两个不同的权重，设定目 标阈值权重Pf= 1.45,背景阈值权重pb = 0.95;背景显著图中显著性值大于目标超像素 阈值Tf的超像素为目标超像素，定义其类别标签label = 1，同理小于Tb的确定为背景超像 素，定义其类别标签label = -l，处于两者之间的为待分类样本;将确定的目标超像素和背 景超像素作为分类器训练样本，表示为X: {X1，X2, ...，Xn}，对应类别集合表示为label: {label(xi) | Xi eX，label e {1，-1}}; 2-2构造弱分类器：即K-最近邻分类器KNN; KNN算法中一个超像素的邻近超像素是由该 超像素与其他超像素在空间位置、纹理、CIELab和HSV四个特征的欧式距离来确定的;KNN算 法中邻近超像素选取个数用K N表示;KNN算法中的测试集中超像素 i与训练集中超像素 j在 特征feat上的欧式距离表示为： Dfeat= | | Testfeat(i)-Train( j) | (10) 其中，1'^^^(1)、1'抑11?(^(」）分别为测试集中超像素1和训练集中超像素」的&&讨寺 征，feate {CIELab，HSV，T，W}，此处的测试集为在样本集合X中随机选取的一部分样本，样 本集合X中剩余部分样本作为此处的训练集； 选取前Kn个最小Dfeat值所对应的超像素 j作为超像素 i的KN个最近邻超像素;分别计算KN 个超像素中目标超像素个数NUMlabel = l和背景超像素个数NUMlabel=-1，如果NUMlabebl^： NUMhbeX，则超像素 i为目标超像素，反之为背景超像素;最后计算分类误差率ε ; 采用10折交叉验证算法，选取平均分类误差率瓦最小时的ΚΝ值作为ΚΝΝ算法的最优ΚΝ 值； 2- 3构造强分类器:采用AdaBoost增强学习算法，在训练样本上对步骤2-2中构造的弱 分类器进行迭代训练得到多个弱分类器，把多个弱分类器依据权重融合成一个强分类器； 首先，按如下方法改进样本初始权重分布：其中，| ΧΡ_1ν(31为目标超像素个数，| Xnegalve |为背景超像素个数，labe 1 (Xl)为样本Xl的 初始类别标签； 其次，使用初始权重分布，对弱分类器进行训练学习；设定T轮训练，针对图像四个特征 及分别对应的KN值，每轮训练得到四个单特征的弱分类器，选取使误差率^最小的弱分类 器，作为本轮训练的最优弱分类器;第t轮训练得到的最优弱分类器可表示为h t; 最后，计算弱分类器权重并更新样本初始权重； 第t轮弱分类器ht权重计算公式为：其中N为样本数，ht(Xl)为第t个弱分类器对样本Xl的分类输出； 样本权重更新公式为：组成强分类器：步骤3:生成分类显著图并使用超像素关联矩阵进行优化 3- 1使用步骤2中生成的强分类器对步骤1中生成的背景显著图中的超像素进行分 类，对分类后的超像素重新赋予显著性值，使目标更突出;计算公式如下： 其中，δι，δ2为常量；3-2对步骤3-1中生成的分类显著图进行关联矩阵优化，同步骤1中对背景显著的优化， 对分类显著图优化公式为：步骤4:生成融合显著图 最后一步是把步骤1生成的背景显著图和步骤3-2生成的分类显著图:<4_进行加权 融合，生成最终的显著图；融合公式为：其中，β?+β2=1。
【文档编号】G06K9/62GK106056165SQ201610487528
【公开日】2016年10月26日
【申请日】2016年6月28日
【发明人】高振国, 潘永菊, 陈炳才, 姚念民, 卢志茂, 谭国真, 周超, 孙鹏, 陶鑫
【申请人】大连理工大学