基于分块与稀疏主特征提取的快速协同显著性检测方法
【专利摘要】一种基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，有效地避免了现有技术中的忽略其它显著性目标、随着图像的趋于高清化和处理图像数量的增加带来的计算机内存问题和耗时问题无疑会给协同显著性检测方法在各种应用中的使用带来巨大的限制的缺陷。
【专利说明】基于分块与稀疏主特征提取的快速协同显著性检测方法
【技术领域】
[0001] 本发明属于图像处理的【技术领域】，具体涉及一种基于分块与稀疏主特征提取的快 速协同显著性检测方法。
【背景技术】
[0002] 最初对于显著性检测的研究的动机是通过模拟人的视觉注意力机制来预测人的 注意力。在过去的十多年里，研究者们已经提出了许多针对单幅图像显著性检测方法，并且 在显著目标检与分割、图像检索等应用中大量使用。协同显著性检测是从一组图像中发现 其间共有的显著性目标，对于目标协同分割与协同识别等研究具有重要的作用，是近年来 显著性检测中一个比较新颖的研究领域。与针对单幅图像的显著性检测方法相比，协同显 著性检测方法考虑了不同图像间的关联，突出强调在一组幅图像中同时存在的共有的显著 目标，而忽略其它显著性目标。协同显著图作为协同显著性检测的输出可以被用于目标的 协同分割、协同定位和图像检索，也是互联网视觉媒体检索的关键。
[0003] Jacobs从同一场景中捕获的一对图像，对图像中的每个像素点进行特征分析，再 利用由显著目标引起的图像局部结构变化来进行协同显著性检测。这个方法需要这对图像 有着高度相似的背景。Chen提出的协同显著性方法，通过计算K-L散度来衡量两幅图像间 所有预注意力块的相似程度。值得注意的是，这里预注意力块并不是一般的均匀分块，而是 以图像中所有的像素点为中心取块。不过分块的方法在增加了样本属性的同时也大幅增加 了该方法的计算复杂性。Li提出了一种通过使用复杂的协同多分子层图像方法将三种单一 图像的显著性和协同显著性图像进行线性组合。该方法中使用超像素块来代替原始像素点 进行相似度计算。虽然使用超像素块能够有效的减少样本点的个数，但是进行超像素分块 处理和三种针对单幅图像进行显著性检测方法的使用已经使该方法具有较高的时间复杂 性。只能运用在两幅图像上相比，可以处理两幅以上的图像。Chang同样使用了超像素技术， 首先为每一幅图像分别生成显著图，然后将在大多数图像中频繁出现的显著性部分作为协 同显著区域。Fu对输入图像的所有原始像素点进行聚类，合了对比特征、空间特征和相似特 征来检测聚类级的协同显著性。由于该方法的聚类时针对原始图像中的每一个像素点的， 因此随着输入图像数量的增加，因聚类而带来的耗时也不断增加。
[0004] 从上面的这些研究中可以看出，与对单幅图像进行显著性检测的研究相比，研究 者利用额外的相似图像作为一种特征来进行显著性检测研究的方法是十分有效的。但是， 随着图像的趋于高清化和处理图像数量的增加带来的计算机内存问题和耗时问题，无疑会 给协同显著性检测方法在各种应用中的使用带来巨大的限制。
【发明内容】
[0005] 本发明的目的提供一种基于分块与稀疏主特征提取的快速协同显著性检测方法， 依次包括图像分块与底层特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图 生成这样的四个步骤，首先，通过图像分块与底层特征抽取的步骤对已设定大小的图像进 行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征抽 取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂 TruncatecLPower方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来在得 到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类 算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权 值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征 融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图。有效地避 免了现有技术中的忽略其它显著性目标、随着图像的趋于高清化和处理图像数量的增加带 来的计算机内存问题和耗时问题无疑会给协同显著性检测方法在各种应用中的使用带来 巨大的限制的缺陷。
[0006] 为了克服现有技术中的不足，本发明提供了一种基于分块与稀疏主特征提取的快 速协同显著性检测方法的解决方案，具体如下：
[0007] -种基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块 与底层特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步 骤，首先，通过图像分块与底层特征抽取的步骤对已设定大小的图像进行均匀分块，从Lab 颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征抽取来构成图像块的 原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂Truncated_Power 方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来对得到的图像块的稀疏 特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类算法对选取出来的 的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权值；最后，通过协同 显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征融合方法生成的单 幅图像显著图和若干幅图像显著图进行组合生成协同显著图，所述的选取出来的的图像块 的稀疏特征即为图像的稀疏主特征。
[0008] 由这些技术特征，本发明通过对底层特征的基本分块操作达到减少样本数和增加 特征数量的效果。使用截断幂TruncatecLPower方法在分块的基础上进行稀疏主成分分析 并对得到的图像块的稀疏特征进行选取。在使用K-Means聚类方法对选取的图像块的稀疏 特征进行聚类的结果上进行三种显著的特征权值的度量，并从单幅图像和多幅图像两个角 度进行特征融合生成最终的协同显著图。实验结果表明，该方法在保证具有协同显著性检 测效果的同时，大幅的缩短了处理图像所需的时间，具有更好的协同显著性检测性能。
【专利附图】
【附图说明】
[0009] 图1为本发明的基于分块与稀疏主特征提取的快速协同显著性检测方法的流程 图。
[0010] 图2为本发明的实施例的主成分个数与可解释率关系图。
[0011] 图3为本发明的实施例的非零个数与可解释率关系图。
[0012] 图4为本发明的实施例中针对CP数据集的协同显著性检测实验，从上至下依次是 5对原始图像、人工分割图、Li的方法生成的显著图、Fu的方法生成的显著图和本专利方法 生成的显著图。
[0013] 图5为本发明的实施例中针对iCoseg数据集的协同显著性检测实验，从上至下依 次是5对原始图像、人工分割图、Fu的方法生成的显著图和本专利方法生成的显著图。[0014] 图6为本发明的实施例的针对CP数据集的不同协同显著性检测方法的PR曲线。
[0015]图7为本发明的实施例的针对iCoseg数据集的不同协同显著性检测方法的PR曲 线。
[0016] 图8为本发明的实施例的当输入图像数量改变时，Fu和本专利方法平均处理每幅 图像所需的时间的坐标示意图。
【具体实施方式】
[0017] 如图1所示，基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括 图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生 成这样的四个步骤，首先，通过图像分块与原始像素的特征抽取的步骤对已设定大小的图 像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的 特征的抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经 过截断幂TruncatecLPower方法对图像块的原始像素的特征矩阵进行稀疏主成分分析， 以此来对得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用 K-Means聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显 著性的特征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权 值对经过特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显 著图，所述的选取出来的的图像块的稀疏特征即为图像的稀疏主特征。
[0018] 所述的图像分块与底层特征抽取的步骤具体如下：
[0019] 如果图像中一个区域为显著区域，那么在图像中该区域至少有一种特征与其周围 环境不同，同一特征对视觉显著性的影响是不同的，有的图像中亮度为显著特征，有的图像 中颜色为显著特征，因此提取图像的各种不同底层视觉特征更加有助于显著性区域的检 测。本发明的方法选用Lab颜色空间和RGB颜色空间这两种颜色空间，同时考虑亮度和颜 色两种视觉特征。
[0020] 对于每一幅待检测的图像，不论其特点如何，都被视为一个矩阵来处理，首先将图 像按照设定的大小均匀的分成若干个图像块，然后对每个图像块进行原始像素的特征的抽 取，这样每个图像块中抽取到的所有的原始像素的特征在矩阵中用行向量表示，而对应的 所有图像块存储为列向量，这样该矩阵就构成了图像块的原始像素的特征矩阵，而当抽取 若干幅图像间的原始像素的特征时，是将所有的输入图像组合构成一个整体的矩阵，每一 组输入图像有M幅且对于一幅像素大小为I xX Iy的图像Ik，k = 1，2,…，M，Ix表示Ik的行 像素，Iy表示I k的列像素，Ik表示图像，M和k为自然数，每幅图像被分成pX q个像素大小 为mXn的图像块，p、q、m和n均为自然数，图像Ik的矩阵如公式⑴所示：
【权利要求】
1. 一种基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于依次包括 图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生 成这样的四个步骤，首先，通过图像分块与原始像素的特征抽取的步骤对已设定大小的图 像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特 征抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截 断幂TruncatecLPower方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来 对得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means 聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特 征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过 特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图，所述 的选取出来的的图像块的稀疏特征即为图像的稀疏主特征。
2. 根据权利要求1所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其 特征在于，所述的图像分块与原始像素的特征抽取的步骤具体如下： 对于每一幅待检测的图像，都被视为一个矩阵来处理，首先将图像按照设定的大小均 匀的分成若干个图像块，然后对每个图像块进行原始像素的特征的抽取，这样每个图像块 中抽取到的所有的原始像素的特征在矩阵中用行向量表示，而对应的所有图像块存储为列 向量，这样该矩阵就构成了图像块的原始像素的特征矩阵，而当抽取若干幅图像间的原始 像素的特征时，是将所有的输入图像组合构成一个整体的矩阵，每一组输入图像有M幅且 对于一幅像素大小为I xX Iy的图像Ik，k = 1，2,…，M，Ix表示Ik的行像素，Iy表示Ik的列 像素，I k表示图像，M和k为自然数，每幅图像被分成pXq个像素大小为mXn的图像块，p、 q、m和η均为自然数，图像Ik的矩阵如公式⑴所示：
公式⑴中每个图像块（Ik)uQ = 1，2,…，p ;j = 1，2,…，q)都是mXn大小的图像 矩阵的矩阵元素，i和j均为自然数且Ix = pXm，Iy = qXn，图像被均匀分块后，每个图像 块像素大小相等，且单独从Lab颜色空间和RGB颜色空间这两种颜色空间进行原始像素的 特征的抽取，将每个图像块中抽取到的所有原始像素的特征用行向量（I k)t表示，即对于图 像Ik有
Ak即为原始像素的特征矩阵，其中，t为小于等于K的自然数，K = PXq;而当抽取若干幅图像的原始像素的特征的时候，将所有图像存在一个整体的矩阵A 中，即
3. 根据权利要求2所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其 特征在于，所述的稀疏主特征提取的步骤具体如下： 先执行稀疏处理参数的过程，所述的执行稀疏处理参数的过程是把图像块数据描述为 一个矩阵A (η Xp)，η表示样本个数，p是属性个数，a (i，j)表示A中第i行第j个元素，也 即表示第i个样本的第j个属性，i和j为自然数，确定稀疏处理参数的过程具体如下： (1) 对输入的矩阵A(nXp)的数据进行标准化，然后计算样本间的协方差矩阵 Σ (pΧρ)，Συ表示第i个样本的第j个样本间的相关性； (2) 使用PCA算法计算协方差矩阵的特征值Σ，并且对特征值Ai按降序进行排序，i 为自然数，每个特征值λ i决定了相对应的主成分的贡献度，主成分的个数与它们的累计贡 献率有关，前k个主成分的累积贡献率的计算如公式（5)所示；
(5) 满足条件的最小k值就是主成分的个数，ε为设定的临界值； (3) 用一种局部搜素的方法来平衡方差与稀疏度以确定调优参数，具体如下： 首先，一个方差阈值δ被给定，第i个稀疏主成分的方差范围为（Pevi-δ ,Pevi+δ) (Pevi是第i个主成分的方差），然后，根据对应的负载因子（Il2),每个主成分的非零个 数的上限Φ和下限-能被近似的计算出来，因为方差
为对A进行qr算法处理后所得的右部矩阵的第i行第1列的元素的平方值，同时，稀疏主 成分Zi = QiRi, Qi表示对A进行qr算法处理后所得的左部矩阵，而Ri表示对A进行qr算 法处理后所得的右部矩阵，稀疏负载因子I i = ZiA' (i = 1，2)，最后，在每个稀疏主成分的 非零个数范围[表妁内进行局部搜素，当满足Ipev(t)-pevl < ξ,，则非零个数t的最佳参 数值被确定； 完成对稀疏处理方案的确定，就进入特征提取阶段，所述的特征提取阶段具体如下： 使用截断幂方法的稀疏主成分分析对抽取的图像的原始像素的特征进行降维并求取 主成分，利用稀疏主成分分析获取的稀疏负载因子I i，稀疏主特征Z = AX li。
4.根据权利要求3所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其 特征在于，所述的基于聚类的特征计算的步骤具体如下： 利用图像的稀疏主特征，进行对单幅图像或者若干幅图像的两层聚类，并在聚类的结 果上进行显著性特征计算，具体如下： 当获得单幅图像或者若干幅图像的稀疏主特征
，利用K-Means聚类算法是将 所有的图像块聚类成k个簇，稀疏特征相似的图像块被集中到一个簇中，并计算得到k个簇 中心C= {Cl，C2，…，Ck};为每个簇Ck计算出其对应的对比特征权值妒(k)，基于各个像素点 到图像中心的距离的计算通过使用如公式（6)所示的高斯分布函数）生成位置优先图。
(6) 再对簇Ck的位置优先特征W1GO进行求解，求解过程如公式（7)所示：
(7) 其中，d表示图像P的中心，变量σ2是图像的标准半径，nk表示簇C k中图像块的个 数。根据图像块2/到图像P中心d的空间距离，利用高斯函数Ν(·)计算位置优先特征权 值，％为图像块第几块的块数，接着用公式（8)计算出簇C k的全局分布特征权值wd(k):
5.根据权利要求4所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其 特征在于所述的协同显著图生成步骤具体如下：利用标准的高斯归一化函数让每个特征的 值分布到每个类中，然后一个聚类级的簇k的协同显著概率p(k)由公式（9)得到： p (Ck) = wc (k) ^w1 (k) *wd (k) (9) 然后将协同显著特征权值赋予每个图像块，再通过图像块还原每个像素点显著特征权 值，获得最终像素级的协同显著图。
【文档编号】G06K9/46GK104392231SQ201410626412
【公开日】2015年3月4日 申请日期:2014年11月7日 优先权日:2014年11月7日
【发明者】周培云, 李静, 沈宁敏 申请人:南京航空航天大学