一种使用LLC准则定位图像前景的方法与流程

本发明涉及模式识别技术、信息融合技术、信息编码技术和数字图像处理技术领域，具体的说是一种使用llc准则定位图像前景的方法。

背景技术：

模式识别技术是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。显著性检测中的模式识别指的是对图像中背景和目标的识别与分类。显著目标是图像中从背景中突出的人或事物，一般包含更多人们感兴趣的、更有用的信息。显著目标检测的主要任务即检测并标定出显著目标所在的区域。由于检测结果可以被直接使用，因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。

常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术。显著目标检测技术中的关键是通过像素、超像素、区域块等检测单位间的局部或全局特征差来确定各个检测单位的显著值，因此，特征提取是计算特征差的基本步骤。由于显著颜色是引起人类视觉注意的最根本特征，人们通常选取颜色计算特征差。目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已接近测试集的标准，但在多目标和复杂背景下，尤其是在显著目标与背景相融的场景下不能取得较好的表现。当图像场景复杂时，颜色特征可能不足以作为目标与背景的分类依据。这是因为场景的复杂通常表现为以下特性：1、场景中含有多个结构复杂的目标，并可能部分相互重叠；2、目标区域呈不规则形状；3、目标分布于图像四周；4、目标与背景具有相似的色调，或者二者均具有杂乱的色调。在上述特性中，最后一个特性是难以用颜色特征差将目标从背景中提取出来的，此时纹理特征差将可作为显著目标检测的重要依据。此外，位于图像中心区域的事物往往被最先注意，背景常分布在图像四周的边界区域，这就凸显了区域间的空间关系特征的优势，该特征也可为显著性检测提供了可参考的线索。当颜色差不足以提供显著目标检测的线索时，如何运用图像的多个特征并将它们有效地融合是需要解决的关键问题。另一方面，由于图像场景复杂时机器视觉难以将前景从杂乱的背景中检测出来，造成多种先进算法生成的显著图中存在前景区域附近噪声较多、甚至前景边界模糊的现象，提高了进一步的前景或目标识别的难度。

图像前景的定位技术属于图像显著性检测技术中非常重要的一个环节，在使用先验知识或其他深度信息进行分析后，图像前景被粗略地定位，在此基础上进一步进行细致地检测可使生成的显著图精准度更高，而且检测时间会大大加快。

基于局部性约束的线性编码（locality-constrainedlinearcoding，简称llc）是一种高效且鲁棒的分类技术，最初主要用于图像分类。由于强调稀疏编码过程中的“特征局部性”，其使用促使图像分类的正确率提高很多。同时，llc方案还具有快速性的特点，其原理简单，大大缩短了编码所需的时间。

特征向量模型（featurevectormodel）被广泛使用于图像处理领域。多个特征数据可按照“均一权值”或“差额权值”的方式被融合入一个向量中表示，表示方法简单且易于参与运算。本发明仅涉及“均一权值”的向量模型来融合图像区域的质心、颜色和纹理特征。

k-means聚类是一种聚类分析算法，是典型的基于原型的目标函数聚类方法的代表，通过不断地取离种子点的最近欧氏距离（相似度测量）作为优化的目标函数，利用函数求极值的方法得到迭代运算的调制规则，以达到聚类所有数据的目的。

简单线性迭代聚类（simplelineariterativeclustering，简称slic）是一种高效的图像分割法，该方法将图像分割为n个超像素（n的取值一般在200左右具有最佳效果），划分为同一个超像素的像素或图像块具有颜色相似性和内部紧致性。目前，很多高效的显著目标检测算法以slic超像素作为特征提取和显著值计算的基本检测单位，不仅可以达到快速检测的目标而且获得的显著图也更加平滑。

技术实现要素：

本发明的目的是提供一种使用llc准则定位图像前景的方法，从标准测试集中选取大量随机图像，结合其显著区域真值标注图，提取图像前景的先验知识、形成llc码本，使用llc准则对待测图像的各个区域是否属于前景进行粗分类，并给出相应的显著性概率值。

为解决上述技术问题，本发明采用的技术方案为：

一种使用llc准则定位图像前景的方法，包括以下步骤：

步骤一：码本生成：实现为生成llc所使用的码本进行的大规模图像样本抽取、图像过分割、图像区域样本筛选及标定、图像区域样本特征提取、区域样本聚类生成码本；

步骤二：待测图像区域划分及特征提取：实现待测图像过分割，提取待测图过分割后的各图像区域特征；

步骤三：使用llc准则对每个过分割图像区域进行稀疏编码：根据过分割图像区域特征提取结果，按照局部性原理和llc准则进行线性编码，获得所有过分割图像区域的稀疏编码码字；

步骤四：图像区域粗分类：实现llc编码码字转换为显著性概率值的结果，得到知识先验图；

步骤五：图像前景定位：按照背景优先的图流形排序法获得背景先验图，通过融合知识先验图用以消除图像区域粗分类造成的大部分噪声，精准地定位图像前景。

所述步骤一中码本生成的方法为：

1）从标准测试集中抽样n幅图像；

2）将原图像用slic算法分割成n个超像素；

3）提取每幅被抽样图像的显著性真值标注图，按照步骤2）中的分割结果映射到真值标注图，依据公式（1）将仅包含前景像素或仅包含背景像素的超像素区域纳入备选图像区域样本，并标定该图像区域样本属于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素区域；

（1）

其中为第i幅抽样图像被纳入的第t个区域样本，该样本来源于第i幅抽样图像的第j个超像素区域；表示真值标注图中对应该区域的平均值，其值为1时说明属于前景，用指示，值为0时说明该区域属于背景，由指示；

4）提取各备选图像区域样本的质心、lab颜色自然特征，计算其距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值，按照公式（2）和公式（3）形成对比特征向量表示单个图像区域样本；

（2）

其中，mi为第i幅抽样图像被选入的区域样本个数；

（3）

其中，表示来源于归一化后的同一幅图像的区域样本的特征，归一化过程仅在同一幅图像的区域样本内进行；

5）将步骤4）所形成的对比特征向量组成对比特征矩阵，使用k-means聚类算法按照公式（4）给出的条件聚类为k个中心；

（4）

6）使用步骤5）生成的k个聚类中心构成码本，其对应的标定结果依序组成长度为k的标定向量。

所述步骤二中待测图像区域划分及特征提取的方法为：

1）将待测图像用slic算法分割成n个超像素；

2）提取待测图像各超像素的质心，用横纵坐标表示；

3）提取待测图像各超像素在lab空间下的三个颜色均值；

4）分别计算待测图像各超像素距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值，按照公式（2）的特征构成形式形成对比特征向量表示单个图像超像素区域。

所述步骤三中使用llc准则对每个过分割图像区域进行稀疏编码的方法为：对于每一个图像超像素，按照公式（5）和（6）所示llc编码规则，使用在步骤一中已生成的码本，得到每个超像素对应的编码向量;

（5）

其中，是待测超像素区域的对比特征向量，表示待测超像素区域与码本各元素的距离向量；

（6）。

所述步骤四中图像区域粗分类的方法为：按照编码向量和标定向量依据公式（7）计算每个图像超像素区域的显著性概率值，得到知识先验图;

（7）

其中和是分别对应于编码正例和反例的非负系数集，pn和nn分别为这两个非负系数集中的元素个数。

所述步骤五中图像前景定位，通过下述步骤实现：

1）按照背景优先的图流形排序法依据公式（8）和（9）获得背景先验图；

（8）

其中μ值为0.99，wij为图结构的仿射矩阵元素，表示了两个邻接结点间的特征距离，标记了度矩阵，是一个二值指示向量，为流形排序的查询输入，用来标记查询种子，*依次表示l-left、r-right、u-up、d-down，即图像四个边界;

（9）

其中，表示按位乘法;

2）将背景先验图和知识先验图按照公式（10）融合，获得较为精准的图像前景定位图;

（10）

其中，表示矩阵或向量间的对应元素按位乘法。

本发明的有益效果：

（1）使用距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值等基于对比的特征描述图像超像素区域，并用来学习前景\背景的典型特征作为指导图像超像素区域分类的先验知识，从经验角度获取高层知识只需学习一次即可多次指导区域分类，与仅从当前图像提取高层知识的方法相比大大加快了前景定位的速度；

（2）图像前景定位以超像素区域分类为根本，定位出的前景边界清晰、易于提取做进一步细化处理；

（3）采用llc编码方案简化了区域分类过程，并且由于llc强调特征局部性，分类结果更倾向于先验知识的经验表达，不易被复杂场景中的杂乱信息干扰；

（4）从整体上来看，本发明生成的知识先验图的噪声比仅从当前图像提取高层知识所生成的知识先验图要多，但是噪声很容易被背景先验图消除，而边界清晰的优势是其他知识先验图很难达到的；

（5）图像前景定位的结果可直接用于改进基于图的流形排序（graphbasedmanifoldranking，简称gmr）的查询，可获得较为明显的性能改进效果，生成的显著图中前景边界更加清晰，噪声更少；在sed2、ecssd和dut_omron三个具有复杂场景图像特征的标准测试库中，使用提供的groundtruth依次对比计算出的显著图，图3显示了采用基于本发明获得的前景定位图改进图流形排序得到的显著图结果，以及过程中生成的各个步骤图，图4展示了基于本发明获得的知识先验图与仅从当前图像提取高层知识所生成的知识先验图的比较、基于本发明改进的图流形排序得到的显著图与采用文献[c.yang,l.zhang,h.lu,etal.,saliencydetectionviagraph-basedmanifoldranking,”in:ieeeconf.oncomputervisionandpatternrecognition(cvpr),2013,pp.3166-3173]得到的图流形排序显著图的比较：步骤图与比较图均显示了基于本发明获得的知识先验图在前景定位精准度与前景边界清晰这两方面的明显优势。表1记载了使用基于本发明提取优势查询并输入图流形排序得到的显著图在平均fmeasure值（越高越好）及mae值（越低越好）等评价标准与其他经典算法的比较结果，最好的两个结果用加粗字体标出；表中数据表明：使用本发明定位图像前景改进显著性检测方法使得检测效果得到了明显提高。

表1多算法性能比较（dl算法使用了本发明结果改进图流形排序的查询输入）

附图说明

图1是本发明涉及的使用llc准则定位图像前景的方法的总流程图；

图2是本发明涉及的码本生成的流程图；

图3是基于本发明前景定位的显著性检测步骤图（从左至右：原图、知识先验图、背景先验图、前景定位图、用前景定位图改进查询所得的流形排序显著图、真值图）；

图4是基于本发明获得的知识先验图与改进图流形排序的效果展示（从左至右：原图、基于本发明获得的知识先验图、从当前图像直接提取高层知识所生成的知识先验图、gbr图流形排序生成的显著图、用本发明获得的前景定位图改进图流形排序查询获得的显著图、真值标注图）。

具体实施方式

下面结合具体实施方式对本发明做进一步的阐述。

本发明所涉及的通过使用llc准则定位图像前景的方法，包括：码本生成、待测图像区域划分及特征提取、使用llc准则对每个过分割图像区域进行稀疏编码、图像区域粗分类和图像前景定位等步骤。

本发明所涉及的码本生成方案依据标准测试集中的真值标注图筛选前/背景信息确定的区域作为生成码本的样本，大规模样本再通过k-means聚类使得码本元素中的样本特征更具代表性。

本发明所涉及的图像区域划分采用目前性能较好的像素聚类技术——slic法，聚类后的超像素不仅内部紧致，而且能够有效保存显著目标边缘，保证了最后生成的显著图平滑和较清晰地显示目标轮廓。

本发明所涉及的超像素区域特征提取选用了图像超像素区域距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值等对比特征，自然特征不再作为判断区域是否属于前/背景的依据。

本发明所涉及的llc准则是鲁棒的，常用于图像分类。强调局部性原理的线性编码不仅实现起来简单易行，而且分类的准确度高。

本发明所涉及的图像区域粗分类根据llc编码结果测定区域的显著性概率，由此生成的知识先验图具有目标突出、边界清晰的优势。

本发明所涉及的图像前景定位通过背景先验图消除知识先验图中存在的背景噪声，但仍可以保证知识先验图目标突出、边界清晰的优势不被破坏，可为高效的显著性检测方法——图流形排序提供优势前景查询，促使生成的显著图在邻域显著性光滑的基础上能保证更为清晰的前景边界并减少噪声影响。

为说明本发明涉及的使用llc准则定位图像前景的方法，结合实施例及附图阐述如下：

图1为本发明通过使用llc准则定位图像前景的方法的总流程图。本方法通过8个基本步骤实现码本生成、待测图像区域划分及特征提取、使用llc准则对每个过分割图像区域进行稀疏编码、图像区域粗分类和图像前景定位等，包括：

（一）从标准测试集中抽样n幅图像，对每一幅图像使用slic算法将原图像分割成n个（n的值为200个左右）超像素，同时从标准测试集中提取当前图像对应的真值标注图，按照slic分割结果映射并分割真值标注图。依据公式（1）将仅包含前景像素或仅包含背景像素的超像素区域纳入备选图像区域样本，并标定该图像区域样本属于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素区域；

（二）提取各个超像素区域的距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值等对比特征，组成表示区域样本集的特征矩阵，用公式（2）和（3）表示并存放；

（三）使用k-means聚类算法将对比特征矩阵中的个区域样本聚类为k个中心，其中k的选取需满足公式（4），且可达到；

（四）使用聚类后的k个中心及其标签构成llc码本；

（五）输入一幅待测图像，使用slic算法将该图像分割成n个（n的值为200个左右）超像素，对每一个超像素区域提取其距图像中心的质心距离、局部lab颜色对比值和全局lab颜色对比值等对比特征，组成表示该超像素区域的特征向量，使用公式（5）和（6）表示的改进的llc准则对该超像素区域进行编码，设定非零编码系数个数kn1满足，获得一个k维的编码向量；

（六）按照编码向量和标定向量依据公式（7）计算每个图像超像素区域的粗显著性概率值，归一化待测图像中所有超像素区域的粗显著性概率值得到知识先验图；

（七）按照背景优先的图流形排序法[c.yang,l.zhang,h.lu,etal.,saliencydetectionviagraph-basedmanifoldranking,”in:ieeeconf.oncomputervisionandpatternrecognition(cvpr),2013,pp.3166-3173]依据公式（8）和（9）获得背景先验图；

（八）将背景先验图和知识先验图按照公式（10）融合，获得较为精准的图像前景定位图。

注：归一化过程按照公式（11）计算；

超像素区域样本筛选：

（1）

其中为第i幅抽样图像被纳入的第t个区域样本，该样本来源于第i幅抽样图像的第j个超像素区域；表示真值标注图中对应该区域的平均值，其值为1时说明属于前景，用指示，值为0时说明该区域属于背景，由指示。

表示区域样本集的特征矩阵：

（2）

其中，mi为第i幅抽样图像被选入的区域样本个数。

超像素区域特征向量：

（3）

其中，表示来源于归一化后的同一幅图像的区域样本的特征，归一化过程仅在同一幅图像的区域样本内进行。

聚类中心k的选择：

（4）

本发明改进的llc准则：

（5）

其中，是待测超像素区域的对比特征向量，表示待测超像素区域与码本各元素的距离向量：

（6）

超像素区域粗显著性概率值：

（7）

其中和是分别对应于编码正例和反例的非负系数集，pn和nn分别为这两个非负系数集中的元素个数。

图流形排序计算显著性：

（8）

其中μ值为0.99，wij为图结构的仿射矩阵元素，表示了两个邻接结点间的特征距离，标记了度矩阵，是一个二值指示向量，为流形排序的查询输入，用来标记查询种子，*依次表示l-left、r-right、u-up、d-down，即图像四个边界。

背景先验图生成：

（9）

其中，表示hadamardmultiplication（按位乘法）。

（10）

其中，表示矩阵（或向量）间的对应元素按位乘法。

归一化公式：

（11）。