一种通过基于自适应码本的LLC聚类图像区域的方法与流程

本发明涉及模式识别技术、信息融合技术、信息编码技术和数字图像处理技术领域，具体的说是一种通过基于自适应码本的llc聚类图像区域的方法。

背景技术：

模式识别技术是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。显著性检测中的模式识别指的是对图像中背景和目标的识别与分类。显著目标是图像中从背景中突出的人或事物，一般包含更多人们感兴趣的、更有用的信息。显著目标检测的主要任务即检测并标定出显著目标所在的区域。由于检测结果可以被直接使用，因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。

常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术。显著目标检测技术中的关键是通过像素、超像素、区域块等检测单位间的局部或全局特征差来确定各个检测单位的显著值，因此，特征提取是计算特征差的基本步骤。由于显著颜色是引起人类视觉注意的最根本特征，人们通常选取颜色计算特征差。目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已接近测试集的标准，但在多目标和复杂背景下，尤其是在目标相融的背景下不能取得较好的表现。当图像场景复杂时，颜色特征可能不足以作为目标与背景的分类依据。这是因为场景的复杂通常表现为以下特性：1、场景中含有多个结构复杂的目标，并可能部分相互重叠；2、目标区域呈不规则形状；3、目标分布于图像四周；4、目标与背景具有相似的色调，或者二者均具有杂乱的色调。在上述特性中，最后一个特性是难以用颜色特征差将目标从背景中提取出来的，此时纹理特征差将可作为显著目标检测的重要依据。此外，位于图像中心区域的事物往往被最先注意，背景常分布在图像四周的边界区域，这就凸显了区域间的空间关系特征的优势，该特征也可为显著性检测提供了可参考的线索。当颜色差不足以提供显著目标检测的线索时，如何运用图像的多个特征并将它们有效地融合是需要解决的关键问题。另一方面，由于图像场景复杂时机器视觉难以将前景从杂乱的背景中检测出来，造成多种先进算法生成的显著图中存在前景区域附近噪声较多、甚至前景边界模糊的现象，提高了进一步的前景或目标识别的难度。

基于局部性约束的线性编码（locality-constrainedlinearcoding，简称llc）是一种高效且鲁棒的分类技术，最初主要用于图像分类。由于强调稀疏编码过程中的“特征局部性”，其使用促使图像分类的正确率提高很多。同时，llc方案还具有快速性的特点，其原理简单，大大缩短了编码所需的时间。

特征向量模型（featurevectormodel）被广泛使用于图像处理领域。多个特征数据可按照“均一权值”或“差额权值”的方式被融合入一个向量中表示，表示方法简单且易于参与运算。本发明仅涉及“均一权值”的向量模型来融合图像区域的质心、颜色、纹理和gabor特征。

简单线性迭代聚类（simplelineariterativeclustering，简称slic）是一种高效的图像分割法，该方法将图像分割为n个超像素（n的取值一般在200左右具有最佳效果），划分为同一个超像素的像素或图像块具有颜色相似性和内部紧致性。目前，性能较好的图像显著性检测方法大多基于slic超像素分割，不仅可以达到快速检测的目标而且获得的显著图也更加平滑。目前，很多高效的显著目标检测算法以slic超像素作为特征提取和显著值计算的基本检测单位。

技术实现要素：

本发明的目的是提供一种通过基于自适应码本的llc聚类图像区域的方法，从已分割的超像素中提取颜色、纹理、质心等特征后，通过融合的特征聚类邻近区域，以相似性结构图的形式提高邻近的多个区域间的可辩度，为减少甚至消除生成的显著图中前景边界附近的噪声提供非常有价值的线索。

为解决上述技术问题，本发明采用的技术方案为：

一种通过基于自适应码本的llc聚类图像区域的方法，包括以下步骤：

步骤一：图像过分割及超像素区域特征提取：将原图按照slic方法分割为n个超像素，并提取各个超像素区域的质心、颜色、纹理及gabor特征；

步骤二：扩展llc对每个超像素图像区域进行稀疏编码：根据超像素特征提取结果，分别组织对应于每个超像素的自适应码本，按照局部性原理进行线性编码，获得所有超像素图像区域的稀疏编码码字；

步骤三：编码转换：实现扩展的llc编码码字转换为对称方阵以表示邻近区域的聚类结果；

步骤四：构建相似性结构图：根据编码转换的结果和超像素区域的特征构建图像超像素区域相似性结构图。

所述步骤一中图像过分割及超像素区域特征提取方法为：

1）将原图像用slic法分割成n个超像素；

2）提取原图各超像素的质心，用横纵坐标表示；

3）提取原图各超像素在lab空间下的三个颜色均值；

4）提取原图各超像素在rgb空间下的三个颜色均值；

5）提取原图各超像素的lbp纹理特征值，用59bins表示；

6）提取原图各超像素的36维gabor特征。

所述步骤二中扩展llc对每个超像素图像区域进行稀疏编码的方法为：

1）对于每一个超像素，将其颜色、纹理、gabor特征值融合入一个特征向量以表示该超像素，用公式（1）表示并存放：

（1）

2）对每一个超像素spi，将所在图像中除去该超像素的其他所有超像素的颜色、纹理、gabor特征值融合为一个101×(n-1)维的特征矩阵以作为该超像素进行llc的码本，自适应码本用公式（2）表示：

（2）

3）按照公式（3）-（6）进行扩展的llc编码，得到每个超像素对应其专属码本的编码码字，将编码结果写入(n-1)维的编码指示向量，用公式（7）定义、表示：

（3）

其中，

（4）

表示spi与码本元素对应的各超像素的质心距离向量：

（5）

表示spi与码本元素的特征距离向量：

（6）

表示spi与码本中各元素的距离向量，表示矩阵或向量间的对应元素按位乘法；

记录llc编码的指示向量：

（7）

其中表示超像素j对i的编码系数。

所述步骤三中编码转换的方法为：

1）将每个超像素的编码向量按照如下公式（8）从(n-1)维扩展为n维：

（8）

2）将所有超像素扩展后的编码向量整合为一个n×n的编码矩阵；

3）对编码矩阵进行对称化处理，按照如下公式（9）转换为对称方阵a表示聚类结果，完成所有超像素的聚类表示：

（9）

其中表示如果超像素i可表示j，但j的最邻近区域中不包含j，那么也应该将i和j聚到一个类。

所述步骤四中构建相似性结构图的方法为：

1）将用于聚类表示的对称编码矩阵中指示有聚类关系的位置一一找出，按照如下公式（10）计算有聚类关系的两个结点对应的超像素的相似度测量值：

（10）

其中，和表示超像素spi和spj的特征均值，*分别表示lab、rgb、lbp和gabor，表示所有包含图像边界像素的超像素集合；

2）初始化一个n×n的全零矩阵表示相似性结构图的仿射矩阵；

3）提取聚类表示的对称编码矩阵中指示聚类关系为1的位置，计算对应的两个超像素关于四个特征的四个相似度测量值，仿射矩阵对应该位置的值被赋值为四个相似度测量值的乘积作为相似性结构图的边的权值，完成相似性结构图的构建。

本发明的有益效果：

（1）使用多个特征作为计算显著图的依据，在复杂场景下，当使用颜色特征无法有效提取显著目标时，多特征信息作为有益补充可有效提高检测效果；

（2）扩展的llc编码方案，将原始llc中多个特征描述子分别编码再融入目标函数的方法扩展为先融合多个特征描述再一次性编码，简化了编码过程，强调了多个特征的整体性；

（3）对每一个超像素使用一次llc，编码过程相对独立，不易受相邻的其他区域干扰，自适应码本的设计使每次编码围绕一个超像素区域进行，在编码转换时可根据编码时超像素出现的频率自动生成聚类中心；

（4）聚类结果以相似性结构图的形式表出，可直接改进基于图的流形排序（graphbasedmanifoldranking，简称gmr）的图结构，获得较为明显的性能改进效果，生成的显著图中前景边界更加清晰，噪声更少；在sed2、ecssd和dut_omron三个具有复杂场景图像特征的标准测试库中，使用提供的groundtruth依次对比计算出的显著图，表1记载了使用基于本发明改进图流形排序的图结构得到的显著图在平均fmeasure值（越高越好）及mae值（越低越好）等评价标准的比较结果，最好的两个结果用加粗字体标出；表中数据表明：使用多特征及基于自适应码本的llc使得检测效果得到了明显提高。图5展示了基于本发明构建的图结构改进图流形排序获得的显著性检测图与其他经典算法生成的显著图的比较，可以看出使用本发明构建的图结构改进图流形排序之后，显著性检测图中的前景边界更加清晰，背景噪声更少，改进效果是比较明显的。

表1多算法性能比较（ellsc算法使用了本发明结果构建流形排序的图结构）

附图说明

图1是本发明涉及的通过基于自适应码本llc聚类图像区域的方法的总流程图；

图2是本发明涉及的扩展llc的流程图；

图3是本发明涉及的编码转换流程图；

图4是本发明涉及的生成相似性结构图流程图；

图5是基于本发明构建的图结构改进图流形排序获得的显著性检测图与其他经典算法生成的显著图的比较图。

具体实施方式

下面结合具体实施方式对本发明做进一步的阐述。

本发明所涉及的通过基于自适应码本的llc聚类图像区域的方法，包括：原图像区域划分及特征提取、扩展llc对每个超像素图像区域进行稀疏编码、编码转换以及构建相似性结构图等步骤。

本发明所涉及的超像素区域分割采用目前性能较好的像素聚类技术——slic法，聚类后的超像素不仅内部紧致，而且能够有效保存显著目标边缘，保证了最后生成的显著图平滑和较清晰地显示目标轮廓。

本发明所涉及的超像素特征提取选用了图像超像素区域的lab颜色、rgb颜色、lbp纹理和gabor小波组建特征向量，使用超像素区域的质心参与扩展llc编码准则；lbp纹理和gabor小波在复杂背景或背景与目标色调相似的情况下能有效区分超像素之间的差异，质心特征从空间关系方面突出了邻近区域的特征局部性。

本发明所涉及的扩展llc方案源于常用于图像分类的鲁棒的llc，扩展方案主要体现在：将原始llc方案中的按多特征描述子分别编码然后融合入目标函数的方法改进为先融合多特征描述子然后进行单次目标函数优化，并使用自适应码本的方案进行编码。

本发明所涉及的编码转换将(n-1)×n的编码矩阵转换为一个n×n的方阵，并对其进行对称化处理，以表出图像区域的聚类结果。

本发明所涉及的构建相似性结构图为高效的显著性检测方法——流形排序提供了改进的图邻接结构，促使生成的显著图在邻域显著性光滑的基础上能保证更为清晰的前景边界并减少噪声影响。

为说明本发明涉及的通过基于自适应码本的llc聚类图像区域的方法，结合实施例及附图阐述如下：

图1为本发明通过基于自适应码本的llc聚类图像区域的方法的总流程图。本方法通过6个基本步骤实现区域特征的提取、基于自适应码本的llc、编码转换与聚类表示、相似性结构图的构建等，包括：

（一）使用slic算法将原图像分割成n个（n的值为200个左右）超像素；

（二）提取各个超像素区域的lab颜色、rgb颜色、lbp纹理和gabor小波等特征，用公式（1）表示并存放；

（三）对每一个超像素spi，创建其自适应码本用公式（2）表示；

（四）按照公式（3）-（6）进行扩展的llc编码，用公式（7）定义、表示；

（五）所有超像素的基于自适应码本的llc编码完成后，将编码矩阵按照公式（8）和公式（9）转换为对称方阵a表示聚类结果；

（六）按照公式（10）计算有聚类关系的超像素间的相似性度量值，创建以该度量值为权值的仿射矩阵；使用公式（11）通过整合四个仿射矩阵来融合四类特征，进而创建相似性结构图。

由于基于图的流形排序结果对邻接图的邻接结构非常敏感，通过基于自适应码本的llc聚类图像区域所创建的图结构，可作为流形排序的输入生成前景边界较为精准的灰度显著图。

超像素区域特征向量：

（1）

超像素spi的自适应码本：

（2）

基于自适应码本的llc规则：

（3）

其中，

（4）

表示spi与码本元素对应的各超像素的质心距离向量：

（5）

表示spi与码本元素的特征距离向量：

（6）

表示spi与码本中各元素的距离向量，表示矩阵（或向量）间的对应元素按位乘法。

记录llc编码的指示向量：

（7）

其中表示超像素j对i的编码系数。

扩展编码指示向量：

（8）

对称化处理：

（9）

其中表示如果超像素i可表示j，但j的最邻近区域中不包含j，那么也应该将i和j聚到一个类。

超像素i和j的相似性测度值：

（10）

其中，和表示超像素spi和spj的特征均值，*分别表示lab、rgb、lbp和gabor，表示所有包含图像边界像素的超像素集合。接下来，可通过整合四个仿射矩阵来融合四类特征，进而创建图结构：

(11)

表示矩阵（或向量）间的对应元素按位乘法。