一种基于增强微结构和上下文相似度的图像检索方法
【专利摘要】本发明公开了一种基于增强微结构和上下文相似度的图像检索方法。将图像从RGB颜色空间转换到HSV颜色空间并进行量化，得到颜色量化映射图；对对应的灰度图进行局部模式量化，基于量化后的局部模式映射得到增强微结构映射图，用此映射图对颜色量化映射图进行过滤，对过滤后的映射图采用基于颜色量化值的共生关系描述图像；对库中的图像按与检索图像的标准距离进行排序，再利用上下文相似度传播的方法对所有参考集中图像进行重新排序，完成图像检索。该方法通过引入局部模式映射和距离的最短路径传播方法，能得到很好的图像检索效果，在一定程度上提高了检索查准率和查全率。
【专利说明】-种基于增强微结构和上下文相似度的图像检索方法
【技术领域】
[0001] 本发明属于计算机图像处理与信息检索领域。涉及一种基于增强微结构和上下文 相似度的图像检索方法。
【背景技术】
[0002] 随着多媒体和互联网技术的发展，越来越多的图像信息被生产出来。如何有效的 检索它们就成为一个难题。图像检索方法可以分为三类：基于文本的检索（TBIR)、基于内 容的检索（CBIR)和基于语义的检索（SBIR)。基于文本的检索需要大量人工对图像进行标 注，主观性强，成本很高，现在已基本不被采用。基于语义的检索使用机器学习的方法对图 像进行标注，由于受技术限制，目前还很不成熟。因此目前应用较多的是基于内容的图像检 索。
[0003] 基于内容的图像检索根据用户提供的查询例图在数据库中搜索与之最相关的 图像并返回给用户。普通基于内容的图像检索方法可以分为半监督的方法和无监督的 方法两类。无监督的方法抽取图像的低层特征并直接使用这些特征计算相似度；而半 监督的方法一般通过对测试图像的局部视觉特征进行聚类得到视觉码书，然后用量化向 量表示图像和计算相似度以对图像进行排序。IEEE图像处理汇刊（IEEE Transactions on Image Processingl5(6) (2006) 1443 - 1453)公布的方法就是使用无监督的方法，而 欧洲计算机视觉国际会计（In Proceedings of9th European Conferenceon Computer Vision (ECCV) 2012，）提出的方法是一种半监督的方法。无监督的方法一般提取图像的颜 色、纹理、形状等特征进行检索。在图像检索中，单个特征一般无法获得令人满意的效果，而 联合多个特征进行图像检索又存在权重难以确定和因为要处理多种特征而导致的时间效 率急剧下降的问题。另一方面，半监督方法由于涉及学习问题，而在多数应用场合并没有足 够数量且内容合适的图像作为训练/学习图像，所以其适用范围受到很大限制。
[0004] 模式识别（Pattern Recognition2011 :2123-2133)提出基于图像微结构的描述 子，这种描述子使用微结构来集成图像的多种特征，算法时间效率较高。但该算法距离度量 不合理，且没有充分利用上下文信息，因此检索准确率不高。
【发明内容】
[0005] 为了克服现有图像检索技术的不足，本发明的目的是提供一种基于增强微结构和 上下文相似度的图像检索方法，该方法采用简单的方式提取一种集成图像多种视觉特征的 描述子，另外使用上下文信息引入非用户参与的监督信息，在不降低算法时间效率的同时 能提高图像检索准确率。
[0006] 本发明的目的通过以下技术方案实现：
[0007] 基于增强微结构和上下文相似度的图像检索方法，其特征在于它的步骤如下：
[0008] 1)将图像从RGB颜色空间转换到HSV颜色空间并进行量化，得到颜色量化映射 图；
[0009] 2)对对应的灰度图进行局部模式量化，基于量化后的局部模式映射得到增强微结 构映射图，用此映射图对颜色量化映射图进行过滤，对过滤后的映射图采用基于颜色量化 值的共生关系描述图像；
[0010] 3)对库中的图像按与检索图像的标准距离进行排序，再利用上下文相似度传播的 方法对所有参考集中图像进行重新排序；
[0011] 所述的将图像从RGB颜色空间转换到HSV颜色空间并进行量化，得到颜色量化映 射图步骤为：对于一幅大小为MXN的彩色图像g(x，y)，首先将它从RGB颜色空间变换到 HSV颜色空间。然后将H，S，V分量分别量化成8, 3, 3级。因此颜色直方图有72柄。将量化 后的颜色图像表示成C(x，y)，其中
【权利要求】
1. 一种基于增强微结构和上下文相似度的图像检索方法，其特征在于它的步骤如下： 1) 将图像从RGB颜色空间转换到HSV颜色空间并进行量化，得到颜色量化映射图； 2) 对对应的灰度图进行局部模式量化，基于量化后的局部模式映射得到增强微结构映 射图，用此映射图对颜色量化映射图进行过滤，对过滤后的映射图采用基于颜色量化值的 共生关系描述图像； 3) 对库中的图像按与检索图像的标准距离进行排序，再利用上下文相似度传播的方法 对所有参考集中图像进行重新排序，完成图像检索。
2. 根据权利要求1所述的基于增强微结构和上下文相似度的图像检索方法，其特征在 于：步骤1)具体为：对于一幅大小为MXN的彩色图像g(x，y)，首先将它从RGB颜色空间变 换到HSV颜色空间；然后将H，S，V分量分别量化成8, 3, 3级；因此颜色直方图有72柄；将 量化后的颜色图像表示成
其中
3. 根据权利要求1所述的基于增强微结构和上下文相似度的图像检索方法，其特征在 于：步骤2)具体为： (1) 局部模式量化 彩色图像首先转换成灰度图，然后灰度图量化成L柄，此处L = 32 ;量化的图像表示为 G(x，y)其中
定义局部模式映射1pm，其计算方法如下式：
1 其中
2 也即任一像素处映射值设置为在其3X3邻域中量化灰度值小于或等于当前像素灰度 值的像素个数；Lpm取值范围从0到8 ; (2) 增强微结构映射抽取 用字母Μ表示增强微结构映射图，Μ中所有元素首先初始化为0,然后Μ中任意一点p 的取值由下式得到：
3 上式中Nei8(p)指点ρ的8邻域，也即3X3邻域；对映射图lpm按从上到下，从左到右 的顺序扫描，对于当前扫描的点P，如果其8邻域中至少有一点的值和它的值相等，则局部 微结构映射图Μ中点ρ对应位置处的值设为1，否则为0 ; (3) 图像描述 用下式建立颜色量化微结构图f(x，y);
4 然后将f表示成一个72维（与C的维数一样）的向量H，作为原图的描述子；Η由下式 确定： 5 其中Pci是图像f当前扫描点，
表示Pi是P〇3X3邻域中的一个点；N{*}表 示满足条件*的点的个数；N{f (pjzwj表示映射图f中值为％的点的个数，而N{f (Pd)=
表示在映射图f中满足值为％且该点的3X3邻域至少有一 个点值也为％的点的个数。
4.根据权利要求1所述的基于增强微结构和上下文相似度的图像检索方法，其特征在 于：步骤3)具体为： (1) 标准距离计算 两图像对应的描述子P，Q间距离计算如下：
6 其中Pi，Qi分别为P，Q对应的第i个分量； 使用上式的距离测度，所有随机图像对间的距离取值范围在〇到1之间，称为标准距 离； (2) 基于最短路径的参考集计算 给定一组对象
一个距离函数
和一个相似度函数
是查询图像而
是图像库中一组已知的对象，
SP (Xl，xt)表示从Xl到xt的一条最短路径，该路径上每一结点表示图像集中一幅图像，对应 的RSP(xt)称为最短路径引用对象集，表示如下：
令cPUi, xp表示结点Xi和\间的最短路径距离；结点Xi和结点集间的最短路径 距离定义如下：
8 参考集X，(xt)定义如下：
设置
然后" r-扩展最短路径参考对象集"定义如下：
(3) 基于上下文相似度的图像序列重排序 设查询图像为Xl，迭代次数T取值为50,取初始排序序列的前N幅图像进行重排序，此 处N = 100，另距离矩阵
其中x2, x3, . . . xN+i是初始 排序序列的如N幅图像；则重排序的步骤如下： 1)使用下式转换距离矩阵到权重矩阵 其中核大小
定义如下： 再将权重矩阵转换成概率矩阵： 12 14 13 3)根据新的相似度Re-rank前面N幅图像，并输出Re-rank后的序列x ' 2， X 3， · · · X N+1 12式中mean (X)指集合X中所有元素的均值，knnd(x)指元素 X的K个最近邻居组成 的集合，K取值为2,而α取值为0.2。13式中r取值为4,而14式中初始迭代值
【文档编号】G06K9/62GK104063522SQ201410344580
【公开日】2014年9月24日 申请日期:2014年7月18日 优先权日:2014年7月18日
【发明者】王成现, 程伟华, 袁杰 申请人:国家电网公司, 江苏省电力公司, 江苏电力信息技术有限公司