一种基于特征富集区域集合的图像检索方法
【专利摘要】本发明公开了一种基于特征富集区域的图像检索方法，首先通过计算Hessian矩阵及非极大值抑制获得候选特征点集合，利用三维线性插值法得到亚像素级的特征点集合。根据得到图像特征点的坐标位置，计算特征点的分布矩阵和适应矩阵，利用最大子矩阵和算法求出适应矩阵的子矩阵，即特征点分布最密集的区域，作为图像的特征富集区域。对特征富集区域选择形状、纹理和颜色三个底层特征，最后根据高斯非线性距离函数进行相似性度量，按照相似度升序排列，实现图像的快速检索。本发明能有效降低图像检索计算复杂度，提高图像检索的运算效率和准确率。
【专利说明】一种基于特征富集区域集合的图像检索方法
【技术领域】
[0001] 本发明属于图像检索【技术领域】，主要涉及一种基于特征富集区域的图像检索方 法。
【背景技术】
[0002] 图像检索的研究最早可以追溯到二十世纪七十年代。早期的图像检索技术是基 于图像的文本标注，即基于文本的图像检索（Text-based Image Retrieval, TBIR)。到了 上个世纪90年代，大型图像数据库逐步成为主流，如果仍然沿用传统的方法，就会给图像 检索工作带来巨大的工作量。为了对大量的图像做出高效的处理，基于内容的图像检索技 术（Content Based Image Retrieval,CBIR)被研究者关注。区别于原有系统中TBIR对图 像进行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索 弓丨，如色彩、纹理、形状等。这样，除了文本标注外，用户还可以利用图像的视觉特征来实现 查询。由于利用图像本身的物理内容描述对象，而且特征的提取和索引的建立都可以使用 计算机自动实现，避免了人工标注的主观性，大大减少了工作量，很好地解决了基于文本检 索中存在的问题。
[0003] 传统的图像检索系统一般是对整幅图像进行特征提取，与图像内容无关，通常人 们在判别图像的相似性时并非建立在图像低层视觉特征的相似上，而是建立在对图像所描 述的对象或事件的语义理解的基础上，正是由于人对图像相似性的判别依据与计算机对相 似性的判别依据之间的不同，所以会导致由于计算机获取图像的视觉信息与用户对图像理 解的语义信息的不一致性而产生的低层和高层检索需求间的鸿沟。
[0004] 此外，图像中的不同区域的重要程度不同，而除图像主题内容之外的背景信息往 往占据图像的很大一部分，在提取特征的过程中对主要对象的特征造成影响，不仅会使得 图像检索算法计算复杂度高，运算效率低下，而且会导致检索结果准确性差等问题。
【发明内容】
[0005] 本发明是为避免现技术所存在的不足之处，提出一种基于特征富集区域集合的图 像检索方法，以期能有效降低图像检索计算复杂度，提高图像检索的运算效率和准确率。
[0006] 本发明为解决技术问题采用如下技术方案：
[0007] 本发明一种基于特征富集区域集合的图像检索方法，是利用检索图像E对存储在 数据库中的候选图像集IT tIt= 1，2，···，M}进行相似性匹配，并返回与所述检索图像E最 相似的J个候选图像作为图像检索结果；M表示所述候选图像的总数；其特点是：所述方法 按如下步骤进行：
[0008] 步骤1、以所述检索图像E的任一顶点作为原点0,以与所述原点0相邻的两条边 分别作为X轴和Y轴，建立坐标系XOY ;在所述坐标系XOY中，将所述检索图像E转换为灰 度图像G，并利用式（1)获得所述灰度图像G的积分图像I :
【权利要求】
1. 一种基于特征富集区域集合的图像检索方法，是利用检索图像E对存储在数据库中 的候选图像集{Tt|t = 1，2,…，M}进行相似性匹配，并返回与所述检索图像E最相似的J个 候选图像作为图像检索结果；M表示所述候选图像的总数；其特征是：所述方法按如下步骤 进行： 步骤1、以所述检索图像E的任一顶点作为原点0,以与所述原点O相邻的两条边分别 作为X轴和Y轴，建立坐标系XOY ;在所述坐标系XOY中，将所述检索图像E转换为灰度图 像G，并利用式（1)获得所述灰度图像G的积分图像I :
式⑴中，I(x，y)表示所述积分图像I中任一像素点P(x，y)的值，G(i'，j'）表示所述 灰度图像G中位于坐标（i'，j'）上的像素值；式（1)表示所述积分图像I中像素点p (x，y) 的值是从所述灰度图像G的原点0到像素点p (x，y)所构成的矩形区域内所有像素点的灰 度值之和： 步骤2、计算所述积分图像I的Hessian矩阵，获取所述积分图像I的特征点集合Fp ; 步骤2. 1、利用高斯滤波器获得所述灰度图像G在不同尺度下的图像集合 0 =丨各，I，…，，{?",」+，1彡T彡n;0 T表示第T层的尺度值，从而构建n层图像 金字塔；G...表示所述图像金字塔中尺度值为〇 T的第T层图像； 步骤2. 2、利用式⑵计算所述第T层图像)?中像素点p(x，y)的Hessian矩阵 H(p, 〇 T)：
式⑵中，Lxx (p, 〇 T)、Lxy (p, 〇 T)和Lyy (p, 〇 T)分别表示所述第T层图像
步骤2. 3、并利用式⑶所示的Hessian矩阵H(p，〇 T)的判别式Det(H(p，〇 T))判断 所述第T层图像弘.的像素点p(x，y)是否为极值点，将Det(H(p，〇 T)) >0时的像素点作 为候选特征点Ak : Det (H(p, 〇 T)) = Lxx(p, 〇 T)Lyy(p, 〇 T)-Lxy(p, 〇 T)2 (3) 步骤2. 4、遍历所述图像金字塔中的每一层图像中的每个像素点，并利用式（3)进行判 断，从而获得候选特征点集合A= U11A2，…，Ak，…，AJ ;l<k<K，K表示所述候选特征点 的个数； 步骤2. 5、定义所述第。层图像Cl/中像素点p(x，y)的三维N阶邻域集合为U(p，T) ={U T U T，U T +1} ;U T 表示在第T -1层图像Cl.中，与像素点P (X，y)对应的像素点 P'（x，y)及其相邻的N2-I个像素点的集合；UT+1表示在第t+1层图像錢*^中，与像素点 P(x，y)对应的像素点P" (x，y)及其相邻的N2-I个像素点的集合；Ut表示在第T层图像 Clf中与像素点P (X，y)相邻的N2-I个像素点的集合； 步骤2. 6、遍历所述候选特征点集合A中每个候选特征点，若任一候选特征点Ak的灰度 值大于其三维N阶邻域集合中所有的3N2-1像素点的灰度值或是小于其三维N阶邻域集合 中所有的3N2-1像素点的灰度值，则将候选特征点Ak作为特征点，从而获得特征点集合； 步骤3、依据所述特征点集合，计算特征点分布矩阵C和适应矩阵B，从而获得所述检索 图像E的特征富集区域集合= …; 1彡z彡Z，Z表示所述检索图 像E的特征富集区域个数； 步骤3. 1、对所述检索图像E进行分块，获得WXH个子块构成的子块集合SUB = {sn，S12，…，swh，…，SmJ ; I < w < W ; I < h < H ; 步骤3. 2、定义特征点分布矩阵为C ;所述特征点分布矩阵C中的元素 C[w] [h]为任一 子块swh内包含的特征点的数量； 步骤3. 3、定义所述特征点分布矩阵C的适应因子d为所述特征点分布矩阵C中所有元 素的平均值；将所述特征点分布矩阵C中的每一个元素减去所述适应因子d，从而获得适应 矩阵B ; 步骤3. 4、利用最大子矩阵和算法计算所述适应矩阵B的最大子矩阵，从而获得所述检 索图像E的特征富集区域If! 步骤3. 5、判断所述特征富集区域一 = l,2^s^中所包含的特征点的数量是否大 于所述特征点分布矩阵C中所有特征点数量的50 %;若大于，则获得所述检索图像E的特征 富集区域集合烈心=丨…否则,将所述特征富集区域< 加入所述特征富集区 域集合FSRe，并将所述特征富集区域^包含的特征点的数量置为0,并重复步骤3. 4执行； 步骤4、构建所述特征富集区域集合FSRe的特征向量集合F，所述特征向量集合F为所 述特征富集区域集合FSRe的形状特征集合、纹理特征集合和颜色特征集合； 步骤4. 1、通过二阶和三阶归一化中心矩构造七个Hu不变矩M1, M7，以所述七个Hu 不变矩M1, M7作为所述形状特征集合； 步骤4. 2、利用局部算子LBP对所述特征富集区域集合FSRe进行纹理特征提取，从而获 得直方图特征向量，以所述直方图特征向量作为所述纹理特征集合； 步骤4. 3、将所述检索图像E从RGB通道转换到HSV通道，从而获得色调分量H、亮度分 量V和饱和度分量S ; 统计所述色调分量H、亮度分量V和饱和度分量S的像素个数占所述特征富集区域集合 FSR中像素总数的比重，分别获得所述色调分量H、亮度分量V和饱和度分量S的直方图，以 所述直方图作为所述颜色特征集合； 步骤5、对存储在数据库中的候选图像集{Tt 11 = 1，2,…，M}中的每一幅候 选图像按照步骤1至步骤4进行计算，从而获得候选图像集的特征富集区域集合 FSR1; ={1^鳥1%…s 的特征向量并保存至数据库； 步骤6、采用高斯非线性距离度量所述检索图像E和候选图像集ITtIt = 1，2,…，M}中 每个候选图像的相似度： 步骤6. 1、将所述检索图像E的特征富集区域集合FSRe中特征富集区域的特征向量 表示为if …并计算所述特征向量值If的均值5和标准差q ; 步骤6. 2、利用式（4)对所述特征向量if进行归一化处理，获得归一化后的特征向量 F：E：
步骤6. 3、对所述特征富集区域集合FSRe中的每个特征富集区域以及所述候选图像集 的特征富集区域集合和V'#；[中的每个特征富集区域按照步骤6.1和步骤 6. 2执行，从而分别获得所述特征富集区域集合FSRe的特征向量集合F'E和所述特征富集区 域集合Hfj的特征向量集合 步骤6. 4、利用式（5)获得所述检索图像E的特征富集区域集合FSRe中第i个特征富 集区域<和候选图像集的特征富集区域集合中第j个特征富集区域@7之间的非线性 高斯距离D(i?f:
式（5)中，表示所述检索图像E的特征富集区域集合FSRe中第i个特征富集区域 ^的第U维特征向量；./;表示所述特征富集区域集合FS&中第j个特征富集区域的 第U维特征向量；I < i < Z，g为特征向量的维数；I < j < m ;m表示所述候选图像Tt的 特征富集区域总数； 步骤6. 5、利用式（6)获得所述第i个特征富集区域^的最小特征距离Ifcf，从而获得 所述检索图像E的最小特征距离集合DZSi =碑sfvfclvi/gh
式（6)表示所述第i个特征富集区域J?f与所述特征富集区域集合1中的每个特征 富集区域之间的非线性高斯距离的最小值； 步骤6. 6、利用式（7)获得所述第j个特征富集区域的最小特征距离ifcj%从而获得 所述候选图像Tt的最小特征距离集合D/f …rf/义}:
式（7)表示所述第j个特征富集区域if ?与检索图像E中所有的特征富集区域之间的 非线性高斯距离的最小值； 步骤6. 7、利用式⑶获得所述检索图像E与候选图像Tt的相似度D (E，Tt)，从而获得 所述检索图像E与所述候选图像集中每个候选图像的相似度构成的相似度集合：
步骤6. 8、对所述相似度集合进行升序排序，选取前J个相似度所对应的候选图像作为 图像检索结果。
2.根据权利要求1所述的基于特征富集区域集合的图像检索方法，其特征是，所述步 骤4. 2是按如下步骤进行： 步骤4. 2. 1、判断所述特征富集区域< 内任一像素点V的灰度值是否大于与其邻域内 的其他像素点的灰度值，若大于，则将邻域内的像素点标记为〇,否则标记为1，从而获得由 邻域内的像素点构成的一组二进制序列； 步骤4. 2. 2、将所述二进制序列转换为十进制值并作为所述像素点V的灰度值； 步骤4. 2. 3、遍历所述特征富集区域集合FSRe中的每一个特征富集区域中的每个像素 点，并按照步骤4. 2. 1和步骤4. 2. 2更新所述特征富集区域集合FSRe中的每个像素点的灰 度值，从而获得LBP特征富集区域集合; 步骤4. 2. 4、计算所述LBP特征富集区域集合中的每一个LBP特征富集区域的 直方图并进行量化，从而获得直方图特征向量集合。
【文档编号】G06F17/30GK104361096SQ201410670157
【公开日】2015年2月18日 申请日期:2014年11月20日 优先权日:2014年11月20日
【发明者】薛峰, 顾靖, 董浩, 贾伟, 罗月童 申请人:合肥工业大学