专利名称：基于智能计算的多粒度图像检索方法
技术领域：
本发明涉及一种基于智能计算的多粒度图像检索方法，属于图像处理、模式识别、 人工智能、检索技术和数据库等多个技术领域。
背景技术：
人类对物质世界的感知过程中，大部分的信息来源于视觉图像。图像作为一种重 要的信息载体，具有形象直观、内容丰富等特点。如果没有对图像及视频数据的自动和有效 的描述，大量信息将淹没在信息的海洋之中，无法在需要时被检索出来。因此，如何快速有 效地存储，浏览，检索图像信息成为目前迫切需要解决的问题。由于图像不同于文本，文本 本身就可以说明其内容，而图像则要靠人们各自的理解来说明其含义，因而图像检索比起 文本要困难很多，图像检索的研究也成为信息检索领域的研究热点。基于内容的图像检索 技术(Content-Based Image Retrieval,CBIR)也就应运而生，涉及计算机视觉、图像处理、 图像理解、人工智能、机器学习、统计学、数据库及心理学等众多领域的技术，是具有广阔发 展前途的研究方向，而且CBIR技术的研究必将推动相关领域技术的发展。哥伦比亚大学和 麻省理工大学分别研制出了图像检索系统VisualSEEK和photobook，IBM也研制了一个典 型的图像管理系统QBIC。我国的数字图书馆工程现阶段只是解决了信息的数字化、数据的 压缩与存储、中文全文检索系统平台和搜索引擎问题。基于内容的图像检索技术的基本思想是根据图像所包含的颜色、纹理、形状及对 象的空间关系等信息，建立图像的特征矢量，这样一幅图像可以用一个高维特征向量来表 示，然后可以根据图像的多维特征矢量进行相似性匹配。由于目前图像认知的局限性，提取 的视觉特征与人的理解仍然有很大距离，也就是计算机所能识别的图像低层内容特征并不 能有效地描述人类对图像的高层语义的认知。而且，随着应用越来越复杂，特征比较单一的 分析方法越发显示出其局域性。这些已有的图像检索方法只能对图像进行简单分析，提取 一些低层次的特征，如颜色、纹理、形状等。这些方法基本上都是针对图像的某一特征的某 一侧面进行分析和考虑的，并没有全面有效地利用图像自身所提供的全部信息，而要实现 有效的图像检索需要更高层次、全面的、不同角度的内容特征，这也符合人类对事物的认识 过程。为了全面有效的反应图像的自身信息进而达到理想的图像检索效果，本发明专利 将智能计算理论引入到图像检索领域，提出了基于内容的多粒度图像检索技术；提出了可 用于图像检索领域的多目标粒子群优化算法、微分进化算法、模糊神经网络等优化技术。
发明内容
本发明需要解决的问题是应用智能计算计算理论，研究多粒度下的基于内容的图 像检索，从而提出一种能有效地提高系统的查全率和查准率的图像检索方法。本发明的结 构示意图见图1。智能计算理论是从若干个不同的侧面来获得目标事物的信息，再将所获得的信息经过一定的逻辑或者丰富的想象综合起来得到完整的概念。目前已有的图像检索算法基本 上都是针对图像的某一特征的某一侧面进行分析和考虑的，并没有全面有效的利用图像自 身所提供的所有信息。本发明对图像进行合理的多粒度划分，针对图像在不同粒度下的表 现得到不同粒度下的特征，获得不同的粒度表现，然后根据智能计算理论对已得到的不同 特征进行综合处理，进而以合成后的属性函数来完成图像检索。主要包括图像的多粒度划 分；图像多粒度特征的选取；智能计算理论下多粒度特征的合成；多粒度特征合成中的智 能自适应参数优化；构建智能化的自适应的图像检索系统。与采用单一属性特征的图像检 索方法相比，基于智能计算理论的图像检索方法能够更大程度上的利用图像自身所提供的 信息，实现图像内容的全面表达。
图1为本发明的流程图。具体实施方法1.图像的多粒度划分对一个图像处理问题可以用(X，f，Τ)这样一个三元组来表示。当(X，f，Τ)和一 个等价关系R给定之后，可以得到(X，f，T)对应于等价关系R的粒度表示([X]，[f]，[T])， 其中R对应于一定的粒度。也就是，对于图像检索问题而言，在某个粒度下，如果X为图像 中的像素，T为像素间的相似关系结构，f为图像在该粒度下的特征属性函数，则图像在该 特征粒度下对应的粒度表现为([X]，[f]，[Τ])。其定义如下[X]定义[X]为对应于等价关系R的商集。[Τ]设 T 是拓扑，则定义商拓扑[T] =(U)p-1 (u) e T,U e [X]},p :X — [X]是自然投影。[f]设属性函数 f:X —Y，定义[f] :[X] — Y。2.图像多粒度特征的选取在图像检索领域中，粒度的选择和等价关系的构造关键在于对属性函数f取不同 的粒度来实现颗粒化，即图像的特征提取算法的设计和选择。本发明针对图像检索的实际 应用问题，提出不同粒度空间下的特征提取算法。(1)针对图像的局部颜色粒度空间，提出在子块分割和区域划分的基础上，利用快 速离散余弦变换(DCT)和特殊奇异值分解(SVD)对图像进行特征提取的算法。(2)针对图像自相似粒度，提出图像的自相似特征提取算法，并构造该粒度下的等 价关系。其具体做法为①值域块和定义域块的划分以大小为MXNX3的RGB彩色图像P为例.首先对彩色图像P进行值域块的划 分，将其分割成η个互不相交的值域块风KL1, η = (MXN)/(LXL)，每个值域块的大小为
LXLX3，则图像户= 代,且Ri η Rj= φ,i≠j.再将图像P划分为大小相同的可以相互交 /=1
错的定义域块{AHm = (M-L+l) (N-L+1)，其大小也为LXLX3.②自相似特征编码对于任意值域块Ri,在所有的定义域块中寻找除自身以外与其最相似的定义域块Dj.这种映射关系用一个三元组(AXi，Ayi, ni)标记，其中(Axi，Ayi)为Dj相对于Ri的 左上角相对坐标，Hi为旋转、反射变换的编号.设值域块Ri中各像素点的RGB分量分别为& = (rrl,rr2, -rrk)T,rg = (rgl，rg2，… rgk)T, rb = (rbl，rb2，"^Jt，定义域块Dj中各像素点的RGB分量分别为dr = (drl, dr2,… drk)T，dg = (dgl，dg2，-dgk)T, db = (dbl, db2, .··(! /，定义评测指标 E 为E (Ri, Dj) = Il dr-rr Il ^ Il dg-rg Il ^ Il db-rb Il ！其中Il · Il 向量的1-范数.这里对Ri和Dj的操作都是三维的，即对于子块的 RGB分量看作一个整体同时进行操作。对于每个Ri根据评测指标E搜索具有最小E值的定 义域块Dj，这样就得到了彩色图像P的自相似特征编码，记为{ ,}!,，COi = (Axi, AyijHi), 这将作为对彩色图像P进行自相似特征提取的依据。③中心扩散算法块匹配的计算量是惊人的，对于每一个值域块Ri,其要进行的定义域块的匹配次 数为m，则η个值域块的匹配次数为mXn次.对于一幅256X256的图像来说，若取L = 4， 则要完成的匹配次数为262180864.对于传统的灰度图像分形编码来说，图像中的许多子 块具有“近距自相似性”，据此，对于彩色图像和本文提出的自相似特征编码方法，提出中心 扩散算法来减少计算量。中心扩散算法能够在保证一定匹配误差的基础上使匹配速度得到 显著提高。与局部搜索不同的是，当全图中没有满足误差条件的匹配块时，算法返回的是具 有最小误差的匹配块，即最优匹配块，而对于满足误差条件的D块，则在宽泛的误差下完成 匹配，这对检索效果几乎没有影响。④基于自相似特征编码的特征提取本发明提出对自相似特征编码进行特殊奇异值分解(SVD)来提取特征向量的方 法，对图像P按照如下算法进行特征向量的提取(a)将图像P 的自相似特征编码泣= KK^n= (MXN)/(LXL), ω = (Axyi, Ayi, Hi)中的Axi，Ayi分量按照R块的划分方法分别组成矩阵X，Y;(b)对X，Y分别进行奇异值分解得到奇异值向量Cx，Cy,并将Cx，Cy首尾相接组成 特征向量[…,crc丨”,cf，…,Cf，其中⑶为奇异值向量Cx的第k个分量，k = 1,2,…，L，C )同理。3.智能计算属性合成最优准则函数的设计对于已获得的不同粒度下的属性函数，要结合图像检索问题本身进行最优准则函 数的设计和选择，属性函数合成必须满足如下合成原则设已知(X1, f\，T1)和(X2, f2，T2)，求其合成粒度(X3, f3，T3)，即要求属性函数满足 如下条件 Pif3 = 4，i = 1，2Pi (X3, f3, T3) — (Xi, fi Ti)是投影，i = 1，2 ；②设D (f，fi; f2)是某一给定的最优判别准则，则有D(f3, f1 f2) = minD(f, f1 f2)或=maxD(f，f\，f2)其中min(max)是对一切满足上式的X3上的一切属性函数f取的。对于更一般的情况，即所得信息有误差的情况，令Yi是Xi上一切属性函数组成的函数空间，并设Yi上有一距离Cli，使(Ypdi)是一距离空间，i = 1，2，3，则D(f3, f1 f2) = minD(f, f1 f2)= min ((I1 (P1Ff1) 2+d2 (p2f-f2)2)其中min是对Y3上一切函数f取的。4.采用多目标优化算法对多粒度表现进行参数优化在获得图像不同粒度下的表现后，如何构造并优化参数使最优准则函数达到最 优，最终将归结为多目标优化问题。本发明针对多粒度下的不同表现，提出粒子群多目标优 化算法、微分进化算法，将多个粒度表示作为目标进行参数优化，充分发挥不同粒度下的最 大优势，在最大程度上体现图像的内容特征，以实现更优的图像检索效果。5.多粒度特征的最优化整合利用模糊神经网络对多粒度特征描述进行最优化整合，不同的特征整合方法将在 不同场景发挥各自的优势，根据各种不同场景的需求，利用模糊神经网络对多粒度特征描 述进行最优化整合，是实现最终检索结果的重要环节，需要根据不同的场景优化不同的参 数，从而达到最优的检索效果。本发明将个体多粒度特征的模糊空间划分及其生成的模糊 规则库转换成等价的神经网络形式。本发明从解释性角度出发，选择包含变量选择的网格 划分方法进行输入输出模糊空间划分，同时将改进的Mamdani模糊推理法即广义模糊加权 推理法转换成等价的神经网络形式。两者通过模糊规则生成策略构建的初始模糊系统是一 个新颖的模型，为模糊系统精确性和解释性折中问题的研究搭建了一个很好的平台。
权利要求
基于智能计算的多粒度图像检索方法，包括如下步骤步骤1对图像进行多粒度划分步骤2图像多粒度特征的选取步骤3设计多粒度属性合成中的最优准则函数步骤4采用多目标优化算法对多粒度进行参数优化步骤5利用模糊神经网络对多粒度特征进行描述进行最优化整合
2.根据权利要求1所述的基于智能计算的多粒度图像检索方法，其特征在于将粒计 算应用于图像检索领域，全面有效地更大程度上的利用图像自身所提供的信息，实现有效 的图像检索需要更高层次、全面的、不同角度的内容特征，完成图像内容的全面表达，进而 达到理想的图像检索效果。
3.根据权利要求1所述的不同粒度下的特征提取算法，其特征如下针对图像的局部 颜色粒度，提出在子块分割和区域划分的基础上，利用快速离散余弦变换(DCT)和特殊奇 异值分解(SVD)对图像进行特征提取的算法，从而构造该粒度下的等价关系；针对图像自相似粒度表现，提出图像的自相似特征提取算法，并构造该粒度下的等价 关系，其具体做法是步骤一值域块和定义域块的划分，以大小为MXNX3的RGB彩色图像P为例.首先 对彩色图像P进行值域块的划分，将其分割成η个互不相交的值域块怵KL1,η = (MXN)/(LXL)，每个值域块的大小为LXLX3，贝丨J图像尸= 代,且Ri η Rj = Φ , i ^ j.再将图j=l J像P划分为大小相同的可以相互交错的定义域块{A，m = (M-L+l) (N-L+1)，其大小也为 LXLX3；步骤二 自相似特征编码对于任意值域块Ri,在所有的定义域块中寻找除自身以外 与其最相似的定义域块Dj.这种映射关系用一个三元组(AXi，Ayi, η,)标记，其中(AXi， Ayi)为Dj相对于Ri的左上角相对坐标，Hi为旋转、反射变换的编号.设值域块Ri中各像素点的RGB分量分别为& = (rrl, rr2, -rrk)T, rg = (rgl，rg2,… rgk)T, rb = (rbl，rb2，"^Jt，定义域块Dj中各像素点的RGB分量分别为dr = (drl, dr2,… drk)T，dg = (dgl，dg2，-dgk)T, db = (dbl, db2, .··(! /，定义评测指标 E 为E (Ri, Dj) = Il dr-rr Il ^ Il dg-rg Il ^ Il db-rb Il !其中Il · Il1为向量的1-范数.这里对Di和A的操作都是三维的，即对于子块的RGB 分量看作一个整体同时进行操作。对于每个Ri根据评测指标E搜索具有最小E值的定义 域块Dj，这样就得到了彩色图像P的自相似特征编码，记为^KL1，ω i = ( Δ Xi，Δ yi，ni)，这 将作为对彩色图像P进行自相似特征提取的依据；步骤三中心扩散算法块匹配的计算量是惊人的，对于每一个值域块Ri,其要进行的 定义域块的匹配次数为m，则η个值域块的匹配次数为mXn次.对于一幅256X256的图 像来说，若取L = 4，则要完成的匹配次数为262180864.对于传统的灰度图像分形编码来 说，图像中的许多子块具有“近距自相似性”，据此，对于彩色图像和本文提出的自相似特征 编码方法，提出中心扩散算法来减少计算量。中心扩散算法能够在保证一定匹配误差的基 础上使匹配速度得到显著提高。与局部搜索不同的是，当全图中没有满足误差条件的匹配 块时，算法返回的是具有最小误差的匹配块，即最优匹配块，而对于满足误差条件的D块，则在宽泛的误差下完成匹配，这对检索效果几乎没有影响；步骤四基于自相似特征编码的特征提取本发明提出对自相似特征编码进行奇异值 分解(SVD)来提取特征向量的方法，对图像P按照如下算法进行特征向量的提取(a)将图像P 的自相似特征编码CT = 二，η = (MXN)/(LXL), ω, = (Axi, AyijHi) 中的Axi，Ayi分量按照R块的划分方法分别组成矩阵X，Y;(b)对X，Y分别进行奇异值分解得到奇异值向量Cx，Cy，并将Cx，Cy首尾相接组成 特征向量(，其中C 为奇异值向量Cx的第k个分量， * = 1,2，…,1，邙>同理。使用这些特征向量作为图像的自相似特征，得到图像的自相似特征 粒度。
4.根据权利要求1所述的多利多属性合成中的最优准则函数，其特征在于对于已获 得的不同粒度的属性函数，要结合图像检索问题本身进行最优准则函数的设计和选择，属 性函数合成必须满足如下合成原则设已知(X1, T1)和(X2, f2，T2)，求其合成粒度(X3, f3，T3)，即要求属性函数满足如下 条件① Pif3 = i = 1,2Pi (X3, f3，T3) — (Xi，Ti)是投影，i = 1,2 ； ②设D(f，fi; f2)是某一给定的最优判别准则，则有 D(f3, f1 f2) = minD(f, f1 f2) 或=maxD(f, f1 f2)其中min(max)是对一切满足上式的X3上的一切属性函数f取的。 对于更一般的情况，即所得信息有误差的情况，令Yi是Xi上一切属性函数组成的函数 空间，并设Yi上有一距离Cli，使(Ypdi)是一距离空间，i = 1，2，3，则 D(f3, f1 f2) = minD(f, f1 f2)=minWi (P1H1)^d2 (p2f-f2)2) 其中min是对Y3上一切函数f取的。
5.根据权利要求1所述的采用多目标优化算法对多粒度进行参数优化，其特征在于 采用了粒子群多目标优化算法、微分进化算法，将多个粒度作为多目标进行参数优化，充分 发挥不同粒度下的最大优势，在最大程度上体现图像的内容特点，以实现更优的图像检索 效果。
6.根据权利要求5所述的多粒度特征描述的最优化整合，其特征在于从解释性角度 出发，选择包含变量选择的网格划分法进行输入输出模糊空间划分，同时改进的Mamdani 模糊推论法即广义模糊加权推论法转换成等价的神经网络形式。
全文摘要
本发明涉及一种基于智能计算的多粒度图像检索方法，属于图像处理、模式识别、人工智能、检索技术和数据库等多个技术领域。本发明对图像进行合理的多粒度划分，针对图像在不同粒度下的表现得到不同粒度下的特征，获得不同的粒度表现，然后应用智能计算理论对已得到的不同特征进行综合处理，进而以合成后的属性函数来完成图像检索。主要包括图像的多粒度划分；图像多粒度特征的选取；智能计算下多粒度特征的合成；多粒度特征合成中的智能自适应参数优化；构建智能化的自适应的图像检索系统。与采用单一属性特征的图像检索方法相比，基于智能计算多粒度合成的图像检索方法能够更大程度上的利用图像自身所提供的信息，实现图像内容的全面表达。
文档编号G06N3/02GK101930452SQ20101021613
公开日2010年12月29日 申请日期2010年7月2日 优先权日2010年7月2日
发明者周春光, 张利彪, 许相莉 申请人:吉林大学