专利名称：：基于特定显著事物的自适应图像检索方法
技术领域：
：本发明涉及数字图像处理领域，特别涉及一种基于特定显著事物的自适应图像检索方法。
背景技术：
：目前，基于内容的图像检索技术(CBIR)是图像处理领域较有感兴趣的方向之一，大量的文献聚焦在对图像颜色、纹理的构建或是从DCT系数中提取阵列特征。例如:文献[I]利用DC和低频带AC系数中构建能量直方图；在0(^系数中，文献[2]和[3]近似计算像素的一介和二介距；文献[4]利用MPEG-7视觉描述子特征实现布局查询图像检索系统；还有文献[5]考虑图像的大小和主导颜色的分布情况等等，但是这些算法不能详细的描述图像的局部特征。然而尺度不变特征变换(SIFT)能够有效的描述图像的局部特征，并且具备旋转不变、尺度不变、仿射不变以及噪声不敏感等特性。因此SivicandZisserman把SIFT用在google视频方面，实现了基于内容的视频检索系统；Xu等人andLi等人[7,8]提出了利用SIFT检索图像的算法等等，但是这些算法存在在一个缺陷:两个关键点的欧式距离越短，它们的相似度测量越低。因此，需要一种改进的基于特定显著事物的自适应图像检索方法来至少部分地解决上述问题。本申请是基于以下多篇参考文献提出的:[I]J.A.LayandL.Guang，ImageretrievalbasedonenergyhistogramsofthelowfrequencyDCTcoefficients”，Proc.1CASSP，vol.6，pp.3009-3012，1999.[2]Z.Liu,S.Li,andH.Burkhardt,content-basedimageretrievalschemeinJPEGcompresseddomain”，Intl.J.1nnovativeComp.,Inf0.&Control,vol.2,pp.831-839，2006.[3]G.FengandJ.Jiang,vJPEGcompressedimageretrievalviastatisticalfeatures”，PatternRecognition，vol.36，2003，pp.977-985.[4]S.M.KimS.J.ParkandC.S.Won，“Retrievalimageviaquery-by-usingMPEG-7visualdescriptors”，ETRIJournal,vol.29(2)，2007，pp.246-248.[5].J.Y.ZhouandH.Peng，“AnimageretrievalmethodconsideringimagesizeinDCTcompresseddomain，，，JournalofJiamusiUniversity(NaturalScienceEdition)，vol.27(6)，2009，pp.797-800[6]J.SivicandA.Zisserman,VideoGoogle:ATextRetrievalApproachtoObjectMatchinginVideos，ICCV2003，pp.1470-1477.[7]W.M.Xu,J.Wu,X.H.Liu,LZhuandG.Shi,ApplicationofImageSIFTFeaturestoTheContextofCBIR，InternationalConferenceonComputerScienceandSoftwareEngineering，pp.552—555，2008.[8]R.H.Wu,S.Z.LiandF.M.Zou，ImageretrievalbasedonSIFTfeatures,ApplicationResearchofComputers,vol.25,pp.478-481,2008.[9]BinLi，XiangweiKong,ZheWangandHaiyanFu.SIFT-basedimageretrievalcombiningthedistancemeasureofglobalimageandsub-1mage.1nternationalConferenceonIntelligentInformationHidingandMultimediaSignalProcessing,pp.706-709，2009.
发明内容本文提出了一种基于特定显著事物的自适应图像检索算法。首先提取图像的颜色信息，同时我们对图像进行树形小波分解，利用我们提出的算法提取当前各级子图的能量分布以及子图具有尺度不变、仿射不变、旋转不变的特征点；然后由我的算法生成综合特征描述子。最后利用生成的综合特征描述子，与图像特征库中的综合特征描述子进行匹配，输出检索结果。在本文中，利用了粒子云相似度，其主要是得到该图像特征(其中一种)相对与图像库匹配的一种精度。在本文中，利用综合特征就是想弥补单一特征在图像匹配中的出现查全率以及查准率低的问题。用于生成综合特征描述矢量类似于图像的相关反馈。目的是问了提高首次检索的查全率和查准率。因此，在一个方面中，本发明提出了一种基于特定显著事物的自适应图像检索方法，包括:输入彩色图像；对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量；对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。在一个附加方面中，在所述再次匹配之后，将所述再次匹配的M个匹配率组成第二相似度矢量，重复所述产生综合特征描述子和所述再次匹配。在一个附加方面中，将所述彩色图像变换至HSV颜色空间，并针对HSV颜色空间的三个颜色分量分别执行直方图统计并进行直方图归一化。在一个附加方面中，所述小波分解采用haar小波。在一个附加方面中，所述小波分解优选地采用二级分解。在另一个方面中，提供了一种图像处理系统，包括:采集装置，用于采集实时图像数据；存储装置，用于存储图像数据；通信装置，将所述采集装置耦合到图像处理装置；所述图像处理装置被配置为对来自所述采集装置的实时彩色图像数据和来自存储装置的彩色图像数据执行如下处理:对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量；对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。在另一个方面中，提供了一种装置，包括:存储器，用于存储图像数据，所述图像数据包括彩色图像的图像数据；处理器，其耦合到所述存储器以便能够从所述存储器读取所述彩色图像的图像数据，其中，所述处理器被配置为:对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量；对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。在另一个方面中，提供了一种计算机程序产品，其包括存储有指令的计算机可读介质，所述指令当由处理器执行时，使得所述处理器执行如权利要求1所述的方法。在另一个方面中，提供了一种与上述方法对应的装置，包括:用于输入彩色图像的装置；用于对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量的装置；用于对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量的装置；用于针对所述小波分级的各级分解子图执行以下操作的装置:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；用于基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量的装置；用于基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配的装置。附图说明图1示出了根据本发明的一个实施例的图像处理系统；图2是示出根据本发明的基本原理的基于特定时间的自适应图像检索算法流程图；图3是根据本发明的一个方面的自适应显著特征描述流程图；图4是树型小波变换的示意图。图5是本发明所使用的自适应SIFT特征点提取的流程图；图6是根据本发明的高斯差分(DoG)极点检测的原理图；图7是根据本发明的稳定区域相邻梯度分布的示意图；图8是根据本发明的一个实施例的装置的方框图；图9A是根据本发明的一个实施例的方法的流程图；以及图9B是根据本发明的一个实施例的装置的方框图。具体实施例方式现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于:在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。图1示出了根据本发明的一个实施例的图像处理系统100。装置101为图像采集设备，用于依据现有技术中已知的任何图像采集技术来获取待处理的图像，所采集的图像可以经由通信装置直接传送给图像处理装置103，或者可以存储在存储装置105中以待后续处理。在本发明的一个实施例中，图像采集装置101直接在用户所访问的网页上获取与网页相关联的图像。由图像采集设备101所采集到的图像通过通信装置102以有线和/或无线的方式传送至图像处理装置103，该图像处理装置103对接收到的图像进行本发明所述的处理。但是应该理解，图像处理装置103还可以对输入图像进行其它各种处理，例如图像去噪、图像配准、模式识别等等。图像处理装置103可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。当用ASIC、FPGA等硬件电路来实现图像处理装置103时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。图像存储装置105可以耦合至图像采集设备101及/或图像处理装置103，以存储图像采集设备101所采集的原始数据及/或经过图像处理装置103处理后的输出图像。图2是示出根据本发明的基本原理的基于特定时间的自适应图像检索算法流程图。本文利用的是综合特征检索的方法，我们首先提取图像的颜色信息；同时我们还对图像进行树形小波分解，根据子图像的能量是否满足某个阈值来判断是否进行下级分解和SIFT提取；其次保存当前各级子图的能量分布以及子图具有尺度不变、仿射不变、旋转不变的特征点；然后由颜色特征矢量、能量归一化矢量和粒子云相似度矢量生成自适应的图像综合特征描述子。最后利用生成的综合特征描述子，与图像特征库中的综合特征描述子进行匹配，输出检索结果。首先进行颜色特征提取，由于颜色特征也是图像的基本特征，并且颜色特征是图像检索中应用最为广泛的视觉特征，与其他视觉特征相比，颜色特征对图像本身的尺寸、方向和视角的依赖性比较小，本文提取的图像的颜色直方图。在一个优选实施例中，可以将彩色图像变换至HSV空间中，并针对HSV空间的三个颜色分量分别执行直方图统计并进行直方图归一化。本领域技术人员容易理解，该直方图统计即针对各个颜色分量分别统计不同颜色强度所占的比重，类似于求灰度直方图法。其次，针对彩色图像的灰度图像执行以下处理，其中，本领域技术人员容易理解，所述灰度图像可以是HSV空间中的亮度分量(V)，也可以是其他颜色空间中的亮度分量。首先，对灰度图像执行树形小波分解，并基于小波分解后的各级子图执行图2所述的多尺度图像能量和各级SIFT描述子的确定。在本发明中使用了haar小波变换。图3是根据本发明的一个方面的自适应显著特征描述流程图。由于树形小波变换能够更加精细的分析图像的高频信息，并且能够很好的体现图像能量的分布，因此本文采取对图像进行树形小波分解，经过大量实验证明，本文采取对图像进行二级树形小波分解，已达到最优效果，从而提高了计算时间开销和存储开销，如图4所示的步骤如下:(i)对灰度图像f(x，y)进行小波变换分解，分为4个子图像。(ii)对于每个子图像根据能量计算公式(I)权利要求1.一种方法，包括:输入彩色图像；对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量;对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。2.如权利要求1所述的方法，其中，在所述再次匹配之后，将所述再次匹配的M个匹配率组成第二相似度矢量，重复所述产生综合特征描述子和所述再次匹配。3.如权利要求1所述的方法，其中，将所述彩色图像变换至HSV颜色空间，并针对HSV颜色空间的三个颜色分量分别执行直方图统计并进行直方图归一化。4.如权利要求1所述的方法，其中，所述小波分解采用haar小波。5.如权利要求1所述的方法，其中，所述小波分解优选地采用二级分解。6.—种图像处理系统包括:采集装置，用于采集实时图像数据；存储装置，用于存储图像数据；通信装置，将所述采集装置耦合到图像处理装置；所述图像处理装置被配置为对来自所述采集装置的实时彩色图像数据和来自存储装置的彩色图像数据执行如下处理:对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量;对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。7.一种装置，包括存储器，用于存储图像数据，所述图像数据包括彩色图像的图像数据；处理器，其耦合到所述存储器以便能够从所述存储器读取所述彩色图像的图像数据，其中，所述处理器被配置为:对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量;对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量；针对所述小波分级的各级分解子图:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量；基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配。8.一种计算机程序产品，其包括存储有指令的计算机可读介质，所述指令当由处理器执行时，使得所述处理器执行如权利要求1所述的方法。9.一种装置，包括:用于输入彩色图像的装置；用于对所述彩色图像执行直方图统计和直方图归一化，从而得到所述彩色图像的颜色特征向量的装置；用于对于所述彩色图像的对应灰度图像执行小波分解，并针对所述小波分解的各级分解计算归一化的能量矢量的装置；用于针对所述小波分级的各级分解子图执行以下操作的装置:利用高斯差分(DoG)生成高斯差分尺度空间，在所述DoG尺度空间中进行极点检测以得到多个特征候选点，通过检测主曲率是否小于阈值，来在所述多个特征候选点中删除伪边缘点，从而得到稳定的关键点，利用关键点邻域像素的梯度方向直方图为每个关键点指定方向参数，利用尺度不变特征变换(SIFT)描述子对每一个关键点进行描述，从而生成SIFT描述算子矢量；用于基于所述SIFT描述算子矢量，将所述彩色图像与图像库中的M(M>I)个图像进行匹配，并将对应的M个匹配率组成相似度矢量的装置；用于基于所述颜色特征向量、所述归一化的能量矢量、所述SIFT描述算子矢量以及所述相似度矢量来产生综合特征描述子，以便基于所述综合特征描述子与所述图像库中的所述M个图像进行再次匹配的装置。10.如权利要求9所述的装置，其中，在所述再次匹配之后，将所述再次匹配的M个匹配率组成第二相似度矢量，重复所述产生综合特征描述子和所述再次匹配。全文摘要一种基于特定显著事物的自适应图像检索方法。首先提取图像的颜色信息，同时我们对图像进行树形小波分解，利用我们提出的算法提取当前各级子图的能量分布以及子图具有尺度不变、仿射不变、旋转不变的特征点；然后由颜色特征矢量、能量归一化矢量和粒子云相似度矢量生成既有全局信息又有局部信息的图像综合特征描述子。最后利用生成的综合特征描述子，与图像特征库中的综合特征描述子进行匹配，输出检索结果。文档编号G06F17/30GK103218456SQ20131016973公开日2013年7月24日申请日期2013年5月10日优先权日2013年5月10日发明者张萌萌,白慧慧,李泽明申请人:北方工业大学