专利名称：图像检索方法、装置及系统的制作方法
技术领域：
本发明涉及数据检索领域，尤其涉及一种图像检索方法、装置及系统。
背景技术：
近年来，随着因特网技术的飞速发展以及数码设备的快速普及，网络上的图像已达到千亿规模，并一直呈指数规模的增长。面对如此海量的图像数据，如何进行有效管理， 以方便用户能够便捷的找到感兴趣的图像，即图像检索，是一个非常有实际意义同时也是非常有挑战性的工作。图像检索中，一个研究的热点是部分复制图像检索。部分复制图像一般是由于用户从原图中裁剪出一块然后粘贴到另外一个图像中，或者是对原图加入一些文字的修改，或者对原图进行简单的投影变换。基于部分复制图像检索，在网络多媒体领域具有广泛的应用前景。部分复制图像检索，即从一个海量的图像数据库中找到和查询图像有非常相似的的图像区域块。目前解决这一问题的最好方法就是基于视觉单词码本的方法，视觉单词码本一般是通过对训练图像中采样得到的大量的局部特征，如SIFT(Scale Invariant Feature Transform，尺度不变特征转换特征)、SURF (Speeded Up Robust Feature，快速鲁棒性特征)，进行聚类得到。训练图像可以是图像数据库中的一个图像子集，也可以是一组不相关的图像。得到视觉单词码本之后，可以对图像数据库中的一张新的图像提取出若干局部特征，并将局部特征量化为视觉单词，从而将一个图像表示为一个高维的视觉单词矢量，然后，查询图像和匹配图像之间的匹配比较便转化为高维视觉单词矢量间的匹配比较。 如果两个图像各有一个局部特征被量化为同一个视觉单词，则这两个局部特征构成一对匹配局部特征。如果两个图像没有任何一对局部特征构成匹配，则这两个图像被认为是完全不相关的。现有技术中，一种基于完全几何检验的图像匹配检索的基本思想如下通过局部特征量化，得到查询图像和匹配图像之间的初步匹配结果，如果两个图像确实相关，那么他们的部分复制的图像块中必定有一些共有的局部特征构成相应的正确匹配。这些正确的局部匹配之间必定满足某个仿射变换，而那些剩下的错误的匹配则不满足这个仿射变换。基于这个前提假设，完全几何检验采用随机抽样一致性方法，随机采样若干对匹配局部特征， 用于估计仿射变换；然后查看其它的匹配局部特征与所述仿射变换的符合程度，并记录符合该仿射变换的匹配的数目。当随即采样数目足够多时，匹配数目最多的那个仿射变换则可能对应着正确的仿射变换。设查询图像中有一个特征点匹配上了匹配图像中的一个特征点4，1和4在图像中的坐标分别是(u, ν)和(x，y)。则他们之间的仿射变换可以表示如式(1)
权利要求
1.一种图像检索方法，其特征在于，包括提取查询图像的局部特征，并将所述局部特征量化为视觉单词； 使用所述视觉单词查询图像数据库中预设的视觉单词倒排表，得到匹配局部特征对和匹配图像；对查询图像中匹配局部特征之间的相对空间位置进行空间编码，得到查询图像空间码图，对匹配图像中匹配局部特征之间的相对空间位置进行空间编码，得到匹配图像空间码图；对所述查询图像空间码图和匹配图像空间码图中匹配局部特征对的空间坐标位置执行空间一致性检验，获取符合空间一致性的匹配局部特征对的数目；根据不同匹配图像包含的符合空间一致性的匹配局部特征的数目，计算该匹配图像和查询图像间的相似度，并按照所述相似度大小返回匹配图像。
2.根据权利要求1所述的方法，其特征在于，还包括从训练图像中提取局部特征，对所述局部特征进行聚类，确定每个聚类的中心为一个视觉单词。
3.根据权利要求1所述的方法，其特征在于，还包括提取图像数据库中图像的局部特征，将所述局部特征量化为视觉单词； 建立所述视觉单词与所述图像数据库中的图像的关联，得到视觉单词倒排表。
4.根据权利要求1所述的方法，其特征在于，所述使用所述视觉单词查询图像数据库中预设的视觉单词倒排表，包括使用视觉单词查找图像数据库中预设的视觉单词倒排表，确定包含该视觉单词的图像数据库中的所有相关图像为所述查询图像的匹配图像；建立起查询图像和匹配图像间的局部特征间的匹配关系。
5.根据权利要求1所述的方法，其特征在于，对匹配局部特征之间的相对空间位置进行空间编码，具体包括描述两个匹配局部特征的水平方向的相对位置关系，得到水平方向空间码图； 描述两个匹配局部特征的垂直方向的相对位置关系，得到垂直方向空间码图。
6.根据权利要求5所述的方法，其特征在于 将图像水平方向空间码图记为X-map，则
7.根据权利要求1所述的方法，其特征在于，对匹配局部特征的相对空间位置进行空间编码之前，还包括分别以每个匹配局部特征为参考，将其在图像中的位置视为参考原点，将匹配局部特征所在的图像划分为四个象限；将每一个象限均勻划分为多个扇形区域，并确定其它匹配局部特征相对于参考原点所位于的象限和扇形区域；对每个匹配局部特征的空间坐标位置关于参考原点进行旋转，得到该匹配局部特征新的空间坐标位置；根据匹配局部特征新的空间坐标位置，得到其与所述参考原点的相对空间位置。
8.根据权利要求7所述的方法，其特征在于对每个匹配局部特征的空间坐标位置关于参考原点进行旋转，得到该匹配局部特征新的空间坐标位置，具体包括对图像中包含的匹配局部特征的空间坐标位置(Xi，id关于参考原点逆时针旋转
9.根据权利要求1所述的方法，其特征在于对所述查询图像空间码图和匹配图像空间码图中匹配局部特征执行空间一致性检验， 具体包括对所述查询图像空间码图和匹配图像空间码图中匹配局部特征对的空间坐标位置执行异或操作；所述获取符合空间一致性的匹配局部特征对的数目，具体包括确定并删除所有不符合空间一致性的匹配局部特征对；确定剩余的匹配局部特征对数目为符合空间一致性的匹配局部特征对的数目。
10.根据权利要求9所述的方法，其特征在于具体按照下方式所示，对匹配局部特征对的空间坐标位置执行异或操作
11.根据权利要求1所述的方法，其特征在于，具体按照下式所示，计算匹配图像和查询图像间的相似度若查询图像q和匹配图像P经过查询后，有a对匹配局部特征，其中b对匹配局部特征通过了空间一致性检验，则查询图像q和匹配图像P的相似度，S (p, q)如下式所示α Nmax ,其中Ν(ρ)表示匹配图像ρ中局部特征总数目，Nmax表示图像数据库中图像所可能含有的最多局部特征数目。
12.—种图像检索装置，其特征在于，包括第一特征提取模块，用于提取待查询图像的局部特征；第一特征量化模块，用于将所述局部特征量化为视觉单词；查询模块，用于使用所述视觉单词查询图像数据库中预设的视觉单词倒排表，得到匹配局部特征对和匹配图像；空间编码模块，用于对查询图像中匹配局部特征之间的相对空间位置进行空间编码， 得到查询图像空间码图，并对匹配图像中匹配局部特征之间的相对空间位置进行空间编码，得到匹配图像空间码图；空间一致性检验模块，用于对所述查询图像空间码图和匹配图像空间码图中匹配局部特征对的空间坐标位置执行空间一致性检验，以获取符合空间一致性的匹配局部特征对的数目；检索结果返回模块，用于根据不同匹配图像的符合空间一致性的匹配局部特征对的数目，计算该匹配图像和查询图像间的相似度，按照所述相似度大小，返回匹配图像。
13.根据权利要求12所述的装置，其特征在于，还包括视觉单词生成模块，用于从训练图像中提取局部特征，对所述局部特征进行聚类，确定每个聚类的中心为一个视觉单词。
14.根据权利要求12所述的装置，其特征在于，还包括第二特征提取模块，用于提取图像数据库中图像的局部特征； 第二特征量化模块，用于将从图像数据库的图像中提取的局部特征量化为视觉单词； 倒排表建立模块，用于建立所述视觉单词与所述图像数据库中的图像的关联，得到视觉单词倒排表。
15.根据权利要求12所述的装置，其特征在于，所述空间编码模块，具体包括第一编码单元，用于描述两个匹配局部特征的水平方向的相对位置关系，得到水平方向空间码图；第二编码单元，用于描述两个匹配局部特征的垂直方向的相对位置关系，得到垂直方向空间码图。
16.根据权利要求15所述的装置，其特征在于所述第一编码单元，具体通过下式编码得到水平方向空间码图
17.根据权利要求12所述的装置，其特征在于，还包括区域划分模块，用于将匹配局部特征所在的图像以某个匹配特征位置为参考原点划分为四个象限，并将每一个象限划分为多个扇形区域；坐标确定模块，用于对每个匹配局部特征所在的空间坐标位置关于参考原点进行旋转，得到该匹配局部特征新的空间坐标位置；空间位置确定模块，用于根据匹配局部特征新的空间坐标位置，得到其与所述参考原点的相对空间位置。
18.根据权利要求17所述的装置，其特征在于所述坐标确定模块，用于确定各个匹配局部特征在基于参考原点划分的图像中所位于的象限和扇形区域，具体通过如下方式确定关于参考原点旋转后的匹配局部特征新的空间坐标位置对图像中包含的匹配局部特征的空间坐标位置(Xi，Yi)关于参考原点逆时针旋转θ =K.π/2 · r(k = 0，1，... ,r-1)度，得到该匹配局部特征新的空间坐标位置(Xi1Syi1O下式所示
19.根据权利要求12所述的装置，其特征在于，所述空间一致性检验模块，具体包括 异或运算单元，用于对所述查询图像空间码图和匹配图像空间码图执行异或操作； 错误匹配删除单元，用于确定并删除所有错误的匹配特征对；匹配数目确定单元，用于确定剩余的匹配局部特征对数目为符合空间一致性的匹配局部特征对的数目。
20.根据权利要求19所述的装置，其特征在于所述异或运算单元，具体按照下式所示，对匹配局部特征对的空间码图执行异或操作
21.根据权利要求12所述的装置，其特征在于，所述检索结果返回模块，具体包括相似度计算单元，用于根据符合空间一致性的匹配特征对的数目，以及匹配图像和查询图像中各自所包含的局部特征的数目，计算匹配图像和查询图像间的相似度；匹配图像返回单元，用于根据所述相似度大小排序所述匹配图像，并按照所述排序返回所述匹配图像。
22.根据权利要求21所述的装置，其特征在于所述相似度计算单元，具体采用如下方式计算匹配图像和查询图像间的相似度 若查询图像q和匹配图像P经过查询后，有a对匹配局部特征，其中b对匹配局部特征通过了空间一致性检验，则查询图像q和匹配图像P的相似度，S (p, q)如下式所示
23.一种图像检索系统，其特征在于，包括权利要求12至22任意一项所述的图像检索装置； 图像数据库，用于存储供检索匹配的图像。
24.根据权利要求23所述的图像检索系统，其特征在与，还包括图像获取模块，用于从网络上获取新的图像，并存储到所述图像数据库中； 倒排表更新模块，用于获取所述新的图像中包含的视觉字典对应的倒排表，并更新所述倒排表中关联的图像。
全文摘要
本发明公开了一种图像检索方法、装置及系统。该方法包括提取查询图像的局部特征，将所述局部特征量化为视觉单词；使用所述视觉单词查询图像数据库中预设的视觉单词倒排表，得到匹配局部特征对和匹配图像；分别对查询图像和匹配图像中的匹配局部特征之间的相对空间位置进行空间编码，得到查询图像空间码图和匹配图像空间码图；对所述查询图像空间码图和匹配图像空间码图执行空间一致性校验，进而获取符合空间一致性的匹配局部特征对的数目；根据不同匹配图像的符合空间一致性的匹配局部特征对的数目，按照匹配图像的相似度返回匹配图像。本发明提供的方法可以提高图像检索准确度和检索效率，减低检索耗时。
文档编号G06F17/30GK102368237SQ20101051478
公开日2012年3月7日 申请日期2010年10月18日 优先权日2010年10月18日
发明者卢亦娟, 周文罡, 李厚强, 田奇 申请人:中国科学技术大学