专利名称：基于关键词和内容特征的混合图片索引构建和查询方法及其应用的制作方法
技术领域：
本发明属于信息检索技术的图片检索领域，更具体的涉及了一种基于关键词和内容的混合图片索引构建和査询方法及其应用。
背景技术：
当今随着网络的迅速普及，数码照相的广泛应用，互联网上图片的数量已呈爆炸式增长的趋势。在航天探索、生物医学、制药等领域也常常有大量的图片需要处理。在这样数量极其繁多的图片中如何能够快速准确的査找、定位所需的图片就成为亟待解决的问题。
传统的图片检索借用了在文献检索中经常被使用的基于关键词的技术。该技术对于图片的文件名和文字说明进行关键词的提取和分析，建立关键词索引，以便通过关键词査询找到相应的图片。现有技术中主流图片搜索引擎，如，谷歌(Google),百度等均是采用这项技术。这种技术实现起来比较简单，即通过关键词的逻辑模式匹配得到查询结果，该方法可以比较快速的完成用户的査询需求。但是，这种方法的弊端也是显而易见的。如图片文件的名称或者文字说明与图片所描绘的内容没有直接、必然的联系。通过这种方法査询得到的图片经常与用户的需求存在有一定的差距，即查询结果与用户需求相关度比较低。
为了克服传统的基于关键词的图片检索的不足之处，兴起于上世纪90年代的基于内容的图片检索逐渐为人们所重视。该基于内容的图片检索不是采用图片的文字说明作为建立索引的根据，而是对于图片本身的特征进行分析提取，并在图片本身的特征上建立索引。用户査询时可以向系统提交一幅样图；系统便可以通过对样图进行特征抽取再和已建索引中的特征比较返回给用户相似的图片。在这种技术里提取的图片本身特征包括图片本身的颜色、纹理、图形形状、像素空间关系等。这种基于图片特征的内容检索虽然意在克服传统的基于关键词的检索方法的不足，但也带来了很多新的问题。
第一，颜色、纹理、形状等信息虽能客观的反映图片的特征，但并不能完全表达图片承载的信息。第二、对图片颜色、纹理、形状特征的分析与提取并建立索引在信息的计算量上大大超过单纯对于关键词的提取，也就需要更多的计算时间。目前在对于特征索引的査找常常需要较长时间的等待，常常并不能适合用户的要求。
现有技术中基于关键词和基于内容的图片检索技术存在上述种种问题和缺陷，能迅速找到一种图片检索技术来解决这些问题、缺陷的需求由来巳久。本发明因此而来。
发明内容
本发明的主要目的在于提供一种基于关键词和内容的混合图片索引构建和查询方法，解决了现有技术中基于关键词的图片索引时查询结果与用户需求相关度比较低、基于内容的图片索引时查询效率较低、费时很长等缺陷。为了解决上述问题，本发明提供的技术方案如下一种基于关键词和内容的混合图片索引构建方法，包括以下步骤以图片的描述说明或其名称说明为基础的构建基于关键词的关键词索
引
对图片进行特征抽取；以抽取得到的图片特征构建基于内容的图片特征索引。
优选的，所述的方法中构建基于关键词的关键词索引是基于Lucene索引引擎构建；其构建步骤包括对图片的描述说明或其名称说明全文索引分解成索引关键词建立索引关键词集合；将所述的索引关键词集合存入Liicene索引中。
优选的，所述的基于Liicene索引引擎构建基于关键词的关键词索引还包括将存入Liicene索引中的索引关键词建立倒排索引。
优选的，所述的方法中构建基于内容的图片特征索引是基于Lucene索引引擎构建；所述构建方法包括根据图片特征不同抽取方法处理产生由实数组成的特征向量集合，将所述特征向量集合存入Lucene索引中。
优选的，所述Liicene索引包括所述关键词索引、图片特征索引分别与图片文件路径的关联。
优选的，所述的关联为链接表关联。优选的，所述的特征抽取步骤包括对图片的颜色、纹理、图形形状、像素空间关系进行抽取；所述抽取方法包括边缘直方图(MPEG-7 EdgeHistrogram)或自动颜色关联表(Auto Colour Correlogram)方法。
本发明的另一目的在于提供一种基于关键词和内容的混合图片査询方法，包括以下步骤
用户提出包括关键词和样图的查询需求；
用户的关键词与Liicene索引中的关键词集合进行模式匹配，计算匹配文件描述说明与用户的关键词相似度；
对用户提供的样图通过特征抽取得到样图特征向量集合，将样图特征向量与Lucene索引中的图片特征索引进行距离比较并计算相似度；
综合关键词匹配结果和样图匹配结果排序呈现给用户。
优选的，所述的距离比较方法釆用基于位置敏感的哈希(LocalitySensitive Hashing)方法来进行比较。
优选的，所述的用户需求包括关键词、样图及其相关权值。
本发明技术方案结合了基于文字的图片检索和基于内容的图片检索各自的优势，既使用文字索引又使用特征索引以便最大限度的提髙检索精度，满足用户的需要。另外本发明提供的索引优选使用Lucene索引，该索引引擎框架是一个开放的架构，可以支持多种特征提取算法。并且本发明所使用的基于位置敏感的哈希方法(Locality Sensitive Hashing, LSH)技术，使得查找时间低于纯线性查找，使得大规模应用时查询响应时间短、实时。
在本案发明的技术方案中，每一个图片文件可以有一个与之唯一对应的文本说明文件。该文本说明文件中存储着相应图片的文字描述和说明。这些文本说明文件可以通过程序自动生成，也可以在网络爬行的过程中通过对图片周边文字等信息的归纳生成。
在建立索引的过程中本案发明中采用的混合索引算法会处理分析所有的文本说明文件并利用全文索引技术对这些文本说明文件建立全文关键词索引。
与此同时，混合检索中的特征提取部分会处理所有的图片文件，利用单一的或多种特征提取方法来提取图片特征。特征提取方法可以是边缘直方图(MPEG-7 Edge Histogram)和自动颜色关联表(Auto Colour Correlogram)方法。在文本文件中建立的全文索引和从图片中提取的特征都会被存放在统 一的Lucene索引中。通过这些方法的使用使得用户査询结果的响应时间大 大缩短，满足了用户的实时要求。
该发明的优点在于本发明提供的技术方案能兼顾关键词索引和图片索 引的优点，既能利用关键词检索速度快，又利用图片索引提髙査询结果相关 度，提髙查准率。该技术方案可以应用于图片图像的检索领域中。
下面结合附图及实施例对本发明作进一步描述
图1为本发明实施例基于关键词和图片内容的开放式图片索引构建的 流程图2为本发明应用例用户图片检索查询的流程图。
具体实施例方式
为了更详尽的表述上述发明的技术方案，以下本发明人列举出具体的实 施例来明技术效果；需要强调的是，这些实施例是用于说明本发明而不限于 限制本发明的范围。
实施例
基于关键词和图片内容的开放式图片索引构建
每一个图片文件都有一个与之唯一对应的文本说明文件，该文本说明文 件中存储着相应图片的文字描述和说明。这些文本说明文件可以通过程序自 动生成，也可以在网络爬行的过程中通过对图片周边文字等信息的归纳生 成。
用/来表示图片库中的图片集合，7 = "'72，K，/ }，其中"为图片的数目。 D为与图片文件相对应的描述文件的集合，D = {《^2，K，《}，其中"'为对应 的图片7'的描述。假设系统中总共采用了&个图片特征抽取方法。用7来表 示图片抽取方法的集合，「 = K，72，K，W，其中^W'e[^]为一种特征抽取方
法。特征抽取方法&'J'eP，W作用于图片^^^"]的结果产生一个由实数组成的特征向量，用^(/')来表示。并且，用「")来表示图片^将所有a个特征 抽取方法处理后产生的特征向量的集合，「(0『W')，^(7')，k，K(/'》。 索引建立的步骤如下
对于每一个图片/'和其相对应的描述文档"'，将文档"'分解成索引关键 词的集合；。将；存入Liicene索引z中。
对于每一个图片特征抽取方法^7"1^]，计算^(7')。将^")存入 Lucene索弓| z中。
在已经被存z入中的索引关键词上建立倒排索引。
在建立索引的过程中采用的混合索引算法会处理分析所有的文本说明 文件并利用全文索引技术对这些文本说明文件建立全文关键词索引。与此同 时，混合检索中的特征提取部分会处理所有的图片文件，利用单一的或多种 特征提取方法来提取图片特征。特征提取方法可以是边缘直方图(MPEG-7 Edge Histogram)和自动颜色关联表(Auto Colour Correlogram)方法。在 文本文件中建立的全文索引和从图片中提取的特征都会被存放在统一的 Lncene索引中。通过这些方法的使用使得用户查询结果的响应时间大大縮 短，满足了用户的实时要求。
这样，通过输入图片集合/和描述文件集合"，得到存入
^T)，^,k,^和^,^,k,^并在{、,7;2,K,rd }上建立倒排索引的
Lucene索引x。整个基于关键词和图片内容的、支持快速、大规模的开放式 图片检索框架就构建完成。
与索引建立相应的用户图片检索查询
在查询的过程中用户向系统提交查询关键词和一幅样图。使用匹配査询 算法根据用户的关键词在Luceiie全文索引中找到匹配的文本说明文件。接 下来从Luceiie索引中读取文本说明文件对应的图片文件的特征并在这个特 征的集合上利用Locality Sensitive Hashing技术创建合适的数据结构，并根据从样图中提取出来的特征进行比较并返回相似的结果。这样返回的结果保 证了既在语义层面上与用户的査找相近又在特征层面上与用户的査找相近。
在本系统中用户提交的査询请求^可以用一个多元组来表示，
e = (z;'/ff'w'，^)。其中，S是检索关键词，可以是单个词，也可以是多个词，
或者是关键词的逻辑表达式。^是用户提交的查找样图，用户希望系统最后 返回和、特征相似又和^语义相关的图片。^是文字检索权值，是用来评估 通过关键词检索得到的结果的重要度。要求G^A^1。
^是一个权值集合。其中的权值是用来评估通过图片特征査找到的结
果的重要度。 ={>VMV2，K，Hvt},其中 [1，^]适用来评估通过特征抽取
t/ . n门 n《 《1 + X『(，)> 0
方法巳，7e[i，w检索到的结果的重要度。1,并且要求tr '。
用户提交査询请求^后系统即开始査询。整个查询过程分为语义査询和 特征査询。
在语义査询阶段，^中的检索关键词被用来和Lucene索引丄中已经加 入倒排索引的关键词比较。根据文件检索向量空间模型的方法，对于每一个
描述文档《和；，计算出一个相似度、V^)来描述《和S的相关程度。通过摒 弃相似度较低的描述文件，可以得到一个相似度较髙的描述文件的集合"、 假设其中有s个文件，令^—^，^2，K，"J。这个集合中的所有文件都是和^ 在语义上相关的。通过A中的文档可以得到其对应的图片文件的集合7、令 /s={/sl，/S2，K，/&}。于是可以认为这个集合A中的所有图片都是和语义相关 的。
在特征查询阶段，计算样图^用^-^i，「2，K，「"中的特征抽取方法抽取 特征后的向量集合^。-化("'^(。'K 并且取出索引建立阶段存 入Lucene索引Z中的^T)，^T)，K ，^5 。这里的每一个^"^' e [l，W都是一个向量的集合「 ) = {F'(/》)，^ (" & A (、 )}。然后用每 一 个^ (/" )， 7' e [1, ^
和每一个集合『'(4)'「'(^)，K^(/sJ中的特征向量进行距离比较并计算相
似度、U'"^w""]来描述样图、和图片^'在特征抽取方法^v'e[i，w下
的相似度。特征距离比较可应用Locality Sensitive Hashing的技术。
在特征査询阶段结束的时候对于每一幅在^:^s"^，K，^"中的图片 /s'"[l，s]，已经得到了以下的数据
一个相似度^W来描述4，^^"和；在语义上相似的程度。一个权值w' 来评估语义相似度的重要度。
*个相似度^^'"￡["]来描述々和图片^在特征抽取方法^7'￡["]的 相似程度。^个特征相似度权值^'7 = 1'2^^来评估特征相似度的重要度。 此时，对于每一个在^ ^仏i，4,K，4》中的图片、,"["]和上载样图々
可以计算出一个混合相似度 ，W来描述A和图片^在特征方面和语义方面 的相似度。计算方法如下
;其中符号如上定义
所有的相似度^;"z^^K^除以相似度的最大值的结果便是最终的相
似度，用~^)，/ = 1，2^^来表示。所有A^^，^，KJ"中的图片根据
^VW' W'K^来排序。摒弃相似度较低的图片，剩下的图片既是返回给用 户的査找结果。
这样，用户查询时用^在Liicene索引^中建立的关键词倒排索引中比 较，最终得到语义相关的图片的集合7、 ,s-仏"^，K，/J。
计算样图^在特征抽取方法集合「-^i，「2，K，「"中的特征抽取方法作用
下的特征向量集合^"， K("^W"A("，KA(/j。对于在特征抽取方 法集合^^W^，K，W中的特征抽取方法^^[U3而言，特征向量集合
10^仏W，W^A，。^"应用Locality Sensitive Hashing技术建立哈希结构。
用样图特征向量^(/》在已经建立的哈希结构上作距离比较，得到相似度 A'W'"L2，K^。对于样图々和每一个4"e[":i，计算^','W。把结果按照
^VW来排序，并返回给用户。
综上，用户输入查询请求2，通过索引建立阶段建立的Lucene索引Z，
可以得到与査询请求^在语义上和特征上都相关的图片的输出结果，并按相 关程度排序。
本发明中采用了 Locality Sensitive Hashing技术， 一种基于位置敏感的 哈希表技术，可以实现对高位数据进行快速査找。由于从图片中提取的特征 向量常常髙达几百维，传统的树状索引结构(如B树)通常不能获得低于线 性查找的速度。
与传统的基于文字的图片检索相比增加了对于图片内在特征，如颜色、 纹理、形状的分析与比较，使得用户可以通过样图找到特征相似的图片，丰 富了査询手段。
与纯粹的基于内容的图片检索相比加入了基于文字的索引和查询，缓解 了单纯对于图片特征的依赖，从而增加了返回图片的准确率。由于应用 Locality Sensitive Hashing技术使得查询速度有了很大的提高，为大规模、 实时的应用提供了大量应用的基础。
测试例
图片集合共有1511张JPEG图片。每一个图片文件都有相应的文本描 述文件。索引构建程序和查询程序都采用0++语言编写，用g++4.3.2编译并 开启-03优化选项。编译后的可执行文件在运行Linux ( Kernel 2.6.27-generic， 64位)的机器上运行。程序调用了 C Lucene功能包 (http:〃sourceforge.net/projects/clucene/ )和E2LSH0.1功會巨包 (http:〃www.mit.edu/~andoni/LSH/)中提供的功能，并对于E2LSH0.1中
的代码作了修改，省去了其中估计A:,m,丄参数值的部分而改用在程序运行之初为A:,/n,丄参数设定固定值的方法。(关于A:,w,丄参数的含义参见E2LSH0.1
中带的用户手册。)
用于测试的机器装有Intel Core 2 Cuo P8600@2.4GHz CPU,尽管只有 一个核心在测试中运行。机器的主存有4GB,但是只有1GB设置成为查询 程序可用。
整个构建索引的过程大约有10多钟。图片的特征向量，边缘直方图 (MPEG-7 Edge Histogram ) 和自动颜色关联表 (Auto Colour Correlogram)，以及描述文件关键词都被存入Liicene索引中。并在关键词 上建立倒排索引。
査询测试共有13组。每一组测试用户提交查询关键词，样图及相关参 数。每一次査询请求用"Je[l,13]来表示。13组查询中的样图和相关参数都
完全一样。对于边缘直方图(MPEG-7 Edge Histogram)和自动颜色关联表 (Auto Colour Correlogram ) 的位置敏感的哈希 (Locality Sensitive Hashing)的查找半径均设置成为1.0。每组测试中选用的关键词不同。有6
组选用的是单个关键词，用f,，/e[l,6]来表示。余下7组是关键词的逻辑或表
达式。每一组测试中记录了以下数据
|/s| 通过关键字査询检索到的语义相关的图片的数量。
t; 关键字语义査询用的时间。
77 用于边缘直方图(MPEG-7 Edge Histogram)的位置敏感的哈希
(Locality Sensitive Hashing)的预处理的时间。 77 用于边缘直方图(MPEG-7 Edge Histogram)的位置敏感的哈希
(Locality Sensitive Hashing)的查询时间。
7 用于自动颜色关联表(Auto Colour Correlogram)的位置敏感 的哈希(Locality Sensitive Hashing)的预处理的时间。 用于自动颜色关联表(Auto Colour Correlogram)的位置敏感 的哈希(Locality Sensitive Hashing)的查询时间。rv 用于图片特征查找总共的时间。约等于r/， r/， 77, r/的总和。 z;+v用于语义査询和图片特征查询时间的总和。约等于r,， 7;的和。
其中所有的时间都用亳秒(ms)来计量，即千分一之秒。测试数据总 结于下表i。
表i测试数据
测试査询j1/7rv
10.135210.3650.0230.4660.0343.234.64
2眺)0.134270.4250.0240.5450.043.915.03
3込("0.157400.580.0280.7140.0545.847.23
4眺v"0.265670.8980.0381.084O扁9.1411.74
e5(,4)0.128700.9270.0381.110.0789.3512.18
60.136751.020.0411.15O扁9.8712.36
7込("0.1401001.490.0561.530.10814.0332.12
80.2761151.660.0561.690.11415.4132.55
90.2521451.860.0612.110.14519.1347.55
100.2251702.160.0722.690.18623.673.35
110.2291752.260.0722.990.18724.1375.62
12g12"3 W4 V0.2782102.59O扁2.930.22328.92104.48
13g1303 W5 v0.2842152.630.0822.990.21829.32154.03
从表中测试得到的数据可以看出即便是用时最长的査询也只需要大约6 分一之秒完成，基本上可以达到实时，快速的要求。
上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技 术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护 范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的 保护范围之内。
1权利要求
1. 一种基于关键词和内容的混合图片索引构建方法，包括以下步骤以图片的描述说明或其名称说明为基础的构建基于关键词的关键词索引；对图片进行特征抽取；以抽取得到的图片特征构建基于内容的图片特征索引。
2、 根据权利要求1所述的基于关键词和内容的混合图片索引构建方法， 其特征在于所述的方法中构建基于关键词的关键词索引是基于Liicene索引 引擎构建；其构建步骤包括对图片的描述说明或其名称说明全文索引分解成 索引关键词建立索引关键词集合；将所述的索引关键词集合存入Lucene索 引中。
3、 根据权利要求2所述的基于关键词和内容的混合图片索引构建方法， 其特征在于所述的基于Liicene索引引擎构建基于关键词的关键词索引还包 括将存入Lucene索引中的索引关键词建立倒排索引。
4、 根据权利要求1所述的基于关键词和内容的混合图片索引构建方法， 其特征在于所述的方法中构建基于内容的图片特征索引是基于Lucene索引 引擎构建；所述构建方法包括根据图片特征不同抽取方法处理产生由实数组 成的特征向量集合，将所述特征向量集合存入Lucene索引中。
5、 根据权利要求2或4所述的基于关键词和内容的混合图片索引构建 方法，其特征在于所述Liicene索引包括所述关键词索引、图片特征索引分 别与图片文件路径的关联。
6、 根据权利要求5所述的基于关键词和内容的混合图片索引构建方法， 其特征在于所述的关联为链接表关联。
7、 根据权利要求1所述的基于关键词和内容的混合图片索引构建方法， 其特征在于所述的特征抽取步骤包括对图片的颜色、纹理、图形形状、像素 空间关系进行抽取；所述抽取方法包括边缘直方图或自动颜色关联表方法。
8、 一种基于关键词和内容的混合图片查询方法，包括以下步骤 用户提出包括关键词和样图的査询需求；用户的关键词与Lucene索引中的关键词集合进行模式匹配，计算匹配 文件描述说明与用户的关键词相似度；对用户提供的样图通过特征抽取得到样图特征向量集合，将样图特征向量与Lucetie索引中的图片特征索引进行距离比较并计算相似度； 综合关键词匹配结果和样图匹配结果排序呈现给用户。
9、 根据权利要求8所述的基于关键词和内容的混合图片查询方法，其 特征在于所述的距离比较方法采用基于位置敏感的哈希方法来进行比较。
10、 根据权利要求8所述的基于关键词和内容的混合图片查询方法，其 特征在于所述的用户需求包括关键词、样图及其相关权值。
全文摘要
本发明公开了一种基于关键词和内容的图片索引构建和相应的查询方法，其中索引构建包括以下步骤以图片的描述说明或其名称说明为基础的构建基于关键词的关键词倒排索引；以抽取的图片特征向量构建基于内容的图片特征索引。查询方法包括以下步骤用户提交查询请求，查询关键词与关键词集合进行模式匹配得到语义相关图片集合；用提取样图特征其特征向量在应用位置敏感的哈希方法在图片特征向量索引中查询得到相似的图片特征向量；综合结果将相似度高的图片返回给用户。本发明能兼顾关键词索引和图片索引的优点，既能利用关键词检索速度快，又利用图片索引提高查询结果相关度，提高查准率。该技术方案可以应用于图片图像的检索领域中。
文档编号G06F17/30GK101458695SQ20081013662
公开日2009年6月17日 申请日期2008年12月18日 优先权日2008年12月18日
发明者楠 张 申请人:西交利物浦大学