基于内容的图像检索的制作方法

专利名称：基于内容的图像检索的制作方法
基于内容的图傳验索
本发明涉及一种用于图像检索的搜索工具。具体而言，本发明涉及一种用于基于图像的内容来检索图像的方法。
背景技术：
在信息时代中面临的最大挑战之一在于从特别是经由万维网可获取的海量信息中识别所需信息的问题。已经开发和部署诸多基于文本的搜索引擎。在这些引擎中最知名的引擎是使用关键字搜索从万维网中检索页面
的流行搜索引擎。这些引擎包括Googl^和Yahoo气
虽然据称一张图片胜过前言万语，但是不能认为图^N^索技术如基于文本的检索技术一样先进。从大型图像集中检索图像仍有重大问题。浏览缩略图集以选择所需图傳对于用户而言不再实用。例如，如"悉尼歌剧院"一样简单的搜索在书写之时在Google Image搜索中获得26000个命中。
用以从大型图像库中检索特定图像的现有解决方案涉及到三个有关问题。首先是必须用某一方式对图像编索引，第二是必须构造查询，而第三是必须用相关方式呈现该查询的结果。传统上已经对图^象进行编索引并且使用关键字来搜索图像而使用某一形式的相关^L量来呈现结果。这样的方式有诸多困难，因为关键字分配一般需要人工标记，这是一种时间密集的过程，并且许多图像可通过多个关键字来描述。
一种替代方式是如Wang等人在"SIMPLIcity: Semantics-SensitiveIntegrated Matching for Picture Libraries"(发表于IEEE Transactions onPattern Analysis and Machine Intelligence 2001年9月第23巻第9期)中描述的^f吏用语义分类方法。该论文描述一种通过颜色、紋理、形状和位置来表征区域的基于区域的检索系统。该系统将图像分类成语义类别，比如有紋理-无紋理、图形-照片。然后通过基于对图像中所有区域的性质进行合成的区域匹配方案构勤目似度测量来检索图像。Wang的论文还包括对基于内容的已知图4綠索技术的有用概述。
Jacobs等人在"Fast Mutliresolution Image Querying"(发表于Proceedings of SIGGRAPH 95, Computer Graphics Proceedings, Annual
4Conference Series, 1995， ACM SIGGRAPH, New York, 1995)中描述了另一方式。Jacobs等人描述了一种使用小波分解为数据库中的各图像构造签名的预处理方式。使用相同过程来获得用于查询图像的签名。然后使用该查询签名来访问图像数据库的签名和被构造成选择具有相似签名的图像的度量。这一方式的问题在于需要预处理所有可搜索的图像以便导出签名。
Iqbal和Aggarwal在他们的论文"Feature Integration, Multi-imageQueries and Relevance Feedback in Image Retrieval"(见诸第 6次International Conference on Visual Information Systems, Miami, Florida,2003年9月24日-26日，第467-474页)中研究了特征合成对检索准确度的影响。他们从10221个图像的数据库中的图像中提取结构、颜色和紋理这些特征。然后单独使用结构、单独使用颜色、单独使用紋理、使用颜色和紋理以及4吏用结构、颜色和紋理来测量检索性能。他们将德克萨斯大学奥斯汀分校开发的CIRES ( Content-based Image REtrieval System,基于内容的图4綠索系统)用于图 <綠索。他们可能并不惊讶地发现当使用结构、颜色和紋理时图#^索最有效。他们还发现使用多个查询图像获得最有效的图^f緣索。
另外，Iqbal和Aggarwal研究了经由相关^X馈的用户交互的益处。如果通过初始查询返回图像，则相关度反馈允许用户指示来自集合的肯定、否定和不确定图像。查询由用户反馈和重新运行更改。他们发现具有用户反馈的图傳松索明显地改进。
虽然用于图4綠索的最新现有技术倾向于存在从万维网中检索图像的问题，但是本领域技术人员将认识到该问题并不依赖于数据库的性质。相同的现有技术涉及从个人计算机上的本地图像库中选择图像。
发明目的
本发明的一个目的在于提供一种用于基于内容的图傳教索的搜索方法。
根据如下描述将清楚更多目的
发明内容
广义而言，本发明在于一种从图像集中提取图像的方法，该方法包括
以下步骤
通过从一个或者多个所选图像中提取特征集来构造查询集；
构勤目异JLJL量，作为在查询集中的特征与图像集中图像的特征之间距离的加权求和；以及
显示具有最小相异JLJL量的图像。
优选地，加权求和使用根据查询集而导出的权值。
本发明适当地还包括对显示的图像的显示顺序进行排序的步骤。可以按照从最小相异^增加相异度的顺序来显示图像，然而诸如大小、存续期、文件名等其它排序方案也是有可能的。


为了帮助理解本发明，现在将参照附图描述优选实施例，在附图中图l是示出了基于内容的图^^r索方法中主要步骤的流程图2示出了对作为本发明的第一应用的起始点的初始搜索进行举例说明的屏幕截图3示出了举例说明来自初始搜索的图像集的屏M图4示出了其中选择三个图像以形成查询集的图3的屏幕截图5示出了根据本发明的基于内容的图#^索的结果的屏幕截图6示出了目录中图像缩略图的屏幕截图；以及
图7示出了其中选择三个图像以形成查询集的图6的屏幕截图。
具体实施例方式
在描述本发明的不同实施例中使用共同的附图标记来描W目似特征。
该方法的目的在于基于图像的特征内容和用户的查询概念来检索图像。从用户供应或者选择的图像例子自动导出用户的查询概念。该方法以提取图像的视觉特征的感知重要度的创新的方法和一种交付快速和准确的检索结果的有计算效率的加权线性相异度度量来实现该目标。在多图像查询系统中，查询是例子图像集(3 = {/91，/,2,...，/^}。例子图像集可以是包括一个在内的任何数目的图像。大量现有技术基于单个查询图像来构造查询，但是本发明的优选方式是让用户提供至少两个并且优选三个图像。可以从数据库中直接选择或者可以通过比如使用Google Image的上文提到的搜索这样的常规图像搜索来识别由用户提供的图像。
就以下描述而言，将有时称为图像数据库的目标图像集限定为『"4， = U_M}。将查询标准表达为在查询集e与目标图像集中的图像/i
之间的相似度测量s必/》。查询系统e^s"A^艮据相似度s必厶)的查询集q到目标图像集f的排列；的映射，其中？；=k ^: =是部分有序
集，使得翁0 4^'聰^之原则上，排列是整个数据库的排列，在实践中
tot排序在前的输出图像进行评估。
在图1中概括和在下文中更具体地说明基于内容的图像检索方法。该
方法始于查询集l。特征提取过程2使用特征工具集3来提取特征集，该
特征工具集可以是包括上文提到的工具在内的第三方特征工具范围中的
任何特征工具。然后根据提取的特征来形成查询(4)。
查询可以视为被构造用来代表查询集中图像的理想化图像。
本发明的一个关键方面在于计算相异JL变量5，该相异;OL量应用于目标图像集6以识别与形成查询的特征集相似的图像。然后对图像进行排序(7)并且呈现给用户(8)。
特征提取
特征提取过程使查询基于图像的低级结构描述。可以通过特征集
X力k j"A…，)来描述图,象,。通过^维向量义 ={;12,...,气}来代表
各特征，其中^,e
c:i ， R是实数。第/|特征提取是从图像/到特征向量的映射
&《1)
本发明不限于对任何特定特征集的提取。可以使用各种视觉特征，比如颜色、紋理或者面部特征。第三方视觉特征提取工具可以插入系统中。适合的，MPEG-7颜色布局描述 符(Color Layout Descriptor, CLD )是适合于高速图#^索的很紧凑并 且分辨率不变的颜色表示。它如下iL^达的那样仅使用8x8 DCT的12个 系数来描述来自这些集合的内容(六个用于亮度而三个用于各色度)。
xao =(^—,A，C^C%，O^Ov，Ov,cy 《2》
MPEG-7边缘直方图描述符(Edge Histogram Descriptor, EHD )如 下文表达的那样使用80个直方图窗来描述来自16个子图像的内容。
尽管MPEG-7工具集有用，但是本发明不限于这一特征提取工具集。 如根据现有技术清楚的那样，有根据诸如颜色、色调、亮度、结构、玟理、 位置等特征来表征图像的一系列特征提取工具。
如上文提到的那样，本发明可以应用于面部特征集以从面部数据库中 识别面部。特征提取过程可以提取诸如双眼之间的距离、眼睛颜色、鼻宽、 嘴部尺寸等面部特征。
查询特征形成
通过用户选择的例子图^象来暗示用户的查询概念。查询特征形成模块 生成根据例子图像而导出的视觉查询图像特征集。
形成一个图像的特征的融合可以表示如下
x'. 十x;十…十x二) (4)
对于查询图像集，特征的融合如下
h(x1 Ux" (5)
查询特征形成意味着通过对在特征提取步骤中使用的特征集中的各
特征进行加权而构造的理想化图像。应用于第/特征A的权值如下
w = /w(xi，x2,'.'x";xi ，义2,…,""；…；义i ,义2 ""，x") (6)
根据查询图像集0而构造的理想化图像&然后可以视为特征集中特征
*'的加权之和
工e二2]平' (7)相异度计算
特征度量空间^是&维向量空间^的有界闭合凸子集。因此，特征 向量的平均或者间隔是特征集中的特征向量。这是查询点移动和查询原型 算法的基础。然而，平均特征向量可能不是其它特征向量的良好代表。例 如，颜色^^可能不是颜色^悉和,冥悉的良好代表。
在多图像查询的情况下，测量在查询图像集{;入2,...,/J与图像Ij E T
之间的距离如下
本发明使用如下表达为单独特征距离的加权求和的距离函数
""人)=|>, (9)
这一方程计算如下测量，该测量是在查询特征^与,皮查询特征^之间 距离度量rf的加权求和。
使用方程(6)根据查询集来更新权值"'"例如，用户可以寻求找到 明亮上色汽车的图像。基于文本的常规搜索无辅助之能，因为查询"汽车" 将检索任何颜色的所有汽车，并且关于"明亮汽车"的搜索将仅检索已经 利用这些词而描述的图像，而这是不可能的。然而，关于汽车的初始文本 搜索将检索各种类型和颜色的一 系列汽车。当用户选择明亮的图^象的查询 集时，查询特征形成将给予亮度特征比例如颜色或者紋理更大的权值。另 一方面，如果用户在寻找蓝色汽车，将M蓝色汽车中选择查询集。查询 特征形成将给予颜色特征和色调蓝色比亮度或者玟理更大的权值
在各情况中相异度计算确定在用户选择的查询集的特征中作为基础 的相似度值而无需用户限定所寻求的特定特征集。将认识到这是比在常规 技术中可用的方式更直观的图像搜索方式。
结果排序
根据相关度排序来方便地显示使用查询集从图像集中提取的图像。有 用以对输出图像进行排序的若干方式，而本发明不限于任何具体过程。一 种便利方式使用上i^目异度测量。也就是说，先显示相异度最小(最相似) 的图像、继而显示相异度更大的图像直至某一数目的图像。通常可以显示二十个相异度最小的图像。
因而如在度量空间中通常限定的那样，在查询图像集与数据库中的目
标图〗象之间的距离如下限定
d (Q， Ij) = m/W{"(X ,X;)} (10)
(10 )的测量具有如下优点排序在前的图像将与在检索系统中非常 希望的例子图像之一相似，而在原型查询的情况下排序在前的图像将与平 均特征的图像相似，该图像与任何例子图像都不是4M目似。前者将在多数 应用中给予用户更好的体验。
例l
已经使用Apache Tomcat 网络应用服务器所支持的Java Servlet和 JavaServer页面技术实施了本发明的示范实施。它经由基于关键字的商用 图像搜索服务如Goog^或者Yahoc^在因特网上基于图像内容来搜索图 <象。可以4吏用任何网络浏览器如Internet Explorer或者Mozilla/Firebox 来访问本实施并且本实施包括用以从因特网中搜索图像的3步骤处理。
为了示范本发明的操作，已经将它应用于上文提到的使用Google Image来找到悉尼歌剧院图像这一例子。
1) 第一步如图2中所示的基于关键字的搜索。如图3中所示4吏用 关键字以经由基于文本的图像搜索服务从因特网中检索图像从而形成初 始图像集。
2) 第二步如图4中所示从初始搜索结果中选择例子图像。通过点 击向用户呈现的图像复选框从基于关键字的搜索结果中选择用户打算搜 索的图像例子。
3) 第三步使用根据样本图像而构造的查询来进行对所有图像的搜
索。如图5中所示根据相似;OL量按照排序顺序来呈现结果。
从该例可见，图5中所示结果集的图4象都^^目关的，而图3中所示图 像包括相关度存疑的图像。
例2本发明可以集成到桌面文件管理器如Windows Explore,或者Mac OSXFinde,中，这两个桌面文件管理器当前均具有浏览图像文件并且根 据图像文件名和诸如大小、文件类型等其它文件属性对它们进行归类的能 力。典型图像文件夹在图6中图示为缩略图。用户通过突出显示与所需图 像最接近的图像来选择用于构造查询集的多个图像。在图7的例子中，用 户已经选择具有悉尼港湾大桥的图像作为悉尼歌剧院的背景。
用户然后运行便利地实施为插件的图傳检索程序。在图6和图7中通 过点击工具栏上的勾号图标9来激活本发明。
结论
上述基于内容的图像检索方法较现有技术的系统而言具有诸多优点， 这些优点包括
才艮据用户例子自动导出感知重要度；
搜索过程直，见；
无需用户选择特征或者用于特征的权值；
加权的线性相异度度量为通用、适用于所有特征；
权值生成和相异度公式有计算效率并且交付很快的检索结果；
特征4€取工具可插#——标准第三方特征可以集成到该架构中；
用户无需提供反例。
整个说明书旨在于描述本发明而不是将本发明限于可替代特征的任 何特定组合。
权利要求
1. 一种从图像集中提取图像的方法，包括以下步骤通过从一个或者多个所选图像中提取特征集来构造查询集；构造相异度度量，作为在所述查询集中的特征与所述图像集中图像的特征之间距离的加权求和；以及显示具有最小相异度度量的图像。
2. 根据权利要求1所述的方法，其中从至少两个图像中提取所述查询集。
3. 根据权利要求1所述的方法，其中使用特征工具集来提取所述查询集。
4. 根据权利要求1所述的方法，其中使用所述图像的低级结构描述来提取所述查询集。
5. 根据权利要求1所述的方法，其中所述特征选自于颜色、紋理、色度、亮度、结构、位置、面部特征中的一个或多个。
6. 根据权利要求1所述的方法，其中所述查询集是构造为所述特征集的加权求和的理想化图像。
7. 根据权利要求6所述的方法，其中所述理想化图像是1。=2>^，其中x,是特征而w,是应用于该特征的积 度。
8. 根据权利要求1所述的方法，其中所述加权求和使用从所述查询集导出的^C值。
9. 根据权利要求l所述的方法，其中所^目异JL^量是0(/ ,。二|>"化,.,。。/二1
10. 根据权利要求l所述的方法，还包括对所述显示的图像的显示顺序进行排序的步骤。
11. 根据权利要求7所述的方法，其中所述排序以相似度为序。
12. —种软件，置于一个或者多个计算机可读介质中并且在执行时可操作用于通过从一个或者多个所选图 <象中揭:取特征集来构造查询集；构ii^目异度度量，作为在所述查询集中的特征与所述图像集中图像的特征之间距离的加权求和；以及显示具有最小相异JL变量的图像。
13.根据权利要求12所述的软件，还在执行时操作用于以相似度为序对具有最小相异1变量的图像进行排序。
全文摘要
一种基于内容的图像检索系统，通过构造特征的查询集并且显示图像数据库中的图像之中具有最小相异度度量的图像来从数据库中提取图像。相异度度量是在查询集中的特征与数据库中图像的特征之间距离的加权和。该方法用于比如基于网络的图像检索和面部识别这样的图像搜索。
文档编号G06F17/30GK101460947SQ200780019629
公开日2009年6月17日 申请日期2007年5月29日 优先权日2006年5月29日
发明者雷 叶, 菲利普·奥贡博纳 申请人:卧龙岗大学