专利名称：图像匹配方法和系统的制作方法
技术领域：
一般地，本发明涉及数字成像。特别是，本发明涉及一种图像匹配的方法和系统。
背景技术：
图像匹配是用于类似计算机视觉、对象识别、运动跟踪、3D建模等应用中的基本技术。实施图像匹配用来检查两个图像是否具有相同视觉内容。但是，该两个图像不需要完全相同。例如，可旋转一个图像或从不同视角使用一个图像，在与另一个图像比较时，其可以是另一个图像的缩放版本，或可能在该图像中存在分散元件。另外，可在不同的光照条件下使用该两个图像。尽管在该两个图像中有这样的变化，他们包含相同的内容，场景或对象。 因此，使用了各种图像匹配技术来有效地匹配图像。在实施例情景中，可实施图像匹配用来识别一个或多个相对于用户所提供查询图像的匹配。该用户所提供的查询图像可能是，例如，电影海报的图像，户外度假点的图片，著名明星的照片等。而且，服务器，例如，在通信网络中出现的个人计算机或任意数据处理单元，可能包括来自许多资源例如杂志、海报、报纸、互联网、广告牌广告等处的成千上万个图像组成的数据库。可能将来自该用户处的查询图像匹配于存储在该数据库中的图像以识别对应于该查询图像的适当匹配图像。当前，存在业务提供方帮助用户识别查询图像的一个或多个匹配图像。在一种这样的情况中，用户可能点击来自通信装置处的照片，例如具有内建相机的移动电话，并将其发送到用于图像搜索的服务器。当前，可将集中化服务器用于图像匹配应用中。将所有可用来匹配的参考图像的数据库保留在一个中央服务器处。识别出查询图像的一个或多个正确匹配的可能性基于在该服务器处存储并能用于搜索的参考图像的数量。但是，在集中化服务器的情况中，由于使用单个图像数据库用来存储所有该参考图像，因此将图像搜索限制于该单个数据库。同样， 因为该集中化服务器的有限存储空间和给定该图像的大文件大小，存在关于可存储在该集中化服务器处的参考图像的最大数量的限制。进一步地，当在该集中化服务器处所接收的查询图像的数量超过在给定时间该集中化服务器能够处理的搜索数量时，会出现问题。因为有限的硬盘空间、存储器以及该集中化服务器的处理速度，可对该搜索的容量进行限制。 在这样的情况中，可将该查询图像排成队列，使得用户为获得相应查询图像的一个或多个匹配图像而较长等待。发明概述本发明的一个目的是提供一种图像匹配方法。该方法包括在查询服务器处接收查询图像。进一步地，该方法包括将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器以处理对应于该查询图像的图像搜索。而且，该方法包括在该查询服务器处接收对应于该查询图像的识别匹配列表，其中基于在该图像匹配服务器处的图像搜索来识别该匹配列表。此外，该方法包括基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。
本发明的另一个目的是提供一种图像匹配服务器。该服务器包括接收器，接收查询图像。进一步地，该服务器包括提取模块，从该查询图像处提取一组特征点。而且，该服务器包括切分模块，将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器以处理图像搜索。此外，该服务器包括合并模块，被配置用来从该图像匹配服务器处接收对应于该查询图像的识别匹配列表，基于在该图像匹配服务器处的图像搜索来识别该匹配列表。该合并模块进一步被配置用来基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。本发明的又一个目的是提供一种图像匹配系统。该系统包括查询服务器，该查询服务器包括接收器，接收查询图像。进一步地，该查询服务器包括切分模块，将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器以处理图像搜索。该查询服务器也包括合并模块，被配置用来从该图像匹配服务器处接收对应于该查询图像的识别匹配列表，其中基于在该图像匹配服务器处的图像搜索来识别该匹配列表。而且，基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。进一步地，该系统包括一组分布式图像匹配服务器，该图像匹配服务器包括提取模块，从该查询图像处提供特征点。本发明的又一个目的是提供一种为了识别对应于查询图像的一个或多个匹配而在多个图像匹配服务器上分布图像搜索的方法和系统。在一组分布式图像匹配服务器的图像匹配服务器的图像数据库中处理该图像搜索。本发明的又一个目的是提供一种使用存储在多个图像数据库处的多个按比例缩小的图像来匹配查询图像的方法和系统。
以下将结合附图对本发明的实施方案进行描述，该附图被提供用来描述而并不限定本发明，其中相同名称表示相同元件，其中图1描述了图像匹配的示例环境，其中可实现本发明各个实施方案；图2是描述图像匹配的示例方法的流程图，依照本发明的各个实施方案；图3是描述查询服务器的示例方框图，依照本发明的各个实施方案；和图4是描述图像匹配系统的示例方框图，依照本发明的各个实施方案。技术人员应当明白，为简洁和清楚目的对所述图中元件进行描述，以有助于提高对本发明实施方案的理解。发明详述本发明的各个实施方案涉及一种图像匹配方法和系统。进行该图像匹配以识别对应于查询图像的一个或多个匹配。在查询服务器处接收查询图像。该查询服务器处理该查询图像并将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器以处理基于图像的搜索。此后，该查询服务器从该图像匹配服务器处接收到对应于该查询图像的识别匹配列表。随后该查询服务器将分数指定给该识别匹配列表并基于该分数从该列表处选择一个或多个匹配。图1描述了示例环境100，其中可实现本发明各个实施方案。环境100包括查询图像102，查询服务器104和一组分布式图像匹配服务器106_1 到106-n。用于该图像匹配服务器的变量‘η’将基于用于本发明的实施方式的图像匹配服务器的数量而变化。该查询图像102能够采用标准图像格式中的一种，例如，联合图像专家组(JPEG)、图形交互格式(GIF)、位图(BMP)等。进一步地，该查询图像102可以是特定产品的图像，报纸标题，电影海报，或能通过相机拍摄到或能在通信装置处接收或存储的任意其他图像。依照本发明的实施方案，用户能够使用该通信装置将该查询图像102发送到该查询服务器104以识别一个或多个匹配图像。该用于发送该查询图像102的通信装置可能是， 例如，移动电话，个人数字助理(PDA)，个人计算机或掌上电脑，或能够将该查询图像102发送到该查询服务器104的任意其他通信装置。当从该通信装置处接收到该查询图像102时， 该查询服务器104处理并成比例该查询图像102为预定大小。此后，将该成比例查询图像 102发送到该组分布式图像匹配服务器106-1到106-n的一个或多个图像匹配服务器。该查询服务器104和该组分布式图像匹配服务器106-1到106_n可能是任意布网数据处理单元。进一步地，该组图像匹配服务器106-1到106-n的图像匹配服务器包括多个图像的数据库。对应于该查询图像102的基于图像的搜索运行在该图像匹配服务器106-1 到106-n。本领域普通技术人员应当清楚，该查询图像102的一个或多个识别的匹配可能不完全等同于该查询图像102，但是将包括与该查询图像102的内容相同的内容。例如，该一个或多个识别的匹配可能是成比例的、选择的或缩放的版本。图像匹配算法用于该图像匹配服务器106-1到106-n处以识别该查询图像102的一个或多个匹配，使用存储在该图像匹配服务器106-1到106-n处的多个图像。进一步地，从该图像匹配服务器106-1到106_n 处基于图像的搜索结果被发送到该查询服务器104处并在该查询服务器104处被合并。基于与该查询图像102的他们几何匹配范围，将分数指定给该识别匹配列表的匹配，并以该分数的递减顺序来对他们分类。最后，将在该查询服务器104处合并的分类结果列表的前三个或四个结果提供给该用户。图2是描述图像匹配的示例方法的流程图，依照本发明的各个实施方案。关注于找到对应于查询图像例如该查询图像102的一个或多个匹配图像的用户，能够使用通信装置将该查询图像102发送到该查询服务器104。该一个或多个匹配图像可能与该查询图像 102极度相似，就该查询图像102的内容和/或背景而言。进一步地，可能将该查询图像102 从该通信装置处发送到该查询服务器104，使用任意标准的通信协议，例如，超文本传输协议(HTTP)，简单邮件传输协议(SMTP)，文件传输协议(FTP)，等等。在步骤202处，该查询服务器104接收到该查询图像102。随后，在该查询服务器 104处将该查询图像102处理并比例化成预定大小。在一实施例中，该预定大小可能是该查询图像102的拇指大小。在另一实施例中，将该查询图像102按比例缩小成预定大小以匹配该按比例缩小的查询图像102，使用存储在该匹配服务器106-1到106-n的图像数据库处的多个按比例缩小的图像。在步骤204处，该查询服务器104将请求发送到该组分布式图像匹配服务器106-1到106-n的一个或多个图像匹配服务器以处理对应于该查询图像102 的图像搜索。对于一实施方案，在实施步骤204之前，该查询服务器104能够从该查询图像 102处提取一组特征点。该组特征点用于匹配存储在该图像匹配服务器106-1到106-n处的多个图像相关的一组特征点。特征点是一组用于再现图像的‘关注点’。为了识别在该图像中的特征点，由预定方法计算该图像中的点的‘关注度’。这些特征点对于在图像旋转、成比例、视角或光照环境中的变化而言是健壮的。而且，可将一个或多个图像确定为匹配，当对应于该两个图像的充分数量的特征点在视觉和几何上都匹配时。依照本实施方案，该请求可能包括来自该查询图像102处的该组提取的特征点。对于另一个实施方案，对应于该查询图像102的该组特征点在该分布式图像匹配服务器106-1到106-n的一个或多个图像匹配服务器处被分别提取。依照本实施方案，该请求可能包括对应于该查询图像102的成比例的图像。进一步地，基于该组提取的特征点，该组分布式图像匹配服务器106-1到106-n的图像匹配服务器处理在存入他们数据库的多个图像内的图像搜索。该图像搜索基于将该多个图像相关的特征点的组与从该查询图像102处提取的特征点的组的匹配。结合图3和图 4对本发明的这个方面进行具体描述。作为该图像搜索的结果，在步骤206处，该查询服务器104从该分布式图像匹配服务器106-1到106-n处接收到对应于该查询图像102的识别匹配列表。此后，该查询服务器104基于该查询图像102的几何匹配范围，将分数指定给从该组分布式图像匹配服务器106-1到106-n处接收到的识别匹配列表。基本上，基于对应该查询图像102的识别图像的匹配范围来指定该分数。对于一个实施方案，可使用该随机取样一致性(RANSAC)算法用于对该识别出的匹配的列表计分，尽管同样可使用RANSAC类似算法的其他变体或其他统计算法。通常，对该识别出的匹配的列表计分的算法是基于对应该查询图像102的特征向量和该识别出的匹配的列表。该特征向量可能来自从图像处提取的一组特征点。对应于匹配的相互接近的两个图像的特征向量在视觉上是相同的，该相应的特征点被称作为假定对应或‘对应’。依照该RANSAC算法，随机取样一小组假定对应。此后使用这些取样的对应生成变换。在生成该变换之后，确定了适合由该取样对应所形成的图像匹配模型的假定对应。适合该图像匹配模型的该假定对应在几何上是一致的并被称作为 ‘内窗层’。此后，确定了对应于该识别匹配之一的内窗层总数和正被匹配的查询图像102。 在该识别出的匹配的列表中对于连续图像重复上述步骤，直到重复/试验的次数大于预定阈值限制或来自正匹配的识别匹配列表处一个或多个图像的内窗层数量足够多到确定在该识别匹配列表中图像和该查询图像102之间的匹配。基于此，该RANSAC算法返回对应于该识别匹配列表的图像匹配模型的内窗层的最高数量。此后，基于为在该识别匹配列表中图像所识别出的内窗层数量对该识别匹配列表计分。例如，为具有对应于该查询图像102 的最大数量内窗层的识别匹配列表处的图像指定了最高分数，诸如此类对于该识别列表中的其他图像。对于另一实施方案，基于由对应于该查询图像102正匹配的内窗层所覆盖的识别图像的区域来实施该识别匹配的计分。例如，两个识别匹配可具有对应于该查询图像的相同数量的内窗层。但是，一个识别匹配可能具有集中在该图像一角的所有内窗层，而另一个识别匹配可能具有分散在该图像范围内的内窗层。在这种情况下，这两个识别匹配将具有不同分数，即使他们具有相同数量的内窗层。在步骤208处，基于指定给该识别匹配的分数来从该识别匹配列表处选择一个或多个匹配。对于一个实施方案，在从该识别匹配列表处选择一个或多个匹配之前，以该指定分数的递减顺序对该识别匹配列表进行分类。进一步地，通过该图像搜索来获取的对应于该查询图像102的最可能匹配的图像，将被指定最高分数并将在该分类列表中的顶端，看起来不像该查询图像102的图像将在该分类列表中的较低位置。图3是描述查询服务器302的方框图，依照本发明的各个实施方案。该查询服务器104在结构上和功能上等同于该查询服务器302。该查询服务器302包括接收器304，提取模块306，切分模块308，合并模块310和计分模块312。该接收器304用于接收并比例化该查询图像102为预定大小。该提取模块306用来提取对应于该查询图像102的一组特征点。而且，该切分模块308用来将请求发送到该图像匹配服务器106-1到106-n中的一个或多个。对于一实施方案，可将该请求发送到一个或多个图像匹配服务器106-1到106-n 以同时处理该图像搜索，即该分布式图像匹配服务器106-1到106-n的每一个图像匹配服务器同时接收该请求并启动该图像搜索。如接合图2描述的一样，该请求可能包括由该提取模块306从该查询图像102处提取到的一组特征点或者包括该比例化的查询图像102。在该请求包括该比例化查询图像102的情况中，该图像匹配服务器106-1到106_n 可能不得不在启动该图像搜索之前提取对应于该查询图像102的一组特征点。本领域普通技术人员应当清楚在该情况中，该查询服务器302将不包括该提取模块306，其将出现在该图像匹配服务器106-1到106-n中。在该图像匹配服务器106-1到106-n的图像数据库中所存储的多个图像内处理该图像搜索。在该图像匹配服务器106-1到106-n任意一个处对应于该查询图像102识别出一个或多个匹配的情况中，该对应的图像匹配服务器将该识别出的匹配图像的列表发送到该查询服务器302。对应一个实施方案，该图像匹配服务器106-1到106-n之一一经识别出对应于该查询图像102的一个或多个匹配图像，在所有该图像匹配服务器106-1到106-n 处的图像搜索停止。依照本实施方案，由于将来自任意一个图像匹配服务器的匹配图像提供给该用户，该图像匹配算法实施非常高容忍的检查以识别出该匹配图像。进一步地，将该识别结果提供给该查询服务器302的合并模块310以进行分类。一旦从该组分布式图像匹配服务器106-1到106-n处接收到识别匹配列表，该计分模块312将分数指定给该识别匹配。已经接合图2对该识别匹配列表的计分进行了具体解释。进一步地，基于该识别匹配列表的计分，该合并模块310将从该识别匹配列表处选择一个或多个匹配。在两个图像匹配服务器识别出相同图像作为对应于该查询图像102的匹配的情况中，该计分模块312将相同分数指定给该识别匹配。进一步地，使用了预定计分功能以指定对应于该识别匹配的分数。图4是描述图像匹配系统的简化和代表性方框图，依照本发明的各个实施方案。 图4包括查询服务器402，其结构上和功能上与该查询服务器104和302相同。该查询服务器402包括接收器404，切分模块406，合并模块408和计分模块409。进一步地，该图像匹配系统包括一组分布式图像匹配服务器410-1到410-n。该图像匹配服务器410-1到410-n 在结构上和功能上与该图像匹配服务器106-1到106-n相同。该组分布式图像匹配服务器 410-1到410-n的一个或多个图像匹配服务器包括提取模块，图像数据库和特征数据库。对于所有该图像匹配服务器410-1到410-n，该提取模块已经被集体地标记为提取模块412-1 到412-n。相同地，该图像数据库已经被集体地标记为图像数据库414-1到414_n，该特征数据库已经被集体地标记为特征数据库416-1到416-n。用于该图像匹配服务器的变量‘η’ 和其组件将基于用于本发明实施方式中图像匹配服务器的数量而变化。如结合图2所描述的一样，该提取模块412-1到412_η用于提取对应于该查询图像102的特征点。进一步地，该图像数据库414-1到414-η包括多个图像。该多个图像可选自于多个源，如杂志、海报、报纸、互联网、广告牌广告等。对于一个实施方案，可将该多个图像的每一个图像按比例缩小到预定大小，在存入该图像数据库414-1到414-n之前。将在该图像匹配服务器410-1到410-n处接收到的查询图像102匹配于存储在该相应图像数据库414-1到414-n处的按比例缩小的图像。对于一个实施方案，在图像匹配服务器不能在该按比例缩小图像内找到一个或多个匹配图像的情况中，将该查询图像102匹配于正常大小的图像(即，没有按比例缩小)。用于存储该多个图像和与该多个图像相关的一组特征点的图像匹配服务器具有有限的存储容量。因此，对能够存储在该图像匹配服务器的图像数据库处的图像和特征点组的数量存在限制。对于一个实施方案，可为该图像数据库414-1到414-n中每一个指定能够存储在该组分布式图像匹配服务器410-1到410-n处的多个图像和与该多个图像相关的特征点组的子组。可基于能够存储在该图像数据库414-1到414-n处的图像和与该图像相关的特征点组来指定该子组。例如，如果存在三个容量为10十亿字节(GB)、20GB和30GB 的服务器，一组10百万个图像和与该图像相关的特征点组可被分布在三个图像子组上，对应于该三个图像数据库，采用1 2 3的比率。同样，对于另一种情况，可将这些图像均勻地分布在该三个图像数据库上，使得每一个图像数据库包含相等数量的图像。本领域普通技术人员应当清楚，基于图像匹配服务器的存储容量和/或需要被存储在该图像数据库 414-1到414-n处的图像数量，该子组的构成的许多其他合并是可能的。对于另一个实施方案，基于为特定图像组所接收查询图像的数量可将该图像的子组存储在该图像数据库414-1到414-n之一内。例如，该图像数据库414-1到414_n之一可包括，分离于其他已存储数据的包含刚上映的电影‘X’的图像组。同样，可在该查询服务器402处接收到对应于该电影‘X’的许多查询图像。在这样的情况中，可将包含该电影‘X’ 的存储在该图像数据库414-1到414-n处的该图像组指定特定子组。相同地，其他图像组， 为其接收到大批查询图像，可被指定有该图像匹配服务器的图像数据库414-1到414-n之一内的特定子组。本领域普通技术人员应当清楚，基于为特定图像组所接收到的查询图像的数量，可在该图像数据库内形成许多其他子组。对于又一实施方案，可基于在不久的将来接收到对应于特定图像组的大批查询图像的可能性来对该子组进行指定。在这种情况中，为其期望接收到大批查询图像的存储在该图像数据库414-1到414-n之一处的该图像组可被指定有一个子组。例如，在剧院上映特定电影之前，接收到对应于该电影海报、该电影中演员等的查询图像的可能性为高。基于接收到对应于特定图像组(电影海报和演员)的查询图像的高可能性，可将包含该电影海报和演员的一组图像指定为一子组。进一步地，对于一些情况，具有相对较高存储容量的该图像匹配服务器410-1到414-n之一可用于存储这样的图像子组，假设该子组包括大批相关图像。同样，对于一些情况，可基于接收对应于特定区域、人物、位置、动物或事情等的查询图像的过去趋势来指定子组。假设该过去趋势指示了在为特定图像组所接收到查询图像的数量中的持续增长，可将该图像组指定为一个子组。例如，由于电影上映的即将事件，如果在为该电影所接收到的查询图像的数量中存在持续增长，可将对应于该电影的图像组指定为一个子组。图像匹配服务器410-1到414-n包括对应特征数据库416-1到416_n用来存储与该多个图像相关的一组特征点。该对应于两个图像的一组特征点可用于检查该两个图像是否相同或不同。进一步地，该组分布式图像匹配服务器410-1到410-n的图像匹配服务器包括图像搜索模块418-1到418-n用于处理基于图像的搜索。可使用本领域公知的任意图像匹配技术来实施该基于图像的搜索。对于一实施方案，通过匹配与该多个图像相关的一组特征点和从该查询图像102处提取的一组特征点来实施该图像搜索。基于该图像搜索， 如结合图2进行描述的一样，可由一个或多个图像匹配服务器410-1到410-n来识别出对应于该查询图像102的匹配图像列表。在一些情况中，该图像搜索模块418-1到418-n可能未发现对应于该查询图像102 的一个或多个匹配图像，当处理存储在图像数据库414-1到414-n处的按比例缩小图像内的图像搜索时。对于这种情况，该图像搜索模块418-1到418-n可搜索对应于该多个按比例缩小图像的多个正常大小图像(即没有按比例缩小)中的匹配图像。对于一实施方案， 可在单个图像匹配服务器处存储所有该正常大小的图像。复制模块420-1到420-n从这些正常大小图像处将该存储在该图像数据库414-1到414-n处的按比例缩小图像进行复制。 该复制模块可能出现在该单个图像匹配服务器中。进一步地，本领域普通技术人员应当清楚，该单个图像匹配服务器的存储容量应当大小合适以存储所有正常大小的图像。对于本发明的另一实施方案，可将该正常大小图像存储在一组分布式图像匹配服务器处。与按比例缩小图像相同，可将这些正常大小图像存储在多个图像匹配服务器的图像数据库中。在这种情况中，更可取地，该组分布式图像匹配服务器410-1到410-n的一个或多个图像匹配服务器将包括复制模块420-1到420-n用于创建每一个正常大小图像的按比例缩小复制件并将其存储在该图像数据库414-1到414-n。进一步地，与在该多个按比例缩小图像中形成子组相同，可将子组指定给存储在该组分布式图像匹配服务器的图像数据库处的多个正常大小图像。可结合该按比例缩小图像以与如上所述相同的方式来指定该子组。本领域普通技术人员应当清楚，用于存储该正常大小图像的该组图像匹配服务器可以是该图像匹配服务器410-1到410-n。下列实施例描述了本发明的应用。用户可发生查询图像，例如，电影‘X’的海报的图像，给该查询服务器104，通过使用通信装置，例如具有内建相机的手持移动电话，为了找到一个或多个匹配图像。一旦接受到该查询图像，该查询服务器将该查询图像比例化为预定大小，例如，150x150像素。本领域普通技术人员应当清楚，按比例缩小查询图像的预定大小将基于本发明的实际实施方式。进一步地，该查询服务器104将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理基于图像的搜索。该请求可能包括该比例化查询图像或包括从该查询图像处提取的一组特征点。针对存储在图像数据库 414-1到414-n中的多个按比例缩小图像来处理该基于图像的搜索。可从存储在一个或多个图像匹配服务器的正常大小图像处复制这些按比例缩小的图像。进一步地，如参照图4所述的一样，该图像匹配服务器410-1到410-n包括预定子组，包含一组与该查询图像即该电影‘X’的海报相关的按比例缩小图像。在这种情况中，如果该电影‘X’的海报显示出海滩，该预定子组可包括从各种源如互联网、杂志、广告牌广告等出获取的各种海滩的按比例缩小图像。也可能是这种情况，不存在为查询图像所定义的子组。本领域普通技术人员应当清楚，该子组的构成仅仅将在内容或背景中相同的一组图像分组。在为查询图像定义按比例缩小图像的子组的情况中，在该子组内将处理图像搜索。 但是，在该子组未定义的情况中，将在图像数据库414-1到414-n处存储的多个按比例缩小图像上处理该图像搜索。
在由一个或多个图像匹配服务器为该查询图像识别出一个或多个匹配的情况中， 将识别匹配列表发送给该查询服务器402.该识别匹配可能包括该电影‘X’的海报的图像， 其可能是旋转或缩放版本。该识别匹配同样能够包括看起来与该电影‘X’海报相同的电影海报的图像。例如，如果该电影‘X’是史莱克则该识别匹配将包括史莱克、史莱克2或史莱克3的海报图像。进一步地，该计分模块409将分数指定给该识别匹配列表中的识别匹配。 计分功能确保了在该识别匹配列表中的最可能的匹配被指定有最高分数，以及相同地，其他匹配被分级，基于他们相对于该查询图像的关联度。基于该指定的分数，该识别匹配被按照该指定分数的递减顺序进行分类。通过该图像搜索获得的对应于该电影‘X’海报的最可能匹配图像，被指定有该最高分，将处于该分类列表中的顶端，以及看起来与该电影‘X’海报相同的图像将处于该分类列表中的较低位置。最后，可选择一个或多个图像，例如，来自该分类列表的最上面的三个或四个图像，作为对应于该电影‘X’海报的匹配。本发明促进该查询图像在一组分布式图像匹配服务器的图像数据库内被匹配，因此，用于处理该图像搜索的图像数据库增加。作为在该组分布式图像匹配服务器中处理该图像搜索的结果，用于存储该图像数据库的服务器的总数增加，因而，更大批的参考图像可被存储在该图像数据库中用于处理该图像搜索。因此，可匹配查询图像的参考图像的数量增加。进一步地，更可取地，该组分布式图像匹配服务器的每一个图像匹配服务器同时接收到该请求(即查询图像或从该查询图像处提取的一组特征点)并启动该图像搜索。结果是，需要较少时间用来识别一个或多个匹配图像。同样，如较早所解释的一样，该图像搜索可更可取地在所有该图像匹配服务器处被处理以识别一个或多个匹配图像，或在另一种场景中，当该图像匹配服务器的任意一个识别出一个或多个匹配图像，可在所有该图像匹配服务器上停止该图像搜索。进一步地，对应于该查询图像的特征点被提取在该查询服务器处，该查询服务器削减了该组分布式图像匹配服务器的每一个图像匹配服务器提取该特征点的成果，并因此增加了该整个图像匹配系统的吞吐量。另外，可将该查询图像匹配于存储在该图像数据库中的按比例缩小图像，结果是，可在给定时间匹配从各个用户处接收到的更多数量的查询图像。同样，用于识别该匹配的时间减少了相当多的数量，此后，在一实施方案中，该图像匹配服务器将仅仅将该查询图像与该正常大小图像匹配，如果在存储在该图像数据库处的按比例缩小图像内未识别出该匹配。匹配该按比例缩小图像的特征点是有利的，当该按比例缩小图像占据了较少空间并因此在该图像数据库中存在更多空间可用来存储来自其他源处的图像。另外，匹配该按比例缩小图像的特征点需要更少时间用来识别该匹配图像。最后，该预定计分功能有助于指定分数并从由该组分布式图像匹配服务器的不同图像匹配服务器所发现的识别匹配列表处选择一个或多个匹配，因而，导致多余结果的多个相同匹配图像可被有效区分并消除或被放置在提供给该用户的匹配图像列表中的较低位置。本发明可被用于例如计算机视觉、对象识别、运动跟踪和3D建模的领域中。图像匹配是在所有这些领域中需要的基本特征。该图像可以是不同格式，例如联合图像专家组 (JPEG)、图形交互格式(GIF)、位图(BMP)等。这些图像的质量和分辨率从一个应用到另一个应用可变化。进一步地，该图像可能不完全相同除了彼此的变换版本。该系统，如在本发明中所述的一样，或其任意组件，可以计算机系统的形式来实现。计算机系统的常见实施例包括通用计算机、编程微处理器、微控制器、外部集成电路元
10件和能够实施组成本发明方法的步骤的其他装置或装置布置。用于该图像匹配系统中的服务器包括计算机、输入装置和显示单元。该计算机包括微处理器，其连接到通信总线。该服务器通用包括存储器，其可包括随机访问存储器 (RAM)和只读存储器(ROM)。进一步地，该服务器包括存储装置，其可以是硬盘或可移动存储驱动器如软盘驱动器、光盘驱动器等等。而且，该存储装置可能是在该服务器上的装载计算机程序或其他指令的其他相同装置。为了处理输入数据，该计算机系统执行存储在一个或多个存储元件中的一组指令。该存储元件可同样根据需要存储数据或其他信息，以及可以是在该处理机器中出现的信息源或物理存储器元件。该组指令可包括各种命令，其指示该处理机器实施特定任务，如组成本发明方法的步骤。该组指令可以是软件程序的形式。该软件可以是各种形式，如系统或应用软件。该软件同样可以是各个程序的集合、具有较大程序的程序模块或程序模块一部分的形式。进一步地，该软件可包括以面向对象编程形式的模块化编程。该处理机器对输入数据的处理可作为用户命令或先前处理结果的响应。条款1. 一种图像匹配方法，该方法包括在查询服务器处接收查询图像；将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理对应于该查询图像的图像搜索；在该查询服务器处接收对应于该查询图像的来自该一个或多个图像匹配服务器处的识别匹配列表，其中在该一个或多个图像匹配服务器处基于该图像搜索来识别该匹配列表；和基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。条款2.如条款1所述的方法，进一步包括在该查询服务器处将该查询图像比例化成预定大小，在将该请求发送到该组分布式图像匹配服务器的一个或多个图像匹配服务器处之前。条款3.如条款1所述的方法，进一步包括提取与该查询图像相关的一组特征点。条款4.如条款3所述的方法，其中在该查询服务器处提取与该查询图像相关的该组特征点，在将该请求发送到该组分布式图像匹配服务器的一个或多个图像匹配服务器处
> . 、r -条款5.如条款3所述的方法，其中在该组分布式图像匹配服务器的一个或多个图像匹配服务器处提取与该查询图像相关的该组特征点，在该图像匹配服务器处图像搜索之
、r -刖。条款6.如条款1所述的方法，进一步包括复制多个图像的按比例缩小形状。条款7.如条款6所述的方法，进一步包括分别在图像数据库和该组分布式图像匹配服务器的一个或多个图像匹配服务器的特征数据库处存储该多个复制图像和与该多个复制图像相关的一组特征点。条款8.如条款7所述的方法，其中该图像搜索是基于将从该查询图像处提取的一组特征点与存储在该组分布式图像匹配服务器的一个或多个图像匹配服务器处的该多个复制图像相关的该组特征点匹配。
条款9.如条款7所述的方法，进一步包括将子组指定给该一个或多个图像匹配服务器的图像数据库，其中基于以下一个或多个来选择该子组i.对应于特定图像组接收到的查询图像的数量；和ii.在该图像匹配服务器的图像数据库中存储的图像总数。条款10.如条款1所述的方法，进一步包括基于计分功能指定对应于该识别匹配的分数。条款11.如条款10所述的方法，其中从该识别匹配列表处选择一个或多个匹配包括将识别匹配列表按该分数的递减顺序分类。条款12.如条款1所述的方法，其中该请求包括该查询图像。条款13.如条款1所述的方法，其中该请求包括从该查询图像处提取的一组特征
点ο条款14. 一种服务器，包括接收器，接收查询图像；提取模块，从该查询图像处提取一组特征点；切分模块，将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理图像搜索；合并模块，配置用来i.接收来自该一个或多个图像匹配服务器处的对应于该查询图像的识别匹配列表，其中在该一个或多个图像匹配服务器处基于该图像搜索来识别该匹配列表；和
ii.基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。条款15.如条款14所述的服务器，进一步包括计分模块，配置用来指定对应于该识别匹配中每一个的分数。条款16. —种系统，包括查询服务器包括a.接收器，接收查询图像；b.切分模块，将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理图像搜索；c.合并模块，配置用来i.接收来自该图像匹配服务器处的对应于该查询图像的识别匹配列表，其中在该图像匹配服务器处基于该图像搜索来识别该匹配列表；和ii.基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配；和一组分布式图像匹配服务器，包括用于从该查询图像处提取特征点的提取模块。条款17.如条款16所述的系统，进一步包括复制模块，复制多个图像的按比例缩小形状。条款18.如条款17所述的系统，其中该图像匹配服务器进一步包括图像数据库和特征数据库，用来分别存储该多个复制图像和与该多个复制图像相关的一组特征点。条款19.如条款18所述的系统，其中该组分布式图像匹配服务器的图像匹配服务器进一步包括图像搜索模块，用来将从该查询图像处提取的一组特征点与存储在该特征数据库中该多个复制图像相关的该组特征点匹配。
条款20. —种用于计算机的计算机程序产品，该计算机程序产品包括存储在具有其中体现为图像匹配的计算机可读程序代码的计算机可使用介质中的指令，该计算机可读程序代码包括a.程序指令，在查询服务器处接收查询图像；b.程序指令，将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理对应于该查询图像的图像搜索；c.程序指令，在该查询服务器处接收对应于该查询图像的来自该一个或多个图像匹配服务器处的识别匹配列表，其中在该一个或多个图像匹配服务器处基于该图像搜索来识别该匹配列表；和d.程序指令，基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。当已经描述和说明了本发明的优选实施方案时，应当清楚，本发明不仅仅限于这些实施方案。对于本领域技术人员而言，许多修改、变化、变体、替代和等同物将是显而易见的而不背离如在该权利要求中所述的本发明的精神和范围。
权利要求
1.一种图像匹配方法，该方法包括 在查询服务器处接收查询图像；将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器处以处理对应于该查询图像的图像搜索；在该查询服务器处接收对应于该查询图像的来自该一个或多个图像匹配服务器处的识别匹配列表，其中在该一个或多个图像匹配服务器处基于该图像搜索来识别该匹配列表；和基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。
2.如权利要求1所述的方法，进一步包括在该查询服务器处将该查询图像比例化成预定大小，在将该请求发送到该组分布式图像匹配服务器的一个或多个图像匹配服务器处之前。
3.如权利要求1所述的方法，进一步包括提取与该查询图像相关的一组特征点。
4.如权利要求3所述的方法，其中在该查询服务器处提取与该查询图像相关的该组特征点，在将该请求发送到该组分布式图像匹配服务器的一个或多个图像匹配服务器处之前°
5.如权利要求3所述的方法，其中在该组分布式图像匹配服务器的一个或多个图像匹配服务器处提取与该查询图像相关的该组特征点，在该图像匹配服务器处图像搜索之前。
6.如权利要求1所述的方法，进一步包括复制多个图像的按比例缩小形状。
7.如权利要求6所述的方法，进一步包括分别在图像数据库和该组分布式图像匹配服务器的一个或多个图像匹配服务器的特征数据库处存储该多个复制图像和与该多个复制图像相关的一组特征点。
8.如权利要求7所述的方法，其中该图像搜索是基于将从该查询图像处提取的一组特征点与存储在该组分布式图像匹配服务器的一个或多个图像匹配服务器处的该多个复制图像相关的该组特征点匹配。
9.如权利要求7所述的方法，进一步包括将子组指定给该一个或多个图像匹配服务器的图像数据库，其中基于以下一个或多个来选择该子组 i.对应于特定图像组接收到的查询图像的数量；和 .在该图像匹配服务器的图像数据库中存储的图像总数。
10.如权利要求1所述的方法，进一步包括基于计分功能指定对应于该识别匹配的分数。
11.如权利要求10所述的方法，其中从该识别匹配列表处选择一个或多个匹配包括将识别匹配列表按该分数的递减顺序分类。
12.如权利要求1所述的方法，其中该请求包括该查询图像。
13.如权利要求1所述的方法，其中该请求包括从该查询图像处提取的一组特征点。
全文摘要
本发明提供一种图像匹配方法和系统。该方法包括在查询服务器处接收查询图像。进一步地，该方法包括将请求发送到一组分布式图像匹配服务器的一个或多个图像匹配服务器以处理对应于该查询图像的图像搜索。而且，该方法包括在该查询服务器处接收对应于该查询图像的来自该图像匹配服务器处的识别匹配列表，其中基于在该图像匹配服务器处的图像搜索来识别该匹配列表。此外，该方法包括基于对应于该识别匹配的分数从该识别匹配列表处选择一个或多个匹配。
文档编号G06F15/16GK102317929SQ201080008793
公开日2012年1月11日 申请日期2010年2月17日 优先权日2009年2月18日
发明者G·D·拉库玛, K·梅农, M·德尔加迪略, S·拉梅什 申请人:A9.Com有限公司