用于视觉搜索的稳健特征匹配的制作方法
【专利摘要】本发明揭示用于针对视觉搜索执行稳健特征匹配的技术。一种包括接口和特征匹配单元的设备可实施这些技术。所述接口接收查询特征描述符。所述特征匹配单元接着计算查询特征描述符与参考特征描述符之间的距离，且根据群集算法确定所述所计算距离的第一群组和所述所计算距离的第二群组，其中所计算距离的此第二群组包括所述所计算距离中的两者或两者以上。所述特征匹配单元接着基于所述所计算距离的所述所确定第一群组和第二群组来确定所述查询特征描述符是否与所述参考特征描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配。
【专利说明】用于视觉搜索的稳健特征匹配
【技术领域】【背景技术】
[0001]本发明涉及图像处理系统，且更明确地说，涉及用图像处理系统执行视觉搜索。
[0002]在计算装置或计算机的背景下的视觉搜索涉及使计算机或其它装置能够在一个或一个图像内的其它对象和/或特征之中执行对对象和/或特征的搜索的技术。对视觉搜索的最近兴趣已导致使计算机能够在各种各样的不同图像条件(包含图像尺度、噪声、照度和局部几何失真的变化)下识别部分遮蔽对象和/或特征的算法。在此相同时间期间，移动装置已出现了特征相机，但其可具有受限的用户接口来输入文本或以其它方式与移动装置介接。移动装置和移动装置应用程序的开发者已试图利用移动装置的相机来增强与移动装置的用户交互。
[0003]为了说明一种增强，移动装置的用户可利用移动装置的相机来在商店购物时捕获任何给定产品的图像。移动装置可接着在用于各种参考图像的一组所存档特征描述符内起始视觉搜索算法，而基于匹配的参考图像来识别图像(其可称为“搜索图像”)中所展示的产品。在识别所述产品之后，移动装置可接着起始因特网的搜索，且呈现关于所识别产品的含有网页的信息，包含从附近商户和/或在线商户可购买所述产品的最低价格。以此方式，用户可避免必须经由键盘(其在作为用户与此相互作用的图像呈现于触摸屏上的意义上，通常为“虚拟”键盘)或其它输入机构与移动装置介接，但可仅捕获搜索图像来起始视觉搜索和后续网络搜索。
[0004]虽然存在配备有相机且对视觉搜索的接入权的移动装置可使用的若干应用程序，但用于实施视觉搜索的视觉搜索算法(例如尺度不变特征变换(SIFT)算法)在执行特征匹配方面可能是有缺陷的。特征匹配涉及视觉搜索算法的一方面，在此期间，对照从参考图像提取的参考特征描述符，匹配从搜索图像提取的搜索特征描述符。
[0005]为了说明这些缺陷，考虑SIFT算法，其在搜索特征描述符和参考特征描述符各自从搜索和参考图像的重复特征(例如跨建筑物重复的独特的拱门或窗户)提取时的例子中，可丢弃原本将与搜索特征描述符匹配的参考特征描述符。此外，SIFT算法通常响应于任何给定视觉搜索而仅返回单个图像，其中通过SIFT算法在算法上将此所返回的图像确定为“最佳匹配”。然而，用户无法以与SIFT算法相同的方式确定什么构成“最佳匹配”，这可导致用户受挫，因为单个SIFT最佳匹配结果无法匹配用户的预期。
【发明内容】
[0006]大体来说，本发明描述促进在执行视觉搜索时的特征匹配的技术。所述技术可通过提供能够提供搜索结果的等级列表的特征匹配算法来改进特征匹配。所述技术可通过提供适应重复特征的特征匹配算法来改进稳健性。不是在与当前搜索特征描述符匹配的两个或两个以上参考特征定位成彼此接近时(如由例如SIFT算法提供(在两个或两个以上匹配的参考特征描述符太靠近的前提下，这些匹配的参考特征描述符不可能是唯一的且因此不可能促进搜索图像的分类))否决参考特征描述符，所述技术可利用群集算法来更适当地确定在执行特征匹配时的唯一性。此外，所述技术可促进匹配的参考图像的等级列表的产生和返回，而非如常规视觉搜索算法中常见地简单地返回单一参考图像。匹配的参考图像的等级列表可向用户提供选择用户认为“最佳匹配”的内容的机会，而非被迫接受关于构成最佳匹配的内容的算法确定。
[0007]在一个实例中，一种用于利用视觉搜索装置执行视觉搜索的方法，所述方法包括利用视觉搜索装置计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符的每一者之间的距离，其中所述视觉搜索查询起始视觉搜索。所述方法还包括利用视觉搜索装置根据群集算法确定所计算距离的一者或一者以上的第一群组和所计算距离的第二群组，其中所计算距离的第一群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第二群组中的那些所计算距离接近查询特征描述符的那些所计算距离，且其中所计算距离的第二群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第一群组中的那些所计算距离远离查询特征描述符的那些所计算距离。所述方法进一步包括利用视觉搜索装置基于所确定的所计算距离的第一群组和所计算距离的第二群组确定查询特征描述符是否与所述多个参考特征描述符中的与所计算距离中的最小者相关联的一个参考特征描述符匹配。
[0008]在另一实例中，一种用于执行视觉搜索的设备包括用于计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符的每一者之间的距离的装置，其中所述视觉搜索查询起始视觉搜索。所述设备还包括用于根据群集算法确定所计算距离的一者或一者以上的第一群组和所计算距离的第二群组的装置，其中所计算距离的第一群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第二群组中的那些所计算距离接近查询特征描述符的那些所计算距离，且其中所计算距离的第二群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第一群组中的那些所计算距离远离查询特征描述符的那些所计算距离。所述设备进一步包括用于基于所确定的所计算距离的第一群组和所计算距离的第二群组确定查询特征描述符是否与所述多个参考特征描述符中 与所计算距离中的最小者相关联的一个参考特征描述符匹配的
>J-U ρ?α装直。
[0009]在另一实例中，一种用于执行视觉搜索的设备包括:接口，其接收查询特征描述符；以及特征匹配单元，所述特征匹配单元:计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符的每一者之间的距离，其中所述视觉搜索查询起始视觉搜索；根据群集算法确定所计算距离的一者或一者以上的第一群组和所计算距离的第二群组，其中所计算距离的第一群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第二群组中的那些所计算距离接近查询特征描述符的那些所计算距离，且其中所计算距离的第二群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第一群组中的那些所计算距离远离查询特征描述符的那些所计算距离；以及基于所确定的所计算距离的第一群组和所计算距离的第二群组确定查询特征描述符是否与所述多个参考特征描述符中与所计算距离中的最小者相关联的一个参考特征描述符匹配。
[0010]在另一实例中，一种包括指令的计算机可读媒体，所述指令在被执行时致使一个或一个以上处理器:计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符的每一者之间的距离，其中所述视觉搜索查询起始视觉搜索；根据群集算法确定所计算距离的一者或一者以上的第一群组和所计算距离的第二群组，其中所计算距离的第一群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第二群组中的那些所计算距离接近查询特征描述符的那些所计算距离，且其中所计算距离的第二群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第一群组中的那些所计算距离远离查询特征描述符的那些所计算距离；以及基于所确定的所计算距离的第一群组和所计算距离的第二群组确定查询特征描述符是否与所述多个参考特征描述符中与所计算距离中的最小者相关联的一个参考特征描述符匹配。
[0011]在另一实例中，一种系统包括:客户端装置，其借助搜索查询发射查询特征描述符以起始视觉搜索；数据库，其存储多个参考查询描述符；以及视觉搜索服务器装置，其执行视觉搜索。所述视觉搜索服务器装置包括:接口，其借助搜索查询接收查询特征描述符；以及特征匹配单元，所述特征匹配单元:计算查询特征描述符与所述多个参考特征描述符的每一者之间的距离；根据群集算法确定所计算距离中的一者或一者以上的第一群组和所计算距离的第二群组，其中所计算距离的第一群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第二群组中的那些所计算距离接近查询特征描述符的那些所计算距离，且其中所计算距离的第二群组包含指示所述多个参考特征描述符中的相关联一者相对于被确定为在所计算距离的第一群组中的那些所计算距离远离查询特征描述符的那些所计算距离；以及基于所确定的所计算距离的第一群组和所计算距离的第二群组确定查询特征描述符是否与所述多个参考特征描述符的与所计算距离中的最小者相关联的一个参考特征描述符匹配。
[0012]一个或一个以上实例的细节陈述于附图和以下描述中。其它特征、目标和优点将从所述描述和图式以及从权利要求书中显而易见。
【专利附图】
【附图说明】
[0013]图1是说明实施本发明中所描述的稳健特征描述符匹配技术的图像处理系统的框图。
[0014]图2是更详细地说明图1的特征匹配单元的框图。
[0015]图3A和3B是说明实施本发明所描述的特征匹配技术中的视觉搜索服务器的示范性操作的流程图。
[0016]图4是说明特征提取单元借以确定高斯差(DoG)金字塔以供执行关键点提取中使用的过程的图。
[0017]图5是说明在确定高斯差(DoG)金字塔之后的对关键点的检测的图。
[0018]图6是说明特征提取单元借以确定梯度分布和定向直方图的过程的图。
[0019]图7是说明特征提取单元借以确定梯度分布和定向直方图的过程的图。
【具体实施方式】
[0020]图1是说明实施本发明中所描述的稳健特征匹配技术的图像处理系统10的框图。在图1的实例中，图像处理系统10包含客户端装置12、视觉搜索服务器14和网络16。客户端装置12在此实例中表示移动装置，例如膝上型计算机、所谓的笔记本型计算机、个人数字助理(PDA)、蜂窝式或移动电话或手持机(包含所谓的“智能电话”)、全球定位系统(GPS)装置、数码相机、数字媒体播放器、游戏装置，或能够与视觉搜索服务器14通信的任何其它移动装置。虽然本发明中相对于视觉搜索服务器14来描述，但本发明中所描述的技术不应限于视觉搜索服务器。而是，所述技术可由能够实施基于局部特征的视觉搜索算法的特征匹配方面的任何装置来实施。
[0021]视觉搜索服务器14表示服务器装置，其接受通常呈传输控制协议(TCP)连接的形式的连接，且以其自己的TCP连接来响应，以形成借以接收查询数据且提供识别数据的TCP会话。视觉搜索服务器14可表示视觉搜索服务器装置，其中视觉搜索服务器14执行或以其它方式实施基于局部特征的视觉搜索算法，以识别一个或一个以上参考图像内的一个或一个以上特征或对象。
[0022]网络16表示公共网络，例如因特网，其互连客户端装置12与视觉搜索服务器14，但网络16还可为私人网络。通常，网络16实施开放系统互连(OSI)模型的各个层以促进通信或数据在客户端装置12与视觉搜索服务器14之间的传送。网络16通常包含任何数目的网络装置，例如交换机、集线器、路由器、服务器，以实现数据在客户端装置12与视觉搜索服务器14之间的传送。虽然展示为单个网络，但网络16可包括经互连以形成网络16的一个或一个以上子网络。这些子网络可包括服务提供商网络、接入网络、后端网络或公共网络中通常使用的任何其它类型的网络，以实现遍及网络16的数据传送。虽然在此实例中描述为公共网络，但网络16可包括公众通常不可接入的私人网络。
[0023]如图1的实例中所示，客户端装置12包含特征提取单元18、特征压缩单元20、接口 22和显示器24。特征提取单元18表示根据特征提取算法(例如尺度不变特征变换算法，或任何其它用于提取特征的特征描述提取算法)执行特征提取的单元。通常，特征提取单元18对图像数据26进行操作，可使用包含于客户端装置12内的相机或其它图像捕获装置(图1的实例中未展示)在本地捕获图像数据26。或者，客户端装置12可借助于从网络16、在本地经由与另一计算装置的有线连接，或经由任何其它有线或无线形式的通信下载此图像数据26来存储图像数据26，而不自己捕获此图像数据。
[0024]虽然下文更详细地描述，但概括地说，特征提取单元18可通过高斯模糊图像数据26来提取特征描述符28，以产生两个连续的经高斯模糊的图像。高斯模糊通常涉及以所定义的尺度用高斯模糊函数来卷积图像数据26。特征提取单元18可递增地卷积图像数据26，其中通过尺度空间中的常数将所得经高斯模糊图像彼此分离。特征提取单元18可堆叠这些经高斯模糊的图像，以形成可称为“高斯金字塔”或“高斯差金字塔”的内容。特征提取单元18将两个连续堆叠的经高斯模糊的图像进行比较，以产生高斯差(DoG)图像。DoG图像可形成称为“DoG空间”的内容。
[0025]基于此DoG空间，特征提取单兀18可检测关键点,其中关键点指代特定样本点周围的像素区或小块，或图像数据26中从几何观点看潜在感兴趣的像素。通常，特征提取单元18将关键点识别为所构造的DoG空间中的局部最大值和/或局部最小值。特征提取单元18接着基于曾检测到关键点的小块的局部图像梯度的方向来为这些关键点指派一个或一个以上定向或方向。为了表征这些定向，特征提取单元18可依据梯度定向直方图来界定定向。特征提取单元18接着将特征描述符28界定为位置和定向(例如，借助于梯度定向直方图)。在界定特征描述符28之后，特征提取单元18将此特征描述符28输出到特征压缩单元20。通常，特征提取单元18使用此过程将一组特征描述符28输出到特征压缩单元20。
[0026]特征压缩单元20表示压缩或以其它方式相对于特征提取单元18用来界定这些特征描述符的数据量来减少用以界定特征描述符(例如特征描述符28)的数据量的单元。为了压缩特征描述符28，特征压缩单元20可执行一种形式的量化(称为类型量化)来压缩特征描述符28。在此方面中，不是整体发送由特征描述符28界定的直方图，而是特征压缩单元20执行类型量化来将直方图表示为所谓的“类型”。通常，一种类型为直方图的经压缩表示(例如，在所述类型表示直方图的形状而不是整个直方图的情况下)。所述类型通常表示符号的一组频率，且在直方图的上下文中，可表示直方图的梯度分布的频率。换句话说，类型可表示产生特征描述符28中的对应一者的来源的真实分布的估计。在此方面中，所述类型的编码和发射可被视为等效于编码和发射分布的形状，因为其可基于特定样本来估计(即，在此实例中，其为由特征描述符28中的对应一者界定的直方图)。
[0027]在给定特征描述符28和量化等级(其可在本文中在数学上表示为“η”)的情况
下，特征压缩单元20为特征描述符28中的每一者计算具有参数Ic1.....km (其中m表示维
度的数目)的类型。每一类型可表示具有给定公分母的一组有理数，其中所述有理数总计为一。特征描述符28可接着使用字典式枚举来将此类型编码为索引。换句话说，对于具有给定公分母的所有可能类型，特征压缩单元20基于这些类型的字典式排序将索引有效地指派给这些类型中的每一者。特征压缩单元20进而将特征描述符28压缩为单个经字典式布置的索引，且以查询数据30的形式将这些经压缩的特征描述符输出到接口 22。
[0028]接口 22表示能够经由网络16与视觉搜索服务器14通信的任何类型的接口，包含无线接口和有线接口。接口 22可表示无线蜂窝式接口，且包含必要的硬件或其它组件，例如天线、调制器等，以经由无线蜂窝式网络与网络16通信，且经由网络16与视觉搜索服务器14通信。在此例子中，尽管图1的实例中未展示，但网络16包含无线蜂窝式接口 22借以与网络16通信的无线蜂窝式接入网络。显示器24表示能够显示图像(例如图像数据26，或任何其它类型的数据)的任何类型的显示单元。显示器24可例如表示发光二极管(LED)显示装置、有机LED(OLED)显示装置、液晶显示器(LCD)装置、等离子体显示装置或任何其它类型的显示装置。
[0029]视觉搜索服务器14包含接口 32、特征重构单元34、特征匹配单元36和特征描述符数据库38。视觉搜索服务器14的接口 32可类似于客户端装置12的接口 22，因为接口32可表示能够与网络(例如网络16)通信的任何类型的接口。特征重构单元34表示对经压缩特征描述符进行解压缩以从经压缩特征描述符重构特征描述符的单元。特征重构单元34可执行与特征压缩单元20所执行的操作相逆的操作，因为特征重构单元34执行量化的逆操作(通常称为重构)，以从经压缩特征描述符重构特征描述符。
[0030]特征匹配单元36表示执行特征匹配以基于所重构的特征描述符来识别图像数据26中的一个或一个以上特征或对象的单元。特征匹配单元36可存取特征描述符数据库38以执行此特征识别，其中特征描述符数据库38存储界定特征描述符且使这些特征描述符中的至少一些与包含从图像数据26提取的对应特征或对象的参考图像相关联的数据。这些参考图像还可与识别参考图像的一个或一个以上主题、特征或对象的识别数据相关联。数据库38可使用经压缩k维树(KD树)来存储此数据。
[0031]在基于经重构特征描述符(例如经重构特征描述符40 (其在本文中还可称为“查询数据40”，因为此数据表示用以执行视觉搜索或查询的识别搜索查询数据))成功识别从图像数据26提取的特征或对象后，特征匹配单元36即刻返回一个或一个以上匹配参考图像以及任何相关联的识别数据，以作为查询结果数据42。
[0032]最初，客户端装置12的用户与客户端装置12交互以起始视觉搜索。所述用户可与由显示器24呈现的用户接口或其它类型的接口交互，以选择查询图像数据26，且接着起始视觉搜索以识别一个或一个以上特征或对象，其为存储为查询图像数据26的图像的焦点。举例来说，查询图像数据26可指定地标的图像，例如比萨斜塔。用户可能已使用客户端装置12的图像捕获单元(例如，相机)捕获此图像，或者从网络16下载此图像，或经由与另一计算装置的有线或无线连接在本地下载此图像。在任一情况下，在选择查询图像数据26之后，在此实例中，用户起始视觉搜索以识别地标。
[0033]响应于起始视觉搜索，客户端装置12调用特征提取单元18来提取至少一个特征描述符28，且通常提取若干个特征描述符28，其描述通过查询图像数据26的分析而找到的所谓的“关键点”中的一者。特征提取单元18将此查询特征描述符28转发到特征压缩单元20，其继续压缩查询特征描述符28且产生查询数据30。特征压缩单元20将查询数据30输出到接口 22，其经由网络16将查询数据30转发到视觉搜索服务器14。
[0034]视觉搜索服务器14的接口 32接收查询数据30。响应于接收到查询数据30，视觉搜索服务器14调用特征重构单元34。特征重构单元34基于查询数据30重构查询特征描述符28，且输出经重构的特征描述符40。特征匹配单元36接收经重构的查询特征描述符40，且基于查询特征描述符40执行特征匹配。特征匹配单元36通过针对查询特征描述符40中的每一者来存取特征描述符数据库38且遍历由特征描述符数据库38存储为数据的参考特征描述符以识别大体上匹配的特征描述符，而执行特征匹配。在基于经重构的查询特征描述符40成功地识别从图像数据26提取的特征后，特征匹配单元36即刻输出与匹配的参考特征描述符相关联的一个或一个以上匹配参考图像以及任何相关联的识别数据，以作为查询结果数据42。接口 32接收此查询结果数据42，并经由网络16将查询结果数据42转发到客户端装置12。
[0035]客户端装置12的接口 22接收此查询结果数据42，且通常将此查询结果数据42转发到调用搜索查询的任何应用程序。就是说，客户端装置12通常执行一个或一个以上应用程序，其可调用视觉搜索且管理所返回的查询结果数据(例如查询结果数据42)的呈现。此应用程序可与显示器24介接，以呈现查询结果数据42。在一些例子中，应用程序可执行因特网搜索或其它操作，以基于由查询结果数据42界定的识别数据来检索额外信息，以扩充查询结果数据42。在此例子中，查询结果数据42的识别数据可包括地标的名称(即在此实例中为比萨斜塔)、建造比萨斜塔的建造者的名字、比萨斜塔的完工日期，以及与此地标有关的任何其它信息。
[0036]虽然视觉搜索可促进与具有较小屏幕且/或有限输入机构(例如，提供可能限制或阻挠用户对文本的输入的极少触觉反馈的虚拟键盘)的客户端装置的用户交互，且通常在促进各种应用方面提供若干益处，但在一些例子中，一些视觉搜索算法，例如尺度不变特征变换(SIFT)算法在执行特征匹配方面可能是有缺陷的。为了说明这些缺陷，在查询特征描述符和参考特征描述符各自从搜索和参考图像的重复特征(例如跨建筑物(例如比萨斜塔)重复的独特的拱门或窗户)提取时的例子中，SIFT算法可丢弃原本将会与搜索或查询特征描述符匹配的参考特征描述符。此外，SIFT算法通常响应于任何给定视觉搜索而仅返回单个图像，其中通过SIFT算法在算法上将此所返回的图像确定为“最佳匹配”。然而，用户无法以与SIFT算法相同的方式确定什么构成“最佳匹配”，这可导致用户受挫，因为单个SIFT最佳匹配结果无法匹配用户的预期。
[0037]更具体地说，虚拟搜索算法(包含SIFT算法)使用可被称为“相似性量度”的东西实施特征匹配。SIFT算法使用距离比率测试来测量查询特征描述符与参考特征描述符中的每一者有多相似。此距离比率测量查询特征描述符中的当前一者的最近参考特征描述符与查询特征描述符的所述当前一者的第二近(再次在特征描述符空间中)特征描述符有多远。如果最近与第二近参考特征描述符非常近(如阈值所识别)，则SIFT算法确定查询特征描述符中的当前一者不是唯一的，且因此匹配是不可靠的。此距离比率相似性量度可由以下等式⑴表示:
[0038]
【权利要求】
1.一种用于利用视觉搜索装置执行视觉搜索的方法，所述方法包括: 利用所述视觉搜索装置来计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符中的每一者之间的距离，其中所述视觉搜索查询起始所述视觉搜索； 利用所述视觉搜索装置根据群集算法确定所述所计算距离中的一者或一者以上的第一群组和所述所计算距离的第二群组，其中所述所计算距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的相关联一者相对于所述所计算距离中被确定为在所计算距离的所述第二群组中的那些所述所计算距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算距离的所述第二群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算距离中被确定为在所述所计算距离中的所述一者或一者以上的所述第一群组中的那些所述所计算距离远离所述查询特征描述符的那些所述所计算距离；以及 利用所述视觉搜索装置基于所述所确定的所述所计算距离的第一群组和所述所计算距离的所述第二群组来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配。
2.根据权利要求1所述的方法，其中确定所述所计算距离中的一者或一者以上的所述第一群组和所述所计算距离的所述第二群组包含根据k均值群集算法、高斯拟合算法和图形切割算法中的一者或一者以上来确定所述所计算距离中的所述一者或一者以上的所述第一群组和所述所计算距离的所述第二群组。
3.根据权利要求1所述的方法，其中确定所述查询特征描述符是否与所述多个参考特征描述符中的一者匹配包含: 计算所述所计算距离中被确定为在所述第一群组中的两者或两者以上的平均值，以产生第一群组距离平均值； 计算被确定为在所述第二群组中的所述所计算距离的平均值，以产生第二群组距离平均值； 将所述第一群组距离平均值除以所述第二群组距离平均值，以产生平均距离比率量度； 将所述平均距离比率量度与阈值进行比较；以及 基于所述比较来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的所述最小者相关联的所述一个参考特征描述符匹配。
4.根据权利要求1所述的方法，其进一步包括: 确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在参考图像的所述唯一群组中的所述参考图像中的每一者指派选票； 基于所述所指派的选票将所述参考图像排序；以及 响应于所述视觉搜索查询而返回所述经排序的参考图像。
5.根据权利要求4所述的方法，其中向被确定为在参考图像的所述唯一群组中的所述参考图像中的每一者指派选票包含以下各者中的一者或一者以上: 向所述参考图像中的每一者指派恒定选票；指派与所述对应的所计算距离和所述查询特征描述符与所述多个参考特征描述符中的最接近一者之间的所计算距离相比的距离比率成比例的选票；以及 当所述第一群组的所述所计算距离从最小到最大被排序时，指派与所述第一群组内的所述对应的所计算距离的等级成比例的选票。
6.根据权利要求1所述的方法， 其中所述查询特征描述符包括多个查询特征描述符中根据视觉搜索算法从查询图像数据提取且借助所述视觉搜索查询提供的一个查询特征描述符，且其中所述方法进一步包括: 针对所述多个查询特征描述符中的每一者，计算所述多个查询特征描述符中的当前一者与所述多个参考特征描述符中的每一者之间的距离以产生所计算的多个距离； 针对所述多个距离中的每一者，根据所述群集算法确定所述所计算的多个距离的所述第一群组和所述所计算的多个距离的所述第二群组，其中所述所计算的多个距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所述所计算的多个距离的所述第二群组中的那些距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算的多个距离的所述第二群组包含所述所计算的多个距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所计算的多个距离的所述第一群组中的那些距离远离所述多个查询特征描述符中的所述当前一者的那些距离；以及 利用所述视觉搜索装置基于所述所确定的所述所计算的多个距离的第一群组和所述所计算的多个距离的所述第二群组来确定所述多个查询特征描述符中的每一者是否与所述多个参考特征描述符中与所述所计算的多个距离中的最小者相关联的一个参考特征描述符匹配。
7.根据权利要求6所述的方法，其进一步包括: 针对所述多个查询特征描述符中的每一者确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算的多个距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在针对所述多个查询特征描述符中的每一者而确定的参考图像的所述唯一群组中的所述参考图像中的每一者指派选票； 在相对于所述多个查询特征描述符中的每一者指派所述选票之后，基于所述所指派的选票将所述参考图像排序；以及 响应于所述视觉搜索查询而返回所述经排序的参考图像。
8.根据权利要求1所述的方法，其中根据基于局部特征的视觉搜索算法从查询图像提取所述查询特征描述符。
9.根据权利要求8所述的方法，其中所述基于局部特征的视觉搜索算法包括尺度不变特征变换SIFT算法。
10.根据权利要求1所述的方法，其进一步包括: 经由所述视觉搜索装置的接口从客户端装置接收所述查询特征描述符作为经压缩查询特征描述符；以及利用所述视觉搜索装置从所述经压缩查询特征描述符重构所述查询特征描述符。
11.一种用于执行视觉搜索的设备，所述设备包括: 用于计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符中的每一者之间的距离的装置，其中所述视觉搜索查询起始所述视觉搜索； 用于根据群集算法确定所述所计算距离中的一者或一者以上的第一群组和所述所计算距离的第二群组的装置，其中所述所计算距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的相关联一者相对于所述所计算距离中被确定为在所计算距离的所述第二群组中的那些所述所计算距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算距离的所述第二群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算距离中被确定为在所述所计算距离中的所述一者或一者以上的所述第一群组中的那些所述所计算距离远离所述查询特征描述符的那些所述所计算距离；以及 用于基于所述所确定的所述所计算距离的第一群组和所述所计算距离的所述第二群组来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配的装置。
12. 根据权利要求11所述的设备，其进一步包括用于根据k均值群集算法、高斯拟合算法和图形切割算法中的一者或一者以上来确定所述所计算距离中的所述一者或一者以上的所述第一群组和所述所计算距离的所述第二群组的装置。
13.根据权利要求11所述的设备，其进一步包括: 用于计算所述所计算距离中被确定为在所述第一群组中的两者或两者以上的平均值以产生第一群组距离平均值的装置； 用于计算被确定为在所述第二群组中的所述所计算距离的平均值以产生第二群组距离平均值的装置； 用于将所述第一群组距离平均值除以所述第二群组距离平均值以产生平均距离比率量度的装置； 用于将所述平均距离比率量度与阈值进行比较的装置；以及 用于基于所述比较来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的所述最小者相关联的所述一个参考特征描述符匹配的装置。
14.根据权利要求11所述的设备，其进一步包括: 用于确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算距离的那些参考特征描述符相关联的参考图像以使得所述组参考图像不包含重复的参考图像的装置； 用于向被确定为在参考图像的所述唯一群组中的所述参考图像中的每一者指派选票的装置； 用于基于所述所指派的选票将所述参考图像排序的装置；以及 用于响应于所述视觉搜索查询而返回所述经排序的参考图像的装置。
15.根据权利要求14所述的设备，其进一步包括以下各者中的一者或一者以上: 用于向所述参考图像中的每一者指派恒定选票的装置； 用于指派与所述对应的所计算距离和所述查询特征描述符与所述多个参考特征描述符中的最接近一者之间的所计算距离相比的距离比率成比例的选票的装置；以及 用于当所述第一群组的所述所计算距离从最小到最大被排序时指派与所述第一群组内的所述对应的所计算距离的等级成比例的选票的装置。
16.根据权利要求11所述的设备， 其中所述查询特征描述符包括多个查询特征描述符中根据视觉搜索算法从查询图像数据提取且借助所述视觉搜索查询提供的一个查询特征描述符，且其中所述设备进一步包括: 用于针对所述多个距离中的每一者计算所述多个查询特征描述符中的当前一者与所述多个参考特征描述符中的每一者之间的距离以产生所计算的多个距离的装置； 用于针对所述多个距离中的每一者根据所述群集算法确定所述所计算的多个距离的所述第一群组和所述所计算的多个距离的所述第二群组的装置，其中所述所计算的多个距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所述所计算的多个距离的所述第二群组中的那些距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算的多个距离的所述第二群组包含所述所计算的多个距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所计算的多个距离的所述第一群组中的那些距离远离所述多个查询特征描述符中的所述当前一者的那些距离；以及用于基于所述所确定的所述所计算的多个距离的第一群组和所述所计算的多个距离的所述第二群组来确定所述多个查询特征描述符中的每一者是否与所述多个参考特征描述符中与所述所计算的多个距离中的最小者相关联的一个参考特征描述符匹配的装置。
17.根据权利要求16所述的设备，其进一步包括: 用于针对所述多个查询特征描述符中的每一者确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算的多个距离的那些参考特征描述符相关联的参考图像以使得所述组参考图像不包含重复的参考图像的装置； 用于向被确定为在针对所述多个查询特征描述符中的每一者而确定的参考图像的所述唯一群组中的所述参考图像中的每一者指派选票的装置； 用于在相对于所述多个查询特征描述符中的每一者指派所述选票之后基于所述所指派的选票将所述参考图像排序的装置；以及 用于响应于所述视觉搜索查询而返回所述经排序的参考图像的装置。
18.根据权利要求11所述的设备，其中所述查询特征描述符是根据基于局部特征的视觉搜索算法从查询图像提取的。
19.根据权利要求18所述的设备，其中所述基于局部特征的视觉搜索算法包括尺度不变特征变换SIFT算法。
20.根据权利要求11所述的设备，其进一步包括: 用于经由视觉搜索装置的接口从客户端装置接收所述查询特征描述符作为经压缩查询特征描述符的装置；以及 用于利用所述视觉搜索装置从所述经压缩查询特征描述符重构所述查询特征描述符的装置。
21.—种经配置以执行视觉搜索的设备，所述设备包括: 接口，其经配置以接收查询特征描述符； 特征匹配单元，其:经配置以计算借助视觉搜索查询提供的所述查询特征描述符与多个参考特征描述符中的每一者之间的距离，其中所述视觉搜索查询起始所述视觉搜索；以及经配置以根据群集算法确定所述所计算距离中的一者或一者以上的第一群组和所述所计算距离的第二群组，其中所述所计算距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的相关联一者相对于所述所计算距离中被确定为在所计算距离的所述第二群组中的那些所述所计算距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算距离的所述第二群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算距离中被确定为在所述所计算距离中的所述一者或一者以上的所述第一群组中的那些所述所计算距离远离所述查询特征描述符的那些所述所计算距离，且其中所述特征匹配单元进一步经配置以基于所述所确定的所述所计算距离的第一群组和所述所计算距离的所述第二群组来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配。
22.根据权利要求21所述的设备，其中所述特征匹配单元经配置以根据k均值群集算法、高斯拟合算法和图形切割算法中的一者或一者以上来确定所述所计算距离中的所述一者或一者以上的所述第一群组和所述所计算距离的所述第二群组。
23.根据权利要求21所述的设备，其中所述特征匹配单元进一步经配置以:计算所述所计算距离中被确定为在所述第一群组中的两者或两者以上的平均值，以产生第一群组距离平均值；计算被确定为在所述第二群组中的所述所计算距离的平均值，以产生第二群组距离平均值；将所述第一群组距离平均值除以所述第二群组距离平均值，以产生平均距离比率量度；以及将所述平均距离比率量度与阈值进行比较且基于所述比较来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的所述最小者相关联的所述一个参考特征描述符匹配。
24.根据权利要求21所述的设备`，其中所述特征匹配单元进一步经配置以: 确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在参考图像的所述唯一群组中的所述参考图像中的每一者指派选票； 基于所述所指派的选票将所述参考图像排序；以及 响应于所述视觉搜索查询而返回所述经排序的参考图像。
25.根据权利要求24所述的设备，其中所述特征匹配单元经配置以通过以下各者中的一者或一者以上指派所述选票:向所述参考图像中的每一者指派恒定选票；指派与所述对应的所计算距离和所述查询特征描述符与所述多个参考特征描述符中的最接近一者之间的所计算距离相比的距离比率成比例的选票；以及当所述第一群组的所述所计算距离从最小到最大被排序时指派与所述第一群组内的所述对应的所计算距离的等级成比例的选票。
26.根据权利要求21所述的设备， 其中所述查询特征描述符包括多个查询特征描述符中根据视觉搜索算法从查询图像数据提取且借助所述视觉搜索查询提供的一个查询特征描述符，且 其中所述特征匹配单元进一步经配置以: 针对所述多个查询特征描述符中的每一者，计算所述多个查询特征描述符中的当前一者与所述多个参考特征描述符中的每一者之间的距离以产生所计算的多个距离； 针对所述多个距离中的每一者，根据所述群集算法确定所述所计算的多个距离的所述第一群组和所述所计算的多个距离的所述第二群组，其中所述所计算的多个距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所述所计算的多个距离的所述第二群组中的那些距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算的多个距离的所述第二群组包含所述所计算的多个距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所计算的多个距离的所述第一群组中的那些距离远离所述多个查询特征描述符中的所述当前一者的那些距离；以及 基于所述所确定的所述所计算的多个距离的第一群组和所述所计算的多个距离的所述第二群组来确定所述多个查询特征描述符中的每一者是否与所述多个参考特征描述符中与所述所计算的多个距离中的最小者相关联的一个参考特征描述符匹配。
27.根据权利要求26所述的设备，其中所述特征匹配单元进一步经配置以: 针对所述多个查询特征描述符中的每一者确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算的多个距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在针对所述多个查询特征描述符中的每一者而确定的参考图像的所述唯一群组中的所述参考图像中的每一者指派选票，在相对于所述多个查询特征描述符中的每一者指派所述选票之后基于所述所指派的选票将所述参考图像排序；且其中所述接口响应于所述视觉搜索查询而返回所述经排序的参考图像。
28.根据权利要求21所述的设备，其中所述查询特征描述符是根据基于局部特征的视觉搜索算法从查询图像提取的。
29.根据权利要求28所述的设备，其中所述基于局部特征的视觉搜索算法包括尺度不变特征变换SIFT算法。
30.根据权利要求21所述的设备， 其中所述接口经配置以从客户端装置接收作为经压缩查询特征描述符的所述查询特征描述符；且 其中所述设备包含特征重构单元，所述特征重构单元经配置以利用视觉搜索装置从所述经压缩查询特征描述符重构所述查询特征描述符。
31.一种包括指令的计算机可读媒体，所述指令在被执行时致使一个或一个以上处理器: 计算借助视觉搜索查询提供的查询特征描述符与多个参考特征描述符中的每一者之间的距离，其中所述视觉搜索查询起始视觉搜索 ； 根据群集算法确定所述所计算距离中的一者或一者以上的第一群组和所述所计算距离的第二群组，其中所述所计算距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的相关联一者相对于所述所计算距离中被确定为在所计算距离的所述第二群组中的那些所述所计算距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算距离的所述第二群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算距离中被确定为在所述所计算距离中的所述一者或一者以上的所述第一群组中的那些所述所计算距离远离所述查询特征描述符的那些所述所计算距离；以及 基于所述所确定的所述所计算距离的第一群组和所述所计算距离的所述第二群组来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配。
32.根据权利要求31所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令:根据k均值群集算法、高斯拟合算法和图形切割算法中的一者或一者以上来确定所述所计算距离中的所述一者或一者以上的所述第一群组和所述所计算距离的所述第二群组。
33.根据权利要求31所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 计算所述所计算距离中被确定为在所述第一群组中的两者或两者以上的平均值，以产生第一群组距离平均值； 计算被确定为在所述第二群组中的所述所计算距离的平均值，以产生第二群组距离平均值； 将所述第一群组距离平均值除以所述第二群组距离平均值，以产生平均距离比率量度； 将所述平均距离比率量度与·阈值进行比较；以及 基于所述比较来确定所述查询特征描述符是否与所述多个参考特征描述符中与所述所计算距离中的所述最小者相关联的所述一个参考特征描述符匹配。
34.根据权利要求31所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在参考图像的所述唯一群组中的所述参考图像中的每一者指派选票； 基于所述所指派的选票将所述参考图像排序；以及 响应于所述视觉搜索查询而返回所述经排序的参考图像。
35.根据权利要求34所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 向所述参考图像中的每一者指派恒定选票； 指派与所述对应的所计算距离和所述查询特征描述符与所述多个参考特征描述符中的最接近一者之间的所计算距离相比的距离比率成比例的选票；以及 当所述第一群组的所述所计算距离从最小到最大被排序时，指派与所述第一群组内的所述对应的所计算距离的等级成比例的选票。
36.根据权利要求31所述的计算机可读媒体， 其中所述查询特征描述符包括多个查询特征描述符中根据视觉搜索算法从查询图像数据提取且借助所述视觉搜索查询提供的一个查询特征描述符， 其中所述计算机可读媒体进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 针对所述多个查询特征描述符中的每一者，计算所述多个查询特征描述符中的当前一者与所述多个参考特征描述符中的每一者之间的距离以产生所计算的多个距离； 针对所述多个距离中的每一者，根据所述群集算法确定所述所计算的多个距离的所述第一群组和所述所计算的多个距离的所述第二群组，其中所述所计算的多个距离的所述第一群组包含所述所计算距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所述所计算的多个距离的所述第二群组中的那些距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算的多个距离的所述第二群组包含所述所计算的多个距离中指示所述多个参考特征描述符中的所述相关联一者相对于所述所计算的多个距离中被确定为在所计算的多个距离的所述第一群组中的那些距离远离所述多个查询特征描述符中的所述当前一者的那些距离；以及 基于所述所确定的所述所计算的多个距离的第一群组和所述所计算的多个距离的所述第二群组来确定所述多个查询特征描述符中的每一者是否与所述多个参考特征描述符中与所述所计算的多个距离中的最小者相关联的一个参考特征描述符匹配。
37.根据权利要求36所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 针对所述多个查询特征描 述符中的每一者确定参考图像的唯一群组以包含与所述多个参考特征描述符中从其根据参考特征描述符的对应群组计算被确定为在所述第一群组中的所述所计算的多个距离的那些参考特征描述符相关联的参考图像，使得所述组参考图像不包含重复的参考图像； 向被确定为在针对所述多个查询特征描述符中的每一者而确定的参考图像的所述唯一群组中的所述参考图像中的每一者指派选票； 在相对于所述多个查询特征描述符中的每一者指派所述选票之后，基于所述所指派的选票将所述参考图像排序；以及 响应于所述视觉搜索查询而返回所述经排序的参考图像。
38.根据权利要求31所述的计算机可读媒体，其中所述查询特征描述符是根据基于局部特征的视觉搜索算法从查询图像提取的。
39.根据权利要求38所述的计算机可读媒体，其中所述基于局部特征的视觉搜索算法包括尺度不变特征变换SIFT算法。
40.根据权利要求31所述的计算机可读媒体，其进一步包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令: 经由视觉搜索装置的接口从客户端装置接收作为经压缩查询特征描述符的所述查询特征描述符；以及 利用所述视觉搜索装置从所述经压缩查询特征描述符重构所述查询特征描述符。
41.一种系统，其包括:用以接收从一个或一个以上客户端装置接收的信息的输入，其中所述信息包括用以起始视觉搜索的查询特征描述符； 数据库，其包含指示多个参考查询描述符的信息；以及 视觉搜索服务器装置，其经配置以执行所述视觉搜索，所述视觉搜索服务器装置包括: 接口，其用以接收所述查询特征描述符；以及 特征匹配单元，其经配置以: 计算所述查询特征描述符与所述多个参考查询描述符中的每一者之间的距离； 根据群集算法确定所述所计算距离中的一者或一者以上的第一群组和所述所计算距离的第二群组，其中所述所计算距离的所述第一群组包含所述所计算距离中指示所述多个参考查询描述符中的相关联一者相对于所述所计算距离中被确定为在所计算距离的所述第二群组中的那些所述所计算距离接近所述查询特征描述符的那些所述所计算距离，且其中所述所计算距离的所述第二群组包含所述所计算距离中指示所述多个参考查询描述符中的所述相关联一者相对于所述所计算距离中被确定为在所述所计算距离中的所述一者或一者以上的所述第一群组中的那些所述所计算距离远离所述查询特征描述符的那些所述所计算距离；以及 基于所述所确定的所述所计算 距离的第一群组和所述所计算距离的所述第二群组来确定所述查询特征描述符是否与所述多个参考查询描述符中与所述所计算距离中的最小者相关联的一个参考特征描述符匹配。
【文档编号】G06K9/62GK103582884SQ201280018354
【公开日】2014年2月12日 申请日期:2012年4月13日 优先权日:2011年4月14日
【发明者】桑迪普·瓦达迪, 奥努尔·C·哈姆西奇, 尤里娅·列兹尼克, 约翰·H·洪, 重·U·李 申请人:高通股份有限公司