URL。
[0027]图像搜索结果基于与被图像搜索结果识别的图像资源相关的分数，诸如信息检索(“IR”)分数，以及可选地每个图像资源相对于其他图像资源的单独排名(例如，权威分数)，而被排名。图像搜索结果可根据这些分数被排序并根据该排序被提供至用户设备。对于各种查询连同对应的被索引和/或被缓存的图像资源，图像资源的分数和/或排名还可被存储在图像索引110中。
[0028]图像搜索系统108还能够接收在图像内搜索的请求。例如，用户设备106可提交搜索查询和查询图像至图像搜索系统108。该图像搜索系统108使用搜索查询以识别响应于该查询的图像，例如，图像搜索系统108可从图像索引110获得对于该搜索查询排名最高的图像资源。图像搜索系统108接着确定查询图像的部分是否类似于被识别为响应于搜索查询的图像，并且，如果是这样，将注释提供给请求用户设备，所述注释突出显示了类似于被识别的图像的查询图像的部分。
[0029]图2是用于在图像内搜索的示例过程200的图示说明。用户设备202提供查询204和查询图像206至图像搜索系统108。例如，用户可能正在装满糖果棒的杂货店的走廊中寻找特定糖果棒。用户可以拍一张可能包括感兴趣的糖果棒的杂货店架子的照片，并将该照片与例如糖果棒的名字的文本或音频查询一起提交，而不是为了单个糖果棒搜索整个走廊。
[0030]图像搜索系统108接收查询204和查询图像206，并识别响应于查询204的图像。例如，该查询204是文本查询，或可被转换为文本的语音输入，或不是图像的一些其它类型的查询。在一些实现中，图像搜索系统从图像索引110获得结果图像208 ο例如，搜索“CrunchyDelight”品牌的糖果棒的用户可提交查询图像206连同查询204“Crunchy Delight”。图像搜索系统108可以接着从图像索引110对查询“Crunchy De light"检索排名最高的图像。
[0031]在一些实现中，图像搜索系统108识别响应于查询204的图像资源。例如，图像搜索系统108可使用多种图像搜索算法中的一个来在图像索引110中搜索响应于该查询的图像。每个被识别的图像资源具有图像相关性分数，所述图像相关性分数指示图像资源与查询204的相关性度量。结果图像208可以是对于查询204具有最高相关性分数的图像资源。在一些实现中，多个结果图像208可以从图像索引110被获得。例如，图像搜索系统108可以从图像索引110获得对于“Crunchy Delight”查询排名前三的图像。作为另一个示例，图像搜索系统108可以从图像索引获得具有高于特定阈值的排名和/或IR分数的图像。
[0032 ]在一些实现中，图像搜索系统108从被存储在图像索引110中的特定的图像语料库获得结果图像208，或从被存储在指定了结果图像的位置的索引110中的数据访问结果图像。例如，被存储在图像索引110中的一个图像语料库对于特定查询可以被机器和/或用户手动排名和/或评分。手动评分和排名可以取决于用户输入。例如，用户可被要求选择识别了特定对象的图像，诸如“Crunchy Delight”糖果棒。反过来，用户可以排名和/或选择表示产品或查询“Crunchy Delight”的一个或多个图像。示例图像可能包括“Crunchy Delight”标志的图像，被包装了的“Crunchy Delight”糖果棒的图像，以及未被包装的糖果棒的图像。为了识别零售产品的目的，当图像被作为零售产品查看时，用户可特别地被要求识别最好地表示“Crunchy Del ight”糖果棒的图像。这些被手动评分/选择的图像中的一个或多个可被存储在图像索引110中并与查询“Crunchy Del ight”相关联，并稍后被检索为响应于查询 “Crunchy Delight” 的结果图像208。
[0033]在一些实现中，图像索引110可在查询-图像对的语料库中存储查询-图像关联。例如，对于特定查询排名最高的或最高得分的图像可被与图像索引110中的该查询配对，使得查询-图像对的语料库中的每个查询具有与之相关联的单个图像。在一些实现中，查询图像对可包括与单个查询配对的多个图像。当查询204被图像搜索系统108接收时，与该查询配对的每个图像可被从图像索引110检索为结果图像208。
[0034]图像搜索系统108确定在查询图像206的子部分212中被描绘的对象210是否类似于结果图像208。例如，如果结果图像208是“Crunchy De I ight”标志的图像，图像搜索系统确定用户设备202提交的查询图像206是否包括类似于“Crunchy Del ight”标志的一些东西。如本说明书中被使用的，图像的“子部分”是小于完整图像的该图像的部分。例如，如果图像是1000*1000像素的，小于1000*1000像素的图像的任何部分被认为图像的子部分，例如，100*100的图像的部分。
[0035]在一些实现中，通过比较结果图像208的视觉特征与查询图像206的视觉特征，图像搜索系统108确定在查询图像206的子部分中被描绘的对象是否类似于结果图像208。多种合适的图像比较算法可被使用以实现该确定。例如，颜色、对比度、点、文本和/或边缘检测过程可被使用以识别每个图像的视觉特征，并且从这些过程获得的数据可被比较以确定结果图像208的视觉特征与查询图像206的子部分中被描绘的对象的视觉特征之间的相似度度量。对象辨认过程可被使用以在图像中识别对象并执行对特定对象所位于的图像的子部分的局部特征分析。如果相似度度量满足预确定的阈值，图像搜索系统108确定查询图像206的子部分中被描绘的对象类似于结果图像208。预确定的阈值可以被系统管理员设定或可以是机器学习的阈值。如果没有查询图像206的子部分包括类似于结果图像208的对象，另一个结果图像可被选择用于比较。
[0036]在一些实现中，结果图像208可被预处理，并且指定了结果图像208的视觉特征的数据也可被存储在图像索引110中。这会减少图像搜索系统108比较图像所需的处理。多种图像比较方法、过程以及技术可被使用以比较图像。例如，光学字符辨识可被使用以识别每个图像中被描绘的文本，所以如果结果图像208包括带有文本“Crunchy Delight”的糖果棒标志，该文本可以被识别并与查询图像206中被识别的文本比较。
[0037]作为另一个示例，图像搜索系统108可使用特征检测和匹配过程比较图像，以识别图像的类似子部分。例如，局部特征检测过程，诸如比例不变特征转换，可被使用以识别和描述结果图像208的特征，并且这些特征可被与查询图像206中被检测到的特征比较以确定是否存在类似的查询图像206的子部分。例如，当预确定数目或百分比的被比较的特征在与彼此的阈值相似度度量之内时，匹配或相似度可被确定。
[0038]响应于确定在查询图像206的子部分212中被描绘的对象210类似于结果图像208，图像搜索系统108提供注释数据214至用户设备202。注释数据214使得用户设备与查询图像206—起显示注释，并且注释指定了包括类似于结果图像208的对象210的查询图像206的子部分212。例如，如果图像搜索系统108确定包括在杂货店架子的图像中的对象类似于对于查询“Crunchy Delight”的结果图像中被找到的标志，图像搜索系统将发送在图像内指示对象的位置的注释数据至用户设备。示例注释参照图3被进一步描述。
[0039]在可替代的实现中，搜索系统108可修改带有注释数据的查询图像206并且查询图像206可被发送回至用户设备，如被搜索系统110注释的。例如，图像搜索系统108可注释查询图像206并提供查询图像206加上注释的结果的组合至用户设备202。在一些实现中，注释数据214不包括查询图像206，但包括使得用户设备202与查询图像206—起显示注释的指令。
[0040]在一些实现中，多个类似