图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量；从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数;以及 识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。3.根据权利要求1所述的方法，其中，识别响应于所述查询的结果图像包括: 访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像； 识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及 识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。4.根据权利要求1所述的方法，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括: 比较所述结果图像的视觉特征与所述查询图像的视觉特征； 基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量； 确定所述相似度度量满足预确定的相似度阈值；以及 响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。5.根据权利要求1所述的方法，其中，所述注释数据指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。6.根据权利要求1所述的方法，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。7.根据权利要求1所述的方法，其中，所述注释包括所述结果图像的至少一部分。8.一种系统，包括: 数据处理装置；以及 存储指令的数据存储，所述指令当被所述数据处理装置执行时，使得所述数据处理装置执行操作，所述操作包括: 从用户设备接收查询； 从所述用户设备接收查询图像； 识别响应于所述查询的结果图像； 确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及 响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像: 提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。9.根据权利要求8所述的系统，其中，识别响应于所述查询的结果图像包括:识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量；从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数;以及 识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。10.根据权利要求8所述的系统，其中，识别响应于所述查询的结果图像包括: 访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像； 识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及 识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。11.根据权利要求8所述的系统，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括: 比较所述结果图像的视觉特征与所述查询图像的视觉特征； 基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量； 确定所述相似度度量满足预确定的相似度阈值；以及 响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。12.根据权利要求8所述的系统，其中，所述注释数据指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。13.根据权利要求8所述的系统，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。14.根据权利要求8所述的系统，其中，所述注释包括所述结果图像的至少一部分。15.—种包括指令的计算机可读存储介质，所述指令当被数据处理装置执行时，使得所述数据处理装置执行操作，所述操作包括: 从用户设备接收查询； 从所述用户设备接收查询图像； 识别响应于所述查询的结果图像； 确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及 响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像: 提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。16.根据权利要求15所述的计算机可读存储介质，其中，识别响应于所述查询的结果图像包括: 识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量； 从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数;以及 识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。17.根据权利要求15所述的计算机可读存储介质，其中，识别响应于所述查询的结果图像包括: 访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像； 识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及 识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。18.根据权利要求15所述的计算机可读存储介质，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括: 比较所述结果图像的视觉特征与所述查询图像的视觉特征； 基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量； 确定所述相似度度量满足预确定的相似度阈值；以及 响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。19.根据权利要求15所述的计算机可读存储介质，其中，所述注释数据指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。20.根据权利要求15所述的计算机可读存储介质，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。
【专利摘要】包括编码在计算机存储介质上的计算机程序以用于在图像内搜索的方法、系统和装置。在一方面，方法包括从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。
【IPC分类】G06F17/30
【公开号】CN105637509
【申请号】CN201480056395
【发明人】乔治·L·纳赫曼
【申请人】谷歌公司
【公开日】2016年6月1日
【申请日】2014年8月13日
【公告号】EP3033699A1, US9384213, US20150049091, WO2015023734A1