在图像内搜索和注释的制作方法
【技术领域】
[0001 ]本说明书涉及在图像内搜索。
【背景技术】
[0002]特征检测算法使得计算设备能够识别在图像中被描绘的视觉特征。视觉特征的检测已引起用于识别包括特定特征的图像的部分的技术的发展。例如，光学字符辨识技术允许图像被处理以识别包括在图像中的字母数字的字符。
【发明内容】
[0003]本说明书描述了涉及在图像内搜索的技术。
[0004]—般地，本说明书中描述的主题的一个创造性的方面可以被体现在包括以下动作的方法中:从用户设备接收查询;从所述用户设备接收查询图像;识别响应于所述查询的结果图像;确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像:提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行被编码在计算机存储设备上的所述方法的动作。
[0005]这些和其他实施例可各自选择性地包括以下特征中的一个或多个。识别响应于所述查询的结果图像包括:识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量;从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。
[0006]识别响应于所述查询的结果图像可以包括:访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像;识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。
[0007]确定所述查询图像的子部分中被描绘的对象类似于所述结果图像可以包括:比较所述结果图像的视觉特征与所述查询图像的视觉特征;基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量;确定所述相似度度量满足预确定的相似度阈值；以及响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。
[0008]所述注释数据可以指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且，所述注释可以包括所述边界框的视觉描绘。
[0009]所述注释可以包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。所述注释可以包括所述结果图像的至少一部分。
[0010]本说明书中描述的主题的特定实施例可被实现，从而实现以下好处中的一个或多个。由于多种原因，用户可能喜欢在图像或视频内识别对象时协助。例如，本文中描述的主题可促进对对象的用户识别快于用户用其他方式能够定位或识别对象。此外，对象可为用户被识别或定位，即使用户没有意识到对象长什么样子。
[0011]本说明书中所描述的主题的一个或多个实施例的细节将在下面的附图和描述中被阐明。主题的其他特征、方面和优势将通过描述、附图和权利要求变得显而易见。
【附图说明】
[0012]图1是用于在图像内搜索的示例环境的框图。
[0013]图2是用于在图像内搜索的示例过程的图示说明。
[00M]图3是与图像一起被显示的示例注释的图示说明。
[0015]图4是用于在图像内搜索的示例过程的流程图。
[0016]图5是示例数据处理装置的框图。
[0017]各种附图中的相同的参考数字和命名指示相同的元素。
【具体实施方式】
[0018]图像搜索系统促进在图像内对对象的识别和注释。例如，如果用户希望在包括多个对象的图像中找到特定对象，图像搜索系统可以在图像中找到该特定对象并使得其对于用户被突出显示。本文中公开的系统和方法促进在图像内对对象的识别和注释。
[0019]图像搜索系统从用户设备接收查询和图像。例如，想要在充满装满不同糖果棒的杂货架子上找到特定糖果棒的用户可以拍下架子的照片并向图像搜索系统提交照片和查询，所述查询指定用户正在图像搜索系统中寻找的特定糖果棒。在接收到了查询和图像之后，图像搜索系统识别响应于所接收的查询的至少一个结果图像。例如，图像搜索系统可查询图像数据库以找到与用户的查询指定的特定糖果棒高度相关的图像。示例高度相关结果图像可以是，例如，它的以其与众不同的包装中的特定糖果棒的图像。
[0020]图像搜索系统确定查询图像的部分是否匹配或类似于被图像搜索系统识别的结果图像。例如，被识别为与用户对特定糖果棒的查询相关的图像可以被与用户设备提供的图像相比较，以确定用户设备提供的图像的部分是否类似于所述相关的图像。响应于确定图像的部分类似于所识别的图像，图像搜索系统将使得用户设备在该用户设备原始提交的图像中显示注释的注释数据提供给该用户设备。该注释指定类似于图像搜索系统识别的结果图像的用户提交的图像的部分。例如，如果杂货店架子的照片的部分类似于特定糖果棒的图像，图像搜索系统将突出显示图像的该部分的指令提供给用户设备，指示用户杂货店架子的图像包括类似于用户的查询指定的特定糖果棒的一些东西。
[0021]图1是用于在图像内搜索的示例环境100的框图。计算机网络102，诸如局域网(LAN)、广域网(WAN)、互联网或者其组合，连接发布者网站104、用户设备106以及图像搜索系统108。在线环境100可包括上千的发布者网站104和用户设备106。
[0022]网站104包括与域名相关联的并被一个或多个服务器托管的一个或多个资源105。示例网站是以超文本标记语言(HTML)为格式的网页的集合，所述超文本标记语言(HTML)可以包括文本、图像、多媒体内容以及编程元素，诸如脚本。每个网站104被内容发布者维护，该内容发布者是控制、管理和/或拥有网站104的实体。
[0023]资源105是可被发布者104通过网络102提供的并且与资源地址相关联的数据。资源包括HTML页面、文字处理文档和可移植文件格式(PDF)文档、图像、视频和馈源，仅举几例。资源可包括内容，诸如文字、短语、照片等等，并且可包括嵌入式信息(诸如，元信息和超链接)和/或嵌入式指令(诸如，脚本)。
[0024]用户设备106是能够通过网络102请求和接收资源以及其他数据的电子设备。示例用户设备106包括个人计算机、移动通信设备、以及可以通过网络102发送和接收数据的其他设备。用户设备106—般包括用户应用，诸如web浏览器，以促进通过网络102发送和接收数据。web浏览器可以使得用户能够显示一般位于万维网或局域网上的网站的网页上的文本、图像、视频、音乐和其他信息，并与其交互。
[0025]为促进对图像资源105的搜索，图像搜索引擎108通过爬取发布者网站104并索引发布者网站104提供的图像资源来识别图像。被索引的并且选择性地被缓存的图像资源的副本被存储在数据存储设备中，诸如图像索引110。
[0026]用户设备106提交搜索查询至图像搜索系统108。响应于该搜索查询，图像搜索系统108使用图像索引110以识别与查询相关的图像资源。图像搜索系统108以图像搜索结果的形式识别图像资源并在图像搜索结果页面资源中返回图像搜索结果至用户设备106。示例图像搜索结果可包括图像资源的缩略图、从托管了图像资源的网页被提取的文本的片段、以及网页的