响应于可视化查询标识文本词汇的制作方法
【技术领域】
[0001]所公开的实施例总体上涉及图像处理领域，并且具体涉及响应于可视化查询而确定一个或多个文本词汇。
【背景技术】
[0002]其中用户将词语或短语输入到搜索引擎中并且接收各种结果的基于文本或基于词汇的搜索是用于搜索的有用工具。基于词汇查询要求用户明确提供词语、短语和/或其它词汇形式的搜索词汇。有时，用户可能看到物理世界中的对象并且想查找与对象有关的信息，但是知道使用什么词汇用于搜索引擎中的基于词汇查询。据此，将期望可以接收诸如图像之类的可视化查询并且用它确定一个或多个词汇的系统。
【发明内容】
[0003]根据一个实施例，在服务器系统上执行方法，服务器系统具有一个或多个处理器以及存储用于由一个或多个处理器执行的一个或多个程序的存储器。在该方法中，服务器系统从客户端系统接收可视化查询。服务器系统通过以下操作对可视化查询做出响应:生成针对可视化查询的图像特征值集；将图像特征值集映射到多个文本词汇，从而包括针对多个文本词汇中的每个文本词汇的权重；依照文本词汇的权重对文本词汇进行排名；以及依照对文本词汇的排名，向客户端系统发送经排名的文本词汇中的一个或多个文本词汇。
[0004]服务器系统包括一个或多个处理器以及存储用于由一个或多个处理器执行的一个或多个程序的存储器。一个或多个程序包括用于从客户端系统接收可视化查询、以及通过以下操作对可视化查询做出响应的指令:生成针对可视化查询的图像特征值集；将图像特征值集映射到多个文本词汇，从而包括针对多个文本词汇中的每个文本词汇的权重；依照文本词汇的权重对文本词汇进行排名；以及依照对文本词汇的排名，向客户端系统发送经排名的文本词汇中的一个或多个文本词汇。
[0005]非瞬态计算机可读存储介质存储配置用于由计算机(诸如具有用于执行程序的一个或多个处理器的服务器系统)执行的一个或多个程序。一个或多个程序包括用于从客户端系统接收可视化查询、以及通过以下操作对可视化查询做出响应的指令:生成针对可视化查询的图像特征值集；将图像特征值集映射到多个文本词汇，从而包括针对多个文本词汇中的每个文本词汇的权重；依照文本词汇的权重对文本词汇进行排名；以及依照对文本词汇的排名，向客户端系统发送经排名的文本词汇中的一个或多个文本词汇。
【附图说明】
[0006]图1是图示包括可视化查询服务器系统的计算机网络的框图。
[0007]图2是图示依照一些实施例的客户端系统的框图。
[0008]图3是图示依照一些实施例的前端可视化查询处理服务器系统的框图。
[0009]图4是图示依照一些实施例的用于处理可视化查询的图像到词汇搜索系统的框图。
[0010]图5是图示依照一些实施例的用于通过将图像特征映射到文本词汇来训练图像相关性模型的处理的流程图。
[0011]图6是图示依照一些实施例的用于通过将图像特征映射到文本词汇来训练图像相关性模型的示例性数据结构的框图。
[0012]图7A和图7B是图示依照一些实施例的用于响应于可视化查询而确定一个或多个文本词汇的处理的流程图。
[0013]图8图示依照一些实施例的具有示例性可视化查询的屏幕截图的客户端系统。
[0014]图9图示依照一些实施例的与文本词汇列表同时显示的交互式结果文档和可视化查询的屏幕截图。
[0015]图10图不依照一些实施例的与对应图像同时显不的文本词汇列表的屏幕截图。
[0016]图11图示依照一些实施例的具有带标记的交互式结果文档的屏幕截图的客户端系统。
[0017]贯穿附图，同样的附图标记指的是对应部分。
【具体实施方式】
[0018]现在将详细参照实施例，实施例的示例被图示在附图中。在以下详细描述中，阐述了众多具体细节，以便提供对实施例的透彻理解。然而，对于本领域普通技术人员容易理解的是，可以在没有这些具体细节的情况下实践各种实施例。在其它实例中，熟知的方法、过程、部件、电路和网络未被详细描述，以便不会不必要地模糊实施例的方面。
[0019]还应当理解的是，虽然术语第一、第二等可在本文中用于描述各种元件，但是这些元件不应该受这些术语的限制。这些术语仅用于将元件相互区别。例如，第一接触可被称为第二接触，并且相似地，第二接触可以被称为第一接触，而不改变描述的含义，只要“第一接触”的所有出现一致地重命名并且第二接触的所有出现一致地重命名。第一接触和第二接触都是接触，但它们不是相同的接触。
[0020]本文中在描述实施例中使用的术语仅是处于描述特定实施例的目的，并且不旨在于限制权利要求。如在描述实施例和所附权利要求中使用的，单数形式“一”、“一个”和“该”旨在于也包括复数形式，除非上下文清楚地另外指示。还应当理解，如本文中使用的术语“和/或”指的是并且包含关联列出项中的一个或多个项的任何和所有可能组合。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时指定所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、部件、和/或它们的组。
[0021]如本文中使用的，术语“如果”根据上下文可被解释为意指“在……时”或“当……时”或“响应于确定”或“响应于检测到”。相似地，短语“如果确定”或“如果检测到(所述条件或事件)”根据上下文可被解释为意指“当确定时”或“响应于确定”或“当检测到(所述条件或事件)时”或“响应于检测到(所述条件或事件)”。
[0022]图1是图示根据一个实施例的包括可视化查询服务器系统的计算机网络的框图。计算机网络100包括一个或多个客户端系统102和可视化查询服务器系统106。一个或多个通信网络104互连这些部件。通信网络104可以是多种网络中的任何网络，从而包括局域网(LAN)、广域网(WAN)、无线网络、有线网络、因特网、或者这些网络的组合。
[0023]客户端系统102包括客户端应用108，客户端应用108由客户端系统执行，以用于接收可视化查询(例如图8的可视化查询802)。可视化查询是向搜索引擎或搜索系统提交作为查询的图像。可视化查询的示例包括而不限于照片、扫描的文档和图像、以及绘图。在一些实施例中，从由搜索应用、用于浏览器应用的搜索引擎插件以及用于浏览器应用的搜索引擎扩展组成的集中选择客户端应用108。在一些实施例中，客户端应用108是“杂食性”搜索框，其允许用户将任何格式的图像拖放到搜索框中以用作可视化查询。
[0024]客户端系统102向可视化查询服务器系统106发送查询并且从可视化查询服务器系统106接收数据。客户端系统102可以是有能力与可视化查询服务器系统106通信的任何计算机或其它设备。示例包括而不限于台式和笔记本电脑、大型计算机、服务器计算机、诸如移动电话和个人数字助理之类的移动设备、网络终端、和机顶盒。
[0025]可视化查询服务器系统106包括前端可视化查询处理服务器110。前端服务器110从客户端102接收可视化查询，并且向用于同时处理的多个并行搜索系统112发送可视化查询。搜索系统112各自实现相异可视化查询搜索处理，并且必要时访问它们的对应数据库114，以由它们的相异搜索处理来处理可视化查询。例如，面部识别搜索系统112-A将访问面部图像数据库114-A以寻找与图像查询的面部匹配。如果可视化查询包含面部，则面部识别搜索系统112-A将返回来自面部图像数据库114-A的一个或多个搜索结果(例如姓名、匹配的面部等)。在另一示例中，光学字符识别(OCR)搜索系统112-B将可视化查询中的任何可识别文本转换成文本，以用于作为一个或多个搜索结果返回。在光学字符识别(OCR)搜索系统112-B中，可以访问OCR数据库114-B，以识别特定字体或文本模式。
[0026]可以使用任何数量的并行搜索系统112。一些示例包括面部识别搜索系统112-A、OCR搜索系统112-B、图像到词汇搜索系统112-C (其可识别对象或对象类别)、产品识别搜索系统(其可以被配置为识别诸如书皮和CD之类的2-D图像，并且还可以被配置为识别诸如家具之类的3-D图像)、条形码识别搜索系统(其识别ID和2D类型的条形码)、命名实体识别搜索系统、地标识别(其可以被配置为识别像埃菲尔铁塔那样的特定著名地标，并且还可以被配置为识别诸如广告牌之类的具体图像的语料库)、由客户端系统102或移动电话网络中的GPS接收器提供的理位置信息辅助的地点识别、颜色识别搜索系统、以及相似图像搜索系统(其搜索并且标识与可视化查询相似的图像)。进一步的搜索系统可被添加作为附加并行搜索系统，在图1中由系统112-N表示。除OCR搜索系统之外的所有搜索系统在本文中集体地定义为执行图像匹配处理的搜索系统。包括OCR搜索系统的所有搜索系统统称为通过图像查询搜索系统。在一些实施例中，可视化查询服务器系统106包括面部识别搜索系统112-A、OCR搜索系统112-B、图像到词汇搜索系统114-C、以及至少一个其它的通过图像查询搜索系统112。
[0027]并行搜索系统112各自单独处理可视化搜索查询，并且向前端服务器系统110返回它们的结果。在一些实施例中，前端服务器100可以对搜索结果执行一个或多个分析，诸如以下分析中的一个或多个:将结果聚合成复合文档、选择结果子集来显示、以及对结果进行排名，如将关于图3更详细说明的。前端服务器110向客户端系统102传达搜索结果。
[0028]客户端系统102向用户呈现一个或多个搜索结果。结果可以在显示器上、通过音频扬声器、或者用于向用户传达信息的任何其它手段来呈现。用户可以以各种方式与搜索结果交互。在一些实施例中，用户的选择、注释以及与搜索结果的其它交互被传输到可视化查询服务器系统106，并且连同可视化查询一起被记录在查询和注释数据库116中。查询和注释数据库中的信息可以用于改善可视化查询结果。在一些实施例中，来自查询和注释数据库116的信息被周期性地推送到并行搜索系统112，并行搜索系统112将信息的任何相关部分并入到它们的相应个体数据库114中。
[0029]计算机网络100可选地包括词汇查询服务器系统118，以用于响应于词汇查询而执行搜索。与包含图像的可视化查询完全不同，词汇查询是包含一个或多个词汇的查询。词汇查询