用于移动设备的图像搜索方法、装置及数据处理系统与流程
本发明的实施方式大体涉及搜索图像内容。更具体地，本发明的实施方式涉及渲染基于类似馈送(feed-likebased)的图像以通过移动设备进行浏览。
背景技术：
通常，大多数搜索引擎在其操作期间通过在客户端设备上运行的浏览器来执行网页搜索。搜索引擎接收由用户输入的搜索词，并检索与所述搜索词相关联的网页搜索结果列表。搜索引擎基于某些标准将搜索结果显示为搜索列表的一系列子集合。在搜索操作期间使用的一般标准为：搜索词是完整地还是部分地出现在给定网页上、搜索字串出现在搜索结果中的次数、字母顺序等。此外，用户可以通过点击鼠标按钮来决定打开链接以打开并浏览。可由搜索引擎来监控和采集用户与搜索结果的一些交互和/或采集用户信息，以随后提供更好的搜索。
通常，响应于搜索查询，执行搜索以识别和检索内容项目列表。接着将内容项目传回到搜索请求器。非常流行的搜索之一是搜索图像，尤其是从移动设备搜索图像。当响应于从移动设备接收的搜索查询而识别图像列表时，将具有图像列表的图像结果页面传输至移动设备。图像结果页面中的图像由诸如缩略图的图像表示来表示。当用户通过例如点击图像表示中的一个而与图像结果页面交互时，用户进入图像细节页面，在所述图像细节页面中显示有完整版本或放大版本的图像。由于移动设备的显示有限，通常一次一个按顺序地显示细节页面的图像。用户可从右向左滑动或反之从左向右滑动来访问下一个图像或前一个图像。
传统的图像搜索通常响应于搜索查询生成恒定量的图像。可响应于用户交互从结果列表检索后续图像并显示所述图像，其中当前浏览会话中可浏览的图像数量局限于结果页面中的图像数量。另外，为了改进图像浏览的用户体验，一些系统预取结果页面中的一些图像。然而，由于移动设备的资源(例如，内存)有限，因此预取所有图像是不切实际的。此外，也很难知道用户可能浏览多少图像且预取太多的图像可能导致浪费移动设备的网络带宽和处理资源。
技术实现要素：
本申请的目的在于提供计算机实施的用于移动设备的图像搜索方法、用于搜索图像的装置以及用于供移动设备搜索图像的数据处理系统。
根据一个方面，提供了计算机实施的用于移动设备的图像搜索方法，该方法可包括：接收标识图像的第一集合中的第一图像的第一图像标识符(id)，第一图像当前显示在用户的移动设备上；基于与用户相关联的当前浏览会话的用户交互以及先前浏览会话的用户交互，确定用户可能从第一图像开始按顺序访问的另外图像的数量；基于用户可能访问的另外图像的数量来识别图像的第二集合；基于图像依据图像选择规则集合的排序确定第二集合中的图像的序列顺序；以及将图像的第二集合传输至移动设备以在移动设备上一次一个按顺序地进行显示。
根据另一个方面，提供了用于搜索图像的装置，该装置可包括：接收标识图像的第一集合中的第一图像的第一图像标识符(id)的装置，其中第一图像当前显示在用户的移动设备上；基于与用户相关联的当前浏览会话的用户交互和先前浏览会话的用户交互确定用户可能从第一图像开始按顺序访问的另外图像的数量的装置；基于用户可能访问的另外图像的数量来识别图像的第二集合的装置；基于图像依据图像选择规则集合的排序来确定第二集合中的图像的序列顺序的装置；以及将图像的第二集合传输至移动设备以在移动设备上一次一个按顺序地进行显示的装置。
根据又一个方面，提供了用于供移动设备搜索图像的数据处理系统，该系统可包括根据本发明各实施方式所述的用于搜索图像的装置。
附图说明
本发明的实施方式在附图的各图中以举例而非限制的方式示出，在附图中，相同的参考数字指示相同的元件。
图1a和图1b是示出根据本发明一些实施方式用于搜索图像的系统配置的示例的框图。
图2是示出根据本发明一个实施方式的图像选择系统的示例的框图。
图3是示出根据本发明一个实施方式的图像选择系统的示例的框图。
图4是示出根据本发明一个实施方式的图像选择过程的示例的框图。
图5是示出根据本发明一个实施方式的图像选择规则的示例的框图。
图6是示出根据本发明一个实施方式搜索图像的过程的流程图。
图7a至图7b是示出根据本发明另一个实施方式搜索图像的过程的流程图。
图8是示出根据一个实施方式的数据处理系统的框图。
具体实施方式
将参考以下所讨论的细节来描述本发明的各实施方式和方面，附图将示出各种实施方式。以下描述和附图是对本发明的说明，而不解释为限制本发明。描述诸多具体细节以全面理解本发明各实施方式。然而，在某些示例中，为了使对本发明实施方式的讨论简洁，没有描述公知或常规的细节。
本说明书中对“一个实施方式”或“实施方式”的参考意味着结合该实施方式所描述的具体特征、结构或特性可包括在本发明的至少一个实施方式中。在本说明书中各处，短语“在一个实施方式中”的出现不必全部是指同一实施方式。
根据一些实施方式，利用图像选择系统来搜索、选择和渲染图像以由用户在图像细节页面中按基于馈送或基于类似馈送的方式进行浏览。在一个实施方式中，仅渲染预定的少量图像并将其传输至用户的移动设备，而不是获得恒定量的图像并将其发送至用户的移动设备。可根据对已渲染并发送至移动设备的图像的用户行为和用户交互而动态地搜索、选择和渲染后续图像。可基于在当前浏览会话期间对所呈现的图像的用户行为或交互以及在先前浏览会话期间对图像的先前用户行为或交互来搜索、选择或渲染后续图像。要处理的后续图像的数量取决于当前浏览会话的用户行为或交互，例如用户当前观看哪一个图像、用户浏览图像的速度(例如，用户滑动得多快)和/或用户停留并观看特定图像多长时间等。
根据一个实施方式，除一般图像(也称为在主要内容数据库或图像源中搜索和找到的通用图像或主要图像)之外，还可标识与一般图像相关的辅助图像(也称为次级图像或专用图像)。可由一个或多个特殊图像提供者来提供辅助图像。辅助图像可与主要图像相整合或混合以形成要在用户的移动设备处浏览的图像整合列表或整合流。在一个实施方式中，可在一些主要图像之间的某些位置或地方插入辅助图像，即按顺序与主要图像交织在一起。可对辅助图像进行排序并将其插入于主要图像之间的某些交织或放置位置，以形成混合图像的整合流。在运行时，可基于规则集合和/或一个或多个排序模块动态确定交织位置。规则集合可利用某些排序静态地指定某些类型图像的某些位置。可使用一个或多个排序模型来确定图像的排序。可使用排序模型动态确定剩余图像的位置。可针对所有用户静态地编译所述规则集合，同时可例如基于特定用户的先前交互历史进行训练来为特定用户构建排序模型。
在本发明的一个方面，接收标识图像的第一集合中的第一图像的第一图像标识符(id)，其中所述第一图像当前显示在用户的移动设备处。基于与用户相关联的当前浏览会话的用户交互和先前浏览会话的用户交互，确定用户可能会从第一图像开始按顺序访问的另外图像的数量。基于用户可能访问的另外图像的数量来识别图像的第二集合。基于图像依据图像选择规则集合在第二集合中的排序确定序列顺序。将图像的第二集合传输至移动设备以在移动设备上一次一个按顺序进行显示。
在本发明的另一方面，标识第一主要图像的第一图像标识符(id)当前显示在用户的移动设备上。第一主要图像是响应于搜索查询而识别的主要图像之一。图像选择系统基于与用户相关联的当前浏览会话和先前浏览会话内的用户交互来确定用户可能会从第一图像开始访问的另外图像的数量。图像选择系统将一个或多个辅助图像按顺序地与主要图像中位于不同序列位置上的至少一些主要图像相混合。生成图像的整合列表，所述整合列表中包括已交织的辅助图像和主要图像。随后向移动设备传输图像的整合列表，其中一次一个按顺序地显示整合列表中的图像。
图1a和图1b是示出根据本发明一些实施方式用于搜索图像的系统配置的示例的框图。参考图1a，系统100包括但不限于通过网络103通信地联接到服务器104的一个或多个客户端设备101-102。客户端设备101-102可以是任何类型的客户端设备，诸如，个人计算机(例如，台式计算机、膝上型计算机和平板)、“薄”客户端、个人数字助理(pda)、支持网络的设备、智能手表或移动电话(例如，智能手机)等。网络103可以是任何类型的网络，诸如有线或无线的局域网(lan)、广域网(wan)(诸如因特网)或其组合。
服务器104可以是任何类型的服务器或服务器集群，诸如网络或云服务器、应用服务器、后端服务器或其组合。在一个实施方式中，服务器104包括但不限于搜索引擎120、图像选择模块或系统110和图像选择规则或模型115。服务器104还包括允许客户端(诸如，客户端设备101-102)访问由服务器104提供的资源或服务的接口(未示出)。所述接口可包括网页接口、应用编程接口(api)和/或命令行接口(cli)。
例如，客户端，在该示例中为客户端设备101的用户应用(例如，网络浏览器、移动应用)，可向服务器104发送搜索查询，且由搜索引擎120通过网络103经由接口接收所述搜索查询。响应于搜索查询，搜索引擎120从搜索查询提取一个或多个关键字(也称为搜索词)。搜索引擎120在内容数据库133中执行搜索以识别与关键字有关的内容项目列表，其中所述内容数据库可包括主要内容数据库130和/或辅助内容数据库131。主要内容数据库130(也称为主内容数据库)可以是一般内容数据库，而辅助内容数据库131(也称为次级内容数据库)可以是特殊内容数据库。搜索引擎120向客户端设备101传回具有列表中的内容项目中的至少一些的搜索结果页面，以在客户端设备101中呈现。搜索引擎120可以是可从百度公司获得的
搜索引擎(诸如，网页搜索引擎)是设计成在万维网上搜索信息的软件系统。搜索结果通常被呈现在一系列结果(常称为搜索引擎结果页面)中。信息可以是网页、图像和其他类型文件的混合。一些搜索引擎还挖掘数据库或开放式目录中可用的数据。不同于仅通过人工编辑来维持的网络目录，搜索引擎还通过在网页爬虫上运行算法来维护实时信息。
网络搜索引擎通过存储与诸多网页有关的信息来运行，所述网络搜索引擎从页面的超文本标记语言(html)标记检索所述网页。通过网页爬虫来检索这些页面，所述网络爬虫是遵循网站上的每个链接的自动化网页爬虫。搜索引擎接着分析每个页面的内容以确定其应如何被索引(例如，可以从标题、页面内容、标头或称为元标签的特殊字段来提取字)。将与网页有关的数据存储在索引数据库中，以供在稍后的查询中使用。索引帮助尽可能快地找到与查询有关的信息。
当用户将查询输入到搜索引擎中时(通常是通过使用关键字)，引擎检查其索引并根据其标准提供最匹配网页的列表，所述列表通常具有包含文档标题及有时包含部分文本的简短概述。索引是由与数据一起存储的信息及信息被索引方法建构而成。搜索引擎查找与输入时完全一致的字或短语。一些搜索引擎提供允许用户定义关键字之间的距离的高级特征(称为接近搜索)。还存在涉及对包含你所搜索的字或短语的页面使用统计分析的基于概念的搜索。此外，自然语言查询允许用户以与将向人询问问题的形式相同的形式来键入问题。
搜索引擎的有用性取决于其所回馈的结果集合的相关性。虽然包括特定字或短语的网页可能有数百万个，但一些页面可能比其他页面更相关、更流行或更有权威。大多数搜索引擎采用多种方法来对结果进行排序以首先提供“最佳”结果。搜索引擎如何决定哪些页面是最佳匹配者以及应按什么次序来示出结果随引擎的不同而广泛改变。
返回参考图1a，根据一个实施方式，响应于在服务器104处从客户端设备(在该示例中为客户端设备101)接收的搜索查询，搜索引擎120在内容数据库133(诸如，主要内容数据库130和/或辅助内容数据库131)中执行搜索，以生成内容项目列表(称为第一内容项目)。可经由统一资源链接(url)和/或统一资源标识符(uri)使每一个内容项目与特定内容提供者的特定网站的特定网页相关联。在一个实施方式中，主要内容数据库130存储已由网络爬虫采集的一般内容项目(例如，非赞助内容)。辅助内容数据库131存储与特定、已知或预定的内容提供者相关联的特定或特殊内容项目(例如，赞助内容)。可替代地，在不区分主要内容数据库130与辅助内容数据库131的情况下，可将内容数据库133实施为单个数据库。
网络爬虫是自动遍历网络的超文本结构的程序。在实践中，网络爬虫可在独立的计算机或服务器上运行，所述计算机或服务器中的每一个被配置成执行从url下载文档的一个或多个进程或线程。网络爬虫接收所指派的url，并在那些url处下载文档。网络爬虫还可检索被已检索的文档引用的文档，以由内容处理系统(未示出)和/或搜索引擎120处理。网络爬虫可以使用各种协议来下载与url相关联的页面，所述协议诸如为超文本传输协议(http)和文件传输协议(ftp)。
在图像搜索领域中，内容数据库133可以是图像数据库，其中主要内容数据库130存储主要图像(例如，通用图像)而辅助内容数据库131存储辅助图像(例如，专用图像、赞助图像)。响应于例如从客户端(诸如客户端设备102)接收的用于搜索图像的搜索查询，搜索引擎120基于与搜索查询相关联的一个或多个关键字在主要内容数据库130(例如，主要图像存储器)中进行搜索以识别主要图像列表。可从搜索查询提取关键字。可替代地，关键字还可包括与从搜索查询获得的原始关键字语义相关的附加关键字，所述附加关键字可经由潜在语义分析被识别。
搜索引擎120生成搜索结果页面，所述搜索结果页面具有表示所识别的主要图像的图像表示(例如，缩略图)的列表。将搜索结果页面传输至客户端设备102(在该示例中为移动设备)。客户端设备102的用户可与搜索结果页面中所列的图像表示中的任意图像表示进行交互。当用户点击图像表示时，用户进入搜索细节页面。响应于进入搜索细节页面，服务器104检索与所点击的图像表示相对应的放大版本或完整版本图像。将图像从服务器104传输至客户端设备101并将其作为搜索细节页面的一部分在移动设备101上进行显示。由于移动设备的显示区域有限的性质，通常一次一个按顺序地显示图像。用户可从右向左滑动或反之左向右滑动来进行反复。
可在用户数据服务器150中捕获和记录用户与搜索结果页面和搜索细节页面的交互。所记录的用户数据可包括用户的当前和先前浏览会话的会话数据、用户的用户简档以及用户的记录用户交互的历史记录等。可由不同的组织或实体来操作用户数据服务器150。可替代地，可由与服务器104相关联的相同组织或实体来操作用户数据服务器150。此外，用户数据服务器150可与服务器104整合在一起。
根据一个实施方式，一旦用户进入搜索细节页面，则按基于馈送或基于类似馈送的方式将图像递送至移动设备102。例如，当用户点击特定图像表示时，将表示用户交互的信号传回至服务器104。基于所述信号，确定标识相应图像的图像id以及检索、渲染图像并将其传输至客户端设备102。另外，还可检索(例如，预取)、渲染搜索结果页面中按顺序位于所点击的图像附近的某些图像并将其传输至移动设备102。其结果是，用户可从初始点击图像开始滑动(例如，从右向左或反之从左向右)以一次一个按顺序地观看后一个图像或前一个图像。根据用户滑动得多快以及用户在特定图像停留多久，由服务器104实时地搜索、渲染和递送额另外的图像，这在本文中被称为基于馈送的图像递送。
根据一个实施方式，接收标识图像的第一集合中的第一图像的第一图像标识符(id)，其中第一图像当前显示在用户的移动设备上。响应于对图像的搜索查询，由搜索引擎120和/或图像选择模块110识别图像的第一集合。图像的第一集合可表示已递送至移动设备的搜索细节页面的第一部分。响应于第一图像id，基于与用户相关联的当前浏览会话的用户交互和先前浏览会话的用户交互确定用户可能从第一图像开始按顺序访问的另外图像的数量。基于用户可能访问的另外图像的数量来识别图像的第二集合。图像的第二集合可表示搜索细节页面的第二部分。基于图像依据图像选择规则集合在第二集合中的排序来确定序列顺序。将图像的第二集合传输至移动设备以在移动设备上一次一个按顺序进行显示。图像第一集合和图像第二集合中的每一个可包括按顺序混合有一些辅助图像的一些主要图像。
根据一个实施方式，除了从主要内容数据库130搜索和获得主要图像作为基于馈送的图像的一部分之外，搜索引擎120或图像选择系统110可基于与用于搜索和获得主要图像的原始搜索查询相关联的关键字从辅助内容数据库131搜索和识别某些辅助图像。使用排序方法(例如，排序规则和/或排序模型)的集合，基于当前浏览会话的用户交互和先前浏览会话的先前用户交互由图像选择系统110来识别辅助图像、对辅助图像进行排序并选择辅助图像。至少一些辅助图像是专用图像或由一些赞助商提供的赞助图像。随后，将辅助图像与主要图像混合以形成按顺序交织的主要图像和辅助图像的整合列表。随后，作为基于馈送的图像递送的一部分，将主要图像和辅助图像的整合列表传输至客户端设备102以在客户端设备102中一次一个地按顺序地进行显示。
根据一个实施方式，响应于检测到用户与特定图像的交互，图像选择系统110基于在当前浏览会话期间的用户交互、先前浏览会话的用户交互和/或用户的用户简档(可由用户数据服务器或系统150来提供)，确定或预测用户可能从当前交互的图像开始访问的另外图像的数量。基于所确定的用户可能访问的图像的数量，确定另外的主要图像和辅助图像的确切数量并对其进行渲染以形成整合列表。辅助图像可以是用户可能有兴趣基于当前浏览会话期间的用户交互、先前浏览会话的用户交互和/或用户的用户简档、以及因搜索而生成的主要图像来接收的图像。可使用排序规则集合和/或一个或多个排序模型来对辅助图像进行排序并选择所述辅助图像，这将在以下进一步描述。
应注意，仅出于示出的目的描述了服务器104的配置。服务器104可以是向多种最终用户设备提供前端搜索服务的网页服务器。可替代地，服务器104可为向前端服务器(例如，网页服务器或一般内容服务器)提供特定或特殊的内容搜索服务的应用服务器或后端服务器。图像选择模块或系统150也可实施为负责对辅助图像进行搜索、排序并选择所述图像的单独服务器。
其他架构或配置也可能是可适用的。例如，如图1b中所示，内容数据库133可通过网络被维持和托管在作为内容服务器的独立服务器中。服务器133可以是网页服务器、应用服务器或后端服务器。可由与服务器104相同的实体或组织来组织和提供内容服务器133。可替代地，可由负责采集内容数据库130-131中的内容及其元数据的独立实体或组织(例如，第三方提供者)来维持或托管内容服务器133。还应注意，内容数据库/服务器133可包括主要内容数据库130和辅助内容数据库131。主要内容数据库130还可在独立内容服务器(称为主要内容服务器)中来实施或维护。类似地，辅助内容数据库131可在独立内容服务器(称为辅助内容服务器)中来实现或维护。
图2是示出根据本发明一个实施方式的基于馈送的图像递送机构的框图。参考图2，在该示例中，假设已经响应于搜索查询生成搜索结果页面并将其递送至移动设备102且移动设备102的用户点击搜索结果页面中的图像表示中的一个，这致使在移动设备102的显示设备201上显示图像211，同时还递送额外的少量图像212-214(例如，图像的第一集合)并将其暂时存储在移动设备102的缓冲器或存储器202中。图像211-214可以是如上所述由搜索引擎120和图像选择模块110搜索和渲染的被混合的主要图像221和辅助图像222。当用户对当前显示的图像(例如，图像211)左右滑动以按顺序访问下一个或前一个图像时，捕获用户交互并将其传回至服务器104。作为响应，动态搜索、渲染和混合另外的主要图像221和/或辅助图像222(例如，图像的第二集合)以生成混合图像225；基于对用户可能从当前显示的图像开始访问的另外图像的数量的预测，将所述混合图像225递送至移动设备102。可基于当前和先前浏览会话的用户交互和用户的用户简档来确定用户可能访问的图像的数量。
图3是示出根据本发明一个实施方式的图像选择系统的示例的框图。例如，图像选择系统300可表示如图1中所示的图像选择系统。参考图3，系统300包括图像选择模块110，该图像选择模块110包括但不限于内容搜索模块301、内容排序模块302和内容渲染模块303。在一个实施方式中，内容搜索模块301例如从搜索引擎120接收具有搜索查询的上下文信息的搜索上下文321。搜索上下文321包括最初从用户的移动设备接收的搜索查询以及围绕搜索查询的信息，例如标识用户的用户id(例如，用户名)、标识移动设备的设备id(例如，移动设备的ip或mac地址)、原始搜索查询、与搜索查询相关联的一个或多个关键字(例如，从搜索查询提取的原始关键字或与原始关键字语义相关)等。可提供上下文信息中的一些作为与当前浏览会话相关联的会话数据323的一部分。
基于搜索上下文321，内容搜索模块301在辅助内容索引310中进行搜索以识别作为辅助图像候选项的辅助图像列表。辅助内容索引310可存储用于辅助内容数据库131的索引信息，或可替代地，辅助内容索引310可以是辅助内容数据库131的一部分。随后，由内容排序模块302使用与用户相关联的一个或多个内容排序模型312和一个或多个内容选择规则311(也称为内容排序规则)来对辅助图像进行排序。
可基于用户在过去关于相同或类似图像的先前用户交互来训练内容排序模型312。内容排序模型312可基于各种标准(例如每千次展示的成本(cpm)、每行动成本(cpa)和/或每点击成本(cpc)模型)对图像进行排序。内容排序模型312可针对与图像相关联的一个或多个属性或参数(例如，图像的质量、相同或类似用户与图像的先前用户交互)确定一个或多个排序得分。可依据当前浏览会话的会话数据323和用户的用户简档324执行排序。可由会话数据服务器(例如，用户数据服务器150)来提供会话数据323和用户简档324。会话数据323包括用户已访问多少页面、用户滑动得多快以及用户在搜索细节页面上停留了多少时间等。可基于先前用户交互行为来编译用户简档324。用户简档324还包括描述用户对给定的某些查询和背景的一般滑动和浏览行为的信息。其结果是，系统可相对准确地评估用户将多深和多快地滑动并浏览给定序列的搜索细节页面。
内容选择规则311包括定义应如何对图像进行排序的规则，例如，使用由内容排序模型312计算出的一些或所有排序得分而进行。因此，针对各个标准利用内容排序模型312计算各个排序得分，同时利用内容选择规则311确定如何将那些得分用于确定最终得分中，所述最终得分确定最终图像序列内的序列位置。将辅助图像和排序信息和/或顺序定位信息一起发送至内容渲染模块303。作为响应，内容渲染模块303将辅助图像与可由搜索引擎120提供的主要图像322相混合，以生成混合的图像325。如图4中所示，内容渲染模块303根据由排序模块302提供的排序和定位信息在主要图像322之间的多种位置上插入一个或多个辅助图像而进行混合。应注意，如在图3中所示的一些或所有组件可在硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或其组合中实施。
图4是示出根据本发明一个实施方式的搜索图像的处理流程的框图。参考图4，响应于搜索查询，搜索引擎120搜索和识别主要图像401的集合。另外，搜索引擎120将搜索查询上下文402发送至如上所述的图像选择系统的内容搜索模块301。内容搜索模块301基于搜索查询上下文402搜索辅助内容数据库或索引310以识别作为辅助图像候选项的辅助图像403的集合。内容排序模块302基于会话数据321、用户的用户简档324、与用户相关联的排序模型以及排序规则集合对辅助图像进行排序。其结果是，辅助图像403设置有排序信息以及主要图像401之间的放置或混合位置。内容渲染模块303随后在指定的放置或混合位置上将辅助图像403中的至少一部分与主要图像401相混合。在一个实施方式中，范围确定模块410将基于当前浏览会话和先前浏览会话的用户交互或行为确定或预测表示用户可能访问的图像的数量的范围。随后，基于所确定的范围选择一些或所有混合图像，随后将所选定的混合图像作为搜索细节页面的一部分(即，与基于馈送或基于类似馈送的方式类似的连续细节页面)传输至用户的移动设备。
图5是示出根据本发明一个实施方式的图像选择规则的示例的框图。规则500可表示图3的规则311。参考图5，在该示例中，规则501是指在类型1的图像之中，将选择排在首位的图像并将其置于图像序列的开头。规则502是指在类型2的图像之中，将选择排在首位的图像并将其置于图像序列的末尾。类似地，规则503是指要将具有不同排序的其他图像置于图像序列中的不同位置上。如在图5中所示，可使用领域专用语言(如用户和排序模块可理解的脚本)来编写规则500，所述规则500可由管理员定期更新并下载到系统中。规则500主要用来确定对于具有不同排序的不同类型图像的定位信息，其中可由与特定用户相关联的一个或多个排序模型来确定所述排序。
图6是示出根据本发明一个实施方式搜索图像的过程的流程图。过程600可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，在非暂时性计算机可读介质上实现)或其组合。例如，过程600可以由图3的系统300执行。参考图6，在框601处，处理逻辑接收表示图像的第一集合中的第一图像的第一图像id。第一图像当前一次一个按顺序地显示在用户的移动设备上。响应于用户与搜索结果页面的交互，可获得作为搜索细节页面的一部分的图像的第一集合并将其传输至移动设备。可响应于搜索图像的搜索查询生成搜索结果页面。搜索结果页面可包括表示作为搜索结果的图像的图像表示或图形表示(例如，缩略图)的列表。
响应于第一图像id，在框602处，处理逻辑基于与用户相关联的当前浏览会话的用户交互和先前浏览会话的用户交互确定用户可能从第一图像开始相继访问的另外图像的数量。其目的是，评估响应于作为搜索结果的图像流或序列用户通常要访问多少图像，使得可准备确切数量的另外图像以在不浪费处理资源或网络带宽的情况下涵盖用户的意图。例如，如果用户通常将按顺序访问平均8个图像，则准备4个另外图像可能不够，而准备20个另外图像可能会浪费资源，因为用户可能无法达到那些图像。
在框603处，处理逻辑基于所确定的用户可能访问的另外图像的数量来搜索和识别图像的第二集合。换言之，可基于所预测的用户可能访问的图像的数量来优化包括在第二集合中的图像的数量。在框604处，使用与用户相关联的一个或多个排序模型对图像的第二集合中的至少一部分进行排序。可基于用户关于相同或类似图像的先前用户交互、用户的用户简档和关于用户的其他信息(例如，用户的历史记录)生成和训练排序模型。可针对一些预定标准(例如，cpm、cpa和cpc)计算一个或多个排序得分。这些得分可表示用户与图像之间的相关性，这转而表示用户是否可能有兴趣观看所述图像。
在框605处，基于图像的排序确定图像的序列顺序(例如，图像序列中的位置)。一些图像可以是由某些赞助商提供的赞助图像且这些图像可位于序列中的较靠前的位置以使得用户将更容易地达到并观看所述图像。其结果是，生成具有确定序列顺序的图像的最终序列。在框606处，将有序图像的最终序列传输至用户的移动设备，其中响应于用户动作(例如，滑动动作)一次一个按顺序地在移动设备上显示有序的图像。
图7a至7b是示出根据本发明另一个实施方式的搜索图像的过程的流程图。过程700可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，在非暂时性计算机可读介质上实现)或其组合。例如，过程700可以由图3的系统300或图4的系统400执行。参考图7a，在框701处，处理逻辑从用户的移动设备接收用于搜索图像的搜索查询。响应于搜索查询，在框702处，处理逻辑基于搜索查询在一个或多个主要内容数据库或主要图像源中进行搜索以识别主要图像集合。在框703处，生成搜索结果页面并将所述搜索结果页面传输至移动设备以在所述移动设备中进行显示。搜索结果页面包括表示主要图像的图像或图形表示(例如，缩略图)的列表。
随后，在框704处，处理逻辑接收与搜索结果页面的用户交互，包括标识第一图像的由第一图像表示所表示的第一图像id，所述第一图像表示是从搜索结果页面交互得来的。在框705处，现在参考图7b，处理逻辑基于与用户相关联的当前浏览会话的用户交互和先前浏览会话的用户交互确定或预测用户可能会从第一图像开始访问的另外图像的数量。在框706处，处理逻辑在一个或多个辅助内容数据库或图像源中进行搜索以识别作为辅助图像候选项的辅助图像列表。在框707处，使用与用户相关联的一个或多个排序模型对辅助图像候选项进行排序，这包括针对一个或多个预定标准(例如，cpm、cpa或cpc)计算一个或多个排序得分。
在框708处，处理逻辑基于依据图像选择规则集合的排序针对从辅助图像候选项中选出的一个或多个辅助图像确定放置位置(例如，序列位置)。在框709处，根据所确定的放置位置按顺序将选定的辅助图像与主要图像相混合，从而生成混合的主要图像和辅助图像序列。在框710处，将搜索细节页面传输至移动设备，其中搜索细节页面包括将一次一个按顺序地在移动设备上进行显示的、主要图像和辅助图像被混合的序列。
可将以上所述的技术应用于搜索与赞助图像相混合的图像。一种类型的赞助图像为广告(ad)。例如，返回参考图1a至1b，主要内容数据库/服务器130可以是一般图像数据库/服务器，而辅助数据库/服务器131可以是广告数据库或广告服务器。在另一个实施方式中，主要内容db130可存储通常在公共网络中可用的一般内容。辅助内容db131可以是广告db。服务器104可以是用于搜索内容的网络服务器，或可替代地，服务器104可以是广告服务器。还应注意，还可将以上所述的技术应用于除图像以外的内容项目。
图8是示出可以与本发明的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可表示以上所述的执行上述过程或方法中的任一个的任意数据处理系统，例如上述客户端设备或服务器，例如以上所述的服务器104、内容服务器133。
系统1500可包括诸多不同的组件。这些组件可以实现为集合成电路(ic)、集合成电路的一部分、离散电子设备或适于电路板的其他模块(诸如计算机系统的主板或插入卡)，或者实现为以其他方式并入计算机系统的底盘内的组件。
还应注意，系统1500旨在示出计算机系统的诸多组件的高级视图。然而，应当理解的是，某些实现方式中可具有附加的组件，此外，其他实现方式中可具有所示组件的不同布置。系统1500可以表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(pda)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(ap)或中继器、机顶盒或其组合。此外，虽然仅示出单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集合以执行本文所讨论的任意一种或多种方法的机器或系统的任何集合。
在一个实施方式中，系统1500包括通过总线或互连件1510连接的处理器1501、存储器1503以及设备1505-1508。处理器1501可表示其中包括单个处理器内核或多个处理器内核的单处理器或多处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(cpu)等。更具体地，处理器1501可以是复杂指令集合计算(cisc)微处理器、精简指令集合计算(risc)微处理器、超长指令字(vliw)微处理器、或实现其他指令集合的处理器、或实现指令集合组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集合成电路(asic)、蜂窝或基带处理器、现场可编程门阵列(fpga)、数字信号处理器(dsp)、图形处理器、网络处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
处理器1501，可以是低功率多核处理器插座(诸如超低电压处理器)，可充当用于与系统各组件通信的主处理单元和中央集线器。这种处理器可以实现为片上系统(soc)。处理器1501配置成执行用于执行本文所讨论的操作和步骤的指令。系统1500还可包括与可选的图形子系统1504通信的图形接口，图形子系统1504可包括显示控制器、图形处理器和/或显示设备。
处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以通过多个存储器设备来实现以提供给定量的系统内存。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(ram)、动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)、静态随机存取存储器(sram)或其他类型的存储设备。存储器1503可以存储包括由处理器1501或任何其他设备执行的指令序列的信息。例如，多种操作系统、设备驱动程序、固件(例如，输入输出基本系统或bios)和/或应用的可执行代码和/或数据可以加载到存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如像来自
系统1500还可包括io设备，诸如设备1505-1508：包括网络接口设备1505、可选的输入设备1506以及其他可选的io设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(nic)。所述无线收发器可以是wifi收发器、红外收发器、蓝牙收发器、wimax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(gps)收发器)或其他射频(rf)收发器或其组合。nic可以是以太网卡。
输入设备1506可包括鼠标、触摸板、触敏屏幕(其可以与显示设备1504整合在一起)、指示装置(诸如指示笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入设备1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可以使用多种触摸灵敏度技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种、以及使用用于确定与触摸屏的一个或多个接触点的其他接近传感器阵列或其他元件来检测其接触和移动或间断。
io设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音标识、语音复制、数字记录和/或电话功能。其他io设备1507还可包括通用串行总线(usb)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，pci-pci桥)、传感器(例如，运动传感器，诸如加速度计、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或其组合。设备1507还可包括成像处理子系统(例如，相机)，所述成像处理子系统可包括用来促进相机功能(诸如记录照片和视频片段)的光学传感器，诸如电荷耦合设备(ccd)或互补金属氧化物半导体(cmos)光学传感器。某些传感器可以通过传感器集线器(未示出)联接到互连件1510，而其他设备诸如键盘或热传感器可以由嵌入式控制器(未示出)控制，这取决于系统1500的特定配置或设计。
为了永久性地存储诸如数据、应用、一个或多个操作系统等的信息，还可将大容量存储设备(未示出)联接到处理器1501。在各实施方式中，为了实现更薄且更轻的系统设计并且改进系统响应能力，这种大容量存储设备可以通过固态设备(ssd)来实现。然而，在其他实施方式中，大容量存储设备可以主要使用硬盘驱动(hdd)来实现，其中较小量的ssd存储设备充当ssd高速缓存以在断电事件期间能够非易失性地存储上下文状态以及其他此类信息，从而使得能够在系统活动重新启动时快速通电。另外，闪存设备可以例如通过串行外围接口(spi)联接到处理器1501。这种闪存设备可非易失性地存储系统软件，所述系统软件包括基本输入/输出软件(bios)以及系统的其他固件。
存储设备1508可包括计算机可访问的存储介质1509(也称为机器可读存储介质或计算机可读介质)，所述存储介质1509上存储有实现本文所述的任何一种或多种方法或功能的一个或多个指令集合或软件(例如，模块、单元和/或逻辑1528)。模块/单元/逻辑1528可以表示任意上述组件，例如像以上所述的搜索引擎、编码器、交互记录模块、图像选择模块。模块/单元/逻辑1528还可以在其由数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，另外构成机器可访问的存储介质。模块/单元/逻辑1528还可以通过网络经由网络接口设备1505被发送或接收。
计算机可读存储介质1509也可以用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储一个或多个指令集合的单个介质或多个介质(例如，集合中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集合的任何介质，所述指令集合用于由机器执行并且导致所述机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质或者任何其他非暂时性机器可读介质。
本文所述的模块/单元/逻辑1528、组件以及其他特征可以实现为离散硬件组件或整合在硬件组件(诸如asics、fpga、dsp或类似设备)的功能中。另外，模块/单元/逻辑1528可以实现为硬件设备内的固件或功能电路。此外，模块/单元/逻辑1528可以以硬件设备和软件组件的任何组合来实现。
应注意，虽然系统1500被示出为具有数据处理系统的各组件，但是这不旨在表示任何具体的架构或互连组件的方式；因为此类细节和本发明的实施方式没有密切关系。还将理解，具有更少组件或可能具有更多组件的网络计算机、手持计算机、移动电话、服务器和/或其他数据处理系统也可与本发明的实施方式一起使用。
前述详细描述中的一些部分已经依据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方法，以最有效地将它们的工作实质传达给本领域中的其他技术人员。这里，算法通常被认为是导致所期望结果的前后一致的操作序列。这些操作是需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均意图与适当的物理量关联，并且仅仅是应用于这些量的适宜标记。除非在以上讨论中另外明确地说明清楚，否则应当了解，在本说明书通篇利用术语(诸如以下权利要求书中所阐述的术语)的讨论是指计算机系统或类似电子计算设备的动作和处理，所述计算机系统或电子计算设备操控计算机系统的寄存器和存储器内的表示为物理(例如，电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或其他此类信息存储器、传输或显示设备内类似地表示为物理量的其他数据。
各图中所示的技术可以使用存储在一个或多个电子设备上并在所述一个或多个电子设备上执行的代码及数据来实施。此类电子设备使用计算机可读介质来存储和传送(在内部和/或通过网络与其他电子设备进行传送)代码及数据，所述计算机可读介质诸如为非暂时性计算机可读存储介质(例如，磁盘、光盘、随机存取存储器、只读存储器、闪存设备、相变存储器)和暂时性计算机可读传输介质(例如，电子、光学、声学或其他形式的传播信号—诸如载波、红外信号、数字信号)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，在非暂时性计算机可读介质上实现)或两者的组合。虽然所述过程或方法在上文中依据一些顺序操作来描述，但是应当了解，所描述操作中的一些可以按不同的次序执行。此外，一些操作可以并行地而不是顺序地执行。
在以上说明书中，已经参考本发明的具体示例性实施方式对本发明的实施方式进行了描述。将显而易见的是：在不脱离如以下权利要求书中阐述的本发明的更宽泛精神和范围的情况下，可以对这些实施方式做出各种修改。因此，应当在说明性意义而不是限制性意义上来理解说明书和附图。
- 还没有人留言评论。精彩留言会获得点赞！