使用估计的广告质量来进行广告过滤、排名和提升的制作方法

专利名称：使用估计的广告质量来进行广告过滤、排名和提升的制作方法
技术领域：
在此所描述的实现一般涉及在线广告，更具体地，涉及使用估计 的广告质量来对在线广告进行过滤、排名以及提升。
背景技术：
在线广告系统寄放(host)可以对各种服务和/或产品做广告的广 告。这样的广告可以被呈现给访问由广告系统所寄放的文档的用户， 或者呈现给发出用于搜索文档集的搜索查询的用户。广告可以包括"创
意(creative)"，其包括与被广告的服务和/或产品相关的文本、图形 和/或图像。该广告还可以包括连至包含关于被广告服务和或产品的细 节的广告"定着文档"的链接。当特定创意引起用户的兴趣时，该用 户可以选择(或点击)该创意，并且该相关链接使得用户的网页浏览 器访问与该创意相关的"定着文档"及相关链接。在下文中，将用户 对广告创意以及相关链接的选择称为"点击"。
在线广告系统通常为了计帐以及其他目的而跟踪广告点击。跟踪 广告点击的一个非计帐目的是试图确定广告质量。点进率(CRT)是用 于确定广告质量的度量。CRT表示当将给定的广告呈现给用户时该给 定的广告获得"被点击"的次数的分值。但是，广告的CRT是对广告 质量的有缺陷的度量，因为它只关注于广告创意而不是广告对象，即 定着文档。为了确定广告是好还是坏，用户需要点击广告，因此发生/ 不发生点击不足以确定广告的质量。 一些广告由于它们具有很好的创 意而接收到许多点击，但是定着文档对于用户来说却是完全无法令人 满意的或者不相关的。其他广告接收到非常少的点击(例如，由于该 广告创意差)，但是每个点击都让用户满意。因而，现有的确定与在 线广告相关的CRT提供了对广告质量的有缺陷的度量。
此外，在现有的在线广告系统中，显示给用户的广告以及广告显 示给用户的次序完全基于广告的CRT以及广告商愿意为显示其广告而
支付的最大"每次点击成本"(cost per click, CPC)。该CPC是广告 商愿意支付给广告发布者的数额，并且其基于该特定广告接收到的选 择(例如，点击)的数量。就CTR被用作广告质量的替身来说，其由 于已经阐述的原因而是不充分的。因而，现有的用于确定显示哪个广 告以及对广告进行分级的机制使用了一种对广告质量的有缺陷的度 量，其可能不向用户提供最高质量的广告。

发明内容
根据一个方面， 一种方法可以包括获得与多个广告中的广告的 质量相关联的第一参数，其中该第一质量参数不包括点进率。该方法 可以进一步包括用函数式将该第一质量参数与至少一个其他参数组 合，并利用该函数组合来对该多个广告中的广告进行过滤、排名或者 提升。
根据另一个方面， 一种方法可以包括获得与第一组广告相关联
的评级，其中该评级表示该第一组广告的质量。该方法还可以进一步 包括观察与第一组广告中的广告的用户选择相关联的多个不同的用户 动作，并且利用所观察的用户动作以及所获得的评级推导统计模型。 该方法还可以包括通过利用该统计模型来估计与第二组广告相关联的 质量分值，并根据所估计的质量分值来将第二组广告中的广告子集提 供给用户。
根据还一个方面， 一种方法可以包括利用统计模型来确定与一组
广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方 法还可以包括根据所确定的质量分值来禁用使该组广告中的第一广告 子集，并将该组广告的第二子集提供给用户，其中该组广告的第二子 集包括第一组广告减去第一广告子集。
根据另外的方面， 一种方法可以包括利用统计模型来确定与一组 广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方 法还可以包括根据所确定的质量分值来对该组广告的广告进行排名， 以确定排名次序。
根据另一个方面， 一种方法可以包括利用统计模型来确定与一群
广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方
法可以进一步包括根据所确定的质量分值来提升该群广告中的一个或 多个广告，将该群广告中被提升的一个或多个广告定位在文档的突出 位置，以及将该群广告中未被提升的广告定位在文档上的比该被提升 的一个或多个广告不突出的位置。


被并入并构成该说明书的一部分的附图示出了本发明的一个或多 个实施例，并且与该说明书一起来解释本发明。在附图中，
图1和2是一个实现的示范性概要图，其中利用与一组广告相关 联的所观察的用户行为以及已知的质量评级来构造统计模型，其中该 统计模型可以用来估计广告质量，以及然后根据所估计的广告质量来 对广告进行过滤、排名以及提升；
图3是其中可以实现与本发明的原理一致的系统和方法的网络的
示范图4是根据与本发明的原理一致的实现的图3中的客户端或服务 器的示范图5是根据与本发明的原理一致的实现的示范性过程的流程图， 用于构造与多个在线广告的选择相关联的用户行为的模型；
图6-13示出了与所观察的或已登录的用户行为相对应的各种示范 性会话特征，其中该特征可以被用于构造统计模型，以预测广告质量；
图14是根据与本发明的原理一致的实现的示范性过程的流程图， 用于确定与广告质量相关的预测值；
图15是图形示出与本发明的一个方面一致的图14的示范性过程
的图16是用于存储图14中确定的预测值的示范性数据结构的图； 图17和18是与本发明的原理一致的示范性过程的流程图，用于
利用在图14的示范性过程中确定的预测值来估计与广告相关联的好或
差质量的几率；
图19是根据与本发明的原理一致的实现的示范性过程的流程图， 用于预测广告的质量；
图20是图形示出了与本发明的一个方面一致的图19的示范性过
程的；
图21是根据与本发明的原理一致的实现的示范性过程的流程图， 用于对广告进行过滤、排名和/或提升；
图22-24示出了与本发明的各方面一致的对广告进行过滤的各种
例子；
图25和图26示出了与本发明的各方面一致的对广告进行排名的
例子；
图27-29示出了与本发明的各方面一致的广告提升的例子；以及 图30示出了与本发明的一个方面一致的示范性搜索结果文档，该 文档包括过滤的、排名的和/或提升的广告。
具体实施例方式
下面参照附图来对本发明进行详细说明。在不同的附图中，相同 的参考数字可以表示相同或类似的元件。而且，下面的详细说明不限 制本发明。
与本发明的各方面一致的系统和方法可以使用与在线广告的用户 选择相关联的用户行为的多个观察(例如，实时观察或者来自记录用 户的日志的观察)，以与传统的仅基于CTR的确定相比更准确地估计 广告质量。可以使用与已知评级的广告相关联的质量评级、以及与这 些己知评级的广告的选择(例如，"点击")相关联的相应测量的所观测的用户行为来构造统计模型。随后，可以使用该统计模型来根据 与广告选择相关联的所观测的用户行为和/或所选择的广告的特征或用 于检索广告的查询来估计与该广告相关联的质量。可以使用所估计的 与广告相关联的质量来确定将哪个广告提供给用户、对广告进行排名 和/或将所选择的广告提升至提供给用户的文档上的突出位置。
如在此所使用的术语"文档"应被广泛地解释为包括任何机器可 读以及机器可存储的工作成果。文档可以包括例如电子邮件、网页或 网站、商务列表、文件、文件的组合、嵌有到其他文件的的连接的一 个或多个文件、新闻组贴子、博客、在线广告等。文档通常包括文本 信息，并且可以包括嵌入式信息(例如元信息、图像、超链接等)和/
或嵌入式指令(例如Javascript等)。如在此所使用的术语"链接"应 被广泛地解释为包括从/到一个文档到/从另一个文档或者该相同文档 另一部分的任意参考。
概述
图1和图2示出了本发明的实现的示范性概要图，其中可以使用 所观测的用户行为来估计在线广告的质量，并然后可以使用所估计的 质量来对所选择的广告进行过滤、排名和/或提升。
如图1所示，多个评级的广告100-1至100-N (在此共同地称作广 告100)中的每一个可以与相应的文档105-1至105-N (在此共同地称 作文档105)相关联。除了评级的广告100外，每个文档105可以包括 一组搜索结果(该结果是基于用户提供的搜索查询而由搜索引擎执行 搜索得到的)，并且还可以包括一个或多个广告。每个广告100可以 与评级数据120相关联，该评级数据120是由已对每个评级的广告100 的质量进行了评级的评级人提供的。每个广告100可以对各种产品或 服务做广告。
响应于接收到广告100,接收用户可以基于广告上显示的"创意"
来选择110广告(例如，例如使用鼠标在显示的广告上进行"点击")。 在广告选择uo之后，使用嵌入在广告100中的链接通过寄放该广告 的服务器将广告定着文档115提供给选择用户。该广告定着文档115
可以提供在相应广告100中做广告的产品和/或服务的细节。
在用户进行每个广告选择iio之前、期间和/或之后，可以实时测
量在"会话"期间与每个广告选择110相关联的会话特征125或者将 其记录在存储器中或磁盘上。会话可以包括在长于一个特定时间段内 无中断地发生的一组用户动作(例如，在长于三小时的时间段内无中 断地发生的一组用户动作)。
所测量的会话特征125可以包括任何类型的所观察的用户行为或 动作。例如，会话特征125可以包括广告选择110的持续时间(例如， 在广告100上"点击"的持续时间)、在给定的广告选择之前和/或之 后其他广告的选择的数量、在给定的广告选择之前和/或之后搜索结果 的选择的数量、在给定的广告选择之前和/或之后对其他类型结果(例 如，图像、新闻、产品等)的选择的数量、在给定的广告选择之前和/ 或之后文档阅览(例如，页面阅览)的数量(例如，在广告选择之前 和/或之后搜索结果的页面阅览)、在给定的广告选择之前和/或之后搜 索查询的数量、与显示广告的用户会话相关联的査询的数量、对同一 给定广告进行重复选择的数量或者给定的广告选择是否为会话中的最 后选择、会话中的最后广告选择、对于给定的搜索查询的最后选择或 对于给定的搜索查询的最后广告选择的指示。与本发明的各方面一致， 可以使用上面没有描述的其他类型的与广告选择相关联的所观察的用 户行为。
利用与相应评级的广告100的每个广告选择100相关联的所测量 的会话特征125以及广告评级数据120，可以构造统计模型130 (如下 面进一步描述的)。该统计模型可以包括利用统计技术推导的概率模 型。这样的技术可以包括例如逻辑回归(logistic regression)、回归树、提级的枝端(boosted stumps)或者任何其他统计建模技术。统计模型 130可以提供一个预测值，该预测值估计给定的广告是与广告的用户选 择相关联的好的给定所测会话特征的可能性(例如，P (good ad|ad selection) =/g (session feaures))。
在构造统计模型130之后，可以预测由一个或多个用户选择的广 告的广告质量值。可以将与文档140相关联的并且由网络中的服务器 所寄放的广告135提供给访问用户。可以对与广告135的用户选择145 相关联的会话特征155进行测量或者将其记录在存储器中或磁盘上， 并且可以将该测量作为输入提供给统计模型130。统计模型130可以确 定广告135为好广告、给定所测的会话特征的可能性，并且可预测广 告135的广告质量值160。虽然图1描述了预测与单个广告135相关联 的质量值，但是可以为由多个用户选择的每个广告135估计广告质量 值160，以生成多个预测广告质量值160。
如图2所示，从多个广告选择中得到的预测质量值160可以被聚 合和处理200 (如下面将参照图14-20所描述的)，以进一步提供表示 各个广告是好广告或者差广告的广告质量参数210。可以使用该广告质 量参数210来对与广告质量参数210相关联的广告中所选择的广告进 行过滤、排名和/或提升。可以首先确定与用户发出的搜索査询224相 关的一组广告220,例如，基于广告的内容与搜索査询224的术语的比 较。然后，可以基于与每个广告相关联的广告质量参数210 (单独地或 者与CTR结合)来对该组广告220进行过滤230。对该组广告220的 过滤可以禁用使所选择的广告，以使得不将它们提供给发出搜索査询 224的用户。可以使用利用所估计的广告质量的各种技术来对该组相关 广告210中的所选广告进行过滤，这将在下面进一步描述。
然后，可以基于广告质量参数210来对该组相关广告220进行排 名240。可以在过滤230之后(或之前)，或者不执行过滤230，对该 组相关广告220进行排名240。对该组相关广告220进行的排名240确
定了用于向发出该搜索査询224的用户提供每个相关广告220 —个所
选次序。
可以基于质量参数210进一步对该组相关广告220中的一个或多 个广告进行提升250。提升广告可以包括将所提升的广告定位在文档上 相对于未被提升的广告不同的位置。例如，可以将所提升的广告放置 在文档上(例如，文档顶部或文档底部)的高亮(更突出)位置，而 将未被提升的广告将放置在文档上不同的非高亮或不太突出的位置。 可以在过滤230和排名240之后、只在排名240之后、或者不进行过 滤230或排名240，对该组相关广告220进行提升250。
可以将该经过过滤、排名和/或提升的广告提供给发出搜索查询 224的用户。在一些实现中，可以将该经过过滤、排名和/或提升的广 告包括在提供给用户的一个或多个文档中，包括由搜索引擎执行用户 所发出的搜索查询224而得到的搜索结果。
示范性网络结构
图3是其中可以实现与本发明的原理一致的系统和方法的网络 300的示范图。网络300可以包括经由网络340连接到一个或多个服务 器320-330的多个客户端310。为了简便起见，示出了两个客户端310 以及两个服务器320-330连接到网络340。实际上，可以有更多或更少 的客户端和服务器。而且，在一些实例中，客户端可以执行服务器的 功能，并且服务器可以执行客户端的功能。
客户端310可以包括客户端实体。实体可以被定义为装置，诸如 个人计算机、无线电话、个人数字助理(PDA)、膝上型电脑、或者 另一类型的计算或通信装置、在这些装置之一上运行的线程或进程、 和/或者可以由这些装置之一执行的对象。 一个或多个用户可以与每个 客户端310相关联。服务器320和330可以包括以与本发明的原理一 致的方式来访问、取得、聚合、处理、搜索和/或保持文档的服务器实
体。客户端310和服务器320及330可以经由有线、无线、和/或光连 接来连接到网络340。
在与本发明的原理一致的实现中，服务器320可以包括搜索引擎 系统325，其可由客户端310的用户使用。服务器320可以通过抓取文 档集(例如，Web文档)对该文档进行索引以及将与该文档相关联的 信息存储文档库中来实现数据聚合服务。也可以以其他方式来实现该 数据聚合服务，诸如与数据服务器330的操作者协定以经由数据聚合 服务来分发它们所寄放的文档。在一些实现中，服务器320可以寄放 可以被提供给在客户端310的用户的广告(例如，创意、广告定着文 档)。搜索引擎系统325可以执行从在客户端310的用户接收的对存 储在文档库中的文档集的查询，并且可以将与所执行的查询相关的一 组搜索结果提供给该用户。除了该组搜索结果以外，服务器320还可 以将与所执行的搜索的结果相关联的一个或多个广告创意提供给在客 户端310的用户。
服务器330可以存储或保持可以是由服务器320所抓取的文档。 这样的文档可以包括与出版的新闻故事、产品、图像、用户组、地理 区域相关的数据或者任何其他类型的数据。例如，服务器330可以存 储或保持来自任何类型的新闻资源(诸如例如华盛顿邮报、纽约泰晤 士报、泰晤士杂质或者新闻周刊的新闻故事)。作为另一例子，服务 器330可以存储或保持与特定产品相关的数据，诸如由一个或多个产 品制造商提供的产品数据。作为还一个例子，服务器330可以存储或 保持与其他类型的Web文档(例如网站的页面)的数据。服务器330 还可以寄放广告，诸如广告创意以及广告定着文档。
网络340可以包括任何类型的一个或多个网络，包括局域网 (LAN)、广域网(WAN)、城域网(MAN)、诸如公共开关电话网 络(PSTN)或公共陆地移动网络(PLMN)的电话网、内联网、因特 网、存储器装置或者网络的组合。该PLMN可以进一步包括分组交换
子网，诸如例如通用分组无线服务(GPRS)、蜂窝数字分组数据(CDPD)
或移动IP子网。
虽然服务器320-330被示为单独的实体，但是也可能是服务器 320-330中的一个执行该服务器320-330中的另一个的一个或多个功 能。例如，可以将服务器320和330实现为单个服务器。也可以将服 务器320和330中的单个服务器实现为两个或更多个单独(可能分布 式的)的装置。
示范性客户端/服务器体系结构
图4是根据与本发明的原理一致的实现的客户端或服务器实体 (下文中称为"客户端/服务器实体")(客户端或服务器实体可以对 应于一个或多个客户端310和/或服务器320-330)的示范图。该客户端 /服务器实体可以包括总线410、处理器420、主存储器430、只读存储 器(ROM) 440、存储装置450、输入装置460、输出装置470以及通 信接口 480。总线410可以包括允许在客户端/服务器实体的元件之间 进行通信的路径。
处理器420可以包括处理器、微处理器、或者可以解释和执行指 令的处理逻辑。主存储器430可以包括随机存取存储器(RAM)或者 另一个类型的动态存储装置，其可以存储信息以及由处理器420执行 的指令。ROM 440可以包括ROM装置以及另一种类型的静态存储装 置，其可以存储静态信息以及供处理器420所使用的指令。存储装置 450可以包括磁和/或光记录介质及其相应驱动。
输入装置460可以包括用于允许操作者将信息输入到客户端/服务 器实体的机构，诸如键盘、鼠标、笔、语音识别和/或生物机制等。输 出装置470可以包括用于将信息输出给操作者的机构，包括显示器、 打印机、扬声器等。通信接口 480可以包括任何类似于收发器的机构， 其使得该客户端/服务器实体能够与其他装置和/或系统进行通信。例
如，通信接口 480可以包括用于经由诸如网络340的网络与另一个装 置或系统进行通信的机构。
与本发明的原理一致的客户端/服务器实体可以执行某些操作或 进程，如将在下面将详细描述的。该客户端/服务器实体可以响应于处 理器420执行包含在诸如存储器430的计算机可读介质中的软件指令 而执行这些操作。计算机可读介质可以被定义为物理或逻辑存储器装 置和/或载波。
可以从例如数据存储装置450的另一计算机可读介质，或者经由 通信接口 480从另一装置，将软件指令读入到存储器430中。包含在 存储器430中的软件指令可以使处理器420执行随后将详细描述的操 作或处理。替代地，可以用硬线电路来替换软件指令或者与软件指令 组合来实现与本发明的原理一致的处理。因而，与本发明的原理一致 的实现不限于硬件电路和软件的任意特定组合。
用于构造与广告选择相关联的用户行为的统计模型的示范性过程 图5是用于构造与多个在线广告的选择相关联的用户行为的统计 模型的示范性过程的流程图。本领域技术人员可以理解的是，图5中 所示范的过程可以适当地以软件实现并被存储在计算机可读存储器 中，诸如主存储器430、 ROM 440或者服务器320、服务器330或客户 端310的存储装置450。
该示范性过程可以以获取与评级的广告相关联的评级数据开始 (框500)。该评级数据可以包括对每个评级的广告的质量进行评级(例 如，对广告进行评级的一种方式是对该广告相对于所发出的查询的相 关程度进行评级)的人生成数据。然后，可以获得与所评级的广告的 每个选择相关联的会话特征(框510)。可以通过在给定的用户会话期 间观察实际的用户行为来实时地获得会话特征(其在将每个广告印象 显示给用户之前、期间以及之后发生)，或者可以在将每个广告印象
显示给用户之前、期间以及之后从存储在数据结构中的会话特征(即， 用户行为和动作)的记录日志中获得。所获得的会话特征125可以包 括任何类型的观察的用户行为。每个会话特征125可以对应于用户对
于给定广告的满意度的间接测量。会话特征125中的某些会话特征可 以是确定不同用户对于会话特征125中的其他会话特征如何具有不同 值的因素(例如，具有拨号连接的用户可以比具有高速因特网连接的 用户具有更长的广告选择持续时间)。
会话特征125可以包括，但不限于，广告选择的持续时间(例如， 在广告上"点击"的持续时间)、在给定的广告选择之前和/或之后的 其他广告的选择的数量、在给定的广告选择之前和/或之后的搜索结果 的选择的数量、在给定的广告选择之前和/或之后的其他结果的选择的 数量、在给定的广告选择之前和/或之后的文档浏览(例如，页面浏览) 的数量、在给定的广告选择之前和/或之后的搜索查询的数量、与显示 广告的用户会话相关联的搜索査询的数量、对相同同一给定广告的重 复选择的数量或者给定的广告选择是否是会话中的最后选择、会话中 的最后广告选择、对于给定搜索査询的最后选择或者对于给定搜索査 询的最后广告选择的表示。图6-13在下面描述了与本发明的各方面一 致的可以作为会话特征而被测量的各种示范性类型的用户行为。
图6示出了广告选择的持续时间的测量作为会话特征600。如图6 中所示，可以将与文档610相关联的广告605提供给用户。响应于接 收到广告605，该用户可以选择615广告605，并且可以将该广告定着 文档620提供给用户。可以测量广告选择的持续时间625 (例如，从选 择广告的时间直到用户的下一动作(诸如点击另一个广告、输入新查 询等)的时间段)作为会话特征600。
图7示出了在具体广告选择之前和/或之后的对其他广告选择的数 量的测量作为会话特征700。假设广告N710的具体选择705，以及响 应于该广告选择705而提供广告定着文档715，则可以测量与提供以前
广告定着文档730对应的广告N-x 725中的一个或多个以前广告选择 720的数量。另外，或者作为选择，假设广告N710的具体选择705， 可以测量与提供下一广告定着文档745对应的广告N+x 740中的一个 或多个下一广告选择735的数量。可以测量在具体的广告选择之前和/ 或之后的其他广告选择的数量，作为会话特征700。
图8示出了在具体的广告选择之前和/或之后的对搜索结果选择的 数量的测量作为会话特征800。假设广告N810的具体选择805，以及 响应于该广告选择805而提供广告定着文件815，可以测量在该广告选 择805之前用户浏览的搜索结果文档820的数量作为会话特征800。可 以使用用户发出的搜索查询基于搜索的执行来将搜索结果文档提供给 用户。另外，或者作为选择，可以测量在广告选择805之后由该用户 浏览的搜索结果文档825的数量作为会话特征800。
图9示出了在具体的广告选择之前和/或之后的对用户浏览的文档 的数量的测量作为会话特征900。假设广告910的具体选择卯5，并且 响应于该广告选择905而提供广告定着文档915，可以测量在广告选择 905之前用户浏览的文档920 (例如，页面浏览)的数量作为会话特征 900。另外，或者作为选择，可以测量在广告选择卯5之后用户浏览的 文档925 (例如，页面浏览)的数量作为会话特征900。
图10示出了在具体广告选择之前和/或之后的对用户发出的搜索 査询的数量的测量作为会话特征1000。假设广告1010的具体选择 1005，并且响应于该广告选择1005而提供广告定着文档1015，可以测 量在广告选择1005之前用户发出的搜索查询1020的数量作为会话特 征IOOO。另外，或者作为选择，可以测量在广告选择1005之后用户发 出的搜索査询1025的数量作为会话特征1000。
图11示出了在包括具体广告选择的会话中的对搜索查询(其导致 了对广告进行显示)的数量的测量作为会话特征1100。假设包括预定
广告选择的会话，可以测量搜索查询1105的数量，其导致对相应广告 1110-1至1110-N进行显示。可以测量搜索査询的数量作为会话特征
1100。导致对广告进行显示的搜索査询1105的数量可以表示给定用户 会话的商业性质。
图12示出了用户对相同广告的重复选择的数量的测量作为会话 特征1200。如图12中所示，可以将可以与多个文档1210-1至1210-N 相关联的广告1205提供给用户一次或者多次。响应于每次接收到广告 1205，用户可以选择1215广告1205，并且可以对于每次重复的用户选 择将广告定着文档1220提供给用户。可以测量用户对相同广告的重复 选择的数量作为会话特征1200。
图13示出了确定广告选择是否是对于给定的搜索查询的最后广 告选择，或者该广告选择是否是对于用户会话的最后广告选择，作为 会话特征1300。如图13中所示，用户可以在给定的会话1310期间发 出搜索査询1305，并且可以在发出搜索查询1305之后将一个或多个广 告1315提供给用户。响应于每次接收到广告1315，用户可以选择1320 广告1315，并且可以将广告定着文档1325提供给用户。可以做出该广 告选择1320是否是对于搜索查询1305的最后广告选择的确定。因而， 如果发出搜索査询1305的用户选择了多个广告，则可以识别对于搜索 查询1305的仅仅最后广告选择。还可以做出该广告选择1320是否是 对于会话1310的最后广告选择的确定。因此，如果在给定的会话期间 用户已经做出多个广告选择，则可以识别对于该会话的仅仅最后广告 选择。
在图6-13中未示出的其他类型的用户行为也可以被用作与本发明 的原理一致的会话特征。下面列出了其他示范性会话特征的多个例子
1) 代替广告选择持续时间，可以将给定的广告选择持续时间相对 于用于给定用户的平均广告选择持续时间的比值用作会话特征。
2) 给定的广告选择持续时间相对于所有选择(例如，搜索结果选
择或者广告选择)的比值。
3) 用户在给定的会话中选择给定广告的次数。
4) 从广告结果选择直到用户发出另一搜索查询的持续时间。这可 以包括在给定广告点击之后花费在(经由搜索结果点击或广告点击达 到的)其他页面的时间。
5) 从给定的广告结果选择直到用户发出另一搜索查询为止的时间 相对于从广告结果选择直到用户发出另一搜索查询为止的所有其他时 间的比值。
6) 对于给定的广告结果选择，花费在浏览搜索查询的其他结果而
不是在给定的广告结果上的时间。
7) 上述6)中花费的时间(花费在其他结果上而不是在点击持续 上的时间)相对于经过所有查询在6)中花费的平均时间的比值。
8) 在给定的搜索结果或广告选择之前在给定会话中发生多少个搜 索(即，唯一发出的搜索査询)。
9) 在给定的搜索结果或广告选择之后在给定会话中发生多少搜索。
10) 除了搜索，在给定选择之前对于给定搜索査询发生多少结果 页面浏览。这可以在查询内(即，仅仅对于唯一查询)或对于整个会 话进行计算。
11) 除了搜索，在该选择之后对于给定的搜索查询发生多少搜索 结果页面浏览。这可以在查询内(即，仅仅对于唯一查询)或对于整 个会话进行计算。
12) 在该会话中发生的页面浏览的总数；
13) 在显示广告的会话中页面浏览的数量；
14) 在显示广告的会话中页面浏览的数量相对于该会话中发生的 页面浏览的总数的比值；
15) 在会话中显示的广告印象的总数；
16) 每个显示广告的查询所显示的广告的平均数，该会话的另一 个商业化测量；
17) 查询扫描时间一一从用户看到查询结果到用户做其他事情(点
击广告、搜索结果、下一页面、新查询等)时用多长时间
18) 在给定査询扫描时间与所有其他査询扫描时间之间的比值；
19) 在给定搜索中发生的选择(例如，点击)的总数。这些选择
包括所有类型的选择(例如，搜索、onebox、广告)，而不是仅仅广告 选择；
20) 在给定的广告选择之前在搜索中发生的选择的总数；
21) 在给定的广告选择之后在搜索中发生的选择的总数；
22) 在搜索中发生的广告选择的总数。可能需要用页面上的广告 数量来规范化；
23) 在给定的广告选择之前在搜索中发生的广告选择的总数；
24) 在给定的广告选择之后在搜索中发生的广告选择的总数；
25) 在搜索中发生的、其在文档上的广告位置位于文档上的给定 广告位置之上的广告选择的总数；
26) 在搜索中发生的、其在文档上的广告位置位于文档上的给定 广告位置之下的广告选择的总数；
27) 在搜索中发生的不是对给定广告的广告选择的总数；
28) 在搜索中发生的搜索结果选择的总数
29) 在给定的广告选择之前在搜索中发生的搜索选择的总数；
30) 在给定的广告选择之后在搜索中发生的搜索结果选择的总数；
31) 在会话中发生的长持续时间的搜索结果选择的总数；
32) 在会话中发生的短持续时间的搜索结果选择的总数；
33) 在会话中最后发生的搜索结果选择的总数。给定用户可以通
过点击搜索结果来结束会话，而不需要后续动作，或者用户可以以其
他方式(例如，广告结果点击、发出査询以及不点击等)来结束会话;
34) 在搜索中发生的非搜索结果以及非广告选择的总数；
35) 是否存在来自该广告选择的转换的表示；
36) 用户的连接速度的表示(例如，拨号、线缆、DSL);
37) 用户位于哪个国家的表示。不同的文化有可能导致用户对相
同的广告有不同反应，或者具有不同文化反应，或者不同地停在网站
38) 用户位于世界上的那个区域(例如，APAC二亚太区)的表示;
39) 对于给定广告的关键字与搜索査询精确匹配么(即，具有与
査询完全相同的术语)，或者缺失一个词，多于一个词，或者具有重 写术语么。通常，广告的质量可能变化(匹配越精确，质量越高)， 并且关键字匹配可能是分割广告的合理方式，并且预测广告对于不同
的匹配类型来说分别是好还是坏；
40) 对于给定广告的估计点进率(CTR)的表示；
41) 广告商为给定的广告选择支付多少每次点击成本(CPC)
广告很好的可能性可以取决于广告商支付了多少(越多质量越高)；
42) 广告商愿意支付多少CPC 在广告拍卖中，可以使用广告商
出价来设置广告排名，并且排名低于给定广告/广告商的广告/广告商设
置实际上将由下一个较高排名的广告/广告商支付的价格；
43) 有效CPC^预测的CTR;或者
44) 出价CP(^预测的CTR。
上面描述了可以用于统计模型的会话特征的多个例子。但是，本
领域技术人员应认识到可以使用其他的会话特征，作为选择，或者 与任意上述会话特征结合。
返回至图5，然后可以推导出统计模型，用于确定每个所选广告
是给定与广告选择相关联的所测会话特征的好质量广告的概率(框
250)。可以使用现有的统计技术(例如逻辑回归)来推导出与本发明 的原理相一致的统计模型。回归包括发现用于将结果变量(因变量y) 与一个或多个预测器(自变量xp x2，等)相关的函数。简单的线性回
归假设如下形式的函数
y-c。+c, 等式(l)
并且发现CO， Cl， C2等的值(CQ被称为"截距"或"常数项")。 在本发明的上下文中，每个预测器变量Xp X2， X3等对应于广告选择期
间测得的不同会话特征。逻辑回归是普通回归的变形，当观测到的结 果限定为两个值时是很有用的，其通常表示某个结果事件的发生或未
发生，(通常分别被编码为l或0)，诸如在本发明的上下文中的好广 告或差广告。
逻辑回归产生作为独立预测变量的函数对发生的概率进行预测的 公式。逻辑回归通过采取线性回归(上述等式(1))(其将生成位于
正无穷大与负无穷大之间的任意y值)并用下面的函数对其进行变换
来拟合特定S形曲线
<formula>formula see original document page 25</formula> 等式(2)
其中产生位于0(当y达到负无穷大时)和1(当y达到正无穷大 时)之间的P值。将等式(1)代入等式(2)，这样，好广告的概率 变为如下<formula>formula see original document page 25</formula>
等式3
其中Cgc为等式的常数，Cgn为会话特征预测变量Xn的系数。类似 地，可以通过下面的等式(4)来确定差广告的概率
<formula>formula see original document page 25</formula>等式4
其中Cbo为等式的常数，Cbn为会话特征预测变量Xn的系数。
可以测试统计模型的拟合，以确定哪个会话特征与好或差质量广 告相关。如果使用逻辑回归技术来确定统计模型，则该逻辑回归的目 的是要通过使用最节俭的模型来正确预测各个情况的结果。为了实现
这一目的，创建一个模型，其中包括在预测因变量y的结果时有用的
所有预测器变量(例如会话特征)。为了构建统计模型，逻辑回归可 以在每个系数(Cn)被增加或删除后测试模型的拟合，被称为逐步回归。 例如，可以使用反向逐步回归，其中模型构造从完整或饱和模型开始， 并且在迭代过程中从模型中消除预测器变量以及它们的系数。在消除 每个变量之后测试该模型的拟合，以确保该模型仍旧足够与数据拟合。 当无法再从模型中消除预测器变量时，该模型的构造就完成了。留在
模型中的预测器变量(每一个对应于所测的会话特征)识别与好或差 广告相关的会话特征。因而，逻辑回归能够提供不同预测器变量之间 的关系和强度的了解。为了了解从模型包括或消除的重要性而测试系 数以及它们相应的预测器变量的过程可以包括几个不同的已知技术。 这样的技术可以包括Wald测试，相似性比率测试或者 Hosmer-Lemshow Goodness of FiU则试。这些系数测i式技术在本领域内 是已知的，并且这里将不再进一步描述。在其他实现中，可以使用现 有的交叉确认和单独训练技术，来代替如上所述的分类估计以及测试 回归系数的技术。
代替或除了逻辑回归，可以使用其他现有的统计技术来推导与本 发明的原理相一致的统计模型。例如，使用"提级(boosting)"技术 的"枝端(stumps)"模型可以被用来推导统计模型。本领域技术人员 可以认识到的是，"提级"是一种机器学习技术，用于通过连续地改 进其他弱的统计模型来建立统计模型。其基本思想是向整个训练数据 集合重复地应用相同的算法，但是在每个阶段对训练数据进行不同地 加权。该加权使得通过阶段k与模型很好拟合的情况在阶段k+l接收 相对小的权重，而通过阶段k与模型不太拟合的情况在阶段k+l接收 相对大的权重。
枝端是在每个阶段都能够应用的弱统计模型。枝端是2叶分类树， 其由根节点和二进制规则构成，其将情况分为两个相互排斥的子集 (即，叶节点)。规则可以采取形式"点击持续时间(ClickDuration) < 120秒"，并且点击持续时间满足该规则的所有情况进入一个叶节点， 而不满足该规则的情况进入另一个叶节点。另一规则可以采取形式"广 告选择是最后广告选择"，并且广告选择满足该规则的所有情况进入 一个叶节点，而不满足该规则的情况进入另一个叶节点。
可以使用各种算法来拟合"boosted stump"模型，包括例如基于 梯度的方法。这样的算法可以如下进行给定一组权重，从所有可能
的二进制判定规则中(从将该情况分为两个叶子的会话特征中推到的) 选择一个将与该算法相关的(加权)损耗函数最小化的规则。损耗函
数的一些例子是与最大相似法对应的"伯努里式(Bernoulli)损耗"以 及与周知的ADABoost方法对应的"指数损耗"。在该阶段选择最佳 二进制判定规则之后，可以重新计算该权重，并可以重复该过程，借 此选择将新(加权)损耗函数最小化的最佳二进制规则。该过程可以 被重复许多次(例如，几百至几千)并且可以使用重采样法(例如， 交叉确认)来定义停止规则，以便于防止过拟合。
提级的枝端已经被显示为近似附加逻辑回归模型，因此每个特征 都对拟合模型作出附加的非线性贡献(关于逻辑等级)。该枝端的序 列定义会话特征与广告被评级为"好"的概率之间的关系。该序列可 以用如下的统计模型表示
e ( c。 + c, * BI (x) + c2 * B2(x) +■ ■ ■)
尸(go" ^l化肌'o" /g加^e ^ = 1 + g(c。+e|*BKx)+C2,B2(x)+.h) 等式(5)
其中如果会话特征x满足第k个二进制规则则Bk (x) =1，或者 如果会话特征x不满足第k个二进制规则则Bk (x) =0。该系数ck， k=l，...，是算法的副产品并且与在第k个二进制规则的好广告的可能 性相关。实际上，给定会话特征x，就可以估计每个二进制规则，并且 相应的系数被累计，以获得好广告的预测概率。可以类似地推导出与 上面的等式(5)类似的统计模型，其定义了会话特征与广告被评级为 "差"的概率之间的关系。
虽然上面已经描述了逻辑回归和提级的枝端作为构造统计模型的 示范性技术，但是本领域技术人员应认识到也可以使用其他现有的统 计方法(例如回归树)来推导与本发明的原理一致的统计模型。
用于确定与广告质量相关的预测值的示范性过程 图14是根据与本发明的原理一致的实现的示范性过程的流程图， 用于确定与广告的质量相关的预测值。本领域技术人员可以理解，图
14中举例说明的过程可以被适当地以软件来实现并被存储在计算机可
读存储器中，诸如主存储器430、 ROM 440或服务器320或330或客 户端310的存储装置450。
该示范性过程可以从接收搜索查询开始(框1400)。用户可以向 服务器320发出搜索查询，用于由搜索引擎系统325执行。通过搜索 引擎系统325可以获得与所接收的搜索査询相匹配的一组广告(框 1405)。搜索引擎系统325可以根据所接收的搜索査询来执行搜索， 以确定该组广告，以及与该搜索查询匹配的其他文档。搜索引擎系统 325可以将该组广告集合以及其他文档的列表提供给发出该搜索请求 的用户。
可以获得与从该组广告中选择广告相关联的会话特征(框1410)。 可以在用户广告选择期间实时地测量会话特征，或者可以从与广告选 择相关联的已记录用户行为的日志中获得会话特征。如图15中所示， 用户可以选择1500与文档1510 (例如，包含搜索结果和相关广告的文 档)相关联的广告1505。可以响应于广告选择1505而将广告定着文档 1515提供给用户。如图15中所示，可以测量与广告1505的选择1500 相关联的会话特征1520。所测量的会话特征可以包括与广告选择相关 联的任意类型的用户行为，诸如上面关于框510所述(图5)。
上面的框520中推导出的统计模型以及所获得的会话特征可以被 用来确定表示该广告是好广告和/或差广告的预测值(框1415)。该预 测值可以包括概率值(例如，使用上面的等式(3)或(5)取得的)， 表示具有与该广告的用户选择相关联的给定会话特征是好广告的概 率。该预测值还可以包括概率值(上面的等式(4))，表示具有与该 广告的用户选择相关联的给定测得会话特征是差广告的概率。因此， 可以将会话特征值输入到等式(3) 、 (4)和/或(5),以获得该所选 择的广告是好或差广告的预测值。例如，可以将用于会话特征Xp x2， X3和X4的值输入到等式(3),以获得P (good ad|session feature x!，
X2， X3， X4)的概率值。如图15所示，可以将该所测量的会话特征1520
输入到统计模型130，并且该统计模型130可以输出对于广告1505的 预测值1530。
可以获得与广告选择相关联的广告/査询特征(框1420)。如图 15所示，可以获得与广告1505的选择1500相关联的广告/査询特征 1535。该广告/査询特征1535可以包括与广告1505的广告商相关联的 标识符(例如，广告商的可视统一资源定位符(URL))、广告1505 所定向到的关键字、用户发出的搜索査询中广告1505没有定向到的词 和/或用户发出的搜索查询中广告没有定向到但是与广告1505所定向 到的词类似的词。可以使用与本发明的原理一致的上面没有描述的其 他类型的广告或査询特征。例如，可以将组合(例如，两个对象/査询 特征对)中观查的任意上述广告/查询特征都用作单个广告查询/特征。
对于每个所获得的广告/査询特征(g卩，在上面框1420中获得的)， 可以将所确定的预测值与对应于广告/査询特征的存储值求和(框 1425)。可以将所确定的预测值与存储在数据结构(诸如例如图16中 所示数据结构1600中)的值求和。如图16所示，数据结构1600可以 包括多个广告/査询特征1610-1至1610-N，其中"广告选择的总数" 1620、总"好的"预测值1630以及总"差的"预测值1640与每个广 告/査询特征1610相关联。可以将框1405中确定的每个预测值与存储 在条目1630或1640中、对应于每个广告/査询特征1610的当前值求和， 该广告/查询特征1610进一步与广告以及发布的查询相关联。作为例 子，假设响应于搜索査询"flowers for mother's day (母亲节的鲜花)" 而将"1800flowers.com"的广告提供给用户。与该广告选择相关联的 会话特征返回概率P (good ad|ad selection)为0.9。三个广告/查询特征 与该广告和査询相关联査询长度(查询中术语的数量)、广告的可 视URL以及在査询中但是不在与该广告相关联的关键字中的词的数 量。对于这三个广告/査询特征中的每一个，条目1620中相应的"广告 选择总数"值加1，并且将0.9加到存储在与每个广告/査询特征对应的
总好预测值1630中的每个值。
如图15中所示，可以将每个所确定的预测值1530与数据结构1600 中的当前值求和。 一个或多个用户可以选择地对广告的每个选择重复 框1400至1425，以利用与一个或多个广告/查询特征相关联的多个求 和后的预测值来扩充该数据结构1600。
示范性可能性估计过程
图17和18为示范性过程的流程图，用于通过使用在图14的框 1425中确定的总预测值1630或1640来估计与广告相关联的好或差质 量的可能性。本领域技术人员应理解，图17和18中所示范的过程可 以适当地以软件来实现并且可以存储在计算机可读存储器中，诸如主 存储器430、 ROM 440或服务器320或330或客户端310的存储装置 450上。
给定广告是好或差的所估计的可能性是该给定广告是好或差的在 先可能性以及与和给定广告选择相关联的广告/查询特征相关联的一个 或多个模型参数的函数。可以使用迭代过程来计算该模型参数，其中 该迭代过程试图解决用于产生好或差广告的预测可能性与训练所用的 实际历史数据的最佳拟合的参数值。
与每个广告/査询特征相关联的模型特征可以由单个参数构成，诸 如关于好广告或差广告的概率或可能性的放大系数。可替代地，每个 广告/查询特征可以具有与其相关联的多个模型参数，该多个模型参数 可以以更复杂的方式来影响好或差广告的预测概率。
在下面的说明书中，使用了各种可能性和概率。事件发生的可能
性以及事件发生的概率通过下面等式被关联起来概率=可能性/ (可 能性+ l)。例如，如果事件发生的可能性为1/2 (即，按照经常所写 的方式，可能性为1: 2)，则事件发生的相应概率为1/3。根据该约定，
可以认为可能性和概率是可以相互转换的。因为可能性可以取任何非 负值，而概率必须位于0和1之间，所以用可能性而不是概率来表达 计算是方便的。但是，应理解，仅需对下面的说明进行最小的改变， 即可以唯一使用概率、或者使用例如对数(可能性)的某种其他类似 的表示来执行如下的实现。
图17是示出了预测模型的一个实现的流程图，其中该预测模型用 于基于与该广告选择相关联的广告/査询特征来生成对于给定广告是好 还是差的可能性估计。根据本发明的原理的一个实现，可以通过将好 广告或差广告的预先可能性(qQ)乘以与每个广告/査询特征(ki)相关 联的模型参数(nii)来计算好或差广告的可能性，此后被称为可能性 乘法器。这样的方案可以被表示为
q^qo.mi.m2.m3.…mm。
本质上，对于每个广告/査询特征k的可能性乘法器m可以是在确 定广告是好还是差期间该广告/査询特征的预测能力的统计表示。
在与本发明的原理一致的一个实现中，可以不断地对上述模型参 数进行修改，以反映每个广告/查询特征k对于广告是好或差的估计可 能性的相关影响。可以通过如下方式来进行这样的修改，即将具有该 查询/广告特征的广告是好或坏的平均预测可能性(将给定广告/查询特 征忽略不计)与具有该广告/查询特征的广告的历史质量的估计进行比 较。通过这种方式，可以识别以及提炼出所分析的广告/查询特征k的 相关值。
具体地返回到图17，对于每个所选择的广告/查询特征(ki)，可 以初始计算或识别平均自排除概率(Pi)(动作1700)。在一个实现
中，该自排除概率(Pi)是表示所选择的广告/查询特征的相关性的值， 并且可以测量当从所估计的可能性计算中除去所选择的广告/査询特征 的模型参数(mi)时广告是好或差的结果可能性。例如，对于广告/査 询特征3，这可以表示为 尸3" + "《0 .附l .W2 '附3…'W" ) / m3 AX(《t) .附2 .附3…) / W3 + 1)
在一个实施例中，每个广告/査询特征的自排除概率可以被保持为 移动平均，以确保所识别的自排除概率在识别用于每个所选广告/查询
特征的模型参数之后更快的收敛。这样移动平均可以表示为 尸' Og) = "f ( —d Og) + (1 — a)C
其中a为统计定义变量，其非常接近于1 (例如，0.999)并被用 于控制移动平均的半衰期。如上面表达式所示，通过如在以前广告选 择(例如，n-l)确定的Pi值对用于广告选择的当前数(n)(例如， 用于广告/査询特征ki的"广告选择总数"1620的当前值)的Pi值加权 和平均。
然后，可以将平均自排除概率(Pi (avg))与涉及所观测的广告 选择的数量以及用于所观测的选择而观测的好或差广告的可能性的历 史信息进行比较(动作1710)。然后，可以基于动作1710的比较来生 成或修改与所选择的广告/查询特征ki相关联的模型参数mi(动作1720) (如将在下面参照图18中的框1820和1830进一步描述的)。
图18是示出了图17的框1710-1720的一个示范性实现的流程图。 初始地，可以确定与好广告或差广告的可能性相关的置信区间(动作 1800)。使用置信区间技术使得在使用具有更少量历史数据的广告/査 询特征k时能够更准确和稳定地估计。在一个实现中，该置信区间包 括较低值Li和较高值Ui，并且基于广告选择的数量(a)(例如，用 于广告/查询特征ki的数据结构1600中的"广告选择的总数"1620中 的当前值)以及对所选广告/査询特征观测的总好/差(ji)(例如，在 用于广告/查询特征ki的数据结构1600中的当前总"好"预测值1630 或总"差"预测值1640)。例如，该置信区间可以是80X置信区间[Lj， Ui]，其是基于广告选择的数量(例如，在用于广告/査询特征ki的数据 结构1600中的"广告选择的总数"1620中的当前值)以及所观测的 总好或差(例如，用于广告/查询特征ki的数据结构1600中的当前总"好"
预测值1630或总"差"预测值1640)以常规方式计算的。在计算置信 区间之后，然后可以确定该平均自排除概率(Pi (avg))是否落在该 区间中(动作1810)。如果落在区间中，则可以确定所选择的广告/查 询特征(ki)对于好广告或差广告的可能性没有影响，并且可以将它的 模型参数(mi)设置为1，这非常有效地将其从所估计的可能性计算中 除去(动作1820)。但是，如果确定该Pi (avg)落在置信区间之外， 则可以将用于所选择的广告/查询特征ki的模型参数(mi)设置为将该 自排除概率(Pi(avg))置于置信区间中所必要的最小调整(动作1830)。 该计算可以算术地表示为
^ =(1 -《—g))〗/ W (cn;g)(l - A)]
现在返回到图17，在计算了用于所选择的广告/査询特征ki的模型 参数后，可以确定附加的广告/查询特征(例如，图16中的广告/查询 特征1610-1至1610-N的)是否还要被处理(即，k;是否小于km，其 中m等于在数据结构1600中的广告/査询特征的总数)。如果仍需要 处理附加的广告/查询特征，则可以增加计数器变量i，并且该过程可以 返回至动作1700，以处理下一广告/查询特征ki。在用于所有广告/査询 特征的模型参数都已经被计算或修改后，可以使用等式q二q。.nn.m2. !113....111 1来估计好广告或差广告的可能性(动作1750)。可以将所估 计的好广告可能性(例如，ODDS (good ad|ad /query feature))存储 在与该广告/査询特征1610对应的数据结构1600的"好"广告可能性 条目1650中。可以将所估计的差广告可能性(例如，ODDS (badad|ad /query feature))存储在与该广告/査询特征1610对应的数据结构1600 的"差"广告可能性条目1660中。
在与本发明的原理一致的一个实现中，可以通过当日志数据到达 时对其进行处理并对上述统计进行累计(例如，广告选择、总好或差、 自包括概率等)来训练可能性预测模型。当附加的广告选择发生时， 与每个广告/查询特征相关联的置信区间可以收縮，并且该参数估计可
以变得更准确。在附加的实现中，通过重新处理旧的日志数据，可以
加速训练。在对日志数据进行重新处理时，可以通过使用最新的参数 或可能性乘数值来重新计算好广告或差广告的估计可能性。这允许预 测模型更快地收敛。
示范性广告质量预测过程
图19是根据与本发明的原理一致的实现的用于预测广告质量的 示范性过程的流程图。本领域技术人员应理解，图19中所示的过程可 以适当地以软件来实现并存储在计算机可读存储器中，诸如主存储器
430、 ROM 440或服务器320或330或客户端310的存储装置450中。
该示范性过程可以以从用户接收搜索查询开始(框1900)。用户 可以向服务器320发出搜索查询，以由搜索引擎系统325来执行。搜 索引擎系统325可以获得与所接收的搜索査询相匹配的一组广告(框 1910)。搜索引擎系统325可以基于所接收的搜索查询来执行搜索， 以确认该组广告以及与该搜索查询匹配的其他文档。对于该组广告中 的每个广告，可以确定与所接收的搜索查询以及广告对应的每个广告/ 査询特征(框1920)。用于每个搜索査询和广告对的广告/査询特征可 以包括与登广告商相关联的标识符(例如，广告商的可视统一资源定 位符(URL))、广告所定向到的关键字、用户发出的搜索査询中的 广告没有定向到的词和/或用户发出的搜索查询中的广告没有定向到但 是广告所定向到的词类似的词。也可以使用与本发明的原理一致的上 面没有描述的其他类型的广告或查询特征。例如，可以将组合(例如， 两个广告/查询特征的对)中观测的任意上述广告/査询特征用作单一广 告查询/特征。
对于该组广告中的每一个广告，可以从数据结构1600中检索用于 所确定的广告/查询特征i的所存储的ODDSi(例如，ODDS (good ad|ad /query feature) 1650， ODDS (bad ad|ad /query feature) 1660)(框1930)。 如图20中所示，数据结构1600可以以广告/査询特征2000为索引，其 中该广告/查询特征2000对应于搜索查询和广告，以检索与每个广告/
查询特征相关联的一个或多个ODDSi2010。例如，如图16中所示，可 以检索与每个广告/查询特征1610对应的"好"广告可能性值1650。 在另一个例子中，如图16所示，可以检索与每个广告/查询特征1610 对应的"差"广告可能性值1660。
对于该组广告中的每一个广告，可以将用于每个广告/查询特征i 的所检索的ODDSi相乘(框1940)，以生成总ODDS值(ODDSt): 0DDS产0DDS^0DDS^0DDS3... 等式(6)
例如，可以将对于每个广告/査询特征的"好"广告可能性值1650
相乘，以生成总好广告可能性值ODDStGooDAD。作为另一个例子，可
以将对于每个广告/査询特征的"差"广告可能性值1660相乘，以生成 总差广告可能性值ODDStBADAD。如图20所示，可以将从数据结构1600 中检索的ODDS 2010相乘，以生成总可能性值ODDSt 2020。
对于该组广告中的每个广告，可以通过如下等式来确定可以包括 该广告是好的概率(PG00DAD)和/或该广告是差的概率(Pbadad)的质 量参数(框1950):
Pgood ad = ODDSt good ad/ (l+ODDSt good ad ) 等式(7)
Pbad ad = ODDSt bad ad/ ( l+ODDSt bad ad ) 等式(8)
如图20中所示，可以使用该总可能性值ODDSt 1820以及等式(7) 或(8)来推导质量参数(P) 2030。
示范性广告过滤、排名以及提升过程
图21是根据与本发明的原理一致的实现的用于对广告进行过滤、 排名和/或提升的示范性过程的流程图。本领域技术人员应理解，图21 中所示的过程可以适当地以软件来实现并被存储在计算机可读存储器 中，诸如主存储器430、 ROM 440或服务器320或330或客户端310 的存储装置450中。
该示范性过程可以以确定与搜索査询相关的广告开始(框2100)。 用户可以在搜索查询文档中输入搜索査询，并且可以将由该广告发布 者所寄放的广告的内容与输入的搜索査询进行比较，以确定哪些广告 与该搜索査询相关。例如，可以将具有有术语"SUV"的内容的广告
认为是与搜索査询"suv"相关。
可以获得一个或多个与相关广告相关联的质量参数(框2110)。 该质量参数可以包括例如上述在块1950中确定的质量参数。但是，该 质量参数可以包括除了点进率(CTR)以外的表示广告质量的任何其他 类型参数。
基于所获得的质量参数对被确定为相关的广告进行过滤(可选框 2120)。过滤可以禁用(例如，不选)使所选择的相关广告，以使得 它们不被提供(即，不显示)给发出该搜索查询或访问该特定文档或 站点的内容的用户。除了CTR，还可以基于在上面框2110中获得的一 个或多个质量参数或者任何其他类型的质量参数来对相关广告进行过 滤。可以基于所获得的质量参数以及其他参数(例如，CTR)的函数组 合来对相关广告进行过滤。例如，可以将所获得的质量参数(QP)乘 以CTR (即，QP*CTR)来对相关广告进行过滤。CTR测量导致广告 点击的广告印象的分值。例如，如果100个广告印象中的一个导致广 告点击，则该广告的CTR就是1/100或1%。可以对CRT进行估计， 如未决美国申请No.11/167，581 (代理人案巻号0026-0145)、名称为 "Accurately Estimating Advertisement Performance (精确估计广告性 能)"中所述，通过引入而被合并于此。在一个实现中，质量参数QP
可以包括在上面框1950中确定的pgood ad。
作为一个例子，可以将该函数组合P(3(x)da^CTR用作禁用规则。
例如，如果Pgoodad * CTR是低(例如，小于阈值)，则使该广告被 禁用，因而不将其提供给用户。图22示出了与本发明的方面一致的对
多个广告2200-1至2200-N进行过滤的例子。对于每个广告2200，可 以确定用于PGOODAD * CTR的值2210，并将其与阈值(T) 2220进行 比较。可以使具有小于阈值T 2220的值2210的广告被禁用2230，并 且可以将具有等于或大于阈值T 2220的值2210的广告提供2240 (例 如，显示)给用户。
在另一实现中，质量参数QP可以包括在上面的框1950中确定的 信Pbadad，并可以将Pbadad乘以CTR。例如，如果PBAD AD * CTR为 高(例如，大于阈值)，则该广告将被禁用，因而不提供给用户。图 23示出了对多个广告2300-1至2300-N进行过滤的例子。对于每个广 告2300，可以确定用于PsADAi^ CTR的值2310，并将其与阈值(T) 2320进行比较。可以将具有大于或等于阈值T 2020的值2310的广告 被禁用2130，并且可以将具有小于阈值T 2320的值2310的广告提供 2340 (例如，显示)给用户。
在还一实现中，可以将比值PG00D AD/ PBAD AD用作禁用规则。例如，
如果P(K)ODAD/PBADAD小于阈值，表示广告为好的概率低于广告为差的
概率，则该广告将被禁用，因此不会将其提供给用户。图24示出了对 多个广告2400-1至2400-N进行过滤的例子。对于每个广告2400，可
以确定用于PGOODAD/PBADAD的值2410，并将其与阈值(T) 2420进行
比较。可以将具有小于阈值T 2420的值2410的广告禁用2430，并且 可以将具有大于或等于阈值T 2420的值2410的广告提供2440 (例如，
显示)给用户。
可以基于所获得的质量参数来对被确定为相关的广告进行排名 (可选块2130)。可以基于在上面的框2110中获得的一个或多个质量 参数、或者基于不同于CTR的或除CTR之外的其他类型的质量参数来 对相关广告进行排名。可以基于所获得的质量参数以及其他参数(例 如，CTR)的函数组合来对相关广告进行排名。在一个实现中，该质量 参数QP可以包括在上面的框1950中确定的值PG00D ad。在其他实现中，该质量参数QP可以包括值PBADAD。
所获得的质量参数QP以及其他参数的函数组合可以试图将对广 告出版实体、广告商以及用户的值最大。在一个实现中，可以通过使 用下面的函数来对广告进行排名
RANKaDx = PgOOD AD—ADx *ctradx* cpcadx 等式(9)
其中CTR为点进率，并且CPC为对于该广告的"每次单击成本"。 CPC表示对于给定广告商的广告点击值。图25示出了对多个广告 2500-1至2500-N进行排名的例子。对于每个广告2500，可以确定PGooD AD * CTR * CPC的值2510。可以将对该组相关广告中的每个广告的值 2510进行比较，以使得可以按照排名次序2520对该广告重新排序。该 排名次序2520可以例如如图25中所示按照升序对广告2500进行排名， 具有最高值2510-1的广告2500-1被排名为第一，并且按照降序对具有 小于值2510-1的值2510的广告2500-2至2500-N进行排名。
在另一实现中，可以使用如下函数对广告进行排名
陆eO/Goo蕴7Ww *尸函m * C77 愈-CoWq/BaiiW7base"尸a^必必^C77 必义 等式(10)
其中，CTR是点进率，并且CPC是对于该广告的"每次单击成本"。 ValueOfGoodAdToUser是广告出版商可以从显示好广告中得到的收入 中的增加收益，并且CostOffiadAdToUser是广告出版商可以从提供差 广告给用户中遭受到的长期收入上的增加损失。该CTR^ CPC值表示 广告可以接收到的短期收入。
可以以多种方式对ValueOfGoodAdToUser和CostOffiadAdToUser 的值进行估计。在一种技术中，可以进行人为因素的试验，其中将一 系列只具有好广告的文档显示给用户，然后可以向用户提供行为任务， 以查看他们使用该广告的可能。可以将只具有差广告的一系列文档显 示给不同组的用户，然后可以向该组用户提供行为任务，以査看他们
不使用该广告的可能。这可以被改进，以査看将要花费多少文档来改 变行为任务中点击广告的可能性，并且如何改变该混合(例如，好和 差广告的混合)将会改变该可能性。在另一技术中，可以使用会话数 据来观察用户在会话期间进行的点击序列，以及(通过经验测量)确 定在看到差广告(同样适用于好广告)之后还点击广告的概率。
在上述的任意一个技术中，可以对用户点击广告的增加可能性(如 果向用户显示好广告)或者用户点击广告的降低可能性(如果向用户
显示差广告)进行估计。为了推导出ValueOfGoodAdToUser值，可以 将该递增的增加与点击平均值相乘，而通过将递增的降低与点击平均 值相乘来推导出CostOffiadAdToUser值。在一些实现中，可以对该 ValueOfGoodAdToUser和CostOffiadAdToUser值进行调整，以定制每 个国家或每项业务(例如，旅行、金融、生活消费品等)的点击成本， 以使得该ValueOfGoodAdToUser和CostOffiadAdToUser值根据国家、 语言和/或业务而具有不同的每次点击成本。
图26示出了对多个广告2600-1至2600-N进行排名的例子。对于 每个广告2600，可以使用上面的等式(9)来确定值2610。可以将对 该组相关广告中的每个广告的值2610进行比较，以使得可以按照排名 次序2620对广告重新排序。该排名次序2620可以例如如图26中所示 按照升序对广告2600进行排名，具有最高值2610-1的广告2600-1被 排名为第一，并且按照降序对具有小于2610-1的值2610的广告2600-2 至2600-N进行排名。
可以对被确定为相关的所选广告进行提升(可选块2140)。可以 基于在上面的框2110中获得的一个或多个质量参数、或者基于除了 CTR以外的任何其他类型的广告质量参数来选择要被提升的广告。可 以基于所获得的质量参数以及其他参数(例如，CTR)的函数组合来提 升广告。在一个实现中，该质量参数QP可以包括在上面的框1950中 确定的PGOODAD值。在其他的实现中，该质量参数QP可以包括在上面
的框1950中摘定的Pbadad信。在一个实现中，例如，如果Pgoodai^
CTR为高(例如，大于阈值)，或者如果pgoodad/pbadad为高(例如， 大于阈值)，则可以对广告进行提升。
图27示出了对多个广告2700-1至2700-N中的广告进行提升的例 子。对于每个广告2700，可以确定PGooDA^ CTR的值2710，并将其 与阈值(T) 2720进行比较。可以对具有大于或等于阈值T 2720的值 2710的广告进行提升2730，并且可以不对具有小于阈值T 2720的值 2710的广告进行提升。
图28示出了对多个广告2800-1至2800-N中的广告进行提升的例
子。对于每个广告2800，可以确定pgoodad/pbadad的值2810,并将其
与阈值(T) 2820进行比较。可以将具有大于或等于阈值T 2820的值 2810的广告进行提升2840，并且可以不对具有小于阈值T 2820的值 2810的广告进行提升2840。
在另一实现中，可以替代地使用上面等式(9)中所述的函数，其 中CostOffiadAdToUser值被设置为高于等式(9)中使用的值，用于对 广告进行排名。将CostOffiadAdToUser值设置为高于等式(9)中所使 用的值表示对差广告进行提升比仅仅对差广告进行显示的成本更高。 图29示出了对多个广告2900-1至2卯0-N中的广告进行提升的进一步 的例子。对于每个广告2卯0，可以确定上面等式(9)的值2910，并 将其与阈值(T) 2920进行比较。可以对具有大于或等于阈值T 2920 的值2910的广告进行提升2930，并且不对具有小于阈值T 2920的值 2910的广告进行提升2940。
可以基于在上面的框2120、 2130和或2140中执行的过滤、排名 和/或提升而有选择地将被确定为相关的某些广告提供给用户(框 2150)。可以将在框2120中没有被禁用的相关广告提供给用户。还可 以按照通过在框2130中的排名函数确定的次序将不包括禁用广告的相
关广告提供给用户。如在框2140中所确定的，可以对不包括被禁用广
告的一个或多个相关广告进行提升。图30示出了搜索结果文档3000， 其中将搜索结果3010提供给发出搜索查询的用户。排名次序中列出的 排名广告3020还可以被包括在搜索结果文档3000中。该排名广告3020 可以包括例如至广告定着文档的链接，其中该定着文档提供了关于被 广告的产品或服务的进一步细节。被放置在突出位置或高亮位置上的 提升广告3030附加地可以包括在搜索结果文档3000中。
结论
以上对本发明的优选实施例的描述提供了例证和说明，但并不意 在穷举本发明或者将本发明限制为所披露的精确形式。可以按照上面
的教导或者从本发明的实践中获得对本发明的某些更改和变化。例如， 虽然已经参照图5、 14、 17、 18、 19和21描述了一系列动作，但是在 与本发明原理相一致的其他实现中可以修改这些动作的顺序。此外， 互不依赖的动作可以被并行执行。
除了上面参照图5描述的会话特征之外，在一些实现中可以可选 地使用转换跟踪来推导预测值与用户满意度之间的直接标度。当对广 告的选择直接导致了广告商认为有价值的用户行为(例如，用户购买) 时，就发生了转换。广告商或者为广告商寄放广告的服务可以跟踪对 于每个广告选择是否都发生了转换。例如，如果用户选择了广告商的
广告，并且随后在线购买了在响应于广告选择而提供给用户的广告定 着文档上显示的产品，则广告商或者寄放广告的服务可以记录关于该 广告选择的转换。该转换跟踪数据可以与所识别的广告选择相关联。 可以使用统计技术，例如，逻辑回归、回归树、提级的枝端等来推导 在预测值与通过转换测得的用户满意度之间的直接标度。
对于本领域内的普通技术人员来说，在图中所示的实现中可以使 用软件、固件以及硬件的许多不同的形式来实现本发明如上所述的各 个方面。用于实现与本发明原理相一致的各个方面的实际软件代码或
专用控制硬件不会限制本发明。这样，没有参照特定软件代码来描述 各个方面的操作和行为，然而，可以理解的是，基于这里的描述，本 领域内的普通技术人员将能够设计软件和控制硬件来实现这些方面。
本发明申请中使用的元件、动作或指令等不应被构造为对本发明 来说是关键的或必不可少的，除非明确描述的确如此。而且，正如这 里所使用的，冠词"一"意欲包括一个或多个项目。在意图仅表示一 个项目的地方，使用术语"一个"或类似用语。进一步，短语"基于" 意欲表示"至少部分基于"，除非已明确地表示并非如此。
权利要求
1. 一种方法，包括获得与多个广告中的广告的质量相关联的第一参数(QPI)，其中该第一质量参数(QP1)不包括点进率(CTR)；用函数式将所述第一质量参数(QP1)与至少一个其他参数组合；以及使用该函数组合来对所述多个广告中的所述广告进行过滤、排名或者提升。
2. 根据权利要求1的方法， 率(CTR)。
3. 根据权利要求1的方法， 所述广告是好广告的概率。
4. 根据权利要求1的方法， 所述广告是差广告的概率。
5. 根据权利要求1的方法， 所述广告提供给用户。其中所述至少一个其他参数包括点进其中所述第一质量参数(QP。包括其中所述第一质量参数(QPi)包括其中对所述广告进行过滤包括防止将
6. 根据权利要求2的方法，其中用函数式将所述第一质量参数 (QPl)与至少一个其他参数组合包括将第一质量参数(QP。与点进率(CTR)相乘QP^CTR。
7. 根据权利要求6的方法，其中使用函数组合来对所述广告进行 过滤包括将QPJCTR与阈值进行比较，以确定是否对所述广告进行过滤。
8. 根据权利要求6的方法，其中使用函数组合来对所述多个广告 中的所述广告进行提升包括将QPJCTR与阈值进行比较，以确定是否对所述多个广告中的所 述广告进行提升。
9. 根据权利要求2的方法，其中所述至少一个其他参数还包括与 所述广告相关联的每次点击成本(CPC)。
10. 根据权利要求9的方法，其中用函数式将所述第一质量参数(QPi)与所述至少一个其他参数组合包括将所述第一质量参数(QPi)与CTR以及CPC相乘 QP^CPC^CTR。
11. 根据权利要求10的方法，其中使用所述函数组合来对所述广告进行排名包括使用QP *0 (3*(7111来对所述多个广告中的所述广告进行排名。
12. 根据权利要求9的方法，还包括获得与所述广告的质量相关联的第二参数(QP2)，其中所述第二质量参数(QP2)不包括点进率(CTR);以及用函数式将所述第二质量参数(QP2)与所述第一质量参数(QP。 以及所述至少一个其他参数组合。
13. 根据权利要求12的方法，其中用函数式将所述第二质量参数 (QP2)与所述第一质量参数(QP。以及所述至少一个其他参数组合包括CTR^CPC + K^QPJCTR—KZQP^CTR，其中IQ和K2是常数。
14. 根据权利要求13的方法，其中使用所述函数组合来对所述多 个广告中的所述广告进行提升包括 将CTr^CPC + KZQP^CTR—K QPZCTR与阈值进行比较，以 确定是否对所述多个广告中的所述广告进行提升。
15. —种方法，包括获得与第一组广告相关联的评级，其中所述评级表示所述第一组广告的质量；观察与所述第一组广告中的广告的用户选择相关联的多个不同的 用户动作；利用所观察的用户动作以及所获得的评级推导统计模型； 利用所述统计模型来估计与第二组广告相关联的质量分值；以及 基于所估计的质量分值将所述第二组广告中的广告子集提供给用户。
16. 根据权利要求1的方法，其中推导所述统计模型包括 使用逻辑回归、回归树或者提级的枝端中的至少一个来生成所述统计模型。
17. 根据权利要求1的方法，还包括基于所估计的质量分值对该广告子集中的广告进行排名，以对该 广告子集进行排序。
18. 根据权利要求17的方法，还包括 将按照排名次序的所述广告子集提供给所述用户。
19. 根据权利要求17的方法，还包括基于所估计的质量分值对所述广告子集中的一个或多个进行提升。
20. 根据权利要求19的方法，还包括将所述广告子集中被提升的一个或多个广告定位在文档上的突出 位置；以及将所述第二组广告的未被提升的广告定位在所述文档上的不如所 提升的一个或多个广告突出的位置。
21. 根据权利要求20的方法，其中将所述广告子集提供给用户包括将所述文档提供给所述用户。
22. —种方法，包括使用统计模型来确定与一组广告相关联的质量分值，其中所述质 量分值不包括点进率(CTR);基于所确定的质量分值来禁用所述一组广告的第一广告子集；以及将所述一组广告的第二子集提供给用户，其中所述一组广告的所 述第二子集包括所述一组广告减去所述第一广告子集。
23. 根据权利要求22的方法，还包括基于所确定的质量分值对所述一组广告的所述第二广告子集进行 排名。
24. 根据权利要求23的方法，还包括基于所确定的质量分值对所述第二广告子集中的一个或多个进行 提升。
25. 根据权利要求24的方法，还包括将所述第二广告子集中的被提升的一个或多个广告定位在文档上 的第一位置；以及将所述一组广告中没有被提升的广告定位在所述文档上不同于第 一位置的第二位置。
26. 根据权利要求25的方法，其中将所述第二广告子集提供给用户包括将所述文档提供给所述用户。
27. —种方法，包括使用统计模型来确定与一组广告相关联的质量分值，其中所述质 量分值不包括点进率(CTR);以及基于所确定的质量分值来对所述一组广告中的广告进行排名，以 确定排名次序。
28.根据权利要求27的方法，还包括以排名次序将所排名的广告提供给用户。
29. —种方法，包括使用统计模型来确定与一组广告相关联的质量分值，其中该质量分值不包括点进率(CTR);基于所确定的质量分值来提升所述一组广告中的一个或多个广告.将所述一组广告中被提升的一个或多个广告定位在文档的突出位置上；以及将所述一组广告中未被提升的广告定位在所述文档上不如所提升 的一个或多个广告突出的位置上。
30. —种存储计算机可执行指令的计算机可读介质，包括指令，用于使用统计模型来对与一组广告相关联的质量分值进行估计，其中质量分值不包括点进率(CTR);指令，用于基于所估计的质量分值来禁用所述一组广告的第一广告子集；指令，用于基于所估计的质量分值来对第二广告子集中的广告进 行排名，以对所述第二广告子集进行排序，其中所述第二广告子集包 括所述一组广告减去所述第一广告子集；指令，用于基于所估计的质量分值来对所排名的第二广告子集中 的一个或多个进行提升；以及指令，用于将所排名的第二广告子集中被提升的一个或多个广告 定位在文档上的第一位置，并且将所排名的广告子集中没有被提升的 广告定位在所述文档上不同于第一位置的第二位置。
31. —种系统，包括装置，用于使用统计模型来确定与一组广告相关联的质量分值， 其中该质量分值不包括点进率(CTR);装置，用于基于所确定的质量分值来禁用第一组广告中的第一广 告子集；装置，用于基于所确定的质量分值来对所述一组广告中的第二广 告子集的广告进行排名；装置，用于基于所所估计的质量分值来对所排名的第二广告子集 中的一个或多个进行提升；以及装置，用于将所排名的第二广告子集中的被提升的一个或多个广 告定位在文档上比所排名的第二广告子集中未被提升的广告更显著的 位置。
全文摘要
一种系统获得与多个广告中的广告的质量相关联的第一参数(QP₁)，其中该第一质量参数(QP₁)不包括点进率(CTR)。该系统用函数式将该第一质量参数(QP₁)与至少一个其他参数组合，并使用该函数组合来对多个广告中的广告进行过滤、排名或提升。
文档编号G06N5/02GK101385018SQ200680053343
公开日2009年3月11日 申请日期2006年12月28日 优先权日2005年12月30日
发明者丹尼尔·赖特, 达利尔·普雷格波恩, 黛安娜·唐 申请人:谷歌公司