利用性能数据自动选择内容条目的制作方法

本发明总体上涉及在计算机网络上传输内容条目，并且更具体地涉及生成与不同内容条目相关联的性能数据，并使用该性能数据来响应于内容条目选择事件智能地选择内容条目。建议分类：709/203；建议的现有技术单元：2447。

背景技术：

因特网允许操作计算装置的终端用户请求来自许多不同发布者的内容。一些发布者希望将附加内容条目发送给访问其各自网站或与发布者进行交互的用户。为此，发布者可以依靠通过一个或多个计算机网络将附加内容条目递送给这些用户的计算装置的内容传输服务。一些内容传输服务具有可供选择的内容条目的大型数据库。在许多情况下，特定内容提供商提供的许多略有不同的内容条目可能有资格通过计算机网络选择和传送。然而，内容提供商很难智能地(提前)选择多个内容条目中的哪一个应该被递送，更不用说实时地这样做。

在本部分中描述的方法是可以实行的方法，但不一定是先前已经构思或实行过的方法。因此，除非另外指明，否则不应该假定本部分中描述的任何方法仅由于其包含在本部分中而被认为是现有技术。

附图说明

在附图中：

图1是描绘在一个实施方式中的用于将内容条目分发给一个或多个终端用户的系统的框图；

图2是描绘在一个实施方式中的动态内容传输活动、不同内容条目类型和不同格式组之间的关系的框图；

图3是描绘在一个实施方式中的这些各种输入输入到自动内容条目和格式选择(acfs)系统的框图；

图4是描绘在一个实施方式中的用于离线建模和在线内容条目格式对选择的系统的框图；

图5是示出可以在其上实施本发明的实施方式的计算机系统的框图。

具体实施方式

在下面描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，很显然本发明可以在没有这些具体细节的情况下实施。在其他情况下，以框图形式示出了公知的结构和设备，以避免不必要地模糊本发明。

总体概述

提供了一种用于智能地选择内容条目格式对以及生成动态内容条目的系统和方法。当响应于通过计算机网络接收到的内容请求而选择内容传输活动时，响应于该内容请求可以呈现与该内容传输活动相关联的多个可能的内容条目中的一个。不需要用户针对任何特定内容请求手动选择特定内容条目和特定格式，而是使用过去的性能数据来动态地选择内容条目格式对，从该内容条目格式对中生成最终内容条目并通过计算机网络传输。

系统概述

图1是描绘在一个实施方式中的用于将内容条目分发给一个或多个终端用户的系统100的框图。系统100包括内容提供商112-116、内容传输交换机120、发布者130以及客户端装置142-146。尽管描绘了三个内容提供商，但系统100也可以包括更多或更少的内容提供商。类似地，系统100可以包括多于一个发布者和更多或更少的客户端装置。

内容提供商112-116(例如通过诸如lan、wan的网络或因特网)与内容传输交换机120交互以使内容条目能够通过发布者130被呈现给操作客户端装置142-146的终端用户。因此，内容提供商112-116将内容条目提供给内容传输交换机120，内容传输交换机120接着选择内容条目提供给发布者130，用于呈现给客户端装置142-146的用户。然而，在内容提供商112向内容传输交换机120注册时，除非由内容提供商112指定的目标受众足够小，否则双方都不知道哪个终端用户或客户端装置将从内容提供商112接收内容条目。

内容提供商的示例包括广告商。产品或服务的广告商可以是与制造或提供产品或服务的一方相同的一方。替代性地，广告商可与生产者或服务提供者签定合同，以推销由生产者/服务提供者提供的产品或为其做广告。内容提供商的另一个示例是在线广告网络，在线广告网络与多个广告商签订合同，通过发布者直接地或者通过内容传输交换机120间接地向终端用户提供内容条目(例如广告)。

尽管以单个元素描述，但是内容传输交换机可以包括多个计算元件和设备，其连接在本地网络中，或者跨多个网络区域性地或全球性地分布，比如因特网。因此，内容传输交换机120可以包括多个计算元件，其包括文件服务器和数据库系统。

发布者130响应于由客户端装置142-146的用户发起的请求向客户端装置142-146提供其自己的内容。内容可以是关于任何话题的，如新闻、体育、金融和旅游。发布者的规模和影响力可能会有很大差异，例如财富500强公司、社交网络提供商和个人博客。来自客户端装置的内容请求可以呈包括统一资源定位符(url)的http请求的形式，并且可以从被配置为仅与发布者130(和/或其附属公司)通信的网页浏览器或软件应用发布。内容请求可以是紧接在用户输入(例如，选择网页上的超链接)之后的请求或者可以作为订阅的一部分发起，例如通过丰富站点摘要(rss)馈送发起。响应于来自客户端装置的对内容的请求，发布者130向客户端装置提供所请求的内容(例如网页)。

在请求的内容被发送到客户端装置的同时或之前或之后，内容请求被发送到内容传输交换机120。该请求由发布者130或从发布者130请求原始内容的客户端装置发送(通过诸如lan、wan的网络或因特网)。例如，客户端装置呈现的网页包括对内容传输交换120的针对一个或多个内容条目的一个或多个调用(或http请求)。作为响应，内容传输交换机120直接提供或通过发布者130(通过诸如lan、wan的网络、或因特网)向客户端装置提供一个或多个特定内容条目。以这种方式，一个或多个特定内容条目可以与客户端装置向发布者130请求的内容同时呈现(例如，显示)。

响应于接收到内容请求，内容传输交换机120发起内容条目选择事件，该内容条目选择事件涉及选择一个或多个内容条目(从多个内容条目中)以呈现给发起内容请求的客户端装置。内容条目选择事件的示例是拍卖。

内容传输交换机120和发布者130可以由同一实体或同一方拥有和操作。替代性地，内容传输交换机120和发布者130由不同的实体或不同方拥有和操作。

内容条目可以包括图像、视频、音频、文本、图形、虚拟现实或其任意组合。内容条目还可以包括链接(或url)，使得当用户(例如，用触摸屏上的手指或鼠标装置的光标)选择内容条目时，通过网络(例如，互联网)发送(例如，http)请求至由链路指示的目的地。作为响应，与链接对应的网页的内容可以被显示在用户的客户端装置上。

客户端装置142-146的示例包括台式计算机、膝上型计算机、平板电脑、可穿戴设备、视频游戏控制台和智能电话。

投标人

在相关实施例中，系统100还包括一个或多个投标人(未示出)。投标人是与内容提供商不同的一方，其与内容传输交换机120交互，并且代表多个内容提供商针对(在诸如发布商130的一个或多个发布商上的)空间投标以呈现内容条目。因此，投标人是内容传输交换机120可以选择通过发布商130呈现的内容条目的另一来源。因此，投标人充当内容传输交换机120或发布商130的内容提供商。投标人的例子包括appnexus、doubleclick和linkedin。由于投标人代表内容提供商(例如广告商)行事，因此投标人创建内容传输活动，并且因此指定用户定向标准以及可选地指定频率上限规则，类似于传统的内容提供商。

在相关实施例中，系统100包括一个或多个投标人但不包括内容提供商。然而，这里描述的实施例适用于上述系统配置中的任何一个。

内容传输活动

每个内容提供商利用内容传输交换机120建立内容传输活动。内容传输活动包括(或关联于)一个或多个内容条目。因此，相同的内容条目可被呈现给客户端装置142-146的用户。或者，内容传输活动可被设计成使得相同的用户(或不同的用户)呈现来自相同活动的不同的内容条目。例如，内容传输活动的内容条目可以具有特定顺序，使得在将一个内容条目呈现给该用户之前，不向用户呈现另一个内容条目。

内容传输活动具有开始日期/时间以及可选地具有限定的结束日期/时间。例如，内容传输活动可以从2015年6月1日到2015年8月1日呈现一组内容条目，而不管该组内容条目被呈现的次数(“印象”)、内容条目的用户选择数量(例如，点击率)或内容传输活动导致的转换次数。因此，在这个例子中，有一个确定的(或“硬的”)结束日期。作为另一示例，内容传输活动可以具有“软”结束日期，其中当相应的一组内容条目被显示一定次数时，当特定数量的用户观看该组内容条目、选择或点击该组内容条目时，或者当特定数量的用户购买与内容传输活动相关联的产品/服务或者在网站上填写特定表格时，内容传输活动结束。

内容传输活动可以指定一个或多个定向标准，所述定向标准用于确定是否向一个或多个用户呈现内容传输活动的内容条目。示例因素包括呈现日期、呈现日期的时间、将呈现内容条目的用户的特征、将呈现内容条目的计算装置的属性、发布商的身份等。用户的特征的例子包括人口统计信息、居住信息、职位、就业状况、获得的学历、出席的学术机构、前雇主、当前雇主、社交网络中的关系数量、技能的数量和类型、背书的数量和声明的兴趣。计算装置的属性的例子包括装置的类型(例如智能手机、平板电脑、台式机、笔记本电脑)、当前地理位置、操作系统类型和版本、屏幕尺寸等。

例如，特定内容传输活动的定向标准可以指示内容条目将被呈现给具有至少一个本科学位、失业的、正从南美访问的用户，并且其中内容条目的请求是由用户的智能手机发起的。如果内容传输交换机120从计算装置接收到不满足定向标准的请求，则内容传输交换机120确保与特定内容传输活动相关联的任何内容条目不被发送到计算装置。

因此，内容传输交换机120负责响应于来自远程计算装置的请求，通过将(1)与计算装置和/或计算装置的用户相关联的定向数据与(2)一个或多个内容传输活动的定向标准相比较来选择内容传输活动。多个内容传输活动可以响应于该请求与计算装置的用户相关而被标识。内容传输活动120可以选择所标识的内容传输活动的严格子集，内容条目将从该内容传输活动被标识并呈现给计算装置的用户。

随着时间的推移，单个内容传输活动可能会与多组定向标准相关联，而不是一组定向标准。例如，可以在内容传输活动的一段时间内使用一组定向标准，并且可以在活动的另一段时间内使用另一组定向标准。

内容传输交换机120管理的不同内容传输活动可以具有不同的收费模型。例如，内容传输交换机120可以针对来自内容传输活动的内容条目的每次呈现对一个内容传输活动的内容提供商收费(这里被称为每次印象成本或cpm)。内容传输交换机120可以针对每次用户与来自内容传输活动的内容条目交互——例如选择或点击内容条目——向另一内容传输活动的内容提供商收费(这里被称为每次点击成本或cpc)。内容传输交换机120可以针对每次用户执行特定动作——比如购买产品或服务、下载软件应用程序或填写表格)向另一内容传输活动的内容提供商收费(在此被称为每次操作成本或cpa)。内容传输交换机120可以仅管理具有相同类型的收费模型的活动，或者可以管理具有这三种收费模型的任何组合的活动。

内容传输活动可以与资源预算相关联，该资源预算指示对应的内容提供商愿意被内容传输交换机120收取多少费用，如$100或$5,200。内容传输活动还可以与出价金额相关联，该出价金额指示对应内容提供商愿意针对每次印象、点击或其他动作被收取多少费用。例如，cpm活动可以为一次印象出价五分，cpc活动可以为一个点击出价五美元，并且cpa活动可以为一次转化(例如，产品或服务的购买)出价五百美元。

内容条目选择事件

如前所述，内容条目选择事件是在考虑多个内容条目的时候以及响应于请求而选择用于呈现在计算装置上的子集。因此，内容传输交换机120接收到的每个内容请求触发内容条目选择事件。

例如，响应于接收到内容请求，内容传输交换机120分析多个内容传输活动以判断与该内容请求相关联的属性(例如，发起内容请求的用户的属性、由用户操作的计算装置的属性、当前日期/时间)是否满足与分析的每个内容传输活动相关联的定向标准。如果满足，则该内容传输活动被认为是候选内容传输活动。一个或多个过滤标准可以应用于一组候选内容传输活动，以减少候选者的总数。

作为另一个例子，用户被“离线”分配内容传输活动(或者活动内的特定内容条目)；即，在内容传输交换机120接收到由用户发起的内容请求之前分配内容传输活动。例如，当基于来自内容提供商的输入来创建内容传输活动时，一个或多个计算组件可以将内容传输活动的定向标准与许多用户的属性进行比较，以确定哪些用户将成为内容传输活动的目标。如果用户的属性满足内容传输活动的定向标准，则用户被分配为内容传输活动的目标观众。因此，形成了用户与内容传输活动之间的关联。稍后，当接收到由用户发起的内容请求时，可以快速标识与用户相关联的所有内容传输活动，以避免实时(或即时)处理定向标准。一些标识的活动可以基于下述项进一步被过滤：例如，活动被停用或终止，用户正在操作的设备具有与活动所针对的设备的类型(例如，移动设备)不同的类型(例如台式机)。

候选内容传输活动的最终集合是基于一个或多个标准来排列的，比如预测点进率(其可能仅与cpc活动相关)、每次印象的有效成本(其可能与cpc、cpm和cpa活动)和/或出价。每个内容传输活动可以与出价金额相对应，出价金额表示对应的内容提供商愿意为使活动的内容条目呈现给终端用户或被终端用户选择而支付(例如，内容传输交换极120)多少钱。不同的内容传输活动可能会有不同的出价。通常，相对于与相对较低的出价金额相关联的内容传输活动的内容条目，与相对较高的出价金额相关联的内容传输活动将被选择用于显示该内容传输活动的相应内容条目。其他因素可以限制出价金额的影响，比如内容条目质量的客观度量(例如，每个内容条目的实际点进率(ctr)和/或预测ctr)、预算步调(其控制活动的预算被使用的快慢，并且因此可以限制内容条目在特定次数被显示)、频率上限(其限制内容条目被呈现给同一个人的频率)和内容条目可能包括的url的域。

内容条目选择事件的示例是广告拍卖(advertisementauction)，或者简单地称为“广告拍卖(adauction)”。

在一个实施方式中，内容传输交换机120执行一个或更多个内容条目选择事件。因此，内容传输交换机120可访问与做出选择哪个内容条目的决定相关的所有数据，包括最终集合的内容传输活动中的每个活动的出价、被呈现所选内容条目的终端用户的身份、来自每个活动的内容条目是否呈现给最终用户的指示、每个活动的预测ctr、每个活动的cpc或cpm。

在另一个实施方式中，由与拥有和操作内容传输交换机120的实体不同的拥有和操作的交换机的实体执行一个或多个内容项选择事件。在后面的这一实施方式中，内容传输交换机120将一个或多个内容条目发送到另一个交换机，该交换机从另一个交换机从多个源接收的多个内容条目中选择一个或多个内容条目。在该实施方式中，内容传输交换机120不知道(a)如果选择的内容条目来自与内容传输交换机120不同的源，选择哪个内容条目，或(b)作为内容条目选择事件的一部分的每个内容条目的出价。因此，另一交换机可向内容传输交换机120(或本文中更详细描述的性能模拟器)提供关于一个或多个出价金额的信息以及可选地与在内容条目选择事件期间被选择的(一个或多个)内容条目相关联的其他信息、诸如在内容条目选择事件期间未被选择的内容条目的最低中标价或最高出价的信息。

跟踪用户交互

内容传输交换机120跟踪跨越客户端装置142-146(以及未示出的其他客户端装置)的一种或多种类型的用户交互。例如，内容传输交换机120判断内容传输交换机120递送的内容条目是否在客户端装置处呈现(例如，显示或回放)。这种“用户交互”被称为“印象”。作为另一示例，内容传输交换机120判断客户端装置的用户是否选择交换机120递送的内容条目。这种“用户交互”被称为“点击”。内容传输交换机120存储这样的数据作为用户交互数据，比如印象数据集和/或点击数据集。

例如，内容传输交换机120接收印象数据项目，每个印象数据项目与印象和特定内容传输活动的不同实例相关联。印象数据项目可以指示特定内容传输活动、特定内容条目、印象的日期、印象的时间、特定的发布商或来源(例如，线上对线下)、显示特定内容条目的特定客户端装置和/或操作特定客户端装置的用户的用户识别符。因此，如果内容传输交换机120管理多个内容传输活动，则不同的印象数据项目可以与不同的内容传输活动相关联。这些单独的数据项目中的一个或多个可以被加密以保护终端用户的隐私。

类似地，点击数据项目可以指示特定内容传输活动、特定内容条目、用户选择的日期、用户选择的时间、特定的发布商或来源(例如，线上对线下)、显示特定内容条目的特定客户端装置和/或操作特定客户端装置的用户的用户识别符。

动态内容条目

“动态内容条目”是从用户数据和/或背景数据动态生成的内容条目。用户数据(在本文中也被称为实体数据)可以包括来自用户的在线简档的数据、描述用户(或“观看者”或“观看实体”)已经发起或执行的在线活动的数据(例如搜索、访问的网站以及评论、点赞或共享的在线文章)、和/或用户的社交数据(例如，用户、用户所关注的公司的关联)。背景数据可以包括关于观看者请求的使内容条目将被呈现(例如，显示或播放)的内容/广告位置以及页面(或内容)的数据。

例如，当linkin成员查看为x公司工作的另一个linkedin成员的个人资料时，该观看者可以被提供(或呈现)一个动态内容条目，其中可能包括文字“描绘你在x公司的样子”或文字“与我们一起在x公司工作”，连同x公司的标识、观看者的个人相片、观看者的名字、x公司的一个或多个职位空缺(匹配观看者)的职位名单、以及每个职位空缺的定位一起提供(或呈现)。

产生一个或多个动态内容条目的内容传输活动在此被称为“动态活动”。动态活动可以利用一种或多种类型的内容条目创建，并且针对每种类型的内容条目可以创建一种或多种格式。不同类型的内容条目支持(或关联于)一组格式组中的不同格式组。这样，对于内容条目类型a，存在有一组两种格式；而对于内容条目类型b，则有一组四种格式。此外，相同的动态活动可以与相同类型的多个内容条目相关联。

单个动态活动可能包含的内容条目类型的示例包括“与我们一起工作(workwithus)”、“描绘你自己(pictureyourself)”、“关注公司(followcompany)”和“聚光灯(spotlight)”。不同的内容条目类型可能被限制在某些网页上显示。例如，“描绘你自己(pictureyourself)”内容条目、“与我们一起工作(workwithus)”内容条目和“关注公司(followcompany)”内容条目可以显示在组织机构(例如公司)的简介页面上，而“聚光灯(spotlight)”内容条目不能。作为另一个示例，只有“描绘你自己(pictureyourself)”和“关注公司(followcompany)”内容条目可以显示在成员个人简档页面上，而“聚光灯(spotlight)”内容条目只能显示在搜索页面上。

格式显示出呈现的内容条目的“外观和感觉”。不同的格式可以指定特定类型的数据项目应该以某种方式呈现。例如，一种格式可以指定职位出现在个人简档相片的右侧，而另一种格式可以指定职位出现在个人简档相片的正上方。不同的格式还可以指定哪种类型的数据内容将被全部显示。例如，一种格式可以指定要包括特定背景图像，而另一种格式可以指定应该包括不同的背景图像(或者不包括背景图像)。

图2是描绘在一个实施方式中的动态内容传输活动200、不同内容条目类型210-216以及不同格式组220-226之间的关系的框图。动态活动200与四个内容条目类型210-216相关联。内容条目类型210-216可以反映能够与动态活动相关联的所有可能类型，或者可以仅反映特定内容提供商选择用于动态活动200的类型。每个内容条目类型210-216与格式组220-226的不同格式组相关联。因此，内容条目类型210与格式组220相关联，内容条目类型212与格式组222相关联，等等。格式组220包括三种格式，格式组222包括一种格式，格式组224包括四种格式，格式组226包括两种格式。因此，对应于一个内容条目类型的特定格式不一定适用于其他内容条目类型。

用于选择内容条目的方法

如果内容传输活动是动态活动，则从多个可能的内容条目格式对中选择与动态活动相关联的特定内容条目格式对。这在本文被称为“对选择事件”。即使在两个不同的对选择事件中选择了相同的内容条目格式对并且该内容条目格式对被呈现给两个不同的终端用户(甚至是同一个终端用户)，但是内容条目格式对的两个实例可能不完全相同，因为观看者可能不同(在不同观看者的情况下)，单个观看者的属性(在同一观看者观看内容条目格式对的两个实例的情况下)可能已经在对选择事件之间改变(例如，改变的就业状态)，或者背景已经改变。例如，观看者可以在时间a查看第一用户的简档页面并且在时间b查看第二用户(与第一用户不同)的简档页面。如果第一用户和第二用户在不同的公司工作或者在他们各自的简档中具有任何其他差异，则即使内容条目是基于相同的内容条目格式对生成的，在相应简档页面上呈现给观看者的内容条目也可能具有不同的内容，如不同的公司名称。

在执行对选择事件的一个方法中，不同类型的内容条目在内容请求之间转换。例如，响应于第一内容请求，第一类型的内容条目被选择用于响应第一内容请求。响应于第二内容请求，第二类型(不同于第一类型)的内容条目被选择用于响应于第二内容请求。

执行对选择事件的类似方法包括瀑布式方法，在瀑布式方法中，响应于单个请求，一旦选择了动态内容传输活动，则第一类型的内容条目在另一类型的内容条目被考虑用于电子递送之前被考虑用于电子递送。如果第一内容条目不满足内容请求的一个或多个要求，则不同类型的第二内容条目可以被处理成判断第二内容条目是否满足内容请求的要求。

但是，这两种方法都没有使用性能数据进行优化。由不同内容条目类型和不同格式的组合产生的用于给定的内容传输活动的大量可能性使其本身成为数据驱动的优化方案。

选择内容条目格式对

在内容条目选择事件期间，可以在选择特定的内容传输活动(例如，从多个内容传输活动中)时，考虑关于观看者(即，发起相应的内容请求的用户)的信息和/或关于请求的内容(例如，所请求的网页的内容)的信息。可以使用与每个候选内容传输活动相关联的出价金额和/或预测ctr来选择特定活动。如果特定活动是动态活动，则从多个可能的内容条目格式对中选择与动态活动相关联的特定内容条目格式对。例如，如果存在四个不同的内容条目(例如，每个都是不同类型)并且每个类型与两种格式相关联，则在对选择事件中存在八个不同的内容条目格式对用于选择。在相对大数量的对中，用于选择对的性能数据的类型可能是重要的。

每个内容条目格式对的性能数据类型的示例包括用户选择率(或ctr)、收入、活动范围(例如，与活动交互的来自不同细分区段的用户)、转化率(例如，工作申请率、公司跟进的数量、填写的网络表格的数量、购买数量)和参与度(如喜欢、分享、评论和发布)。尽管这里的描述是在用户选择率的背景下，但是实施方式不限于这种特定类型的性能数据。

随着时间的推移，由于动态活动被激活并且最终被选择用于多个内容条目选择事件，与动态活动相关联的每个内容条目格式对与不同的性能数据相关联。例如，一个内容条目格式对与1％的用户选择率相关联，而另一个内容条目格式对与4％的用户选择率相关联。

在一个实施方式中，在对选择事件期间，使用每对的性能数据与所有对的性能数据相比来选择特定的对。例如，对a与3％的用户选择率相关联，对b与5％的用户选择率相关联，并且对c与2％的用户选择率相关联。选择对a的概率为3％/10％(或30％)，选择对b的概率为5％/10％(或50％)，选择对c的概率为2％/10％(或20％)。如果性能数据没有改变，则这意味着对b将被选择的概率占对应动态活动最终选择用于内容条目选择事件的时间的约50％。

一旦确定了一组内容条目格式对的选择概率，对选择事件就可以包括生成随机(或伪随机)数并对该数执行模运算，比如随机数模100，其返回0到99之间的值。一组内容格式对的选择概率可以被映射到这个值的范围。给定上面三对的例子，值0-29可能映射到对a，值30-49可能映射到对b，值50-99可能映射到对c。如果随机数生成确实是“随机的”，则随着选择机会的数量增加，例如对c的实际选择率接近50％。

在一个实施方式中，在对选择事件期间应用权重，使得内容条目格式对的选择概率相对于整体(如在上面的三对示例中)不完全正比于对的性能数据。权重可以给予相对较少执行的对。例如，在上述三对例子中，如果任一对的概率低于33％，则概率增加5％，但是上限为33％，这意味着选择对c的概率将是25％，选对a的概率为33％，选对b的概率为42％(100％-25％-33％)。

在应用权重的相关的实施方式中，权重随时间而调节。例如，权重可以基于时钟时间或基于可用的性能数据的量而改变。作为一个具体的例子，首先，动态活动的每对以相等的概率被选择(例如，如果有10对，则每对具有10％的选择概率，而不管性能如何)，或者甚至以循环方式被选择。一周之后，每对的选择概率与它的性能相对于动态活动的所有对的总体性能直接成正比。再过一周，底部的三对的选择概率归零，并且根据底部的三对的先前非零选择概率，增加前三对的选择概率。

在一个实施方式中，动态活动的一些内容条目格式对因一个或多个限制而不能选择。例如，特定类型的项目内容不能显示在与对应内容请求相关联的特定网页上。作为具体示例，如果workwithus(与我们一起工作)格式需要三个职位，而动态内容仅针对观察者产生一个匹配职位，则workwithus(与我们一起工作)格式不能用于对选择事件中。在这种情况下，一个或多个内容条目格式对是禁止的。如果在对选择事件期间，选择了特定对但由于限制而不能显示，则执行一个或多个附加对选择事件，直到选择能够被显示的对为止。

内容条目格式对的基于属性的选择

关于对选择事件的以上示例对发起对选择事件的内容请求的属性是不可知的。在一个实施方式中，内容请求的属性被用于在对选择事件期间选择特定内容条目格式对。属性的示例类型包括页面背景属性、观看者属性和社交属性。

页面背景属性的示例包括发布者标识符(其可以标识联营者实体(例如，与linkedin相关的slideshare.net或lynda.com)或并非运行内容传输交换机120的实体的合作联营者的第三方发行者)、页面标识符(例如，标识网页的指定类型，比如成员简档页面、公司简档页面、搜索页面等)、页面区域(其中每个页面被分成多个区域，呈现的内容条目将被显示在页面区域中)、瓦片(其是特定页面区域内的多个可能位置之一)、空隙大小(其指示呈现的内容条目的大小的上限)、背景地理(其指示与将在其上显示内容条目的页面的内容相关联的地理位置)以及背景组织机构(其指示与将在其上显示内容条目的页面相关联的组织机构)。

观看者属性的示例包括观看者当前是否登录、观看者是否具有简档相片、观看者的工作职位、与观看者相关联的地理位置(例如，在观看者的成员简档中指定的)、观看者隶属(例如，被雇用)的组织的名称、成员关注状态以及成员联系人状态。

“成员关注状态”表示观看者是否已经在关注背景组织/公司(即，如果适用的话，其信息正被显示在页面上)(例如，用户先前选择了与组织相关联的“关注”按钮，从而导致观看者不时收到有关组织的更新)。如果其中一个候选内容条目是关于关注该背景组织的，则在选择内容条目时，成员关注状态可能是有帮助的。如果观看者已经在关注背景组织，那么该内容条目不会被呈现给观看者。

“成员联系人状态”表示观看者具有可以被推荐至在背景组织/公司工作的联系人/朋友。如果其中一个候选内容条目是关于向背景组织推荐一个朋友的，则在选择内容条目时，成员联系人状态可能是有帮助的。如果观看者不具有拥有背景组织的职位空缺所需的技能任何联系人/朋友，则该内容条目不会被呈现给观看者。

社交属性的示例包括背景组织的职位空缺的属性是否匹配(或满足)观察者的属性以及该观看者的联系人的属性是否匹配(或满足)背景组织的职位介绍要求(在存在背景组织的情况下)。

图3是描绘在一个实施方式中的这些各种输入(或特征值)输入到自动内容条目和格式选择(acfs)系统300的框图。acfs系统300响应于接收一组输入执行对选择事件。acfs系统300可以实施为内容传输交换机120的一部分。对acfs系统300的输入包括活动标识符310、观看者标识符312、请求的实体标识符314、网站位置316、社交内容标识符118和目标320。活动标识符310是用于标识与特定活动相关联的可能的内容条目和格式的唯一标识符。

观察者标识符312可以是唯一标识特定用户或成员的唯一标识符，其可以具有由与内容传输交换机120相关联的实体(例如，社交网络服务)维护的账户。这样的标识符可以被用于(例如，从观看者的社交简档)查找关于观看者的信息，比如当前雇主、职位、年资、地理位置和在线活动。这种类型的用户信息的每种信息可以被认为是用户/实体特征值。或者，观看者标识符312包括向内容传输交换机120发起内容请求的观看者的一个或多个属性值的集合。在这种情况下，观看者可以是注销的用户或成员，或者可以是未注册用户，除了ip地址、mac地址、与过去的在线行为相关联的cookie以及关于观看者操作并且发起内容请求计算装置的设备信息(例如操作系统、设备类型)之外，对注销的用户或未注册的用户几乎是一无所知的。ip地址可以映射至地理位置。对于注销的观看者，存在进行id映射或通过不同的资源来标识注销成员的机制。例如，ios设备的idfa可以转换为登录的成员标识符。

请求实体标识符314可以是唯一标识观看者已经请求信息的实体的唯一标识符。例如，请求的实体可以是社交网络、组织或用户组的另一成员。例如，观看者可以被请求观看特定用户的简档或特定公司的简档。利用请求的实体标识符314，可以(例如，通过afcs系统300)检索关于所标识的请求实体的信息。在被请求实体是个人的情况下，关于被请求实体的相关信息可以包括与上述观看者的信息(例如，职位、雇主、技能等)类型相同的信息。在被请求实体是组织的情况下，有关被请求实体的相关信息可以包括组织名称、组织标识、任何职位空缺、雇员人数、地理位置、邮寄地址、组织类型(例如，公共的、私人的、非营利的)以及组织的网站或url。这种类型的背景信息的每种信息可以被认为是背景实体特征值。

特定对选择事件的网站位置316可以指代单个类型的位置或多个类型的位置，所述位置的示例包括网络域(例如，linkedin.com、lynda.com或microsoft.com)、页面标识符、区域、瓦片、空隙大小、所请求的背景实体的标识符以及与所请求的背景实体相关联的地理位置。

社交内容标识符318指示观看者与观看者正在观看的上下文之间匹配的动态内容。例如，社交内容标识符318标识社交内容的类型，比如针对观看者的匹配工作的列表(可从背景公司获得)、或者针对需要推荐的背景公司的观看者的匹配联系人的列表。作为一个具体的例子，在调用acfs系统300之前，组件(未示出)基于观察者和背景组织/公司标识(1)具有相对较高的社交分数的五个匹配的工作和(2)具有相对中等或较低的社交分数的两个匹配联系人。基于这些分数，acfs系统300可以将workwithus内容类型(对应于匹配的工作)排列在推荐内容类型(对应于匹配的联系人)之上，因为匹配的工作是更相关的(如相应的社交分数所指示的)。

类似于观看者标识符，社交内容标识符可以是社交内容特征值本身(例如，具有任何附带分数匹配的工作的列表)，或者可以用于查找与标识符相关联的一个或多个社交内容特征值。“社交内容”可以是基于观看者和背景实体/内容生成或确定的动态内容。社交内容的示例包括匹配的工作和匹配的联系人(如上所述)，以及针对公司的事件、课程和文献的推荐。例如，没有计算机科学学位的注册用户正在浏览软件工程师资料页面或公司职位页面。在这种情况下，确定为要显示给该注册用户的社交内容包括在线cs课程或cs书籍而非推荐工作。作为另一示例，用户正在查看x公司的公司页面，并且作为响应，系统选择提供关于x公司或由x公司主办的即将发生的事件的信息的内容条目。

目标320可以包括用户选择率(例如，ctr)、收入、受众范围、参与度等等。内容条目类型的受众范围是已经查看了该类型的内容条目的独立用户或观看者的数量。如果内容传输活动的目标是受众范围，则可能以循环方式选择每个可能的内容条目格式对。内容条目的参与度指的是内容条目是否或在多大程度上导致观看者保持在特定的域内还是选择了相同的网站的其他网页。衡量参与度的示例单元包括：(1)特定内容条目格式对的观看者在该特定对被显示给观看者(或观看者选择)之后访问的内部网页的平均数量；以及(2)观看者在特定的对被显示(或选择)给观众之后观看来自发布者的内容而花费的平均时间。因此，一些内容条目可能关联于比其他内容条目更高的参与度。在动态活动与cpm收费模型相关联的系统中，目标320可以是用户选择率。

目标320还可以是基于一个或多个上面示例目标的组合目标。例如，组合的目标可以被定义为alpha*ctr+beta*受众范围+gamma*业务转换(alpha*ctr+beta*audience_reach+gamma*traffic_diversion)。

因此，给定传统的内容传输活动，所呈现的内容条目的内容完全由发起活动的内容提供商提供的内容来确定。在动态活动的情况下，所呈现的内容条目的内容不仅由内容提供商来确定，而且还由来自观看者、所请求的实体、网站位置和/或与内容条目的内容条目类型相关联的格式组的信息确定。

图4是描绘在一个实施方式中的用于离线建模和在线内容条目格式对选择的系统400的框图。系统400包括客户端装置410、内容条目服务器420、acfs430、呈现组件440、跟踪组件450以及包括acfs存储器462和离线建模器464的离线建模组件460。内容条目服务器420、acfs430、呈现组件440、跟踪组件450和离线建模器464中的每一个以硬件、软件或硬件和软件的任何组合来实现。

客户端装置410向内容条目服务器420发送对内容的请求。该请求可以响应于客户端装置410在先前请求的网页内容内执行代码而被生成和传输。尽管仅描绘了一个客户端装置，但是许多客户端装置可以通信地耦合到内容条目服务器420(并且因此与内容条目服务器420交互)。

内容条目服务器420在内容条目选择事件期间选择一个或多个内容传输活动。对于每个内容传输活动，acfs430向acfs存储器462发送多维数据，包括活动数据(例如活动id)、背景数据(例如，发布者id、页面标识符、背景公司)和/或用户/社交数据(例如，职位、地理位置、雇主、有个人相片、联系人数据、关注数据)。对于每个内容传输活动并且基于从acfs存储器462检索的用户选择率数据(例如，ctr数据)，acfs430针对每个内容传输活动选择特定内容条目格式对。下面将更详细地描述这个“对选择事件”。

呈现组件440从acfs430接收关于所选内容条目和所选格式的数据，根据以html和javascript的形式的选择格式打包包括任何风格数据(例如，css风格数据)的内容条目，以及将打包的数据返回给客户端装置410，客户端装置410将打包的数据呈现(例如，使用网络浏览器)成文本、图像、颜色等。

跟踪组件450可以从客户端装置410接收包括一个或多个事件数据项目的事件数据，并且指示内容条目是否在客户端装置410上显示(印象数据)，以及可选地，用户是否选择(例如点击或以其他方式与之交互)内容条目(点击或转化数据)。跟踪组件450从未在图4中示出的其他客户端装置接收事件数据。每个事件数据项可以包括超过简单地是否发生印象或点击或转化的相对粒化的信息，比如页面标识符、页面区域、空隙大小、内容条目的格式、目标标识符(即，唯一标识用户或注册成员)以及背景信息(例如，背景实体标识符)。从客户端装置接收的每组事件数据都被存储或保存在事件记录中。每个事件记录包括多个事件数据项。

跟踪组件450可以在将事件记录发送给离线建模器464之前检索附加数据。例如，如果一组事件数据项包括目标标识符，则离线建模器464(或另一组件)基于目标标识符来检索关于目标的信息。作为另一示例，如果事件数据项包括背景实体标识符，则离线建模器464(或另一组件)基于背景实体标识符来检索关于背景实体(例如，公司或另一用户或注册成员)的信息。附加数据被包含在与检索数据相关联的事件记录中。

离线建模器464分析由跟踪组件接收的事件记录，并基于分析生成模型。该模型可能是不同类型中的一种。由于存在维度值的许多不同可能的组合(例如，针对多个用户属性中的每一个用户属性的可能组合、针对多个背景属性中的每个背景属性的可能组合、针对内容类型的可能组合、针对内容条目的格式的可能组合等)，一种模型生成技术涉及标识共享公共维度值(例如，格式、内容类型、目标职位、目标地理位置)的事件记录，并基于所标识的事件记录计算用户选择率(例如，ctr)。(如前所述，其他实施方式可涉及计算与用户选择率类型不同的不同客观度量，如受众范围或转化)。因此，相同的事件记录可以被用于针对维度值的不同组合计算用户选择率。实际上，可以使用相同的事件记录来针对维度值的第一组合和作为第一组合的子组合的维度值的第二组合进行计算。例如，一个事件记录包含以下维度值：d1a、d2b、d3c以及d4d。第一个组合可能是d1a、d2b、d3c，第二个(子)组合可能只是d1a和d2b。

为了计算针对特定维度值集合的合计的(例如，平均或中值)用户选择率，离线建模器464可以要求事件记录(或维度值集合)的最小数目，例如四十。

离线建模器464基于其对事件记录的分析可以确定一些维度值具有非常少的信息。例如，对于特定雇主可能存在相对较少的事件记录(即反映在用户简档数据中)。因此，可以使用指示特定雇主的任何事件记录来计算针对不包括特定雇主的维度值的一个或多个组合的用户选择率。

离线建模器464可以仅考虑比几天或几周“更年轻”的事件记录。例如，离线建模器464可以基于在过去两周内创建的事件记录或描述在过去十八天内发生的事件(例如，印象事件或点击事件)的事件记录来生成模型。

离线建模器464可以用许多方式中的一种来创建模型，并且实施方式不限于任何特定类型的模型。离线建模器464将该模型存储在acfs存储器462中。例如，离线建模器464使得用于维度值的不同组合的一组预先计算的用户选择率存储在acfs存储器462中。

智能的对选择事件

一旦模型被创建，acfs430针对特定内容传输活动(已经被选择作为内容条目选择事件的一部分)向acfs存储器462发送对一个或多个用户选择率的请求。因此，维度值(即，与内容请求相关联的一组属性中的维度值)用于确定在对选择事件中考虑的每个内容条目格式对的用户选择率。

对于特定的内容传输活动，acfs430可以发送多个请求，每个内容条目格式对对应一个请求。除特定内容条目类型和/或特定格式(例如“f3”)之外，每个请求可以指定相同的一组维度值(例如，用户数据、社交数据、背景数据和活动标识符)。替代性地，acfs430发送指示多个内容条目格式对的单个请求。不管怎样，对于特定的内容传输活动，acfs430从acfs存储器462接收多个用户选择率，每个用户选择率对应于不同的内容条目格式对。因此，可以从acfs存储器462返回内容类型的指示和格式的指示。

由于模型可能不具有针对特定维度值组合的用户选择率，所以acfs存储器462标识与从acfs430接收的维度值的子集相关联的用户选择率。例如，来自acfs430的请求最多具有四个维度值，并且特定请求包括维度值集合{d1a、d2b、d3c、d4c}。如果acfs存储器462没有存储用于该维度值组合的用户选择率，则acfs存储器462标识用于维度值的子组合的用户选择率，比如{d1a，d2b，d3c，*}或{d1a，*，*，d4d}，其中，*表示相应的值可以是任何值。acfs存储器462可以标识与最大数量的维度值相匹配的子组合。acfs存储器462返回用于每个相关内容条目格式对的用户选择率。

每个内容条目格式对的用户选择率被用于选择特定的内容条目格式对。每个用户选择率可以被赋予相同的权重。例如，如果存在三个内容条目格式对并且用户选择率分别是0.01、0.04和0.05，则第一内容条目格式对具有10％的被选择机会，第二内容条目格式对具有40％的被选择机会，第三内容条目格式对具有50％的被选择的机会。

在一个实施方式中，针对每个内容条目格式对确定选择权重(selectionweight)。选择权重公式的示例如下：

selectionweight(a,f)＝ctr(a,f)^alpha/sum(ctr(i)^alpha)

其中，a是特定内容条目，f是特定格式，ctr(i)是内容条目(限于特定动态活动的内容条目)的用户选择率，ctr(a,f)是具有格式f的内容条目a的用户选择率，alpha是表示贪婪因素的参数，其可能的值大于0并且其值为1表示与同一动态活动相关联的所有可能的内容条目格式对的总的用户选择率相比，内容条目格式对将被选择为成比例于其用户选择率。

因此，内容条目格式对按频率选择，与其选择权重成比例。对的选择权重越高，对被选择的可能性就越大。然而，即使是(在对选择事件中)具有最低选择权重的内容条目格式对也有机会被选择。

alpha的值越大，开发(exploitation)得越多。相反，alpha的值越小，探索(exploitation)得越多。平衡开发和探索可以通过调整alpha的值来实现，这可以动态完成。例如，随着用于特定动态活动的对选择事件的数量增加，alpha的值增加并接近1或更高。因此，可以基于模型的置信度来调整alpha的值。置信度可以指示模型被训练了多久，模型所基于的训练数据的量、模型的准确度等。alpha的初始值可以手动地确定或通过一个或多个实验来确定。

变型

一些实施方式不是基于每个内容条目格式对来跟踪性能数据，而是基于每个内容条目或每个内容条目类型来跟踪性能数据。例如，在一个实施方式中，每个内容条目类型只有一个格式。尽管如此，仍然可能存在许多内容条目类型，或者甚至存在具有不同内容的相同类型的不同内容条目，比如不同图像、不同文本和/或不同图形。例如，动态活动可以是“workwithus”类型的八个不同内容条目和“pictureyourself”类型的两个不同内容条目。每个内容条目可以与不同的性能数据相关联。可以使用本文描述的涉及从八个选项中选择内容条目的实施方式。

没有本文的实施方式，内容提供商将不能有效地测试不同的内容条目格式对。相反，内容提供商需要为内容提供商想要测试的每个内容条目格式对创建内容传输活动，并且每一对最终将与来自相同内容提供商的其他活动竞争。即使内容提供商创建多个单独活动，内容提供商也将不得不手动跟踪每个活动的进度并且手动调节(例如，降低预算或降低出价金额、或取消)相对较少执行的活动。本文的实施方式允许内容传输交换机(或发布者)通过跟踪每个内容条目格式对的进度以及实时调整对选择来代表内容提供商去除这种手动实验。

硬件概述

根据一个实施方式，本文所描述的技术由一个或多个专用计算装置来实现。专用计算装置可以被硬连线以执行这些技术，或者可以包括持久地被编程为执行所述技术的数字电子设备(诸如一个或多个专用集成电路(asic)或现场可编程门阵列(fpga))，或者可以包括一个或多个通用硬件处理器，所述处理器编程为依据固件、存储器、其他存储器或上述组合中的程序指令来执行所述技术。这种专用计算装置还可以将定制的硬连线逻辑、asic或fpga与定制编程组合以完成所述技术。专用计算装置可以是台式计算机系统、便携式计算机系统、手持设备、联网设备或包含硬连线和/或程序逻辑以实现所述技术的任何其他设备。

图5是示出可以在其上实施本发明的实施方式的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机构，以及与总线502耦合的、用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括主存储器506，诸如，随机存取存储器(ram)或其他动态存储设备，所述主存储器被耦合到总线502用于存储要由处理器504执行的信息和指令。主存储器506还可以用于在执行要由处理器504执行的指令期间存储临时变量或者其他中间信息。当存储在处理器504可访问的非临时性存储介质中时，这样的指令使计算机系统500呈现为被定制为执行指令中指定的操作的专用机器。

计算机系统500还包括被耦接至总线502的只读存储器(rom)508或其他静态存储设备，用于存储用于处理器504的静态信息和指令。诸如磁盘、光盘或固态驱动器之类的存储设备510被提供并且被耦接至总线502以用于存储信息和指令。

计算机系统500可以经由总线502被连接到诸如阴极射线管(crt)之类的显示器512，用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514被耦接至总线502，用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是光标控制516，诸如，鼠标、轨迹球或光标方向键，用于向处理器504传送方向信息和命令选择并且用于控制显示器512上的光标移动。该输入装置通常在两个轴(第一轴(例如x)和第二轴(例如y))上具有两个自由度，这使得装置能够指定平面中的位置。

计算机系统500可以使用定制的硬连线逻辑，一个或多个asic或fpga，固件和/或程序逻辑与计算机系统结合使得计算机系统500成为专用机器来实现本文描述的技术。根据一个实施方式，本文中的技术是由计算机系统500响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列而执行的。这样的指令可以从另一存储介质——比如，存储设备510——读入到主存储器506中。包含在主存储器506中的指令序列的执行使得处理器504执行本文所描述的处理步骤。在可替代实施例中，可以使用硬连线电路来代替软件指令或者与软件指令组合。

本文所使用的术语“存储介质”是指存储使机器以特定方式进行操作的数据和/或指令的任意非易失性介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器，诸如存储设备510。易失性介质包括动态存储器，诸如主存储器506。存储介质的常见形式包括例如软盘、磁盘、硬盘、固态驱动器、磁带或者任何其它磁性数据存储介质、cd-rom、任意其他光学数据存储介质、任意其他具有孔图案的物理介质、ram、prom和eprom、flash-eprom、nvram、任何其他存储器芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质结合使用。传输介质参与在存储介质间传输信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的缆线。传输介质也可以采取声波或光波的形式，例如那些在无线电波和红外数据通信期间生成的声波或光波。

在将一个或多个指令的一个或多个序列携带到处理器504以进行执行时可以涉及各种形式的介质。例如，指令最初可以被携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射机将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放置在总线502上。总线502将数据传送到主存储器506，处理器504从主存储器506获取并执行指令。由主存储器506接收的指令可以可选地在由处理器504执行之前或之后被存储在存储设备510上。

计算机系统500还包括被耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，该网络链路520被连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器，或者提供到对应类型的电话线的数据通信连接的调制解调器。再例如，通信接口518可以是局域网(lan)卡，以提供到兼容lan的数据通信连接。还可以实现无线链接。在任何这样的实现方式中，通信接口518发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以通过本地网络522提供到主计算机524的连接或通过本地网络522提供到由互联网服务提供商(isp)526运行的数据设备的连接。isp526则通过现在通常称为“因特网”528的全球分组数据通信网络提供数据通信服务。本地网络522和因特网528都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的将数字数据传送到计算机系统500和从计算机系统500传送数字数据的信号是传输介质的示例形式。

计算机系统500可以通过网络、网络链路520和通信接口518发送消息并接收包括程序代码的数据。在因特网示例中，服务器530可以通过因特网528、isp526、本地网络522和通信接口518发送针对应用程序的所请求的代码。

所接收的代码可以在被接收时由处理器504执行，和/或被存储在存储设备510或其他非易失性存储器中以供稍后执行。

在前面的说明书中，已经参照可以随着实现而变化的许多具体细节描述了本发明的实施方式。因此，说明书和附图被认为是说明性的而并非限制性的。本发明的范围的唯一的和排他性的指示以及申请人打算作为本发明的范围的内容是本申请中公布的一组权利要求的字面上和等同的范围，这样的权利要求所公布的特定形式包括任何后续的更正。