告主带来实质收益;而那些有(正/负)点击行为的活跃用户，需要更多的广告计算资源的倾斜。
[0172]基于用户精准定向的广点通广告平台，需要引入用户价值来衡量并区分高低价值用户，这是广告体验优化的基础维度。用户价值主要从用户对平台收益贡献的多少来衡量的，其定义可以参考基本业务指标，给出基于用户CTR、eCPM、ARPU等得分。用户价值引入后，区分出高价值用户和低价值用户，那么对于不同优先级的用户，可以采用如下不同的策略分别处理，在如下场景中发挥作用:
[0173]I)对于低价值用户，在发起广告检索请求时，可以不检索或减少广告返回个数;对于高价值用户，可以提高广告准入队列的阈值、适当拉长广告候选队列，扩大优选集合。
[0174]2)对于高价值用户，离线挖掘的时候就可以花更多的资源丰富用户标签;在线计算时，相关性、点击率预估模块等可以允许花费更多资源精确计算;时/空多样性、负反馈等环节，可以实现用户个性化控制。
[0175]3)用户价值也可以作为广告用户体验优化效果的间接量化，例如长期监控平台用户价值的分布变化，区分不同人群对策略优化效果进行评价等。
[0176]第三方面，社交广告特有的体验策略:时间/空间多样性一可以用于对应解决上述第三个问题。
[0177]在使用QQ空间等社交产品时，时常会看到重复、相似的广告。从心理学上讲，由于用户的短期兴趣点是不断变化的，如果连续看到相同或相似的广告，之前的兴趣度会逐渐下降，带来“疲劳观看”问题。严重的会产生厌烦心理，甚至造成用户流失。
[0178]广告多样性是社交网络广告特有的场景体验，它可以理解为用户看到广告的丰富程度。从时间和空间的角度，又可以分为时间多样性和空间多样性。
[0179]时间多样性主要是通过广告曝光的频次控制以及CTR结果的降权打压来实现;本文重点基于页面多广告位场景，提出一种空间多样性优化策略，同时兼顾优化收益，让CPM损失最小。
[0180]空间多样性从广告id、广告主id、推广商品、广告类目以及素材指纹这五个维度考虑区分。其中广告id、广告主id是系统能够唯一确定的；推广商品的标记、广告类目以及素材指纹是由独立算法计算得到。PC-QQ空间个人中心左下，就是典型的多广告位场景，如图10所示，在QQ空间中个人中心左下方有多个广告位。
[0181]从广告后台实现来看，每个广告位对应一个候选广告队列。我们的目标是要从多个广告候选队列中，动态优选出满足空间多样性定义并且收益最优的广告组合(同广告位队列内部不存在多样性问题)。结合图6，对如何实现空间多样性的策略具体描述如下:
[0182]I)动态确定多样性场景下多广告位之间(广告填充)优先级，依据广告位队列中top-Ι广告的eCPMXQuality对广告位进行排序，排序后的广告位依次记为pos_l，pos_2，pos_3……每个广告位对应的广告精选队列中的广告编号为AdiI，Adi2，Adi3……(i表示第i个广告位)。
[0183]2)逐次遍历各个广告位的top-Ι广告，与已选中广告进行多样性判断策略，具体方法为使用不同维度的过滤函数进行判断，全部符合过滤条件即可选中该广告。
[0184]3)优先填充各个广告位具有最大曝光概率的top-Ι位置广告。
[0185]4)非top-Ι位置广告的其余位置，依次按照广告位优先级排序，顺次判断是否与已经填充的非当前广告位的广告队列存在多样性冲突，不冲突填充，否则放入Filter_vec队列(用于补余策略)。
[0186]5)直至填满该广告位所请求长度的广告队列，若没有填满，则按照一定的冲突顺序使用Filter_vec队列中的广告进行补余。
[0187]空间多样性优化策略通过实验系统实现灰度全量发布，广告CPM的损失控制在5%以内，CTR有一定提升；同时曝光相同类目的比例从接近20%下降到不到2%，用户体验得到显著改善。
[0188]首先解决了空间多样性的问题，还可以结合时间多样性来考虑，建立时间多样性与空间多样性的关联关系，比如，通俗的说，空间多样性采用策略一来实现，时间多样性通过策略二来实现，将空间多样性和时间多样性相结合，通过策略三(策略三=策略一+策略二)来实现，得到策略三不一定是策略一+策略二的叠加形式，也可以是其他策略优化的组合形式，二者结合时，在具体实现时都考虑了相近的过滤维度，完全可以通过特征向量代替规则组合，实现两者形式化的定义统一。为此，定义广告之间的“差异度”距离的概念如下:
[0189]就“差异度”距离而言，Di表示差异化特征向量为I的广告；I是η维，η是衡量广告差异化的特征维度数(涵盖了时间/空间多样性规则的各个维度表示某一维度的特征。那么广义的广告多样性规则即可表达为差异度”距离大于某一阈值的广告组合。
[0190]第四方面，广告负反馈一可以用于对应解决上述第一个问题。
[0191]广点通广告平台已经在PC-QQ空间、feeds信息流上支持了负反馈功能，可以细分广告位记录每个用户的负反馈行为。线上策略是在精选排序模块中实现的，目前从时间维度上设计了两个阶段的处理策略。
[0192]TO阶段:设置一个时间周期T0，按照广告id、广告类目、广告商品等维度，实现负反馈广告的过滤，强制不让用户看到其负反馈的广告。也就是说，对于用户通过负反馈入口关闭过的广告，在TO阶段从不对用户再次投放，投放的概率为零。
[0193]Tl阶段:设置一个时间周期Tl(在TO之后)，按照时间因子实现降权打压，减少用户负反馈广告的曝光机会。也就是说，对于用户通过负反馈入口关闭过的广告，在TO之后的Tl阶段，可以按照策略对用户再次投放，增加投放的概率，但是不会过于频繁，要低于一个阈值。
[0194]有别于图9的一个负反馈入口的另一个形式如图11所示，图11中的A12为负反馈入
□ O
[0195]负反馈直接反应了用户对当前广告的讨厌(当然也有一些用户，即便反感广告也不会去点击负反馈的)。通过对负反馈用户的特征分析、负反馈广告分析以及负反馈率的研究，可以进一步通过模型方式实现后台策略。即，类比广告点击率预估，可以做广告负反馈率的预估，并在播放策略及竞价排序过程中引入负反馈率这个用户体验因素。
[0196]第五方面，精选阶段的质量准入及曝光控制一可以用于对应解决上述第三个问题。
[0197]在精选阶段，广告是按照综合得分排序的。综合得分考虑了体验、收益、平台价值等因素，但排序后的其他调序规则，例如特殊广告的强制召回、时间/空间多样性、负反馈等策略，又会使一些低CTR、低eCPM的广告有机会调整到曝光队列前面，从而影响用户体验。
[0198]综合考虑用户体验与平台收益，通过控制广告精选队列(可以为图6的广告队列形式，但不限于该形式)的准入，过滤“绝对”低质的广告;通过控制广告曝光队列的准出，减少综合收益低的广告的曝光。设计通过可控的曝光、收入的损失，换回用户体验的改进，例如广告负反馈率的下降等。一组按eCPM阈值过滤的小流量实验表明，适当控制低质广告的曝光降低和收入损失，可以换来负反馈率的有效降低，改善用户体验。
[0199]广告准入的控制，不影响后续各种精选策略的排序，可以有效保证广告队列的质量;广告准出的控制，直接影响曝光，但一定程度会破坏多样性等策略的效果。其中，针对广告准入准出的控制而言，需要考虑了几个标准:1)CTR，业界普遍认可，点击率反应用户对广告的喜好;2) eCPM，综合考虑点击率与平台收益;3)广告综合得分(eCPM X quality):综合考虑影响广告排序的各个因素。其中，quality泛指cvr、外链等平台价值因子。
[0200]阈值设置的问题通过静态设置及动态修改两个阶段实现。以按pCtr做准入控制为例，第一阶段，可以离线分析重点流量重点广告位的CTR分布情况，取合适的阈值启动多组实验调试;第二阶段，建立准入控制数据的实时监控以及数据闭环pipeline，定期计算历史曝光情况的数据分布给出新阈值带入到线上。精准动态阈值的设置，也可以考虑模型预估。
[0201]第六方面，竞价排名中的广告用户体验一可以用于对应解决上述第三个问题。
[0202]竞价排序公式有如下的公式(I)和公式(2)两种，公式(I)为GSP模型；公式(2)为VCG模型。
[0203]score = eCPM X quality 公式(I)
[0204]其中，CPA/CPC/CPM等计费模式都可以形式化统一规约到CPM，理解为平台收益；quality为结合业务引入的质量得分，初衷是为了平衡平台与广告主的收益。对quality的设计可以考虑落地页质量/相关性等因素，对于广点通平台来说，结合具体业务还考虑了广告质量度、外链、平台价值等因素。
[0205]比如，考虑用户体验因素在排序中的定位和影响，可以在quality中引入一个subscore，作用同其他质量因子(与用户体验有关的质量因子)。用户体验价值本身是有物理意义的，广告曝光给用户，对用户/平台带来的可能是直接(和长期的)正向体验、体验收益，也可能是负向体验、体验损失。当用户体验整体收益E(A，U，C)>0时，可以曝光广告；当E(A，U，C)〈O时，应该控制准出限制曝光。VCG模型是鼓励广告主按照真实意愿出价。
[0206]score = basi c_e CPM+qua I i ty_e CPM 公式(2)
[0207]其中，basic_eCPM由真实bid换算，对应扣费需要广告主承担；quality_eCPM为quality因子换算，此部分“扣费”应由平台系统“埋单”，无需广告主承担。与GSP模型一样，这里的quality也是结合业务引入的质量得分和平台价值。用户体验综合收益作为quality_eCPM的一部分，定义如公式(3)所示:
[0208]exper i ence_eCPM = PR X PR_b i d- NR X NR_b i d 公式(3)
[0209]其中，PR表示正向用户体验概率;PR_bid表示体验收益;NR表示负向体验概率，例如负反馈等;NR_bid表示体验损失。
[0210]第七方面，广告用户体验优化效果的量化及统计监控一可以用于对应解决上述第四个问题。
[0211]用户体验策略优化效果的衡量，很难通过一个数值拟合方方面面的改进。可以从业务指标、离线统计以及第三方评测等角度给予综合评价。目前只有点击的指标，包括但不局限于以下指标:
[0212]I)广告点赞率。社交广告中，用户在广告上的互动是一大特色，用户会对自己非常感兴趣的广告主动点赞，广告点赞率是衡量广告体验非常好的一个指标。
[0213]2)广告点击率。如果展示的广告对用户是有吸引力的，可以部分表现为点击率的提升。广告的(时间/空间)多样性策略可以在精选排序阶段实现，也可以将其整合到点击率预估模块中。在点击率预估过程中，引入广告多样性相关特征，通过PCtr结果体现出来，减少精选排序过程中规则间的耦合，同样可以达到提高用户体验来完善互动机制的作用。另夕卜，多样性策略除了可应用于同页面多广告位的广告体验优化，还可以用于广告推荐系统。针对用户兴趣、时间序列行为，推荐差异化的主题内容。
[0214]3)广告负反馈率。如果用户讨厌广告，可能做负反馈操作，也可能什么也不做(或负反馈功能并不支持，什么也做不了)。负反馈率的降低，只能部分反映出用户体验的提升。
[0215]4)广告曝光时长。用户对广告的喜好程度可以通过点赞、点击或者负反馈这些直接的行为表现出来，但很多情况下，用户会因为各种原因不产生直接的行为。广告曝光时长是用户停留在广告上的时间，停留时间长，表明用户对广告还是关注的，停留时间短，一定程度上说明用户对广告不感兴趣。
[0216]5)用户活跃度。这里可以与平台产品团队合作，根据其定义的用户活跃指标作为对用户体验的衡量。例如，对比不同的用户体验策略、对比对抽样用户展示/不展示广告情况下，平台用户活跃度指标的变化等。
[0217]6)不同阶段监控指标。可以监控广告库存、初选、精选、曝光等不同阶段的广告类目分布、低质素材比例等。
[0218]7)人工评测。建立人工评测系统，模拟真实用户访问，统计badcase比例。
[0219]8)Case对比。重大策略改进版本的发布过程，可以绑定QQ号体验对比效果。
[0220]9)舆情监控。对公司内外用户对产品的评论、打分、投诉保持敏感，做好用户情感分析。
[0221]本应用场景采用本发明实施例，针对广告信息推荐和投放过程中的互动机制完善，以达到精准，定向投放的效果，是兼顾用户侧、广告主侧和平台的三方平衡。构建了循环迭代反馈的闭环生态建设，策略优化贯穿在广告生命周期中的各个处理节点，不是1-2个点的策略优化，而且在整个策略优化中加入用户价值，基于页面多广告位场景，给出了广告多样性体验优化策略，与平台收益平衡，同时形式化统一空间多样性与时间多样性(新鲜度)策略，提出广告负反馈功能的过滤与打压策略，并提出负反馈率量化评价指标，提出广告精选阶段质量准入及曝光控制体验优化策略，给出用户体验在广告竞价排名过程中的定位和影响，提出广告用户体验优化效果的量化及统计监控等策略，从而，通过这些策略来完善互动机制，以达到精准，定向投放的效果。
[0222]在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如:多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0223]上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0224]另外，在本发