用于新闻的自动会话创建器的制作方法

存在有向单向信息递送提供同构内容呈现从而使得用户被动地接收要阅读的许多信息的许多网站。这增加了尝试解释所呈现的文章的用户的负担，由此削减了用户的体验。

技术实现要素：

本文中描述了可响应于所呈现的文章而提供自动会话生成的技术。

在一些示例中，计算设备被配置成接收与由源系统产生的内容项相关联的信息。该内容项可由其他计算设备经由网络来访问。计算设备可输出该内容项的至少一部分。响应于接收该信息，计算设备标识开始评论并至少部分地基于排序模型来标识对开始评论的回复。计算设备可输出开始评论和回复。

本文中公开的配置允许接收与由源系统产生的内容项相关联的信息，该内容项可由其他计算设备经由网络来访问，并接收与该内容项相关联的评论，该评论由其他计算设备之一产生。响应于接收该信息和评论，计算设备至少基于预测/排序模型来预测对该评论的回复。

这提供更直观的交互用户体验，并改善用户与计算机进行交互时的效率。这降低了用户的负担，由此增加了用户的效率和体验。

应当领会，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。

提供该发明内容以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如术语“技术”可指代上述上下文和通篇文档中所准许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。

附图说明

参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。不同附图中的相同参考标记指示相似或相同的项。

图1是描绘用于实现会话应用的示例环境的示图。

图2示出被允许基于由图1中示出的系统的各组件所提供的功能来呈现具有评论和回复的内容的示例移动设备。

图3是描绘用于训练评论/回复呈现系统的过程的示例操作的流程图。

图4示出描绘用于预测评论和回复的过程的示例操作的流程图。

图5是示出能够实现本文所呈现的配置的各方面的计算设备的说明性计算机硬件和软件体系结构的计算机体系结构图。

具体实施方式

概览

本文中描述的各示例提供具有主机服务器的系统的构造，该主机服务器提供与网络可访问的内容相关联的评论和回复，诸如回答文章。该系统还具有用于以其中两个实体彼此通信的会话格式呈现具有评论和回复的内容的客户机侧组件。

进一步参考图1-5来描述各示例、场景和方面。

说明性环境

图1示出用于实现针对新闻文章的聊天机器人的示例环境。该聊天机器人根据用户当前正与其进行交互(例如，阅读、观看、收听、感测等)的内容项(例如，新闻文章)来呈现评论和对这些评论的回复。

在示例中，基于网络的系统100包括一个或多个内容服务器102、多个客户端计算设备104(1)-(N)以及一个或多个内容/评论回复服务器108。内容服务器102、客户端计算设备104(1)-(N)和内容/评论回复服务器108全部跨一个或多个网络106进行通信。

(诸)网络106可包括诸如因特网之类的公共网络、诸如机构和/或个人内联网的专用网络、或专用网络和公共网络的某种组合。(诸)网络106还可包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网 (WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(如3G、4G等等)或它们的任意组合。(诸)网络106可利用通信协议，包括基于分组的和/或基于数据报的协议，如网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。而且，网络106还可包括便于网络通信和/或形成网络的硬件基础的若干设备，如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设备等等。

在示例场景中，服务器102、108可包括一个或多个可在群集中操作或在其他分组的配置中操作以共享资源、平衡负载、提升性能、提供故障转移支持或冗余或出于其他目的的一个或多个计算设备。服务器102可以是源系统，其是服务器、web服务器或用于生成内容项的任何其他计算设备，诸如图2中示出的计算设备。服务器102、108可属于各种各样类别或分类的设备，诸如传统的服务器类型的设备、桌面计算机类型的设备、移动类型的设备、专用类型的设备、嵌入式类型的设备和/或可穿戴类型的设备。由此，虽然被示为塔式计算机，但是服务器102、108可包括多种多样的设备类型并不限于特定类型的设备。服务器102、108可表示但不限于：台式计算机、服务器计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴计算机、植入计算设备、电信设备、车载计算机、启用网络的电视机、瘦客户机、终端、个人数据助理(PDA)、游戏控制台、游戏设备、工作站、媒体播放器、个人录像机(PVR)、机顶盒、相机、用于包括在计算设备内的集成组件、家用电器，或任何其他类型的计算设备。

在一些示例中，内容/评论-回复服务器108可至少包括处理器110、存储器112和输入/输出(I/O)设备114。存储器112可至少包括内容/评论-回复模块116和训练模块118。训练模块118至少基于在多个不同的内容项中找到的多个评论/回复对来训练评论/回复模型。

内容/评论-回复模块116在由处理器110执行时使得从特定内容服务器102接收如由设备104(1)-(N)中的任一设备的用户请求的信息并标识最有可能与接收到的内容相关联的评论/回复。处理器110对内容/评论-回复模块116的执行还可导致接收由设备104(1)-(N)中的任一设备的用户生成的评论并标识评论/响应于该用户评论的回复。

客户端设备104(1)-(N)至少包括处理器120、显示器122、用户界面124、存储器126和I/O设备128。存储器126可存储内容/评论-回复模块130，该内容/评论-回复模块130在由处理器120执行时导致从特定内容服务器102接收与由设备104(1)-(N)中的任一设备的用户请求的内容有关的信息并标识最有可能与接收到的内容相关联的评论/回复。处理器120对内容/评论-回复模块130的执行还可导致接收由设备104(1)-(N)中的任一设备的用户生成的评论并标识评论/响应于该用户评论的回复。

同样，处理器120在执行内容/评论-回复模块130的其他组件时可在显示122上呈现评论区域。评论区域可接收与所呈现的内容有关的用户评论。图5中示出了客户端设备104的其他组件的示例。

模块116、130提供的功能可位于网络上的其他计算位置处，或者可跨网络上的多个计算位置分布。

图2示出了被实现为移动设备200(即，智能电话、个人数据助理等)的客户端设备104的示例。移动设备200可包括显示器202并可包括用户界面控件204。内容/评论-回复模块130使得处理器120通过按需与内容服务器102和/或(诸)内容/评论链接服务器108进行通信来将所请求的内容和相关联的评论/回复呈现在显示器202上。处理器120在执行内容/评论-回复模块130的各组件时基于用户的请求来呈现来自内容服务器102的内容。针对内容的用户请求的示例可包括将新闻源网站地址输入到显示器202上呈现的浏览器(未示出)中。所请求的内容(例如，新闻文章网页)被部分地呈现在显示器202的内容呈现区域206内。

所呈现的内容可包括标题和正文。在该示例中，标题被呈现在内容呈现区域206的标题部分206a中。内容的正文被呈现在内容呈现区域206的正文部分206b中。

显示器202包括会话区域208。会话区域208可以是以会话格式示出评论和回复的所选区域。当内容呈现区域206被用户查看时，显示器202可将评论区域208呈现在内容呈现区域206的上方、下方或附近。可将被标识为与所呈现的内容相关联的第一评论呈现在第一评论区域210中。第一评论可由评论/回复模块116、130至少基于在内容呈现区域206中访问和呈现的内容或训练 模块118所训练的评论/回复排序模型来标识。

第一评论区域210下方是第一回复区域214。第一回复区域214中示出的回复被评论/回复排序模型标识成对第一评论区域210中呈现的评论的最高排序响应。可使用用于选择第一评论的其他方法，诸如随机选择。

在第一评论区域210或第一回复区域214附近，显示器202可呈现图像、图片或图标(212、216)，其用于分别表示为呈现在第一评论区域210或第一回复区域214中的评论/回复创建并与其相关联的角色。

评论/回复模块130可促使处理器120维持与实体(例如，内容/评论链接服务器108)的开放通信链接,该实体也可标识对内容呈现区域206中当前呈现的内容的评论和回复。该实体可以是其他客户端设备104(1-N)，如果这些其他设备包括评论/回复模块116的话。该开放通信链接允许实况地或接近实时地将来自其他用户的评论链接到、发送至、随后呈现在显示器202上。

如果评论和回复的数目超过阈值或评论组的尺寸，并且回复超过评论区域208的尺寸值，则所链接的评论和回复将水平或垂直地滚动。该滚动可自动地发生，或响应于用户对用户界面控件204或显示器202(如果该显示器包括触摸屏组件的话)的动作而发生。

显示器202还可包括评论输入区域218。评论输入区域218可包括用于允许用户发布其自己的评论的评论输入框。用户可通过在用户已将评论输入到评论输入区域218的评论输入框后激活去往按钮220或相似的激活机制来将评论与会话区域208中呈现的评论或回复关联。在将评论输入到评论输入区域218之际，经输入的评论和内容信息被发送到内容/评论链接服务器108。

训练模块118可用离线收集的数据来训练评论/回复排序模型。由(诸)内容/评论-回复模块116、130执行的评论/回复排序模型可在所创建的角色(例如，聊天机器人)之间创建会话通信。同样，响应排序模块可创建对用户创建的评论的回复。训练模块118可在分类框架中标识对内容的评论和回复，其包括基于与各内容项相关联的一组评论/回复对来训练评论/回复排序模型。首先创建从样本评论和回复中提取的特征的训练集合。该训练集合可使用先前与许多不同的内容帖子/文章相关联的许多不同的评论/回复。训练集合被用来使用自然语言处理技术来训练用于对各实例进行分类/排序的分类器。这被描述如下。

候选聊天响应三元组T＝{A，C，R}可以是内容项A＝{a₁，a₂，...，a_n}(a＝文章)以及聊天评论集合C＝{c₁，c₂，...，c_m}和回复集合R＝{r₁，ar_，...，r_m}的函数。该函数可包括以下两个集合C和R的笛卡尔乘积。训练模块118可从候选聊天响应三元组T中提取词汇级、实体级、主题级和质量控制特征以创建特征向量v(t_acr)。训练模块118可将t_acr的类别分配给标签＝1，并且任何其他非回复对t′_acr为0。非回复对包括作为对该对中的评论的非相关回复的回复。训练实例被输入到支持向量机(SVM)分类器中，该分类器为每一候选聊天回复三元组学习权重值。评论/回复对可基于权重值来排序。

对于新的评论-回复对，SVM分类器可预测该对对于相关联的内容而言为真的可能性。

表1列出了所提取的特征的示例。

表1：提取的特征

评论/回复排序模型被用于测量聊天评论/回复对之间的对应关系(例如，排序)。训练模块118可为一个单新闻内容项收集许多聊天评论/回复对以制作训练数据T。T被用于根据以下步骤来生成将被用来训练SVM模型/分类器的正面和负面示例。

词汇特征包括标识被表示成两个tf-idf向量的聊天评论和对应的回复之间的余弦相似性。TF意指单个单词的词频，IDF意指单个单词的逆文档频率。TF-IDF意指单词的tf*idf。每一单词均具有一tf*idf值，使得句子(例如，聊天评论、回复)可被表示成tf-idf向量。也可使用通用词、词根、POS标签和功能词的数目。

以下是POS标签的示例列表：

CC 并列连词

CD 基数

DT 限定词

EX 存在性“there”

FW 外来词

IN 介词或从属连词

JJ 形容词

JJR 形容词，比较级

JJS 形容词，最高级

LS 列表项标记

MD 模式

NN 名词，单数或集合

NNS 名词，复数

NNP 专有名词，单数

NNPS 专有名词，复数

PDT–前置限定词

POS–所有格字尾

PRP 人称代词

PRP$ 物主代词

RB 副词

RBR 副词，比较级

RBS 副词，最高级

RP 虚词

SYM 符号

TO 至

UH 感叹词

VB 动词，基础形式

VBD 动词，过去式

VBG 动词，动名词或现在分词

VBN 动词，过去分词

VBP 动词，不存在第三人称单数

VBZ 动词，存在第三人称单数

WDT wh限定词

WP wh代词

WP$ 所有格wh代词

WRB Wh副词

功能词包括动词和名词。此外，词汇特征可包括按统计方式指示单词匹配的翻译模型分数。训练模块118可使用词汇特征来生成特征向量。

训练模块118可用实体类型匹配数和每一类型内的实体匹配数来计算实体级特征。训练模块118可求这些匹配数除以聊天评论/回复对的长度的平均。如果匹配数为N，则平均数为N/length(A)，其中A为聊天评论。主题级特征基于对评论和回复的潜在狄利克雷分配(Latent Dirichlet Allocation)分析。在LDA后，训练模块118可为每一聊天评论和回复生成主题向量，其中每一维度意指文本中的潜在主题。训练模块118可将单词嵌入向量特征用作主题级特征。单词嵌入是深度学习算法中使用的术语，其意指单词可被表示成高维实值向量。该向量可被认为是对上下文信息的编码。训练模块118还可考虑会话一致性和意见约束。会话一致性和意见约束由开始该聊天的用户确定。例如，聊天引擎可同意或不同意这些用户。这些用户可选择聊天引擎生成的内容为较正面 的响应还是较负面的响应。

训练模块118可计算这些向量的余弦相似性以表示聊天-响应对之间的语义相似性。

管理该训练操作的人基于这个人对每一聊天评论/回复对是否可能彼此链接的感知来向该对的特征向量施加权重。经加权的对被施加到建模器/分类器，诸如SVM分类器，其创建用于对聊天评论和回复对进行排序的模型/分类器。

说明性过程

过程300-400被示为逻辑流程图中的各框的集合，这表示可用硬件、软件或其组合实现的一系列操作。在软件的上下文中，这些操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时执行所述操作。计算机可执行指令可包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不旨在被解释为限制，并且任何数量的所述框可以按任何次序和/或并行地组合以实现所示的过程。本文中描述的过程中的一个或多个过程可独立地或按任何次序(串行或并行)相关地发生。

如在说明书和权利要求书中使用的术语“计算机可读指令”及其变型，在本文是用来广泛地包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等等。

因此，应该理解，本文所述的逻辑操作被实现为：(1)一系列计算机实现的动作或运行于计算系统上的程序模块；和/或(2)计算系统内的互连的机器逻辑电路或电路模块。该实现是取决于计算系统的性能及其他要求的选择问题。因此，此处描述的逻辑操作被不同地称为状态、操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以用软件、固件、专用数字逻辑及其任何组合来实现。

图3示出用于训练供在会话创建过程中使用的评论/回复排序模型的高级过程300。过程300是使用自然语言处理(NLP)技术的特定实现。首先在框 302，从与各内容项相关联的训练评论和回复中获得一组评论-回复对。该组对可针对各内容项流派(例如，世界新闻、本地新闻、体育、观点、食物、娱乐、音乐等)获得。使用不同流派的各组对导致不同类型的训练模型。当使用与类似于当前查看的内容的流派相关联的评论/回复排序模型时，则将评论链接到内容的过程可产生更准确的评论和回复结果。

在框304，训练模块118可从评论/回复对提取词汇级、实体级、主题级和质量特征。表1示出示例提取特征。

在框306，训练模块118可使用针对评论/回复对中的每一评论和回复的提取特征来创建特征向量。这些向量以及作为维度的特征都是多维的。

基于以上分析从该对的评论和句子中提取特征以得到针对每一对的评论和回复的特征向量：

F_评论

F_回复

假设训练已经发生，则相对于训练的模型/分类器(训练的SVM分类器)来分析这些特征向量以及所有其他评论/回复对的特征向量以确定这些回复中的哪些回复将被标识成该评论的最高排序。

尽管以上示例涉及将文本评论链接到文本回复。本发明的实现可适用于可听评论/回复以及音频和/或视频内容。视频到文本可用作用于将语音转换成文本的技术。视频分析技术可用于标识视频中的事件(例如，改变事件)并随后将该信息用作用于对评论/回复进行排序的基础。

在框308，训练模块118可基于每一特征向量对是否匹配的感知可能性来注释每一对。该注释可以是向该特征向量对分配的权重值的形式。

在框310，训练模块118可基于经注释的特征向量对来训练模型或分类器。在一个示例中，SVM至少基于经注释的特征向量对来生成模型或分类器。

在判定框312，一旦该训练被确定为是完整的，则过程300准备好分析并标识针对所标识的内容项的评论和回复，见图4中的过程400。

图4示出用于自动标识针对所标识的内容项的评论和回复的高级过程400。在框402，用户请求内容项(例如，新闻文章)，并向该用户所操作的计算设 备(例如104)呈现该内容项。例如，使用用户界面124的用户使得内容服务器102经由显示器122和I/O 128来向用户呈现特定新闻文章。这可通过用户输入网站地址或选择与期望文章的网站地址相关联的链接来完成。

在框404，评论/回复模块116、130可选择开始/第一评论。所选的评论先前被标识成从来自其他用户的评论、从用户评级数据或从指示评论的优先级的用户活动数据中接收较正面的反馈。该反馈可被认为是其他用户的审批。来自其他用户的评论、用户评级数据和指示评论的优先级的用户活动数据可选自包括在与所呈现的内容有关的先前采样会话中的采样评论和回复。

在框406，根据由训练模块118训练的模型来对最新近评论的候选回复进行排序。该排序还可使用自动地设置的聊天位置或依据由用户使用用户界面124标识的设定(例如，正面的或负面的)来设置的聊天位置。

随后在框408，评论/回复模块116、130使得显示器122呈现最高排序的评论/回复。该呈现还可包括呈现用户选择的内容项(例如，图2)，或者评论/回复模块116、130可将多个评论/回复对顺序地呈现在显示器122上。

对于图1所示的组件，图5示出了能够执行上述用于提供会话系统的程序组件的示例计算机体系结构的附加细节。图5所示的计算机体系结构示出了游戏控制台、常规服务器计算机、工作站、台式计算机、膝上型计算机、平板、平板手机、网络设备、个人数字助理(“PDA”)、电子阅读器、数字蜂窝电话或其他计算设备，并且可用于执行本文提及的任一软件组件。例如，图5所示的计算机体系结构可用于执行上述任一软件组件。尽管本文描述的一些组件专用于客户端设备104，但可以理解这些组件和其他组件可以是服务器108的一部分。

客户端设备104包括基板502或“母板”，其是大量组件或设备可通过系统总线或其他电子通信路径所连接到的印刷电路板。在一个说明性配置中，一个或多个中央处理单元(CPU)504结合芯片组506一起操作。CPU 504可以是执行客户端设备104的操作所必需的算术和逻辑操作的标准可编程处理器。

CPU 504通过从一个分立的物理状态转换到下一状态来执行操作，该转换是通过操纵在各状态之间进行区别并改变这些状态的切换元件来实现的。切换元件一般可包括维持两个二进制状态之一的电子电路，诸如触发电路，以及基 于一个或多个其它切换元件的状态的逻辑组合来提供输出状态的电子电路，诸如逻辑门。这些基本切换元件可被组合以创建更复杂的逻辑电路，包括寄存器、加减器、算术逻辑单元、浮点单元等等。

芯片组506提供CPU 504与基板502上的其余组件和器件之间的接口。芯片组506可提供对用作客户端设备104中的主存储器的RAM 508的接口。芯片组506还可提供对诸如只读存储器(ROM)510或非易失性RAM(NVRAM)之类的用于存储有助于启动客户端设备104并在各种组件和器件之间传送信息的基本例程的计算机可读存储介质的接口。ROM 510或NVRAM还可存储根据本文描述的配置的客户端设备104的操作所必需的其他软件组件。

客户端设备104可以通过诸如局域网106等网络使用到远程计算设备和计算机系统的逻辑连接来在联网环境中操作。芯片组506可包括用于通过诸如千兆比特以太网适配器等网络接口控制器(NIC)512提供网络连通性的功能。NIC 512能够通过网络106将客户端设备104连接到其他计算设备。应理解，多个NIC 512可存在于客户端设备104中，以将该计算机连接到其它类型的网络和远程计算机系统。网络106允许客户端设备104与远程服务和服务器(诸如服务器102、108)通信。

客户端设备104可连接到为计算设备提供非易失性存储的大容量存储设备526。大容量存储设备526可存储已经在本文更详细地描述的系统程序、应用程序、其他程序模块和数据。大容量存储设备526可以通过连接到芯片组506的存储控制器515连接到客户端设备104。大容量存储设备526可包括一个或多个物理存储单元。存储控制器515可以通过串行附连SCSI(“SAS”)接口、串行高级技术附连(“SATA”)接口、光纤通道(“FC”)接口或用于在计算机和物理存储单元之间物理地连接和传送数据的其它类型的接口与物理存储单元对接。还应理解，大容量存储设备526、其他存储介质和存储控制器515可包括多媒体卡(MMC)组件、eMMC组件、安全数字(SD)组件、PCI高速组件等。

客户端设备104可通过变换物理存储单元的物理状态以反映被存储的信息来将数据存储在大容量存储设备526上。在本说明书的不同实现中，物理状态的具体变换可取决于各种因素。这些因素的示例可以包括，但不仅限于：用于 实现物理存储单元的技术，大容量存储设备526被表征为主存储还是辅存储等等。

例如，客户端设备104可通过经由存储控制器515发出以下指令来将信息存储在大容量存储设备526：更改磁盘驱动器单元内的特定位置的磁特性、光存储单元中的特定位置的反射或折射特性，或者固态存储单元中的特定电容、晶体管或其它分立组件的电特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可能的，前面提供的示例只是为了便于此描述。客户端设备104还可通过检测物理存储单元内的一个或多个特定位置的物理状态或特性来从大容量存储设备526中读取信息。

除了上述大容量存储设备526之外，客户端设备104还可访问其它计算机可读介质以存储和检索信息，诸如程序模块、数据结构或其它数据。由此，尽管程序模块116、130和其他模块被描绘为存储在大容量存储设备526中的数据和软件，但应理解，这些组件和/或其他模块可被至少部分地存储在客户端设备104的其他计算机可读存储介质中。虽然对此处包含的计算机可读介质的描述引用了诸如固态驱动器、硬盘或CD-ROM驱动器之类的大容量存储设备，但是本领域的技术人员应该明白，计算机可读介质可以是可由客户端设备104访问的任何可用计算机存储介质或通信介质。

通信介质包括诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，且包含任何传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述的任意组合也应包括在计算机可读介质的范围之内。

作为示例而非限制，计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术，CD-ROM、数字多功能盘(“DVD”)、HD-DVD、BLU-RAY或其他光学存储，磁带盒、磁带、磁盘存储或其他磁性存储设备，或能用于存储所需信息且可以由客户端设备 104访问的任何其他介质。为了声明的目的，短语“计算机存储介质”及其变型本质上不包括波、信号和/或其他瞬态和/或无形通信介质。

大容量存储设备526可存储用于控制客户端设备104的操作的操作系统527。根据一个配置，操作系统包括游戏操作系统。根据另一配置，操作系统包括可从其相应的制造商获得的UNIX、ANDROID、WINDOWS PHONE或iOS操作系统。应理解，也可利用其他操作系统。大容量存储设备526可存储由客户端设备104利用的其他系统或应用程序和数据，诸如程序模块116、130、上下文数据529和/或上述任意其他软件组件和数据。大容量存储设备526可能还存储本文未具体标识的其他程序和数据。

在一个配置中，大容量存储设备526或其他计算机可读存储介质用计算机可执行指令来编码，这些计算机可执行指令在被加载到客户端设备104中时将计算机从通用计算系统变换成能够实现本文描述的配置的专用计算机。这些计算机可执行指令通过如上所述地指定CPU 504如何在各状态之间转换来变换客户端设备104。根据一个配置，客户端设备104具有对存储计算机可执行指令的计算机可读存储介质的访问，这些计算机可执行指令在由客户端设备104执行时执行以上参考图5和其他附图描述的各个例程。客户端设备104可能还包括用于执行本文描述的任意其他计算机实现的操作的计算机可读存储介质。

客户端设备104还可包括用于接收并处理来自诸如键盘、鼠标、话筒、耳机、触摸垫、触摸屏、电子指示笔、或任何其它类型的输入设备之类的多个输入设备的输入的一个或多个输入/输出控制器516。还示出输入/输出控制器516与输入/输出设备525通信。输入/输出控制器516可向诸如计算机监视器、HDM、平板显示器、数字投影仪、打印机、绘图仪或其它类型的输出设备之类的显示器提供输出。输入/输出控制器516可提供与诸如话筒518、扬声器520、游戏控制器和/或音频设备等其他设备的输入通信。另外地或替代地，视频输出522可以与芯片组506通信并且独立于输入/输出控制器516进行操作。可以明白，客户端设备104可以不包括图5所示的全部组件，可以包括在图5中未明确示出的其它组件，或者可使用完全不同于图5所示的体系结构。

示例条款

一种计算机实现的方法，包括：在计算设备处接收与源系统所产生的内容 项相关联的信息，所述内容项可被其他计算设备通过网络访问；输出所述内容项的至少一部分；响应于接收所述信息，标识开始评论并至少部分地基于排序模型标识对所述开始评论的回复；以及，输出所述开始评论和回复。

如先前条款的计算机实现的方法，其中标识所述开始评论包括：从多个评论确定对所述多个评论中的各评论的喜欢量；以及，将所述开始评论标识成所述多个评论中具有最大喜欢量的评论。

如先前条款中的任一项所述的计算机实现的方法，其中标识所述回复包括：标识多个对，所述多个对包括所述开始评论和多个回复之一；响应于所述排序模型的执行而对所述多个对进行排序；以及，将所述对中具有最高排序的回复标识成对所述开始评论的回复。

如前述条款中的任一项所述的计算机实现的方法，进一步包括训练所述排序模型：为先前张贴到一个或多个内容项网页的评论和回复的多个对标识词汇级特征；为所述多个对标识实体级特征；为所述多个对标识主题向量；为所述多个对标识一个或多个质量特征；至少部分地基于所标识的词汇级特征、实体级特征、主题向量和一个或多个质量特征来为所述多个对创建特征向量；以及，至少部分地基于所创建的特征向量来创建所述排序模型。

如先前条款中的任一项所述的计算机实现的方法，其中创建所述排序模型包括：将权重值应用于所述多个对；以及，基于所述权重值创建分类器。

如先前条款中的任一项所述的计算机实现的方法，进一步包括使用支持向量机来创建所述分类器。

如先前条款中的任一项所述的计算机实现的方法，其中所述内容项包括新闻文章网页或张贴网页。

如先前条款中的任一项所述的计算机实现的方法，进一步包括：接收来自所述计算设备的评论；响应于接收来自所述计算设备的所述评论，至少部分地基于所述排序模型来标识对来自所述计算设备的所述评论的回复；以及，输出由所述排序模型标识的回复。

一种计算设备，包括：处理器；显示设备；以及，与所述处理器通信的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令在被所述处理器执行时使得所述计算设备：接收与由源系 统产生的内容项相关联的信息，所述内容项可被其他计算设备通过网络访问；响应于接收所述信息，标识开始评论；响应于标识所述开始评论，至少使用排序模型来标识对所述开始评论的回复；以及，输出所述开始评论和所述回复。

如先前条款中的任一项所述的计算设备，其中标识所述开始评论包括：从多个评论中确定对所述多个评论中的各评论的喜欢量；以及，将所述开始评论标识成所述多个评论中具有最大喜欢量的评论。

如先前条款中的任一项所述的计算设备，其中标识所述回复包括：标识多个对，所述多个对包括所述开始评论和多个回复之一；响应于所述排序模型的执行而对所述多个对进行排序；以及，将所述对中具有最高排序的回复标识成对所述开始评论的回复。

如先前条款中的任一项所述的计算设备，其中所述计算机可读存储介质上还存储有使所述计算机执行以下的计算机可执行指令：对先前张贴到一个或多个内容项网页的评论和回复的多个对标识词汇级特征；为所述多个对标识实体级特征；为所述多个对标识主题向量；为所述多个对标识一个或多个质量特征；至少部分地基于词汇级特征、实体级特征、主题向量和一个或多个质量特征来为所述多个对创建特征向量；以及，至少部分地基于所述特征向量来创建所述排序模型。

如先前条款中的任一项所述的计算设备，其中创建所述排序模型包括：将权重值应用于所述多个对；以及，基于所述权重值创建分类器。

如先前条款中的任一项所述的计算设备，其中所述计算机可读存储介质上还存储有使所述计算机执行以下的计算机可执行指令：使用支持向量机创建所述分类器。

如先前条款中的任一项所述的计算设备，其中所述内容项包括新闻文章网页或张贴网页。

如先前条款中的任一项所述的计算设备，其中所述计算机可读存储介质上还存储有使所述计算机执行以下的计算机可执行指令：接收来自所述计算设备的评论；响应于接收来自所述计算设备的所述评论，至少部分地基于所述排序模型来标识对来自所述计算设备的所述评论的回复；以及，输出由所述排序模型标识的回复。

一种其上存储有计算机可读指令的光盘、固态存储设备或磁存储设备，所述计算机可读指令在被所述计算机执行时，使得所述计算机：接收由源系统产生的内容项，所述内容项可被其他计算设备通过网络访问；响应于接收所述内容项，标识开始评论；响应于标识所述开始评论，至少使用排序模型来标识对所述开始评论的回复；以及，输出所述开始评论和所述回复。

如前述条款中的任一项所述的光盘、固态存储设备或磁存储设备，其中所述计算机可读指令还使得所述计算机：从多个评论中确定对所述多个评论中的各评论的喜欢量；以及，将所述开始评论标识成所述多个评论中具有最大喜欢量的评论。

如前述条款中的任一项所述的光盘、固态存储设备或磁存储设备，其中所述计算机可读指令还使得所述计算机：标识多个对，所述多个对包括所述开始评论和多个回复之一；响应于所述排序模型的执行而对所述多个对进行排序；以及，将所述对中具有最高排序的回复标识成对所述开始评论的回复。

如权利要求17所述的光盘、固态存储设备或磁存储设备，其中所述计算机可读指令还使得所述计算机：为先前张贴到一个或多个内容项网页的评论和回复的多个对标识词汇级特征；为所述多个对标识实体级特征；为所述多个对标识主题向量；为所述多个对标识一个或多个质量特征；至少部分地基于词汇级特征、实体级特征、主题向量和一个或多个质量特征来为所述多个对创建特征向量；以及，至少部分地基于所述特征向量来创建所述排序模型。

一种系统，包括：用于接收与由源系统产生的内容项相关联的信息的装置，所述内容项可被其他计算设备通过网络访问；用于计算所述内容项的至少一部分的装置；响应于接收所述信息，用于标识开始评论的装置以及用于至少部分地基于排序模型来标识对所述开始评论的回复的装置；以及，用于输出所述开始评论和所述回复的装置。

如先前条款的所述的系统，其中用于标识所述开始评论的装置包括：从多个评论中确定对所述多个评论中的各评论的喜欢量；以及，将所述开始评论标识成所述多个评论中具有最大喜欢量的评论。

如先前条款中的任一项所述的系统，其中用于标识所述回复的装置包括：标识多个对，所述多个对包括所述开始评论和多个回复之一；响应于所述排序 模型的执行而对所述多个对进行排序；以及，将所述对中具有最高排序的回复标识成对所述开始评论的回复。

如前述条款中的任一项所述的系统，进一步包括用于通过以下来训练所述排序模型的装置：为先前张贴到一个或多个内容项网页的评论和回复的多个对标识词汇级特征；为所述多个对标识实体级特征；为所述多个对标识主题向量；为所述多个对标识一个或多个质量特征；至少部分地基于所标识的词汇级特征、实体级特征、主题向量和一个或多个质量特征来为所述多个对创建特征向量；以及，至少部分地基于所创建的特征向量来创建所述排序模型。

如前述条款中的任一项所述的系统，其中用于创建所述排序模型的装置包括将权重值应用于所述多个对；以及，基于所述权重值创建分类器。

如先前条款中的任一项所述的系统，进一步包括用于使用支持向量机来创建所述分类器的装置。

如先前条款中的任一项所述的系统，其中所述内容项包括新闻文章网页或张贴网页。

前述条款中的任一项所述的系统，还包括：用于从所述计算设备接收评论的装置；响应于接收来自所述计算设备的所述评论，用于至少部分地基于所述排序模型来标识对来自所述计算设备的所述评论的回复的装置；以及，用于输出由所述排序模型标识的回复。

结语

虽然已经用对结构特征和/或方法动作专用的语言描述了各项技术，但是应该理解，所附权利要求不必限于所述的特征或动作。相反，这些特征和动作是作为实现这些技术的示例形式而描述的。

示例过程的操作在单独的框中示出，并且参考这些框来概括。这些过程被示为逻辑框流，其每个框可表示可用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中，这些操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时使得一个或多个处理器执行既定操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序并不旨在解释为限制，并且任何数量的所述操作可以按任何次序执行、按 任何次序进行组合、细分成多个子操作、和/或并行执行，以实现所描述的过程。可由与一个或多个计算设备102相关联的资源(诸如一个或多个内部或外部CPU或GPU)和/或硬件逻辑的一个或多个片段(诸如FPGA、DSP或其他类型的加速器)来执行所描述的过程。

上述所有方法和过程可以用由一个或多个通用计算机或处理器执行的软件代码模块来具体化，并且可经由这些软件代码模块来完全自动化。这些代码模块可以存储在任何类型的计算机可执行存储介质或其他计算机存储设备中。这些算法中的某些或全部可另选地用专用计算机硬件来具体化。

本文所述和/或附图中描述的流程图中任何例行描述、元素或框应理解成潜在地表示包括用于实现该例程中具体逻辑功能或元素的一个或多个可执行指令的代码的模块、片段或部分。替换实现被包括在本文描述的示例的范围内，其中各元素或功能可被删除，或与所示出或讨论的顺序不一致地执行，包括基本上同步地执行或按相反顺序执行，这取决于所涉及的功能，如本领域技术人也将理解的。所有这样的修改和变型本文旨在包括在本公开的范围内并且由以下权利要求书保护。