专利名称：经评级内容的众包和上下文重新分类的制作方法
经评级内容的众包和上下文重新分类
背景技术：
因特网充满了许多不同类型的内容，诸如文本、视频、音频等等。诸如传统的媒体渠道(例如，新闻站点)、个人博客、零售商店、产品制造商等许多源生产内容。某些网站聚合来自其他站点的信息。例如，使用真正简单聚合(RSS)订阅源，网站作者使得内容可以由其他站点或用户来消费，并且聚合站点可以消费各种RSS订阅源以提供经聚合的内容。内容发布者常常提供了用于对内容进行评级或者接收来自用户的关于该内容的意见(例如正面、负面或中间的某个尺度)的工具。例如，视频可以包括五颗星的显示，其中用户可以点击所述五颗星以将该视频评级为一至五颗星。发布者还可以基于来自多个用户的输入显示评级并且将评级用在搜索(例如以便返回最高评级的内容或者按照评级对内容进行排序)或其他工作流中。组织可以在内部或在外部对内容进行评级，比如确定若干选择中的哪个广告活动将对目标人口统计最有效。在实时web的世界中，组织接收对内容的上下文相关的评估是有益的。
可以确定内容意见的一个领域在于保护组织的声誉。组织的声誉可能是组织所拥有的最重要资产之一。例如，公司的销售可能部分地由顾客对于该公司向顾客递送高质量产品以及准时地递送产品有多么信任来确定。许多顾客通过特定业务的顾客服务部分将如何处理出错的事情(例如丢失的送货、损坏的货物等等)来确定他们是否将与该业务打交道。许多组织都已经围绕他们的顾客服务质量建立了显著的声誉，而其他组织则已经由于对他们顾客服务的负面印象而蒙受损失。顾客可以向各个源上传影响组织的声誉的内容。在给定数据的量的情况下，可以通过自动算法来评估大多数内容以提供混合的成绩。通常在通用结果集合上训练算法，并且因此当在诸如一代人认知、地理上特有俚语、地理上特有文化信仰、业务垂直面等等之类的各个上下文中审视该算法时，对精确性的解释可能大范围变化。组织可以最初自动地对内容进行评级，并且然后接着是人工过程以调节该评级或解释该评级的含义。遗憾的是，意见因不同的人而异。仅仅因为几百万青少年喜欢特定内容项还不能保证老年人将喜欢该内容项。同样，在一个国家或语言中幽默的内容可能在其他地区或语言中显得无聊、甚至更糟地是无礼的。在实时web的世界中，组织需要能够容易地为多种不同组以及为多种不同目的标识出内容意见。另外，组织需要能够验证自动意见算法并且基于经验调节这些算法。
发明内容
在此描述了一种内容评估系统，其使得最终用户和组织能够共享他们对自动生成的意见得分的解释。该系统可以提供一种诸如滑动条之类的简单的视觉机制，用户可以移动该视觉机制以指示对自动评分的同意或不同意。该系统基于用户的反馈将跟踪关于该用户的信息的元数据添加至经修订的分数，以考虑不同的人口统计上下文。该系统在考虑上下文的情况下利用用户提供的评分执行重新评分，并且然后在上下文专用端点上展示经重新评分的值。内容评估系统提供了一种众包(crowd-sourcing)方案,该方案扩展性极好、增加了更多精确性(因为已知人口统计类别/上下文内的个体进行该评分)、并生成可被销售/转售的增值数据产品。另外，所得到的数据集可以用于改进自动内容评估算法，由此增加算法的精确度并提供上下文专用的变型方案。因此，内容评估系统提供了一种供个体和组织覆盖由自动内容评估过程分配的值，同时提供与提供所述算法评分的覆盖的个体/组织有关的上下文的机制。提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
图I是示出一个实施例中的内容评估系统的组件的框图。图2是示出了一个实施例中内容评估系统对内容进行评级的处理的流程图。 图3是示出了一个实施例中该系统从用户接收针对内容项的意见评级覆盖的处理的流程图。图4是示出一个实施例中该系统重新评估聚合评分的处理的流程图。图5是示出一个实施例中的内容评估系统的操作环境的框图。
具体实施例方式在此描述了一种内容评估系统，该系统使得最终用户和组织能够共享他们对自动生成的意见分数的解释。该系统可以提供一种诸如滑动条之类的简单的视觉机制，用户可以移动该视觉机制以指示对自动评分的同意或不同意。该系统基于用户的反馈将跟踪关于用户的信息的元数据添加至经修订的分数，以考虑不同的人口统计上下文。例如，系统允许管理员在以后确定特定年龄范围、性别、社会地位等等的用户对内容的印象。该系统在考虑上下文的情况下对用户提供的评分执行重新评分，并且然后在上下文专用端点上展示经重新评分的值。内容评估系统提供了一种众包(crowd-sourcing)方案,该方案扩展性极好、增加了更多精确性(因为由已知人口统计类别/上下文内的个体进行该评分)、并生成可被销售/转售的增值数据产品。另外，所得到的数据集可以用于改进自动内容评估算法，由此增加算法的精确度并提供上下文专用的变型方案。因此，内容评估系统提供了一种供个体和组织覆盖由自动内容评估过程分配的值，同时提供与提供对所述算法评分的覆盖的个体/组织有关的上下文的机制。该经修订的分数具有与其相关联的上下文专用的元标签，并且利用其他个体的经修改分数来在量上对该分数进行审阅。然后，该系统重新计算上下文专用的评分并且通过web服务展示该评分以供在网站、web服务和应用中消费。在一些实施例中，内容评估系统提供了一种用于将人和人口统计上下文用于信息的上下文重新评分的机制。如在此所述，该系统可以向用户呈现反映对内容项的正面或负面印象的自动分数，并且允许用户指示对该自动分数同意或不同意。用户具有相关联的用户简档，所述用户简档是之前创建的并且由捕捉关于该用户的人口统计信息的系统来存储，使得当该用户覆盖内容存储时，该系统可以存储经修改的分数和与修改该分数的用户相关联的人口统计特征二者。在许多这样的用户执行了类似的动作以后，该系统可以积累描述由具有相似人口统计特征的用户作出的修改的统计数据，以标识出特定人口统计类别中在内容评估方面的倾向性。在一些实施例中，内容评估系统收集和聚合来自许多不同用户的用户分数修改以标识出倾向性。例如，该系统可以提供用户可查看和评估内容的网站。该网站可以提供对内容的自动分数的指示、或对反映关于内容项随时间接收到的历史用户反馈的分数的指示。该系统根据人口统计标签存储数据点，使得管理员可以在以后生成对根据多种人口统计组合来分切的评分数据的统计分析。例如，管理员可能希望知道年龄为15 - 25岁的女性对特定内容项的印象，然后希望知道居住在西海岸的所有年龄的女性对该特定内容项的印象。通过在接收到各个印象时存储与已知人口统计特点相关联的印象信息，该系统促进了以后根据多种不同标准进行的分析。在一些实施例中，内容评估系统展示应用编程接口(API)以供用户、服务和应用访问由该系统基于用户印象来编译的内容评估信息并且基于所收集的数据来生成报告和统计分析。该系统可以提供网站、web服务或其他接口以提供对系统收集的数据的广泛访问，并且使得其他应用和系统可以标识出和使用由该系统标识出的数据变型以驱动更大的解 决方案和工作流。在一些实施例中，内容评估系统将用于意见覆盖的机制(例如滑块控件)嵌入应用或网站。在接收到意见覆盖以后，该网站调用web服务并提供内容标识符、经修订的分数、以及提供该经修订分数的个体/组织的人口统计信息(例如年龄、地理位置、业务垂直面等等)。该web服务将经修订的分数存储在托管数据存储(例如在线数据库或基于云的存储服务)中。该服务评估提供经修订分数的个体/组织的人口统计数据(例如年龄、地理位置、意见、业务垂直面等等)、将合适的元数据标签分配给该内容以跟踪所述人口统计数据、并且在数据库中为该修订创建记录。软件利用元数据标签的上下文周期性地评估众包分数，并且沿着不同上下文的多个维度(例如年龄、地理位置、业务垂直面等等)对内容进行重新评分。经修订的分数然后存储在托管数据库中。Web服务展示内容的经更新的上下文专用的分数，所述分数然后被访问内容评估系统的网站、服务和应用消费。图I是示出一个实施例中的内容评估系统的组件的框图。系统100包括发布者接口组件110、基线评估组件120、意见数据存储130、用户接口组件140、用户反馈组件150、用户人口统计组件160、自动调节组件170、以及数据消费者接口组件。这些组件中的每个都在此予以更详细讨论。发布者接口组件110提供了可被发布者用来将要被自动和人工地评级的内容添加至系统的接口。例如，发布者可以使用发布者接口来将新的视频张贴至网站。发布者接口组件110还提供了一种供发布者查看一个或多个内容项的当前评级状态以及获得与各个人口统计简档相关的报告的方式。基线评估组件120自动地确定内容项的评级意见。组件120可以使用多种不同的自动评级算法来开发内容项的基线评级。系统100的用户将通过在用户的观点中提供与自动评级的精确性有关的反馈来调节基底评级。基线评估组件120可以采用对内容进行评级的多种自动方法，并且可以组合多种方法的分数(例如取平均)。另外，基线评估组件120接收基于随时间接收的用户评级的调节信息，所述调节信息可被组件120用于改善基线自动意见评级的质量和精确性。意见数据存储130存储一个或多个内容项的评级信息。数据存储可包括盘驱动器、文件系统、数据库、存储区网络(SAN)、基于云的存储服务器、或者其他用于持久保存数据的工具。例如，系统100可以使用包括具有以下行的表的数据库这些行各自都存储特定的用户评级以及标识出提供意见评级的每个用户的人口统计特点的人口统计元数据。其他组件可以以多种方式查询意见数据存储130以提取与特定报告或其他目标相关的信息。例如，组件可以查询来自特定年龄范围或地理居住区的用户的评级。用户接口组件140提供了一种可被系统100的用户用来通过用户接口控件提供人工意见评级的用户接口。例如，该用户接口可以向用户显示内容项并且在每个内容项附近提供滑块控件，通过所述滑块控件，用户可以以一定尺度指定他对该内容项的观点(例如喜欢它、不喜欢它)。用户接口组件140还可以向用户提供其他控件、页面或接口以用于搜索内容项、指定简档/人口统计信息、接收对内容项进行评级的信用等等。用户反馈组件150从用户接口接收用户反馈并且将该用户反馈存储在意见数据存储130中。例如，如果用户将滑块控件一路滑到负值，则组件150可以记录指示该用户不喜欢该内容项的数据行。该行可以包括内容标识符、该用户对该项的特定意见评级、以及与 该用户相关联的人口统计特征。用户人口统计组件160跟踪在用户对内容项进行评级时以及在数据消费者接收关于用户意见评级的报告时要使用的用户人口统计信息。用户人口统计组件160可以维护所存储的每个用户的简档，所述简档包括关于该用户的信息(例如年龄、居住地点、性别、附属机构等等)。可替代或附加地，组件160可以在接收到评级指示时从该用户获得类似信息。例如，用户可能匿名地访问系统100，但是该系统可以在提供内容项以供用户评级以前请求用户给出他们的年龄或其他人口统计信息。自动调节组件170创建在自动评估与从用户接收的实际评级值之间的反馈循环。自动评估尝试确定内容项的基线质量等级，但是可能不能准确地预测用户将喜欢什么。如果用户评级指示对自动评估结果的强烈的不同意或相反倾向性，则组件170可以合并用户反馈以将自动算法调节为产生更佳结果。例如，该调节可以减轻自动算法的臆断(例如较长的内容将不被评级为高)，或者调节自动算法的参数(例如通过在内容项被确定为普遍地或在特定上下文中令人讨厌以前调整量的阈值等级。)随着时间，由自动调节组件170定向回自动评估的用户评级改善自动评估的精确性以提供更佳的初始基线结果(其然后可以被用户输入进一步调节)。数据消费者接口组件180向一个或多个数据消费者提供关于内容项意见的聚合数据。例如，组件180可以提供可被数据消费者用来提交数据查询和接收匹配结果的API(例如web服务API或其他协议)。例如，数据消费者可以请求特定人口统计的用户或来自所有组的用户针对特定内容项的用户意见。系统100可以自动地标识出倾向性并且创建数据组，所述数据组可以由数据消费者来枚举并且数据消费者可以围绕所述数据组查询附加信息。例如，系统100可以确定特定年龄组对特定内容项(或某种类型的内容项)的意见比其他年龄组正面得多。如果内容项是广告，则该信息可以被数据消费者用于更好地将广告定向至将最正面地响应的年龄组处。在其上面实现了内容评估系统的计算设备可包括中央处理单元、存储器、输入设备(例如，键盘和定点设备)、输出设备(例如，显示设备)，以及存储设备(例如，磁盘驱动器或其他非易失性存储介质)。存储器和存储设备是可以是编码有实现或启用该系统的计算机可执行指令(如软件)的计算机可读存储介质。此外，数据结构和消息结构可被存储或经由诸如通信链路上的信号等数据传输介质传送。可以使用各种通信链路，诸如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络等。该系统的实施例可以在各种操作环境中实现，这些操作环境包括个人计算机、月艮务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品、数码相机、网络PC、小型计算机、大型计算机、包括任何上述系统或设备中的任何一个的分布式计算环境等。计算机系统可以是蜂窝电话、个人数字助理、智能电话、个人计算机、可编程消费电子设备、数码相机等。该系统可以在由一个或多个计算机或其他设备执行的诸如程序模块等计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。通常，程序模块的功能可在各个实施例中按需进行组合或分布。图2是示出一个实施例中内容评估系统对内容进行评级的处理的流程图。该系统 在该系统接收到如下新内容项以后执行下面的步骤对于所述新内容项，发布者或其他方想要确定和跟踪指示该内容项对用户观众的吸引力的意见评级。始于框210，该系统接收发布者想要为之确定和跟踪意见评级的内容项。例如，发布者可以通过发布者接口将内容项上传到web服务，并且该web服务可以实现在此描述的系统并且通过自动的和众包的工具提供针对内容项的评级。在框220中继续，系统确定为所接收的内容项确定基线自动意见评级。该系统可以使用一个或多个公知的自动内容评级算法来确定基线评级或者可以设置初始的默认评级(例如50%、三颗星或者类似的中性值)。该系统还可以通过接收覆盖了基线评级的用户反馈的在前迭代来合并调节反馈，以改善基线评级。在框230继续，该系统接收访问所接收的内容项的请求。例如，内容分发者可以将内容项置于网站或其他分发源上，使得用户可以访问该内容项。内容项可以包括任何类型的内容、比如文本、图像、视频、音频、电影、演示数据等等。该系统可以响应于用户指导客户机web浏览器访问网站而接收来自该浏览器的内容访问请求。在框240中继续，该系统提供所请求的内容项以供与用于接收用户对所述内容项的评级的控件一起显示给用户。例如，该系统可以提供可嵌入web控件、MICROSOFT TMSILVERLIGHT TM应用、或者显示所请求内容以及用户可操纵来对用户对内容项的意见进行评分的滑块或其他控件的其他可嵌入对象。例如，用户可以在该用户不喜欢该内容项时将滑块向左滑动，或者在用户喜欢该内容项时将该滑块向右滑动。在框250中继续，该系统从用户接收意见评级覆盖，这将参考图3予以进一步描述。继续上一示例，用户对滑块控件的操纵可以致使该系统接收HTTPP0ST(HTTP张贴)或指定该内容项的标识、用户或用户特点的标识以及用户对内容项的分数的其他数据上传。在框260中继续，该系统等待访问该内容项的下一请求，然后循环回230以接收该请求。该系统可以使内容项无限地可用于评级、或者只要发布者请求该内容项可用就可用于评级。在框250之后，这些步骤结束。图3是示出了一个实施例中系统从用户接收针对内容项的意见评级覆盖的处理的流程图。在框310开始，系统从用户接收内容项的评级。例如，如参考图2所述，用户可以查看包含该内容项的网页或其他站点并且在查看到该项以后可以提供针对该内容项的评级分数，所述评级分数指定该用户对该内容项的观点。在框320中继续，系统将经修订的分数存储在数据存储中以供随后进行分析和报告。例如，该系统可以将该分数存储在如下的数据库中该数据库包括针对发布者所提供的一个或多个内容项的单独和/或聚合评分信息。该分数可以包括数值、枚举值、对用户是否喜欢该内容的布尔指示、或者针对内容的任何其他评分范例(例如5分中的X分等等)。
在框330中继续，该系统确定提供了所接收的、对所述内容项的评级的用户的人口统计简档。例如，该系统可以确定该用户的年龄、地理位置(例如基于来自GPS模块的坐标信息、软件提供的地理位置API或用户的客户端机器的IP地址)、业务垂直面或与该用户相关的其他特点。该系统跟踪发布者所指定的或系统所确定的人口统计数据以潜在地将一组的用户观点同另一组区分开。在框340中继续，该系统基于所确定的该用户的人口统计简档将元数据标签分配给与该用户的针对该内容项的经修订分数相关联的记录。该系统可以存储该用户的原始人口统计信息(例如年龄)，或者可以关联指定特定相关人口统计阶层(例如年龄25 - 35类别)的标签。该记录可以包含适用于该用户的多个类别，比如年龄、位置、性别等等。在框350中继续，该系统将所分配的元数据标签与该用户的经修订分数相关联地存储，使得随后的报告和分析可以基于人口统计简档来处理经修订的内容项评级。例如，特定发布者可能想要知道年龄为30至40岁的男性对特定内容项的看法，并且可以访问该系统并且检索针对所述和其他人口统计数据的评级。在框350之后，这些步骤结束。图4是示出一个实施例中该系统重新评估聚合评分的处理的流程图。下面的步骤在已经接收了足够数目的覆盖评级以供该系统更新针对特定人口统计数据的聚合数据以后周期性地发生。该系统可以针对所指定的人口统计数据或者基于动态确定的人口统计数据来跟踪聚合数据。在框410中开始，该系统标识出该系统正在为其跟踪意见评级信息的内容项。例如，该系统可以包括该系统正在为其跟踪评级信息的多个项的数据库，并且系统可以周期性地迭代经过每个内容项以更新聚合统计信息。在框420中继续，该系统基于元数据标签来评估所接收的对所标识内容项的众包评级，所述元数据标签标识修订了所述内容项的评级的用户的人口统计简档。例如，该系统可以确定存在经更新的分数可从多种性别和年龄的用户处得到。在框430中继续，该系统基于该系统已经为其接收到经修订评级的人口统计上下文对该内容项进行重新评分。例如，如果该系统在上一迭代期间为满足人口统计简档的用户确定了针对内容项的基线分数或分数，则该系统可以基于从满足该人口统计简档的用户接收的被覆盖的评级信息来对该内容项进行重新评分。如果用户评级显著不同于来自自动评分算法的结果，则该系统可以存储调节参数(未示出)以修改自动算法的行为以便改善未来的结果。在框440中继续，该系统根据一个或多个人口上下文将针对该内容项的经修订的聚合分数存储在数据存储中。例如，该系统可以更新数据库中的针对一个或多个内容项的聚合内容评级信息的分数。在框450中继续，该系统发布所存储的分数，使得数据消费者可以针对一个或多个人口统计简档确定内容项的用户评级。例如，该系统可以提供数据消费者接口(例如web服务或其他程序性API或用户可访问的网页)，通过该接口，数据消费者可以提交针对所标识出的内容项的查询并且接收来自用户的基于该系统所记录数据的结果。在框450之后，这些步骤结束。图5是示出一个实施例中的内容评估系统的操作环境的框图。服务器计算机510包括了内容评估系统的一个实现。服务器计算机510向诸如客户机530之类的一个或多个客户机提供众包的意见服务520。该客户机向用户提供了包括显示内容项和意见指示符540的体验，该意见指示符540可被用户操纵以指示该用户对该内容项的观点。例如，该用户可以将所示滑块向左滑动以指示更加负面的意见，以及向右滑动以指示更加正面的意见。客户机向服务器计算机510发送意见覆盖550。服务器计算机系统510将意见覆盖提供给内容评估系统的评估和重新分类逻辑560。该系统将用户对内容的评估合并到针对该内容的一个聚合分数(或多个聚合分数)中，所述聚合分数包括与已经对该内容项进行了评级的用户有关的人口统计信息，这将在此予以进一步描述。在一些实施例中，内容评估系统允许站点发布者转售数据。例如，诸如HuffingtonPost. com之类的网站可以将该站点上与用户对内容的观点有关的数据转售给内容创建者，使得内容创建者可以改进未来内容的吸引力。作为广告客户的内容创建者可以确定某个人口统计的用户喜欢科幻视频、而不喜欢婴儿视频，并且因此广告客户可以制 作更多科幻视频或者分配广告美金以在科幻视频中或科幻视频周边的做广告。这可以允许站点发布者作出更具吸引力并且驱动品牌价值并增加其顾客基础的广告。显示内容的任何站点都可以变成用于为内容创建者生成批准数据的平台，而不管谁拥有用来发布该内容的站点。然后，该系统可以在所有内容提供者的范围内聚合批准数据以获得关于什么正在普遍发生的图片。在一些实施例中，内容评估系统的运营商将数据提供回内容站点以鼓励采用该系统。例如，作为向该系统提供关于内容项的评级信息的回报，该系统可以通过向内容站点提供指示用户最喜欢哪个内容的报告来奖励该内容站点。该系统可以基于人口统计简档取出关于用户的统计信息，使得内容站点运营商可以针对目标人口统计组改进该站点的内容。从上文将会认识到，虽然在此已出于说明目的描述了内容评估系统的特定实施例，但是可以做出各种修改而不背离本发明的精神和范围。因此，本发明只受所附权利要求限制。
权利要求
1.一种用于在线内容的众包评级的计算机实现的方法，该方法包括 接收发布者想要为之确定和跟踪意见评级的内容项的标识； 为所标识出的内容项确定基线自动意见评分； 接收基于用户请求的访问所接收的内容项的请求； 提供所请求的内容项以供与用于接收对所述内容项的用户评级的控件一起显示给用户； 通过所提供的控件接收对所述内容项的经修订的评级； 确定提供了所述内容项的所接收的评级的用户的人口统计简档； 基于所述用户的所确定的人口统计简档将至少一个元数据标签分配给与所述用户的针对所述内容项的经修订分数相关联的记录；以及 将所分配的元数据标签与所接收的经修订的评级相关联地存储，使得随后的报告和分析能够基于人口统计简档来处理经修订的内容项评级； 其中前述步骤由至少一个处理器来执行。
2.如权利要求I所述的方法，其特征在于，接收所述内容项的标识包括从所述发布者接收将所述内容项与其他内容项区分开的内容项标识符。
3.如权利要求I所述的方法，其特征在于，确定所述基线自动意见评级包括通过接收覆盖基线评级的用户反馈的之前迭代来合并调节反馈，以改善所述基线评级。
4.如权利要求I所述的方法，其特征在于，接收访问所述内容项的请求包括响应于用户指导客户机web浏览器访问网站而接收来自所述浏览器的内容访问请求。
5.如权利要求I所述的方法，其特征在于，提供所请求的内容项包括提供可嵌入对象，所述可嵌入对象显示所请求的内容以及所述用户能操纵来对所述用户对所述内容项的意见进行评分的控件。
6.如权利要求I所述的方法，其特征在于，接收所述内容项的用户评级包括接收所述用户操纵了所述控件以覆盖由所述控件提供的原始意见指示的指示。
7.如权利要求I所述的方法，其特征在于，确定所述用户的人口统计简档包括从所述用户接收描述所述用户是其成员的一个或多个组的简档信息。
8.如权利要求I所述的方法，其特征在于，分配元数据标签包括分配对应于所述用户所属的组的多个人口统计标签。
9.如权利要求I所述的方法，其特征在于，存储所分配的元数据标签以及经修订的评级包括更新内容评级的数据库以跟踪属于所述用户的人口统计简档的用户印象。
10.一种用于在线内容的众包评级和报告的计算机系统，该系统包括 处理器和存储器，所述处理器和存储器被配置成执行软件指令； 发布者接口组件，所述发布者接口组件被配置为提供能够被发布者用来将要自动和人工地评级的内容添加至所述系统的接口； 基线评估组件，所述基线评估组件被配置为自动地确定针对内容项的评级意见；意见数据存储，所述意见数据存储被配置为存储针对一个或多个内容项的评级信息；用户接口组件，所述用户接口组件被配置为提供能够被所述系统的用户用来通过用户界面控件提供人工意见评级的用户接口； 用户反馈组件，所述用户反馈组件被配置为通过所述用户接口接收用户反馈并将所述用户反馈存储在所述意见数据存储中； 用户人口统计组件，所述用户人口统计组件被配置为在用户对内容项进行评级时跟踪用户人口统计信息以及将所述人口统计信息提供给数据消费者，所述数据消费者从所述系统接收描述用户意见评级的报告；以及 数据消费者接口组件，所述数据消费者接口组件被配置为向一个或多个数据消费者提供关于内容项意见的聚合数据。
11.如权利要求10所述的系统，其特征在于，所述发布者接口组件还被配置为提供一种工具，所述工具用于供所述发布者查看一个或多个内容项的当前评级状态以及获得已经对所述内容项进行评级的用户的人口统计简档相关的报告。
12.如权利要求10所述的系统，其特征在于，所述基线评估组件还被配置为接收基于随时间接收的用户评级的调节信息、以及应用所述调节信息以改进由所述组件提供的基线自动意见评级的质量和/或精确性。
13.如权利要求10所述的系统，其特征在于，所述意见数据存储还被配置为存储以下数据行这些数据行各自都存储特定的用户评级以及标识出提供意见评级的每个用户的人口统计特点的人口统计元数据。
14.如权利要求10所述的系统，其特征在于，所述用户接口组件还被配置为向所述用户显示内容项以及在所述内容项附近提供滑块控件，通过所述滑块控件，所述用户能够指定他对所述内容项的观点。
15.如权利要求10所述的系统，其特征在于，还包括自动调节组件，所述自动调节组件被配置为通过基于所接收的用户对自动确定的基线评级的修改向所述基线评估组件馈送调节参数来创建在自动化评估与从用户接收的实际评级之间的反馈循环。
全文摘要
在此描述了一种内容评估系统，其使得最终用户和组织能够共享他们对自动生成的意见得分的解释。该系统提供了一种可被用户移动来指示同意或不同意自动评分的控件。该系统基于用户的反馈将跟踪关于用户的信息的元数据添加至经修订的分数，以考虑不同的人口统计上下文。该系统在考虑上下文的情况下利用用户提供的评分执行重新评分，并且然后在上下文专用端点上展示经重新评分的值。该系统提供了一种众包方案，该方案扩展性极好、增加了更多精确性(因为已知人口统计类别/上下文内的个体进行该评分)、并且生成可被销售/转售的增值数据产品。
文档编号G06F17/30GK102812460SQ201180015105
公开日2012年12月5日 申请日期2011年3月18日 优先权日2010年3月23日
发明者M·E·墨求里 申请人:微软公司