专利名称：审计众包竞争提交的制作方法
技术领域：
本申请涉及在在线众包竞争中审计以度量参与以及防止欺诈的提交审计系统和方法。
背景技术：
机构经常有大量工作需要执行，有时比其员工基础所能处理的工作量还要大。通常的解决方法是雇佣临时工以临时地按比例增加处理特定任务的能力。任务可以涵盖很宽的范围的活动。例如，接收照片的网站可能想要就有害内容来审阅照片。接收论文提交的机构可能想要初步质量检查以确定提交遵守指定的格式。这些任务可以集中于产生短暂繁忙时期的事件，例如假日购物季。长期扩大规模以满足短期需求对于机构来说通常是没有效率的。众包指通常在在线环境中充分利用有空闲时间或可用时间来执行任务的群众。云和群众的会聚向机构提供了使显著数量的人来帮助解决困难问题的机会。一种这样的方法是机构发起竞争。通过竞争，机构要求人们执行任务并且提供与任务有关的提交。例如，有新的应用编程接口(API)的机构可以征募开发者来基于其API和/或数据创建应用。开发者创建执行向机构提供显著价值的任务或任务集的应用。虽然众包保证相对临时地向机构提供巨大的能力和灵活性，但是组织参与者和评价提交被证明是本质上令人畏惧的任务。目前，没有可用于处理这些类型的竞争的需求的软件基础结构代码，并且软件是由主办竞争的每个机构新创建的。机构通常从无到有地开发网站，以及计分系统、内容提交工作流、与参与者的通信(例如电子邮件或其它通知)等等。由于大多数机构本身并不具有这类开发的专门技术，并且几乎不存在外包这类工作的第三方开发者，因此机构通常以没有尽可能频繁地或有效地使用众包而告终。此外，确定提交何时是有效的以及参与者是否具有完整的分配任务是困难的。参与者和组织者通常想要接收某种参与证明，这限制了用类似的在线众包版本来代替许多物理竞争。
发明内容
此处描述了在在线众包竞争中审计以度量参与以及防止欺诈的提交审计系统。该系统提供了不像其它志愿努力那样主观的一致的、程序的/过程驱动的系统(以及作为过程的一部分检测欺诈)。审计能力增加了群众努力的验收。个人贡献者和竞争组织者也想要使个人贡献者因为其时间投入而从项目资助方、其雇主、和/或政府或其它实体处得到信用。雇主甚至可以在员工或组之间举办竞争以鼓励更高层次的参与。雇主可以鼓励员工自愿花时间参与各种慈善组织，并且可以使用该系统以监控参与和基于参与颁发奖励。提交审计系统通过为测量对众包项目的参与提供工作流，作为该测量的一部分检测欺诈，并且为个人和第三方传递提供对参与的跟踪的收据，来解决在众包场景中审计参与的问题。 因此，该系统释放了众包竞争的导致可审计的且公平的真实结果的潜能。提供本发明内容以便用一种简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于限制所要求保护的主题的范围。
图1是示出在一个实施例中提交审计系统的组件的框图。图2是示出在一个实施例中提交审计系统接收提交和检测欺诈的处理的流程图。图3是示出在一个实施例中提交审计系统为一提交提供可跟踪的收据的处理的流程图。图4是示出在一个实施例中提交审计系统生成审计报告的处理的流程图。
具体实施例方式此处描述了在在线众包竞争中审计以度量参与以及防止欺诈的提交审计系统。目前，没有被设计来为众包中的参与提供审计能力的机制或方法。该系统提供了不像其它自愿努力那样主观的一致的、程序的/过程驱动的系统(以及作为过程的一部分检测欺诈)。 审计能力增加了群众努力的验收。个人贡献者和竞争组织者也想要使个人贡献者因为其时间投入而从项目资助方、其雇主、和/或政府或其它实体处得到信用。例如，雇主可以制定要求有贡献的员工执行一系列健康相关的任务的健康程序。在这一示例中，员工想要报告该员工的贡献，而雇主可能想要监控该贡献并对其评分以增加参与。雇主甚至可以在员工或组之间举办竞争以鼓励更高层次的参与。作为另一个示例，雇主可以鼓励员工自愿花时间参与各种慈善组织，并且可以使用该系统以监控参与和基于参与颁发奖励。提交审计系统通过为测量对众包系统/项目的参与提供工作流，作为该测量的一部分检测欺诈，并且为个人和第三方(即政府和雇主)传递提供对参与的跟踪的收据，来解决在众包场景中审计参与的问题。因此，该系统释放了众包竞争的导致可审计的且公平的真实结果的潜能。提交审计系统向审计众包竞争提供一般的可定制的方法，包含身份、管理、监控使用、报告、欺诈检测、审计报告/收据等等。此处进一步描述这些工具中的每一个。参与者具有在系统中使用的身份。身份或者是由第三方(例如政府或雇主)直接签发的，或者包含允许其与第三方身份(例如govID、LivelD、OpenID、GoogleID等)联合或相关联的信息。提交一条目提供了提交该登记项的个体/团队的身份、提交的内容、以及任何附加元数据(例如云主控的应用程序的URL)。对于管理，提交审计系统提供允许机构定义活动(例如审阅图像、翻译文本、给视频添加字幕等)的web服务框架。在定义活动的过程中，机构定义管理志愿贡献的验收的一系列度量和规则。度量可以包括贡献的最高可用分数或值、在其它贡献的范数之外的值的容差、任务或任务集的可接受完成时间、平均完成时间等。组织者使用管理接口来设计和设置竞争，然后允许系统开始主持该竞争。在竞争期间，系统向组织者提供有关使用和其它报告的信息。众包应用使用来自提交审计系统的web服务以提供在众包应用和众包参与者之间的各个参与片段上的输入。 这包括审计贡献的身份和开始/结束时间的计时功能，以及到众包志愿贡献的输出(图像反馈、翻译的文本、字幕内容等)的链接。在审计阶段结束时，系统对照定义的度量来审阅参与者的贡献以及评价上下文(例如完成时间、值)以为完成的志愿工作分配信用。系统可以在向竞争组织者以及每个参与者的报告中提供这一信息。提交审计系统还监控和检测可能欺诈性的提交。系统将落在度量定义中指定的可接受标准之外的项目放置在队列中，其中项目可以被审阅或丢弃。如果志愿者有大量的贡献，并且少数贡献落在标准之外，则它们可以被放在一优先队列中供审阅。如果志愿者没有优先贡献，则这些贡献可以被放在一单独的较慢的队列中供审阅。如果志愿者有不成比例数量的落在标准之外的贡献，则这些贡献可以被放在另一个队列中。每个参与者接收与参与者该段时间的贡献的状态有关的通信，任选地包括对为什么内容被拒绝的反馈。在一些实施例中，提交审计系统提供审计报告。一些人将出于帮助机构的无形利益而参与众包项目，并且审计报告为其提供关于他们的参与层次的好感受。更多的群众出于报酬、税款目的和/或贡献的第三方“匹配”而想要使其贡献得到认可。在这些情况中， 系统提供允许第三方访问不同时段的审计报告的服务。参与者授权机构来查看对其贡献的审计，并且该解决方案既提供了为想要将该功能集成到其内部系统中的第三方机构(例如公司或政府)提供这一功能的网络服务，也提供了对中小型企业更友好的基于web的用户接口。相同的接口对于参与者是可用的，并且可以被用来供参与者直接检索信息或在小部件/小工具/软件中消费。这些接口可以用于独立的软件供应商(ISV)以包含在相关软件中(例如可以在准备退税时使用审计信息的个人金融或税务软件)。除了为个人审计之外，系统还向机构提供见解。随着系统为每个贡献者记录每个贡献的参与时间，系统可以对各数据点提供有价值的报告，例如各时间段的参与时间、每个贡献的平均参与时间、基于每日时间的参与时间的变度等。图1是示出在一个实施例中提交审计系统的组件的框图。系统100包括竞争定义组件110、身份组件120、内容提交组件130、提交数据存储140、提交评价组件150、欺诈检测组件160、队列管理组件170、提交确认组件180以及报告组件190。此处更详细地描述这些组件的每一个。竞争定义组件110从竞争组织者接收描述竞争的信息。信息可以包括关于竞争提交的限制(例如每个参与者的提交数、每个时间段的提交率、提交的大小限制等)和度量提交的度量。信息还可以包括用于使用与竞争组织者相关联的徽标、颜色、字体或其它主题、 以及与竞争相关联的域或其它web地址来标记竞争的主题信息。竞争定义组件110可以接收用于与竞争有关的通信的信息，例如组织者想要用来与竞争参与者通信的电子邮件模板。电子邮件模板可以包括组织者的联系信息、竞争的规则、或由组织者确定的其它信息。 竞争定义组件110将竞争信息存储在数据存储中以供以后在参与者参加竞争或发送提交时的检索。身份组件120将数字身份与每个竞争参与者关联，并且在接收到来自参与者的动作后验证参与者的数字身份。例如，系统可以充分利用现有的身份提供者(例如因特网服务提供者或电子邮件主机)或创建其自己的身份(例如与电子邮件地址、信用卡或其它外部身份相关联)。系统100使用数字身份来审计内容提交和强制执行在竞争定义中指定的任何限制，例如每个参与者每天被允许的提交数。身份组件120可以包括例如登陆页面的用户接口，该用户接口接收用户名和口令或参与者身份的其它证明。
内容提交组件130接收来自与竞争的目标有关的竞争参与者的提交。内容提交组件130可以提供例如用于上传提交的网页的用户接口，以及例如用于提供提交的web服务 API的程序接口。内容提交组件130将接收到的提交存储在提交数据存储140中。系统还可以提供一个或更多API以接收来自其它软件或系统的提交。在一些实施例中，系统100可以依靠另一个系统以处理和提供内容提交，并且可以不包括其自己的内容提交组件130。例如，系统可以提供可以与接收和管理内容的各种其它系统一起使用的可插式的审计组件。提交数据存储140在提交通过由系统100处理的工作流执行时，存储有关竞争和内容提交的信息。提交数据存储140可以包括一个或更多文件、文件系统、数据库、基于云的存储服务、或用于跨与系统100的用户会话持久保存数据的其它存储设施。提交数据存储140可以为每个提交和每个标识的参与者跟踪每个提交的状态或状况用于通过类似于状态机的工作流来移动项目。在提交被评分、接受、拒绝以及在提交处于竞争中时，其它组件更新提交数据存储140。提交评价组件150评价遵循一个或更多竞争规则的提交，并且对照一个或更多任务度量来度量提交。具有竞争定义的规则可以包括对提交大小、每个参与者的总提交数或一段时间上的提交数、与测试数据集相比的错误率等的限制。提交评价组件150在标记提交供综合评价之前，确定提交是否满足质量和正确性的阈值水平。如果提交在任一方面是不足的，则提交评价组件150调用提交确认组件180以通知提供该提交的参与者，以便该参与者做出更正。欺诈检测组件160标识潜在欺诈性的提交并且将标识的提交放在一个或更多队列中以供进一步的审阅。欺诈检测可以包括将关于提交的信息与关于物理世界的信息相比较(例如比人所可能的更快的提交)，与由竞争组织者所定义的任务度量相比较(例如缺少指定组件或落在竞争规则之外的提交)，与其它提交相比较(例如标识具有距离所有提交的平均值较高偏差的提交)。这些和其它指示器可以提供欺诈或错误提交的证据。一旦系统标识了潜在欺诈性的提交，则将该提交放在一个或更多队列中。可以自动地或手动地或者以某种组合来审阅队列。系统100可基于提交的偏离程度、用户提交条目的历史等来区分队列优先级。例如，系统100可以将来自频繁做出可接受贡献的用户的提交放在快速审阅队列中。队列管理组件170管理用于审阅用户提交的一个或更多队列。可以通过优先级或允许组织者有效地管理竞争的其它方案来组织队列。一些队列可以接收组织者或代表的人工审阅以确定提交的适合程度(诸如严重落在一个或更多参数的平均值之外的一个提交)，从而审阅者时间的优先化帮助保持竞争平稳的运行。队列可以与提交一起被存储在提交数据存储140中。提交确认组件180在某一提交被接受之后向竞争参与者提供可跟踪的收据。可跟踪的收据可以包括用户通信(如电子邮件)以及由系统保留的用于以后向组织者或其他方 (例如政府实体，诸如为了税的目的)验证参与的日志。组件180可以将其它消息从系统发送到参与者，从参与者发送到其他参与者，从组织者发送到参与者，等等。系统100可以使用诸如发送电子邮件、短消息服务(SMS)消息等的各种通信协议。提交确认组件180保持参与者被通知其提交的状态、总体竞争的状态等。系统100可以接收来自竞争组织者的定制通信模板，但如果没有提供定制模板还可以提供通信的默认模板。这允许竞争组织者快速设置竞争，而且投入与其所选择的一样多的定制。报告组件190收集和报告统计信息给竞争组织者和参与者。例如，系统可以跟踪有多少参与者已经参加竞争，每个参与者的平均提交数，每个参与者各提交之间的时间，提交的质量，等等。在一些实施例中，系统100使用收集的统计来修改竞争。例如，系统100 或组织者可以确定将竞争延长两天将会导致100个更多的质量提高的提交。报告组件190 还允许竞争组织者选择竞争的优胜者(以及其它排名的参与者，例如第二、第三、最快解决方案、等等)。在一些实施例中，系统100操作者和竞争组织者具有依赖于报告的统计信息的合约付款条款。例如，竞争组织者可以付给系统操作者每个提交一定的费用，或者基于提交质量的加权费用。报告组件190还向参与者和其它实体提供审计跟踪。例如，竞争可以由想要跟踪员工参与的雇主组织，并且报告组件190为该跟踪提供审计。参与者还可以想要向其它实体提供参与的证明，并且系统提供可跟踪的收据以及允许参与者证明其参与的报告。实现提交审计系统的计算设备可以包括中央处理单元、存储器、输入设备(例如键盘和定点设备)、输出设备(例如显示设备)、以及存储设备(例如盘驱动器或其它非易失性的存储介质)。存储器和存储设备是可用实现或启用该系统的计算机可执行指令(例如软件)编码的计算机可读存储介质。此外，数据结构和消息结构可以被存储或通过例如通信连路上的信号的数据传输介质被传输。可以使用诸如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络等的各种通信链路。系统的实施例可以被实现在各种操作环境中，包括个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品、数码相机、 网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境、机顶盒、片上系统(SOC)等。计算机系统可以是蜂窝电话、个人数字助理、智能电话、个人计算机、可编程消费电子产品、数码相机等。可以在例如程序模块的由一个或更多计算机或其他设备执行的计算机可执行指令的一般上下文中描述系统。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。一般地，可以如各实施例中所需要的那样来组合或分布程序模块的功能。图2是示出在一个实施例中提交审计系统接收提交和检测欺诈的处理的流程图。 在方框210处开始，系统接收来自一个或更多竞争参与者的与在线竞争有关的提交。提交的内容可以基于竞争的类型变化，并且可以包括图像、计算机软件代码、数据集结果、或与竞争有关的任何其它类型的数据。竞争组织者可以将系统配置成接受特定的数据类型并且拒绝其它数据类型。例如，某一竞争可以被配置成接受图像文件而不接受可执行文件。在方框220处继续，系统评价接收到的提交以确定提交是否满足与竞争相关联的质量的阈值准则。例如，竞争组织者可以指定对提交大小(例如文件大小、字数等)、允许提交的文件类型或内容类型、提交所包含的数据等的限制。系统还可以将提交和与什么是可能的或大概的有关的阈值度量比较，以便能够检测到欺诈提交。在判定方框230处，如果系统检测到潜在的欺诈，则系统在判定方框240处继续， 否则系统将提交放入接受的提交的队列中并且在方框270处继续。在一些实施例中，系统为接收到的提交确定指示与其它提交相比该提交排在哪里的分数。系统可以基于诸如提交大小、由提交输出的测试数据集的质量、提交的资源使用等的各种因素来确定该分数。分数范围可以由竞争组织者确定并且用系统配置，并且系统可以基于由竞争组织者提供的规则来分配分数。例如，组织者可以建立0-10的分数范围，并且指示分数是如何分布在这一范围中的。在判定方框240处继续，如果系统确定接收到的提交所来自的参与者具有高信誉，则系统在方框260处继续，否则系统在方框250处继续。系统可以评价用户的各种准则， 诸如过去的提交的质量或数量、来自其它用户或竞争组织者的关于该参与者的过去的反馈等。在方框250处继续，系统将提交放在将以较低优先级被评价的项目的队列中。由于系统可能难以管理大量的提交，因此系统对可能是欺诈的提交的评价区分优先级，从而使得最有可能正常的提交被快速检测，而需要深入审阅的提交被稍后评价或者可能被丢弃而不评价(例如通过通知参与者并鼓励用户提交更适合的提交)。如果执行继续到方框260处，则系统将提交放在将以较高优先级评价的项目的队列中。较高优先级的队列包含对于欺诈更有可能是假肯定的项目，因为这些项目是来自过去已经提交了有质量的提交的用户。这些提交通常快速地被评价，并且在工作流中向前移动。虽然仅示出两个队列，但是本领域的技术人员应当意识到系统可以为了以后的评价沿着众多准则将提交再细分，并且可以具有类似结果的众多方式实现对提交的分级评价。例如，系统可以使用单个队列，其中依照由例如提交者的过去历史等准则所确定的排序来在队列中排序提交。在方框260处之后，系统跳转至方框270处。在方框270处继续，系统处理队列中的提交。参考图3进一步描述了这一过程。评价可以包括导致对提交是否将被接受为竞争中的条目的确定的自动和人工审阅的组合。在方框270处，这些步骤结束。图3是示出在一个实施例中提交审计系统提供提交的可跟踪收据的处理的流程图。在方框310处开始，系统接收对接收到的提交的评价。提交可以是已经由系统标识为潜在欺诈的并且因此有理由进行更高层次的审阅的一个提交(例如见图幻。评价过程可以包括使用由竞争组织者或系统操作者标识的一个或更多质量度量来自动地确定提交是否有效。评价过程还可以包括评价提交并且然后向系统提供指示提交的有效性的输入的一个或更多人类审阅者的人工审阅。在判定方框320处继续，如果接收到的评价指示提交应被接受，则系统在方框340 处继续，否则系统在方框330处继续。在方框330处继续，系统拒绝该提交并且向参与者发送通信以指示该提交被拒绝。系统可以继续存储被拒绝的提交并且允许参与者编辑提交以更正提交，从而使提交满足可接受的准则。系统还可以允许参与者作出新的提交以替换被拒绝的提交，从而被拒绝的提交不会对照由竞争组织者建立的任何提交限制而被计入。对于明确欺诈的提交，系统可以丢弃该提交而不通知参与者。在方框330处之后，系统完成。在方框340处继续，系统确定与提供提交的参与者相关联的用户身份。例如，参与者可以登录到与竞争相关联的网站上或应用中(例如在诸如计算机、移动电话或电视机等的本地计算设备上)以提交与竞争有关的参与者的工作的数据集或其它结果。系统可以向每个参与者提供标识符，或者可以依靠第三方身份提供者来标识每个参与者。在一些实施例中，系统验证证书、令牌、或其它提供的认证信息以确定与参与者相关联的身份。提交还可以由组或团队提供，并且系统可以确定团队的身份或每个团队成员单独的身份。
在方框350处继续，系统创建用于关联于提交的标识符。标识符提供将提交区别于其它提交并且提供提交的可审计数量的可跟踪的实例数。在一些实施例中，系统使用密码来数字地签名或者以其他方式验证标识符，从而使依赖于该标识符的实体能够确定该标识符是由系统官方地产生的。在方框360处继续，系统将提交与所创建的标识符相关联地存储在数据存储中。例如，系统可以在数据库内标记和存储每个提交，并且将在竞争提交的工作流中指示当前状态的状态与提交相关联。在方框370处继续，系统发送向参与者发送提交确认收据以指示对接收到的提交的处置。例如，通信可以指示提交是被接受还是拒绝，提交得到了多少分，参与者当前排在领先者排名榜上的何处，等等。系统还可以向参与者提供确认号或所创建的标识符以作为提交的证明和用于以后对参与者的参与的审计。在方框390处，这些步骤结束。图4是示出在一个实施例中提交审计系统生成审计报告的处理的流程图。在方框 410处开始，系统接收指定要对其报告审计信息的众包竞争的审计报告请求。例如，竞争组织者可以在竞争过程期间请求定期的(例如每周或每月)报告。作为另一个示例，组织者或第三方可以在竞争结束很久之后请求竞争中参与者的参与证明。在方框420处继续，系统标识与报告有关的一个或更多竞争参与者。例如，请求可以指定要对其获取审计信息的某一参与者或参与者团队。该参与者可以向一方(例如他的或她的雇主)指示该参与者执行了竞争中的任务，而该方可以联系系统以通过审计报告请求来验证该声明。在方框430处继续，系统标识从中收集所请求的报告的数据的所标识的一个或更多竞争参与者的一个或更多经验证的提交。当提交被接收时，系统跟踪审计信息，诸如提交何时被接收、提交是否被接受、与竞争准则相比提交如何(例如分数或其它评价)，等等。在方框440处继续，系统创建包括有关标识的提交的信息的审计报告。报告可以包括某一参与者是否确实参与的布尔指示或更复杂的报告，诸如由一个或更多参与者投入任务的小时数、参与者在竞争中进展如何等。参与者可以基于他们的提交从审计方得到信用，而审计方使用该系统以验证参与者的关于他们的参与的声明。在方框450处继续，响应于接收到的审计报告请求，系统发送创建的审计报告。可以通过超文本传输协议(HTTP)或其它协议来接收该请求，并且该响应可以包括具有用于请求的协议的报告数据的标准响应。系统可以通过诸如网站接口、网络服务接口、通过可扩展标记语言(XML)文件可下载的报告等各种接口来暴露审计信息。在方框450之后，这些步骤结束。在一些实施例中，提交审计系统接收来自其它系统的信息并且提供对完成的任务的验证。例如，运行体育游戏的游戏控制台可以通过游戏来测量玩家的进展。示例是使用微软ftOject Natal或其它玩家检测系统以确定玩家正在完成蹦蹦跳或其它活动的微软 ΧΒ0Χ 游戏。提交审计系统接收有关由玩家执行的活动的类型和量的信息，并且将该信息包括在由系统管理的在线竞争中。如果玩家是与健康有关的众包竞争的参与者，则玩家在游戏中的活动可以有助于对例如一周中体育活动的总体测量。系统为各种系统提供API以报告这一类型的信息。在一些实施例中，提交审计系统提供竞争组织者可以充分利用来建立竞争网站的一个或更多web服务。系统可以提供身份、内容提交、评分、报告、以及其它设施作为平台的各服务，而竞争组织者可以提供在合适的时间调用web服务的用户接口。在其它实施例中， 系统提供包括用户接口的端到端解决方案，并且竞争组织者提供诸如品牌化和徽标等的数据驱动的定制。在一些实施例中，提交审计系统使用基于云的存储服务来存储内容提交以及其它数据。例如，微软Azure、亚马逊web服务、以及其它平台提供网站或其它应用能够调用来存储数据的存储服务。系统可以使用这些服务来存储参与者内容提交，并且在内容评价工作流的各阶段访问内容提交。系统可以加密或以其他方式保护存储的内容以防止不希望的对数据的访问。在一些实施例中，提交审计系统向参与者提供跨各竞争的身份。随着时间的过去， 参与者可以为高参与和高效的提交而建立声誉。参与者可以将该信息包括在向其他人显示参与者的技能的履历或简历上。提供这一信息还刺激参与者使用该系统，因为他们跨竞争和以超出任何单个竞争的生存周期而持续的方式建立声誉。系统还可以提供领先者排名榜和跨竞争的报告，从而使参与者能够随时间的过去而测量表现并且能够在前进的基础上竞争。在一些实施例中，提交审计系统被提供为可部署的虚拟机实例。诸如微软hure 和亚马逊EC2等的基于云的服务通常提供表示为特定目的准备的预先配置的机器或机器组的可部署的实例。例如，服务可以提供电子邮件服务器或web服务器实例。众包竞争系统还可以被提供为可部署的实例，其中竞争组织者可以修改影响竞争的观感、文本和规则的设置，并且然后具有准备好供使用的用于主持竞争的web服务器。在一些实施例中，提交审计系统提供移动应用用于监控竞争中的状态和参与。诸如微软WINDOWS 7电话、苹果iPhone和iPad、谷歌Android电话、以及其它等的移动设备允许用户安装执行各种任务的应用。竞争组织者可以提供品牌的应用来监控特定竞争，而系统操作者可以提供应用来监控从移动设备使用该系统的多个竞争。系统还可以提供与诸如Facebook、Twitter、或其它等的在线服务的集成，以发布参与者的状态以及让参与者的朋友知道该参与者是竞争的成员。从上文应当理解，此处为了说明的目的描述了提交审计系统的特定实施例，但是可以做出各种修改，而不偏离本发明的精神和范围。因此，除了所附权利要求书以外，本发明不受限制。
权利要求
1.一种用于为在线众包竞争中的提交提供可跟踪的收据的计算机可实现的方法，所述方法包括接收(310)对接收到的提交的评价； 确定(320)接收到的评价是否指示接受该提交； 在确定该提交被接受后，确定(340)与提供该提交的参与者相关联的用户身份； 创建(350)与该提交相关联的标识符；将该提交与创建的标识符相关联地存储(360)在数据存储中；以及向所述参与者发送(370)提交确认收据以指示对接收到的提交的接受， 其中，上述各步骤由至少一个处理器执行。
2.如权利要求1所述的方法，其特征在于，接收评价包括接收所述提交基于所述评价是潜在欺诈性的指示。
3.如权利要求1所述的方法，其特征在于，接收评价包括接收对所述提交的人类评价的结果。
4.如权利要求1所述的方法，其特征在于，接收评价包括接收基于一个或更多质量度量对所述提交的自动化评价的结果。
5.如权利要求1所述的方法，其特征在于，还包括，在确定接收到的评价不指示接受所述提交后，拒绝所述提交并且向与所述提交相关联的参与者发送通信以指示所述提交被拒绝。
6.如权利要求5所述的方法，其特征在于，还包括，在拒绝所述提交之后，允许所述参与者编辑所述提交以对所述提交作出更正，使得所述提交满足一个或更多提交准则。
7.如权利要求5所述的方法，其特征在于，还包括，在拒绝所述提交之后，允许所述参与者进行新的提交以替换被拒绝的提交。
8.如权利要求1所述的方法，其特征在于，确定用户身份包括访问与所述参与者相关联的由众包竞争系统提供的标识符。
9.如权利要求1所述的方法，其特征在于，创建提交标识符包括提供将提交与其它提交相区分并提供提交的可审计数量的可跟踪的实例数。
10.如权利要求1所述的方法，其特征在于，创建提交标识符包括加密地签名所述标识符，使得依赖于所述标识符的实体能够确定所述标识符的源。
11.如权利要求1所述的方法，其特征在于，发送提交确认收据包括向所述参与者提供创建的标识符以作为所述提交的证明。
12.一种用于主持和审计在线竞争中的参与的计算机系统，所述系统包括 被配置为执行包含在下列组件中的软件指令的处理器和存储器；被配置为将数字身份与每个竞争参与者相关联并且在接收到参与者提交后验证参与者的数字身份的身份组件(120)；被配置为在提交通过由系统处理的工作流进行时存储有关竞争和内容提交的信息的提交数据存储(140)；被配置为评价提交对一个或更多竞争规则的遵循性并且对照一个或更多任务度量测量提交的提交评价组件(150)；被配置为标识潜在欺诈性提交并且将标识的提交放在一个或更多队列中供进一步审阅的欺诈检测组件(160)；被配置为管理一个或多个队列供审阅用户提交的队列管理组件(170)；被配置为在提交被接受之后向竞争参与者提供可跟踪的收据的提交确认组件(180)；以及被配置为收集和报告可审计的统计信息的报告组件(190)。
13.如权利要求12所述的系统，其特征在于，所述欺诈检测组件进一步被配置为将有关提交的信息与有关可能的提交值的物理世界模型的信息进行比较，以确定提交是否包含一个或更多不可能的或物理上困难的结果。
14.如权利要求12所述的系统，其特征在于，所述欺诈检测组件进一步被配置为将有关提交的信息与由竞争组织者所定义的任务度量进行比较，以检测欺诈提交的证据。
15.如权利要求12所述的系统，其特征在于，所述欺诈检测组件进一步被配置为将有关提交的信息与其它提交进行比较，以检测与一个或更多平均提交度量的偏差。
全文摘要
公开了审计众包竞争提交。此处描述了在在线众包竞争中进行审计以测量参与以及防止欺诈的提交审计系统。可审计能力增加了对群众努力的验收。个人贡献者和竞争组织者也想要个人贡献者因为其时间投入而从项目赞助方、其雇主、和/或政府或其它实体处得到信用。雇主可以鼓励员工自愿花时间参与各慈善组织，并且可以使用本系统以监控参与和基于参与颁发奖励。提交审计系统通过为测量对众包项目的参与提供工作流，作为该测量的一部分检测欺诈，并且为个人和第三方传递提供对参与的跟踪的收据，以解决在众包情形中的审计参与的问题。
文档编号G06Q10/00GK102279947SQ201110164710
公开日2011年12月14日 申请日期2011年6月10日 优先权日2010年6月11日
发明者M·E·墨求里, T·E·哈里斯 申请人:微软公司