一种基于众包的群智贡献评审方法与流程

本发明涉及互联网技术领域，特别涉及一种基于众包的群智贡献评审方法。

背景技术：

在科技项目评审中，传统的专家评审模式一般为发信函评审和会议评审两种方式，第一种方式时间周期较长，信息流通不够顺畅；第二种方式必须所有专家在同一时间同一地点进行评审，时间和空间上受限较大。以上均存在邀请专家困难，组织过程繁琐，以及面临支付较多评审费的问题，造成了人力物力上的过多支出。而随着互联网技术的日新月异，科研项目管理朝着网络化、智能化发展，出现了在线专家项目评审，解决了时间空间上的制约，节约了管理成本，而且评审工作可以在线上系统制定的规则下公正科学、高效便捷的开展。目前，国家自然科学基金已采取网上评审的方式，但其本质上还是业内专家进行评审，也面临着专家资源有限，基本处于同一个学术圈子的问题，没有能充分发动大众资源。

科技任务在线众包招募网站能够发动大众资源，定期面向互联网开放空间，发布科技任务，从社会大众智慧中征集任务成果和解决方案。但是众包招募网站利用传统的评审方式或者目前的网上评审方法，都会面临很多问题，组织管理工作繁重，评审质量难以控制。

技术实现要素：

针对上述问题，本发明的目的在于针对现有在线评审技术的不足，提出一种基于众包的群智评审方法，任何任务的参与者和平台用户都可以作为评审专家，充分利用大众智慧资源。首先基于众包用户的能力与待评价的任务的需求匹配，选择评审专家，设计评分规则，再根据评审专家的历史数据信息，校正其打分权重因子，消除恶意打分，鼓励优秀评分，保证评价活动的科学公正以及高效便捷，极大的减轻科技项目管理中的评审工作。

为实现上述目的，本发明采取以下技术方案：

一种基于众包的群智评审方法，包括评审系统和众包平台，其特征在于，众包平台的注册用户既可以作为众包任务的参与者，也可以作为评审系统的评审专家，众包平台存储了注册用户的历史数据并对注册用户建立刻画模型，评审系统对每个待评审的众包任务建立任务需求模型，评审系统工作过程包括以下步骤：

1)对众包平台的注册用户的用户刻画模型与待评审众包任务的任务需求模型进行匹配，选取符合匹配要求的注册用户向推送评审任务，接受邀请的则被选为评审专家，如果评审专家人数满足数量要求，则进入下一步骤，否则重新进行本步骤；

2)确定每个评审专家的权重因子，设定历史信息步长数值为l，对于当选评审专家次数小于l的注册用户权重因子为1，即所有评审专家的初始权重因子为1；

对于当选评审专家次数大于等于l的注册用户权重因子则可以通过对以往历史评审得分的偏差进行权重因子修正得出：

设众包任务为m，选取了n个评审专家，mn为第n个评审专家的第m次任务，为第n个评审专家的权重因子，为第n个评审专家的第m次任务评审给出的实际分值；

根据其前l次评选行为来校正当前权重因子，设第n个评审专家的第mn-l次评选行为的实际评分为权重因子为而该次评选活动的总评分为则该次评选活动的理想权重因子

第n个评审专家在该次评选活动中的权重因子偏差程度为：

则第n个评审专家前l次评分的权重因子偏差程度的均值为：

得到第n个评审专家l次评分的权重因子偏差程度的标准差为

则用下面公式对第n个评审专家当前任务的权重因子进行校正：

评审专家每次打分越接近最终评分，其偏离值越小，则权重因子越大，如果本次任务选取的评审专家的权重因子全部确定，则进入下一步骤，否则重新进行本步骤；

3)每个评审专家n对任务成果进行独立评分，并在评分时限内在线提交分数

4)通过归一化使得所有用户的权重因子之和为1，该次众包评审任务给出的总体分值为sm，由公式

计算得出。

5)记录所有参与任务评审专家的评选数据信息，更新众包平台的数据存储。

优选的，所述步骤1)中匹配要求为：剔除连续3次评分与最终结果相差30％以上的人员。

优选的，所述步骤1)中的用户刻画模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布、用户活跃度、完成任务数。

优选的，所述步骤1)中的任务需求模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布。

优选的，所述步骤5)中的评分结束后计算该次评分分值偏差程度，并反馈给评审专家，对于偏差达到30％以上的人员，进行信息推送提示。

本发明由于采取上述技术方案，其具有以下技术优点：采用众包招募的思想，从参与任务的潜在成果提供者中挑选评审专家，拓展评审专家人选资源。评审专家的选取包含参与过相关专业方向任务成果提供者以及当前参与任务的竞选者。这种任务成果的评审方法便于在众多用户中找到需要的智慧资源，具有开放、共享的特点，而且可操作性强，流程简单。同时，基于评审专家历史打分数据信息的权重因子校正方法，可以有消除恶意评分，并增强优秀评审智慧资源的贡献，为系统发现优秀评审专家资源，保证在线评审工作的公正科学。

附图说明

图1为本发明的系统流程图。

具体实施方式

下面结合附图和实施例对本发明的进行详细的描述。

本发明思路是将对众包任务进行众包评审，通过参与任务的竞争者以及平台其他注册用户进行打分评比。传统的专家评审每次打分具有独立性和偶然性，则需要设计打分规则，防止恶意打分。

基本的打分规则设计如下：

1)用户的历史数据信息包括：用户的专业方向、参与过的任务、参与过的评分活动以及相关评分纪录(历次评分、权重系数、任务最终评分)，用户活跃度等；

2)根据评选人员历史评分数据信息生成权重因子，对用户每次实际评分进行加权；

3)所有新参加评选的人员前l次评分活动的权重因子均为1；

4)剔除连续3次评分与实际得分背离值大于30％的评选人员，停止评选一次；

5)任务成果提供者可参与当前任务的评选，但不能对自己进行打分；

6)所有在线评价全是定量评价，任务最终得分为所有评选人员评分归一化加权。

基于以上规则，本发明的具体实施技术方案包括以下步骤：

步骤1、基于能力和贡献度匹配，选取评议参与人员，推送任务

1)建立用户刻画模型，包括“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”、“用户活跃度”、“完成任务数”等指标；设计数据库存储用户数据。

2)设计任务需求模型，包括“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”等指标，发布当前任务。

3)基于“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”等能力匹配，“用户活跃度”、“完成任务数”等贡献度匹配，以及用户历史信息等，匹配潜在任务评审专家。

4)根据当前匹配人员的历史评价信息，剔除连续3次评分与最终结果相差30％以上的人员，本次标记为暂停一次，下次可继续作为评议人员。

5)可选评议人员推送给管理人员，管理人员确定评选人数，从推送人员中选择相应数量，进行任务推送，邀请参与任务评价。

6)被邀请人员应答，拒绝或者接受。

7)若人数不满足要求，则继续从推送人员中邀请，满足则进入下一步。步骤2、计算每个评分人员的权重因子

设定历史信息步长数值为l，对于当选评审专家参与评审次数小于l的注册用户权重因子为1；

对于当选评审专家参与评审次数大于等于l的注册用户权重因子则可以通过对以往历史评审得分的偏差进行权重因子修正得出：

设众包任务为m，选取了n个评审专家，mn为第n个评审专家的第m次任务，为第n个评审专家的权重因子，为第n个评审专家的第m次任务评审给出的实际分值；

根据其前l次评选行为来校正当前权重因子，设第n个评审专家的第mn-l次评选行为的实际评分为权重因子为而该次评选活动的总评分为则该次评选活动的理想权重因子

第n个评审专家在该次评选活动中的权重因子偏差程度为：

则第n个评审专家前l次评分的权重因子偏差程度的均值为：

得到第n个评审专家l次评分的权重因子偏差程度的标准差为

则用下面公式对第n个评审专家当前任务的权重因子进行校正：

步骤3、评审专家打分

每个评分人员，基于自己的专业知识，对任务成果进行独立评分，并在评分时限内在线提交分数

步骤4、计算最终得分

判断当前用户是否参与了任务，并给自己的任务成果评分了，若是剔除该用户对自己的评分结果。该次众包评审任务最终得分为sm，由公式计算得出，并进行公示。

步骤5、评分反馈

评分结束后，计算分值偏差程度，并反馈给评分人员。对于偏差达到30％以上的人员，进行信息推送，提示评分存在较大偏差，助于下次改进。

步骤6、用户数据更新

记录所有参与任务评选人员的评选数据信息，更新数据库并进行存储。