一种项目分级管理评价方法与流程

本发明涉及项目管理、评估评价等领域，具体涉及一种项目分级管理评价方法，用于大规模科研项目的分级管理、分级评价和综合评估。

背景技术

科研项目的执行情况评价是科研项目管理的一项重要内容，通常需要对科研项目成果的预期目标、工作质量、学术水平、应用成效和需求满足程度等予以客观、具体、恰当的评价。项目执行情况评价的结果除了作为科研项目是否达到预期要求的依据，也是后续单位或项目组经费拨付、科研奖励、绩效发放、持续申请相关科研项目的重要参考。

现代的科研项目评价中用到了越来越多的数据指标，尤其在于报告、论文、专著、专利等成果发表方面，这部分指标可以直接计算获得。而在预期目标、成果质量、应用成效等方面，仍然存在大量需要组织领域专家对科研项目进行定性分析、打分评价、综合评估的指标，因此专家评审仍然是目前开展科研项目评价的重要方式。

随着我国科研投入的逐年增加，科研项目的规模急剧扩大，对于同一个业务部分管理的数量众多的科研项目来说，在组织开展专家评审时存在一定的问题。为了保证同一次评价的标准尺度是一致的，通常需要保持评审专家组人员的相对稳定性，但科研项目数量规模较大的情况下，组织开展此类串行评审的时间周期太长；如果分组并行操作、随机选择专家，则不同专家组合进行评价的标准尺度难以统一，经常会出现不同分组的实际情况与评价结论差别较大的情况，缺乏一定的公平性；即使采用各组的统计平均分数来修正结论，但项目分组的非完全随机性，也会导致高水平科研项目扎堆的分组整体评价结论难以有太大幅度的差别。

技术实现要素：

本发明一种项目分级管理评价方法，通过对科研项目按照所属领域进行分级、分组管理，将专业组自我评价和项目抽查相结合，局部采信并算法修正子领域评价结果，最终对所有科研项目完成情况在同一标准的前提下进行整体性评估。包括以下步骤：

步骤1、将待评价的项目按所属领域进行专业分组，待评价的项目共n个，分为m个专业组；

步骤2、为待评价的项目制定统一的评价指标；

步骤3、在各专业组内部对项目进行评分；

步骤4、对各专业组进行评分；

步骤5、对完成步骤3评分项目进行抽查；

步骤6、修正专业组评分；

步骤7、修正各项目评分；

其中，所述的步骤3在各专业组内部对项目进行评分具体包括：

步骤31、遴选专业组专家进行专业组内部评分；

步骤32、按照步骤2中所述的统一的评价指标对专业组内项目进行评分：第i个专业组包含p个项目，每个项目的内部评分记为aij(j∈(1,p)；

步骤33、按项目经费数量加权，计算整个专业领域的内部评分记为其中fij(j∈(1,p)为本专业领域各项目的经费数量；

其中，所述的步骤4对各专业组进行评分具体包括：

步骤41、组成统一专家组对各专业组进行整体评分；

步骤42、按照步骤2中所述的统一的评价指标对各专业组进行整体评分，取统一专家组打分平均值bi记为该专业组的整体评价分数；

其中，所述的步骤5对完成步骤3评分项目进行抽查具体包括：

步骤51、随机抽查各专业组中的项目，在第i个专业领域项目总数为p，随机抽取q个项目；

步骤52、重新计算抽取项目的专业组评分分数，各项目的评价得分为cij(j∈(1,q)，基于项目经费加权，得到抽查项目的内部评价加权得分

步骤53、由步骤4的中统一专家组按照步骤2中所述的统一的评价指标，对抽查项目进行评分dij(j∈(1,q)，基于项目经费加权，得到抽查项目的抽查加权得分

步骤54、计算抽查调整分ei＝ci-di；

其中，所述的步骤6修正专业组评分具体包括：

步骤61、设定抽查分数占比为c；

步骤62、修正专业组最终评分zi(i∈(1,m)为，zi＝c(ai-ei)+(1-c)bi。

其中，所述的步骤7修正各项目评分具体包括：

根据项目的专业组内部评分与对应专业领域的抽查调整分，可以计算各项目的最终评分sij＝aij-ei。

进一步地，可以根据用户需求在步骤1中再次划分二级、三级专业领域，对于每个子领域重复采用步骤2-步骤7的评价操作，实施多层分级管理。

进一步地，骤1中分组时按照专业相近、类型相近的原则，按照选取分组数量。

进一步地，所述步骤2为待评价的项目制定统一的评价指标中，评价指标采用多个指标组合，包括以下因素：需求满足程度、进度完成情况、学术成果、应用前景、组织管理。

进一步地，所述步骤5对完成评分项目进行抽查，对于项目数量多于平均数的分组，采用了总比例下取整，对于项目数量少于平均数的分组，采用总比例上取整

进一步地，所述步骤6修正专业组评分还包括步骤63、根据修正专业组最终评分zi对各专业组进行排序选优。

进一步地，所述步骤7修正各项目评分还包括根据修正各项目评分zi对各项目进行排序选优。

进一步地，所述步骤6、修正专业组评分中所述的设定抽查分数占比c，c的取值50％-70％。

本发明具有下述优点：

1)本发明采用了按领域分级分组管理科研项目方法，在各组采用统一标准的基础上，局部采信分组评价结论，有效组织并行操作，便于发挥各专业领域的的优势特长和主观能动性，缩短大规模科研项目的评价时间，解决了串行评审的时间周期太长等问题。

2)本发明采用了整体评价和项目抽查来修正分组结论的方法，分组评价和整体评价采用统一标准，采用同一个专家组进行整体评价和项目抽查，来计算修正各个项目的评价分数，从客观标准和主观评价两个方面，实现了项目评价尺度的一致性，解决了不同分组的实际情况与评价结论差别较大、统计平均会埋没部分特优和特差项目等问题。

附图说明

图1是本发明实施例方法的流程图。

图2是本发明实施例方法的专业领域调整分数分布情况。

图3是本发明实施例方法按照最终得分排序的各专业领域内部评价分、整体评价分、调整分合最终得分分布情况。

具体实施方式

下面以一组科研项目评价的实施过程数据为例，对本发明的一种项目分级管理评价方法进行进一步的详细说明。流程如图1所示。

1)将待评价的项目按所属领域进行专业分组

本实施方式选取的背景数据是某科研项目主管部门单年度需要管理和评价的一类科研项目数据，当年共涉及项目总数582个，经费总额3.1亿。按专业领域分为24个专业领域组，分组的原则是便于分专业进行管理，项目数量和经费总额并不平均分配，项目最多的专业组52个项目，最少的专业组16个项目。为每个分组指定相应的专业领域分管部门。

2)为待评价的项目制定统一的评价指标

为各专业领域组织内部评价、跨专业的整体评价、项目抽查等，制定统一提供的评价指标体系，评价方法采用多个指标组合打分，选取了需求满足度(0.3)、任务完成情况(0.3)、学术成果(0.2)、组织管理情况(0.1)、应用前景(0.1)5个二级指标(括号内为权重)，以及18个3级指标，按照百分制打分计算项目总得分。

指标的选择要便于专家进行综合评价和统计计算。根据所需管理的科研项目的性质不同，也可以调整指标权重，或者选择其他类型、维护的打分指标。

3)在各专业组内部对项目进行评分

委托各专业领域的分管部门，按照制定的统一评价标准，遴选专家对本领域的项目进行全面的内部评价。24个专业领域的内部评价自行选择时间，并行开展。

为每个专业领域下的每个项目进行内部评分，记为aij(j∈(1,p)，表示第i个专业领域的第j个项目，专业领域项目总数为p。

按项目经费数量加权，计算整个专业领域的内部评分其中fij(j∈(1,p)为本专业领域各项目的经费数量。

各专业领域分管部门将582个项目内部评分aij和24个专业领域的内部评分ai汇总，提交至该类科研项目主管部门。内部评价过程，实际操作中大部分专业分组在一周时间内可以完成。

4)对各专业组进行评分

由该类科研项目主管部门统一组织成立了20人的专家组，通过听取24个专业领域分组科研项目实施的整体情况介绍，通过质询、实证考察等进一步了解掌握该专业领域项目完成情况，基于评分指标体系完成24个专业领域总体评价打分，取每个专家打分的平均值bi记为该领域的整体评价分数。

整体评价的专家组人数可以根据专业领域划分情况进行确定，尽可能包含熟悉所有专业领域的专家。

5)对完成步骤3评分项目进行抽查

继续沿用整体评价的专家组，在对每个专业领域进行整体评价的同时，利用电脑随机抽查各专业领域的子项目，开展项目抽查。本实施方式中，每个专业领域抽查10％左右的项目，并进行了适当调整。在项目总数为p的第i个专业领域，随机抽取q个项目。对于项目数量多于平均数的分组，采用了总比例下取整，对于项目数量少于平均数的分组，采用里总比例上取整

从之前汇总提交的582个项目内部评分中，提取被抽查到项目的内部评价cij(j∈(1,q)。

基于项目经费加权，计算抽查项目的内部评价加权分数

抽查过程中，仍然基于统一的打分评价标准，由固定的专家组，对抽查到的项目进行打分，记录这些项目的抽查得分dij(j∈(1,q)。

基于项目经费加权，得到抽查项目的抽查加权得分

计算获得该专业领域的抽查调整分ei＝ci-di。

本实例中，抽查调整分的分布情况如图2所示。有20个项目的的抽查调整分ei＞0，，说明大部分专业领域的内部评价分数偏高，这也符合现实情况的，说明大部分专业领域在内部评价都希望本领域的总评分高一些，所以在执行评价标准时，打分偏高。约有一半项目的调整分在[-2，2]之间，说明这些专业领域的专家组在执行打分标准时与整体评价专家的打分尺度差别不大。另外有5个专业分组，调整分远大于其他专业分组，说明这些专业分组在内部评价时，可能存在执行标准不严，恶意给自己打高分的情况。

6)修正专业组评分

根据步骤3)、步骤4)、步骤5)分别获得的内部评价、整体项目、项目抽查的结果，计算修正各专业领域的评分。

专业领域最终评分zi(i∈(1,m)由整体评价分bi与抽查得分ai-ei的加权获得。

整体评价分bi是专家组对于专业领域的整体进展情况的综合评价，因此要作为最终得分的重要组成部分。权重c取值通常大于50％，主要考虑是项目抽查更加真实客观，比较能够反映项目实际状况，因此占比稍大。项目在本实例中，权重c取值0.6。

通过zi＝c(ai-ei)+(1-c)bi，计算获得各个专业领域的最终评分。

根据专业领域最终评分zi对各专业领域整体情况进行排序选优，如图3所示。可以看出，最终得分与初始的内部评分关联不大，且总体上存在的趋势是，最终评分高的专业领域，调整分相对较小，说明在对应的专业领域内部评价标准相对合理，项目整体执行情况也相对较好，进而推测该专业领域在科研项目实施过程中执行了较为严格且有效的管理措施，推进了专业领域整体发展。

7)修正各项目评分

根据各项目的内部评分与对应专业领域的抽查调整分，可以计算各项目的最终评分zij＝aij-ei。

根据项目最终评分zij可以对所有项目进行整体排序选优。

如果涉及项目规模巨大，某领域项目数量仍然众多，管理与评价的压力仍然很大，可以重复步骤1)，再次划分二级、三级领域，对于每个子领域重复采用后续评价操作，实施多层分级管理。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所做的任何修改、等同替换和改进等，均应包含再本发明创造的保护范围之内。