一种科研人员学术能力的评价方法与流程

文档序号:16935769发布日期:2019-02-22 20:41阅读:511来源:国知局
一种科研人员学术能力的评价方法与流程

本发明属于科研人员学术能力的评估领域,具体涉及一种科研人员学术能力的评价方法。



背景技术:

目前对引进人才和科研人员的学术能力进行评价的方法,除了邀请本领域的专家进行定性的人为评价外,还会普遍采用一些量化指标来进行评估。这些量化指标通常都是从论文作为切入点进行选择的,如被评估人所著论文的被引频次、论文出版期刊的影响因子等等,其中论文的被引频次是指论文发表后被学术界引用的次数,是学术界对论文学术价值认同程度的一种量化表示,是论文质量的表征。

然而,人为的定性评价体系缺乏统一的尺度和标准,不利于构建效益化、科学化的人才评估体系;并且常规选择的量化指标也存在一定缺陷,实际上,把论文的被引频次直接用于奖励科技人员或评价学者的学术能力,一直饱受争议。

首先,论文被引频次自其诞生之日起,并被打上了“事后追溯”的烙印,对于刚刚从事学术研究的科研人员,其论文的被引频次难以准确反映其学术潜力,用论文被引频次评价其学术能力,难现公允,不利于当前时期下新人才的发现和培养。

其次,论文一旦被出版,其被引频次即完全脱离了学者的学术状态,而是始终处于增长状态的,作者的h指数也只增不减,因此以论文被引频次构建的评价体系不利于人才建设。

第三,同样地,由于论文被引频次是始终处于增长状态的,因此论文被引频次的最终结果是不可确定的,以不可确定的指标去衡量科研人员的学术能力,其有效性、科学性不得而知。

第四,以论文被引频次作为量化指标时,显示论文的所有合作者对该论文的学术贡献是完全相同的。因为在“全额分配制”下,所有该论文的合作者获得的被引频次是完全相同的,其值等同于论文的被引频次。这明显有违常理,不符合事实。然而以作者排名的先后顺序来确定作者对论文所作的贡献也存在缺陷,这是因为不同的论文中作者的个数并不相同,比如,在合作者人数为10的论文中排名第10的作者与在作者人数为100的论文中排名第11的作者对相应论文所作的实质性贡献的大小是难以单从其排名来区分的;而且现在很多核心作者(对论文做出主要实质性贡献的作者)在论文中的排名往往不是第一,其位置是不固定的。

可见,以论文作为切入点选择对科研人员的学术能力进行评价的量化指标存在本质缺陷。因此急需要一种稳定的、能较为真实地反映和评价科研人员学术能力的指标,以此构建一种能够科学有效地评估科研人员学术能力的评价体系。



技术实现要素:

本申请的发明目的是提供一种能够前瞻性地、科学有效地对科研人员的学术能力进行评价的方法。

为实现上述发明目的,本申请的技术方案如下:

一种科研人员学术能力的评价方法,包括以下步骤:

(1)获取用于进行学术能力评价的论文池,对论文池中所有数据进行清洗,数据清洗完成后,按照式(1)计算期刊影响因子标准值:

ifnor=ifv/λ(1);

其中,ifnor为期刊影响因子标准值,ifv为期刊影响因子,λ为半衰期;

(2)构建作者的邻接矩阵、论文参考期刊与论文矩阵;

(3)根据作者的邻接矩阵制作合作者网络图,利用聚类分辨系数检测科研团队,为每个科研团队制作net文件,确定每个科研团队的成员构成及成员之间的合作关系,并构建科研团队与论文矩阵;

(4)根据论文参考期刊与论文矩阵计算论文参考期刊值rfv_d:

rfv_d=∑ifnor(5);

根据科研团队与论文矩阵和论文参考期刊值rfv_d计算团队参考期刊值rfv_t:

rfv_t=∑rfv_d(6);

(5)根据已确定的科研团队的成员构成和net文件,采用社会网络分析法计算科研团队中每个成员的博纳西茨指数欧式标准值bpv;

(6)根据式(8)计算每个作者的学术指数lv:

对不同作者的lv值进行比较,根据比较结果评价相应作者的学术能力。

作者的学术贡献度的衡量标准一直争议不断,现有技术中通常都是从论文单元下进行分析的,但这种方法存在不可弥补的弊端:这种分析方法下,同一篇论文的所有作者获得的被引频次相同,从而显示他们对该论文的贡献度相同。这显然是不符合客观事实的。

本申请脱开论文,以一个较宽的视角独辟蹊径地从作者单元和团队单元下分析作者的学术贡献度:本申请先利用作者的邻接矩阵检测出作者之间合作密切的科研团队,再创造性地运用社会网络分析法衡量每个作者的学术贡献度:采用博纳西茨指数欧式标准值bpv对团队参考期刊值rfv_t进行作者的学术贡献度的分配,即可计算出每个作者的学术指数lv,通过比较学术指数lv即可对不同作者的学术能力进行评价,从而准确地对处于同一科研团队内的所有作者进行角色定位。

本申请中,团队参考期刊值rfv_t反应了该团队的论文作者的文献阅读经历和知识运用能力,论文作者阅读文献的质量越高,运用知识的能力越强,rfv_t越高;提高科研人员的文献阅读的质量和知识应用的能力,即可提高rfv_t。团队参考期刊值rfv_t不依赖于极具不确定性的论文被引频次,是由期刊影响因子标准值决定的,而期刊影响因子是一个确切值,是成熟的并为学术界所广泛认可和接受的,获得的期刊影响因子标准值波动性非常小,因此采用团队参考期刊值rfv_t计算作者学术指数lv能够十分准确地对科研人员的学术能力进行评价,评价结果科学有效,有利于当前时期下新人才的发现和培养。

博纳西茨指数欧式标准值bpv是科研团队的成员构成和net文件计算获得的,而团队参考期刊值rfv_t又依赖于期刊影响因子标准值,这些因素在论文出版之初就是确定的;因此论文一经发表,团队参考期刊值rfv_t即可赋值,学术指数lv即可赋值,从而能够在论文出版之初就对作者的学术能力进行评价。

同时,如果把论文被引频次看成是学术成果,则根据每个作者的学术贡献度,每个作者分享到相应的学术成果,即tcv_fra。

在计算某一前溯时间段内(如在2018年7月23日评价科研团队在2013-2017年间的学术能力)科研团队的团队参考期刊值rfv_t时,同时在评价时间节点时(即2018年7月23日)构建论文被引频次与论文矩阵、科研团队与论文矩阵,根据论文被引频次与论文矩阵计算论文被引频次tc,再根据科研团队与论文矩阵和论文被引频次tc计算团队被引频次tcv_t:

tcv_t=∑tc(7);

再根据式(9)计算每个作者在团队被引频次中所占的份额(即修正后的作者被引频次,也即作者分享到的学术成果)tcv_fra:

tcv_fra=tcv_t*bpv(9);

通过对lv和tcv_fra进行相关性分析,发现作者的学术指数lv与该作者在未来团队被引频次中所占的份额具有强相关关系,这也佐证了采用学术指数lv进行评价的准确性和科学有效性,表明学术指数lv能够前瞻性地对作者的学术能力进行评价。同时,这也从另一个方面看出,学术能力强(学术指数高)的作者,其论文出现高被引的概率更大,学术指数体现的是作者整体论文的水平,这比在论文单元下,简单地用论文被引频次去衡量作者学术能力的评价体系更加科学,评价结果更加稳定,充分体现了学术能力的提高并非一蹴而就。

在上述的科研人员学术能力的评价方法中,步骤(1)中,所述的数据清洗包括:

a、清洗作者,以确保一个作者只有一个姓名书写形式,一个姓名书写形式只对应一个作者;

b、清洗期刊,以剔除非期刊的参考来源,确保论文池中所有论文参考期刊的刊名和issn与wos期刊列表匹配,并剔除不属于wos期刊列表的期刊。

清洗期刊的目的在于,参考来源中只保留与wos期刊列表中的期刊相匹配的参考期刊。因为wos期刊的影响因子是被学术界广泛认可并接受的用于评价期刊质量的指标。当然,如果学术界出现了其他可以用来表征非期刊的参考来源质量的标准,本申请的评价方法也可以采用。

由于不同学科之间的期刊的影响因子差别很大,本申请为了避免学科不同带来的影响因子差异对实证研究结果的影响,对论文参考期刊给予标准化赋值,计算期刊影响因子标准值。

其中,λ优选为被引端半衰期。被引端半衰期(citedhalf-life)显示的是一份期刊从当前年度向前推算引用数占截止当前年度被引用期刊的总引用数50%的年数,是测度期刊老化速度的一种指标。当然,除了使用被引端半衰期计算期刊影响因子标准值,也可以采用施引端半衰期进行计算,被引端半衰期只是比较常用的参数。

步骤(3)中,聚类分辨系数的大小决定了科研团队的大小,聚类分辨系数越大,科研团队的数量就越多;在实际评价过程中需要根据具体情况进行设置。一般情况下,可以将所述的聚类分辨系数值设置为:r=0.0-5.0。该聚类分辨系数值适用于绝大多数情况下科研团队的检测,确保同一科研团队内的所有成员之间的连接较紧、而不同科研团队之间的连接则较松,从而对邻接的团队进行有效分割,确保科研团队的独立性。

在上述的科研人员学术能力的评价方法中,步骤(5)中,先利用net文件作图,再根据式(2)(3)(4)计算每个作者的博纳西茨指数欧式标准值bpv:

其中,rij为一个关系矩阵,α为一个附加的常数,只影响向量的长度,不影响结点的相对中心度大小,它保证最终所有中心度的平方之和是网络的大小;β是衡量一个结点对其他结点依赖程度的参数;若β=0,则α=1,i点的博纳西茨权力指数即为i点的度中心度;m为连接结点i的结点个数,n为网络中的结点的数量,s为均方差;j为与结点i相连的结点,k为网络中的结点,k包含j。

式(2)(3)(4)可以用软件ucinet等软件进行运算,获得bpv。(参见文献:bonacichp(1987)powerandcentrality:afamilyofmeasures.americanjournalofsociology:1170–1182.)

与现有技术相比,本发明的有益效果为:

(1)本申请脱开论文,以一个较宽的视角独辟蹊径地从作者单元和团队单元下分析作者的学术贡献度:本申请先利用作者的邻接矩阵检测出作者之间合作密切的科研团队,并以团队参考期刊值rfv_t作为科研团队学术能力的评价指标;再创造性地运用社会网络分析法衡量每个作者的学术贡献度:采用博纳西茨指数欧式标准值bpv对团队参考期刊值rfv_t进行作者的学术贡献度的分配,即可计算出每个作者的学术指数lv,通过比较学术指数lv即可对不同作者的学术能力进行评价,从而准确地对处于同一科研团队内的所有作者进行角色定位。

(2)本申请中,团队参考期刊值rfv_t不依赖于极具不确定性的论文被引频次,是由期刊影响因子标准值决定的,而期刊影响因子是一个确切值,是成熟的并为学术界所广泛认可和接受的,获得的期刊影响因子标准值波动性非常小,因此采用团队参考期刊值rfv_t计算作者学术指数lv能够十分准确地对科研人员的学术能力进行评价,而且评价结果科学有效,有利于当前时期下新人才的发现和培养。

(3)博纳西茨指数欧式标准值bpv是科研团队的成员构成和net文件计算获得的,而团队参考期刊值rfv_t又依赖于期刊影响因子标准值,这些因素在论文出版之初就是确定的,因此论文一经发表,团队参考期刊值rfv_t即可赋值,学术指数lv即可赋值,从而能够在论文出版之初就对作者的学术能力进行评价。

(4)对lv和tcv_fra进行相关性分析后发现,作者的学术指数lv与该作者在未来团队被引频次中所占的份额具有强相关关系,这也佐证了采用学术指数lv进行评价的准确性和科学有效性,表明学术指数lv能够前瞻性地对作者的学术能力进行评价;这也从另一个方面看出,学术能力强(学术指数高)的作者,其论文出现高被引的概率更大,学术指数体现的是作者整体论文的水平,这比在论文单元下,简单地用论文被引频次去衡量作者学术能力的评价体系更加科学,评价结果更加稳定,充分体现了学术能力的提高并非一蹴而就。

附图说明

图1为作者学术指数lv与修正后作者被引频次tcv_fra的相关性分析结果;

图2为团队参考期刊值rfv_t与团队被引频次tcv_t的相关性分析结果。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案做进一步详细说明。

实施例1

本实施例一种科研人员学术能力的评价方法,包括以下步骤:

(1)获取用于进行学术能力评价的论文池,并对论文池进行数据清洗;

a、获取论文池:于wos(webofscience,wos)“核心合集”的scie,文献类型为article,论文出版时间为2013年-2017年,数据下载时间为2018年7月23日。数据来自两种途径:1)定向采集:中国科学院(北京,下同)的样本来自其带“chem”的二级部门的论文;2)综合采集:从检索某机构的1000篇高被引论文出发,选取以该机构为第一作者单位的第一作者,下载这些作者在该时间区间的所有论文:芝加哥大学(univofchicago)和华盛顿大学(univofwashington);原始数据如表1:

表1原始文献数据

注:表1中的作者为2013-2017时间区间内发表的论文数不少于5篇的作者。

b、清洗作者姓名:以确保一个作者只有一种姓名书写形式,一个姓名书写形式只对应一个作者。

c、清洗期刊:以剔除非期刊的参考来源,确保论文池中所有论文参考期刊的刊名和issn与wos期刊列表相匹配,并剔除不属于wos期刊列表的期刊;

清洗后数据如表2:

表2清洗后有效数据

d、数据清洗完成后,根据式(1)计算期刊影响因子标准值:

ifnor=ifv/λ(1);

其中,ifnor为期刊影响因子标准值,ifv为期刊影响因子,λ为被引端半衰期。

(2)构建作者的邻接矩阵、作者与论文矩阵、论文被引频次与论文矩阵、论文参考期刊与论文矩阵;

(3)根据作者邻接矩阵,获得作者共现的net格式文件,用vosviewer软件制作合作者网络图,确定聚类分辨系数为r=0.0-5.0,检测科研团队;制作每个科研团队的net文件,确定每个科研团队的成员构成及成员之间的合作关系;并构建科研团队与论文矩阵;

在该聚类分辨系数(0.0-5.0)下,同一科研团队内的所有成员之间的连接较紧、而不同科研团队之间的连接则较松,从而对邻接的团队进行有效分割;

(4)根据已确定的科研团队的成员构成、以及成员之间的合作关系的net文件,采用社会网络分析法计算科研团队中每个成员的博纳西茨指数欧氏标准值bpv;

具体地,先利用net文件作图,再根据公式(2)(3)(4),用软件ucinet计算每个作者的博纳西茨指数欧式标准值bpv:

其中,rij为一个关系矩阵,α为一个附加的常数,只影响向量的长度,不影响结点的相对中心度大小,它保证最终所有中心度的平方之和是网络的大小;β是衡量一个结点对其他结点依赖程度的参数;若β=0,则α=1,i点的博纳西茨权力指数即为i点的度中心度;m为连接结点i的结点个数,n为网络中的结点的数量,s为均方差;j为连接结点i的结点,k为网络中的结点(k包含j)(参见文献:bonacichp(1987)powerandcentrality:afamilyofmeasures.americanjournalofsociology:1170–1182.);

(5)根据论文被引频次与论文矩阵计算论文被引频次tc,

根据论文参考期刊与论文矩阵计算论文参考期刊值rfv_d:

rfv_d=∑ifnor(5);

根据科研团队与论文矩阵和论文参考期刊值rfv_d计算团队参考期刊值rfv_t:

rfv_t=∑rfv_d(6);

根据科研团队与论文矩阵和论文被引频次tc计算团队被引频次tcv_t:

tcv_t=∑tc(7);

(6)根据式(8)计算每个作者的学术指数lv:

根据式(9)计算每个作者在团队被引频次中所占的份额(即修正后的作者被引频次,也即作者分享到的学术成果)tcv_fra:

tcv_fra=tcv_t*bpv(9);

(7)用ibmspss22进行相关性分析

表3描述性统计资料

表4相关性(tcv_fravslv)

注:**表示相关性在0.01水平上显著(双尾),下同。

表5相关性(tcv_tvsrfv_t)

如表3、表5和图1、图2的分析结果显示,rfv_t与tcv_t存在统计学意义上的强相关关系,lv与tcv_fra存在统计学意义上的强相关关系;表明,rfv_t值可以用来评价科研团队的学术能力,rfv_t越高,科研团队的学术能力越强;而lv值高的作者,在总体样本论文的被引频次排名中处于明显的优势位置,因此可以用来评价作者的学术能力,lv值越高,作者的学术能力就越强。

(8)泛化性验证

在wos(webofscience,wos)“核心合集”的scie版中下载清华大学的名称中含有“mech”的二级部门(比如:mechanicalengineering)的论文,同时在学科“multidisciplinarysciences”中下载部分机构(不含清华大学)的论文。论文出版时间设定为“2011-2015年”、文献类型设定为“article”,数据下载时间为2018年8月26日,获得论文池;按照步骤(1)-(7)的方法计算作者的学术指数,并分别选取学术指数排名前5%、10%的优选作者,根据作者与论文矩阵计算优选作者的论文数量,再根据论文被引频次与论文矩阵计算优选作者的论文被引频次;与总样本(团队52个,作者934个,论文1968篇)进行对比分析,对学术指数的评价结果进行验证,分析结果如表6:

表6泛化性对比分析

如表6可见,学术指数排名前5%的优选作者(46位)拥有613篇论文,占总论文数的31.15%,而学术指数排名前10%的优选作者(93位)拥有788篇论文,占总论文数的40%;学术指数排名前5%的优选作者(46位)的论文被引频次为62905次,占总论文被引频次的57.68%,而学术指数排名前10%的优选作者(93位)的论文被引频次为76307次,占总论文被引频次的69.97%;

而总样本被引频次排名前十的10篇论文均由学术指数排名前10%的优选作者发表(占比100%),其中有7篇则由学术指数排名前5%的优选作者发表(占比70%);总样本被引频次排名前20的论文中,有19篇论文是由学术指数排名前10%的优选作者发表的(占比95%),其中有15篇则由学术指数排名前5%的优选作者发表(占比75%)。

以上数据表明,在本次对照组的样本中,学术指数排名前10%(尤其是前5%)的优选作者不仅发表较多的论文,而且出版论文的质量十分优良,是被测样本中的佼佼者,这与学术指数这一评价指标的评价结果相吻合。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1