文章快速检索    
  重庆大学学报(社会科学版)  2013, Vol. 19Issue (4): 101-106  DOI: 10.11835/j.issn.1008-5831.2013.04.015 RIS(文献管理工具)
0

引用本文 

刘霞, 赵基明, 魏攀. 期刊评价新指标及实证研究—期刊贡献值与贡献因子[J]. 重庆大学学报(社会科学版), 2013, 19(4): 101-106. DOI: 10.11835/j.issn.1008-5831.2013.04.015.
LIU Xia, ZHAO Jiming, WEI Pan. A New Couple of Indicators for Journal Evaluation:Journal Contribution Value and Journal Contribution Factor[J]. Journal of Chongqing University(Social Science Edition), 2013, 19(4): 101-106. DOI: 10.11835/j.issn.1008-5831.2013.04.015. .

作者简介

刘霞(1972-), 女, 武汉大学图书馆副馆长, 副研究馆员, 博士, 主要从事信息管理与科学评价研究;
赵基明(1952-), 男, 武汉大学图书馆、中国科学评价研究中心研究馆员, 主要从事期刊评价研究;
魏攀(1981-), 女, 武汉大学图书馆, 主要从事资源组织和评价研究。

文章历史

修回日期: 2013-04-17
期刊评价新指标及实证研究—期刊贡献值与贡献因子
刘霞a,b, 赵基明a,b, 魏攀a     
a. 武汉大学 图书馆, 湖北 武汉 430072;
b. 武汉大学 中国科学评价研究中心, 湖北 武汉 430072
摘要: 文章采用数量与质量相结合的引文分析方法构建了一对新的期刊评价指标,期刊贡献值(JCV)和期刊贡献因子(JCF),并对2009年JCR(科学版)收录的7 387种期刊进行实证研究。结果表明,JCV和JCF排序结果与学术界的定性评价比较吻合,名列前茅的期刊均是各学科的著名期刊,且以原创性期刊为主;新指标对期刊被引量的突然变化反应相对平稳,且能抑制过度自引提升排序的现象;新指标虽然采用影响因子(IF)表征引用价值权重,但并不偏向于高IF的期刊;相关性研究表明,JCV和JCF有很好的自洽性。
关键词: 期刊评价    引文分析    期刊贡献值    期刊贡献因子    影响因子    
A New Couple of Indicators for Journal Evaluation:Journal Contribution Value and Journal Contribution Factor
LIU Xiaa,b , ZHAO Jiminga,b , WEI Pana     
a. Library, Wuhan University, Wuhan 430072, P. R. China;
b. Research Center of Chinese Science Evaluation, Wuhan University, Wuhan 430072, P. R. China
Abstract: This article suggests a new couple of indicators for journal evaluation:Journal Contribution Value (JCV) and Journal Contribution Factor (JCF), which take into account not only the quantity but also the quality of citations. The JCV and JCF of 7 387 journals in JCR Science Edition 2009 have been calculated. The result shows that the journal rankings by JCV and JCF correspond well with the general understanding of journal status by experts. All the top journals are the most famous journals in their subjects and most of them are original journals. The new evaluation methods can effectively reduce the maneuverability and human intervention conducted by evaluated journal itself. JCV and JCF have good self-consistency.
Key Words: journal evaluation    citation analysis    journal contribution value (JCV)    journal contribution factor (JCF)    impact factor(IF)    
一、引言

学术期刊评价是文献资源评价活动的一个重要方面,评价理念和评价指标合理与否直接影响着评价结果的公正合理性。因而它既是文献情报部门,也是编辑出版界、学术界共同关心和感兴趣的课题。无庸置疑,期刊对于科学进展的推动最终要由专家学者评判。文献计量评价虽然不能替代专家评估,但与之有很好的互补性,在学术期刊评价、个人或学术机构的科研绩效评价,甚至在国家层面的科学影响分析中都有广泛应用,成为专家评价的补充和参考。

文献计量分析最早可以追溯到Cole等人1917年对比较解剖学文献的统计分析[1],但仅仅是对文献数量的统计分析。1927年Gross等人通过统计分析发表化学论文期刊的参考引用文献,得出了该领域的核心期刊[2],这是历史上的第一次引文分析。20世纪六七十年代,Garfield推出Science Citation Index,创办了专门的学术期刊定量评价工具Journal Citation Reports(JCR)[3],为人们从关注发表文献数量转向到关注文献被引状况提供了方便,加速了文献计量学理论和实践研究的发展。

然而,虽然引文分析相对单纯的发文数量分析有了不小的进步,但长期以来都是采用将所有引用作等效处理的引用数量分析,没有考虑到不同引文的质量差异,这样的引用分析并不完善。因为事实上来自Nature上的论文的引用与来自某种不知名期刊上的文章的引用应该有不同的引用价值[4],人们也已认识到,没有考虑引文价值的差别[5],是引文分析存在的最关键问题。

二、期刊贡献值(JCV)与期刊贡献因子(JCF)

我们认为,在对期刊或论文的学术贡献作引用分析测量时,既要考察引用数量贡献,也要考察引用价值的贡献,即从哪类引用者(包括哪种层次的学者、哪种水平的研究成果、哪种档次的学术期刊)所获得的引用。因为不同档次研究成果绝大多数发表在相应档次的学术期刊上,重要学者的重要研究成果多发表在重要学术期刊上,反之一般学者的一般性学术成果多发表在一般性学术期刊上;又因为能被高档次引用者引用即表明被引文献对推进重要研究工作有参考借鉴作用,对推进学术研究的贡献相对较大,若只能被一般引用者引用则表明被引文献对推进学术研究的贡献相对有限。因此,我们提议在引文分析中给来自不同引用者的引用赋于不同的权重,希望通过加入这个新变量反映出引用价值的贡献。我们认为可以用引用期刊档次代表引用作者和研究工作的水平档次,可以借用期刊影响因子这一已有期刊评价成果来具体表征引用价值权重。我们的兴趣和目的是将引用次数和引用价值权重作有机结合,进行比较全面的评价测量,探索到更为科学合理的期刊评价方法和评价指标,提高引用分析结果的准确度。

基于以上思路,我们设计了一对分别表示期刊整体贡献和表示期刊论文分值的评价指标,并称之为JCV(Journal Contribution Value)和JCF(Journal Contribution Factor)。根据大量试算结果的比较与归纳,提出了计算JCV与JCF的如下经验公式:

$ \begin{array}{l} JCV = \sum\limits_{j = 1}^n {Ncj} \times IFcj\\ ({j = }{\rm{1, 2, 3, }} \cdots ) \end{array} $ (1)

此处Nc j为引用期刊j在评价年度引用被评价期刊前两年发表论文的次数,IFc j是引用期刊j在评价年度的影响因子。Nc j×IFc j即引用期刊j的引用次数乘以引用价值权重系数的乘积,表示被引期刊在评价年度为引用期刊j所作贡献,是引用数量和引用价值共同作用的结果。JCV是被评价期刊为其全部引用期刊所作学术贡献值之和,可从整体上反映期刊在评价年度为推动科学研究与进步作出的总贡献值,是一个体现期刊整体贡献的评价指标。

$ JCF = \frac{{JCV}}{{\sqrt P }} \times 1/100 $ (2)

这里JCV即被评价期刊的总贡献值,P为被评价期刊在评价年度前两年内发表的论文数。结合(1) 式和(2) 式可以看出,JCF的大小由期刊发表论文数、被引次数和引用价值权重系数三个因素共同决定,是一个数量与质量相结合、体现期刊论文分值的评价指标。

三、实证研究 (一) 数据来源及计算方法

实证研究是基于从期刊引证报告(JCR Science Edition) 200 9年得到的数据,引用分析的时间窗口为2年。数据采集与计算方法为:(a)从JCR的“Journal Summary List”逐一获取所有被引期刊的“Number of items published in 2007-2008”,得到在计算中要用到的P值;(b)点击“Cited journal data table”,采集其全部引用期刊的引用数据记录保存到EXCEL中;(c)利用EXCEL自动计算功能计算出引用期刊在2009年引用被引期刊在2007-2008年发表论文的引用数Ncj;(d)利用EXCEL自动计算功能求出被引期刊为各引用期刊所作的贡献Ncj×IFcj,按公式(1) 累加全部的Ncj×IFcj值即得到该被引期刊的JCV;(e)在此基础上按公式(2) 计算各被引期刊JCF。

例如测算期刊A在2009年的JCV和JCF,只需按以上方法从JCR采集到A刊2007-2008年发表的论文数及其引用期刊在2009年的引用数据记录,便可根据以上方法和计算公式很方便地计算出A刊的JCV、JCF。如A刊在2007-2008年共发表了30篇论文,这30篇论文在2009年被B刊(IF=0.8) 引用2次、被C刊(IF=2.5) 引用4次、被D刊(IF=5) 引用8次,被E刊(IF=4) 引用5次,被F刊(IF=3.6) 引用3次,被A刊(IF=1.5) 自引23次,根据(1) 式和(2) 便可计算得到A刊2009年JCV=116.9,JCF=0.213。由此可见,我们的数据来源可靠且容易获得,而且计算非常简单,便于理解,有很强的可操作性和可重复性。

(二) 测算结果

根据算式(1) 和(2) 对2009年JCR Science Edition[6]中的7 387种期刊进行了JCV和JCF的实证测量,所得2009年JCV和JCF排名前20种期刊见表 1

表 1 2009年JCV和JCF排名前20种期刊表

我们比较研究了JCV、JCF与Total Cites(TC)及IF相互间的相关性以及JCF与JCV之间的相关性,结果显示JCV与TC、JCF与TC、JCV与IF、JCF与IF的相关系数分别为0.964 6、0.775 7、0.439 2、0.743 4,说明被评价期刊的总引用次数TC与JCV、JCF值的相关性很强;被评价期刊的影响因子IF与JCV的相关性较弱,但与JCF的相关性稍强。JCV与JCF相关系数R=0.855 2,则表明这对新指标有很强的相关性和自洽性。图 1(A-D)分别是JCV与TC、JCF与TC、JCV与JCF、JCF与IF的相关性散点图。表 1图 1可清楚看到:NATURE、P NATL ACAD SCI USA(PNAS)、SCIENCE显然是整体上对科学研究贡献与影响最大的期刊。

图 1 JCV与TC、JCF与TC、JCV与JCF、JCF与IF的相关性散点图
四、讨论

采取数量与质量相结合的方法对学术期刊进行引用分析,符合计量评价发展趋势和需要,但评价方法是否真正科学合理还要看能否得到学术界的认可,要看评价结果是否符合专家学者的看法。考察期刊评价中名列前茅的期刊及其排位合理与否,是对所用评价方法的科学合理性、评价指标的客观公正性最有效最便捷的检验。NATURE、PNAS、SCIENCE是学术界公认的顶级期刊,在我们的测量结果中,三者JCV处于前三甲位置,JCF分别列于第1、6和2位。其他名列前茅期刊都是各学科的著名期刊,而且学科分布也比较均衡。如生物医学类有CELL、NEW ENGL J MED、NAT GENET、LANCET、NAT IMMUNOL、BLOOD;物理学类有PHYS REV LETT、APPL PHYS LETT、ASTROPHYS J;化学类有J AM CHEM SOC、ANGEW CHEM INT EDIT、J BIOL CHEM等期刊。这样的评价结果符合学术界对学术期刊的主流看法,从一个侧面说明实证结果支持我们引用数量与引用价值相结合的评价方法,借用期刊影响因子代表引用价值权重的做法也是可行的。

也许有人会问,借用IF作为引用价值权重得到的新指标,是否会偏向于高IF期刊呢?我们的答案是否定的。从表 1可以看出,JCV排名前20位的期刊中包含有13种IF排在100位之后的期刊,JCF排名前20位的期刊中包含有4种IF排在100位之后的期刊。而IF=87.925排第1位的CA-CANCER J CLIN,其JCV=15 409.870仅排第246位,JCF=24.365排第30位;IF=49.926排第2位的ACTA CRYSTALLOGR A,其JCV=8 723.678仅排第448位,JCF=7.898排在第172位,它们的JCV和JCF指标的排位都明显后移。说明在用IF作为引用价值权重情况下,虽然也包含有被评价期刊自引和其IF的作用,但并非被评价期刊IF高其JCV、JCF就一定更高或很高。表 1及我们的全部结果均表明,只能是那些既有较高总被引次数、较高IF,同时又能获得较多的高引用价值期刊的引用的期刊才能获得高的JCV和JCF。如同属“MULTIDISCIPLINARY SCIENCES”类下的J R SOC INTERFACE自身的IF=4.466,被IF ≥ 10的19种期刊引用38次,被5 ≤ IF<10的27种期刊引用132次,其JCV、JCF分别为3 728.618和2.326,IF、JCV、JCF在7 387种期刊中排序分别为第628、908和754位。而IF=2.670的ANN NY ACAD SCI被IF ≥ 10的75种期刊引用308次,被5 ≤ IF<10的193种期刊引用1 128次,其JCV、JCF分别为24 051.160和5.366,IF、JCV、JCF在7 387种期刊中排序为第1 511、151和307位。前者自身IF较高但被高引用价值期刊引用较少,所以JCV、JCF排序较IF排序有所下降,后者虽然IF低一些,但被高引用价值期刊引用较多,其JCV、JCF排序比IF排序却有较大提高。

也可能还有人要问,新指标是否更有利于高自引期刊呢?我们的答案也是否定的。首先我们看到,自引率很低的NATURE、PNAS、SCIENCE (自引率分别为1.81%、3.76%、1.45%),它们的JCV和JCF排位一点也没受到自引率低的影响,反而比IF排位都有提前。我们特别查看了高自引期刊的反应,如因过度自引在2010年JCR中停止公布其影响因子的BALK J GEOM APPL和TRANSPORT两刊,在2009年的自引率都高达82%,前者IF、JCV、JCF分别为0.765、27.169、0.038,分别列于第5 100、6 210、6 007位,后者IF、JCV、JCF分别为2.552、640.610、0.595,分别列于第1 650、2 719、2 401位,两刊的JCV分别比IF排名低了1 110位和1 069位,JCF分别比IF排名低了907位和751位,说明在引用分析中考虑加入引用价值权重这个变量形成的新指标,事实上对期刊过度自引可能形成的自我拉高评价结果的情况有一定的抑制作用。我们的新方法还表现出对期刊引用中产生的突然变化反应相对平稳,例如ACTA CRYSTALLOGR A,2001-2008年影响因子一直在1.417~2.385之间波动,2009年突然飙升至49.926排第二位,令人感到非常惊讶[7-8]。我们得到该刊2009年JCV=8 723.678只排第448位,JCF=7.898只排第172位。我们考察了该刊的引用记录,其引用数大增并非靠扩大自引(该刊2009年自引率仅为0.49%)所致,而是由于其中1篇论文获得的高被引引起的变化。这种情况虽然能使其引用次数大幅提高,IF得以大幅提升,但因无法改变其它引用期刊的价值权重,而不可能使既考虑引用数量又考虑引用质量的JCV、JCF得以同步提升。这在一定程度上表明新方法还能有效抑制因引用数剧烈变动造成评价指标失真的情况,在降低期刊自身对评价指标的可控性方面也有较好的效果。

2007年,生物学家Bergstrom等人借鉴Pagerank算法和思路,研究开发了Eigenfactor TM. Score(EF)、Article Influence TM. Score(AIS)指标[9-10]。该指标在计算过程中赋予引用期刊的声望这一影响因素,在很大程度上改变了IF名列前茅期刊中评述类期刊占比过高的格局,受到不少好评[11-12],期刊的EF和AIS值在JCR中也得到了揭示和反映[6]。JCV与JCF指标排序也很好地做到了这一点。在2009年IF、EF、JCV前50种期刊中分别有26种、0种和1种评述类期刊(JCV中的一种评述类期刊是CHEM REV,排名第48位,该刊在EF中也排在邻近的第53位)。在表示期刊论文分值的AIS和JCF的前50种期刊中分别有22种和7种评述类期刊,JCF结果占比更低。我们认为,无论从科技期刊发展历史、各类型期刊数量、所载论文的新颖性,还是从论文成果形成过程中投入的人、财、物力状况看,原始期刊在科技发展长河中的主导作用和地位是无可质疑的(历史上所有诺贝尔奖成果都是发表在原始期刊上)。不少评述类期刊的确发表了许多好的评论,但这些评论毕竟是在原始科技文献基础上形成的。读者阅读评论文献可以从中快捷地了解到研究课题的来龙去脉,但对其中论及的新理论、新方法、新技术等原创性成果,主要还是通过对原始文献的研读理解来启发、促进自己的研究,创造新成果、新知识。EF、JCV、JCF排序中名列前茅期刊以原始期刊为主体,使名列前茅期刊类型分布趋于合理,表明这些指标在揭示科技期刊贡献和影响方面更切实际情况,彰显了它们的公正性和实用性。

指标相关性研究表明,除JCV与IF相关性相对较弱外,其它指标之间都有很强的正相关性。我们还发现JCV、JCF与EF、AIS排序有较好的相似性。如JCV与EF排名前3位的分别都是NATURE、PNAS、SCIENCE,期刊CELL的JCV与JCF分别排第9、第3位,而其EF与AIS分别排第9、第5位;NEW ENGL J MED的JCV与JCF分别排第10、第4位,而其EF与AIS分别排第10、第6位;JCV前20名期刊中有18种出现在EF前20名之中。比较JCV与JCF和EF与AIS这两对指标我们还能看出,JCV与JCF二者的自洽性比EF与AIS的自洽性要好。如PNAS的JCV与JCF分别排第2、第6位,而其EF与AIS则分别排第2、第121位;J AM CHEM SOC的JCV与JCF分别排第4位和第11位,而其EF与AIS则分别排第6位和第258位;J BIOL CHEM的JCV与JCF分别排第6位和第22位,而其EF与AIS则分别排第5位和第353位;PHYS REV LETT的JCV与JCF分别排第7位和第27位,而其EF与AIS则分别排第4位和第196位;ASTROPHYS J的JCV与JCF分别排第8位和第25位,而其EF与AIS则分别排第12位和第445位;J CLIN ONCOL的JCV与JCF分别排第13位和第12位,而其EF与AIS则分别排第20位和第130位。这些代表性期刊的JCV与JCF指标排序差值都在1~20位之间,而EF与AIS指标排序差值却都在110~433位之间,JCV与JCF的自洽性明显较高。期刊整体贡献无疑与论文水平有密切联系,对用相应评价理念与方法得出的成对指标而言,应该是具有较高自恰性更合理一些。

英国皇家学会、美国国家科学院院士Alan Fersht[11]设想有A类期刊每年只发表很少论文而有一个很高的IF,B类期刊每年发表特多的论文而只有一个令人难看的IF,C类期刊每年发表为数适中的论文而有一个中等的IF,并断言C类期刊可能是最重要的期刊。我们的结果显示,在2009年JCR覆盖的7 387种期刊中,JCF前20名期刊中既不包括IF排名1-2、5-6位的高影响因子期刊,也不包括IF排名在164位以后的任何期刊;既不包括论文数排名在1-5位、7-9位的高发文量期刊,也不包括论文数排名在第3 691位之后的所有小型期刊。同样可以看到,在JCV前20名中既不包括IF排名在1-2位、4-7位的期刊,也未包括IF排在第954位之后的期刊,在JCV前10名中则既不包括论文数排名1-5的高发文量期刊,也不包括论文数排名在543位以后的期刊。按JCV、JCF结果,那些发文量少、IF很高的期刊和发文量特多而IF很低的期刊的确没有太好的表现。如同属“CRYSTALLOGRAPHY”子类的ACTA CRYSTALLOGR A和ACTA CRYSTALLOGR E,前者IF=49.926排第2位,而其JCV、JCF分别只排第448和172位;后者2007-2008年发表论文8 698篇排第3位,而其JCV、JCF分别只排在第903和2 960位,它们的JCV、JCF与IF或论文量排名存在很大落差。这在一定程度上印证了Fersht的判断,如果这种判断能代表学术界的主流看法,则表明我们的结果与学术界的主流看法有较好的吻合。

五、结论

我们采用数量与质量相结合的引文分析方法符合计量分析评价发展的趋势和需要。实测结果表明JCV和JCF结果排序与学术界对期刊的定性评价相当吻合,当今对科学研究贡献最大、推动力最强的期刊是NATURE、PNAS、SCIENCE等期刊,JCV和JCF排序名列前茅的其他期刊也都是各学科的著名期刊,而且学科分布也比较均衡。

新指标对期刊过度自引形成的自我拉高评价指标的情况有比较明显的抑制作用,对期刊引用的突然变化反应相对平稳,显示有降低期刊自身对评价指标的可控性或人为干扰评价指标的效果。由JCV和JCF得到的名列前茅期刊以原始性期刊为主,这种期刊类型分布的结构性改变,符合科技期刊的整体状况,能更加真实地反映期刊在促进科学发展与进步中所发挥的作用和所作贡献。

相关性研究表明,JCF与JCV有很好的相关性,JCV与TC、JCF与TC也都有很强的相关性。虽然我们借用IF表征引用价值权重,但JCV与IF的相关性并不高,IF对JCF的影响也不及总引用次数的影响大,这是因为这里的IF是所有引用期刊的IF,而不仅仅是被评价期刊的IF,所以新指标也并不存在偏向于高IF期刊的倾向。我们还发现JCV、JCF排序与EF、AIS排序有较好的相似性,而且JCV、JCF结果比EF、AIS结果有更好的自洽性。

参考文献
[1] COLE FJ, EALES NB. The history of comparative anatomy, Part I:A statistical analysis of the literature[J]. SCI PROG, 1917(11): 578–596.
[2] GROSS PLK, GROSS EM. College Libraries and Chemical Education[J]. Science, 1927(66): 385–389.
[3] CRONIN B. The citation process:The role and significance of citations in scientific communication[M]. Taylor Graham, London, 1984.
[4] RADICCHI F, FORTUNATO S, CASTELLANO C. Universality of citation distributions:Toward an objective measure of scientific impact[J]. Proc Natl Acad Sci USA, 2008(105): 17268–17272.
[5] THOMSON REUTERS.Journal Citation Reports.[EB/OL].[2012-07-15]. http://admin-apps.webofknowledge.com/JCR/JCR?RQ=HOME.
[6] DIMITROV JD. KAVERI SV. BAYRY J. Metrics:journal's impact factor skewed by a single paper[J]. Nature, 2010(466): 179.
[7] GRANT B. New impact factors yield surprises[J]. Scientist, 2010(24 N): 8–15.
[8] BERGSTROM CT. Eigenfactor:Measuring the value and prestige of scholarly journals[J]. College and Research Libraries News, 2007(68): 314–316.
[9] WEST JD, BERGSTROM CT, BERGSTROM TC. The Eigenfactor metrics:A network approach to assessing scholarly journals[J]. Coll Res Libr, 2010(71): 236–244.
[10] FERSHT A The most influential journals:Impact Factor and Eigenfactor[J]. Proc Natl Acad Sci USA, 2009, 106:6883-6884. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2678438/
[11] FRANCESCHET M. Ten good reasons to use the Eigenfactor (TM) metrics[J]. Inform Proc Manag, 2010(46): 555–558.