一、 背景及研究概述

近些年来,中国学界关于学术评价改革的呼声日趋高涨,教育部先后印发了《关于深化高等学校科技评价改革的意见》^[1]《高等学校科技分类评价指标体系及评价要点》^[2]《关于开展高等学校科技评价改革试点的通知》^[3]等指导性文件。学术评价改革,特别是人文社会科学评价的改革已经成为学界讨论的热点话题^[4-6]。在目前已有的学术评价体系中,科研产出类的评价指标占有一定的比例。然而,传统的基于科研产出的评价指标由于存在诸如无法完全反应论文真实质量、引文时滞过长、不完全适用于人文社会科学评价等诸多弊端也常受到学界的诟病^[7-9]。事实上,科研产出类指标大多把注意力放在了产出的结果上,而较少有研究或评价实践将注意力放在影响文章能否发表、拥有学术话语权的国际学术期刊编委上^[10]。在这种背景下,传统的只关注科研产出最终结果的评价指标体系需要不断补充和完善。

国际学术期刊编委在国际学术界有着重要的地位,他们保障着最终发表文章的学术品质,被喻为期刊的把门人。编委的当选多是基于自身较高的学术水平,在学界享有较高的学术声誉。这些基于同行评议选出的编委人才相比论文可能更能反映一国或一个机构的科研实力^[10]。如能从国际学术期刊把门人——期刊编委这一科研产出的前置因素视角进行学术评价,分析其与传统的科研产出评价指标的相关性,探讨指标之间的关系特点,对于探索和完善中国现阶段的学术评价体系,提高期刊的办刊质量及国际学术话语权水平无疑有着重要的理论与现实意义。

国外一些学者就大学拥有的编委数量与大学的科研产出指标进行了相关性实证检验。这些研究主要来源于经管商学等领域。具体涉及的学科包括财政学^[11-12]、市场营销^[13]、经济学^[14-15]、管理学^[16]、国际商学、传播学^[17]、酒店与旅游管理^[18]等。事实上,现有文献还存在以下两点不足:第一,现有研究缺乏对大学的编委数量与反映大学科研产出影响力的指标进行相关性实证检验。学者们选择科研产出指标多为科研产出数量的指标,而诸如篇均被引等反应产出影响力的指标则很少涉及^[14]。第二,现有研究缺乏对大学编委数量与科研产出指标相关性的全面而细致的刻画。现有研究多选取编委数量排名靠前的院校与其科研产出排名进行分析,比较二者重叠的部分,或者计算两类排名的相关系数,或基于OLS回归计算编委数量对科研产出指标的影响系数。然而选取编委数量排名靠前的院校,人们并不清楚编委数量排名中间及靠后的院校或者从总体上看所有院校编委数量与科研产出指标的相关关系。此外,OLS回归度量的是自变量对因变量的“平均影响”,结果较为粗糙,缺乏对编委数量与科研产出指标二者关系细致深入的分析,例如大学的编委数量与科研产出指标的相关性在科研产出的不同条件分位点结果可能是不同的,因而存在一定的局限性。

本研究选择在编委数据信息相对较为完整的经济学学科中进行实证。针对以上两点不足的分析,本研究选取国际上拥有经济学SSCI期刊编委的984所大学为样本,首先通过OLS回归对这些大学的编委数量与论文数量、总被引频次、篇均被引、h指数等指标进行相关性实证检验,以考察编委数量指标的特点。然后通过分位数回归方法详细刻画大学科研产出指标位于条件分布不同位置时编委数量与这些科研产出指标的相关性特点,以期能够展现两类指标更为丰富的信息,进一步深入了解编委数量作为评价指标的特性,为完善中国学术评价指标体系、提升中国期刊国际学术话语权水平提供相关信息。

二、 研究方法 (一) 数据收集

本研究首先以期刊引证报告JCR数据库中的economics学科类别下的321本期刊作为本研究的样本期刊(由于部分期刊不提供编委数据信息,实际获取296本期刊),在这些期刊的网站上手工获取这些期刊的编委信息,并通过Excel的汇总统计功能计算每所拥有编委大学的编委数量^[19]。最终获取了984所大学的编委数量信息。

在此基础上,笔者在Web of Science数据库通过创建高级检索式的方法获取984所大学论文数量、总被引频次、篇均被引、h指数四个指标的数据。其中引文窗口选择2008-2012年引文窗。此外,为了减少一些大学由于发文数量较少从而带来篇均被引指标的较大波动、获取更加可靠的统计分析,我们在做编委数量与篇均被引指标的回归分析时,人为设定89篇的阀值(也即发文数量最多5所大学的论文数量平均值的10%),将论文数量少于89篇的大学剔除,最终318所大学构成了编委数量与篇均被引回归分析的样本。

(二) 分位数回归方法

普通最小二乘回归(OLS)拟合因变量的条件均值与自变量之间的线性关系,而分位数回归是通过因变量取不同分位点时(如30%或60%分位点),对特定分布的数据进行估计。因此,它能详细刻画因变量位于条件分布不同位置时自变量对因变量的影响差异,能够为我们提供编委数量与科研产出指标二者关系更为丰富的信息。

此外,普通回归当数据出现尖峰或肥尾分布、异方差时,将不再具有最佳线性无偏估计的优良性。一方面,由于本研究的变量中涉及总被引等引文数据,而引文数据通常具有非正态分布的性质,在此种情况下,分位数回归是一个较好的替代方法^[20]; 另一方面,本研究的样本中共有984所大学之多,这些大学也有很大的差异,在很难获取具体某一学科中诸如科研投入等一些影响科研产出的变量的情况下,遗漏的这些变量多数情况下会被加入到误差项中,模型中存在异方差的可能性很大,分位数回归可以避免普通回归中误差项同分布的严格假设,允许异方差的情况下对变量进行分析。而异方差的存在也可能导致大学的编委数量与科研产出指标的相关性在科研产出条件分位点有所不同。因此,综合以上因素分析,我们选择分位数回归模型。分位数回归模型可表示如下:

$\begin{align} & {{y}_{i}}=x{{\prime }_{i}}{{\beta }_{\theta }}+{{\mu }_{\theta i}} \\ & Quan{{t}_{\theta }}\left( {{y}_{i}}|{{x}_{i}} \right)\equiv inf\{y:{{F}_{i}}\left( {{y}_{i}}|{{x}_{i}} \right)\}=x{{'}_{i}}{{\beta }_{\theta }} \\ & Quan{{t}_{\theta }}({{\mu }_{\theta i}}|{{x}_{i}})=0 \\ \end{align}$

(1)

其中y_i是因变量,在本研究中分别用论文数量、总被引频次、篇均被引、h指数测量。x_i是自变量,在本研究中用编委数量表示。μ_θi为误差项,β_θ是θ分位数下的系数向量。Quant_θ(y_i|x_i)表示给定x_i条件下y_i的第θ个分位数,关于误差项的设定假设Quant_θ(μ_θi | x_i) = 0。当θ在(0,1) 上变动时,第θ个分位数下β_θ的估计值为下面最优化问题的求解:

$\text{min}\left\{ \sum\limits_{i:{{y}_{i}}\ge x{{\prime }_{i}}{{\beta }_{\theta }}}{\theta }\times |{{y}_{i}}-x{{\prime }_{i}}{{\beta }_{\theta }}|+\sum\limits_{i:{{y}_{i}}i{{\beta }_{\theta }}}{\left( 1-\theta \right)}\times \left| {{y}_{i}}-x{{\prime }_{i}}{{\beta }_{\theta }} \right| \right\}$

(2)

限于篇幅,分位数回归的具体技术可以参见相关文献^[21]。分位数回归目前已经在情报计量领域得到了一定程度的应用^{[22; 23]}。本研究所有的统计分析均通过运用Eviews6.0软件完成。

三、 结果与讨论 (一) OLS回归结果

本研究以编委数量作为自变量,论文数量、总被引频次、篇均被引、h指数分别作为因变量,首先进行OLS回归分析。各变量数据的描述性统计见表 1。

表 2给出了OLS回归结果。表 2显示,编委数量与论文数量、总被引频次、篇均被引、h指数的回归系数均为正,且均在1%的水平上显著,表明经济学学科中,大学的编委数量与大学的这4个科研产出指标均具有显著的正向相关关系。然而从回归方程的拟合优度R²来看,其相关程度并不相同。其中编委数量与论文数量、总被引频次的相关性最高(R²分别高达81.8%和86.1%),编委数量与h指数的相关性次之,也有着较高的相关性(R²为62.5%),但是编委数量与更加反映科研产出影响力的篇均被引的相关性则相对较低(R²为28.1%)。

(二) 分位数回归结果

在OLS回归结果中,我们发现编委数量与论文数量、总被引频次以及h指数三个回归方程存在异方差(见表 2中的White异方差检验)。异方差也可以由编委数量与科研产出指标的散点图看出,以编委数量和总被引频次为例(图 1) 发现:随着编委数量的提高,总被引指标呈现发散的趋势,这是典型的异方差特征。R为根据OLS回归结果拟合的回归线,R1为相对较高分位点处的回归线,而R2为相对较低分位点处的回归线。三条不同斜率的回归线也反映出编委数量与总被引的相关性在科研产出的不同条件分位点时可能并不相同。因此我们运用分位数回归方法进一步探究编委数量与科研产出各指标的相关性。

这里仍以编委数量作为自变量,论文数量、总被引频次、篇均被引、h指数分别作为因变量,并将论文数量、总被引频次、篇均被引、h指数各以5%为间隔,分为19个分位点。分位数回归结果如表 3(5%~50%)和表 4(50%~95%)所示。

表 3和表 4结果显示,编委数量与论文数量、总被引频次、篇均被引、h指数指标在所有分位点均有着显著的正向相关关系,且从拟合优度R²来看,编委数量与论文数、总被引、h指数的相关性相对较高,与篇均被引的相关性相对较低,这和OLS回归结果有着很好的印证。

更为重要的是,分位数回归结果展现了更为丰富的信息:编委数量对论文数量、总被引频次、h指数三个指标的回归系数呈现逐渐增大的趋势,一所大学的论文数量、总被引频次、h指数位于越高(低)分位点时,编委数量对它们的影响系数也越大(小)。编委数量与篇均被引的回归系数在不同分位点也有所不同,但是在35%分位点后,回归系数的变化不明显。分位数回归结果所展现的这些特点也可由图 2~图 5看出。

由图 2~图 5中OLS回归与分位数回归结果的对比也发现:编委数量对论文数量、总被引频次、h指数的回归系数分别在35%分位点、55%分位点、30%分位点及以上时要高于OLS回归的结果,而在上述三个分位点以下时要低于OLS回归的结果; 编委数量对于篇均被引的回归系数在30%分位点及以下、60%、80%分位点时低于OLS回归的结果,在其余分位点都要高于OLS回归的结果。由此可见,分位数回归呈现了OLS回归无法观测到的更加全面完整的信息。

(三) 讨论 1. 编委数量与各科研产出指标形成显著正相关的原因

OLS回归与分位数回归都表明大学的编委数量与各科研产出指标具有显著的正向相关关系。两类指标形成显著的正向相关关系可能有以下两方面原因。首先从科研产出影响编委数量的方向上看,编委能够当选正是由于他们自己具有较高的科研产出能力。一些来自不同学科的实证也都证实编委具有较强的产出能力^[24-27]。由此推广到学校层面,一所大学科研产出的数量与影响力越高,这里面所蕴含的编委数量越多的机率也应该越大。再从编委数量影响科研产出的方向上看,一方面,编委可能基于自身较高的科研产出水平直接为本校贡献了较多高影响力的科研产出; 另一方面,一些学者认为编委可能由于掌握着学术话语权的原因而影响着一所大学的科研产出,编委把握着期刊的研究主题、决定着文章能否发表,而与编委有着相同学术背景的学者可能与编委有着共同关注的研究主题、有着相类似的学术观点和研究范式,由于这种研究主题、学术观点、研究范式上的相似性和认同感,与编委有着共同学术背景作者的文章可能相对容易得到发表^[28-29]。

2. 编委数量与篇均被引相关性相对较低的原因

编委数量与篇均被引的相关性相对较低与我们的预期有所不同,我们认为可能和两个指标的性质有一定关系。编委数量与大学规模有一定关系,规模大的大学自然编委数量要多一些,因此它和同样反映规模的论文数量、兼顾反映规模与影响力的总被引频次、h指数的相关性相对较高。而篇均被引指标与规模无关,它更多地反映了一所大学的篇均影响,且可能对于一些规模较小的大学更为有利。我们即使对各大学的最少发文数量设置了阀值,但可能仍然无法完全消除这种规模上的影响。例如规模相对较大的牛津大学发文数量为845篇,编委数量有136人次,篇均被引仅为5.5,而规模相对较小的达特茅斯学院和布朗大学,两所学校的发文数量分别只有139篇和175篇,两校的编委数量分别为31人和40人,但是两校的篇均被引却分别高达10.78和10.34次。这些学校很难靠设置阀值来消除规模上的影响。

3. 分位数回归结果的解释

分位数回归结果表明一所大学的论文数量、总被引频次、h指数位于越高(低)分位点时,编委数量对它们的影响系数也越大(小),编委数量与篇均被引的影响系数在不同分位点也有所不同,为什么会有这样的结果呢？正如我们在介绍分位数回归时所说,使用分位数回归方法正是考虑到一些遗漏的变量会产生异方差,正是这些遗漏的变量影响着大学科研产出的条件分布,从而造成编委数量与科研产出的相关性在科研产出的不同条件分位点有所不同(图 1) 。因此,要分析不同分位点的不同结果,就要分析这些遗漏影响大学科研产出的因素。这些因素可能有:编委自身科研水平的差异、科研投入的影响、科研政策的影响。

首先,如果将编委视作一种投入的话,我们并没有对编委这一因素本身进行区分。不同的编委,他们自身的科研产出水平可能有很大差异,即使投入相同的编委数量,但是因为编委自身的科研产出水平的不同,他们对科研产出的影响也会有所不同。编委的科研产出水平越高,越能为本校贡献更多的论文和被引频次,因此,一所大学拥有越多科研产出水平较高(低)的编委,该校越有可能位于科研产出条件分布的高(低)分位点。 第二,科研投入是影响科研产出非常重要的变量。由于大学某一具体学科中的科研投入数据较难获得,我们没有把科研投入这一影响大学科研产出的重要变量纳入到模型中,因此可能造成了大学编委数量与科研产出的关系在科研产出的不同条件分位点的结果有所不同。科研投入较多(少)的大学越有可能位于科研产出条件分布的高(低)分位点。第三,相关的科研政策也是影响一所大学科研产出的重要因素之一。例如一些研究型大学关于发表SCI和SSCI论文的奖励政策以及博士生毕业发表SCI和SSCI论文的硬性规定可能也会使得这些高校的论文数量相对较多,我们也限于科研政策较难量化而没有把这一因素纳入到模型中。各大学科研政策的不同可能也是造成大学编委数量与科研产出的相关性在科研产出的不同条件分位点有所不同的原因。

4. 编委数量作为评价指标的优势与不足

论文数量、被引等指标应用于科研评价已经较为成熟。编委数量与这些已经较为成熟的计量学指标有着显著的正相关性且相关性较高,说明编委数量也是较为合理可靠的指标。当然编委数量与篇均被引指标相关性较低也说明编委数量指标并不能完全取代篇均被引,编委数量指标也有着自身的特点。编委数量作为评价指标有着以下两点优势:第一,被引作为评价指标有着一些难以克服的缺点,比如不能完全反应论文质量、引文窗口的选择较为复杂等。而使用同样可以反映科研实力的编委数量指标则不存在上面这些问题。第二,人文社会科学相比自然科学评价更为复杂,以发表论文为评价基础可能更适合于自然科学学科,在强调人文社会科学评价标准多元化的今天,基于学者长期学术声誉建立起的编委数量指标也可以为人文社会科学评价提供一个新的思路。而编委数量作为评价指标的不足之处可能在于相应的编委数据库还比较缺乏,在目前的评价实践中,数据的获取有一定难度。

四、 结论

本研究从国际学术期刊编委的视角出发,以经济学296本SSCI期刊中拥有编委的984所大学作为样本,对这些大学的编委数量与论文数量、总被引频次、篇均被引、h指数等科研产出指标进行了相关性的实证检验。主要得出以下结论。

第一,编委数量作为评价指标合理可靠,可作为科研产出类指标的有益补充,完善目前的学术评价体系。

编委数量与论文数量、总被引频次、篇均被引、h指数均有着显著的正向相关关系,且编委数量与论文数量、总被引频次、h指数相关性较高。这说明编委数量与这些较为成熟的评价指标具有相似性,编委数量作为评价指标也较为合理可靠。编委数量指标也有着相比引文类指标的一些优势,今后可考虑将编委数量指标作为一种较为简单便捷的学科评价指标与论文数量、总被引频次等指标相互补充借鉴。编委数量与篇均被引也有着显著的正向相关关系,但相关性相对较低。这说明编委数量指标还不能完全取代篇均被引评价指标,编委数量指标也有着自身的特点。今后可以根据评价的具体需要,将编委数量与篇均被引等指标共同构成学科评价的参照系,以完善目前的学术评价体系。特别是在人文社会科学评价日益多元化的今天,以国际学术期刊编委数量作为评价指标也为我们提供了一个新的思路。

同时,这一结论也启示我们,作为科研产出前置因素的期刊把门人——期刊编委与最终的科研产出成果两者有着紧密的联系,不可偏废。在中国大学科研产出影响力还与世界发达国家存在差距、学术话语权在国际上还处于弱势地位的背景下,研究型大学可以鼓励支持本校的优秀学者积极担任国际期刊编委,同时注重加强国际学术话语传播平台——国际期刊的建设,以增加研究型大学的国际学术话语力量。

第二,分位数回归展现了更为丰富的信息,对于位于不同分位点的大学,评价标准应有所不同。

分位数回归为我们展现了更为丰富的信息:当一所大学的论文数量、总被引频次、h指数指标位于越高(低)分位点时,编委数量对它们的影响系数也越大(小),编委数量与篇均被引指标的影响系数在篇均被引的不同分位点也有所不同。从评价的角度看,对于位于科研产出高分位点的大学,他们投入一定的编委数量后,所应达到的科研产出水平与位于较低分位点的大学所应达到的科研产出水平应该是不一样的,评价应根据大学的实际情况进行分类评价,防止科研评价“一刀切”的现象。此外,如果将编委人才视作一种科研人才投入的话,对于论文数量、总被引、h指数位于较高分位点的大学,投入编委人才的回报也越大,这些大学可以充分利用科学界的马太效应,积极促成编委人才与科学研究成果二者的积极良性循环互动。