注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

东边日出西边雨——江晓原的网易博客

 
 
 

日志

 
 

SCI和影响因子:学术评估与商业运作——Nature实证研究之三(上)   

2016-01-19 09:36:00|  分类: nature,《自然》 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

载《上海交通大学学报》23卷5期(2015)

 

SCI和影响因子:学术评估与商业运作——Nature实证研究之三(上)

 

穆蕴秋 江晓原

(上海交通大学,科学史与科学文化研究院,200240)

 

 

摘 要:SCI论文(引用)及期刊“影响因子”,被当今学界视为最权威的学术评估手段,却严重忽视了这两者纯粹的商业性质。本文集中考察三个方面内容:SCI论文(引用)和期刊“影响因子”的历史形成过程;上述两者规则设计的合理性质疑;揭示两者背后的商业化运作机制及学术包装手法。

关键词:SCI(科学引用索引);JCR(期刊引证报告);影响因子;尤金·加菲尔德

 

一、科技信息的商业价值

二、SCI和JCR的历史起源

三、SCI推广之诺奖预测

四、学界对SCI的争议

 

  英国《自然》杂志(Nature)创刊于1869年,如今已成科学神话。它在中国科学界更是高居神坛,据2006年《自然》杂志上题为“现金行赏,发表奖励”的文章中说,当年中国科学院对一篇《自然》杂志上的文章给出的奖金是25万人民币,而中国农业大学的类似奖赏高达30万人民币以上,这样的“赏格”让《自然》杂志都感到有点受宠若惊。[[1]]

  《自然》之所以被学界捧上“神坛”,主要的原因,是它在风靡全球的“刊物影响因子(impact factor)”游戏中,长期以来遥遥领先于世界上绝大部分科学杂志——2014年,它的影响因子高达41.5,在SCI期刊中位居第七。换言之,对《自然》的迷信,很大程度上就是对SCI和期刊“影响因子”的迷信。

  但奇怪的是,与这种“迷信”形成鲜明对照,学界对SCI和期刊“影响因子”的历史形成过程,了解却十分有限,而且几乎完全没有注意到这两者纯粹的商业性质。当前的研究,仍然集中在把SCI和期刊“影响因子”当成理所当然的权威学术评估手段,用于衡量个人、学术团体、研究单位、甚至一个国家的整体学术水平。另一方面,由于对相应历史缺乏必要的了解,即使对“游戏规则”的合理性有所质疑,也难以形成深入的看法。

  本论文将从科学史研究视角出发,结合SCI和期刊“影响因子”的历史形成过程,从源头上对其规则设计的合理性进行深入考察,并揭示这两种学术评估手段背后的商业化运作过程,这是前人未曾涉及的工作。

 

一、科技信息的商业价值

 

  科学情报研究所(Institute for Scientific Information,以下按通行习惯简称ISI)逐年发布的科学引用索引(Science Citation Index,简称SCI)和期刊引证报告(Journal Citation Report,简称JCR),被当今科学界视为两种最权威的学术评估数据。许多人误以为它们是由“科学界权威机构”发布的——尽管实际上这家“科学情报研究所”从一开始就是一家地地道道的商业公司,1992年又被汤森路透(Thomson Reuters)收购。只是ISI的这一性质,多年来一直不太为普通公众和许多学界人士所知。

  行用半个多世纪以来,两种数据已经彻底改变了科学界的学术生态和发表机制。创立者尤金·加菲尔德(Eugene Garfield,1925~),个人经历显得中规中矩,没有任何“出格”之处。他1925年出生于纽约布朗克斯区,1949、1954年先后从哥伦比亚大学获化学学士学位和图书情报学硕士学位,1961年获宾夕法尼亚大学结构语言学博士学位。

  1956年,在职攻读博士的加菲尔德注册成立一家名为DocuMation的小公司,推出的第一款信息产品——目录快讯(Current Contents,简称CC),是一种对管理类杂志目录进行定期汇编的小册子。除了零售散卖,贝尔实验室(Bell Lab)成为他第一家企业用户。加菲尔德后来回忆,为了完成与贝尔签订的500份订单,需要先投入500美元作为印刷经费,他靠从私人银行贷款才勉强度过难关。[[2]]

  加菲尔德的事业转折发生在1960年。这年他将公司正式定名“科学情报研究所”,此前曾一度改名“尤金·加菲尔德学会(Eugene Garfield Institute)”,与美国国家健康学会(The National Institute)合作,获得国家科学基金(NSF)30万美元政府资助,共同承担建设基因文献引用索引库(Genetics Citation Index)项目。

  项目对1961年28个国家出版的613家期刊 20000本杂志上的140万条参考文献,建立引用索引,进行编目,最终结果共得五卷,其中基因类文献的引用索引独立成一卷。1963年,基因引用索引数据库顺利结项,加菲尔德原本期望国家科学基金能进一步提供资助,将余下四卷一起出版,但后继申请计划被拒。加菲尔德决定独立承担出版事宜,并将其统一命名为科学引用索引(Science Citation Index),即学界现今所熟知的SCI。

 

二、 SCI和JCR的历史起源

 

  SCI收录一定范围数量的期刊——这通常也被称为“源刊(source journals)”,通过在源刊文本和源刊参考文献之间建立“引用索引(Citation Index)”,可提供检索学者的SCI论文发表数量和被引用次数——在理工科领域,对学者学术水平的评判现今主要取决于这类数据。

  1964年,ISI首次出版1961年SCI报告,此后逐年出版,延续至今。ISI在1973、1978年相继推出的社会科学引用索引报告(Social Science Citation Index,简称SSCI)和艺术&人文科学引用索引报告(Arts & Humanities Citation Index,简称A&HCI),完全套用了SCI的产品思路和模式。

  从方法上来说,SCI 采用的“引用索引”受到的是美国一种判例援引法律工具书的启发。美国法律遵照“判例”原则,法院进行判决时,必须与本院或上级法院此前对相似案例做出的判决保持一致。1873年,芝加哥一个叫弗兰克·谢帕德(Frank Shepard 1848~1902)的法律出版商,开始出版一种他自己编印的工具书,在判例和援引案例之间建立索引,统一进行编列,并标记判例是否已被推翻、撤销、修改或加入限制条件。这种工具书能帮助律师快速了解一个判例是否仍然适宜援引,出版后大受欢迎,法律人士几乎人手一本。谢帕德的名字甚至衍化成了一个法律术语“Shepardize”,意为“查阅《谢帕德引证》”。[[3]]

  JCR,即“期刊引证报告”,本质上是SCI的衍生产品,它逐年发布的期刊影响因子(详见下文),是基于对SCI(后来包括SSCI和A&HCI)“引用索引”数据进行整合处理后得到的结果,该数据现今已成为学界评判期刊优劣的权威指标。[[4]] 1975年,JCR首次以SCI附卷的形式出版,1993年,它被独立推向市场。

  作为一种期刊评估手段, JCR的思想源头可追溯至格罗斯(Gloss)夫妇1927年《科学》(Science)上的一篇文章。他们试图解决这样一个问题:在图书馆预算有限的情形下,应该参照什么标准为学生购买供查阅的化学期刊?[[5]][[6]]

  最简便的方法,当然是找一个权威专家为图书馆开列一个目录清单,但这会受到专家本人阅读经验和个人好恶的左右,特别在购买范围较大的情形下,并不太适用。

  格罗斯夫妇提出的解决方案是,选取知名刊物《美国化学学会杂志》(Journal of the  American Chemical Society),对它1926年发表的247篇文章的3633条参考文献进行统计,按引用次数对所有被引刊物进行排序,刊物重要性与排序结果直接对应,图书馆可参照此清单进行购买。这种筛选方式操作简便,且不存在太高专业“门槛”,很快被其他信息科学家借鉴推广到别的学科领域(参见表1先前学者的整理结果)。[[7]]

 

表1: SCI和JCR出现之前各学科筛选期刊的方式

作者(论文发表年份)

选取期刊数量

参考文献数

学科领域

Gross &Gross,1927

1

3633

化学

Allen,1929

9

2165

数学

McNeely & Crosno,1930

7

17991

电气工程

Gross & Woodford,1931

6

3574

地理

Gregory,1934

~40

26760

医学

Hooker,1935

5

12794

物理学

Hackh,1936

20

22575

牙科

Henkle,1938

1

17198

生物化学

Brown,1956

57

38000

多学科

Garfield,1961

613

约140万

所有科学学科

 

  SCI作为JCR的数据基础,相较前人有所突破的地方在于,不再区分学科类别,收录期刊海量增加。

  但这并不是它们之间根本的区别,根本区别在于,格罗斯夫妇及其后继者们采用同样的方案对期刊进行筛选时,还保持着非常“纯洁”的动机,为的是创造便利、服务学术。SCI和JCR却不是这样,它们从一出生就是商业信息产品,“赚钱”才是它们与生俱来的属性。

这种属性也是加菲尔德千方百计让它们位居高端,凌驾于学术之上的真正动力。其中力证SCI可以预测诺奖,对帮助实现这一目标,起到了关键作用。

 

三、SCI推广之诺奖预测

 

  1965年,即SCI推向市场的次年,在美国海军研究办公室(Office for Naval Research)主办的一次学术会议上,加菲尔德和他的助手提交论文做了大会报告。[[8]] 当时ISI迫切需要打开SCI的市场,所以这次大会报告很大程度上也是一次不失时机的产品推介。加菲尔德的报告从五个方面阐释了SCI的功能:

  1)便于学者了解前人工作,减少不必要的重复研究;2)作为评估研究成果的手段;3)便于追踪发表成果的来源和出处;4)可用于计算期刊的“影响因子”(参见本文第5节);5)为科学史研究提供一种有效的辅助手段。

  在阐述第 2项功能时,加菲尔德选择了最能撩拨学界敏感神经的“诺奖预测”来进行论证。他利用1964年首次出版的1961年度SCI报告比较了两组数据:

  1)1961年共有257900位学者的成果被SCI论文引用,统计他们的引用情况;

  2)1962、1963年共产生13位物理、化学和医学诺奖获得者,统计他们1961年度被SCI论文引用的情况。

  从数据结果可看出(参见表2),13位学者在得诺奖的前一年,他们的成果被SCI论文引用的平均数量和次数远高于一般水平。这确实能说明,优秀科学家群体有着更高的SCI论文被引用数,但并不足以支撑加菲尔德的论断:SCI论文引用数可以反过来用于评估单个学者的学术水平。

  事实上,就在两年前的一篇文章中,加菲尔德还主动发出警告,利用论文引用次数评估科学家和科学成果可能存在风险,理由是“论文的影响和论文的重要性及意义是两码事”。他甚至非常恰如其分地引用了苏联李森科(T. D. Lysenko,1898~1976)的例子,说如果引用次数最多的作者应该获得诺奖,那会得出李森科是苏联最伟大科学家的荒谬结论。[[9]]

  其实13位诺奖获得者中,已经存在一个明显的反例。按照加菲尔德的统计,1963年度物理学诺奖获得者,约翰内斯·詹森(J. H. Jensen 1907~1973)1961年3篇论文的SCI引用才4次。如果单凭SCI论文引用次数来衡量詹森的成果,会得出一个荒谬的结论,这位诺奖得者的学术水平连平均线(5.51次)都没达到。

 

表2: 1961年两组SCI引用数据的对比结果

1961年SCI引用情况

人均被引论文

人均被引次数

论文平均被引次数

自引率

257900位学者

3.37篇

5.51次

1.57次

7.8%

13位1962-63 诺奖得主

58.10篇

169次

2.90次

10.5%

比较结果

17.24倍

30.67倍

1.84倍

 

 

  但是,加菲尔德在随后持续打造SCI“产品形象”的过程中,却似乎完全忘记了当初发出的警告。从1965至1983年间,他先后撰写了30余篇文章,力图证明SCI论文引用可以“预测”诺奖。在1990年的一篇综述文章中,加菲尔德对这些文章的讨论结果进行了归纳(参见表3)。[[10]]

 

表3:1961-1990年六组SCI“高引作者”名单预测诺奖的结果

引用年份

1967

1972

1961-72

1961-75

1961-76

1965-78

截取年限

1

1

11

14

15

13

引用排名

前50

前50

前50

前249

前300

前1000

已获诺奖者

8

5

5

13

15

26

起止年份

1967-90

1972-90

1972-90

1975-90

1976-90

1978-90

后获诺奖者

6

7

13

38

22

35

获诺奖总人数

145

118

118

97

89

76

 

  列表中的数据,以1967年为例,该年度论文被引用数排名前50的学者中,包括8位已获诺奖的人士, 1967年至1990年共产生145位科学(物理、化学和医学)诺奖获得者,其中有6位出现在这个名单上。余下5组数据,包含了类似的信息。

  这些结果中,SCI“高引名录”中已获诺奖的人数不能说明问题。因为一旦某位学者获得诺奖,立马会被当成首屈一指的“大权威”供奉起来,他的论文自然会受到更多关注,也就可能获得更多的SCI引用。

  要检验引用是否可以预测诺奖,主要还得看“高引名录”未来究竟产生了多少诺奖获得者。从加菲尔德呈现的6组数据来看,“高引名录”获诺奖的概率确实比较大,两者存在“正相关关系”。如果把抽样年限加长、名单扩大,这种相关性还会得到加强。

  不过,只要稍微深入探究一下,就会发现加菲尔德对数据的处理存在三个问题:

  首先,非常明显的一个问题是,加菲尔德有对结果进行“选择性呈现”的重大嫌疑。我们知道,学界每年新增SCI论文数以万计,这些论文产生的引用会让SCI高引作者名单各年大不相同,而且截取年限不同,高引名单的结果也不一样。加菲尔德6组数据起始年份各不相同(最早为1961年),截止都在1990年(综述写于这一年),截取年限依次为1年、1年、11年、14年、13年和15年,并无章法可循。套用他的做法,如果把1961到1990年30年按所有可能截取的持续年限进行排列,会得到465种结果,对应排列出来的高引名单应该有465份——而加菲尔德仅仅给出了其中6份,呈样率仅为1.2%,他没有交代如此选择的任何理由(哪怕宣称是“随机抽取”)。

  其次,没有说明“高引名单”人数的选取标准。通常情形下,名单越长,出现诺奖得主的概率也就越大。加菲尔德的6组数据,名单人数从最初的50扩大到了后来的1000,并没有给出任何解释理由。

  再次,没有明确预测的有效年限。通常来讲,预测事件发生是有时限要求的。加菲尔德6组数据的预测年份截止于1990年,只是因为他的综述写于这一年,意味着“高引名单”的预测有效期限可能止于任何年份,也可能永久有效,这完全背离了“预测”的基本要求。

在加菲尔德之后,有学者采用相同路径加入“预测”行列,[[11]] 这些研究对引导学界相信SCI论文高引名单可成功预测诺奖,起到推波助澜的作用——实则是在自觉不自觉帮助SCI树立产品形象。

  ISI 2014年最新公布的“高引名录(highly cited-2014)”,包括的科学人士多达3216位。尽管该名录2014诺奖命中为零,但这并不妨碍它继续受学界追捧。因为在“SCI引用”风行整个学界的年代,能进入“高引名录”已经被当成学术水平突出的象征。另一方面,按照加菲尔德早就备好的逻辑,它放眼的是未来,2014不中,但保不准名单上会出现2015、2016乃至未来更远年代的诺奖得主。

  事实上, SCI引用数据究竟能不能预测诺奖,学界当前还存在相当大的异议。学者金格拉斯(Y.Gingras)和华莱士(M. Wallace)2010年做了一项研究,他们对比物理和化学领域的两组数据:逐年统计1901-2007排名前500的高引作者的被引用情况;[[12]] 和1901-2007年330位诺奖得主的被引用情况。统计结果显示, 1900-1945年间,诺奖得主在获奖当年的平均被引用次数明显高于其他高引作者,出现一个突出的峰值;但是从1946年至2007年,这样峰值再未出现。这意味着,1900-1945年间,成果引用确实可以看作预测诺奖的有效风向标,但是从1950年代开始,试图凭借成果引用从高引学者中鉴别出诺奖得主,已经完全没有可能。[[13]]

  金格拉斯两人把解释的理由归结为两点:1950年代以来科研人数在急剧增加;物理、化学领域专业分支在不断细化。如果他们的研究结论成立,这会导致一个加菲尔德不愿意看到的事实,在SCI开发出来的大约20年前,它在“预测”诺奖这件事上就已经失效了。

 

四、学界对SCI的争议

 

  值得注意的是, SCI还处于早期推广阶段的时候,在学界已经引发争议。1970年,围绕加菲尔德在《自然》杂志上宣传SCI功能的文章《研究科学的引用索引》——其实就是1965年报告的缩减版(参看本文第三节),[[14]] 一些学者表达了异议。

  争论焦点主要集中于这个问题:利用SCI论文引用次数来衡量学者的学术水平,是否是一种合理的做法?科学人士的主要观点可归纳如下:[[15]]

  1)     引用并不仅仅表示赞同,还包括对前人成果的批评或一般性综述。一些作者为了获得引用,可能有意制造耸人听闻的“诈文”。

  2)     引用带有很大主观性,某些情形下,论文被频繁引用只是因为作者是知名学者,和论文学术水平无关。

  3)     一些学者虽然有着可观的论文引用数量,但引用发生在早前的年代,实际情形是他们当前的学术创造力已经枯竭。

  4)     没有出现在论文参考文献中的成果,并不意味着完全没有影响。一些在相关领域被普遍接受的专业术语,同行在论文中提及一般不会给出原始出处。

  5)     论文引用与奖励、基金申请、职位申请等直接挂钩,会导致配合引用等作假手段。

  6)     SCI在收集处理引用数据的过程中,存在不容忽视的误差。

  7)     对于集体成果,只计算论文第一作者引用次数的做法不合道理。典型例证是生化学家奥利弗·罗瑞(O. Lowry 1910~1996)1951年与另外三位作者共同发表的一篇论文[[16]],在加菲尔德1967年统计的“高引作者前50名”中,罗瑞因这篇论文位居第一,它当时被引次数已达2350次,但另外三位合作者并没有出现在名单上。

  针对这些质疑,加菲尔德公司团队做出了回应,ISI欧洲分公司高管考克尔(A. E. Cawkell)反驳说,学者们列举的SCI缺陷都属于“可能事件”,而非“必然事件”,所以不会影响SCI作为评估手段的有效性,加菲尔德则再次强调诺奖预测的有效性。[[17]][[18]]

  与《自然》杂志类似,《科学》(Science)杂志上两位学者1972年的一篇文章也引发同样争议,他们利用1965年SCI报告对物理学家的研究成果进行评估,得出结论认为只有少数精英科学家对物理学发展做出贡献。[[19]]

  两份期刊关于SCI的讨论只是短暂一现,随后很快归于沉寂,但这些争议对我们当下重新审视SCI对学界产生的影响及后果,却有很好的参照和启发作用。

  到1990年代,当一些学者开始意识SCI的使用正在失控,并试图重新质疑其合理性时,SCI“权威学术评估手段”的地位已无可动摇。学界最终“跪倒”在SCI面前的结果是,早期少数学者发出的警告不仅一一应验,甚至其它更夸张、更离谱的事情也正在发生。这样的情形下,回头再看学者阿兰·麦凯(Alan Mackay)1974年《自然》上的文章《发表还是毁灭》(Publish or Perish)——他把SCI称为“学术独裁(tyranny)”,确实具有超前的预见性。[[20]]

 

(未完待续)



参考文献

 

[[1]] I. Fuyuno & D. Cyranoski .Cash for papers: putting a premium on publication[J]. Nature.2006,441:792.

[[2]] E. Garfield . How it all begain – with a loan from HFC. Current Contents.1980-01-21. 3:5-8.

[[3]] W.C. Adair. Citation Indexes for Scientific Literature. American Documentation .1955.6:31-32.

[[4]]E. Garfield. How can impact factors be improved. British Medical Journal. 1996.313:411-3.

[[5]] E. Garfield. Science citation index. Science. 1955;122:108-110.

[[6]] P. L. K. Gross , E. M. Gross.College libraries and chemical education. Science, 1927, 66 (1713) :385–389.

P. L. K. Gross& A. O. Woodford.Serial literature used by American geologists. Science, 1931,73 (1903) : 660–664.

I. Hackh. The periodicals useful in the dental library. Bull Med Libr Assoc.1936, 25 (1–2) : 109–112.

[[7]]Éric Archambault, Vincent Larivière .History of the journal impact factor: contingencies and consequences[J]. Scientometrics.2009. 79: 635-649.

[[8]]I. Sher and E. Garfield. New tools for improving and evaluating the effectiveness of research[J]. Research Program Effectiveness, Proceedings of the Conference Sponsored by the Office of Naval Research Washington, D.C., July 27-29, 1965 .

[[9]] E. Garfield. Citation Indexes in Sociological and Historical Research[J]. American Documentation, 1963,14 (4):289-291.

[[10]]在这篇综述中,加菲尔德对此前的30余篇文章皆有具引:E. Garfield. Of Nobel Class’: Part 1.An Overview of 1S1 Studies on Highly Cited Authors and Nobel Laureates[J].. Current Contents .1992-08. 15:116-126.

[[11]] D. Pendlebury. the 1989 Nobel prize in medicine: 20 who deserve it[J].The Scientist .1989-10-02.3( 19): 14;16;19.

A. Martello. Scientists with the right chemistry to win a Nobel[J].The Scientist.1990-09-17. 4(18):16-7.

[[12]] 汤森路透已把SCI数据补充到1900年至当前,可通过Web of Science查询(需订阅)。

[[13]] Yves Gingras, M. L. Wallace .Why it has become more difficult to predict Nobel Prize winners: a bibliometric analysis of nominees and winners of the chemistry and physics prizes (1901–2007) [J]. Scientometrics .2010-02, 82( 2): 401-412.

[[14]] E. Garfield .Citation Indexing for Studying Science[J].Nature.1970-08-15. 227, 669–671

[[15]] D. Croom .Dangers in the Use of the Science Citation Index[J]. Nature .1970-09-12. 227:1173.

P. T. P. Oliver. Citation Indexing for Studying Science[J]. Nature. 1970-08-22.227: 870.

[[16]] O.H. Lowry; N.J. Rosebrough; A.L. Farr; R.J.Randall; Protein measurement with the Folin phenol reagent[J]. Journal of Biological Chemistry.1951. 193 (1): 265–75.

[[17]] A.E. Cawkell. Science Citation Index[J]. Nature .1970-11-21.228:789-790.

[[18]] E. Garfield .Citation and Distinction[J]. Nature .1973.242:485.

[[19]] J.R. Cole and S. Cole.The Ortega Hypothesis[J].Science.1972-10-27. 17(4059):368-375.

[[20]] A. Mackay. Publish or perish[J]. Nature.1974-08-30.250:698.

 

 

  评论这张
 
阅读(1009)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017