得魚忘筌:SCI評價體系的興衰 | 袁嵐峯_風聞
风云之声-风云之声官方账号-2020-02-25 21:38
導讀
以SCI為核心的評價體系已經完成了它的歷史作用,應該光榮退休了。
最近,教育部、科技部聯合印發了一個《關於規範高等學校SCI論文相關指標使用、樹立正確評價導向的若干意見》(教育部科技部聯合發文:取消直接依據SCI論文相關指標對個人和院系的獎勵),科技部印發了一個《關於破除科技評價中“唯論文”不良導向的若干措施(試行)》(http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm)。不少人來問我,對此怎麼看?
科技部印發《關於破除科技評價中“唯論文”不良導向的若干措施(試行)》的通知
對於不知道SCI是什麼的朋友,我先來解釋一下。SCI是Scientific Citation Index的縮寫,即科學引文索引。它是由美國的科學信息研究所(Institute for Scientific Information,簡稱ISI)提出的,這家研究所現在屬於一家叫做科睿唯安(Clarivate Analytics)的數據公司。
全世界有幾萬種科學期刊,水平參差不齊。SCI從中選擇了9000種,期望選擇水平比較高的那些,不過它首先的一個條件就是英文雜誌。所以在裏面能夠看到的一些中國的期刊,也都是英文的。絕大多數期刊,當然都來自美國與歐洲。
SCI的著名之處,是它基於引用數量來評價雜誌。每個雜誌都有一個“影響因子”(impact factor),計算公式是(為何中國學者和媒體對影響因子公式的表述普遍錯誤?):
期刊在第N年的影響因子 =
其中的源刊文本(source items)指的是該期刊發表的所有文本,包括論文、消息、評論、讀者來信、書評等等。引用項(citable items)是源刊文本中的一部分,可以理解為就是學術論文。其他的消息、評論、讀者來信、書評等等,叫做非引用項(uncitable items)。你立刻就會發現,非引用項出現在分子上,卻沒有出現在分母上,這是一個令人哭笑不得的地方。
如果一個期刊發的全都是學術論文,也就是説沒有非引用項,那麼影響因子就等於此期刊過去兩年的論文在今年被引用的平均次數。中國的期刊基本都是如此。而如果一個期刊還發非引用項,那麼它的影響因子就相當於注了水。我的前輩朋友、著名的科學史學家江曉原教授,寫過不少文章剖析(《讀書》首發 | 江曉原 穆藴秋:影響因子是可以操弄的)。例如著名的頂級期刊《自然》(Nature),非引用項對影響因子的貢獻有11%。而醫學頂級期刊《柳葉刀》(Lancet)就更離譜了,這個比例高達50%。
10家著名期刊1988年度非引用項對影響因子的貢獻比例
瞭解了影響因子的貓膩後,還是可以把這個指標作為一個參考。基本上,像《自然》(Nature)、《科學》(Science)這樣影響因子40左右的,大家都努力想辦法去發,絕大多數研究者一輩子都發不了一篇。影響因子在1左右的就普普通通,牛人如果沒有特殊原因,很可能不屑於去發。連1都不到的,就更不用提了。
中國從九十年代以來,由南京大學開風氣之先,許多部門和院校都推行了以SCI為核心的評價體系。例如要求每個研究者每年在什麼級別的SCI雜誌上發多少論文,填報成果時要寫其中有SCI論文多少篇,由此發相應的獎勵等等。潛台詞是,非SCI的論文就不算成果。這個體系一方面推動了中國科研的國際化,一方面也受到了很多批評,經常被嘲笑為“數工分”。
其實,在我工作的中國科學技術大學,SCI早就不是什麼特別重要的指標了。例如2016年,我所在的合肥微尺度物質科學國家實驗室的常務副主任羅毅教授在接受採訪時説(中國的科學在英文報道中非常的好,在中文報道中一塌糊塗|澎湃):
“好的工作,短期考核都出不來。對我們科大來説,發表文章,我們一點興趣都沒有。在我們的實驗室裏面,有人跟我説我要發幾篇文章,我一點興趣也沒有。我們感興趣的是,你能做出別人都做不出來的東西。”
那麼,什麼是別人做不出來的東西呢?羅毅舉了幾個本實驗室的例子,如董振超教授2004年到科大來的時候,要做單分子成像。大家都知道這非常難,但非常激動人心。然後他有6年沒發什麼文章,如果按照許多地方的標準,早就掃地出門了,至少是不支持他了。但微尺度實驗室一直全力支持他,包括設備和人員的支持。到2010年,他做出來了,第一篇就發表在《自然·光子學》上。2013年,他又做成了單分子拉曼成像,成了世界上標誌性的工作。
亞納米化學成像翡翠卟啉風格(圖片作者:王國燕周榮庭)(http://www.nsfc.gov.cn/nsfc/cen/00/kxb/hxb/images/6227.htm)
又如潘建偉院士,他在國外已經做了很好的工作,回來之後,他的想法、決定,大家一聽就激動人心,於是學校就大力支持。在潘建偉等人的推動下,中國發射了世界第一顆量子科學實驗衞星“墨子號”,在量子通信領域引領了世界發展。又如陳仙輝院士的鐵基超導、杜江峯院士的量子信息等等,都是微尺度的重要成果。
墨子號量子衞星發射
為什麼科大能選準支持對象?羅毅的回答是:
“在經費投放、資源投放上完全是按照學術,我們都是高水平的科學家,對學術是有一個把握的。下棋的人也知道,不是靠你自己説下得有多好(你就有多好),下幾步就知道你的水平在哪種程度上,能不能做成你想做的事情。”
這個回答可以説是最深刻的道理,也可以説是最樸素的道理。重劍無鋒,大巧不工。歸根結底,要靠高水平的同行去評價。這比數SCI要強,也比行政指揮要強。正如羅毅所説:
“這是去行政化最好的東西,你要相信自己的良心,自己的學術判斷。”
這些觀點,對高水平的科學家來説是常識。大家可以看看,哪個一流的研究機構,會把發了多少SCI文章作為宣傳的?如果有世界首創的成果可講,當然會直接講世界首創,而不是多少文章。
著名文學評論家金聖嘆評點的《水滸傳》,是一部給我帶來很多樂趣的經典名著。其中第22回是武松景陽岡打虎,有一段是武松向獵户自敍了兩次打虎的經歷。
武松打虎
金聖嘆在這裏評點道:
“實是異常得意之事,不得不説了又説。我亦要説,可憐無甚説得出的事也!”
金聖嘆:我亦要説,可憐無甚説得出的事也
由此可以引出一個滑稽的現象,就是許多非一流的高校喜歡宣傳本校的ESI排名,而一流高校並不如此。ESI是EssentialScience Indicators的縮寫,意思是“基本科學指標”。它也是由科睿唯安公司推出的,基於一些文獻數據庫,在22個學科中統計出10年間引用數排在前1%的科研機構。説句大實話,全球1%挺容易排進去的,因為世界上絕大多數機構沒有多少科研實力可言。
“知識分子”主筆邸利會寫過一篇文章《ESI:一場被中國高校追捧的荒誕劇》(https://mp.weixin.qq.com/s/mXIcqlVThmbLd0u-R2DRVg),對此進行了強烈的吐槽:
“過去的這些年,不少學校像追星一樣追逐ESI排名。”
為了刷ESI指標,他們想出了各種辦法,其中最神奇的叫做“制定學科提升策略”。這是什麼意思呢?例如某校的圖書館員建議,如果本校的學科A接近前1%了,而學科B離1%還遠,那麼學科B的研究者“可以在戰略上給予支援”,——也就是發文到學科A的期刊,幫助學科A衝上去。用台灣選舉中的常用語説,就是“棄保效應”!
棄保效應
可想而知,真正的研究人員會如何看待這樣的神操作。邸利會將一篇標題為《基於ESI數學學科的數據對比分析及對學科建設的思考——以武漢大學數學學科為例》的文章,發給了北京大學數學科學學院教授安金鵬。這篇文章提出了不少“高招”,例如:
“應引導科學工作者向這類影響因子高的期刊或者偏向應用數學領域的期刊投稿。”
“通過關注這些高頻詞,能幫助科研人員更好地把握當前的研究的熱門方向,站在時代的前沿,做出具有前瞻性的研究成果,將極大地促進我校學術地位的提高。”
安金鵬教授看了以後,評論道:
“看作者在圖書館或者經管學院工作,還輪不到他們指點科研人員應該做什麼。如果作者是為了湊文章評職稱,我不做評價。如果科研管理者把他們的觀點當真,就太悲哀了。我不相信有任何一個真正重要的科研工作是這樣做出來的。”
所以基本可以認為,太把SCI、ESI當回事,本身就是非一流的標誌。這樣的荒誕狀況,當然應該改革了。
但這就引出了下一個問題:為什麼以前的評價體系會把這些指標看得這麼重?難道是因為政策制定者傻嗎?
其實沒這麼簡單。在硬幣的另一面,這種數工分式的評價體系,也有它的歷史作用。基於同行評議的評價體系能夠成功,前提是有很多高水平研究者,風氣足夠正派,評價足夠專業。在這種情況下,你當然可以超越機械的數工分。但如果一個地方,總共也沒幾個高手呢?
這時最大的危險,就不是數工分埋沒人才,而是武大郎開店,近親繁殖,學閥當道。説你行你就行,不行也行;説不行就不行,行也不行。有一篇標題十分有趣的文章《底層學者科研生存生態惡化的實踐邏輯》(https://wenku.baidu.com/view/e94610af5901020206409c17.html),就反映了這個問題。
方成漫畫:武大郎開店
大家即使不在科研機構中工作,只要想想一個老闆水平低又充滿勾心鬥角的工作場所,——這是非常常見的吧?——就很容易理解,糟糕環境下的“滿紙荒唐言,一把辛酸淚”。
滿紙荒唐言,一把辛酸淚
由此可見,評價體系的變化,其實不完全來自觀念的改變,更重要的原因是水平的改變。在改革開放之初,當中國的科研水平很低時,“跟國際接軌”是一條快速進步的捷徑。那時正規化是主要問題,創造性的問題是次要的。到了現在,中國的科研水平在許多方面已經相當高了,真正追求的變成了世界首創,而不是跟在別人後面改進,這時評價體系就應該相應地改變了。
嫦娥四號着陸在月球背面
我們在科技部的《若干措施》(http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm)中,還能看到許多具體的做法。如推行代表作制度,即用一個人的代表作本身的成果來評價,而不是用它們發表在什麼雜誌上來評價。這是很合理的做法,確實早該如此了。
另一項有趣的規定是,在代表作中,國內科技期刊論文原則上應不少於1/3。還有,鼓勵發表高質量論文,包括髮表在具有國際影響力的國內科技期刊、業界公認的國際頂級或重要科技期刊的論文,以及在國內外頂級學術會議上進行報告的論文,統稱“三類高質量論文”。可以看出,這些措施是為了提高中國學術期刊的影響力。這個目標是很好的,也是我一直呼籲的(建設中文知識庫,飛向星辰大海 | 袁嵐峯)。至於能做到什麼程度,要看大家的努力。
總之,以SCI為核心的評價體系已經完成了它的歷史作用,應該光榮退休了。我們的成功應該直接表現在成果本身上,發文章只是一個表象而已,用不着強調兩次。用莊子的話,這就叫“得魚忘筌”。