關於衡量國家整體研究水平的一些個人淺見 | 商逸澹_風聞
风云之声-风云之声官方账号-2020-05-18 16:40
導讀
我們可以嘗試從更多的角度入手,全面合理評估中國的科研質量,和它的變化趨勢。
2020年5月14日,《科技袁人》節目做了一期名為“三個指標看中國科技實力,哪些領域已趕超美國成為世界第一?”的節目《從2020年最新定量指標看中國的科技實力 | 袁嵐峯》。袁老師通過比較分析自然指數 Nature Index,美國科學工程前1%高引論文指標,同時結合國際合作的程度,來説明中國目前正處於科研質量的“大趕超”時代。
https://www.bilibili.com/video/BV1mZ4y1s7Wu?from=search&seid=13817315738870454603
這樣的觀察是合理的,但是這些指標只涵蓋了基礎和超熱門科學的領域,不一定能反映中國整體的科研質量。除此之外,我們還可以嘗試從更多的角度入手,全面合理評估中國的科研質量,和它的變化趨勢。以下是我粗淺的個人思考,不一定對,歡迎交流批評指正。
什麼是 Scopus?
Scopus是愛思唯爾(Elsevier)旗下的巨型文獻數據庫,涵蓋了科學,技術,醫學,數學,社會科學,藝術和人文學科等領域,從1970年以來多達17億的文獻資料。此外還收錄了5千家出版社,7萬家機構和1600萬作者資料。
據我的瞭解,國內的朋友們好像知道Scopus的不多,但是澳洲的大學會優先考慮使用和參考此數據庫的信息。我沒有詳細瞭解過其他國家,但是我猜美國可能差不多。例如Nature Index美國科學工程指標的Top 1% cited article index,也會使用Scopus的數據。
就我個人使用情況來説,Scopus是我檢索文獻的首選數據庫。市面上那麼多數據庫,為什麼我愛用它呢?因為在檢索文獻時,用它比較容易搞清楚各文獻之間的發展脈絡,和各研究者之間的互動關係。為了提高效率,我常常是先在Scopus找到需要的文獻,再去Google Scholar下載全文。
此外,學者在寫CV或者面試時常常需要介紹自己的academic performance。大多數人的標準操作是引用Google Scholar個人頁面的數據來包裝自己。但是Google Scholar有些不靠譜的地方:其一它嚴重依賴算法自動生成,經常重複計算;其二是不區分文獻質量,經常收錄不被業界認可的文獻;其三是自己可以隨意編輯,想誇大其詞沒有難度。這些因素往往導致基於Google Scholar的個人數據虛高。至少在澳洲,有不少領域是不認可Google Scholar個人頁面的。
而Scopus在算法自動抓取和分類數據的基礎上,還有專業人士加以維護。個人發現信息有不合理的,允許改動,但是需要提交申請,等管理人員審核通過(速度很快)。唯一的缺陷是數據更新會有一段時間的延遲,不過跟學術論文審稿動輒幾個月的等待相比,那點延遲也不算什麼了。所以對於大部分研究領域來説,如果用Scopus個人頁面的數據還能把自己的履歷講的很漂亮,往往是一個加分項。
什麼是SciVal?
SciVal是Scopus旗下專門用來分析其海量數據的工具,涵蓋了5000萬+的論文發表記錄,2.2萬+學術期刊,以及號稱存有280萬億評價數據。它可以將Scopus裏浩如煙海的信息可視化,為全世界研究者,1.4萬家研究機構和230個國家的學術產出“畫像”,並展示它們學術產出的變化趨勢,甚至刻畫出它們在整個或者細分學術領域的定位。以前陣子熱議的2019年5月被美國“無故誘捕”的千人計劃教授李曉江為例,他2014-2019年間的學術畫像見下圖。他5年間產出59篇高質量論文,5年h5-index為17,總的h-index竟高達63。餅狀圖顯示,他的學術產出涉及了不少領域,但是主要集中在Neuroscience方面(24.2%)。
SciVal有一個其他平台沒有的亮點:它把學術領域分的特別細。基於“引用網絡”,SciVal把研究者發表的論文自動歸入9.6萬個細分領域中,這使得評估研究者在具體領域中的貢獻和定位變得非常容易。還是以李曉江老師為例,他2014-2019的學術產出主要歸到下圖所示學術領域中。而佔據其主導地位的學術細分領域是“亨廷頓疾病(編號T.472)”,非常準確。
如果想知道世界上有哪些研究者活躍於此領域,那麼可以進一步查詢SciVal對此細分領域的“畫像”。比如最簡單的,列出“T.472 Huntington Disease”2014-2019年學術貢獻排行榜,可以發現李曉江老師排在全球第9位,如下圖所示。此外還有大量有價值的信息可供探索,不再贅述。在澳洲申請基金,描述研究者能力時,SciVal的“畫像”和“細分領域定位”已經變成通用指標。
什麼是Field-Weighted Citation Impact(FWCI)?
傳統的科研質量指標集中在文章數量,作者排序,影響因子,引用數,h-index等方面。然而,不同研究領域的情況千差萬別,來自不同領域的學者難以放在同一框架下比較,是一個長期存在的問題。比如一些熱門領域的期刊(如生物材料醫學)普遍影響因子高,論文數量多;另一些領域的期刊(如古生物)不那麼熱門,但我們肯定不能説其研究不重要,或者研究者水平低。
傳統的解決辦法是對期刊分區。但國內分區系統的死板和分區方式的不合理,是一個被研究者們詬病已久的問題。而我們在使用海外的分區機構如SJR(Scimage Journal&Country Rank)時,也時常會覺得設計不合理,評價方式同業界的觀感有出入,用起來渾身不自在。
基於對學術領域準確細分的能力,SciVal能夠相對公平地用“領域權重引用影響力”指標,來反映一位研究者在他本領域內的學術產出情況,是高於平均水平,還是低於平均水平。對於某細分領域來説,Field-Weighted Citation Impact(FWCI)評價公式如下:
FWCI = 特定研究者的總引用數 /平均引用數
於是很直觀地,FWCI > 1代表高於行業平均水平,FWCI < 1代表低於行業平均水平,FWCI = 1.5代表高出行業平均水平50%。至少在澳洲,申自然科學基金時,FWCI是被強烈建議放進申請書裏的。還是以李曉江老師為例,他2017和2018年FWCI高達3.19和2.70,遠遠超出行業平均水平。如果還有人污衊他是騙經費的,就可以直接拿這些硬數據懟之。
有趣的是,此指標不僅適用於評價研究者論文質量,還可以用來評價學術機構或者國家的總體科研產出的質量。現在中國比較關注的指標,如Nature Index和1% top cited article index,會過分偏向基礎科學領域或者極度熱門(前1%)的科研領域。這些領域要麼藏身於高大上的研究機構裏,要麼比例實在太小,以至於普通民眾看不見用不着,體會不深。而真實世界的科研領域五花八門,所以如果對一個國家所有參與研究的SciVal列出的細分領域做總體的評價,那麼統計出來的“國家科研質量”,或者“國家科研影響力”,對民眾來説會更有説服力。
中國的平均FWCI指標究竟怎麼樣呢?總的來看,勢頭應該算是樂觀的。2017年中國的平均FWCI突破了1,後來呈緩慢上升勢頭,2019年到達1.07。有趣的是,2020年中國的FWCI指標暴漲到1.14,而美國從2019年的1.41爆跌到2020年的1.23,兩國差距急劇縮小。然而,鑑於2020年才過去一半,而且數據統計不一定全面及時,我暫時對這種戲劇性的場面持觀望態度,在此文圖表中不予展示。
下圖列出了2014-2019年期間,中國同五眼聯盟,歐盟,製造業強國德日韓,以及典型新興國家印度之間的FWCI指標趨勢比較。有趣的是,並非美國,而是五眼聯盟中除美國外的四眼,佔據了FWCI指標的最高位。歐洲國家次之,中韓競爭激烈。日本估計是習慣自己玩,缺乏同世界學術圈的交流,所以FWCI指標一直穩定於0.95左右。圖中印度的科研質量最差,但是也要關注其明顯的上升勢頭。值得注意的是,同中國相反,美加德三國呈現出了明顯的下降趨勢。
嘗試用FWCI和Science Prominence來衡量國家的整體研究水平
為什麼Nature Index和FWCI對國家科研質量的評價出現落差呢?在我看來比較合理的解釋有兩點:其一,Nature Index統計的是累積量。中美兩國是人口大國,其前沿科研產出總量高於中小型國家們“四眼聯盟”和德日韓是相當合理的。事實上,如果將Nature Index除以各國的人口數,那排名會變動不少。其二,這是被不同國家的國情所影響的。比如中美這樣的巨頭,主導了世界格局,有條件有動力在科研上做十分長遠的規劃。它們相對地不在乎短期科研回報,會更偏向於基礎科學,國防,或者高精尖的領域,而這些正是Nature Index關注的領域。而對於一些富裕的中小型國家來説,體量太小,去投資超大型基礎科學項目是沒有意義的。所以它們會偏向來錢快的熱門領域;或者在巨頭的資助引導下,做一些超大型項目下面的細分領域的工作。舉個例子,美國把F35的一部分設計製造任務分給了不少盟友來做。儘管最近懂王威脅要把F35的產業鏈全部搬回美國,盟友們一片譁然,那又是另外一個故事了。
中國科研質量最高的是哪些細分領域呢?為了回答這個問題,我從SciVal拉了一張前三年(2016-2019)的表格,發現前10名的領域為:鋰離子電池,誘導RNA,太陽能板,模糊決策模型,非線性方程,碳納米管/石墨烯,長鏈非轉錄RNA相關的腫瘤學,OLED共軛聚合物,導電性高分子聚合物,生物電極傳感器等。看起來都非常高大上。緊接着是另一個問題:和其他國家相比,中國的在各領域的科研質量是初在什麼水平呢?於是我又畫出了五個國家(代表我們關心的5類典型國家)在自身投入最高的前500個領域中的科研質量分佈圖。
首先我們可以合理地假設,曲線形狀越接近“正態分佈”,代表政府對科研人員的招聘越放任自流,定向扶持越弱。從上圖可以明顯看出,印度的曲線峯值對應的FWCI大概0.64,而且1以上的部分佔比很小,這説明印度被低質量的科研所主導。此外,我們發現印度曲線僅在FWCI=1.3附近存在一個微弱的向上偏離,説明政府不怎麼扶持。美德澳的曲線比較類似,曲線的峯值都顯著大於1。美國的曲線相對順滑,定向扶持最少。中國介於“印度模式”和“發達國家模式”之間,曲線峯值對應的FWCI大概是0.82。而且在FWCI > 1.4以上的區域,在定向扶持下已經初具規模,看起來在往越來越靠譜的方向發展。值得注意的是,澳洲對於FWCI > 2的部分顯著向上偏離,説明定向扶持的力度非常大,可能由此拉高了平均FWCI指標。同時這也符合我對澳洲大學科研職位稀缺,招聘條件高的直觀感受。
以上的分析僅侷限在FWCI這一個指標上。除此以外,SciVal藉助其強大的數據庫,還推出了一個叫Topic Prominence in Science的指標。這個指標綜合參考了某細分領域的總引用數,文獻的總瀏覽數和相對引用數,大概能反映其熱門程度。所以我又加入Prominence Percentage數據(0-100),做了一張各國對於科研質量和課題熱門程度的熱力圖。圖中橫軸為FWCI指標,縱軸為領域的熱門程度,顏色越亮代表某國這個區域附近的領域參與度越高。
在資源無限理想的情況下,我們當然是希望國家在所有領域的水平都做到最高,在圖中相對應的就是靠右的一根豎線。但是資源總是有限的,那麼次理想的情況,應該是熱門的領域多投資保持高水平,冷門的領域少投資,在圖中相對應的分佈就是從左下到右上的一條斜線。
首先我們看印度的畫風,它已經趨向於靠左邊的一根豎線了,而且一點也不挑食,熱不熱門都要做,與其他四個國家顯著不同,我們可以先跳過分析。中美澳德四國的熱力圖總體呈現了一種“左上三角”的分佈,形如右圖回力標。比較中美兩國,主要存在三個不同:其一是美國比中國稍微更愛追熱門研究(見左直方圖);其二是美國科研最集中的區域(下直方圖的峯值),比中國水平要高上50%左右;其三是對於熱門的領域(75%-100%),美國在右上角集中了不少FWCI>2的“超級大牛”,而中國的這一部分人很少。澳洲和德國非常相似,唯一的區別是澳洲相對不挑食,在不那麼熱門的領域裏(30%-60%),也有不少人做,儘管水平只比業界平均水平高出一點點。它倆和美國有個顯著的差異:在熱門領域裏(80%-100%),沒像美國一樣在FWCI=2.2附近出現斷層,各研究水平之間的連續性相對好。還有一點讓我驚訝的是,澳洲居然有不少FWCI接近4的熱門領域,這是在其他4個圖中都沒觀察的。我比照了一下表格,發現澳洲FWCI > 3.5並且熱門程度 > 75%的細分領域有6個,分別是自然對流傳熱,免疫療法,乳腺癌早期診斷,非小細胞肺癌,進化優化算法和敗血症。顯然,這些都是相當來錢的領域。
總的來説,儘管中國的科研水平在Nature Index這樣的硬核基礎科學指標上表現不俗,可是總覽全局,還是有不少進步的空間。樂觀的是,中國科研環境在往合理優秀的方向進步,並且增速不低。希望在不久的將來,中國會變成“高質量科研產出國”的標杆。
以上只是我個人的一些淺薄的思考,不可避免地會存在無知,荒謬和不周全之處,歡迎各位指出並與我交流。