關於衡量國家整體研究水平的一些個人淺見 | 商逸澹_風聞
风云之声-风云之声官方账号-2020-05-18 16:40
導讀
我們可以嘗試從更多的角度入手，全面合理評估中國的科研質量，和它的變化趨勢。
2020年5月14日，《科技袁人》節目做了一期名為“三個指標看中國科技實力，哪些領域已趕超美國成為世界第一？”的節目《從2020年最新定量指標看中國的科技實力 | 袁嵐峯》。袁老師通過比較分析自然指數 Nature Index，美國科學工程前1%高引論文指標，同時結合國際合作的程度，來説明中國目前正處於科研質量的“大趕超”時代。
https://www.bilibili.com/video/BV1mZ4y1s7Wu?from=search&seid=13817315738870454603
這樣的觀察是合理的，但是這些指標只涵蓋了基礎和超熱門科學的領域，不一定能反映中國整體的科研質量。除此之外，我們還可以嘗試從更多的角度入手，全面合理評估中國的科研質量，和它的變化趨勢。以下是我粗淺的個人思考，不一定對，歡迎交流批評指正。
什麼是 Scopus?
Scopus是愛思唯爾（Elsevier）旗下的巨型文獻數據庫，涵蓋了科學，技術，醫學，數學，社會科學，藝術和人文學科等領域，從1970年以來多達17億的文獻資料。此外還收錄了5千家出版社，7萬家機構和1600萬作者資料。
據我的瞭解，國內的朋友們好像知道Scopus的不多，但是澳洲的大學會優先考慮使用和參考此數據庫的信息。我沒有詳細瞭解過其他國家，但是我猜美國可能差不多。例如Nature Index美國科學工程指標的Top 1% cited article index，也會使用Scopus的數據。
就我個人使用情況來説，Scopus是我檢索文獻的首選數據庫。市面上那麼多數據庫，為什麼我愛用它呢？因為在檢索文獻時，用它比較容易搞清楚各文獻之間的發展脈絡，和各研究者之間的互動關係。為了提高效率，我常常是先在Scopus找到需要的文獻，再去Google Scholar下載全文。
此外，學者在寫CV或者面試時常常需要介紹自己的academic performance。大多數人的標準操作是引用Google Scholar個人頁面的數據來包裝自己。但是Google Scholar有些不靠譜的地方：其一它嚴重依賴算法自動生成，經常重複計算；其二是不區分文獻質量，經常收錄不被業界認可的文獻；其三是自己可以隨意編輯，想誇大其詞沒有難度。這些因素往往導致基於Google Scholar的個人數據虛高。至少在澳洲，有不少領域是不認可Google Scholar個人頁面的。
而Scopus在算法自動抓取和分類數據的基礎上，還有專業人士加以維護。個人發現信息有不合理的，允許改動，但是需要提交申請，等管理人員審核通過（速度很快）。唯一的缺陷是數據更新會有一段時間的延遲，不過跟學術論文審稿動輒幾個月的等待相比，那點延遲也不算什麼了。所以對於大部分研究領域來説，如果用Scopus個人頁面的數據還能把自己的履歷講的很漂亮，往往是一個加分項。
什麼是SciVal?
SciVal是Scopus旗下專門用來分析其海量數據的工具，涵蓋了5000萬+的論文發表記錄，2.2萬+學術期刊，以及號稱存有280萬億評價數據。它可以將Scopus裏浩如煙海的信息可視化，為全世界研究者，1.4萬家研究機構和230個國家的學術產出“畫像”，並展示它們學術產出的變化趨勢，甚至刻畫出它們在整個或者細分學術領域的定位。以前陣子熱議的2019年5月被美國“無故誘捕”的千人計劃教授李曉江為例，他2014-2019年間的學術畫像見下圖。他5年間產出59篇高質量論文，5年h5-index為17，總的h-index竟高達63。餅狀圖顯示，他的學術產出涉及了不少領域，但是主要集中在Neuroscience方面（24.2%）。
SciVal有一個其他平台沒有的亮點：它把學術領域分的特別細。基於“引用網絡”，SciVal把研究者發表的論文自動歸入9.6萬個細分領域中，這使得評估研究者在具體領域中的貢獻和定位變得非常容易。還是以李曉江老師為例，他2014-2019的學術產出主要歸到下圖所示學術領域中。而佔據其主導地位的學術細分領域是“亨廷頓疾病（編號T.472）”，非常準確。
如果想知道世界上有哪些研究者活躍於此領域，那麼可以進一步查詢SciVal對此細分領域的“畫像”。比如最簡單的，列出“T.472 Huntington Disease”2014-2019年學術貢獻排行榜，可以發現李曉江老師排在全球第9位，如下圖所示。此外還有大量有價值的信息可供探索，不再贅述。在澳洲申請基金，描述研究者能力時，SciVal的“畫像”和“細分領域定位”已經變成通用指標。
什麼是Field-Weighted Citation Impact（FWCI）?
傳統的科研質量指標集中在文章數量，作者排序，影響因子，引用數，h-index等方面。然而，不同研究領域的情況千差萬別，來自不同領域的學者難以放在同一框架下比較，是一個長期存在的問題。比如一些熱門領域的期刊（如生物材料醫學）普遍影響因子高，論文數量多；另一些領域的期刊（如古生物）不那麼熱門，但我們肯定不能説其研究不重要，或者研究者水平低。
傳統的解決辦法是對期刊分區。但國內分區系統的死板和分區方式的不合理，是一個被研究者們詬病已久的問題。而我們在使用海外的分區機構如SJR（Scimage Journal&Country Rank）時，也時常會覺得設計不合理，評價方式同業界的觀感有出入，用起來渾身不自在。
基於對學術領域準確細分的能力，SciVal能夠相對公平地用“領域權重引用影響力”指標，來反映一位研究者在他本領域內的學術產出情況，是高於平均水平，還是低於平均水平。對於某細分領域來説，Field-Weighted Citation Impact（FWCI）評價公式如下：
FWCI = 特定研究者的總引用數 /平均引用數
於是很直觀地，FWCI > 1代表高於行業平均水平，FWCI < 1代表低於行業平均水平，FWCI = 1.5代表高出行業平均水平50%。至少在澳洲，申自然科學基金時，FWCI是被強烈建議放進申請書裏的。還是以李曉江老師為例，他2017和2018年FWCI高達3.19和2.70，遠遠超出行業平均水平。如果還有人污衊他是騙經費的，就可以直接拿這些硬數據懟之。
有趣的是，此指標不僅適用於評價研究者論文質量，還可以用來評價學術機構或者國家的總體科研產出的質量。現在中國比較關注的指標，如Nature Index和1% top cited article index，會過分偏向基礎科學領域或者極度熱門（前1%）的科研領域。這些領域要麼藏身於高大上的研究機構裏，要麼比例實在太小，以至於普通民眾看不見用不着，體會不深。而真實世界的科研領域五花八門，所以如果對一個國家所有參與研究的SciVal列出的細分領域做總體的評價，那麼統計出來的“國家科研質量”，或者“國家科研影響力”，對民眾來説會更有説服力。
中國的平均FWCI指標究竟怎麼樣呢？總的來看，勢頭應該算是樂觀的。2017年中國的平均FWCI突破了1，後來呈緩慢上升勢頭，2019年到達1.07。有趣的是，2020年中國的FWCI指標暴漲到1.14，而美國從2019年的1.41爆跌到2020年的1.23，兩國差距急劇縮小。然而，鑑於2020年才過去一半，而且數據統計不一定全面及時，我暫時對這種戲劇性的場面持觀望態度，在此文圖表中不予展示。
下圖列出了2014-2019年期間，中國同五眼聯盟，歐盟，製造業強國德日韓，以及典型新興國家印度之間的FWCI指標趨勢比較。有趣的是，並非美國，而是五眼聯盟中除美國外的四眼，佔據了FWCI指標的最高位。歐洲國家次之，中韓競爭激烈。日本估計是習慣自己玩，缺乏同世界學術圈的交流，所以FWCI指標一直穩定於0.95左右。圖中印度的科研質量最差，但是也要關注其明顯的上升勢頭。值得注意的是，同中國相反，美加德三國呈現出了明顯的下降趨勢。
嘗試用FWCI和Science Prominence來衡量國家的整體研究水平
為什麼Nature Index和FWCI對國家科研質量的評價出現落差呢？在我看來比較合理的解釋有兩點：其一，Nature Index統計的是累積量。中美兩國是人口大國，其前沿科研產出總量高於中小型國家們“四眼聯盟”和德日韓是相當合理的。事實上，如果將Nature Index除以各國的人口數，那排名會變動不少。其二，這是被不同國家的國情所影響的。比如中美這樣的巨頭，主導了世界格局，有條件有動力在科研上做十分長遠的規劃。它們相對地不在乎短期科研回報，會更偏向於基礎科學，國防，或者高精尖的領域，而這些正是Nature Index關注的領域。而對於一些富裕的中小型國家來説，體量太小，去投資超大型基礎科學項目是沒有意義的。所以它們會偏向來錢快的熱門領域；或者在巨頭的資助引導下，做一些超大型項目下面的細分領域的工作。舉個例子，美國把F35的一部分設計製造任務分給了不少盟友來做。儘管最近懂王威脅要把F35的產業鏈全部搬回美國，盟友們一片譁然，那又是另外一個故事了。
中國科研質量最高的是哪些細分領域呢？為了回答這個問題，我從SciVal拉了一張前三年（2016-2019）的表格，發現前10名的領域為：鋰離子電池，誘導RNA，太陽能板，模糊決策模型，非線性方程，碳納米管/石墨烯，長鏈非轉錄RNA相關的腫瘤學，OLED共軛聚合物，導電性高分子聚合物，生物電極傳感器等。看起來都非常高大上。緊接着是另一個問題：和其他國家相比，中國的在各領域的科研質量是初在什麼水平呢？於是我又畫出了五個國家（代表我們關心的5類典型國家）在自身投入最高的前500個領域中的科研質量分佈圖。
首先我們可以合理地假設，曲線形狀越接近“正態分佈”，代表政府對科研人員的招聘越放任自流，定向扶持越弱。從上圖可以明顯看出，印度的曲線峯值對應的FWCI大概0.64，而且1以上的部分佔比很小，這説明印度被低質量的科研所主導。此外，我們發現印度曲線僅在FWCI=1.3附近存在一個微弱的向上偏離，説明政府不怎麼扶持。美德澳的曲線比較類似，曲線的峯值都顯著大於1。美國的曲線相對順滑，定向扶持最少。中國介於“印度模式”和“發達國家模式”之間，曲線峯值對應的FWCI大概是0.82。而且在FWCI > 1.4以上的區域，在定向扶持下已經初具規模，看起來在往越來越靠譜的方向發展。值得注意的是，澳洲對於FWCI > 2的部分顯著向上偏離，説明定向扶持的力度非常大，可能由此拉高了平均FWCI指標。同時這也符合我對澳洲大學科研職位稀缺，招聘條件高的直觀感受。
以上的分析僅侷限在FWCI這一個指標上。除此以外，SciVal藉助其強大的數據庫，還推出了一個叫Topic Prominence in Science的指標。這個指標綜合參考了某細分領域的總引用數，文獻的總瀏覽數和相對引用數，大概能反映其熱門程度。所以我又加入Prominence Percentage數據（0-100），做了一張各國對於科研質量和課題熱門程度的熱力圖。圖中橫軸為FWCI指標，縱軸為領域的熱門程度，顏色越亮代表某國這個區域附近的領域參與度越高。
在資源無限理想的情況下，我們當然是希望國家在所有領域的水平都做到最高，在圖中相對應的就是靠右的一根豎線。但是資源總是有限的，那麼次理想的情況，應該是熱門的領域多投資保持高水平，冷門的領域少投資，在圖中相對應的分佈就是從左下到右上的一條斜線。
首先我們看印度的畫風，它已經趨向於靠左邊的一根豎線了，而且一點也不挑食，熱不熱門都要做，與其他四個國家顯著不同，我們可以先跳過分析。中美澳德四國的熱力圖總體呈現了一種“左上三角”的分佈，形如右圖回力標
總的來説，儘管中國的科研水平在Nature Index這樣的硬核基礎科學指標上表現不俗，可是總覽全局，還是有不少進步的空間。樂觀的是，中國科研環境在往合理優秀的方向進步，並且增速不低。希望在不久的將來，中國會變成“高質量科研產出國”的標杆。
以上只是我個人的一些淺薄的思考，不可避免地會存在無知，荒謬和不周全之處，歡迎各位指出並與我交流。