學術互捧有用嗎?46萬條引文數據揭示互惠引用的潛在危害_風聞
返朴-返朴官方账号-关注返朴(ID:fanpu2019),阅读更多!2019-07-03 11:33
作者 | 陳曦
審校 | 劉培源
編輯 | 張爽
來源:集智俱樂部
論文引用量是學術影響力的重要指標,於是少數人動起了歪腦子:你引用我,我引用你,互捧一下,各有好處。但這種互惠式的論文互引真的有用嗎?近期的一項基於大規模引文網絡的研究表明,互惠引用對學術聲譽不僅僅沒有正面作用,反而可能有害,研究質量才是學術影響力的決定因素。
學術界的“績效”——引用數量
不同領域存在評價“績效”的不同標準。科學界也不能免俗,影響因子對於科學家就如“GDP”對於經濟、“績效”對於員工、“成績”對於學生一般重要。科學家們的成果最終被壓縮為一些與生產力有關的指標——不論是影響因子,H因子還是引用數量。使用它們,學術成果就能被量化、被比較。於是這些指標越發成為科學工作者申請基金,學術晉升上的硬性評判標準。
使用單一指標來衡量學術質量難免存在偏頗,這一點也是科學家一直希望解決的問題。其中最明顯的問題來自自我引用(self-citations)與互惠引用(reciprocated citations)。
引用數量一直作為評價科學家工作質量的黃金標準之一,更高的影響因子或引文數量意味着職業生涯的優勢,這就導致科學家們也會使用一些“技巧”來增加自己的引文數量和影響因子,獲得的潛在直觀的利益。**自引用意味着在新論文中引用自己已有的論文增加影響力;**互惠引用則指的是學者們在有合作關係的作者圈內主動尋求和交換引用。
現階段,已經存在很多針對自引用的研究,權威影響因子評價機構也能夠提供的消除了自我引用之後更“嚴謹”的影響因子。但是像互惠引用這種行為背後的爭議仍然巨大,它看似是正常的引用方式,並且往往被歸類為學術合作中的正常流程,因為諸多經濟與社會學研究表明這種互惠行為能夠維持合作的關係。影響因子上漲了,科學家之間實現了所謂雙贏,似乎皆大歡喜,天下太平。
但是,如果學術互引真的利大於弊,它也不會被歸為“問題”被研究了。事實上,過度膨脹的影響因子導致學術工作評價的不公,甚至引起互引的流行。被“水分”抬高了的某些學術工作的價值會給提供資金的機構留下錯誤的印象,造成經費浪費。自引用產生學術影響力可以輕易從計算中的去除,但是過度的互惠引用卻因其模糊性而沒有那麼容易偵測。
近期,來自倫敦大學學院計算機學院的李衞華(Weihua Li),就着手調查研究了學術互引的作用。他和同事們使用了1893年至2010年間發表在物理評論(Physical Review)上論文中的約46萬條引文數據來調查長時間尺度下互惠引用現象極其影響。這項研究使用網絡科學的視角來調查引文的模式,全面涵蓋了物理學的所有研究領域。
這項研究能夠回答兩個問題:
(1)學術互引能夠對學者們的學術聲譽產生多大的增益?增加學術互引是否會讓科學家的職業生涯產生不同的軌跡?
(2)學術互引現象有多盛行?隨着時間的推進,這個現象產生了什麼樣的演化?
論文題目:Reciprocity and impact in academic careers
論文地址:
https://epjdatascience.springeropen.com/articles/10.1140/epjds/s13688-019-0199-3
如何在引用網絡中定義互惠引用?
研究者把科學家視作網絡中的節點,作者之間的互利引用視作網絡的邊。研究者定義了一種方式來衡量作者之間的過量互惠引用。
真實的互引網絡被與一個經過隨機化的基準化假想互引網絡做對比,相當於減去正常互引的影響,最終得到的結果就是額外互引(excess reciprocity),用字母ρ來表示。如圖所示,其中ρ0表示科學家在現實網絡中的互引得分,ρnull是科學家在假想互引網絡中的得分。這個數值可以衡量某個作者的互引量多大程度超出了正常的範圍。
圖1:額外互引的定義公式
舉個直觀的例子,假設一個作者一共被引用了100次,其中相互引用有28次(即互引得分為ρ0=0.28),而他在學術網絡中所處的位置應當存在ρnull=0.2的正常相互引用(即20次互引),那麼這位作者就有8份的互引是超過了基準值的,用上述公式就可以計算得到,這位作者的額外互引值ρ=0.1。
“績效”如何改變科學家的引用習慣
根據歷史數據分析,1950年-1990年間,互惠引用現象存在一個穩定且持續的上升。在此之後的20年內一直穩定在ρ0=0.15這個值附近。
圖2:共同引用現象隨着時間推移的發展歷程
這一趨勢很容易讓人聯想到科學計量學(Scientometrics )指標背後的刺激作用。確實,通過計量指標平評價科學工作是於1955年被提出的,並且在不久之後更成熟的SCI(Science Citation Index)指標也於1964年正式啓用,直到近20年互聯網盛行之前的四十年時間,互引現象一直穩步增長。
互惠引用普遍存在
統計分佈圖能夠讓我們對研究對象有初步且直觀的瞭解,圖3中的紅藍色分別代表作者之間的引用和相互引用量。
圖3:1950年到2010年間作者對和引文量的分佈圖
其中,超過5萬對作者有10個極以上的互惠引用,而超過兩千對作者存在50以上的互惠引用量,甚至可以看到有極少數的作者存在接近10的三次方巨大量級的互惠引用量。總體而言,約21%左右的論文引用是存在互惠的,這證明互惠引用是普遍現象。
於是研究者提出了一個問題,即系統性使用互惠引用的學術工作者的表現是否真的超過其他同齡工作者?
互惠引用是否有用?可能有負面作用
數據確實確實揭示了互引的普遍性,介於學術工作者職業的長時效性,作者將眼光放長遠,又分析了學術互引對職業生涯的長期影響力。他們發現就統計結果來講,前期發生的互惠引用對作者後續作品引用數量的提升基本沒有影響,每篇新學術作品的評判相對獨立。如果研究者希望“提升”作品的影響力,仍然需要從零開始互惠引用。這暗示着,交換引用行為對職業後期的學術成就是沒有潛在幫助的。
為了進一步研究這一點,作者將研究對象根據他們獲得的引用數量進行了分組分析,得到了另一個更神奇的結論:互惠引用量和學術水平反向相關——更多使用互惠引用的作者學術水平反而低。
圖4:不同學術成就組別對應的額外互引指數
論文的研究發現,具有中-低水平影響因子的作者更傾向於互惠引用,並且貢獻量級最大;而具有高影響因子的作者羣體中的互惠引用現象相對罕見。
並且值得注意的是,互惠引用在學術生涯過程中,是一個逐漸發展的過程,不同階段各有特點。
在學術生涯的前期,比如在前4年內,學者們學術影響力差距不大的情況下學者的引文數量和互惠引用的結構都是相似的。在此時並不能對學術成就做出明顯的區分,互惠引用情況在各組之間也基本相似。
隨着時間的推移,組間不同的模式開始顯現,具有更高影響因子的作者的額外互引比例劇烈下降。而在長時間尺度比如20年以上的時間跨度上,不同組別作者的額外互引指數的大小排名有着符合組別順序的,並且差異顯著。
作品質量仍是學術影響力的決定因素
這種相關性暗示着,即便在現有的影響因子制度下存在着一些能美化學術指標的小技巧,但也許是因為學術互引的甜頭造成學術精力的分散,也許是因為漫長的時間跨度使得科學家工作的“價格”最終迴歸“價值”,又或許是因為做出高品質學術作品的作者沒有主動尋求互惠引用的動力,一個無法迴避的事實是:迄今為止,學術作品的質量仍舊是學術影響力的最主要決定因素。
到這裏,論文似乎又一次強調了學術生成就主要考量者學着的積澱與質量。在科學學(Science of Science)發展的背景下,這項研究意在警示學術界,要警覺對主流文獻計量學指標的盲從。呼籲做出更多工作來完善,解析指標背後的意義。科學界應給初出茅廬年輕科學家更多的機會,他們的潛力大於成就。
而這篇文章也能給年輕的科學從業者一些工作上的啓示。單一的學術評價指標確實會引發些許公平性上的問題,學術互惠現象也確實或自然或人為得廣泛存在着。但是,就目前為止,學術成就中最大的影響因素仍然是學術結果的質量,而取巧獲得聲望,最終會隨着時間的一起流失。
本文經授權轉載自微信公眾號「集智俱樂部」。
《返樸》,致力好科普。國際著名物理學家文小剛與生物學家顏寧聯袂擔任總編,與幾十位學者組成的編委會一起,與你共同求索。關注《返樸》(微信號:fanpu2019)參與更多討論。二次轉載或合作請聯繫[email protected]。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“,可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號,回覆四位數組成的年份+月份,如“1903”,可獲取2019年3月的文章索引,以此類推。
相關閲讀
3 一個期刊編輯的告白:咱們都想發文章 | 發表論文那些事兒
4 預印本都去哪兒了?不斷壯大的科研成果發佈平台:生物預印本bioRxiv