研究越不靠譜，引用率越高？_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！2021-05-25 09:16
然而，在2018年的一項研究中，一組研究人員對21篇於2010年和2015年之間發表在《科學》和《自然》期刊上的備受矚目的論文進行了檢驗，其中就包括我們剛剛提到的那篇論文。研究人員發現，這篇論文中的一項關鍵發現無法被複制。但是，這篇論文的被引用次數高達1417次，其中有超過400次引用發生在2018年的複製工作之後。
於是，關於學術論文的引用次數出現了這樣一種聲音：在一項發現的有趣程度和不可複製性之間，存在某種關聯，越是不可靠的研究，傳播度越廣。現在，一項新的研究結果似乎印證了這場正在發生的“複製危機”。
5月21日，加州大學聖迭戈分校的經濟學家Marta Serra-Garcia和Uri Gneezy在《科學進展》雜誌上發表了一項新的研究，他們發現當試圖對那些發表在主要的心理學、經濟學和科學期刊上的社會科學以及醫學論文進行重複時，很多結果都不成立。而且與那些可複製的研究相比，無法複製的研究的被引用次數往往比那些可複製的研究更高。
研究人員分析了這些論文在谷歌學術搜索（Google Scholar）上的數據，發現那些無法被複制的論文有着明顯更高的被引用次數，平均每年被多引用16次。這是一個很顯著的數字，同一時期的那些發表在具有較高影響力的期刊上的論文，平均每年只能積累約40次的引用次數。隨着時間的推移，最終平均來説，無法成功複製的論文的被引用次數比能夠複製的論文的引用次數多153次。
有意思的是，研究人員還發現，發表在《自然》和《科學》上的論文有着最顯著的引用次數差距——不可複製論文的被引用次數比可複製論文的被引用次數多300次。
而且，當研究人員檢查這些不可複製的論文在複製項目發表之後的引用次數時，發現這種差距也仍然存在。引用這些論文的研究很少在新論文中提到複製失敗的事實，據調查，提到了複製失敗一事的研究只有12%。
在論文中，研究人員寫道，其實專家是可以很好地預測哪些論文將能被複制、哪些不能的。因此他們想知道，為什麼那些不可複製的論文還是能得以發表呢？他們提出了一種可能的答案，即學術期刊的評審團隊在做“取捨”，當一項研究的結果看起來“很有趣”時，他們就會降低對其證據的要求，採用更低的可重複性標準。
有趣的發現也會被媒體更多地報道，或者會在一些社交網絡平台傳播，引發大量關注。這也是學術研究中的一個矛盾：科學家既希望他們的工作是準確的，但也希望他們的結果能吸引關注。
但不可否認的是，新的研究結果或許指出了一個我們在評判一項研究時所存在的“根本問題”，即大多數學術機構都將引用次數作為衡量一項研究的重要指標，以及一些期刊也傾向於刊登更有趣、更吸引眼球的發現，是目前複製危機的根源。
而那些被多次引用的並不可靠的研究所能產生的影響可能是巨大的。例如1998年，英國的神經科醫生Andrew Wakefield在著名的生物醫學期刊《柳葉刀》上發表了一篇論文，稱自閉症和接種麻腮風（麻疹、腮腺炎和風疹）三聯疫苗之間存在關聯，導致世界各地無數的父母加入了反對麻腮風疫苗的行列。雖然《柳葉刀》在2010年撤回了這項錯誤的發現，然而關於自閉症與麻腮風疫苗有關的説法仍沒有停息。
我們説，“非凡的主張需要非凡的證據”。這或許應該成為學者和期刊評審團隊在看到有趣的研究結果時謹記在心的一條宗旨。新的研究結果再次提醒我們，無論是學者還是評審，都應該付出額外的努力來加強已發表研究成果的可信度；同時，當讀者在讀到有趣的研究時，也應該持更謹慎的態度。
參考來源
1. https://ucsdnews.ucsd.edu/pressrelease/a-new-replication-crisis-research-that-is-less-likely-be-true-is-cited-more
2. https://www.sciencemag.org/news/2021/05/unreliable-social-science-research-gets-more-attention-solid-studies
3. https://advances.sciencemag.org/content/7/21/eabd1705
本文經授權轉載自微信公眾號“原理”，原題目為《新的可重複性危機》。