預印本論文靠譜嗎?_風聞
返朴-返朴官方账号-关注返朴(ID:fanpu2019),阅读更多!2021-04-22 10:54
在學術出版領域,預印本(Preprint)是指尚未在需要同行評審的科學期刊上出版的科學文獻的草稿。在新冠疫情暴發的特殊時刻,預印本論文因其發表迅速、公開、免費,極大推動了學術交流、科學傳播,成為公眾和媒體獲取相關科研信息的重要渠道。但是,預印本畢竟只是草稿,沒有經過同行評審,它的結論我們能相信多少?依據它的結論,我們能做出正確的決策嗎?
編譯 | 小葉
近年來,預印本論文作為分享和交流學術成果的創新形式,正不斷打破學術期刊壟斷造就的信息壁壘。2020年新冠疫情全球大流行,又對預印本的進一步擴展起到了推波助瀾的作用。據統計,2020年1月至4月,就有超過6700篇新冠疫情相關論文以預印本的形式率先公開發表在網絡平台[1]。
同行評審論文VS預印本論文
對於在學術界兢兢業業奮鬥的科研人員來説,在學術期刊上發表經由同行評審的論文,是學術交流最主要也最重要的形式之一。從投稿到評審,再到最終接收並發表,整個過程可能相當繁冗,還不乏各種修改、甚至拒稿的可能性。在預印本模式出現之前,專業學術期刊制定了諸如“一稿不兩投”、“同行評審”等嚴格的專業規範,在學術交流方面佔據主導地位。
預印本論文的橫空打破了這些規則,開創了新的局面。早在上世紀60年代,生命科學領域已有預印本活動的苗頭,美國國立衞生研究院(NIH)曾支持科學家組成“信息交換小組”(IEG,information exchange group)。伴隨着20世紀末開始並在後來席捲全球的“開放獲取”運動,像arXiv,bioRxiv,以及後來中國的ChinaXiv等各個預印本平台百花齊放,讓科學家們在向專業期刊投稿的同時,也能第一時間把未經評審的學術論文手稿先公開發布在網絡上,供廣大用户免費閲讀和使用,加速學術交流。
新冠疫情下“火爆”的預印本
兩類論文發表模式並存至今,互相競爭,卻也不相上下。然而,去年新冠疫情的暴發加強了對快速共享新冠研究成果的要求:深入理解新冠的流行病病理學,儘快發掘新型治療方案,並同時給公共衞生政策的制定提供指導意見。疫情傳播迅速,而科學家也不甘落後。與此同時,非專業領域的公眾也愈發要求及時知曉疫情發展,進一步提升了媒體對預印本論文報道的數量。
一項發表在PLOS Biology(《科學公共圖書館·生物》)上的最新統計顯示,從第一例確診病例之後的10個月內,科學家迅速響應,全球總共發表了12.5萬篇新冠相關論文,其中超過3萬篇公佈在bioRxiV、medRxiv等預印本網站上。而在疫情暴發最初四個月內,預印本論文數量就已經佔了論文發表總數(包括同行評審論文和預印本)的35% [2]。預印本的讀者不僅有科學家,還有非專業領域的公眾和新聞記者,後者分享和了解預印本內容的熱情盛況空前:將預印本研究視作第一手資料,新聞報道常引用預印本論文的結論來支持某些公共衞生措施。
但畢竟,預印本論文的結論是未經同行評審的,我們能夠信任預印本論文得出的結論嗎?
去年1月底,印度理工學院德里分校的研究人員在bioRxiv上發表了一篇未經同行評審的預印本論文(圖1),稱新型冠狀病毒是人為改造的病毒,因其刺突蛋白S蛋白上含有四個插入片段,這些片段與HIV-1的某些片段完全同源或具有相似性[3]。這篇“著名”的預印本論文在互聯網上掀起了軒然大波,新冠病毒人造説一時達到頂峯。雖然論文發表不久後就撤稿了,但給民眾留下了很大的疑問,也讓科學家、媒體花費了很多精力去駁斥這個錯誤的結論。(詳見《新冠病毒是人造的?專家教你告別陰謀論》)
圖1. 這篇預印本很快就撤稿了
信任危機
要評估一項科學研究的質量,一條重要的黃金準則就是要重複論文設計的實驗,來檢驗能否復現論文給出的結果。然而,這一做法成本昂貴,耗時又耗力。重複做別人的實驗,不管能否復現結果,都難以找到期刊願意發表這種重複性的研究。因此,在缺乏這一過程的情況下,同行評審的重要性不言而喻,它也是學術界判定論文科學價值和質量的重要基石。
而預印本論文為求快速傳播,往往跳過這一重要步驟。其實早在疫情暴發之前,已有憂心的專家警告説,未經同行評審的科研成果可能誤導公共衞生決策。
去年3月,一項關於美國加州Santa Clara 3000多人的血清陽性率論文[4]發表在預印本網站上,論文給出了1.5%的血清陽性率,經統計學調整後研究人員估計該地區居民的感染率為2.49%到4.16%之間。預印本發表之後,《華爾街日報》[5]立刻刊登了該論文合作者Andrew Bogan的一封公開信,質疑封城政策:“面對死亡率可能和季節性流感一樣低的傳染病,是否有必要犧牲上千萬人的就業生計?”然而,很快就有其他專家在推特和博客上指出,該論文實驗設計存在瑕疵:例如,研究人員僅通過臉書招募受試者,會吸引更多新冠疑似患者來檢測血清;受試者中基本上沒有中低收入人羣和少數族裔——換言之,這項研究的採樣存在偏差,得到的數據不能代表總體人羣。另外,論文也沒有對假陽性問題給出明確解釋。不過,這篇論文最終被International Journal of Epidemiology (《國際流行病學期刊》)接收並正式發表。
還是去年3月,法國科學家Didier Raoult在預印本網站發表了羥氯喹/阿奇黴素治療新冠感染的文章[6],稱羥氯喹與新冠患者體內病毒載量的減少/消失具有顯著相關性,添加阿奇黴素後治療效果得到增強。該預印本經同行評審後,很快於同月在線發表於International Journal of Antimicrobial Agents(《國際抗菌劑雜誌》)。此療法隨後獲得了美國前總統特朗普在公開場合的大力背書,促使大量患者接受這一療法。但是,到4月份,國際抗微生物化學治療學會(ISAC)提出該研究“不符合ISAC研究標準”,知名學術打假專家Elisabeth Bik教授仔細研究論文後,在PubPeer上羅列出研究設計的一長串問題,包括倫理問題、數據缺失、同行評審倉促且結果矛盾等等[7]。世界衞生組織展開大規模研究,最終在官網上明確羥氯喹在治療新冠方面沒有臨牀益處[8]。
緊接着5月,哈佛醫學院團隊在The Lancet(《柳葉刀》)上[9]在線發表了關於氯喹治療導致患者心律失常增加死亡風險的重磅論文(其預印本如今已消失在網絡上)。此文一出立刻產生巨大影響力,世界衞生組織甚至喊停了氯喹和羥氯喹臨牀試驗。然而,沒過幾天,全球上百位研究人員質疑研究數據來源:這些數據來自名為Surgisphere的醫療數據公司。雖然公司以保護隱私為由拒絕交出原始數據,但經《衞報》調查,發現該公司包括員工身份背景,公司服務內容以及聯繫方式等疑點重重,且公司CEO曾公開回應,稱其數據挖掘使用了大量人工智能技術。最終,因無法保證原始數據真實性,論文遭到撤回。同樣撤稿的還有該團隊發表在NEJM(《新英格蘭醫學雜誌》)上的另一篇新冠療法研究[10],也使用了同一家公司數據。
這些醜聞不僅涉及了預印本,還牽涉到已經發表在頂級期刊上的文章,嚴重打擊了兩大頂級期刊的學術信譽。其惡劣影響直接導致世界衞生組織與一些國家政府對新冠疫情及療法的誤判。
一些瑕疵預印本論文的“翻車事故”以及隨之掀起的假新聞浪潮嚴重破壞了公眾對科學的信任。為此,有必要繼續我們的追問:我們能夠信任預印本論文嗎?
預印本論文質量幾何?
質量問題關係到信任危機,那麼如何判斷預印本論文質量呢?一個比較簡單的方法就是取同一個研究,將其預印本論文和經同行評審後發表的最終論文相比較,就能看到預印本經歷了多少改動,也能掂量出原始論文的可靠性。
一項去年12月發表在BMC Research Integrity and Peer Review(《研究誠信和同行評審》)上的研究[11]正是採用這一思路,評估了生命科學領域內同一研究兩個版本論文(預印本版本vs期刊版本)的報告規範性(quality of reporting)差異。評估所採用的報告計量指標(圖2)包含了數據可用性陳述、利益衝突陳述等科研論文的關鍵組成部分。研究人員發現,儘管正式發表的期刊論文的規範性高於其原始預印本版本,但彼此之間的差異很小。有趣的是,這篇論文本身也是先於2019年通過預印本形式發表的。
圖2. BMC論文在調查中所使用的評分項目。例如,在摘要或標題中有沒有寫明研究用到的生物模型?有沒有在文章中報告資金來源?有沒有陳述利益衝突?有沒有報告樣本的規模計算?在數據陳述方面,數據比較是否清晰?有沒有用圖表?圖表是否清晰明確?等等。
前文提及的PLOS Biology論文主要作者之一Jonny Coate也和自己的同事做了類似的小範圍分析。他們調查了去年1月到4月之間200篇預印本論文的科學內容,其中與新冠疫情有關的,在正式期刊發表後,85%並無最終結論改動;非新冠疫情主題的,在正式期刊發表後,94%並無最終結論改動[12](注:這項分析目前發表的也是預印本,尚未經過同行評審)。
另外一支獨立研究團隊則對同一研究的兩種論文版本進行了語言特徵方面的綜合比較,他們的結果也確認,兩者之間的改動微乎其微(注:這篇比較的論文也是預印本,尚未經過同行評審)[13]。
上述幾項研究的結論驚人一致:預印本應能視為有效的科學成果,其質量不完全遜於同行評審論文。
但這一結論引出了另外一個不應被忽視的方面:到目前為止,還沒有任何人比較過那些未正式發表的預印本和已正式發表的預印本。不過,據統計,基本上超過70%的預印本論文最終順利發表在學術期刊上,説明未正式發表的預印本仍屬於少數派。
也許這樣的數據和結論能夠讓我們欣慰一些,至少在疫情期間,科學信息和成果的快速傳播和交流都有一定的質量保證。
公眾眼中的預印本
面對預印本可能引發的問題,學界已採取相應的風險管理措施。2020年9月,生物預印本平台ASAPbio諮詢委員會發起了“公眾眼中的預印本”(Preprints in the Public Eye)項目。該項目首次將科學界和媒體界的專業人士匯聚一堂,討論科學家和媒體傳播預印本論文的通用原則,從而規避可能有瑕疵或者過於初級的研究被大肆宣傳,以致誤導公眾和政策制定。
預印本服務商、出版商、研究機構、科研人員和媒體從業者等共同參與了這一項目,最終形成了一系列建議性文件:
一,對於預印本服務商:需要設立醒目且清晰的篩選標籤,來幫助用户判斷服務商所提供的論文狀態。另外,像bioRxiv這樣的平台在每篇文章下面都會清晰寫明預印本是否經過同行評審。如果已經被期刊發表,也會給出期刊名稱和論文鏈接,方便用户瀏覽論文最終版本。
二、對於研究機構和科研人員,鑑於預印本尚未經過同行評審,建議機構內部先組織專家或者邀請外部專家展開獨立評審,鼓勵公開評審程度,鼓勵談論科研侷限性,避免過度宣傳或者誇大研究成果。值得一提的是,該評審過程不能等同於同行評審。此外,若成果涉及公共衞生或者公共安全,在宣傳推廣之前,務必要進行風險評估,預想因論文本身可能的問題或公眾的理解水平差異可能造成的最大危害。[14]
圖3. ASAPbio給出的科研機構預印本宣發建議書[14]
三、對於公眾和媒體來説,去年9月,美國國立衞生研究院(NIH)就出台過一份《如何使用預印本》[15]的指導性文件,裏面特地列出了注意事項:
1. 引用預印本時,要清楚強調論文是預印本,非最終版本
2. 始終帶着批判的眼光審視預印本研究
3. 持續關注預印本是否更新過版本或者最終正式發表
4. 對同一課題,關注多份相關論文和信息,切勿“一言堂”
5. 牢記:預印本只是研究的初步信息
科學是人們應對疫情暴發的最有力武器,儘管凡事都有兩面性,但是正確理解、閲讀、傳播預印本論文有助於加速科學信息的交流,幫助科學家和大眾儘快打贏抗疫這場硬仗。
參考文獻
[1] https://www.thelancet.com/journals/lanplh/article/PIIS2542-5196(21)00011-5/fulltext
[2] https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000959
[3] https://www.biorxiv.org/content/10.1101/2020.01.30.927871v1
[4] https://www.medrxiv.org/content/10.1101/2020.04.14.20062463v1
[5] https://www.sciencemag.org/news/2020/04/antibody-surveys-suggesting-vast-undercount-coronavirus-infections-may-be-unreliable
[6] https://www.medrxiv.org/content/10.1101/2020.03.16.20037135v1
[7] https://pubpeer.com/publications/B4044A446F35DF81789F6F20F8E0EE
[8] https://www.who.int/zh/emergencies/diseases/novel-coronavirus-2019/advice-for-public/myth-busters?gclid=CjwKCAiA1eKBBhBZEiwAX3gql0NqZ4f8OXZfhP8MzFR11kkwJf4gyJJWWIlWbC3l6g-oeOhkV4ibZBoCAZUQAvD_BwE&gclid=CjwKCAjwmv-DBhAMEiwA7xYrdy0ynbZEKAlDxM_y37yBWomChnMor5sMeUsvDlyhms3XJCQypjQugxoCLQsQAvD_BwE
[9] https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31324-6/fulltext
[10] https://www.nejm.org/doi/full/10.1056/NEJMoa2007621
[11] https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-020-00101-3
[12] https://www.biorxiv.org/content/10.1101/2021.03.04.433874v1
[13] https://www.biorxiv.org/content/10.1101/2021.02.20.432090v1.full
[14] https://asapbio.org/wp-content/uploads/2021/03/Preprints-in-the-Public-Eye-Institutions-1.pdf
[15] https://www.nih.gov/about-nih/what-we-do/science-health-public-trust/perspectives/science-health-public-trust/science-health-public-trust/making-effective-use-preprints-tips-communicators
編譯來源:
https://www.the-scientist.com/news-opinion/opinion-the-rise-of-preprints-is-no-cause-for-alarm-68667