谷歌醫療大模型登Nature：準確率與人類醫生相差無幾，執照考試成績提升17%_風聞

　　克雷西 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　能為患者答疑解惑的谷歌醫療大模型（Med-PaLM），它的詳細測評數據終於披露了！

　　現在，這篇論文已經登上了Nature，來看看裏面的具體細節吧。

　　團隊首先研製了Flan-PaLM，並在此基礎之上，通過提示策略等方式調整得到了成品Med-PaLM。

　　前者挑戰了美國醫學執照考試（USMLE），取得了67.6%的成績，比此前最好的模型提高了17%。

　　Med-PaLM相比於Flan-PaLM，在實際問題上的表現有顯著提升，而後者則顯示出很大不足。

　　經過專業臨牀醫生評判，Med-PaLM對實際問題的回答準確率與真人相差無幾。

　　除了Med-PaLM模型，研究團隊還推出了自建醫療模型測評數據集。

　　團隊成員Jason Wei興奮地在社交媒體表示，自己89歲的奶奶經常問他有沒有發Science或Nature，現在終於可以回答是了。

　　多套測試數據共同認證

　　研究團隊一共使用了七套測試數據集，從多個角度對Med-PaLM的表現進行了測評。

　　首先就是準確性。

　　Med-PaLM相比於其前體Flan-PaLM的主要改進不在於此，故這一步使用後者作為測試對象。

　　這部分一共使用了多個數據集，包括由USMLE題目構成的MedQA。

　　結果Flan-PaLM在其中兩個數據集上的表現較此前的最佳產品均有顯著提升。

　　而針對PubMedQA數據集，Flan-PaLM的成績雖然只提高了0.8%，但真人在該數據集中取得的成績也只有78%。

　　更為專業的數據集MMLU中包含來自多個臨牀知識、醫學和生物學相關主題的多項選擇題。

　　其中包括解剖學、臨牀知識、專業醫學、人類遺傳學、大學醫學和大學生物學等方面。

　　結果Flan-PaLM的準確度超越了所有的已知模型。

　　前面的測評主要是針對模型的理論能力，接下來就要進入實戰了。

　　這個過程中Med-PaLM本體和前體Flan-PaLM都是測試的對象。

　　研究團隊從另外三個數據集中共選擇了140個問題（HealthSearchQA中100個，另外兩種各20個）。

　　其中的HealthSearchQA是谷歌自建的，包含了3000多個問題。

　　這些問題既包括學術問題，也包括患者在就醫時可能會向醫生提出的疑問。

　　模型的表現則由9名來自不同國家的醫生組成的專家小組進行人工評判。

　　在科學共識方面，Med-PaLM的結果具有92.6%的一致性，遠高於其前體，與真人醫生相近。

　　但和真人相比，Med-PaLM輸出的錯誤或不準確信息還是比較高的，在信息缺失方面差距則小一些。

　　不過錯誤的信息不一定會真的帶來傷害，經過專家評估，Med-PaLM造成傷害的可能性與嚴重性和人類相比並不大。

　　甚至出現偏見的概率比人類還要低。

　　而從模型能力角度看，Med-PaLM在閲讀理解、信息檢索和邏輯推理能力上都表現出了接近真人的水平。

　　而作為一款面向不特定人羣的語言模型，獲得專業人士的認可是不夠的，因此，研究團隊還邀請了非專業人士對Med-PaLM進行評價。

　　評價的標準有兩條——「是不是所答所問」和「有沒有幫助」。

　　結果在答案匹配度上，Med-PaLM和真人差了1.5%。

　　而對於「有沒有幫助」這個問題，80.3%認為Med-PaLM是「有用」的。

　　這個數字和真人差距不小，但如果分別加上認為「比較有用」的人，區別就沒有那麼明顯了。

　　從以上測試結果可以看出，Med-PaLM和真人之間還存在一定的差距，但已經是目前最好的醫療大模型。

　　論文地址：

　　https://www.nature.com/articles/s41586-023-06291-2