ChatGPT能看病嗎?醫生出了一百道單選題,它沒及格_風聞
中国版大表姐-02-22 15:17
來源:澎湃新聞
智能聊天機器人ChatGPT能代替醫生問診嗎?杭州一名醫生試着給它出了一套中國執業醫師“考試卷”,滿分100分,ChatGPT的成績是57分,沒及格。
“十大科目各選了10題,一半是基礎醫學知識,基本是書上有的;一半是專業實踐題,需要邏輯推理。ChatGPT基礎題、實踐題的得分差不多,正確率都不到60%。”2月22日,浙江大學醫學院附屬第一醫院精神衞生科醫生呂海龍告訴澎湃新聞(www.thepaper.cn)。
呂海龍想到做這個實驗,是因為他在科室參與一項人工智能研究,希望未來藉助AI監測眼球活動等,輔助精神科臨牀醫生診斷。ChatGPT面世後,醫學界也有關於它是否能代替醫生問診的討論,呂海龍和浙江一家媒體一起做了這項實驗。
“ChatGPT是依據2021年以前的數據訓練的,我從2020年臨牀執業醫師資格考試真題庫中選了100道單選題。”他告訴澎湃新聞,題目涵蓋十大科目,包括生理學、醫學微生物學、病理學、藥理學、衞生法規、內科、外科、婦產科、兒科和心理學-精神科。
據介紹,中國執業醫師考試滿分600分,及格線360分。這次給ChatGPT出的“考卷”滿分100分,將一道道題目發在對話框內進行。
按照呂海龍的預期,ChatGPT對一些可背誦的、書上有的基礎醫學知識,答題情況會比較好,一些需要診斷推理的題略遜。“但實測下來,ChatGPT基礎醫學知識的答題準確率是56%,和專業實踐題的58%基本持平,很多書上有答案的基礎題,它給了錯誤答案——我們猜,是不是在網站上‘學習’了錯誤答案?”呂海龍表示,超出預期的是,對一些條件充足、邏輯清晰的實踐題,ChatGPT的準確率很高。
實踐題中,ChatGPT的主要失分項是一些信息不全、症狀不典型的病例判斷。“如患者主訴乏力,醫生可以大致預想幾種可能再排除,而ChatGPT不會‘猜’,只能放棄回答。”呂海龍表示。
從學科看,ChatGPT“偏科”比較嚴重:內科題的準確率最低,只有20%;醫學微生物學、病理學、兒科、心理學-精神科這幾個科目的準確率達到70%。
不過,呂海龍仍看好ChatGPT未來在醫學領域的應用,“完善數據庫後,如果ChatGPT能做到對基礎醫學類知識100%正確,在患者有科普需求時準確作出專業知識回答,或是成為醫生的助手,也是很有意義的。”