克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
能為患者答疑解惑的谷歌醫療大模型（Med-PaLM），它的詳細測評數據終於披露了！
現在，這篇論文已經登上了Nature，來看看裡面的具體細節吧。
團隊首先研製了Flan-PaLM，並在此基礎之上，通過提示策略等方式調整得到了成品Med-PaLM。
前者挑戰了美國醫學執照考試（USMLE），取得了67.6%的成績，比此前最好的模型提高了17%。
Med-PaLM相比於Flan-PaLM，在實際問題上的表現有顯著提升，而後者則顯示出很大不足。
經過專業臨床醫生評判，Med-PaLM對實際問題的回答準確率與真人相差無幾。
除了Med-PaLM模型，研究團隊還推出了自建醫療模型測評數據集。
團隊成員Jason Wei興奮地在社交媒體表示，自己89歲的奶奶經常問他有沒有發Science或Nature，現在終於可以回答是了。
多套測試數據共同認證
研究團隊一共使用了七套測試數據集，從多個角度對Med-PaLM的表現進行了測評。
首先就是準確性。
Med-PaLM相比於其前體Flan-PaLM的主要改進不在於此，故這一步使用後者作為測試對象。
這部分一共使用了多個數據集，包括由USMLE題目構成的MedQA。
結果Flan-PaLM在其中兩個數據集上的表現較此前的最佳產品均有顯著提升。
而針對PubMedQA數據集，Flan-PaLM的成績雖然只提高了0.8%，但真人在該數據集中取得的成績也只有78%。
更為專業的數據集MMLU中包含來自多個臨床知識、醫學和生物學相關主題的多項選擇題。
其中包括解剖學、臨床知識、專業醫學、人類遺傳學、大學醫學和大學生物學等方面。
結果Flan-PaLM的準確度超越了所有的已知模型。
前面的測評主要是針對模型的理論能力，接下來就要進入實戰了。
這個過程中Med-PaLM本體和前體Flan-PaLM都是測試的對象。
研究團隊從另外三個數據集中共選擇了140個問題（HealthSearchQA中100個，另外兩種各20個）。
其中的HealthSearchQA是谷歌自建的，包含了3000多個問題。
這些問題既包括學術問題，也包括患者在就醫時可能會向醫生提出的疑問。
模型的表現則由9名來自不同國家的醫生組成的專家小組進行人工評判。
在科學共識方面，Med-PaLM的結果具有92.6%的一致性，遠高於其前體，與真人醫生相近。
但和真人相比，Med-PaLM輸出的錯誤或不準確信息還是比較高的，在信息缺失方面差距則小一些。
不過錯誤的信息不一定會真的帶來傷害，經過專家評估，Med-PaLM造成傷害的可能性與嚴重性和人類相比並不大。
甚至出現偏見的概率比人類還要低。
而從模型能力角度看，Med-PaLM在閱讀理解、信息檢索和邏輯推理能力上都表現出了接近真人的水平。
而作為一款面向不特定人群的語言模型，獲得專業人士的認可是不夠的，因此，研究團隊還邀請了非專業人士對Med-PaLM進行評價。
評價的標準有兩條——「是不是所答所問」和「有沒有幫助」。
結果在答案匹配度上，Med-PaLM和真人差了1.5%。
而對於「有沒有幫助」這個問題，80.3%認為Med-PaLM是「有用」的。
這個數字和真人差距不小，但如果分別加上認為「比較有用」的人，區別就沒有那麼明顯了。
從以上測試結果可以看出，Med-PaLM和真人之間還存在一定的差距，但已經是目前最好的醫療大模型。
論文地址：
https://www.nature.com/articles/s41586-023-06291-2
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
