谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」

2023年07月13日17:23:03 科技 1357

克雷西 發自 凹非寺

量子位 | 公眾號 QbitAI

能為患者答疑解惑的谷歌醫療大模型(Med-PaLM),它的詳細測評數據終於披露了!

現在,這篇論文已經登上了Nature,來看看裏面的具體細節吧。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

團隊首先研製了Flan-PaLM,並在此基礎之上,通過提示策略等方式調整得到了成品Med-PaLM。

前者挑戰了美國醫學執照考試(USMLE),取得了67.6%的成績,比此前最好的模型提高了17%。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

Med-PaLM相比於Flan-PaLM,在實際問題上的表現有顯著提升,而後者則顯示出很大不足。

經過專業臨床醫生評判,Med-PaLM對實際問題的回答準確率與真人相差無幾

除了Med-PaLM模型,研究團隊還推出了自建醫療模型測評數據集。

團隊成員Jason Wei興奮地在社交媒體表示,自己89歲的奶奶經常問他有沒有發Science或Nature,現在終於可以回答是了。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

多套測試數據共同認證

研究團隊一共使用了七套測試數據集,從多個角度對Med-PaLM的表現進行了測評。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

首先就是準確性

Med-PaLM相比於其前體Flan-PaLM的主要改進不在於此,故這一步使用後者作為測試對象。

這部分一共使用了多個數據集,包括由USMLE題目構成的MedQA。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

結果Flan-PaLM在其中兩個數據集上的表現較此前的最佳產品均有顯著提升。

而針對PubMedQA數據集,Flan-PaLM的成績雖然只提高了0.8%,但真人在該數據集中取得的成績也只有78%。

更為專業的數據集MMLU中包含來自多個臨床知識、醫學和生物學相關主題的多項選擇題。

其中包括解剖學、臨床知識、專業醫學、人類遺傳學、大學醫學和大學生物學等方面。

結果Flan-PaLM的準確度超越了所有的已知模型。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

前面的測評主要是針對模型的理論能力,接下來就要進入實戰了。

這個過程中Med-PaLM本體和前體Flan-PaLM都是測試的對象。

研究團隊從另外三個數據集中共選擇了140個問題(HealthSearchQA中100個,另外兩種各20個)。

其中的HealthSearchQA是谷歌自建的,包含了3000多個問題。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

這些問題既包括學術問題,也包括患者在就醫時可能會向醫生提出的疑問。

模型的表現則由9名來自不同國家的醫生組成的專家小組進行人工評判。

在科學共識方面,Med-PaLM的結果具有92.6%的一致性,遠高於其前體,與真人醫生相近。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

但和真人相比,Med-PaLM輸出的錯誤或不準確信息還是比較高的,在信息缺失方面差距則小一些。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

不過錯誤的信息不一定會真的帶來傷害,經過專家評估,Med-PaLM造成傷害的可能性與嚴重性和人類相比並不大。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

甚至出現偏見的概率比人類還要低。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

而從模型能力角度看,Med-PaLM在閱讀理解、信息檢索和邏輯推理能力上都表現出了接近真人的水平。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

而作為一款面向不特定人群的語言模型,獲得專業人士的認可是不夠的,因此,研究團隊還邀請了非專業人士對Med-PaLM進行評價。

評價的標準有兩條——「是不是所答所問」和「有沒有幫助」。

結果在答案匹配度上,Med-PaLM和真人差了1.5%。

而對於「有沒有幫助」這個問題,80.3%認為Med-PaLM是「有用」的。

這個數字和真人差距不小,但如果分別加上認為「比較有用」的人,區別就沒有那麼明顯了。

谷歌醫療大模型登Nature:準確率與人類醫生「相差無幾」 - 天天要聞

從以上測試結果可以看出,Med-PaLM和真人之間還存在一定的差距,但已經是目前最好的醫療大模型。

論文地址:
https://www.nature.com/articles/s41586-023-06291-2

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們,第一時間獲知前沿科技動態

科技分類資訊推薦

開啟 「雷鳳軍」 時代,硬派新玩家的技術狂飆,鄭州日產Z9開啟預售 - 天天要聞

開啟 「雷鳳軍」 時代,硬派新玩家的技術狂飆,鄭州日產Z9開啟預售

像雷軍雷布斯那樣用互聯網思維造車,以生態圈模式賣車;像小鵬王鳳英那樣管理公司,激發團隊;對標長城魏建軍;開創鄭州日產自己的「雷鳳軍」時代。在3月31日舉辦的鄭州日產 Z9 預售發佈會上,鄭州日產執行副總經理毛力民這句話一出,不僅瞬間點燃了現場,更讓我們看到了鄭
探秘東風汽車博物館:穿越汽車工業的時光隧道 - 天天要聞

探秘東風汽車博物館:穿越汽車工業的時光隧道

3月26日,中部地區首座以汽車工業文化為主題的綜合性博物館——東風汽車博物館正式在湖北十堰開館。這座承載着中國汽車工業半個多世紀奮鬥史的文化地標,在十堰市原第二汽車製造廠(下稱「二汽」)歷史廠區隆重啟幕。它不僅是東風汽車發展歷程的生動記錄者,更是中國汽車工業崛
張若昀同款座駕登場!悅意 03 憑啥成爆款預定? - 天天要聞

張若昀同款座駕登場!悅意 03 憑啥成爆款預定?

最近汽車圈可是熱鬧非凡!3 月 27 日,在充滿詩意與古韻的烏鎮,一汽奔騰搞了個大動作,舉辦了一場盛大的 「為生活 添悅意」 一汽奔騰悅意之夜暨悅意 03 上市發佈會在烏鎮的古樸寧靜與新能源汽車的科技感完美融合,為這場發佈會增添了獨特的魅力。​
逆勢而揚,一汽豐田3月銷售新車7萬台,同比增長22.3% - 天天要聞

逆勢而揚,一汽豐田3月銷售新車7萬台,同比增長22.3%

4月1日,一汽豐田率先公布了3月及一季度銷量數據。3月,一汽豐田銷售新車71,025台,同比增長22.3%;整個2025年一季度,累計銷售新車172,461台,同比增長9.6%。這是繼連續兩年成為正增長主流合資車企之後,一汽豐田再次創造的新增長記錄,續寫了「合
把驗收決定權真正交還用戶手中,問界首開行業先河 - 天天要聞

把驗收決定權真正交還用戶手中,問界首開行業先河

用戶對企業的價值是什麼?堅持以用戶為中心,如何才能做到實處?新能源汽車品牌能為用戶帶來哪些創新服務?隨着問界M9 2025款先行者在工廠驗收交付儀式的成功舉辦,這一系列問題都有了更直觀的答案。在賽力斯超級工廠,問界首開行業先河,做出新的質量承諾:用戶可以親自參
星耀8 駕到!國產混動界「新霸主」來襲,你準備好了嗎? - 天天要聞

星耀8 駕到!國產混動界「新霸主」來襲,你準備好了嗎?

瞧瞧這外觀,是不是既奢華又充滿科技感?前臉那封閉式格柵,搭配狹長的燈組和中央貫穿的星環燈帶,簡直就是一道亮麗的風景線。下方還有「T」字形鍍鉻裝飾的導流槽,不僅好看,還能優化空氣動力學性能。車身側麵線條流暢得讓人讚歎,溜背設計加上隱藏式門把手,風阻係數低得讓人驚