去年,一篇來自MIT博士二年級學生的論文一經發佈,立刻引發學術界廣泛關注。
該研究通過對一個大型材料實驗室的調查,用詳實數據展示了AI工具如何顯著提升科研人員的工作效率。更令人驚訝的是,作者還發現AI在科研中產生了一些有趣的「次生效應」。
當時,這篇論文不僅登上多家主流媒體頭條,還獲得業內高度評價——「這是目前為止關於AI對科學探索影響最深入的研究之一。」
不僅如此,作者還將論文提交至全球頂級經濟學期刊《The Quarterly Journal of Economics》,並收到「修改後重新提交」的通知,意味着論文極有可能被正式發表。
然而就在不久前,這篇論文的兩位導師——諾貝爾經濟學獎得主Daron Acemoglu與David Autor教授突然公開呼籲撤稿,原因是他們懷疑論文中的關鍵數據可能是偽造的!
目前,MIT經濟系已在官網上發佈正式聲明,請求arXiv平台撤下該論文。
MIT表示,這篇發佈於2024年11月的預印本論文自發表以來便引發質疑。經過內部保密審查後,學校認為必須將其撤回,並已聯繫arXiv和相關期刊提出撤稿申請。
此前,MIT曾要求該學生自行申請撤稿,但遭到拒絕。如今,學校強調,該學生已不在校內註冊,不屬於MIT成員。
事實上,早在去年底論文剛一發佈時,就已有不少學者提出疑問。隨着質疑聲不斷增多,導師們也開始察覺問題,並主動上報學校展開調查。
最終,論文作者所致謝的兩位教授Acemoglu和Autor聯合發表聲明:
MIT一名前博士二年級學生的論文《Artificial Intelligence, Scientific Discovery and Product Innovation》雖尚未通過同行評審發表,卻已在AI與科學領域引起廣泛討論。
儘管由於學生隱私法和MIT相關政策限制,無法披露具體調查細節,但我們必須明確指出:我們對該論文中數據來源、可靠性及研究真實性均缺乏信心。
我們希望澄清一點:現階段,學術界或公眾在探討相關議題時,不應採信該論文所呈現的結果。
以下是聲明原文(可上下滑動查看):
AI讓新材料發現暴增44%?數據是假的
回顧去年年底,這篇論文一度引發轟動。作者提出的多項結論極具吸引力:
AI正以前所未有的速度推動新發現,使研究人員發現的新材料數量增長了44%,專利申請量增加39%,下游產品創新增長17%;
AI對科研生產力的影響極為不均,頂尖1/10科學家產出提升81%,而排名靠後的1/3幾乎無變化;
對高產科學家而言,AI成為其「智能夥伴」,放大創造力和產出。
沃頓商學院教授Ethan Mollick也轉發支持該文,許多讀者稱讚這是一篇值得期待的大模型與科研結合的高質量研究。
然而現在看來,這些看似振奮人心的數據,竟可能源自偽造?
此事引發熱議後,《大西洋月刊》記者以題為《科學家 vs 機器》的文章對此進行了深度報道。
早在2024年11月,就有專業人士對論文內容提出質疑。
倫敦大學學院無機與材料化學教授Robert Palgrave公開表示,文中觀點存在諸多漏洞,邏輯不夠嚴謹。
他隨後展開詳細分析:
論文稱研究對象是一家匿名美國公司,擁有超過1000名科學家從事新材料研發,涵蓋醫療、光學、工業製造等多個方向。然而,其中多個細節令人起疑。
例如,作者聲稱該公司早在2022年就開始系統使用AI進行科研,並設立大規模對照實驗。試問,哪家企業會如此前瞻性地為上千名員工設置多年追蹤機制,並將數據提供給一位MIT博士一年級學生?
此外,作者甚至能查閱員工實驗記錄,這種權限是否合理也值得商榷。
更可疑的是,論文中提到的材料類型包括生物材料、陶瓷、金屬合金、聚合物等,但並未給出具體說明。
Palgrave指出,像陶瓷這類材料結構複雜且無序,極難通過AI進行高通量建模。谷歌DeepMind早期嘗試失敗即源於此。
論文使用的SOAP方法也被質疑修改過:「第二項對靠近質心的原子增加了權重。」但周期性材料並無中心之說,前提本身錯誤。
所謂「新穎性」指標因此並不具備說服力。
論文聲稱AI幫助發現了新材料,但如何驗證這些預測是否真實有效?作者幾乎沒有提及。
Palgrave最後表示,雖然論文構思巧妙、工作量龐大,但整體數據過於理想化,令人難以信服。
材料科學家怎麼看?
另一位材料專家Ben則從技術角度進一步剖析。
他表示,論文描述了一家美國公司對1000多名材料科學家進行的隨機試驗,涉及AI工具對科研各環節的影響。然而,數據太過完美,幾乎不真實。
例如:
新材料數量 ↑ 44%
專利數量 ↑ 39%
原型產品 ↑ 17%
所有結果都具有統計顯著性(p<0.000),每項指標都呈現出清晰趨勢,圖表也異常規整。
再看裁員案例:公司裁掉3%員工,卻奇蹟般不影響數據分析,反而成為論文亮點之一。這種巧合實在難以置信。
Ben還指出,作者聲稱通過晶體結構計算判斷新材料相似度,但沒有提供任何技術細節。僅憑一個經濟學博士的能力,幾乎不可能獨立完成如此複雜的建模。
圖表顯示AI發現的新材料更具創新性,若屬實,足以單獨發表於《Nature》。但在文中卻僅作為附錄。
更重要的是,不同材料類型的相似性應有差異,但作者未做歸一化處理,數據顯然不可靠。
綜上所述,這篇論文很可能完全虛構。即便如此,它仍險些登上頂級期刊,足見造假手法之高明。
歡迎您的閱讀,請關注本號,持續為您帶來有用資訊,感謝!