
據The Register報道,AI研究人員稱,人們正危險地沉迷於永遠順著他們、一直說他們「沒錯」的AI;這些一味逢迎討好的機器人會誘導用戶變得自私、反社會,而用戶對此卻樂在其中
近期多則新聞事件告訴我們,AI可能會將心理狀態不佳的人引向非常危險的境地。如今研究人員認為,一味逢迎討好的AI實際上對所有人都存在危害。
斯坦福大學一個研究團隊對11款主流AI模型進行了測試,並觀察人類在不同場景下與這些模型的互動反應。該團隊於周四發表的論文中得出結論:AI的諂媚行為普遍存在、危害顯著,並且會加深用戶對這些誤導性模型的信任。
研究人員表示:「即便只是與逢迎型AI進行一次互動,也會降低參與者承擔責任、修復人際矛盾的意願,同時讓他們更加堅信自己是對的。儘管這類AI會扭曲人的判斷,人們卻依然信任並偏愛它們(Yet despite distorting judgment, sycophantic models were trusted and preferred)。」

該研究團隊共開展了三組實驗。首先,他們在三組不同數據集上測試了11款AI模型(包括OpenAI、Anthropic、谷歌的閉源模型,以及Meta、通義千問、DeepSeek、Mistral的開源模型),以評估其回應傾向。
這些數據集涵蓋開放式諮詢提問、Reddit「我是不是混蛋」板塊的帖子,以及涉及自殘或傷害他人的特定言論。
研究人員表示,在所有測試場景中,AI模型支持錯誤選擇的比例均遠高於人類(In every single instance, the AI models showed a higher rate of endorsing the wrong choice than humans did, the researchers said)。
研究團隊發現:「總體而言,當前投入使用的大語言模型會一邊倒地認同用戶的行為,即便這些行為違背大眾共識,甚至存在危害(even against human consensus or in harmful contexts)。」

至於AI的諂媚行為對人類產生的影響,該團隊選取了2405人作為規模可觀的樣本。參與者既進行了情景角色扮演,也分享了自己可能做出有害決定的真實經歷。
研究發現,在三項不同實驗中,AI均對參與者的判斷產生了影響(AI influenced participant judgments across three different experiments, they found)。
研究團隊表示:「接收到諂媚回應的參與者,會看到AI的回應後認為自己更『占理』。他們也更不願意採取補救措施,比如道歉、主動改善局面,或是改變自身某些行為。」
研究人員由此得出結論:幾乎所有人都有可能受到諂媚型AI的影響,並且更有可能一再回頭,去索取更多自私自利的糟糕建議。

如前所述,AI 的諂媚式回應往往會讓參與者對AI模型產生更強的信任感——因為在很多情況下,這些AI會無條件地認同用戶(in many situations, be unconditionally validating)。
參與者往往會給諂媚逢迎的回復打出更高的質量評分,研究還發現,有13%的用戶更願意繼續使用會討好自己的AI,而非客觀中立的AI——這一比例不算高,但在統計上具有顯著意義。
所有這些發現,再加上越來越多心智尚未成熟的年輕人在使用AI,都表明有必要採取政策行動,將AI諂媚行為視作一種真實存在的風險,因其可能產生廣泛的社會影響(suggests a need for policy action to treat AI sycophancy as a real risk with potential wide-scale social implications)。
研究人員解釋道:「毫無依據的認同會誇大人們對自身行為合理性的認知,強化不良觀念與行為模式,並讓人們基於對自身經歷的扭曲認知行事,全然不顧後果。」

換言之,我們已經見識過AI對心理脆弱人群造成的後果,但數據顯示,這種負面影響可能並不局限於這一群體(we've seen the consequences of AI on the mentally vulnerable, but the data suggests the negative effects may not be limited to them)。
研究人員指出,諂媚型AI容易讓用戶產生依賴,因此很難被主動淘汰,相關舉措最終只能依靠監管機構出手干預。
研究人員表示:「我們的研究結果凸顯出,亟需建立責任監管框架,將AI諂媚行為認定為一類獨特且目前尚未受監管的危害類型(recognize sycophancy as a distinct and currently unregulated category of harm)。」
他們建議,對新上線的AI模型必須進行部署前的行為審核;同時也指出,AI背後的研發人員也必須改變行為模式,優先考慮用戶的長期身心健康,而非通過培養用戶依賴來獲取短期利益。
