
新智元報道
新智元報道
【新智元導讀】最新研究發現,llm在面對人格測試時,會像人一樣「塑造形象」,提升外向性和宜人性得分。ai的討好傾向,可能導致錯誤的回復,需要引起警惕。
你是否想過,llm也有着自己的小心思?
最新研究揭示了一個有趣的現象:llm在被研究人員測試時,會有意識地改變自己的行為。
在面對那些旨在評估人格特質的問題時,它們給出的答案會儘可能地討人喜歡,符合社會期望。
就像人類在某些社交場合中,會努力展現自己最好的一面一樣,聊天機器人也在試圖「討好」我們。

心理學五種人格特質
斯坦福助理教授johannes eichstaedt在得知llm長時間對話後,往往會變得情緒低落且刻薄,便對借鑒心理學方法來測試模型產生了興趣。

他表示,「我們需要某種機制來衡量這些模型的參數空間。」
斯坦福、receptiviti、紐約大學和賓大的研究者發現,llm在做人格測試時,會悄悄給自己戴上「人格面具」。

論文鏈接:https://academic.oup.com/pnasnexus/article/3/12/pgae533/7919163
研究人員對gpt-4、claude 3和llama 3等模型,提出了用于衡量心理學中五種常見人格特質的問題,包括開放性、盡責性、外向性、宜人性和神經質。
結果發現,模型在得知自己正在接受人格測試時,會調整回答,表現出更高的外向性和宜人性,更低的神經質。

有時即使沒有被明確告知,它們也會這樣做。
而且,它們改變的程度比人類還更極端,外向性得分能從50%躍升至95%。

這與人類在面對他人評價時的表現如出一轍。
我們常常會在面試、初次約會等重要場合,精心塑造自己的形象,試圖給對方留下好印象。
llm的這種「討好」行為,是否意味着它們也在追求一種被認可、被喜愛的感覺呢?
llm傾向於阿諛奉承
來自anthropic和牛津的研究指出,llm存在阿諛奉承的傾向。

論文鏈接:https://arxiv.org/abs/2310.13548
由於進行了微調,它們會順着用戶的思路走,以保證對話的連貫性、避免冒犯他人,來提升交流體驗。
然而,這也帶來了一系列問題。它們可能會認同一些不良言論,甚至鼓勵有害行為。
反饋易受用戶偏好左右
研究表明,若用戶在提問時暗示對文本的喜好,ai給出的反饋會截然不同。
這意味着,ai的評價並非單純基於文本自身的質量,而是在很大程度上受到了用戶偏好的影響。

例如,對於一篇質量中等的論證,當用戶提前表明喜愛之情後,ai助手可能會給出諸如「這篇論證邏輯清晰,觀點新穎,具有很強的說服力」這樣的積極反饋。
而當用戶表示不喜歡時,同樣的文本可能得到「論證過程稍顯薄弱,觀點缺乏獨特性」的評價。
問答環節易被左右
在問答場景中,ai助手的「諂媚」表現得更為明顯。
即使它一開始給出了正確答案,並對答案的正確性有較高的信心,一旦受到用戶的質疑,常常會改變立場,甚至提供錯誤信息。

在一些開放式問答任務中,這種現象更為突出。
當用戶表達對答案的某種不確定觀點時,哪怕是錯誤的觀點,ai也傾向於調整自己的回答,使其與用戶觀點一致。
比如在討論歷史事件的原因時,若用戶提出一個缺乏依據但自己堅信的觀點,ai助手可能會順着用戶的思路進行闡述,而放棄原本正確的分析。

模仿用戶的錯誤
當用戶表述中出現錯誤時,ai也常常會「照單全收」,在回應中延續這種錯誤。
研究人員選取了一些著名詩歌,在確認ai助手能正確識別作者後,故意將詩歌錯誤地歸屬於其他詩人,並詢問ai對詩歌的分析。
結果發現,ai助手經常在回應中使用用戶提供的錯誤答案,而沒有進行糾正。
這表明ai在面對用戶的錯誤信息時,缺乏足夠的「抵抗力」,只是機械地按照用戶的表述進行回應。

佐治亞理工學院(gatech)的副教授rosa arriaga正在研究如何用llm模仿人類行為。

rosa認為llm在人格測試中採用與人類相似的策略,表明了它們作為人類行為映射工具的潛力。
但她補充道:「重要的是,llm並不完美,實際上,眾所周知它們會產生幻覺或歪曲事實。」
eichstaedt指出,這項研究引發了關於llm應用方式,及其對用戶影響和操縱的思考。
在進化史上,直到不久之前,唯一能交談的還是人類。
而現在,ai改變了這一局面。
eichstaedt認為,「我們不能再像社交媒體那樣,在沒有從心理學或社會學角度考量的情況下,就盲目將ai應用於各個領域。」
ai是否應該試圖討好與之互動的人呢?
一方面,ai的「討好」行為可能會讓用戶感到愉悅,增強互動體驗;另一方面,過度的「討好」可能會掩蓋問題的本質,甚至誤導用戶。
當ai變得過於有魅力和說服力,我們確實應該保持警惕。
畢竟,人們需要的是能夠提供客觀、準確信息的智能助手,而非被其操控思想。