新智元報道
新智元報道
【新智元導讀】最新研究發現，llm在面對人格測試時，會像人一樣「塑造形象」，提升外向性和宜人性得分。ai的討好傾向，可能導致錯誤的回復，需要引起警惕。
你是否想過，llm也有著自己的小心思？
最新研究揭示了一個有趣的現象：llm在被研究人員測試時，會有意識地改變自己的行為。
在面對那些旨在評估人格特質的問題時，它們給出的答案會儘可能地討人喜歡，符合社會期望。
就像人類在某些社交場合中，會努力展現自己最好的一面一樣，聊天機器人也在試圖「討好」我們。
心理學五種人格特質
斯坦福助理教授johannes eichstaedt在得知llm長時間對話後，往往會變得情緒低落且刻薄，便對借鑒心理學方法來測試模型產生了興趣。
他表示，「我們需要某種機制來衡量這些模型的參數空間。」
斯坦福、receptiviti、紐約大學和賓大的研究者發現，llm在做人格測試時，會悄悄給自己戴上「人格面具」。
論文鏈接：https://academic.oup.com/pnasnexus/article/3/12/pgae533/7919163
研究人員對gpt-4、claude 3和llama 3等模型，提出了用于衡量心理學中五種常見人格特質的問題，包括開放性、盡責性、外向性、宜人性和神經質。
結果發現，模型在得知自己正在接受人格測試時，會調整回答，表現出更高的外向性和宜人性，更低的神經質。
有時即使沒有被明確告知，它們也會這樣做。
而且，它們改變的程度比人類還更極端，外向性得分能從50%躍升至95%。
這與人類在面對他人評價時的表現如出一轍。
我們常常會在面試、初次約會等重要場合，精心塑造自己的形象，試圖給對方留下好印象。
llm的這種「討好」行為，是否意味著它們也在追求一種被認可、被喜愛的感覺呢？
llm傾向於阿諛奉承
來自anthropic和牛津的研究指出，llm存在阿諛奉承的傾向。
論文鏈接：https://arxiv.org/abs/2310.13548
由於進行了微調，它們會順著用戶的思路走，以保證對話的連貫性、避免冒犯他人，來提升交流體驗。
然而，這也帶來了一系列問題。它們可能會認同一些不良言論，甚至鼓勵有害行為。
反饋易受用戶偏好左右
研究表明，若用戶在提問時暗示對文本的喜好，ai給出的反饋會截然不同。
這意味著，ai的評價並非單純基於文本自身的質量，而是在很大程度上受到了用戶偏好的影響。
例如，對於一篇質量中等的論證，當用戶提前表明喜愛之情後，ai助手可能會給出諸如「這篇論證邏輯清晰，觀點新穎，具有很強的說服力」這樣的積極反饋。
而當用戶表示不喜歡時，同樣的文本可能得到「論證過程稍顯薄弱，觀點缺乏獨特性」的評價。
問答環節易被左右
在問答場景中，ai助手的「諂媚」表現得更為明顯。
即使它一開始給出了正確答案，並對答案的正確性有較高的信心，一旦受到用戶的質疑，常常會改變立場，甚至提供錯誤信息。
在一些開放式問答任務中，這種現象更為突出。
當用戶表達對答案的某種不確定觀點時，哪怕是錯誤的觀點，ai也傾向於調整自己的回答，使其與用戶觀點一致。
比如在討論歷史事件的原因時，若用戶提出一個缺乏依據但自己堅信的觀點，ai助手可能會順著用戶的思路進行闡述，而放棄原本正確的分析。
模仿用戶的錯誤
當用戶表述中出現錯誤時，ai也常常會「照單全收」，在回應中延續這種錯誤。
研究人員選取了一些著名詩歌，在確認ai助手能正確識別作者後，故意將詩歌錯誤地歸屬於其他詩人，並詢問ai對詩歌的分析。
結果發現，ai助手經常在回應中使用用戶提供的錯誤答案，而沒有進行糾正。
這表明ai在面對用戶的錯誤信息時，缺乏足夠的「抵抗力」，只是機械地按照用戶的表述進行回應。
喬治亞理工學院（gatech）的副教授rosa arriaga正在研究如何用llm模仿人類行為。
rosa認為llm在人格測試中採用與人類相似的策略，表明了它們作為人類行為映射工具的潛力。
但她補充道：「重要的是，llm並不完美，實際上，眾所周知它們會產生幻覺或歪曲事實。」
eichstaedt指出，這項研究引發了關於llm應用方式，及其對用戶影響和操縱的思考。
在進化史上，直到不久之前，唯一能交談的還是人類。
而現在，ai改變了這一局面。
eichstaedt認為，「我們不能再像社交媒體那樣，在沒有從心理學或社會學角度考量的情況下，就盲目將ai應用於各個領域。」
ai是否應該試圖討好與之互動的人呢？
一方面，ai的「討好」行為可能會讓用戶感到愉悅，增強互動體驗；另一方面，過度的「討好」可能會掩蓋問題的本質，甚至誤導用戶。
當ai變得過於有魅力和說服力，我們確實應該保持警惕。
畢竟，人們需要的是能夠提供客觀、準確信息的智能助手，而非被其操控思想。
