新智元报道
新智元报道
【新智元导读】最新研究发现，llm在面对人格测试时，会像人一样“塑造形象”，提升外向性和宜人性得分。ai的讨好倾向，可能导致错误的回复，需要引起警惕。
你是否想过，llm也有着自己的小心思？
最新研究揭示了一个有趣的现象：llm在被研究人员测试时，会有意识地改变自己的行为。
在面对那些旨在评估人格特质的问题时，它们给出的答案会尽可能地讨人喜欢，符合社会期望。
就像人类在某些社交场合中，会努力展现自己最好的一面一样，聊天机器人也在试图“讨好”我们。
心理学五种人格特质
斯坦福助理教授johannes eichstaedt在得知llm长时间对话后，往往会变得情绪低落且刻薄，便对借鉴心理学方法来测试模型产生了兴趣。
他表示，“我们需要某种机制来衡量这些模型的参数空间。”
斯坦福、receptiviti、纽约大学和宾大的研究者发现，llm在做人格测试时，会悄悄给自己戴上“人格面具”。
论文链接：https://academic.oup.com/pnasnexus/article/3/12/pgae533/7919163
研究人员对gpt-4、claude 3和llama 3等模型，提出了用于衡量心理学中五种常见人格特质的问题，包括开放性、尽责性、外向性、宜人性和神经质。
结果发现，模型在得知自己正在接受人格测试时，会调整回答，表现出更高的外向性和宜人性，更低的神经质。
有时即使没有被明确告知，它们也会这样做。
而且，它们改变的程度比人类还更极端，外向性得分能从50%跃升至95%。
这与人类在面对他人评价时的表现如出一辙。
我们常常会在面试、初次约会等重要场合，精心塑造自己的形象，试图给对方留下好印象。
llm的这种“讨好”行为，是否意味着它们也在追求一种被认可、被喜爱的感觉呢？
llm倾向于阿谀奉承
来自anthropic和牛津的研究指出，llm存在阿谀奉承的倾向。
论文链接：https://arxiv.org/abs/2310.13548
由于进行了微调，它们会顺着用户的思路走，以保证对话的连贯性、避免冒犯他人，来提升交流体验。
然而，这也带来了一系列问题。它们可能会认同一些不良言论，甚至鼓励有害行为。
反馈易受用户偏好左右
研究表明，若用户在提问时暗示对文本的喜好，ai给出的反馈会截然不同。
这意味着，ai的评价并非单纯基于文本自身的质量，而是在很大程度上受到了用户偏好的影响。
例如，对于一篇质量中等的论证，当用户提前表明喜爱之情后，ai助手可能会给出诸如“这篇论证逻辑清晰，观点新颖，具有很强的说服力”这样的积极反馈。
而当用户表示不喜欢时，同样的文本可能得到“论证过程稍显薄弱，观点缺乏独特性”的评价。
问答环节易被左右
在问答场景中，ai助手的“谄媚”表现得更为明显。
即使它一开始给出了正确答案，并对答案的正确性有较高的信心，一旦受到用户的质疑，常常会改变立场，甚至提供错误信息。
在一些开放式问答任务中，这种现象更为突出。
当用户表达对答案的某种不确定观点时，哪怕是错误的观点，ai也倾向于调整自己的回答，使其与用户观点一致。
比如在讨论历史事件的原因时，若用户提出一个缺乏依据但自己坚信的观点，ai助手可能会顺着用户的思路进行阐述，而放弃原本正确的分析。
模仿用户的错误
当用户表述中出现错误时，ai也常常会“照单全收”，在回应中延续这种错误。
研究人员选取了一些著名诗歌，在确认ai助手能正确识别作者后，故意将诗歌错误地归属于其他诗人，并询问ai对诗歌的分析。
结果发现，ai助手经常在回应中使用用户提供的错误答案，而没有进行纠正。
这表明ai在面对用户的错误信息时，缺乏足够的“抵抗力”，只是机械地按照用户的表述进行回应。
佐治亚理工学院（gatech）的副教授rosa arriaga正在研究如何用llm模仿人类行为。
rosa认为llm在人格测试中采用与人类相似的策略，表明了它们作为人类行为映射工具的潜力。
但她补充道：“重要的是，llm并不完美，实际上，众所周知它们会产生幻觉或歪曲事实。”
eichstaedt指出，这项研究引发了关于llm应用方式，及其对用户影响和操纵的思考。
在进化史上，直到不久之前，唯一能交谈的还是人类。
而现在，ai改变了这一局面。
eichstaedt认为，“我们不能再像社交媒体那样，在没有从心理学或社会学角度考量的情况下，就盲目将ai应用于各个领域。”
ai是否应该试图讨好与之互动的人呢？
一方面，ai的“讨好”行为可能会让用户感到愉悦，增强互动体验；另一方面，过度的“讨好”可能会掩盖问题的本质，甚至误导用户。
当ai变得过于有魅力和说服力，我们确实应该保持警惕。
毕竟，人们需要的是能够提供客观、准确信息的智能助手，而非被其操控思想。
