大型语言模型 （LLM） 处于人工智能 （AI） 的前沿，并已广泛用于对话互动。然而，评估特定 LLM 的个性仍然是一项重大挑战。香港理工大学 （PolyU） 的一个研究团队开发了一种人工智能驱动的评估系统，即语言模型语言人格评估 （LML），能够通过语言分析定量测量 LLM 的性格特征。
这种人工智能和计算语言学的创新跨学科研究导致了强大的、数据驱动的人工智能工具的开发，用于评估细微的法学硕士人格特征和行为。
LML 系统代表了在理解 LLM 并使其更符合人类价值观和需求方面向前迈出的关键一步。
由理大工业及系统工程学系助理教授李立恒教授领导，研究成果已发表在《计算语言学》上。
LML 旨在通过检查其输出中的语言模式、风格和其他与语言相关的特征来评估和描述法学硕士的个性。
该系统包括两个主要部分：适应性五大库存 （Adapted BFI） 和 AI 评估器。
LML 首先对 LLM 进行 Adapted-BFI，该 BFI 源自以前基于语言的性格评估理论。
然后，AI 评分者评估响应，将文本答案转换为代表人格特征的可量化数值。
这项创新技术不仅通过为改进 AI 性格评估提供强大的框架来推进以人为本的 AI 和计算语言学，而且还应用于各个领域，包括教育和制造，以及商业领域，例如帮助公司满足合规要求以及环境、社会和治理报告。
它还支持可持续发展目标和加强法律服务。
李教授说：“为了解决 LLM 在捕捉人类人格的认知和情感维度方面的局限性，我们的团队成功开发了新颖的评估工具，以语言术语评估 LLM 人格，与他们的功能能力和作范式保持一致。
这项研究为理解 AI 和与 AI 交互开辟了新的可能性。通过量化 LLM 个性，可以针对特定应用定制他们的沟通方式，为人机之间更加个性化的交互铺平道路。
李教授将其研究的技术基础转化为人工智能驱动的商业合规平台。利用自然语言处理，该平台可以分析和解释大量文本数据和报告，包括由 LLM 生成的数据和报告。AI 技术用于执行自动化数据收集、分析和洞察生成，从而显着简化业务合规性和报告流程。LML 的整合突出了人工智能在评估基于语言的人格特征方面的细微差别能力，为定性商业和人类数据分析提供了潜在应用。
期刊参考：
- Jingyao Zheng， Xian Wang， Simo Hosio， Xiao Xu， Lik-Hang Lee.LML PA：语言模型语言人格评估。计算语言学， 2025;1 DOI： 10.1162/coli_a_00550