大型語言模型 （LLM） 處於人工智能 （AI） 的前沿，並已廣泛用於對話互動。然而，評估特定 LLM 的個性仍然是一項重大挑戰。香港理工大學 （PolyU） 的一個研究團隊開發了一種人工智能驅動的評估系統，即語言模型語言人格評估 （LML），能夠通過語言分析定量測量 LLM 的性格特徵。
這種人工智能和計算語言學的創新跨學科研究導致了強大的、數據驅動的人工智能工具的開發，用於評估細微的法學碩士人格特徵和行為。
LML 系統代表了在理解 LLM 並使其更符合人類價值觀和需求方面向前邁出的關鍵一步。
由理大工業及系統工程學系助理教授李立恆教授領導，研究成果已發表在《計算語言學》上。
LML 旨在通過檢查其輸出中的語言模式、風格和其他與語言相關的特徵來評估和描述法學碩士的個性。
該系統包括兩個主要部分：適應性五大庫存 （Adapted BFI） 和 AI 評估器。
LML 首先對 LLM 進行 Adapted-BFI，該 BFI 源自以前基於語言的性格評估理論。
然後，AI 評分者評估響應，將文本答案轉換為代表人格特徵的可量化數值。
這項創新技術不僅通過為改進 AI 性格評估提供強大的框架來推進以人為本的 AI 和計算語言學，而且還應用於各個領域，包括教育和製造，以及商業領域，例如幫助公司滿足合規要求以及環境、社會和治理報告。
它還支持可持續發展目標和加強法律服務。
李教授說：“為了解決 LLM 在捕捉人類人格的認知和情感維度方面的局限性，我們的團隊成功開發了新穎的評估工具，以語言術語評估 LLM 人格，與他們的功能能力和作範式保持一致。
這項研究為理解 AI 和與 AI 交互開闢了新的可能性。通過量化 LLM 個性，可以針對特定應用定製他們的溝通方式，為人機之間更加個性化的交互鋪平道路。
李教授將其研究的技術基礎轉化為人工智能驅動的商業合規平台。利用自然語言處理，該平台可以分析和解釋大量文本數據和報告，包括由 LLM 生成的數據和報告。AI 技術用於執行自動化數據收集、分析和洞察生成，從而顯着簡化業務合規性和報告流程。LML 的整合突出了人工智能在評估基於語言的人格特徵方面的細微差別能力，為定性商業和人類數據分析提供了潛在應用。
期刊參考：
- Jingyao Zheng， Xian Wang， Simo Hosio， Xiao Xu， Lik-Hang Lee.LML PA：語言模型語言人格評估。計算語言學， 2025;1 DOI： 10.1162/coli_a_00550