近期，由复旦大学和中国人民大学合作的Chat凉宫春日团队发布了一项关于AI角色扮演的研究。该研究强调了良好的人设还原度对于评价AI角色扮演的重要性，特质还原率高达82.8%。研究使用了大五人格的NEO-FFI问卷和MBTI的16Personalities测试，并通过LLM进行引导式开放式问答，全面测试了AI角色的人格。这一面谈式人格测试框架的提出，为评估角色扮演AI的人格特质提供了新的方法。
项目地址:https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main/research/personality
随着大语言模型的发展，基于这些模型的角色扮演聊天机器人在全球范围内引起了广泛关注。相较于传统聊天机器人的繁琐工程，现今的大语言模型能够轻松构建具备不同身份、人格、记忆和语言习惯的角色扮演AI。然而，对于角色扮演AI的分析性研究仍然相当匮乏，尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论，从大五人格和MBTI等维度对角色扮演AI进行了人格测试，为这一领域的研究提供了新的视角。
研究者提出的面谈式人格测试框架通过开放式问答，使得角色扮演AI的评估更为全面。与传统的Likert Scale相比，这种框架能够更好地激发角色扮演AI的扮演行为，减少对底座LLM训练数据的影响。实验结果显示，现有的角色扮演AI在大五人格和MBTI测试上的还原率达到了82.8%。
研究者指出，这些结果仍受到底座LLM的先验影响，表现为在某些维度上的平均得分与底座模型较为一致。为了研究这一点，研究者比较了不同底座模型对角色扮演AI的影响，发现在某些维度上存在一致性，但在其他维度上并没有明显的相关关系。
综合而言，这项研究为评估AI角色扮演的人格特质提供了新的方法和视角，同时也揭示了在现有技术中存在的一些挑战和限制。未来，随着技术的不断发展，角色扮演AI的人格还原度和表现可能会得到进一步提升。