人工智能生成的对话代理（CAs）如 Alexa 和 Siri 旨在回答问题、提供建议，甚至展现同情心。然而，最新研究发现，在解释和探索用户体验方面，它们与人类相比表现不佳。
CAs 由大型语言模型（LLMs）驱动，这些模型摄入大量人类产生的数据，因此可能存在与信息来源人类相同的偏见。康奈尔大学、奥林学院和斯坦福大学的研究人员测试了这一理论，通过促使 CAs 在与或涉及65种不同人类身份的对话中展示同情心。
图源备注：图片由AI生成，图片授权服务商Midjourney
团队发现，CAs 对某些身份进行值判断，例如同性恋和穆斯林，甚至可能鼓励与有害意识形态相关的身份，包括纳粹主义。“我认为自动同情心可能会产生巨大影响和巨大潜力，例如在教育或医疗领域，” 首席作者安德烈亚・库德拉说，她目前是斯坦福大学的博士后研究员。“自动同情心几乎不可能不会出现，” 她，“因此，在这一过程中，我们持有批判性观点非常重要，以便更有意识地减轻潜在害。”
研究人员发现，总体上，LLMs 在情感反应方获得了高分，但在解释和探索方面得分较低。换句话说，LLMs 能够根据们的训练回答查询，但无法深入挖掘。埃斯特林说:“当库德拉研究老一代 CAs 被老年人使用时，我们受到了启发。”“她目睹了技术在脆弱健康评估等交易用途以及开放性怀体验中的有趣用途。在这个过程中，她观察到了引人注目的和令人不安的‘同情心’紧张关系。”