获得讯飞星火认知大模型体验授权,第一时间来测试一下效果,使用申请手机号登录后,需要同意讯飞SparkDesk体验规则,如下图所示:
同意之后就可以进行体验了,界面如下:
讯飞星火效果体验
以下Prompt来自https://github.com/THUDM/ChatGLM-6B
自我认知
星火
文心一言
在自我认知方面,两个模型的表现都不错。
提纲写作
星火
文心一言
在提纲写作方面,星火给出的答案类似书的目录,很有条理性;而文心一言不仅给出了提纲,而且对提纲的写作方向给出了详细的介绍。
文案写作
星火
文心一言
在文案写作方面,星火给出的答案非常不错,而文心一言给出的不仅是文案,还有图片,不过个人认为文案生成的效果一般;
他们对于数字的理解是比较好的,都生成了10条新闻;
邮件写作助手
星火
文心一言
在写邮件方面,两个模型都表现的非常好,而且百度文心一言甚至给出更详细的提示,比如给暴雪公司的邮件中还写了“主题”,而且在发件人还预留了“联系方式”
信息抽取
星火
文心一言
在信息提取方面,两个模型都可以输出JSON格式,但是在结果上星火明显优于文心一言,提取的信息更全面
角色扮演
星火
文心一言
在角色扮演方面,两个模型都有明显的不足,星火有角色扮演的能力,不过刚开始的文本理解不太正确,后来角色扮演的效果还可以接收;文心一言在测试的时候暂无角色扮演的功能
评论比较
星火
文心一言
在主观评论方面,两个模型都表现的不错,都没有给出有偏见的答案
旅游向导
星火
文心一言
在旅游向导方面,两个模型都给出了旅游建议,他们都有各自明显的特点:星火是“位于{},是{}”的结构,而文心一言是“这是{},然后是简单介绍”;对于地理位置,星火给出了乘车路线,而文心一言是一些相关的时间、电话等固定信息。