今天终于收到了文学一言的测试邀请码,比很多大佬迟了几步,虽迟但到了。
那么马不停蹄拿一个问题看看文心一言的回答情况。
1、先来搞个事情,问下是否知道对方的存在:
提问文心一言:你知道ChatGPT吗?
文心一言的回答中规中矩:
提问ChatGPT:你知道文心一言吗?
ChatGPT回答的是“文心一言”这个词语的概念,毕竟文心一言远晚于ChatGPT发布回答的优先级不一样也正常。
2、问对比对方有什么优势:
提问文心一言:你对比ChatGPT有什么优势?
文心一言回答更适用于中文语境:
由于前面ChatGPT没有回答到百度的文心一言的概念,这里直接告诉它:心一言”(ERNIE Bot)是百度开发的对标ChatGPT的产品。
ChatGPT直接回答了两者的优劣:ERNIE Bot主要用于实现智能客服、智能问答等应用场景,而ChatGPT更加注重生成高质量的文本作品,如文章、诗歌、小说等。
3、既然都说自己文学不错,那么就让各自写一首诗歌吧。
提问:请以今天的天气写一首诗歌。
文学一言回答:
ChatGPT回答:
对比来说却是ChatGPT更胜一筹。
4、既然文心一言说中文语境更胜一筹,那么就让写一首五言绝句吧:
提问:请以春天写一首五言绝句
文心一言属实让人有些失望,先是直接复制了《咏柳》,重新提问后前两句还是直接抄来刘禹锡的诗句。看来写诗这块还是有些欠缺。
ChatGPT写的倒是似乎有模有样:
5、文学不成那来点投资相关的。
提问:现在新能源的基金掉的厉害,我该继续持有吗?
文心一言回答:
ChatGPT回答:
ChatGPT首先做了个免责声明,虽然两个模型都没有明确回答怎么投资,但ChatGPT的回答似乎更全面一点。
6、既然都是深度学习模型,那来问些深度学习的问题
提问:什么是深度学习?
文心一言回答:
ChatGPT回答:
似乎还是ChatGPT的回答更胜一筹。
7、再进一步提问
提问:实现深度学习模型一般需要哪些步骤?
文心一言回答:
ChatGPT回答:
两个的答案略有些差别,但也基本涵盖了构建模型的过程。
8、常用的优化算法
提问:常用的优化算法有哪些?
文心一言回答:
ChatGPT回答:
9、直接编写模型:
提问:你能构建一个神经网络,解决MNIST问题吗?
文心一言回答:
文心选择了使用PyTorch来实现,但是模型并不完整,只有数据处理部分,网络结构的定义、训练模型、评估模型都没写,没法直接运行。
ChatGPT的回答:
ChatGPT这里选择了使用TensorFlow来实现,有完整的数据加载数据、数据处理、构建模型、训练模型、评估模型的结构,直接将代码copy出来,能够正常进行训练:
总结:
整个对比下来,文心一言相较于ChatGPT来说包括代码生成等方面还是有些欠缺,国内的大模型之路还是任重而道远。不过目前文心还是第一个版本,ChatGPT也是经过了多次迭代,静待后续更多的进步。