在百度发布文心一言一个多月后,科大讯飞也发布了自己的大模型“讯飞星火大模型”。本篇博客就测评一下这两个在中文圈最受好评的大语言模型,顺便辅以ChatGPT为参考。大家一起来看看到底谁是中文大语言模型的TOP1?
目录
体验网址
1、旅游攻略
2、数理逻辑题
3、故事创作
4、古诗创作
5、图片创作
6、文案创作
7、代码编写
8、互联网黑话
9、中文梗对比
10、英文写作
结论
体验网址
1、文心一言:文心一言
2、ChatGPT
3、星火:讯飞星火认知大模型
1、旅游攻略
结论:难分伯仲
2、数理逻辑题
我选了一道很经典的面试数理逻辑题,也比较难,看看他们能不能求解出:
结论:chatgpt说错了,文心一言和讯飞星火是正确的
原题链接:【学习】数理逻辑超难面试题:甲乙两人互猜数字,你会做吗? - 腾讯云开发者社区-腾讯云
3、故事创作
结论:这一轮文心一言、讯飞星火略胜出,chatgpt写的有一些敷衍了!
4、古诗创作
结论:难分伯仲,我觉得文心一言更好一点。
5、图片创作
结论:chatgpt和讯飞星火还不支持绘画功能,这一轮文心一言完胜!
因为图片生成式模型大部分是基于diffusion models/GANs的,chatgpt是基于transformer,未支持此功能很正常。大家可以去『文心一格』官网体会更多图片生成功能:文心一格 - AI艺术和创意辅助平台
6、文案创作
结论:文心一言的文案更具有感情和感染力,讯飞星火更像是官方通稿。
7、代码编写
结论:Chatgpt完胜!文心一言写的完全不正确,讯飞星火写的不是leetcode上的接雨水代码。
原因是chatgpt对微软旗下的github也进行了学习,所以代码编写能力肯定是远超过完全没学过的文心一言和讯飞星火。
8、互联网黑话
来点中文互联网才懂得梗!百度应该学过贴吧的数据,这方面是非常懂的。
结论:文心一言胜出!
9、中文梗对比
结论:chatgpt说的完全不正确啊
10、英文写作
结论:chatgpt胜出!文心一言和讯飞星火在英文上的表现还不够好
结论
相比于chatgpt,文心一言和讯飞星火明显更懂中文,更理解中文圈的网友,这一点让我非常惊喜!代码生成方面讯飞星火明显做的比百度要好。一些中文互联网黑话方面还是百度更胜一筹。