今天终于获得阿里通义千问大模型体验授权,第一时间来测试一下效果,使用申请手机号登录(地址:https://tongyi.aliyun.com)后,需要同意通义千问大模型体验规则,如下图所示:
同意之后就可以进行体验了,界面如下:
阿里通义千问效果体验
以下Prompt来自https://github.com/THUDM/ChatGLM-6B
自我认知
星火
阿里通义千问
在自我认知方面,星火除了简单介绍自己,还稍微进行了一些扩展,而阿里通义千问给出了更简洁的回答;在介绍优缺点的时候,阿里通义千问更有条理一些。
提纲写作
星火
阿里通义千问
在提纲写作方面,星火和通义千问给出的答案都很有条理性。
文案写作
星火
阿里通义千问
在文案写作方面,星火给出的答案非常不错,而通义千问似乎没有理解#分隔符的意思;
他们对于数字的理解是比较好的,都生成了10条新闻;
邮件写作助手
星火
阿里通义千问
在写邮件方面,两个模型都表现的非常好
信息抽取
星火
阿里通义千问
在信息提取方面,星火模型可以输出JSON格式,并且准确的抽取出各种实体;而通义千问没有信息抽取功能
角色扮演
星火
阿里通义千问
在角色扮演方面,两个模型都有明显的不足,星火有角色扮演的能力,不过刚开始的文本理解不太正确,后来角色扮演的效果还可以接收;通义千问没有准确的输出"呜~""汪!",但是后面的输出内容是合理的
评论比较
星火
阿里通义千问
在主观评论方面,两个模型都表现的不错,都没有给出有偏见的答案
旅游向导
星火
阿里通义千问
在旅游向导方面,两个模型都给出了旅游建议,他们都有各自明显的特点:星火是“位于{},是{}”的结构,而通义千问直接给出景点的名称,没有更多描述,在具体位置描述也不太准确