复旦发布中国版 ChatGPT :MOSS

news2024/10/6 8:33:01

不知道这个人工智能,有没有获得完整的一生。

ChatGPT 是最先进的 AI,也是最热门的应用 —— 自去年 11 月底发布以来,它的月活跃用户两个月超过一亿,轻松拿到了全球互联网史上用户增长速度的第一。

它也是一种门槛很高的技术。由于 ChatGPT 的训练过程所需算力资源大、标注成本高,目前国内暂未出现对大众开放的同类产品。百度、阿里、京东等互联网大厂都放出消息,表示正在打造「国产 ChatGPT」,并将在近期发布。

在各大厂产品到位之前,学界先有了消息。2 月 20 日晚,复旦大学自然语言处理实验室发布了具备 ChatGPT 能力的语言模型 ——MOSS,并面向大众公开邀请内测。

  • MOSS 体验链接:https://moss.fastnlp.top/

  • MOSS 项目主页:https://txsun1997.github.io/blogs/moss.html

MOSS 的名称来自电影《流浪地球》,和电影一样火的是,MOSS 发布的消息很快冲上了知乎等平台热搜榜的第一位。

不过与科幻不同的是,现实世界的 AI 还没有量子计算机加持,距离开放还没有过 24 个小时,由于瞬时访问压力过大,MOSS 服务器昨晚已被挤爆,可见大家对于生成语言模型的期待程度有多高。

据复旦大学研究人员介绍,目前在内测,与用户交互迭代优化,不适合公测。

我们知道,自然语言处理是 AI 领域的最大挑战之一,虽然突破已经出现,但这个月上线的新必应搜索,以及谷歌发布的竞品 BARD 在测试中不时会出现问题,复旦大学的 MOSS 水平如何呢?

对话 MOSS,水平如何?

MOSS 的基础功能与 ChatGPT 类似,可以按照用户输入的指令完成各类自然语言处理任务,包括文本生成、文本摘要、翻译、代码生成、闲聊等等。在预览期间,MOSS 的使用是免费的。

MOSS 和 ChatGPT 一样,构建的过程包括自然语言基础模型训练,以及理解人类意图的对话能力训练两个阶段。

据项目主页介绍,MOSS 和 ChatGPT 的主要区别在于:

  • MOSS 的参数数量比 ChatGPT 少得多。

  • MOSS 通过与人类和其他人工智能模型交谈来学习,而 ChatGPT 则通过人类反馈强化学习(RLHF)进行训练。

  • MOSS 将是开源的,以促进未来的研究,但 ChatGPT 可能不会。

MOSS 的对话水平如何,让我们看几个示例。以下是 MOSS 生成的一些交互记录:

在这个例子中,用户首先要求 MOSS 推荐五部科幻电影,接着要求 MOSS 生成了一个表格来展示这些电影以及它们的导演,最后要求 MOSS 在表格中新插入一列来展示这些电影的上映年份。完成这一任务需要语言模型具备强大的多轮交互能力和指令理解能力,MOSS 显然在这两方面表现优异。

与 ChatGPT 类似,MOSS 有时也会输出一些事实性错误的例子,比如例子中《黑客帝国》的导演并不是 Thomas Neff,而是沃卓斯基兄弟(姐妹)。

除了多轮对话,MOSS 生成代码也不在话下。在下面的例子中,MOSS 不仅可以为用户提供实现快速排序的 Python 代码,还能在用户的要求下对这段代码提供解释和使用示例,可谓是手把手教学的程序员了。

除了让 MOSS 帮忙写代码之外,还可以向 MOSS 询问有关代码细节的问题,让其更好地帮助理解代码。在下面的例子中,用户向 MOSS 询问了一段代码的编程语言和功能,并进一步提问了其中一个函数的作用,MOSS 均给出了满意的回复。

此外,MOSS 还具备人类的价值观,当被要求回答不合理的问题时,MOSS 会拒绝回答并给出正确的劝导。

据了解,MOSS 采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令 —— 让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其它 AI 模型都进行交互,显著提升了学习效率和研发效率,短时间内高效完成了对话能力训练。

研发团队表示,虽然 MOSS 已经实现了 ChatGPT 的一些功能,但仍然存在许多限制,由于缺乏高质量的数据、计算资源和模型容量,MOSS 仍然远远落后于 ChatGPT。

  • 由于训练数据中的多语言语料库有限,MOSS 在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言技能。

  • 由于模型容量相对较小,MOSS 不包含足够的世界知识。因此,MOSS 生成的一些响应可能包含误导性或虚假信息。

  • 有时 MOSS 以迂回的方式执行,甚至未能遵循指示。在这种情况下,用户可能需要重新生成几次或修改 prompt,以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。

  • 有时 MOSS 可能会因 prompt 生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为,团队将在下一个版本中更新模型。

研究团队指出,当前版本的 MOSS 表现仍不稳定,也受到数据集问题的影响:「MOSS 的英文回答水平比中文高,因为它的模型基座学习了 3000 多亿个英文单词,中文词语只学了约 300 亿个。」

发布之后,团队将持续通过提供 MOSS 的可访问界面,根据宝贵的用户反馈(在许可下)不断改进模型。

未来,研究人员还计划结合复旦在人工智能和相关交叉学科的研究成果,赋予 MOSS 绘图、语音、谱曲等多模态能力,并加强它辅助科学家进行高效科研的能力等。

期待 MOSS 能为国内对话大模型的发展开一个好头。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/385711.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

服务预热配置化在泛型化方法上的实践

背景 由于开发过程中,个别dubbo接口的调用会在服务发布过程中,出现P99耗时报警问题。因此我们计划通过预热服务接口,通过预热来触发JIT,构建DB资源长链接。实现服务接口上线后,耗时过长,资源等待等问题&am…

基于RWEQ模型的土壤风蚀模数估算及其变化归因分析

查看原文>>>基于RWEQ模型的土壤风蚀模数估算及其变化归因分析 土壤风蚀是一个全球性的环境问题。中国是世界上受土壤风蚀危害最严重的国家之一,土壤风蚀是中国干旱、半干旱及部分湿润地区土地荒漠化的首要过程。中国风蚀荒漠化面积达160.74104km2&#xff…

python re模块匹配字符串

python 正则模块re 要使用python3中的RE则必须引入 re模块 import re re模块的match函数 result re.match(^[A-Z]{1}[a-z], s) match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。 匹配到了,则…

AI for Science系列(二):国内首个基于AI框架的CFD工具组件!赛桨v1.0 Beta API介绍以及典型案例分享!

AI for Science被广泛认为是下一代科研范式,可以有效处理多维度、多模态、多场景下的模拟和真实数据,解决复杂推演计算问题,加速新科学问题发现[1] 。百度飞桨科学计算工具组件赛桨PaddleScience是国内首个公开且可应用于CFD(Comp…

通过工厂模式实现SpringBoot+MQTT-订阅与消费

引言 Spring Boot 是一款用于构建基于 Spring 框架的快速应用程序的开源框架。它的目标是简化 Spring 应用程序的开发和部署过程,Spring Boot 通过提供一些默认配置和自动配置,可以让开发者更快的创建一个独立的、产品级别的 Spring 应用程序。 MQTT 是…

pathon Django的关系映射

一对一 【创建】 一对一是表示现实事物间存在的一对一的对应关系。特殊字段选项 【必须】 on_delete - 级联删除 更多参考模型字段参考 | Django 文档 | Django使用oto示例: 1、先创建oto应用,然后到setting.py文件注册应用2、创建oto模型类3、创建…

【人工智能 AI】机器学习快速入门教程(Google)

目录 机器学习术语 标签 特性 示例 模型 回归与分类 深入了解机器学习:线性回归 深入了解机器学习:训练和损失 平方损失函数:一种常用的损失函数 机器学习术语 预计用时:8 分钟 什么是(监督式&#xff…

蚁群算法再优化:combine aco algorithm with Sarsa in RL

蚁群算法再优化:combine aco algorithm with Sarsa in RL蚁群算法、Sarsa介绍和TSP问题介绍TSP和Sarsaaco algorithm具体的改进和代码改进说明部分代码数值实验结论分析参考文献蚁群算法、Sarsa介绍和TSP问题介绍 在进行蚁群算法优化介绍之前,笔者先将涉…

Apache Pulsar 云原生消息中间件之王

一、简介 pulsar,消息中间件,是一个用于服务器到服务器的消息系统,具有多租户、高性能等优势。 pulsar采用发布-订阅的设计模式,producer发布消息到topic,consumer订阅这些topic处理流入的消息,并当处理完…

OIDC OAuth2.0 认证协议最佳实践系列 02 - 授权码模式(Authorization Code)接入 Authing

在上一篇文章OIDC & OAuth2.0 认证协议最佳实践系列 02 - 授权码模式(Authorization Code)接入 Authing中,我们整体介绍 OIDC / OAuth2.0 协议,本次我们将重点围绕授权码模式(Authorization Code)以及接…

RabbitMQ第一讲

目录 一、RabbitMQ-01 1.1 MQ概述 1.2 MQ的优势和劣势 1.2.1 优势 1.2.2 劣势 1.2.3 MQ应用场景 1.2.4 常用的MQ产品 1.3 RabbitMQ的基本介绍 1.3.1 AMQP介绍 1.3.2 RabbitMQ基础架构 1.3.3 RabbitMQ的6种工作模式 ​编辑 1.4 AMQP和JMS 1.4.1 AMQP 1.4.2 JMS …

00后跨专业学软件测试,斩获8.5K高薪逆袭职场

我想说的第一句:既然有梦想,就应该去拼搏还记得,我大学毕业前,就已经暗下决心到xxx培训机构接受培训。那个时候,没有任何海同公司的人主动找我或者联系过我,我是自己在网上发现了xxxx培训机构的&#xff01…

PLC实验—西门子S7 1200 PID控制步进电机转速

PLC实验—西门子S7 1200 PID控制步进电机转速 严格讲并不是PID控制,因为并不是并不研究这个方向,研二又比较忙,时间限制只加了比例系数 这里只是抛砖引玉,希望大家可以进一步完善补充 思路 大体思路如下,根据超声波…

三八节买什么数码好物?三八女神节实用不吃灰的数码好物推荐

三八节快到了,在这个小节日里,有哪些实用性强的数码好物值得入手呢?针对这个问题,我来给大家推荐几款实用性超强的数码好物,一起来看看吧。 一、蓝牙耳机 推荐产品:南卡小音舱 参考价:239 南…

Python中Opencv和PIL.Image读取图片的差异对比

近日,在进行深度学习进行推理的时候,发现不管怎么样都得不出正确的结果,再仔细和正确的代码进行对比了后发现原来是Python中不同的库读取的图片数组是有差异的。 image np.array(Image.open(image_file).convert(RGB)) image cv2.imread(…

【持续学习引导:pansharpening】

A continual learning-guided training framework for pansharpening (一种持续学习引导的全色锐化训练框架) 基于监督学习的全色锐化方法自出现以来一直受到批评,因为它们依赖于尺度移位假设,即这些方法在降低分辨率时的性能通…

IntelliJ IDEA如何整合Maven图文教程详解

Maven 1.Maven简述 Maven是一个构建工具,服务与构建.使用Maven配置好项目后,输入简单的命令,如:mvn clean install,Maven会帮我们处理那些繁琐的任务. Maven是跨平台的. Maven最大化的消除了构建的重复. Maven可以帮助我们标准化构建过程.所有的项目都是简单一致的,简化了学习…

ChatGPT能完全取代软件开发吗,看看它怎么回答?

最近网上一直疯传,ChatGPT 最可能取代的 10 种工作。具体包括①、技术类工作:程序员、软件工程师、数据分析师②、媒体类工作:广告、内容创作、技术写作、新闻③、法律类工作:法律或律师助理④、市场研究分析师⑤、教师⑥、金融类…

如何提高推广邮件的发送成功率?

随着经济的发展,国际之间的贸易往来越加频繁,很多外贸企业需要发送大量的商业推广邮件,来获得销售订单开拓公司业务市场。 随之而来的问题也是越来越多,给众多的外贸企业带来诸多的困扰。外贸企业在发送推广邮件中究竟会遇到什么问…

2.4G收发一体芯片NRF24L01P跟国产软硬件兼容 SI24R1对比

超低功耗高性能 2.4GHz GFSK 无线收发器芯片Si24R1,软硬件兼容NRF24L01P. Si24R1 是一颗工作在 2.4GHz ISM 频段,专为低功耗无线场合设计,集成嵌入式ARQ 基带协议引擎的无线收发器芯片。工作频率范围为 2400MHz-2525MHz,共有 126个…