复旦MOSS大模型开源了!Github和Hugging Face同时上线

news2024/11/23 1:09:48

来源:量子位

复旦大模型MOSS,正式开源了!

作为国内首个开放测试的类ChatGPT产品,MOSS开源地址一放出,又冲上知乎热搜:

从官网介绍来看,MOSS是一个拥有160亿参数的开源对话语言模型。

它由约7000亿中英文及代码单词预训练得到,精度要求不那么高的话,甚至可以在单张3090显卡上运行。

MOSS支持中英双语,拥有多轮对话使用多种插件双重能力,具备搜索引擎、文生图、计算器、方程求解的“技能点”。

目前,MOSS在GitHub上已有2.3k Star,热度还在持续上涨中。

那么,MOSS究竟开源了哪些项目,目前有哪些功能?一起来看看。

会解方程,也能生成图片

据了解,这次MOSS开源的是第三轮迭代版本,名叫MOSS 003。

当然,MOSS 003也并非开源了全部模型,目前主要开放的是基座预训练模型,最终模型即将在近期开源:

此前,MOSS已经经历了两版迭代,一版是公开邀请内测的MOSS 002版本,另一版是内部测试版本OpenChat 001。

三月份大伙儿见证的“国内首个开放测试的ChatGPT”,正是MOSS 002版本。

最新这个版本展现的功能效果如何?

MOSS团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。

这是多轮对话的展示效果,具备资料追根溯源的能力:

这是做数学题的示例,包括鸡兔同笼问题:

也包括生成图片功能:

还有近期网友热议的AI道德性问题:

当然,这波里面也不乏“砸场子”的网友。

例如官方GitHub问答中,有网友很想了解它的中文能力和chatglm6b相比谁更好,下面有网友调侃:

你是来砸场子的么?

这也是因为此前团队在MOSS 002公开测试时曾经表示过,MOSS的中文能力不算太好,这也与训练数据有关。

除此之外,团队这次还开源了一部分训练数据。

至于完整数据,复旦MOSS团队表示“近期会全部开源”。

国内最先发布的ChatGPT产品

MOSS取自于《流浪地球》里面那个拥有自我意识的AI。

它由复旦自然语言处理实验室邱锡鹏团队研发,2月20日正式发布。

当时国内一众大厂还在陆续高调官宣要造ChatGPT,谁都没想到它就这么一声不吭地杀了出来。

所以尽管MOSS的参数量比ChatGPT小了一个量级,大家还是蜂拥而上,把服务器都给挤爆了。

而发布没过一周,复旦大学教授邱锡鹏就在演讲中提出,如果优化顺利,计划在三月底开源MOSS。

因为在他看来:

人们之所以很容易有“卡脖子”问题,是因为缺乏一个好的行业生态。

就拿ChatGPT来说,OpenAI公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。

因此,他们一开始就考虑要把MOSS开源而不是商业化。

有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。

如今,虽晚了快一个月,MOSS也说到做到了。

你试用过复旦MOSS开源模型了吗?效果如何?

MOSS开源项目地址:
[1]https://github.com/OpenLMLab/MOSS
[2]https://huggingface.co/fnlp/moss-moon-003-base
[3]https://huggingface.co/fnlp/moss-moon-003-sft
[4]https://huggingface.co/fnlp/moss-moon-003-sft-plugin

参考链接:
复旦团队大模型 MOSS 开源了,有哪些技术亮点值得关注? - 知乎


卡奥斯开源社区是为开发者提供便捷高效的开发服务和可持续分享、交流的IT前沿阵地,包含技术文章、群组、互动问答、在线学习、大赛活动、开发者平台、OpenAPI平台、低代码平台、开源项目等服务,社区使命是让每一个知识工人成就不凡。

官网链接:Openlab.cosmoplat—打造工业互联网顶级开源社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/457405.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

EventLog Analyzer:高效保护网络安全的强大工具

网络安全是当今数字化世界中最为重要的话题之一。随着越来越多的组织、企业和个人将其业务转移到互联网上,网络安全问题变得越来越严峻。针对这个问题,EventLog Analyzer提供了一个有效的解决方案,让网络管理员可以更好地监控和保护其网络环境…

【虚拟仿真】Unity3D中实现UI的单击、双击、按压、拖动的不同状态判断

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址我的个人博客 大家好,我是佛系工程师☆恬静的小魔龙☆,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 一、前言 之前写了一篇在Unity中鼠标的单击、双击、拖动的文章&#xff…

Improving Language Understanding by Generative Pre-Training 论文阅读

论文题目:通过生成式预训练提高语言理解能力 GPT的全称:Generative Pre-trained Transformer。 Generative是指GPT可以利用先前的输入文本来生成新的文本。GPT的生成过程是基于统计的,它可以预测输入序列的下一个单词或字符,从而生…

春招,进阿里了....

个人背景是东北某 985 科班本硕,做的 测试开发,有两个自己写的小项目。下面是一些印象比较深刻的面试题 阿里一面 什么是软件测试? 软件测试过程中会面向哪些群体? 开发一个软件都要经过哪些阶段? 什么是黑盒测试&…

一块钱看Android Debug: avc denied 已存在的目录不能访问

某三方应用,使用了USB摄像头,启动应用后功能不能使用,看log有如下错误, denied后面{}里的是要执行的动作,比如append,open,execmod,link等等 scontext指的是域,对应的是te文件 上面报错这条对应te文件是untrusted_app.te, scontex…

如何将 WhatsApp 聊天添加到您的网站

WhatsApp是全球最受欢迎的消息传递应用程序。平台上有超过 2 亿活跃用户与朋友、家人和企业进行交流。对于企业而言,WhatsApp 是与客户进行个人、可访问和非正式对话的理想渠道。 要将 WhatsApp 作为渠道引入您的客户旅程,第一步是将 WhatsApp 聊天按钮…

2023软件测试工具大全(自动化、接口、性能、安全、测试管理)

目录 前言 一、自动化测试工具 Selenium Appium TestComplete 二、接口测试工具 Postman SoapUI JMeter 三、性能测试工具 LoadRunner JMeter Gatling 四、安全测试工具 Burp Suite OWASP ZAP Nmap 五、测试管理工具 TestRail JIRA TestLink 总结 前言 …

【JavaScript】this理解总结

概念 this是函数运行时所在的对象。 使用场合 1.全局环境 全局环境使用this,this指向顶层对象。 2.构造函数 构造函数体里面的this,this指向是构造出来的实例对象。 3.对象的方法 ● 如果对象的方法里面包含this,this的指向就是方法运…

ASPICE详细介绍-4.车载项目为什么要符合ASPICE标准?

目录 车载项目为什么要符合ASPICE标准?ASPICE与功能安全的关系、区别?各大车厂对软件体系的要求 车载项目为什么要符合ASPICE标准? ASPICE(Automotive Software Process Improvement and Capability Determination)最…

sacrebleu找不到报错(无法直接下载)

网络问题无法下载,下载下来py文件,放到同级目录下面 https://raw.githubusercontent.com/huggingface/datasets/2.11.0/metrics/sacrebleu/sacrebleu.py然后注释掉版本报错

Devops和Gitops区别

一. 什么是devops DevOps 是一种开发(Dev)和运维(Ops)之间协作和沟通的文化、流程和工具的实践方法。它强调迭代、快速交付和持续集成/持续交付,旨在加速软件交付的速度、质量和稳定性。 DevOps 的核心目标是通过自动…

中国视频云市场报告:腾讯云连续五年解决方案市场份额第一

4月24日,全球领先的IT市场研究和咨询公司IDC发布《中国视频云市场跟踪(2022下半年)》报告,腾讯云音视频的解决方案市场份额已连续五年排名第一,斩获自2018年IDC对外发布数据以来的“五年连冠”。其中,腾讯云…

C++模板使用

感谢你的阅读!!! 目录 感谢你的阅读!!! 举个例子: template 有什么意义为什么要用模板 与typedef的区别 使用方法 模板:隐式实例化与显示实例化 和非模板函数以及多个模板类…

SAP ABAP MARA-MSBOOKPARTNO 制造商登记部分编号

BAPI_MATERIAL_SAVEDATA CLIENTDATA结构无此字段。 DATA:LS_TE_MARA TYPE BAPI_TE_MARA. DATA:LS_TE_MARAX TYPE BAPI_TE_MARAX. DATA:LT_BAPIPAREX TYPE TABLE OF BAPIPAREX. DATA:LS_BAPIPAREX TYPE BAPIPAREX. …

Spring Bean作用域与生命周期

目录 Bean的作用域: Bean有六大行为模式 1、singleton:单例模式(默认) 2、prototype: 原型模式(多例模式) 3、request: 请求作用域(Spring MVC) 4、session: 会话作用域(Spring MVC) 5、application: 全局作用域(Spring MVC) 6、websocket: HTTP WebSocket …

M1 Mac安装Zookeeper

下载Zookeeper 由于通过homebrew下载的zookeeper没有conf文件夹,因此我们在官网下载 zookeeper-3.7.1 然后下载上面这个 将解压后的文件转移到 /usr/local 更改配置文件 1、配置文件位置位于解压文件夹下conf文件夹内部,默认名字为zoo_sample.cfg&…

Unity设计模式—命令队列

Unity设计模式—命令队列 概要 本篇将介绍命令队列并用命令队列模式实现一个Unity里的WindowManager。 命令队列是一个按照FIFO顺序存储一系列通知或请求的队列。发出通知时系统会将请求置入队列并立即返回,请求处理器随后从命令队列中获取并处理这些请求。请求可由…

集合专题·拔高·壹

文章目录 1 Collection单列集合、Map双列集合1.1 Collection单列集合1.1.1 Collection单列集合及其实现类1.1.1.1 list集合与Array数组1.1.1.1.1 ArrayList1.1.1.1.2 LinekdList1.1.1.1.2 Vector1.1.1.1.2.1 ArrayList、Vector (线程安全)的区别是什么1.…

【数据结构与算法】前缀和+哈希表算法

文章目录 一、引入二、前缀和与哈希表的结合三、例题3.1 和为 K 的子数组3.2 统计「优美子数组」3.3 路径总和III 四、总结 一、引入 关于前缀和和哈希这两个概念大家都不陌生,在之前的文章中也有过介绍:前缀和与差分算法详解 而哈希表最经典的一题莫过…

Kerberos设计和落地长常识

Kerberos 处理三类安全对象 票证 kerberos票证授予服务给每个客户发一张标记,该标记发送给一个特殊的服务器,证实kerberos最近已经认证了发送者,票证包括过期时间和新生成的会话密钥供客户和服务器使用。 认证 由客户构造的一个标记&#xff…