开源大模型资料总结

news2025/1/14 19:26:44

基本只关注开源大模型资料,非开源就不关注了,意义也不大。

基座大模型:

LLaMA:7/13/33/65B,1.4T token 

LLaMA及其子孙模型概述 - 知乎

GLM:6/130B,

ChatGLM基座:GLM(General Language Model)

GPT-J:

OPT:125M、350M、1.3B、2.7B、6.7B、13B、30B、66B、175B 9个不同的参数规模和版本,175B需要申请

BLOOM:BLOOM-560M、BLOOM-1.1B、BLOOM-1.7B、BLOOM-3B、BLOOM-7.1B

【LLM系列之BLOOM】BLOOM: 多语言大模型

对话大模型:

中文

chatglm,GLM,6B,中/英:

GitHub - LemonQu-GIT/ChatGLM-6B-Engineering: ChatGLM-6B Prompt Engineering Project

GitHub - yanqiangmiffy/InstructGLM: ChatGLM-6B 指令学习|指令数据|Instruct

https://github.com/liucongg/ChatGLM-Finetuning

GitHub - mymusise/ChatGLM-Tuning: 一种平价的chatgpt实现方案, 基于ChatGLM-6B + LoRA

GitHub - hiyouga/ChatGLM-Efficient-Tuning: Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调

BELLE,BLOOMZ,7B,中,instruction:1.5M

GitHub - LianjiaTech/BELLE: BELLE: Be Everyone's Large Language model Engine(开源中文对话大模型)

Guanaco,LLaMA,7B,中/英,instruction:534k,

Chinese-LLaMA-Alpaca,LLaMA,7/13B,中英,instruction:2/3M,

https://github.com/ymcui/Chinese-LLaMA-Alpaca

Luotuo,LLaMA,7/13B,中,instruction:52k

https://github.com/LC1332/Luotuo-Chinese-LLM

Phoenix,BLOOMZ,7B,中英,instruction:40+,conversation:40+

GitHub - FreedomIntelligence/LLMZoo: ⚡LLM Zoo is a project that provides data, models, and evaluation benchmark for large language models.⚡

HuatuoGPT,

Chinese-Vicuna:

GitHub - Facico/Chinese-Vicuna: Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca

Ziya-LLaMA-13B-v1:

Linly LLaMa

“伶荔”(Linly) 开源大规模中文语言模型 - 知乎

Chinese chat T5:

GitHub - core-power/Chinese_Chat_T5_Base: 中文聊天小模型,用t5 base在大量数据上有监督。

Firefly,BLOOM

GitHub - yangjianxin1/Firefly: Firefly(流萤): 中文对话式大语言模型

英文:

Alpaca,LLaMA,7B,instrucation:52k,

Dolly,GPT-J,6B,intruction:52k,

https://github.com/databrickslabs/dolly

Vicuna,LLaMA,7/13B,conversation:70k,

GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large languages. Release repo for Vicuna and FastChat-T5.

Koala,LLaMA,13B,instruction:355k,conversation:117k

成本不到100美元!UC伯克利再开源类ChatGPT模型「考拉」:数据量大没有用,高质量才是王道 - 知乎

BAIZE,LLaMA,7/13/30B,instruction:52k,conversation:111.5k

https://github.com/project-baize/baize-chatbot

Deepspeed Chat,OPT

DeepSpeed/README.md at master · microsoft/DeepSpeed · GitHub

多模态:

VPGTrans

VPGTrans: 用10%的成本定制一个你自己的GPT4多模态对话模型

MiniGPT-4:

GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

LLaVA:

GitHub - haotian-liu/LLaVA: Large Language-and-Vision Assistant built towards multimodal GPT-4 level capabilities.

VisualGLM-6B:

GitHub - THUDM/VisualGLM-6B: Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

VisionLLM:

宣传下最新工作,VisionLLM - 知乎

MMGPT:

MMGPT (Multi-modal GPT) 安装指南和初体验 - 知乎

OpenFlamingo:

GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models.

X-LLM:

中科院发布多模态 ChatGPT,图片、语言、视频都可以 Chat ?中文多模态大模型力作

测评:

C-EVAL:

 

综述:

大语言模型调研汇总 - 知乎

最近大模型遍地开花,你在大模型实践过程中的经验有哪些? - 知乎

GitHub - chenking2020/FindTheChatGPTer: ChatGPT爆火,开启了通往AGI的关键一步,本项目旨在汇总那些ChatGPT的开源平替们,包括文本大模型、多模态大模型等,为大家提供一些便利

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/551356.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【网络】- TCP/IP四层(五层)协议 - 网际层(网络层) - 网际协议IP

目录 一、概述 二、初步了解网际协议 IP  👉2.1 与数据链路层的区别  👉2.2 网际协议 IP 概览  👉2.3 分层的意义 三、IP协议基础知识  👉3.1 IP地址属于网络层地址  👉3.2 路由控制  👉3.3 IP分包与…

solr快速上手:核心概念及solr-admin界面介绍(二)

0. 引言 上一节,我们简单介绍了solr并演示了单节点solr的安装流程,本章,我们继续讲解solr的核心概念 solr快速上手:solr简介及安装(一) 1. 核心概念 核心(索引/表) 在es中有索引…

【软件测试】5年测试老鸟总结,自动化测试成功实施,你应该知道的...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 自动化测试 Pytho…

基于html+css的图展示82

准备项目 项目开发工具 Visual Studio Code 1.44.2 版本: 1.44.2 提交: ff915844119ce9485abfe8aa9076ec76b5300ddd 日期: 2020-04-16T16:36:23.138Z Electron: 7.1.11 Chrome: 78.0.3904.130 Node.js: 12.8.1 V8: 7.8.279.23-electron.0 OS: Windows_NT x64 10.0.19044 项目…

chatgpt赋能Python-pythonage

Pythonage - 一款优秀的Python SEO工具 无论是个人博客还是商业网站,SEO(搜索引擎优化)都是最重要的。Pythonage是一款优秀的Python SEO工具,可以帮助你优化你的网站并提高搜索引擎排名。在这篇文章中,我们将详细介绍…

ChatGPT 使用 拓展资料:开始构建你的优质Prompt

ChatGPT 使用 拓展资料:开始构建你的优质Prompt

【JavaEE】阻塞队列、定时器和线程池

目录 1、阻塞队列 1.1、概念 1.2、生产者消费者模型 1.3、阻塞队列的模拟实现 2、定时器 2.1、使用标准库中的定时器 2.2、模拟实现定时器 3、线程池 3.1、标准库中的线程池 3.1.1、ThreadPoolExecutor类的构造方法 3.1.2、Java标准库的4种拒绝策略【经典面试题】…

Canal内存队列的设计

1、背景 笔者的公司内部使用了开源的Canal数据库中间件来接受binlog数据,并基于此进行数据的订阅和同步到各种同构和异构的数据源上,本文将对Canal内部使用的store模块进行分析。 2、Store模块概览 Canal的store模块用于存储binlog中的每一个event&am…

MySQL- 多表查询(上)

♥️作者:小刘在C站 ♥️个人主页:小刘主页 ♥️每天分享云计算网络运维课堂笔记,努力不一定有收获,但一定会有收获加油!一起努力,共赴美好人生! ♥️树高千尺,落叶归根人生不易&…

安卓基础巩固(一):布局、组件、动画、Activity、Fragment

文章目录 布局LinearLayoutRelativeLayoutTableLayoutFrameLayoutConstraintLayoutListView基于ArrayAdapter自定义Adaper提升ListView的运行效率 RecyclerView基本属性使用案例布局(显示方式)监听事件利用View.onClickListener 和 onLongClickListener …

日志收集机制和日志处理流程规范

本博客地址:https://security.blog.csdn.net/article/details/130792958 一、日志收集与处理流程 云原生平台中对日志提取收集以及分析处理的流程与传统日志处理模式大致是一样的,包括收集、ETL、索引、存储、检索、关联、可视化、分析、报告这9个步骤…

Leetcode 二叉树详解

二叉树 树的概念及基本术语见树与二叉树的基础知识 定义:一棵二叉树是结点的一个有限集合,该集合或者为空,或者是由一个根结点加上两棵分别称为左子树和右子树的、互不相交的二叉树组成。 特点:每个结点至多只有两棵子树&#xff…

Vivado综合属性系列之八 DIRECT_ENABLE DIRECT_RESET

目录 一、前言 二、DIRECT_ENABLE、DIRECT_RESET ​ ​2.1 属性说明 ​ ​2.2 工程代码 ​ ​2.3 综合结果 一、前言 在Vivado 2019之前的版本中,对于设计中触发器的使能端口和复位端口是会自动接地,如果需要接设计端口,如果要直连…

GitHub Copilot开发者酷游网址训练营

目标读者 已使用且【酷游网K͜W͜98典neт娜娜宝宝提供】想发挥GitHub Copilot所有潜能的使用者想知道GitHub Copilot未来展望的使用者想了解GitHub Copilot能力的开发者 简介 最近Open AI带起的新世代,热潮汹涌,一堆AI工具蜂拥而至(如:chatGPT和Midjo…

近期关于Transformer结构有潜力的改进方法总结

目录 0 引言1 Gated Linear Unit (GLU)1.1 思路 2 Gated Attention Unit (GAU)2.1 思路2.2 实验结论2.3 混合注意力 3 FlashAttention3.1 标准Attention的实现3.2 FlashAttention的实现针对目标1针对目标2 4 总结5 参考资料 0 引言 标准Transformer在最新的实际大模型中并没有…

C++STL算法篇之集合算法

CSTL算法篇之集合算法 集合算法set_union(并集)set_difference(差集)set_intersection(交集)set_symmetric_difference(对称差集) 集合算法 当然最好还是要包含 functional algorithm 这2个头文件 集合算法有4个函数 1.set_union 交集 2.set_difference 差集 3.set_intersectio…

安卓开发多选列表和回显已选择内容

问题背景 安卓日常开发和学习过程中,经常会碰到需要多选列表和显示已选择内容的场景,本文将介绍安卓实现多选列表和回显已选择内容的一种方案。 问题分析 话不多说,先上效果: 思路分析: 一个纵向列表显示待选择内…

多线程基础(二)CAS无锁优化/自旋锁/乐观锁、ABA问题

CAS (Compare And Set)比较并替换 上篇文章的锁问题解决,可以使用更高效的方法,使用AtomXXX类,AtomXXX类本身方法都是原子性的,但不能保证多个方法连续调用是原于性的。 import java.util.ArrayList; imp…

chatgpt赋能Python-pythoncd

Python介绍 Python是一种流行的高级编程语言,由Guido van Rossum于1989年开发。Python的设计目标是简单易学、易于阅读和编写,同时也是一种高效的语言,能够处理各种不同的任务。Python在Web开发、数据分析、人工智能和科学计算等领域得到广泛…

chatgpt赋能Python-pythoncalendar

PythonCalendar:Python中优秀的日期处理库 作为一门快速发展的编程语言,Python提供了许多优秀的库和工具,用于方便程序员进行各种各样的操作和处理。其中,日期处理是一个必不可少的模块。PythonCalendar库就是Python中优秀的日期…