谷歌发布开源大模型 Gemma，评测+最佳微调实践来啦！

news2024/9/21 23:41:10

Gemma 是由 Google 推出的一系列轻量级、先进的开源模型，他们是基于 Google Gemini 模型的研究和技术而构建。它们是一系列text generation，decoder-only的大型语言模型，对英文的支持较好，具有模型权重开源、并提供预训练版本（base模型）和指令微调版本（chat模型）。

本次 Gemma 开源提供了四个大型语言模型，提供了 2B 和 7B 两种参数规模的版本，每种都包含了预训练版本（base模型）和指令微调版本（chat模型）。

官方除了提供 pytorch 版本之外，也提供了GGUF版本，可在各类消费级硬件上运行，无需数据量化处理，并拥有高达 8K tokens 的处理能力，Gemma 7B模型的预训练数据高达6万亿Token，也证明了通过大量的高质量数据训练，可以大力出奇迹，小模型也可以持续提升取得好的效果。

那 Gemma 模型的能力怎么样呢？下面是Gemma模型的基础版本与其他开源模型在公开榜单的对比：

图片

数据来源__https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

从榜单中可以看到，Gemma-7B模型超过了Mistral-7B模型，取得了一个很好的结果。技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

开源代码：

https://github.com/google/gemma_pytorch

目前社区已经支持 Gemma的下载、推理、微调一站式体验， 并提供对应最佳实践教程，欢迎感兴趣的开发者小伙伴们来玩！

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型面试与技术交流群， 想要进交流群、获取完整源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流

用通俗易懂的方式讲解系列

  • 用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库
  • 用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程
  • 用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
  • 用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库
  • 用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结
  • 用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调
  • 用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了
  • 用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理
  • 用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南
  • 用通俗易懂的方式讲解：大模型训练过程概述
  • 用通俗易懂的方式讲解：专补大模型短板的RAG
  • 用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践
  • 用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践
  • 用通俗易懂的方式讲解：大模型微调方法总结
  • 用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
  • 用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

环境配置与安装

  1. python 3.10及以上版本

  2. pytorch 1.12及以上版本，推荐2.0及以上版本

  3. 建议使用CUDA 11.4及以上

  4. transformers>=4.38.0

Gemma模型链接和下载

支持直接下载模型的repo：

from modelscope import snapshot_download
model_dir = snapshot_download("AI-ModelScope/gemma-7b-it")

Gemma模型推理

需要使用tokenizer.apply_chat_template获取指令微调模型的prompt template：

from modelscope import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("AI-ModelScope/gemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("AI-ModelScope/gemma-7b-it", torch_dtype = torch.bfloat16, device_map="auto")

input_text = "hello."
messages = [
    {"role": "user", "content": input_text}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
input_ids = tokenizer([text], return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids,max_new_tokens=256)
print(tokenizer.decode(outputs[0]))

资源消耗：

图片

模型微调和微调后推理

我们使用SWIFT来对模型进行微调，SWIFT是魔搭社区官方提供的LLM&AIGC模型微调推理框架。

微调代码开源地址:

https://github.com/modelscope/swift

我们使用hc3-zh分类数据集进行微调. 任务是: 判断数据样本的回答来自human还是chatgpt.

环境准备:

git clone https://github.com/modelscope/swift.git
cd swift
pip install .[llm]

微调脚本: LoRA

# https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/gemma_2b_instruct/lora
# Experimental environment: V100, A10, 3090
# 12GB GPU memory

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model_id_or_path AI-ModelScope/gemma-2b-it \
    --sft_type lora \
    --tuner_backend swift \
    --template_type AUTO \
    --dtype AUTO \
    --output_dir output \
    --dataset hc3-zh \
    --train_dataset_sample 5000 \
    --num_train_epochs 1 \
    --max_length 2048 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.01 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.1 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 10 \

训练过程也支持本地数据集，需要指定如下参数：

--custom_train_dataset_path xxx.jsonl \
--custom_val_dataset_path yyy.jsonl \

微调后推理脚本: （这里的ckpt_dir需要修改为训练生成的checkpoint文件夹）

# Experimental environment: V100, A10, 3090
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --ckpt_dir "output/gemma-2b-instruct/vx_xxx/checkpoint-xxx" \
    --load_dataset_config true \
    --max_length 2048 \
    --max_new_tokens 2048 \
    --temperature 0.1 \
    --top_p 0.7 \
    --repetition_penalty 1. \
    --do_sample true \

微调的可视化结果

训练准确率:

图片

训练后生成样例:

[PROMPT]<bos><start_of_turn>user
Classification Task: Are the following responses from a human or from ChatGPT?
Question: 能帮忙解决一下吗
Answer: 当然，我很乐意帮助你解决问题。请提出你的问题，我会尽力给出最好的帮助。
Category: Human, ChatGPT
Output:<end_of_turn>
<start_of_turn>model
[OUTPUT]ChatGPT<end_of_turn>

[LABELS]ChatGPT
---------------------------------------------------
[PROMPT]<bos><start_of_turn>user
Classification Task: Are the following responses from a human or from ChatGPT?
Question: 请问哪样存钱好
Answer: 若需了解招商银行存款利率，可进入招行主页在网页右下侧“实时金融信息”下方选择“存款利率”查看。
Category: Human, ChatGPT
Output:<end_of_turn>
<start_of_turn>model
[OUTPUT]Human<end_of_turn>

[LABELS]Human

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1468143.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

探索 LRU 算法的缺陷与解决方案

探索 LRU 算法的缺陷与解决方案

LRU算法 Linux 的 Page Cache 和 MySQL 的 Buffer Pool 的大小是有限的&#xff0c;并不能无限的缓存数据&#xff0c;对于一些频繁访问的数据我们希望可以一直留在内存中&#xff0c;而一些很少访问的数据希望可以在某些时机可以淘汰掉&#xff0c;从而保证内存不会因为满了而…
阅读更多...
【新手易错点】golang中byte和rune

【新手易错点】golang中byte和rune

1 总体区别 在Golang中&#xff0c;byte和rune是两种不同类型的数据。简单来说&#xff0c;byte是一个8位的无符号整数类型&#xff0c;而rune则是一个32位的Unicode字符类型。 Byte: 在Golang中&#xff0c;byte类型实际上是uint8的别名&#xff0c;它用来表示8位的无符号整…
阅读更多...
神经网络系列---常用梯度下降算法

神经网络系列---常用梯度下降算法

文章目录 常用梯度下降算法随机梯度下降&#xff08;Stochastic Gradient Descent&#xff0c;SGD&#xff09;&#xff1a;随机梯度下降数学公式&#xff1a;代码演示 批量梯度下降&#xff08;Batch Gradient Descent&#xff09;批量梯度下降数学公式&#xff1a;代码演示 小…
阅读更多...
机器视觉选型：如何选择一个合适光源控制器

机器视觉选型：如何选择一个合适光源控制器

在机器视觉系统中&#xff0c;选择合适的光源及其控制器对于确保高质量图像捕获和处理至关重要。本文会提供一些建议&#xff0c;以便于引导您了解如何基于应用需求选择最合适的光源和光源控制器。 1. 理解光源的功率需求 不同类型的光源具有不同的功率需求&#xff0c;这直接…
阅读更多...
Linux：gcc的基本知识

Linux：gcc的基本知识

gcc 是一个将C语言文件变成可执行文件的工具。 在Linux中&#xff0c;如果需要将一个C语言文件变得可以执行&#xff0c;那么除了这个文件本身的内容是C语言编写的内容外&#xff0c;还需要gcc这个编译工具进行编译才行。 gcc 使用的格式方法:gcc 要编译的文件 //在该代码下…
阅读更多...
Jenkins常规配置（0）

Jenkins常规配置（0）

Jenkins常规配置 20211005 1、配置中文 需要先安装插件&#xff0c;然后进入到全局配置中设置&#xff1a;zh_CN 2、Jenkins访问地址 安装的时候&#xff0c;会让设置访问路径&#xff0c;这里可以进行修改&#xff0c;进入配置全局变量中设置 3、全局配置go环境&#xff0…
阅读更多...
二级等保需要什么样的SSL证书？

二级等保需要什么样的SSL证书？

根据等级保护对象在国家安全、经济建设、社会生活中的重要程度&#xff0c;以及一旦遭到破坏、丧失功能或者数据被篡改、泄露、丢失、损毁后&#xff0c;对国家安全、社会秩序、公共利益以及公民&#xff0c;法人和其他组织的合法权益的侵害程度等因素&#xff0c;等级保护对象…
阅读更多...
js 文件预览 在窗口设置“自定义名称”

js 文件预览 在窗口设置“自定义名称”

1. 最近需要做一个点击表格某一列的标题&#xff0c;预览当前文件的一个小功能。本身功能很简单&#xff0c;点击该标题&#xff0c;预览文件&#xff0c;那么拿到他对应的文件地址&#xff0c;在浏览器打开就行了。 2. 事实如此&#xff0c;使用window.open(url, _blank);就行…
阅读更多...
Flink/flinksql 语法 窗口与join 一文全 相关概念api汇总总结，底层process算子总结，与数据延迟处理，超时场景解决方案

Flink/flinksql 语法 窗口与join 一文全 相关概念api汇总总结，底层process算子总结，与数据延迟处理，超时场景解决方案

Flink 窗口概念与join汇总总结 1 SQL语法中窗口语法相关&#xff08;仅仅是flinksql中 窗口的语法&#xff09;1.1 sql窗口1.2 window topN 2 java/SQL join语法与介绍2.1 有界join2.1.1 Window Join2.1.2 Interval Join2.1.3 Temporary Join2.1.4 LoopUp Join2.2 无界join2.2.…
阅读更多...
基于协同过滤算法的体育商品推荐系统

基于协同过滤算法的体育商品推荐系统

摘要 本文深入探讨了基于协同过滤算法的体育商品推荐系统的构建方法及其在电子商务中的重要性。首先&#xff0c;介绍了协同过滤算法的基本原理&#xff0c;包括用户-商品矩阵、相似度度量和推荐生成。其次&#xff0c;探讨了协同过滤算法在体育商品推荐中的两种主要应用方式&a…
阅读更多...
OpenCV 4基础篇| OpenCV像素的编辑

OpenCV 4基础篇| OpenCV像素的编辑

目录 1. 前言1. 像素的访问1.1 数组索引访问1.2 img.item() 2. 像素的修改2.1 数值索引修改2.2 img.itemset() 1. 前言 像素是构成数字图像的基本单位&#xff0c;像素处理是图像处理的基本操作。 对像素的访问、修改&#xff0c;可以使用 Numpy 方法直接访问数组元素。 1. 像…
阅读更多...
专项：PID控制方法深究

专项：PID控制方法深究

1.前言 PID在工业界随处可见。其的原理是什么&#xff1f; 2.数学物理代表意义 PID全名为比例积分微分控制器。顾名思义&#xff0c;表明其由三个控制器组成。 一是P&#xff0c;其代表比例&#xff08;Proportional&#xff09;; 二是I&#xff0c;其代表积分&#xff08;I…
阅读更多...
【Java程序设计】【C00267】基于Springboot的在线考试系统（有论文）

【Java程序设计】【C00267】基于Springboot的在线考试系统（有论文）

基于Springboot的在线考试系统&#xff08;有论文&#xff09; 项目简介项目获取开发环境项目技术运行截图 项目简介 本系统是基于Springboot的在线考试系统&#xff1b;本系统主要分为管理员、教师和学生三种角色&#xff1b; 管理员登录系统后&#xff0c;可以对首页&#x…
阅读更多...
C# （WebApi）整合 Swagger

C# （WebApi）整合 Swagger

SpringBoot-整合Swagger_jboot整合swagger-CSDN博客 C# webapi 也可以整合Swagger webapi运行其实有个自带的HELP页面 但是如果觉得UI不好看&#xff0c;且没办法显示方法注释等不方便的操作&#xff0c;我们也可以整合Swagger 一、使用NuGet控制台安装Swagger 在菜单中选择…
阅读更多...
day41打卡

day41打卡

day41打卡 46. 携带研究材料&#xff08;第六期模拟笔试&#xff09; 状态表示 ​ 二维&#xff1a;dp[i] [j] 表示从下标为[0-i]的物品里任意取&#xff0c;放进容量为j的背包&#xff0c;价值总和最大是多少。 一维&#xff1a; ​ dp[j]表示&#xff1a;容量为j的背包&a…
阅读更多...
第三百六十五回

第三百六十五回

文章目录 1. 概念介绍2. 方法与信息2.1 获取方法2.2 详细信息 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何获取设备信息"相关的内容&#xff0c;本章回中将介绍如何获取App自身的信息.闲话休提&#xff0c;让我们一起Talk Flutter吧。 1. 概念介绍 我们在本…
阅读更多...
在 where子句中使用子查询(一)

在 where子句中使用子查询(一)

目录 子查询返回单行单列 查询公司工资最低的员工信息 查找公司雇佣最早的员工信息 子查询返回单行多列 查询与 ALLEN 工资相同&#xff0c;职位相同的所有员工信息 子查询返回多行单列 IN 操作 查询职位是“MANAGER”的所有员工的薪水 Oracle从入门到总裁:https://bl…
阅读更多...
Xcode中App图标和APP名称的修改

Xcode中App图标和APP名称的修改

修改图标 选择Assets文件 ——> 点击Applcon 换App图标 修改名称 点击项目名 ——> General ——> Display Name
阅读更多...
华清远见作业第四十二天——Qt（第四天）

华清远见作业第四十二天——Qt（第四天）

思维导图&#xff1a; 编程&#xff1a; 代码&#xff1a; widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QTextToSpeech> //语音播报类 QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass Widget : public Q…
阅读更多...
内核解读之内存管理（6）address_space建立文件索引结点inode和页page、虚拟地址空间vma的映射

内核解读之内存管理（6）address_space建立文件索引结点inode和页page、虚拟地址空间vma的映射

内存管理和文件系统总会交织在一起&#xff0c;所以我们今天聊的内容和文件系统有关。 上一节的struct page结构体中&#xff0c;我们看到了一个成员struct address_space*。很明显是用于建立page和address_space的关联。 它是代表某个地址空间吗&#xff1f;实际上不是的&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023