一、下载模型
1.1 使用Hugging Face Hub下载模型
首先，我们需要设置环境变量以使用镜像站点加速下载。
主要要先安装相应的函数库：
pip install huggingface_hubimport os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import snapshot_download
snapshot_download(repo_id='Qwen/Qwen2-7B-Instruct', repo_type='model', local_dir='./Qwen2-7B-Instruct', force_download=True)这里repo_id可以直接在Hugging Face官网上复制得到：
local_dir就是保存在自己本地的文件夹，force_download就是支持断点续传，避免中途因为网络断了，导致要重新下载。
此外，我们可以通过allow_patterns 和 ignore_patterns参数允许或者忽略某些文件以支持断点续传和正则匹配，因为大模型的权重一般是分成了好几个包，如果同时下载可能会导致网速变慢，所以我们可以设置这个参数，选择先下载一部分的包。
max_workers (int, optional): 下载文件的并发线程数（1 线程 = 1 文件下载）。默认值为 8。
# 不允许下载符合这些条件的
snapshot_download(repo_id='Qwen/Qwen2-7B-Instruct', repo_type='model', local_dir='./Qwen2-7B-Instruct', force_download=True, ignore_patterns=["*00001-of-00003.bin*", "*.json"])
# 只允许下载符合这些条件的
snapshot_download(repo_id='Qwen/Qwen2-7B-Instruct', repo_type='model', local_dir='./Qwen2-7B-Instruct', force_download=True, allow_patterns=["*00001-of-00003.bin*", "*.json"])
# 设置最大同时下载数量为1
snapshot_download(repo_id='Qwen/Qwen2-7B-Instruct', repo_type='model', local_dir='./Qwen2-7B-Instruct', force_download=True, max_workers=1)
1.2 ModelScope下载模型
安装modelscope库：
pip install modelscope
使用modelscope库中的snapshot_download函数下载模型：
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')同样也有和上面相似的参数：
- allow_patterns (
str或List, optional, 默认None): 如果提供，仅下载至少匹配一个模式的文件，优先级高于allow_file_pattern。用于与 Hugging Face 兼容。 - ignore_patterns (
str或List, optional, 默认None): 如果提供，不下载匹配任何模式的文件，优先级高于ignore_file_pattern。用于与 Hugging Face 兼容。 - local_files_only (
bool, optional): 如果为True，则避免下载文件，并返回本地缓存文件的路径（如果存在）
二、评估大模型的显存占用
在选择和使用大模型时，了解其显存需求是非常重要的。我们可以使用Hugging Face提供的工具来评估模型的显存占用情况。
访问以下网址：https://huggingface.co/spaces/hf-accelerate/model-memory-usage
该工具可以帮助你计算在训练和推理过程中，大模型需要多少显存。下面是该工具的主要功能和使用方法：
- 计算显存需求：工具会根据模型的URL或名称，计算出训练和推理时的显存需求。
- 模型层大小：推荐的最小显存需求是"最大层"的大小，而训练模型的显存需求大约是其大小的4倍（针对Adam优化器）。
- 推理显存需求：在进行推理时，额外需要大约20%的显存，这一数据由EleutherAI提供。
- 支持模型类型：目前该工具支持使用transformers和timm库的所有模型。
使用方法如下：
- 输入模型的URL或名称。
- 选择模型的框架来源（"auto"选项会尝试从模型元数据中检测）。
- 选择你想使用的精度。
Memory usage for 'Qwen/Qwen2-7B-Instruct'
模型 'Qwen/Qwen2-7B-Instruct' 的显存使用情况：
- dtype: 数据类型，这里选择的是
float16/bfloat16。 - Largest Layer or Residual Group: 最大层或残差组的大小，这里是 1.02 GB。
- Total Size: 模型的总大小，这里是 13.61 GB。
- Training using Adam (Peak vRAM): 使用 Adam 优化器训练时的峰值显存需求，这里是 54.43 GB。
Training using Adam explained
在使用 Adam 优化器进行训练时，每个阶段的显存需求：
- Model: 模型本身的显存需求，这里是 27.22 GB。
- Gradient calculation: 梯度计算的显存需求，这里是 40.82 GB。
- Backward pass: 反向传播的显存需求，这里是 54.43 GB。
- Optimizer step: 优化器步骤的显存需求，这里是 54.43 GB。
