书生大模型训练营入门岛任务——训练营链接
1. Linux前置知识
任务：端口转发
当使用vscode远程连接服务器时，在服务器运行的任务，vscode会自动帮忙进行端口映射，方便本地进行访问。
2. Python前置知识
任务1：Leecode 383
任务2：Debug
不同按钮分别表示不同继续方式：
- continue: 继续运行到下一个断点。
- step over: 单步跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。
- step into: 单步进入。如果当前行代码存在函数调用，则进入该函数内部。如果当前行代码没有函数调用，则等价于step over。
- step out: 单步退出函数，返回到调用该函数的上一层代码。
- restart: 重新启动调试。
- stop: 终止调试。
通过对断点右键，我们可以设置更高阶的选项，例如表达式i==5时候才进入断点，或者命中次数，命中次数输入5，那么会在第五次执行这行代码的时候进入断点。
3. Git前置知识
git经典四部曲：
- 添(add)
– git add <文件名>
– 作用：将修改过的文件添加到本地暂存区 - 提(commit)
– git commit -m ‘描述信息’
– 将暂存区中的更改提交到本地仓库，正式将更改记录下来。 - 拉(pull)
– git pull
– 从远程仓库拉取最新的内容到本地仓库。 - 推(push)
– git push
– 将本地仓库推送到远程仓库。
4. 玩转HF/魔搭/魔乐社区
4.1 HuggingFace下载模型
点击use this model可以看到使用模型的脚本，这里只下载其中的几个文件。
通过脚本下载配置json和模型json:
import os
from huggingface_hub import hf_hub_download
# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"
# 指定要下载的文件列表
files_to_download = [
{"filename": "config.json"},
{"filename": "model.safetensors.index.json"}
]
# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)
# 遍历文件列表并下载每个文件
for file_info in files_to_download:
file_path = hf_hub_download(
repo_id=repo_id,
filename=file_info["filename"],
local_dir=local_dir
)
print(f"{file_info['filename']} file downloaded to: {file_path}")
4.2 SPACE创建与内容上传
首先先安装git lfs，确保大文件能够上传
git lfs install
然后需要配置token，才能登录HF。
点击头像，创建一个new space即可，记得选择Static
创建好后，就和github的操作一样，可以克隆，修改和上传修改。
克隆下来后，修改后重新提交，即可修改
git add .
git commit -m "update: colearn page"
git push
如果报错：remote: Password authentication in git is no longer supported. You must use a user access token or an SSH key instead.
请再次设置这个项目的验证，这个地方需要用户的Access Tokens（具体获取方式见下文 “2.1.5 模型上传”）
git remote set-url origin https://<user_name>:@huggingface.co/<repo_path>
例如：
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可
提交后，就可以看到远程的Space已经更新了
4.3 模型上传
首先创建一个仓库，并且拉取到本地
huggingface-cli repo create intern_study_L0_4
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4
然后进入文件夹，进行一些修改，就可以提交修改到HF上了。
cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push
提交结果：
