为finetuning进行的热身准备,涉及周边的软件工具,方法。
问题1:finetuning过程较长,采用系统自带命令行没有后台,前台被杀后,容易造成训练失败。
解决方法: tmux可以开启后台训练
问题2:大模型训练过程会有几个G 的bin等文件,不宜下载频繁
解决方法:Git LFS可以进行git屏蔽和指定文件下载
1. tmux
1.1 安装:
brew install tmux
1.2 启动
启动:tmux
1.3 查看已创建的会话
1.4 分屏
①ctrl + B 松开
②shift + %
2.Git LFS
Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件(如视频、图形或大型数据文件)的扩展
以chatglm3-6b模型为例,如下:
很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来,内容会非常大,浪费时间。lfs是个不错的选择。
2.1 lfs安装
git lfs install
2.2 配置lfs 克隆
GIT_LFS_SKIP_SMUDGE=1 git clone <repository-addr>
即时git pull 也不会把大文件拉下来。
2.3 指定匹配对象
git lfs fetch --include
命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象,而不是下载整个仓库的所有LFS对象。
这个命令会下载与指定模式匹配的所有LFS对象,并将其存储在本地LFS缓存中。
2.4 下载
git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本
工欲善其事,必先利其器
开始训练: