欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://blog.csdn.net/caroline_wendy/article/details/131302104
构建实验Docker:
nvidia-docker run -it --name git-lfs-[your name] --net=host -p [port]:[port] -v [nfs path]:[nfs path] glm:nvidia-pytorch-1.11.0-cu116-py3
1. 配置 Git LFS
Git LFS 是一种扩展 Git 的工具,可以让你更方便地管理大文件,如音频、视频、数据集等。Git LFS 的原理是将大文件存储在一个远程服务器上,而在 Git 仓库中只保留一个指向该文件的指针。这样,你就可以避免在克隆或拉取仓库时下载不必要的大文件,从而节省时间和空间。Git LFS 还支持对大文件进行版本控制、分支、合并等操作,就像普通的 Git 文件一样。要使用 Git LFS,你需要在你的项目中安装并初始化,然后用 git lfs track 命令指定哪些文件或文件类型需要用 LFS 管理。之后,你就可以像平常一样用 git add 和 git commit 提交你的更改,Git LFS 会自动处理大文件的上传和下载。
执行命令:
git lfs install
报错如下,则需要安装 git-lfs
命令:
git: 'lfs' is not a git command. See 'git --help'
安装 git-lfs ,建议 Docker 环境执行,拥有最高运行权限,或者 增加 sudo
:
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
执行命令:
git-lfs install
# 输出日志
Git LFS initialized.
在使用 git lfs
命令时,可以选择先下载工程,再下载 lfs
格式文件。即修改路径,再最后添加 .git
,例如:
git lfs install
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0.git # 额外添加 .git 后缀
# 再执行
cd vicuna-13b-delta-v0
git lfs pull
不过尝试速度较慢,还是建议 10G 以内手动下载。
2. 配置 BWM-NG & Tmux
bwm-ng 的全称是 Bandwidth Monitor NG,NG 即 Next Generation。bwm-ng 是一个用于监控网络带宽的命令行工具,可以实时显示每个接口的流量、速度、错误和其他信息。bwm-ng 支持多种输出格式,如纯文本、HTML、CSV 等,也可以将输出重定向到文件或管道。bwm-ng 的用法很简单,只需在终端中输入 bwm-ng 即可启动。可以使用不同的选项来调整输出的样式和内容,例如 -u 用于指定单位,-o 用于指定输出格式,-I 用于指定要监控的接口等。bwm-ng 是一个轻量级且功能强大的网络带宽监控工具。
安装 bwm-ng
,执行以下命令,参考:How To Install “bwm-ng” Package on Ubuntu:
apt-get update -y
apt-get install -y bwm-ng
即可使用 bwm-ng
查看网络的下载速度。
Tmux是一个终端复用器,可以让你在一个终端窗口中同时运行多个终端会话,Tmux的主要特点是:
- 可以在同一个窗口中分割多个窗格,每个窗格都是一个独立的终端会话。
- 可以在同一个会话中创建多个窗口,每个窗口可以包含多个窗格,可以方便地在窗口之间切换。
- 可以在后台运行tmux会话,即使关闭了终端窗口,也不会影响tmux会话中的进程。可以随时重新连接到tmux会话,恢复之前的工作状态。
- 可以在不同的终端或不同的机器上共享同一个tmux会话,实现多人协作或远程控制。
- 可以自定义tmux的外观和行为,通过配置文件和命令行选项调整各种参数。
安装 tmux
,执行以下命令,参考:How to Use tmux for Remote & Local Development
apt-get install tmux
Tmux的使用技巧,如下:
- 需要预先输入
前缀 (prefix)
,松手之后,再按命令。默认前缀是Ctrl + B
。例如,按一下Ctrl + B
,松手,再按% (Shift+5)
,即是分屏操作。 - 通过修改
~/.tmux.conf
,可以修改前缀。 - 进入Tmux之后,通过查看
tmux show-options -g | grep prefix
,显示当前前缀。 - 进入Tmux之后,修改配置
tmux source ~/.tmux.conf
修改前缀的方式,例如从 Ctrl+A
修改为 Ctrl+B
,添加命令如下:
set-option -g prefix C-a
unbind-key C-b
bind-key C-a send-prefix
Tmux 的分屏操作如下:
上下分屏:Ctrl + b 再按 "
左右分屏:Ctrl + b 再按 %
切换屏幕:Ctrl + b 再按 o
关闭一个终端:Ctrl + b 再按 x
上下分屏与左右分屏切换: Ctrl + b 再按 空格键
3. 配置 BOS
BOS CMD是百度智能云对象存储BOS的命令行工具,可以方便地对BOS服务进行管理和操作。BOS CMD支持多种上传、下载、同步、删除等功能,以及多种存储类型的选择和转换。BOS CMD还支持S3接口协议,可以兼容基于S3开发的应用程序和SDK。BOS CMD使用简单,只需在命令行中输入bcecmd命令,即可访问BOS服务。
下载 BOS CMD,选择 mac 版本即可,下载网址
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GA4PnVzj-1687229265751)(/Users/wang/Library/Application Support/typora-user-images/image-20230620101800615.png)]
解压之后,是一个文件 bcecmd
,放入bin文件夹。在 .bashrc
或 .zshrc
的文件末尾,添加命令:
export PATH=$PATH:$HOME/bin/
alias bos='bcecmd --conf-path /etc/bceconf/ bos'
同时,从服务器中,下载 /etc/bceconf/
文件夹,放入本地即可,包括3个文件:
bucket_endpoint_cache
credentials
multiupload_infos
这样就可以上传或下载文件,连接本地与服务器。
Bugfix 与 参考
sudo apt-get update couldn’t create temporary file
原因:删除临时文件夹 /tmp
导致的错误
执行以下命令,即可修复/tmp
文件夹,命令如下:
mkdir /tmp
ls -lad /tmp
chmod 1777 /tmp
mount | grep /tmp
再次执行更新 apt-get
,即可正常运行:
apt-get update -y
Git: gnutls_handshake() failed: Error in the pull function
其实,主要问题是网络原因导致,服务器连接外网异常。
add-apt-repository: command not found error
执行命令:
sudo apt update
sudo apt install software-properties-common
sudo apt update
即可使用 add-apt-repository
参考
-
StackOverflow - git: ‘lfs’ is not a git command unclear
-
知乎 - 如何优雅的下载huggingface-transformers模型
-
SuperUser - sudo apt-get update couldn’t create temporary file
-
CSDN - 修改Tmux的Ctrl+B前缀快捷键
-
StackOverflow - Git: gnutls_handshake() failed: Error in the pull function
-
Steps to Resolve add-apt-repository: command not found error