Hugging Face 下载中断、Git LFS 如何下载指定文件、单个文件夹
在处理大型模型或数据集时，我们经常使用 Git Large File Storage (LFS) 来管理这些大文件。然而，下载过程中可能会遇到中断，需要重新下载特定文件或文件夹。本文将介绍如何在 Hugging Face 上使用 Git LFS 下载指定文件或单个文件夹。
遇到下载中断
在使用 git clone 命令时，如果目标路径已存在且不为空，你可能会看到以下错误：
fatal: destination path 'Flux_xxx(想要下载的模型)' already exists and is not an empty directory.
为了解决这个问题，你可以尝试以下几种方法：
1. 删除已存在的目录
如果确定可以删除该目录，可以先删除它，然后重新克隆：
rm -rf Flux_xxx
git clone https://huggingface.co/Flux_xxx
2. 克隆到另一个目录
如果你想保留原有的目录，可以克隆到另一个目录：
git clone https://huggingface.co/Flux_xxx new_directory_name
3. 拉取缺失的文件（👍推荐）
如果已经克隆了部分内容，可以使用 git lfs 来拉取缺失的大文件。首先确保你已经安装了 git-lfs：
git lfs install
然后，你可以使用 git lfs pull 命令来拉取缺失的文件：
cd Flux_xxx
git lfs pull --include="path/to/missing/folder/*"
这里的 --include 选项用于指定需要拉取的文件或文件夹路径，即 hugging face 上的指定文件夹或文件名。
4. 检查并拉取所有 LFS 文件
如果你想确保所有 LFS 跟踪的文件都被拉取，可以使用以下命令：
git lfs fetch --all
git lfs pull --all
5. 重新克隆并使用 git lfs
如果上述方法都不适用，可以尝试重新克隆仓库，并在克隆过程中使用 git lfs：
rm -rf Flux_xxx
git clone --recursive https://huggingface.co/Flux_xxx
cd Flux_xxx
git lfs install
git lfs pull
可能遇到的问题
在尝试使用 git-lfs pull 命令时，你可能会看到以下错误：
Error updating the git index:
error: transformer_opset=17/transformer.onnx: cannot add to the index - missing --add option?
fatal: Unable to process path transformer_opset=17/transformer.onnx
这个错误表明在尝试更新 git 索引时遇到了问题。具体来说，错误信息指出在将文件 transformer_opset=17/transformer.onnx 添加到索引时缺少了 --add 选项。
解决方案
-
文件路径错误：确保
transformer_opset=17/transformer.onnx是正确的文件路径，并且该文件存在于你的工作目录中。 -
文件已被跟踪：如果文件已经被 Git 跟踪，那么
git-lfs pull应该会自动处理它，不需要额外的--add选项。 -
Git LFS 配置问题：可能是 Git LFS 的配置有问题，或者
.gitattributes文件中对该文件的 LFS 跟踪设置不正确。 -
权限问题：可能是当前用户没有足够的权限来更新索引或操作文件。
尝试添加文件到暂存区
可以尝试以下步骤来解决这个问题：
git add transformer_opset=17/transformer.onnx
git-lfs track transformer_opset=17/transformer.onnx
git-lfs pull --include=transformer_opset=17
如果问题仍然存在，你可能需要检查 .gitattributes 文件和 Git LFS 的配置，或者查看是否有其他的错误信息可以帮助诊断问题。
结论
通过上述方法，你应该能够解决在 Hugging Face 上下载过程中遇到的问题，并成功拉取所有缺失的文件。确保你正确配置了 Git LFS，并且有足够的权限来操作文件和索引。如果你遇到任何问题，不要犹豫，检查错误信息并尝试相应的解决方案。
- 参考博客：https://github.com/git-lfs/git-lfs/issues/1351
