Model Memory Utility - a Hugging Face Space by hf-accelerate
- 这个工具可以计算在 Hugging Face Hub上托管的大型模型训练和执行推理时所需的vRAM内存量。
- 模型所需的最低推荐vRAM内存量表示为“最大层”的大小，模型的训练大约是其大小的4倍（针对Adam）。
- 这些计算的准确性最多相差几个百分点，例如bert-base-cased为413.68 MB，而计算器估计为413.18 MB。
- 目前，该工具支持所有使用transformers和timm的托管模型。
- 使用此工具时，输入模型的URL或模型名称来计算内存使用量，选择其来源的框架（“auto”会尝试从模型元数据中检测），以及想使用的精度。
下表格解释了使用Adam训练的具体细节，包括在不同精度下模型训练过程中各阶段的内存需求
