1 概述
Wandb(Weights & Biases,网址是https://wandb.ai)是一个用于机器学习项目实验跟踪、可视化和管理的工具,旨在用户更有效地监控模型训练过程、优化性能,并分享和复现实验结果。对于使用者而言,wandb就是一个日志sdk,此sdk会在本地存一份日志,在远程存一份日志。
2 主要功能
- 实验跟踪:
自动记录训练过程中的超参数、训练损失、验证损失和任何其他自定义指标,实时更新图表和指标,使得可以即时发现问题并调整训练策略。 - 可视化:
生成关于模型性能的交互式图表,如损失曲线和精度曲线,以及模型预测结果、权重分布或特征图的可视化。 - 模型管理:
保存和共享模型的所有相关文件,包括权重文件、配置文件和环境设置,方便重新训练或共享。 - 团队协作:
在团队或社区中共享项目,使团队成员可以查看实验结果和进度,生成可分享的可视化报告以交流实验结果和见解。 - 版本控制:
对模型版本进行跟踪,比较不同模型的性能。
3 使用方法
1)安装:
通过pip安装wandb:pip install wandb。
2)登录:
在wandb官网注册账号并获取API key,使用命令wandb login进行登录。
3)基本使用:
使用wandb.init()启动新项目,通过wandb.config跟踪超参数,使用wandb.log()记录指标,使用wandb.finish()结束实验。
4)代码样例:
import wandb
# 1.初始化:project和name相当于两级目录,name最好包含时间信息。
wandb.init(project='fruit30', name=time.strftime('%m%d%H%M%S'))
# 2.运行训练:代码内记录日志
wandb.log(log_test) #log_test为字典