参考:uie模型微调个人总结
github:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
1、显存问题
之前是在实验室的服务器上跑(2080ti,12G显存),频频出现以下报错:
原始的batch size是16,即使调为4,也会在跑了一会以后出现以上问题。经过分析,应该是显存不够的原因。
2、在线GPU:按量计费
购买链接:https://ai.baidu.com/bml/
新用户有50小时免费额度。额外的训练计费:
选择32GB显存的,以下是微调过程中的使用情况:
3、安装包
- paddlepaddle-gpu,注意是gpu版本
- visualdl-2.4.2,不然会出现报错:‘LogWriter’ object has no attribute ‘add_text’
4、运行
参照链接中的环境配置、运行脚本:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
我的话是把上面链接clone下来
- 在uie的文件夹里面添加data文件夹,存放doccano格式的标注语料。
- 执行doccano.py文件,生成prompt形式的数据集
- 运行finetune.py文件,修改参数,即可运行训练
【参考】