大规模中文多模态评测基准MUGE_数据集-阿里云天池多模态理解和生成评估挑战榜(MUGE)是由阿里巴巴达摩院智能计算实验室发起,由阿里云天池平台承办,并由浙江大学、清华大学等单位共同协办。 Mhttps://tianchi.aliyun.com/dataset/107332微调的是牧歌数据集,结果都不好,记录一下。微调了qwenvl和llava,都是一样的类似结果,需要对数据做进一步的分析。通常在大语言模型中,存在PT和SFT中,一般来讲SFT的数据更重要的是数据质量,数据量多少并不是决定性因素,但是在VLM中的特征对齐和指令微调中,从llava中看,60w特征对齐,15w指令精调,也就是说你也可以当成PT和SFT两个阶段看,但是两者是完全不同的。
1.数据
用的是牧歌ECommerce-IC数据,本项任务涵盖