【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索—更新（正式比赛）

往期链接：

【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索—解题全流程（持续更新）
【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索—解题全流程（论文更新）

更新内容：

全部代码，制作数据、训练权重，结果，视频：

其中，LXS文件夹，代表所有的jupyter代码以及Chinese clip模型代码，基于服务器就可以直接运行，（找我分享服务器镜像，不用再配置环境了）

视频为边做边录制，全程记录训练预测、验证过程。

训练、预测展示：

训练，

（基于小的base16，预训练权重模型训练的，4w条为训练集，1w条为验证集）

只训练了44轮，一轮训练花费15分钟，显存只占6GB左右。

预测结果：

说明：这是训练了44轮，验证效果不算太理想的第一版模型的预测结果。

（对问题二，文本预测检索图片，问题三，图片预测检索文本的部分结果展示），此时验证集的召回验证recall@k5值为60。

图片检索文本结果部分展示：

后续计划：

今晚将进行选择最大最全面的中文预训练模型，对正式数据再进行训练（很费时间，很费资源。本地电脑是一定搞不了的，或服务器或者学校实验室服务器。）

1. 选择最大预训练权重文件进行训练
2. 训练50轮
3. 论文编写改进方向优化指导.txt

第二版更新将直接上传售后群qq文件夹里，以及百度网盘链接的方式。

全家桶获取

可以微信：zgr421136咨询 （微信优惠-5）
可以QQ交流群：458351399

可以直接爱发电平台：
https://afdian.net/item/8cc7f3dae8d111eeb7b05254001e7c00

良心制作，质量保证，售后解答。