参考:https://www.bilibili.com/video/BV1kT411o7a6?p=2&spm_id_from=pageDriver&vd_source=156234c72054035c149dcb072202e6be
余弦相似度,让正样本内积趋近于1,负样本趋近于-1。度量学习。N特别大时,负样本远大于正样本,对负样本进行采样。如何采样?采集难度比较大的负样本,与正样本相似度高的负样本。两个向量相乘就是相似度。排序,取最高的作为负样本。
文生图
模型训练:图片变向量,向量变成图片。
得到stage1的模型之后。
训练gpt模型就是训练gpt从描述生成token399,就是stage2的过程。
第一个模型生成的token给第二个模型进行训练。