起源和定义
自监督学习又可以分为对比学习(contrastive learning)和生成学习(generative learning)两条主要的技术路线。
比学习的核心思想是将正样本和负样本在特征空间对比,从而学习样本的特征表示,使得样本与正样本的特征表示尽可能接近。正样本和负样本是使用代理任务(pretext task)来定义的. 代理任务定义了样本之间的相似性,给定一个样本,与之相似的样本就是正样本,而不相似的样本就是负样本.
[1]李希,刘喜平,李旺才等.对比学习研究综述[J].小型微型计算机系统,2023,44(04):787-797.DOI:10.20009/j.cnki.21-1106/TP.2022-0538.
对比学习研究现状
构造多视图样本 将同一幅图像在多个不同视图下的表达分别进行特 征提取, 然后进行对比学习, 有利于提升模型的效 果. 在视频分析中, 如对同一幅图像分别提 取光流、语义分割、关键点等多视图特征, 然后进行 对比学习, 提升了视频特征表达能力
图像语义增广是一种直接对图像中物体的语义 进行修改的图像增广方法, 如将图像中的物体的颜 色或角度进行改变.
[2]张重生,陈杰,李岐龙等.深度对比学习综述[J].自动化学报,2023,49(01):15-39.DOI:10.16383/j.aas.c220421.
MoCo