原文翻译自这里

视觉：图像嵌入（Image Embedding）

图像增强

在视觉领域，大多数面向对比表征学习的方案均依赖于通过应用数据增强技术的序列组合来创建样本的噪声形式。而这种增强需要满足保持语义不变的同时极大的改变其视觉外观。

基本图像增强技术

以下列举了一些修改图像但保持其语义的方法。我们可以使用以下任一增强或几种的组合。

• 随即裁剪，然后调整尺寸与原图一致
• 随机色彩失真
• 随机高斯模糊
• 随机色彩抖动（color jittering）
• 随机水平翻转
• 随机灰度转换
• Multi-crop 增强：使用两个标准分辨率的裁剪块，并采样一组额外的低分辨率的裁剪块，将其覆盖在原图的部分区域，以降低计算消耗。
• 。。。

增强策略

许多框架的设计初衷是学习优秀的数据增强策略（可能是多种变换的一个组合）。这有一些例子。

• AutoAugment：受 NAS 启发，AutoAugment将最优数据增强搜寻视为强化学习问题，通过验证集上的最优精确度来确定增强组合。
• RandAugment：RandAugme通过使用幅度参数控制不同变换操作的幅度，极大的减小了AutoAugment的搜索空间。
• PBA（Population based augmentation）：PBA将AutoAugment与PBT结合在一起，使用进化算法训练子模型群体同时进化出最优策略。
• UDA（Unsupervised Data Augmentation）：给出一系列可能的增强策略，UDA选择能够最小化无标签示例的预测分布和其无标签增强版本之间KL距离的策略。

图像混合

图像混合方法能够从现有数据点中构建出新的训练样本。

• Mixup：该方法通过对两幅图像使用一种加权逐像素结合的方法实现全局混合：$I_{mixup}\leftarrow \alpha I_1+(1-\alpha )I_2$ and $\alpha \in [0,1]$.
• Cutmix: Cutmix通过生成一个新样本来实行区域混合。该样本由一张图片的局部区域与任一张其他图片混合组成。$I_{cutmix}\leftarrow M_b⨀I_1+(1-M_b)⨀I_2$,其中 M b ∈ { 0 , 1 } I M_b\in \{0,1\}^I Mb​∈{0,1}I为二进制mask，$⨀$是逐像素乘法。当区域内不放图时，与Cutout等效。
• MoCHi（Mixing of Contrastive Hard Negatives）给一query $q$，MoCHi维持$K$个负样本特征 Q = { n 1 , . . . , n K } Q=\{n_1,...,n_K\} Q={n1​,...,nK​}的队列，并通过比较与$q$的相似程度$q^{T}n$进行降序排序。队列中的前$N$个项目$Q^N$被视为最复杂负样本。 然后通过以下形式生成复杂示例：$h=\tilde{h}/|\tilde{h}|$。其中，$\tilde{h}=\alpha n_i+(1-\alpha )n_j$, $\alpha \in (0,1)$。更复杂的样本甚至可以通过与query$q$混合而得到：$h^{{}^{\prime }}=\widetilde{h^{{}^{\prime }}/|h^{{}^{\prime }}{|}_2}$。其中$\widetilde{h^{{}^{\prime }}}=\beta q+(1-\beta )n_j$, $\beta \in (0,0.5)$

并行增强

该类别方法生成一张锚图（anchor image）的两个带噪声版本，其目标为学习某种表征以使这两种增强的样本具有同样的嵌入形式

SimCLR

SimCLR 提出了一种用于视觉表征对比学习的简单的框架。其通过在潜在空间中最大化同一样本不同增强版本的对比损失的一致性来学习视觉输入的表征。

一口气说完不累吗，真是无语啊
It learns representations for visual inputs by maximizing agreement between differently augmented views of the same sample via a contrastive loss in the latent space.

1. 样本集中随机采样$N$个样本，对每个样本执行两种不同的数据增强操作，得到$2N$个增强后的样本。
   ${\tilde{x}}_i=t(x),{\tilde{x}}_j=t^{{}^{\prime }}(x),t,t^{{}^{\prime }}\sim T$
   其中上述两种不同的数据增强操作子 $t$ 和 $t^{{}^{\prime }}$，采样于增强集合$T$中的同一系列。数据增强操作包括随机裁剪，带有随机翻转的尺寸缩放，颜色失真，以及高斯模糊。
2. 给一正样本对，其他$2(N-1)$个数据点被认为是负样本。表达式可通过一基础编码器$f(\cdot )$给出:
   $h_i=f({\tilde{x}}_i),h_j=f({\tilde{x}}_j)$
3. 对比学习损失函数使用余弦相似度$sim(.,.)$定义。这里注意，损失函数并不直接针对表征空间$g(.)$，而是作用于该表征的额外一映射层。但最终只有表征$h$被用于下游任务中。
   ${\mathbf{z}}_i=g(h_i),{\mathbf{z}}_j=g(h_j)$
   $L_{SimCLR}^{(i,j)}=-log\frac{exp(sim({\mathbf{z}}_i,{\mathbf{z}}_j)/\tau )}{{\sum }_{k=1}^{2N}{\mathbb{I}}_{k\ne i}exp(sim({\mathbf{z}}_i,{\mathbf{z}}_k)/\tau )}$
   其中${\mathbb{I}}_{k\ne i}$是指示函数: $1$ if $k\ne i$ $0$ otherwise。

SimCLR需要很大的batch size来引入足够的负样本，以实现最终优秀的性能。

BYOL

与上述方法（SimCLR）不同，BYOL (Bootstrap Your Own Latent; Grill, et al 2020)在不使用负样本地情况下实现了SOTA性能。其依赖于两个神经网络，名为在线和目标网络，它们彼此交互并互相学习。目标网络（参数化为$\xi$）与在线网络（参数化为$\theta$）具有相同的结构，但使用了 polyak 均值权重，$\xi \leftarrow \tau \xi +(1-\tau )\theta$。

该方法旨在学习某一可被用于下游任务中的表征$y$。由$\theta$参数化的在线网络包含：

• 编码器$f_{\theta }$
• 映射器$g_{\theta }$
• 预测器$q_{\theta }$

sg表示停止梯度。

给一图像$\mathbf{x}$，BYOL损失由以下方式构建：

• 利用采样于$t\sim \mathcal{T},t^{{}^{\prime }}\sim \mathcal{T}$的增强技术得到$\mathbf{x}$的增强版本$\mathbf{v}=t(\mathbf{x});{\mathbf{v}}^{{}^{\prime }}=t^{{}^{\prime }}(\mathbf{x})$;
• 将其编码为表征，${\mathbf{y}}_{\theta }=f_{\theta }(\mathbf{v}),{\mathbf{y}}^{{}^{\prime }}=f_{\xi }({\mathbf{v}}^{{}^{\prime }})$;
• 将其映射为潜变量，${\mathbf{z}}_{\theta }=g_{\theta }({\mathbf{y}}_{\theta }),{\mathbf{z}}^{{}^{\prime }}=g_{\xi }({\mathbf{y}}^{{}^{\prime }})$
• 在线网络输出预测$q_{\theta }({\mathbf{z}}_{\theta })$;
• 对$q_{\theta }({\mathbf{z}}_{\theta })$和${\mathbf{z}}^{{}^{\prime }}$做L2规范化，得到${\bar{q}}_{\theta }({\mathbf{z}}_{\theta })=q_{\theta }({\mathbf{z}}_{\theta })/||q_{\theta }({\mathbf{z}}_{\theta })|{|}_2$；
• 计算规范化项${\bar{q}}_{\theta }({\mathbf{z}}_{\theta })$和${\mathbf{z}}^{{}^{\prime }}$之间的MSE损失函数${\mathcal{L}}_{\theta }^{\mathbf{BYOL}}$；
• 其对称损失${\tilde{\mathcal{L}}}_{\theta }^{\mathbf{BYOL}}$可以通过交换${\mathbf{v}}^{{}^{\prime }}$和$\mathbf{v}$得到；即，将${\mathbf{v}}^{{}^{\prime }}$送入在线网络，$\mathbf{v}$送入目标网络。
• 最终损失项为${\mathcal{L}}_{\theta }^{\mathbf{BYOL}}+{\tilde{\mathcal{L}}}_{\theta }^{\mathbf{BYOL}}$，且只有$\theta$被优化。

与现有多数基于对比学习的方法不同，BYOL不使用负样本。大多数自举法(Bootstrap approaches) 都依赖于伪标签或聚类索引，但是BYOL直接对潜在表征进行bootstrap。

没有负样本，BYOL依然表现很好。Abe Fetterman & Josh Albrecht 的博客列出了两个关于复现BYOL的意外发现：

1. 移除 batch normalization 后，BYOL 的性能与随机输出无异。
2. Batch normalization操作隐式带入了对比学习。他们相信使用负样本对避免模型崩塌具有重要作用（比如，如果你使用全零向量表示每个数据点该怎么办？）。Batch normalization 隐式地带入了对负样本地依赖，因为不论一组输入有多相似，输出值总会被重分布（re-distributed, 服从$\sim \mathcal{N}(0,1)$）。因此 batch normalization避免了模型崩塌。

Barlow Twins

Barlow Twins (Zbontar et al.2021) 将某一样本的两个失真版本输入同一网络来提取特征，同时试着令两组输出特征之间的互相关矩阵趋于单位阵。其目标在于使属于同一样本的不同失真版本的表征向量保持相似，同时最小化向量之间的冗余。

我们令$C$为计算得的由同一网络预测的不同输出间的互相关矩阵。其为方阵，尺寸等于特征网络输出的维度。矩阵$C_{ij}$中的每个条目为网络输出的，位于索引$i,j$和batch索引$b$的向量${\mathbf{z}}_{b,i}^A$和${\mathbf{z}}_{b,j}^B$维度之间的余弦相似度。其值域为$-1$（完全负相关）与$1$（完全相关）之间。
$L_{BT}=\underset{不变项}{\underbrace{\sum _i(1-C_{ii}{)}^2}}+\lambda \underset{减少冗余项}{\underbrace{\sum _i\sum _{i\ne j}{C}_{ij}^2}}$

其中 $C_{ij}=\frac{{\sum }_b{\mathbf{z}}_{b,i}^A{\mathbf{z}}_{b,j}^B}{\sqrt{{\sum }_b({\mathbf{z}}_{b,i}^A{)}^2}\sqrt{{\sum }_b({\mathbf{z}}_{b,j}^B{)}^2}}$

Barlow Twins 在自监督学习方面的表现丝毫不弱于SOTA。它很自然地避免了琐碎的常数（比如，塌陷表征），并且对不同训练batch都很鲁棒${}^{\ast }$。

原文:It naturally avoids trivial constants (i.e. collapsed representations), and is robust to different training batch sizes.