【自动数据增强】YOCO：将图片一分为二，各自增强后拼合为一

• • 核心思想
  • • 好在哪里？
    • 切哪里、切几次？
    • 何时用？
  • 总结

 

---

核心思想

论文：https://arxiv.org/pdf/2201.12078.pdf

代码：https://github.com/JunlinHan/YOCO.git
 

YOCO将一张图片分割成两个相等的部分，可以是在高度或宽度方向上。

然后在每个部分内独立执行相同的数据增强操作。

增强后的部分再拼接回一个完整的增强后的图像。

上方的例子显示了YOCO应用于“颜色抖动（Color jitter）”增强的结果，两个部分都进行了增强，生成了一个多样化的完全增强后的图像。

• 就像把一张照片撕成两半，每半上做不同的变化，这样电脑就能学会怎么分辨图片的不同部分。

下方的例子展示了YOCO应用于“水平翻转（Horizontal flip）”，只有左侧部分进行了增强，生成了一个部分增强的图像。

• 就好比我们不只从一个方向看一个苹果，而是转来转去看看它的每一面。

通过这种方式，YOCO增加了单个样本的增强多样性，并鼓励神经网络从部分信息中识别对象。

好在哪里？

YOCO 这种数据增强方法好在哪里呢？

现有的数据增强方法大多在图像级别进行，而标准的图像级数据增强忽略了局部区域的特征。

就像所有的食材全都放在一个大碗里搅拌，这样每一口吃上去味道都差不多，整张图片都做一样的变化。

• 解法：YOCO方法，局部增强应用。
  • 介绍： YOCO通过在非图像级别（片段级别）上执行相同的增强，提高了样本的局部区域多样性，促进神经网络从部分信息中识别对象，从而提高鲁棒性。

YOCO作为一种新的数据增强方法，它的目的是通过在图像的不同部分独立进行增强来提高数据的多样性，这对于提高模型在识别部分信息时的性能特别有用。

加入随机性：

• 这就像咱们在每次做菜时，把食材分成两份，然后在两个小碗里。
• 这次咱们可能在一个碗里多放点盐，在另一个碗里多加点醋，或者一个碗里用辣椒，另一个不用。
• 这样一来，每个碗里的食材都有自己独特的味道，最后咱们再把它们混在一起，每一口的味道都有惊喜，就好比YOCO在不同片段上应用不同的随机增强，让模型学会认识更多样化的图片。

多次切割：

• 而如果咱们把食材切得更细，分成更多的小碗，每个小碗里都调整不同的味道，那么最后混合起来的菜肴就更加丰富多彩了。
• 这就像YOCO在图像的不同方向上多次切割，然后在每一小块上都做不同的调整，这样模型就能从更多角度学习到图像的信息，就像咱们尝到了更多层次的美味一样。

所以，用YOCO的方式做数据增强，就像做了一道口味丰富，层次分明的大餐，让电脑在识别图片的时候，不仅能看到表面，还能品味到每一小块带来的不同信息，这样学到的就更全面，处理问题的能力也就更强了。

 

切哪里、切几次？

YOCO就好像是在做蛋糕时决定要怎么切它，以便在每一块上都涂上不同的奶油。

问题一，切哪里好呢？

就像咱们决定是从中间切开还是随便切一刀。

YOCO用的方法就像扔硬币，让机会来决定切哪里。

为什么这么做呢？

因为有时候切在中间可能让蛋糕两边的味道更均衡，有时候随机切又能带来意外的惊喜。

这就是为什么他们用随机的方式来决定切割位置，想看看哪种方法能让蛋糕（也就是数据）更有味道。

 
问题二，切几刀好呢？

这就像是咱们决定是切成两块、三块还是四块。

开始的时候，他们试了切一刀、两刀和三刀，看看哪种方式能让蛋糕（数据）变得更有趣。

但他们发现切得太多了，蛋糕（数据）就变得太复杂，每块都有不同的味道，反而让人难以享受（学习）。

所以，最后他们发现，通常切一刀就够了，这样能保持蛋糕（数据）的多样性，又不至于太复杂。

总的来说，YOCO就像是在做蛋糕时找到最好的切割方法。

通过实验，他们发现随机选择切割位置并且只切一刀，是最好的方式。

这样做的蛋糕（数据）既有趣味性又不会太乱，让电脑（吃蛋糕的人）更容易学习和享受。

 

何时用？

何时好用：

1. 在多样性重要的情况下： 如果你的数据集包含多样化的图像，或者你需要模型从不完整或部分信息中学习识别对象，那么YOCO是一个很好的选择。

   因为YOCO通过在不同部分的图像上应用增强，能增加数据的多样性，帮助模型更好地理解和处理各种场景。

2. 在需要高泛化能力的场景中： 当你的目标是提高模型在各种条件下的表现，特别是在未见过的或者变化大的数据上时，使用YOCO可以提高模型的泛化能力。

   这是因为YOCO能让模型接触到更多变化的数据样本，从而更好地适应新情况。

何时不太好用：

3. 在特定类型的图像上： 对于一些特定类型的图像，比如结构固定、容易识别的对象图像（比如一些数据集中的标志性物体），使用YOCO可能不是最佳选择。

   例如，在进行水平翻转的增强时，如果图像是一个标志性的物体占据了大部分画面，使用YOCO可能会破坏图像的结构和一致性，导致模型学习效果变差。

4. 在裁剪比率固定的数据集上： 如果数据集中的图像都有固定的裁剪比率，这意味着图像中的对象位置和大小相对固定，这时使用YOCO可能不会带来额外的好处。

   因为YOCO的优势在于处理多样性和不确定性较高的数据，而在这种情况下，标准的图像级增强可能就足够了。

在需要提高数据多样性和模型泛化能力的场景下，YOCO是一个强大的工具。

但在处理结构简单、容易识别的对象或者裁剪比率固定的数据集时，不如传统数据增强。

 

---

总结

YOCO 组成：

1. 子问题1：如何增强数据，使神经网络能从部分信息中学习并识别对象？
   • 子解法1：图像分割与独立增强。
     • 介绍： YOCO通过将图像分割成两部分，并在每部分上单独进行数据增强，从而提高样本的多样性。这种方法使神经网络能够更好地从部分信息中学习和识别对象。

· 假设有一张狗的照片。

· 使用YOCO，我们将这张照片分割成两半。

· 在一半上，我们可能加入颜色变化，而在另一半上，我们可能增加模糊效果。

· 这样，神经网络在训练时就不仅仅关注整张图片，而是学习从每个片段中提取有用信息，比如即使只看到狗的一半或者在图像不清晰的情况下也能识别出狗。

2. 子问题2：如何处理图像级别的增强方法，可能导致的泛化能力和鲁棒性不足的问题？

   • 子解法2：片段级别的数据增强。
     • 介绍： YOCO在非图像级别（即片段级别）进行数据增强，能够在局部区域和整体图像级别上提高多样性，增强模型的泛化能力和鲁棒性。

    
   一组多样化的风景照片。

   如果我们仅在整张照片上应用数据增强（如调整亮度），可能会忽略图片中特定区域的细节。

   但如果使用YOCO，我们可以对图片的一部分进行亮度调整，而对另一部分应用不同的增强，比如对比度增强。

   这样的处理提高了整个数据集在不同增强效果下的表现能力，从而增强了模型在多种环境条件下的适应性。

3. 子问题3：如何在对比性自监督学习中，提高表示的强度和转移能力？

   • 子解法3：YOCO在对比性预训练中的应用。
     • 介绍： 在对比性自监督学习中应用YOCO，可以产生更强大的表示，这些表示更容易转移到不同的任务中，如分类、检测和分割。

    
   假设我们正在使用自监督学习模型来学习交通标志的表示。

   通过YOCO的应用，模型可能会接触到部分是增强过的交通标志图片，

   比如一半是正常颜色，另一半是更暗的色调。

   这种训练方式使模型能够学习到更丰富和强大的特征表示，从而当它被应用于实际的交通标志检测任务时，无论交通标志处于何种光照或背景条件下，模型都能更准确地进行识别。