数据增强（Data Augmentation）是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。

其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。

机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。

如经典的机器学习例子–哈士奇误分类为狼：通过可解释性方法，可发现错误分类是由于图像上的雪造成的。通常狗对比狼的图像里面雪地背景比较少，分类器学会使用雪作为一个特征来将图像分类为狼还是狗，而忽略了动物本体的特征。此时，可以通过数据增强的方法，增加变换后的数据(如背景换色、加入噪声等方式)来训练模型，帮助模型学习到本体的特征，提高泛化能力。图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。

需要关注的是，数据增强样本也有可能是引入片面噪声，导致过拟合。此时需要考虑的是调整数据增强方法，或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集，以提高模型的泛化能力。

• PU Learning（Positive-unlabeled learning）是半监督学习的一个研究方向，指在只有正类和无标记数据的情况下，训练二分类器。

  • 启发式地从未标注样本里找到可靠的负样本，以此训练二分类器，该方法问题是分类效果严重依赖先验知识。

  • 将未标注样本作为负样本训练分类器，由于负样本中含有正样本，错误的标签指定导致分类错误。

单样本增强

• 单(图像)样本增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法。在计算机视觉中，典型的数据增强方法有翻转（Flip），旋转（Rotat ），缩放（Scale），随机裁剪或补零（Random Crop or Pad），色彩抖动（Color jittering），加噪声（Noise）

• imgaug是一款非常有用的python图像增强库，非常值得推荐应用于深度学习图像增强。其包含许多增强技术，支持图像分类，目标检测，语义分割，热图、关键点检测等一系列任务的图像增强。

多样本数据增强方法

• 多样本增强是通过先验知识组合及转换多个样本，主要有Smote、SamplePairing、Mixup等方法在特征空间内构造已知样本的邻域值。

Transforms 是常用的图像数据增强模块。可以使用 Compose 将它们链接在一起。

可视化数据增强：

import PIL.Image as Image
import torch
from torchvision import transforms
import matplotlib.pyplot as plt
import numpy as np
import warnings
plt.rcParams['font.sans-serif'] = ['SimHei']    # 显示中文
plt.rcParams['axes.unicode_minus'] = False        # 显示负号
def imshow(img_path, transform):
    """
    Function to show data augmentation
    Param img_path: path of the image
    Param transform: data augmentation technique to apply
    """
    img = Image.open(img_path)
    fig, ax = plt.subplots(1, 2, figsize=(10, 4))
    ax[0].set_title(f'原图 {img.size}')
    ax[0].imshow(img)
    img = transform(img)
    ax[1].set_title(f'变换后 {img.size}')
    ax[1].imshow(img)
    plt.show()
path = 'imgs/000000000049.jpg'

• Resize/Rescale：用于将图像的高度和宽度调整为我们想要的特定大小。

• transform = transforms.Resize((640, 640))
  imshow(path, transform)
  

• 

• Cropping：将要选择的图像的一部分应用于新图像。例如，使用 CenterCrop 来返回一个中心裁剪的图像。

•  transform = transforms.CenterCrop((640, 640))
  

• 

• RandomResizedCrop：这种方法同时结合了裁剪和调整大小。

• transform = transforms.RandomResizedCrop((640, 640))
  

• 

• Flipping：水平或垂直翻转图像

•  transform = transforms.RandomHorizontalFlip()
  

• 

• Padding：填充包括在图像的所有边缘上按指定的数量填充。

•  transform = transforms.Pad((50,50,50,50))
  

• 

• Rotation：对图像随机施加旋转角度。

• transform = transforms.RandomRotation(45)
  

• 

• Random Affine：对图像进行仿射变换，仿射变换是 2 维的线性变换，由 5 种基本操作组成，分别是旋转、平移、缩放、错切和翻转。RandomAffine — Torchvision main documentation (pytorch.org)

• transform = transforms.RandomAffine(1, translate=(0.5, 0.5), scale=(1, 1), shear=(1,1), fillcolor=(256,256,256)) 
  

• 

• Gaussian Blur：图像将使用高斯模糊进行模糊处理。

•  transform = transforms.GaussianBlur(7, 3)
  

• 

• Grayscale：将彩色图像转换为灰度。

• transform = transforms.Grayscale(num_output_channels=3)
  

• 

• Brightness:改变图像的亮度当与原始图像对比时，生成的图像变暗或变亮。

• transform = transforms.ColorJitter(brightness=2)
  

• 

• Contrast：图像最暗和最亮部分之间的区别程度被称为对比度。图像的对比度也可以作为增强进行调整。

• transform = transforms.ColorJitter(contrast=2)
  

• 

• Saturation:图片中颜色的分离被定义为饱和度。

• transform = transforms.ColorJitter(saturation=20)
  

• 

• Hue：色调被定义为图片中颜色的深浅。

• transform = transforms.ColorJitter(hue=0.4)  #hue:[-0.5,0.5]
  

• 

图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。以上整理的都是我们常见的数据增强技术，torchvision中还包含了很多方法，可以在他的文档中找到：https://pytorch.org/vision/stable/transforms.html

• tencorp：FiveCrop在图像的上下左右以及中心裁剪出尺寸为 size 的 5 张图片。Tencrop对这 5 张图片进行水平或者垂直镜像获得 10 张图片。

• def transform_invert(img_, transform_train):
      """
      将data 进行反transfrom操作
      :param img_: tensor
      :param transform_train: torchvision.transforms
      :return: PIL image
      """
      # 如果有标准化操作
      if 'Normalize' in str(transform_train):
          # 取出标准化的 transform
          norm_transform = list(filter(lambda x: isinstance(x, transforms.Normalize), transform_train.transforms))
          # 取出均值
          mean = torch.tensor(norm_transform[0].mean, dtype=img_.dtype, device=img_.device)
          # 取出标准差
          std = torch.tensor(norm_transform[0].std, dtype=img_.dtype, device=img_.device)
          # 乘以标准差，加上均值
          img_.mul_(std[:, None, None]).add_(mean[:, None, None])
      # 把 C*H*W 变为 H*W*C
      img_ = img_.transpose(0, 2).transpose(0, 1)  # C*H*W --> H*W*C
      # 把 0~1 的值变为 0~255
      img_ = np.array(img_) * 255
      # 如果是 RGB 图
      if img_.shape[2] == 3:
          img_ = Image.fromarray(img_.astype('uint8')).convert('RGB')
          # 如果是灰度图
      elif img_.shape[2] == 1:
          img_ = Image.fromarray(img_.astype('uint8').squeeze())
      else:
          raise Exception("Invalid img shape, expected 1 or 3 in axis 2, but got {}!".format(img_.shape[2]) )
      return img_
  img = Image.open(path)
  transform = Compose([
      TenCrop(224, vertical_flip=True), # this is a list of PIL Images
      Lambda(lambda crops: torch.stack([ToTensor()(crop) for crop in crops])) # returns a 4D tensor
  ])
  img_tensor = transform(img)
  b,c,h,w=img_tensor.shape
  plt.figure(figsize=(15,4))
  for i in range(b):
      img = transform_invert(img_tensor[i], transform)
      plt.subplot(2, 5, i+1)
      plt.imshow(img)
  plt.show()
  

• 

• RandomErasing：对图像进行随机遮挡。这个操作接收的输入是 tensor。

• transform = Compose([
      transforms.ToTensor(),
      transforms.RandomErasing(p=1, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=(100/255, 0, 0)),
  ])
  img_tensor = transform(img)
  convert_img=transform_invert(img_tensor, transform)
  plt.subplot(1, 2, 1)
  plt.imshow(img)
  plt.subplot(1, 2, 2)
  plt.imshow(convert_img)
  plt.show()
  

• 

transforms.RandomChoice:从一系列 transforms 方法中随机选择一个

• torchvision.transforms.RandomChoice([transforms1, transforms2, transforms3])
  

transforms.RandomApply:根据概率执行一组 transforms 操作，要么全部执行，要么全部不执行。

• torchvision.transforms.RandomApply([transforms1, transforms2, transforms3], p=0.5)
  

transforms.RandomOrder:对一组 transforms 操作打乱顺序

• transforms.RandomOrder([transforms1, transforms2, transforms3])