机器学习的一百个概念（5）数据增强

前言

本文隶属于专栏《机器学习的一百个概念》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见[《机器学习的一百个概念》

ima 知识库

知识库广场搜索：

知识库	创建人
机器学习	@Shockang
机器学习数学基础	@Shockang
深度学习	@Shockang

正文

在这里插入图片描述

1. 引言 📝

在机器学习尤其是深度学习领域,数据就是"燃料"。然而,获取大量高质量的标注数据往往成本高昂。数据增强技术作为一种低成本提升模型性能的方法,近年来受到越来越多的关注。本文将全面深入地探讨数据增强技术的方方面面。

1.1 数据增强的发展历程

在这里插入图片描述

2. 数据增强的本质与意义 🎯

2.1 核心定义

数据增强是一种通过对现有数据集进行变换从而人为扩充训练样本的技术方法。它的本质是在保持数据标签语义不变的前提下,通过引入可控的变化来模拟数据的多样性。

2.2 基本原理

在这里插入图片描述

2.3 重要意义

解决数据稀缺 📊
- 降低数据收集成本
- 平衡类别分布
- 扩充少数类样本
提升模型性能 💪
- 增强特征学习能力
- 提高模型泛化性
- 降低过拟合风险
增强模型鲁棒性 🛡️
- 提高环境适应能力
- 增强抗干扰能力
- 提升域泛化性能

3. 主流数据增强方法详解 🔧

3.1 基础图像增强方法

3.1.1 几何变换

平移变换
- 水平平移
- 垂直平移
- 随机平移
旋转变换
- 固定角度旋转
- 随机角度旋转
- 仿射变换
翻转变换
- 水平翻转
- 垂直翻转
缩放变换
- 等比例缩放
- 非等比例缩放
- 随机裁剪

3.1.2 像素级变换

颜色空间变换
- 亮度调整
- 对比度调整
- 饱和度调整
- 色相调整
噪声添加
- 高斯噪声
- 椒盐噪声
- 泊松噪声
滤波处理
- 高斯模糊
- 锐化
- 均值滤波

3.2 高级增强方法

3.2.1 混合增强

Mixup
- 线性插值
- 标签软化
CutMix
- 区域裁剪
- 区域混合
MosaicAugment
- 多图拼接
- 标签合并

3.2.2 生成式增强

基于GAN的增强
- StyleGAN
- CycleGAN
- DCGAN
基于Diffusion的增强
- Stable Diffusion
- ControlNet
- Custom Diffusion

4. 实现工具与框架 🛠️

4.1 主流框架支持

4.1.1 TensorFlow/Keras实现

from tensorflow.keras.preprocessing.image import ImageDataGenerator# 创建数据增强器
datagen = ImageDataGenerator(rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,fill_mode='nearest'
)# 应用数据增强
train_generator = datagen.flow(x_train, y_train,batch_size=32
)# 模型训练
model.fit(train_generator,steps_per_epoch=len(x_train) // 32,epochs=50
)

4.1.2 PyTorch实现

from torchvision import transforms# 定义转换流水线
transform = transforms.Compose([transforms.RandomHorizontalFlip(),transforms.RandomRotation(10),transforms.RandomAffine(0, shear=10, scale=(0.8,1.2)),transforms.ColorJitter(brightness=0.2, contrast=0.2),transforms.ToTensor(),
])# 创建数据集
train_dataset = torchvision.datasets.ImageFolder(root='./data/train',transform=transform
)

4.2 专业增强库

4.2.1 Albumentations

import albumentations as Atransform = A.Compose([A.RandomRotate90(),A.Flip(),A.Transpose(),A.OneOf([A.IAAAdditiveGaussianNoise(),A.GaussNoise(),], p=0.2),A.OneOf([A.MotionBlur(p=.2),A.MedianBlur(blur_limit=3, p=.1),A.Blur(blur_limit=3, p=.1),], p=0.2),
])

4.2.2 imgaug

import imgaug.augmenters as iaaseq = iaa.Sequential([iaa.Fliplr(0.5),iaa.Crop(percent=(0, 0.1)),iaa.Sometimes(0.5,iaa.GaussianBlur(sigma=(0, 0.5))),iaa.LinearContrast((0.75, 1.5)),iaa.AdditiveGaussianNoise(loc=0, scale=(0.0, 0.05*255), per_channel=0.5),iaa.Multiply((0.8, 1.2), per_channel=0.2),
])