机器学习的一百个概念（4）下采样

前言

本文隶属于专栏《机器学习的一百个概念》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见[《机器学习的一百个概念》

ima 知识库

知识库广场搜索：

知识库	创建人
机器学习	@Shockang
机器学习数学基础	@Shockang
深度学习	@Shockang

正文

在这里插入图片描述

基础概念与原理 🔍

1.1 下采样的定义

下采样（Downsampling）是机器学习中一个多义性概念，根据应用场景可分为两大类：

数据层面的下采样：在类别不平衡问题中，通过减少多数类样本数量来平衡数据分布的技术
特征层面的下采样：在深度学习中，特别是卷积神经网络（CNN）中用于降低数据维度或分辨率的操作

1.2 下采样的工作流程

在这里插入图片描述

1.3 理论基础

下采样的理论基础主要涉及以下几个方面：

统计学基础：
- 样本代表性
- 随机性与均匀性
- 概率分布保持
信息论基础：
- 信息熵
- 数据压缩
- 信息损失评估
采样理论：
- Nyquist采样定理
- 香农采样定理
- 混叠效应

应用场景与实现方法 💡

2.1 类别不平衡问题中的下采样

2.1.1 基本方法

在这里插入图片描述

随机下采样
- 优点：实现简单，计算效率高
- 缺点：可能丢失重要信息
- 适用场景：数据量大，多数类样本具有较高冗余度
启发式下采样
- NearMiss算法
- Tomek Links
- 编辑最近邻（ENN）
- One-Sided Selection（OSS）
集成下采样
- EasyEnsemble
- BalanceCascade
- UnderBagging

2.2 深度学习中的下采样

2.2.1 池化操作

最大池化（Max Pooling）

import torch.nn as nn# 定义2x2的最大池化层
max_pool = nn.MaxPool2d(kernel_size=2, stride=2)

平均池化（Average Pooling）

# 定义2x2的平均池化层
avg_pool = nn.AvgPool2d(kernel_size=2, stride=2)

步幅卷积（Strided Convolution）

# 使用步幅为2的卷积进行下采样
conv_downsample = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=2, padding=1)

2.3 下采样的数学表达

对于图像处理中的下采样，其数学表达式为：

$Y [n] = X [M n]$

其中：

$X [n]$ 是输入信号
$M$ 是下采样因子
$Y [n]$ 是下采样后的信号

高级技巧与最佳实践 🚀

3.1 自适应下采样策略

在这里插入图片描述

3.2 高级采样技术

基于密度的下采样

from sklearn.neighbors import KernelDensitydef density_based_undersampling(X, y, threshold):kde = KernelDensity(bandwidth=0.5)kde.fit(X[y==1])  # 针对多数类densities = kde.score_samples(X[y==1])return X[densities > threshold]

基于聚类的下采样

from sklearn.cluster import KMeansdef cluster_based_undersampling(X, y, n_clusters):majority_class = X[y==1]kmeans = KMeans(n_clusters=n_clusters)clusters = kmeans.fit_predict(majority_class)return majority_class[::len(majority_class)//n_clusters]

常见陷阱与解决方案 ⚠️

4.1 信息丢失问题

问题描述
- 随机下采样可能丢失关键样本
- 特征空间覆盖不完整
- 决策边界变形
解决方案
- 使用启发式采样方法
- 实施分层采样
- 采用集成学习策略

4.2 采样偏差

现象
- 样本分布失真
- 模型性能不稳定
- 过拟合风险增加
缓解措施
- 交叉验证
- 多重采样
- 数据增强

实战案例分析 💻

5.1 信用卡欺诈检测

import pandas as pd
from sklearn.utils import resample
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report# 加载数据
df = pd.read_csv('credit_card_fraud.csv')
majority = df[df.Class==0]
minority = df[df.Class==1]# 下采样多数类
majority_downsampled = resample(majority, replace=False,n_samples=len(minority),random_state=42)# 合并数据
balanced_df = pd.concat([majority_downsampled, minority])# 训练模型
X = balanced_df.drop('Class', axis=1)
y = balanced_df['Class']
clf = RandomForestClassifier(random_state=42)
clf.fit(X, y)

5.2 图像分类中的下采样

import torch.nn as nnclass ConvNet(nn.Module):def __init__(self):super(ConvNet, self).__init__()self.conv1 = nn.Conv2d(3, 16, 3, padding=1)self.pool = nn.MaxPool2d(2, 2)self.conv2 = nn.Conv2d(16, 32, 3, padding=1)self.fc = nn.Linear(32 * 8 * 8, 10)def forward(self, x):x = self.pool(F.relu(self.conv1(x)))  # 下采样x = self.pool(F.relu(self.conv2(x)))  # 下采样x = x.view(-1, 32 * 8 * 8)x = self.fc(x)return x