🚩 常见的专有名词笔记它来咯！ 正在完善每一项的内容ing…
🚩 版本号：V1.0

1. 学习范式类

1.1 监督学习（Supervised Learning）

• 定义：人工标注，训练数据包含明确的“输入-输出”标签（Label）
• 优点：目标明确、收敛稳定、效果通常最好（同分布+标注充分时）。
• 缺点：标注昂贵；对分布偏移敏感；标签噪声会显著影响上限。
• 典型场景：目标检测、语义分割、分类、关键点。

1.2 无监督学习（Unsupervised Learning）

• 定义：没有人工标签，目标是发现数据的结构/分布
• 优点：不需要标注，数据规模往往更大；可用于探索性分析。
• 缺点：目标通常不直接对应下游任务；评价指标不统一。
• 典型场景：聚类、降维、异常检测、学习数据分布。

1.3 自监督学习（Self-Supervised Learning, SSL）

• 定义：不依赖人工标签，但从数据自身构造监督信号（伪标签/预任务）来学习表征；形式上仍是“监督训练”。
• 优点：不需要标注，数据规模往往更大，利用海量无标注数据学习通用特征。
• 缺点：目标通常不直接对应下游任务；需大规模计算资源，伪标签可能含噪声。
• 典型场景：通用表征学习、多模态理解、对比学习、掩码建模。

1.4 半监督学习（Semi-Supervised Learning）

• 定义：同时使用少量人工标注数据和大量无标注数据进行训练。
• 优点：减少标注成本，借助无标注数据改善模型泛化。
• 缺点：对无标注数据质量敏感。
• 典型场景：标注成本高、数据量大的任务。

1.5 弱监督学习（Weakly Supervised Learning）

• 定义：使用不完整、不精确或不确切的人工标注信号，非全监督的精细标注，也非半监督学习采用的大量无标注数据。
• 优点：减少标注成本，借助无标注数据改善模型泛化。
• 缺点：监督信号存在歧义或噪声，性能通常低于全监督学习。
• 典型场景：标注成本高、数据量大的任务。

1.6 多实例学习（Multiple Instance Learning, MIL）

• 定义：标签作用于“包”（bag）而非单个实例，一个包由多个实例组成；bag 有标签，但 bag 内每个实例没有标签。
• 优点：显著降低标注成本；能从粗粒度标签中学习细粒度特征。
• 缺点：学习目标间接，实例与包的关系复杂，易出现歧义。
• 典型场景：适用于实例级标注困难但包级标注可行的场景。

1.7 元学习（Meta-Learning）

• “学会学习”，快速适应新任务。

1.8 联邦学习（Federated Learning）

• 多方协作训练模型但不共享原始数据。

2. 表征与预训练

2.1 表征学习（Representation Learning）

• 自动学习对下游任务有用的特征表示，而非人工设计特征。
• 不是直接做任务输出，而是学“中间表示”——embedding/feature
• 多采用自监督学习，少量采用可监督学习

2.2 特征学习（Feature Learning）

• 表征学习的早期说法，强调从数据中学习特征而不是手工提取。

2.3 预训练（Pretraining）

• 在大规模数据上先训练通用模型，再迁移到具体任务。
• 监督预训练：ImageNet 分类预训练
• 自监督预训练：SimCLR/MAE/CLIP 式预训练
• 多模态预训练：图文对齐、语音-文本等

2.4 微调（Fine-tuning）

• 在预训练模型基础上，用下游任务数据进一步训练模型参数。
• 全量微调：更新全部参数
• 冻结骨干：只训练 head 或部分层（省算力、避免过拟合）
• 参数高效微调（PEFT）：只训练少量新增参数（LoRA、Adapter，更多见于大模型）

3. 对比学习

3.1 对比学习（Contrastive Learning）

• 通过拉近正样本、拉远负样本来学习判别性表示。
• 常用损失：InfoNCE（基于 softmax 的对比损失）
• 关键要素：增强策略、负样本数量/质量、温度系数、投影头（projection head）
• 代表方法：SimCLR（大 batch）、MoCo（动量编码器+队列）、SupCon（有监督对比）

3.2 正样本 / 负样本（Positive / Negative Samples）

• 通过“相似性学习”让正样本更近、负样本更远。

• 假负样本（False Negative）：负样本其实语义相同，会误导训练。

• 难负样本（Hard Negative）：相似但不同，能提高判别性但也更不稳定。

3.3 数据增强（Data Augmentation）

• 对输入施加可控变换，生成不同视图，提高鲁棒性或构造自监督信号。
• 常见增强（CV）：随机裁剪、翻转、颜色抖动、模糊、灰度化、Cutout/Mixup/CutMix。

3.4 表征坍塌（Representation Collapse）

• 模型输出退化为常数向量，失去区分能力，是自监督训练的重要风险。

避免思路：

• 显式负样本（对比学习）

• 结构非对称（predictor、stop-gradient）

• 方差/协方差正则（VICReg、Barlow Twins）

• 合理的归一化与 batch 设置

4. 生成式

4.1 掩码（Mask）

• 随机遮挡部分输入，让模型预测被遮挡内容，如 BERT、MAE。

4.2 自动编码器（Autoencoder）

• 通过编码–解码重建输入数据来学习低维表示。

4.3 变分自动编码器（Variational Autoencoder, VAE）

• 在概率空间中学习数据分布的生成模型，具有连续潜空间。

4.4 自回归（Autoregressive）

• 基于历史信息逐步预测未来内容，如语言模型、时间序列建模。

5. 迁移与泛化

5.1 迁移学习（Transfer Learning）

• 将一个任务中学到的知识迁移到另一个相关任务。

5.2 域泛化（Domain Generalization）

• 在未见过的新数据分布上仍能保持性能。

5.3 域自适应（Domain Adaptation）

• 在源域有标签、目标域无或少标签的情况下适配模型。

5.4 过拟合（Overfitting）

• 模型在训练集表现很好但在测试集表现差。

5.5 欠拟合（Underfitting）

• ​模型在训练集和测试集均表现不佳，未能捕捉数据规律。

6. 多模态

6.1 多模态学习（Multimodal Learning）

• 联合建模图像、文本、语音等多种模态信息。

6.2 跨模态对齐（Cross-modal Alignment）

• 将不同模态映射到同一语义空间，实现语义一致性。

6.3 表征解耦（Representation Disentanglement）

• 将不同因素（外观、运动、语义）分离建模，提升可解释性和鲁棒性。

7. 深度学习组件

7.1 卷积神经网络（CNN）

• 擅长处理图像的网络结构。

7.2 循环神经网络（RNN）

• 处理序列数据的网络结构。

7.3 长短期记忆网络（Long Short-Term Memory, LSTM）

• 改进型 RNN，解决长程依赖问题。

7.4 门控循环单元（GRU）

• 简化的 LSTM，计算效率更高。

7.5 Transformer

• 基于自注意力机制的序列/多模态模型架构。

7.6 注意力机制（Attention Mechanism）

• 动态加权关注输入的不同部分。

7.7 自注意力（Self-Attention）

• 输入内部各位置相互计算相关性。

7.8 多头注意力（Multi-Head Attention）

• 并行多个注意力头捕获不同特征子空间。

7.9 生成对抗网络（Generative Adversarial Network, GAN）

• 生成器与判别器对抗训练的模型。

7.10 扩散模型（Diffusion）

• 通过逐步去噪生成数据的模型。

8. 自然语言处理（NLP）

8.1 词嵌入（Word Embedding）

• 将词语映射为低维向量（如 Word2Vec）。

8.2 词袋模型（Bag-of-Words, BoW）

• 忽略词序的文本表示方法。

8.3 语言模型（Language Model, LM）

• 预测词序列概率分布的模型。

8.4 掩码语言模型（Masked Language Model, MLM）

• 随机遮盖词并预测（如 BERT）。

8.5 因果语言模型（Causal Language Model, CLM）

• 从左到右预测下一个词（如 GPT）。

8.6 零样本学习（Zero-Shot Learning）

• 模型在未见过的类别上直接推理。

8.7 少样本学习（Few-Shot Learning）

• 用极少标注样本适应新任务。

9. 计算机视觉（CV）

9.1 卷积（Convolution）

• 提取局部特征的运算。

9.2 池化（Pooling）

• 降采样减少参数量（如 Max Pooling）。

9.3 特征图（Feature Map）

• 卷积层输出的二维激活图。

9.4 目标检测（Object Detection）

• 定位并分类图像中的物体。

9.5 图像分割（Image Segmentation）

• 像素级别的分类（语义/实例分割）。

9.6 图像生成（Image Generation）

• 生成逼真图像（GAN/扩散模型）。

9.7 迁移表征（Transferred Representation）

• 从预训练模型中提取的通用视觉特征。

9.8 数据增强（Data Augmentation）

• 通过旋转、裁剪等方式扩充训练数据。

10. 模型训练与优化

10.1 损失函数（Loss Function）

• 衡量预测与真实值差距的函数。

10.2 优化器（Optimizer）

• 更新模型参数的算法（如 SGD、Adam）。

10.3 反向传播（Backpropagation）

• 计算梯度的链式法则算法。

10.4 梯度下降（Gradient Descent）

• 沿梯度反方向更新参数以最小化损失。

10.5 学习率（Learning Rate）

• 参数更新步长的系数。

10.6 批大小（Batch Size）

• 一次参数更新使用的样本数量。

10.7 正则化（Regularization）

• 防止过拟合（如 L1/L2、Dropout）。

10.8 归一化（Normalization）

• 调整数据/特征分布（如 BatchNorm、LayerNorm）。

10.9 早停（Early Stopping）

• 验证集性能不再提升时提前终止训练。