从数学概念到图像识别，再到 CNN 的联系

在矩阵论和信号处理中，奇异值分解（Singular Value Decomposition, SVD） 是一个极其重要的工具。它不仅是一个数学分解公式，更是连接数据压缩、特征提取和深度学习优化的桥梁 。

矩阵与奇异值的定义

• 对任意矩阵 \(A \in \mathbb{R}^{m \times n}\)，其奇异值分解为：
  \[A = U\,\Sigma\,V^{\mathsf T} \]

• 其中：
  • \(U \in \mathbb{R}^{m \times m}\)：左奇异向量矩阵（正交基，描述输出方向）；
  • \(\Sigma \in \mathbb{R}^{m \times n}\)：奇异值对角矩阵（非负实数，按大小排序）；
  • \(V \in \mathbb{R}^{n \times n}\)：右奇异向量矩阵（正交基，描述输入方向）。

奇异值的物理/几何意义

• 几何解释：矩阵 \(A\) 作用在单位圆（球）上，会把它拉伸成椭圆（椭球）。椭圆的长短轴长度就是奇异值 \(\sigma_1,\sigma_2,\dots\)，轴的方向由 \(U, V\) 决定。
• 能量解释：奇异值的平方 \(\sigma_i^2\) 表示对应模态（方向）的能量贡献。
• 工程意义：奇异值按从大到小排序，体现矩阵的重要模式——大的对应主体结构，小的多为细节或噪声。

低秩近似（Eckart–Young 定理）

• 用前 \(k\) 个奇异值的最优近似：
  \[A_k = U_{:,1\!:\!k}\;\Sigma_{1\!:\!k,\,1\!:\!k}\;V_{:,1\!:\!k}^{\mathsf T} \]
  这是在任意一致范数下（如 Frobenius 范数）对 \(A\) 的最佳秩-\(k\) 近似。