• 主成分分析（Principal Component Analysis，PCA）是一种常用的无监督学习方法
• 利用正交变换把由线性相关变量表示的观测数据 转换为 少数几个由线性无关变量表示的数据，线性无关的变量 称为 主成分
• 主成分的个数通常小于原始变量的个数，所以PCA属于降维方法
• 主要用于发现数据中的基本结构，即数据中变量之间的关系，是数据分析的有力工具，也用于其他机器学习方法的前处理
• PCA属于多元统计分析的经典方法

1. 总体主成分分析

第一轴选取方差最大的轴 y1

主成分分析 的主要目的是降维，所以一般选择 k（ $k\ll m$）个主成分（线性无关变量）来代替m个原有变量（线性相关变量），使问题得以简化，并能保留原有变量的大部分信息（原有变量的方差）。

在实际问题中，不同变量可能有不同的量纲，直接求主成分有时会产生不合理的结果。
为了消除这个影响，常常对各个随机变量实施规范化，使其均值为0，方差为1。

主成分分析的结果可以用于其他机器学习方法的输入。

• 将样本点投影到以主成分为坐标轴的空间中，然后应用聚类算法，就可以对样本点进行聚类

---

定义：

假设 $x\text{x}x$ 为 $m$ 维随机变量，均值为 $\mu$，协方差矩阵为 $\Sigma$
随机变量 $x\text{x}x$ 到 $m$ 维随机变量 $y\text{y}y$ 的线性变换
$$y_i={\alpha }_i^{T}x\text{x}x=\sum _{k=1}^m{\alpha }_{ki}{x}_k,i=1,2,...,m$$
其中 ${\alpha }_i^T=({\alpha }_{1i},{\alpha }_{2i},...,{\alpha }_{mi})$
如果该线性变换满足以下条件，称之为总体主成分：

• ${\alpha }_i^T{\alpha }_i=1,i=1,2,...,m$
• $cov(y_i,y_j)=0(i\ne j)$
• $y_1$ 是 $x\text{x}x$ 的所有线性变换中方差最大的，$y_2$ 是与 $y_1$ 不相关的 $x\text{x}x$ 的所有线性变换中方差最大的，以此类推，$y_1,y_2,...,y_m$ 称为第一主成分…第 $m$ 主成分

---

假设 $x\text{x}x$ 是 $m$ 维随机变量，其协方差矩阵 $\Sigma$ 的特征值分别是 ${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m\ge 0$，特征值对应的单位特征向量分别是 ${\alpha }_1,{\alpha }_2,...,{\alpha }_m$，则 $x\text{x}x$ 的第 $i$ 主成分可写作：
$$y_i={\alpha }_i^{T}x\text{x}x=\sum _{k=1}^m{\alpha }_{ki}{x}_k,i=1,2,...,m$$
并且，$x\text{x}x$ 的第 $i$ 主成分的方差是协方差矩阵 $\Sigma$ 的第 $i$ 个特征值，即：
$$var(y_i)={\alpha }_i^T\Sigma {\alpha }_i={\lambda }_i$$

---

主成分性质：

• 主成分 $y\text{y}y$ 的协方差矩阵是对角矩阵 $cov(y\text{y}y)=\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_m)$

• 主成分 $y\text{y}y$ 的方差之和等于随机变量 $x\text{x}x$ 的方差之和
  $$\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{\sigma }_{ii}$$
  其中 ${\sigma }_{ii}$ 是 $x_i$ 的方差，即协方差矩阵 $\Sigma$ 的对角线元素

• 主成分 $y_k$ 与变量 $x_i$ 的 相关系数 $\rho (y_k,x_i)$ 称为因子负荷量（factor loading），它表示第 $k$ 个主成分 $y_k$ 与变量 $x_i$ 的相关关系，即 $y_k$ 对 $x_i$ 的贡献程度
  $$\rho (y_k,x_i)=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}},k,i=1,2,...,m$$

---

2. 样本主成分分析

是基于样本协方差矩阵的主成分分析
给定样本矩阵 $X$

$X$ 的样本协方差矩阵
$$\begin{gathered} S=[s_{ij}{]}_{m\times n},s_{ij}=\frac{1}{n-1}\sum _{k=1}^m(x_{ik}-{\bar{x}}_i)(x_{jk}-{\bar{x}}_j) \\ i=1,2,...,m,j=1,2,...,m,其中{\bar{x}}_i=\frac{1}{n}\sum _{k=1}^n{x}_{ik} \end{gathered}$$

给定样本 $X$，考虑 $x\text{x}x$ 到 $y\text{y}y$ 的线性变换 $y\text{y}y=A^{T}x\text{x}x$

如果满足以下条件，称之为样本主成分：

• 样本第一主成分 $y_1={\alpha }_1^{T}x\text{x}x$ 是在 ${\alpha }_1^T{\alpha }_1=1$ 条件下，使得 ${\alpha }_1^T{x\text{x}x}_j(j=1,2,...,n)$ 的样本方差 ${\alpha }_1^{T}S{\alpha }_1$ 最大的 $x\text{x}x$ 的线性变换，以此类推。
• 样本第 $i$ 主成分 $y_i={\alpha }_i^{T}x\text{x}x$ 是在 ${\alpha }_i^T{\alpha }_i=1$ 和 ${\alpha }_i^T{x\text{x}x}_j$ 与 ${\alpha }_k^T{x\text{x}x}_j(k<i,j=1,2,...,n)$的样本协方差 ${\alpha }_k^{T}S{\alpha }_i=0$ 条件下，使得 ${\alpha }_i^T{x\text{x}x}_j(j=1,2,...,n)$ 的样本方差 ${\alpha }_i^{T}S{\alpha }_i$ 最大的 $x\text{x}x$ 的线性变换

---

3. 主成分分析方法

3.1 相关矩阵的特征值分解算法

• 针对 $m\times n$ 样本矩阵 $X$ ，求样本相关矩阵 $R=\frac{1}{n-1}X{X}^T$
• 再求样本相关矩阵的 $k$ 个特征值和对应单位特征向量，构造正交矩阵
  $$V=(v_1,v_2,...,v_k)$$
• $V$ 的每一列对应一个主成分，得到 $k\times n$ 样本主成分矩阵 $Y=V^{T}X$

3.2 矩阵奇异值分解算法

• 针对 $m\times n$ 样本矩阵 $X$ ，$X^{\prime }=\frac{1}{\sqrt{n-1}}{X}^T$
• 对矩阵 $X$ 进行截断奇异值分解，保留 $k$ 个奇异值、奇异向量
  得到 $X^{\prime }=US{V}^T$
• $V$ 的每一列对应一个主成分，得到 $k\times n$ 样本主成分矩阵 $Y=V^{T}X$

4. sklearn.decomposition.PCA

sklearn.decomposition.PCA 官网介绍

class sklearn.decomposition.PCA(n_components=None, copy=True,
whiten=False, svd_solver='auto', tol=0.0, 
iterated_power='auto', random_state=None)

参数：
n_components：保留主成分个数，没有赋值，特征个数不变

属性：
components_：主成分
explained_variance_：各特征方差
explained_variance_ratio_：各特征方差百分比
singular_values_：主成分的奇异值
n_components_：保留特征个数

方法：

import numpy as np
from sklearn.decomposition import PCA
import matplotlib.pyplot as pltX = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
plt.scatter(X[:, 0], X[:, 1])
plt.show()
for n in range(1, 3):print("PCA n_components = {}".format(n))pca = PCA(n_components=n)pca.fit(X)print("特征方差")print(pca.explained_variance_)print("特征方差占比")print(pca.explained_variance_ratio_)print("主成分奇异值")print(pca.singular_values_)print("主成分")print(pca.components_)print("主成分个数")print(pca.n_components_)

PCA n_components = 1
特征方差
[7.93954312]
特征方差占比
[0.99244289]
主成分奇异值
[6.30061232]
主成分
[[-0.83849224 -0.54491354]]
主成分个数
1
PCA n_components = 2
特征方差
[7.93954312 0.06045688]
特征方差占比
[0.99244289 0.00755711]
主成分奇异值
[6.30061232 0.54980396]
主成分
[[-0.83849224 -0.54491354][ 0.54491354 -0.83849224]]
主成分个数
2