Hessian矩阵逆矩阵的近似

一、拟牛顿法的基本思路

    令$\boldsymbol{H_0,H_1, H_2}, \dots$表示Hessian矩阵逆矩阵$\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}$的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件，这是拟牛顿法的基础。首先，假定目标函数$f$的Hessian矩阵$\boldsymbol{F(x)}$是常数矩阵，与$\boldsymbol{x}$无关，即目标函数是二次型函数，$\boldsymbol{F(x) = Q， Q=Q}^T$则：

$$\boldsymbol{g}^{(k+1)} - \boldsymbol{g}^{(k)} = \boldsymbol{Q}(\boldsymbol{x}^{(k+1)}- \boldsymbol{x}^{(k)})$$
令
$$\Delta\boldsymbol{g}^{(k)} = \boldsymbol{g}^{(k+1)} - \boldsymbol{g}^{(k)} \\ \Delta\boldsymbol{x}^{(k)} = \boldsymbol{x}^{(k+1)}- \boldsymbol{x}^{(k)}$$
可得
$$\Delta\boldsymbol{g}^{(k)} = \boldsymbol{Q}\Delta\boldsymbol{x}^{(k)}$$
记对称正定实矩阵 $\boldsymbol{H_0}$作为近似矩阵的初始矩阵，在给定的 $k$下，矩阵$\boldsymbol{Q}^{-1}$应该满足：
$$\boldsymbol{Q}^{-1}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le k$$
因此，近似矩阵 $\boldsymbol{H_{k+1}}$应该满足
$$\boldsymbol{H}_{k+1}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le k$$
如果共展开 $n$次迭代，则共产生$n$个迭代方向 $\Delta\boldsymbol{x}^{(0)}, \Delta\boldsymbol{x}^{(1)}, \dots, \Delta\boldsymbol{x}^{(n-1)}$。由此可得 $\boldsymbol{H}_{n}$应该满足条件：
$$\boldsymbol{H}_{n} \Delta\boldsymbol{g}^{(0)} = \Delta\boldsymbol{x}^{(0)} \\ \boldsymbol{H}_{n} \Delta\boldsymbol{g}^{(1)} = \Delta\boldsymbol{x}^{(1)} \\ \vdots \\ \boldsymbol{H}_{n} \Delta\boldsymbol{g}^{(n-1)} = \Delta\boldsymbol{x}^{(n-1)} \\ $$
将其改写为
$$\boldsymbol{H}_{n} [\Delta\boldsymbol{g}^{(0)}, \Delta\boldsymbol{g}^{(1)}, \dots, \Delta\boldsymbol{g}^{(n-1)}]= [\Delta\boldsymbol{x}^{(0)}, \Delta\boldsymbol{x}^{(1)}, \dots, \Delta\boldsymbol{x}^{(n-1)}]$$
矩阵 $\boldsymbol{Q}$能够满足：
$$\boldsymbol{Q} [\Delta\boldsymbol{x}^{(0)}, \Delta\boldsymbol{x}^{(1)}, \dots, \Delta\boldsymbol{x}^{(n-1)}]= [\Delta\boldsymbol{g}^{(0)}, \Delta\boldsymbol{g}^{(1)}, \dots, \Delta\boldsymbol{g}^{(n-1)}]$$
和
$$\boldsymbol{Q}^{-1} [\Delta\boldsymbol{g}^{(0)}, \Delta\boldsymbol{g}^{(1)}, \dots, \Delta\boldsymbol{g}^{(n-1)}]= [\Delta\boldsymbol{x}^{(0)}, \Delta\boldsymbol{x}^{(1)}, \dots, \Delta\boldsymbol{x}^{(n-1)}]$$
这说明， 如果 $[\Delta\boldsymbol{g}^{(0)}, \Delta\boldsymbol{g}^{(1)}, \dots, \Delta\boldsymbol{g}^{(n-1)}]$非奇异，那么矩阵 $\boldsymbol{Q}^{-1}$能够在 $n$次迭代之后唯一确定， 即
$$\boldsymbol{Q}^{-1} = \boldsymbol{H}_{n} = [\Delta\boldsymbol{x}^{(0)}, \Delta\boldsymbol{x}^{(1)}, \dots, \Delta\boldsymbol{x}^{(n-1)}][\Delta\boldsymbol{g}^{(0)}, \Delta\boldsymbol{g}^{(1)}, \dots, \Delta\boldsymbol{g}^{(n-1)}]^{-1}$$
由此，可得如果 $\boldsymbol{H}_{n}$能够使得方程 $\boldsymbol{H}_{n}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le n-1$成立， 那么利用迭代公式 $\boldsymbol{x}^{(k+1)}=\boldsymbol{x}^{(k)} - \alpha_k \boldsymbol{H}_{k} \boldsymbol{g}_{k}, \alpha_k = \arg \min_{a \ge 0}f(\boldsymbol{x}^{(k)} - \alpha \boldsymbol{H}_{k} \boldsymbol{g}_{k})$求解 $n$维二次优化问题，可得$\boldsymbol{x}^{(n+1)}=\boldsymbol{x}^{(n)} - \alpha_n \boldsymbol{H}_{n} \boldsymbol{g}_{n}$,这与牛顿法的迭代公式是一致的， 说明能够在 $n+1$次迭代内完成求解。

二、 拟牛顿法的的迭代公式

    拟牛顿法的的迭代公式为：

$$\boldsymbol{d}^{(k)} = - \boldsymbol{H}_{k}\boldsymbol{g}^{(k)} \\ \alpha_k = \arg \min_{a \ge 0}f(\boldsymbol{x}^{(k)} + \alpha \boldsymbol{d}^{(k)}) \\ \boldsymbol{x}^{(k+1)}=\boldsymbol{x}^{(k)} + \alpha_k\boldsymbol{d}^{(k)}$$
其中， $\boldsymbol{H_0,H_1, H_2}, \dots$是对称矩阵。
    目标函数为二次型函数时，它们必须满足
$$\boldsymbol{H}_{k+1}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le k$$
其中， $\Delta\boldsymbol{x}^{(i)} = \boldsymbol{x}^{(i+1)}- \boldsymbol{x}^{(i)} = \alpha_i \boldsymbol{d}^{(k)}, \Delta\boldsymbol{g}^{(i)} = \boldsymbol{g}^{(i+1)}- \boldsymbol{g}^{(i)} =\boldsymbol{Q}\Delta\boldsymbol{x}^{(i)}$
实际上，拟牛顿法也是一种共轭方法。

三、定理

    将拟牛顿法应用到二次型问题中， Hessian矩阵为$\boldsymbol{Q} = \boldsymbol{Q}^T$， 对于$0 \le k \le n-1$, 有：

$$\boldsymbol{H}_{k+1}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le k$$ 其中$\boldsymbol{H}_{k+1} = \boldsymbol{H}_{k+1}^T$。如果$\alpha_i \ne 0, 0 \le i \le k$, 那么$\boldsymbol{d}^{(0)}，\boldsymbol{d}^{(1)}，\dots，\boldsymbol{d}^{(k+1)}$是$\boldsymbol{Q}$共轭的。

    由以上定理可知，对于$n$维二次型问题，拟牛顿法最多经过$n$部迭代即可求出最优解。注意，矩阵$\boldsymbol{H}_{k}$并不能唯一确定，这就给计算矩阵$\boldsymbol{H}_{k}$的自由发挥空间。