切比雪夫多项式与数值最优化算法收敛率的关系

news/2025/12/10 21:13:53/文章来源:https://www.cnblogs.com/Tri-StateTraveler/p/19333215

考虑典型的二次极小化问题

\[\begin{equation}\tag{1} \min_{\mathbf{x}\in\mathbb{R}^{n}} f(\mathbf{x})=\frac{1}{2}\mathbf{x}^{\top}A\mathbf{x}-\mathbf{b}^{\top}\mathbf{x}, \end{equation} \]

其中 $A\in\mathbb{R}^{n\times n}$ 是对称正定的，其特征值满足 $0<\lambda_{min}=\lambda_{1}\le\lambda_{2}\le\ldots\le\lambda_{n}=\lambda_{max}$，$\mathbf{b}\in\mathbb{R}^{n}$。问题 $(1)$ 等价于求解下面的线性方程组

\[\begin{equation}\tag{2} A\mathbf{x}=\mathbf{b}. \end{equation} \]

设 $\mathbf{x}^{*}$ 为问题 $(1)$ 的最优解，则

\[\begin{equation}\tag{3} \mathbf{x}^{*}=A^{-1}\mathbf{b}. \end{equation} \]

通常计算 $A^{-1}$ 是一件困难的事情，尤其当维数很高，或者其条件数较大时。因此，最常用的方法是迭代求解方法，其中具有代表性的方法是一阶梯度类下降方法，而估计这些下降方法的收敛率是一件重要的事情。本篇详细介绍如何让采用切比雪夫多项式的一些性质来证明一阶迭代算法的最优收敛率。我们知道，切比雪夫多项式是函数逼近论中非常重要的一类正交多项式，尤其把它的零点集作为插值节点可以降低龙格现象。似乎切比雪夫多项式与梯度类下降方法似乎没有显然的关系，但是实质上这两者有着深刻的联系。下面我们就开始探索这两者的关系。

最速下降法

其迭代格式如下所示

\[\begin{equation*}\tag{4} \mathbf{x}_{k+1}=\mathbf{x}_{k}-\alpha_{k}\mathbf{g}_{k}, \end{equation*} \]

其中 $\mathbf{x}_{k}$ 表示 $\mathbf{x}^{*}$ 的第 $k$ 次逼近，$\mathbf{g}_{k}:=A\mathbf{x}_{k}-\mathbf{b}$ 是目标函数 $f(x_{k})$ 的梯度，

\[\begin{equation}\tag{*} \alpha_{k}=\frac{\mathbf{g}_{k}^{\top}\mathbf{g}_{k}}{\mathbf{g}_{k}^{\top}A\mathbf{g}_{k}} \end{equation} \]

是步长。定义残差

\[\begin{equation}\tag{5} \mathbf{e}_{k}=\mathbf{x}_{k}-\mathbf{x}^{*}. \end{equation} \]

由 $(3)(4)(5)$ 可得

\[\begin{equation}\tag{6} \mathbf{g}_{k}=A\mathbf{e}_{k} \end{equation} \]

且

\[\begin{equation}\tag{7} \mathbf{e}_{k+1}=(I-\alpha_{k}A)\mathbf{e}_{k}. \end{equation} \]

因此，步长又可写为

\[\begin{equation}\tag{8} \alpha_{k}=\frac{\|A\mathbf{e}_{k}\|_{2}^{2}}{\mathbf{e}_{k}^{\top}A^3\mathbf{e}_{k}}. \end{equation} \]

根据 $(7)$ 可知

\[\begin{equation}\tag{9} \|\mathbf{e}_{k+1}\|_{A}^{2} =\|\mathbf{e}_{k}\|_{A}^{2}-2\alpha_{k}\|A\mathbf{e}_{k}\|_{2}^{2}+\alpha_{k}^{2}\mathbf{e}_{k}^{\top}A^3\mathbf{e}_{k}. \end{equation} \]

将 $(8)$ 式代入 $(9)$ 可得，

\[\begin{align}\tag{10} \|\mathbf{e}_{k+1}\|_{A}^{2}=\|\mathbf{e}_{k}\|_{A}^{2}\big[1-\frac{\|A\mathbf{e}_{k}\|_{2}^{4}}{\mathbf{e}_{k}^{\top}A^3\mathbf{e}_{k}\mathbf{e}_{k}^{\top}A\mathbf{e}_{k}}\big]. \end{align} \]

设 $\mathbf{y}=\sqrt{A}\mathbf{e}_{k}$。根据 $(10)$ 式可得

\[\begin{equation*} \frac{\|\mathbf{e}_{k+1}\|_{A}^{2}}{\|\mathbf{e}_{k}\|_{A}^{2}}=1-\frac{(\mathbf{y}^{\top}A\mathbf{y})^2}{(\mathbf{y}^{\top}\mathbf{y})(\mathbf{y}^{\top}A^2\mathbf{y})}. \end{equation*} \]

由 Kantorovich 不等式可得

\[\begin{equation*} \frac{(\mathbf{y}^{\top}A\mathbf{y})^2}{(\mathbf{y}^{\top}\mathbf{y})(\mathbf{y}^{\top}A^2\mathbf{y})}\ge\frac{4\lambda_{min}\lambda_{max}}{(\lambda_{min}+\lambda_{max})^2}. \end{equation*} \]

因此，

\[\begin{equation*} \frac{\|\mathbf{e}_{k+1}\|_{A}^{2}}{\|\mathbf{e}_{k}\|_{A}^{2}}\le 1-\frac{4\lambda_{min}\lambda_{max}}{(\lambda_{min}+\lambda_{max})^2}=\Big(\frac{\kappa-1}{\kappa+1}\Big)^2, \end{equation*}\]

其中 $\kappa=\frac{\lambda_{max}}{\lambda_{min}}$ 为矩阵 $A$ 的条件数。
从而有

\[\begin{equation}\tag{11} \|\mathbf{e}_{k+1}\|_{A}\le\Big(\frac{\kappa-1}{\kappa+1}\Big)^{k}\|\mathbf{e}_{0}\|_{A}. \end{equation} \]

式子 $(11)$ 即表达了最速下降法在最坏情况下的收敛率上界。由此可知，该方法的收敛性能严格地被问题的条件数所支配。

即在梯度下降法中，其残差的迭代格式为 $(7)$，并且步长取 $(*)$ 式时，得到收敛率为 $\frac{\kappa-1}{\kappa+1}$。再次观察 $(7)$ 式中的迭代格式，其为一个关于 $A$ 的一次表达。一个很自然的问题是，由 $(7)$ 式所决定的迭代算法中，其收敛率的最优上界是多少？最速下降法中的收敛率是最优收敛率吗？下面要介绍的切比雪夫多项式就要回答这个问题。

最优收敛率的多项式表达

由 $(7)$ 式，设 $p_{k}(\lambda)=\prod_{j=0}^{k}(1-\alpha_{j}\lambda)$，其中 $\lambda\in[\lambda_{min, \ \lambda_{max}}]$。可以看到 $p_{k}(\lambda)$ 是一个次数为 $k$ 的多项式，且满足 $p_{k}(0)=1$。因此有，

\[\begin{equation*} \mathbf{e}_{k+1}=p_{k}(A)\mathbf{e}_{0}. \end{equation*} \]

注意，这里关于多项式 $p_{k}$ 有些乱用符号，它原本是一个标量函数。但是在不引起歧义的情况下，由 Cayley 定理，它也可以作为一个矩阵函数。由此，

\[\begin{equation*} \frac{\|\mathbf{e}_{k+1}\|_{A}}{\|\mathbf{e}_{0}\|_{A}}\le\max_{\lambda\in[\lambda_{min},\lambda_{max}]}\big|p_{k}(\lambda)\big|. \end{equation*} \]

从而，最优收敛率问题转化为如下的最小最大问题

\[\begin{equation}\tag{12} \min_{p\in\mathbb{P}_{k}\\ p(0)=1}\max_{\lambda\in[\lambda_{min},\lambda_{max}]}\big|p_{k}(\lambda)\big|, \end{equation} \]

其中 $\mathbb{P}_{k}$ 表示次数不超过 $k$ 的多项式集合。本质上，$(12)$ 是一个多项式逼近问题：希望找到一个多项式 $p$，满足 $p(0)=1$，且在 $[\lambda_{min}, \ \lambda_{max}]$ 上最大绝对值尽可能小。也就是说，这个多项式要尽可能逼近 $0$。因此，我们要求 $p_{k}(0)=1$，这意味着常数项要等于 $1$，否则，我们直接取 $p_{k}\equiv 0$ 来实现零误差，但是这没有意义。乍看起来，这个问题好像很无厘头。然而，通过对切比雪夫多项式的缩放与平移就可以解决。

我们首先将定义域 $[\lambda_{min}, \ \lambda_{max}]$ 映射到 $[-1, \ 1]$。令

\[t=\frac{2\lambda-(\lambda_{max}+\lambda_{min})}{\lambda_{max}-\lambda_{min}}. \]

那么

\[\lambda=\frac{t(\lambda_{max}-\lambda_{min})+(\lambda_{max}+\lambda_{min})}{2}. \]

从而，当 $\lambda\in[\lambda_{min},\lambda_{max}]$ 时，我们有 $t\in[-1,1]$。如果你要问，为什么要变换到区间 $[-1,1]$，那说明你思考了。这个问题的答案稍后就可以看到。不急，接着往下走。

现在定义多项式

\[q(t)=p(\lambda), \]

即

\[q(t)=p\Big(\frac{t(\lambda_{max}-\lambda_{min})+(\lambda_{max}+\lambda_{min})}{2}\Big). \]

那么 $q(t)$ 也是一个 $k$ 次多项式。而条件 $p(0)=1$ 对应于

\[q(t_{0'})=1, \]

其中 $t_{0'}=-\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}<-1$。

于是最优收敛率问题又进一步转化为求解下面的最小最大问题

\[\begin{equation}\tag{13} \min_{q\in\mathbb{P}_{k}\\ q(t_{0'})=1}\max_{t\in[-1, \ 1]}\big|q(t)\big|. \end{equation} \]

好了，到此，我们的主角切比雪夫多项式终于该亮相了。

切比雪夫多项式

切比雪夫多项式的一些基本内容

若函数族 $\phi_{0}(t),\phi_{1}(t),\ldots,\phi_{n}(t),\ldots$ 满足关系

\[\begin{equation*} (\phi_{j},\phi_{k})=\int_{a}^{b}\rho(t)\phi_{j}(t)\phi_{k}(t)dt=\begin{cases} 0,\quad &j\neq k,\\ A_{k}>0, \quad &j=k. \end{cases} \end{equation*} \]

则称 $\{\phi_{k}(t)\}$ 是 $[a, b]$ 上带权 $\rho(t)$ 的正交函数族；若 $A_{k}\equiv 1$，则称为标准正交函数族。

当权函数 $\rho(t)=\frac{1}{\sqrt{1-t^2}}$, 区间为 $[-1, 1]$ 时，由序列 $\{1, t, \ldots,t^{n},\ldots\}$ 正交化得到的正交多项式就是切比雪夫多项式 (Chebyshev) 多项式，它可表示为

\[\begin{equation}\tag{14} T_{n}(t)=\cos(n\arccos(t)),\quad |t|\le 1. \end{equation} \]

$(14)$ 也常被称为第一类切比雪夫多项式。若令 $t=\cos(\theta)$，则

\[T_{n}(t)=\cos(n\theta),\quad 0\le\theta\le\pi. \]

根据三角恒等式

\[\cos((n+1)\theta)=2\cos(\theta)\cos(n\theta)-\cos((n-1)\theta),\quad n=1,2,\ldots. \]

性质1(递推关系)

$\qquad$ 令 $t=\cos(\theta)$，则可得

\[T_{n+1}(t)=2tT_{n}(t)-T_{n-1}(t),\quad n=1,2,\ldots,\tag{15} \]

\[T_{0}(t)=1,\quad T_{1}(t)=t. \]

性质2

$T_{2k}(t)$ 只含 $t$ 的偶次幂，$T_{2k+1}(t)$ 只含 $t$ 的奇次幂。

性质3

$T_{n}(t)$ 在区间 $[-1, 1]$ 上有 $n$ 个零点

\[t_{k}=\cos(\frac{2k-1}{2n}\pi),\quad k=1,2,\ldots,n\]

和 $n+1$ 个极值点 (包括端点)

\[t_{k}=\cos(\frac{k\pi}{n}),\quad k=0,1,2,\ldots,n. \]

这两组点称为切比雪夫点，它们在插值中有重要作用。结合切比雪夫多项式的定义 $(14)$，这些极值点的几何意义非常明显，即分别表示旋转 $j$ 个 $\pi$。所以取到了 $\pm 1$。

性质4

$T_{n}(t)$ 的首项 $t^n$ 的系数为 $2^{n-1}$。

$\qquad$由 $(15)$ 可知， $T_{n}(t)$ 放入最高次项系数是 $2^{n-1},\quad n=1,2,\ldots$。下图展示了次数分别为 $n=0,1,2,3,4,5$，$t\in[-1, 1]$ 时，切比雪夫多项式的函数图像。

\[T_{2}(x)=2x^2-1, \]

\[T_{3}(x)=4x^3-3x, \]

\[T_{4}(x)=8x^4-4x^2+1, \]

\[T_{5}(x)=16x^5-20x^3+5x. \]

Chebyshev

对于 $|t|>1$，切比雪夫多项式可用双曲函数表示

\[T_{n}(t)=\cosh(n\text{arccosh}(t)). \]

性质5

\[T_{n}(-t)=(-1)^{n}T_{n}(t). \]

性质6

在所有 $k$ 次多项式中，$T_{k}(t)$ 在 $[-1, 1]$ 上具有最小的最大绝对值。

这个性质正是我们需要的，也就是说 $k$ 次多项式恰好是问题 $(13)$ 的最优解。下面我们详细地证明性质 $6$ 成立。

为此，我们考虑多项式

\[q^{*}(t)=\frac{T_{k}(t)}{T_{k}(t_{0'})}. \]

显然 $q^{*}(t_{0'})=1$，且

\[\max_{t\in[-1,1]}\big|q^{*}(t)\big|=\frac{1}{\big|T_{k}(t_{0'})\big|},\quad(\big|T_{k}(t)\big|\le 1). \]

下面我们采用反证法证明 $q^{*}(t)$ 的最优性。
假设存在另一个 $k$ 次多项式 $\tilde{q}(t)$ 满足 $\tilde{q}(t_{0'})=1$, 且

\[\max_{t\in[-1,1]}\big|\tilde{q}(t)\big|<\frac{1}{\big|T_{k}(t_{0'})\big|}. \]

定义差值多项式：

\[r(t)=\tilde{q}(t)-q^{*}(t). \]

设 $$t_{j}=\cos(\frac{j\pi}{k}),\quad j=0,1,2,\ldots,k,\quad (极值点)$$
则

\[T_{k}(t_{j})=(-1)^{j},\quad q^{*}(t_{j})=\frac{(-1)^{j}}{T_{k}(t_{0'})}. \]

由于 $\tilde{q}(t)$ 在 $[-1,1]$ 上的最大值严格小于 $\frac{1}{T_{k}(t_{0'})}$，则有

\[\big|\tilde{q}(t_{j})\big|<\frac{1}{T_{k}(t_{0'})}=\big|q^{*}(t_{j})\big|. \]

考虑符号

\[sign[r(t_{j})]=sign[\tilde{q}(t_{j})-q^{*}(t_{j})]. \]

因为 $\big|\tilde{q}(t_{j})\big|<\big|q^{*}(t_{j})\big|$ 且 $q^{*}(t_{j})$ 交错变号， $r(t_{j})$ 在相邻的 $t_{j}$ 处符号相反，具体地：

\[(1): 当 \ j \ 为偶数时，\quad q^{*}(t_{j})>0 \ 且 \ \tilde{q}(t_{j})<q^{*}(t_{j})，\ 所以 \ r(t_{j})<0. \]

\[(2): 当 \ j \ 为奇数时，\quad q^{*}(t_{j})<0 \ 且 \ \tilde{q}(t_{j})<q^{*}(t_{j})，\ 所以 \ r(t_{j})>0. \]

因此，$r(t)$ 在 $k+1$ 个点 $t_0, t_1,t_2,\ldots,t_k$ 上交错变号，由连续函数的介值定理，$r(t)$ 在每对相邻点之间至少由一个零点，共有至少 $k$ 个零点。

而由于 $\tilde{q}(t_{0'})=q^{*}(t_{0'})=1$，有 $r(t_{0'})=0$，但 $t_{0'}<-1$。所以多项式 $r(t)$ 至少有 $k+1$ 个零点。但是 $r$ 的次数不超过 $k$。所以 $r(t)\equiv 0$。矛盾。因此，$q^{*}(t)$ 是最优的。证毕。

此外，如果要求逼近的多项式是首一的，那么 $\frac{1}{2^{k-1}}T_{k}(t)$ 就是最优解。

计算最小最大值

根据性质 $6$ 的结论，现在将最优解 $q^{*}(t)$ 变换回 $p^{*}(\lambda)$:

\[p^{*}(\lambda)=q^{*}(t)=\frac{T_{k}\Big(\frac{2\lambda-(\lambda_{max}+\lambda_{min})}{\lambda_{max}-\lambda_{min}}\Big)}{T_{k}\Big(-\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}\Big)}, \]

而根据性质 $5$ 可得，

\[T_{k}\Big(\frac{2\lambda-(\lambda_{max}+\lambda_{min})}{\lambda_{max}-\lambda_{min}}\Big)=(-1)^{k}T_{k}\Big(\frac{\lambda_{max}+\lambda_{min}-2\lambda}{\lambda_{max}-\lambda_{min}}\Big). \]

类似地：

\[T_{k}\Big(-\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}\Big)=(-1)^{k}T_{k}\Big(\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}\Big). \]

因此，我们有

\[\begin{equation} p^{*}(\lambda)=\frac{T_{k}\Big(\frac{(\lambda_{max}+\lambda_{min})-2\lambda}{\lambda_{max}-\lambda_{min}}\Big)}{T_{k}\Big(\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}\Big)}. \end{equation} \]

这正是我们想要的表达式。
因此，迭代格式 $(7)$ 的最优收敛率的上界为

\[\max_{\lambda\in[\lambda_{min},\lambda_{max}]}\big|p^{*}(\lambda)\big|=\frac{1}{T_{k}\Big(\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}\Big)}. \]

记 $\gamma=\frac{\lambda_{max}+\lambda_{min}}{\lambda_{max}-\lambda_{min}}=\frac{\kappa+1}{\kappa-1}>1$. 我们需要计算 $T_{k}(\gamma)$。利用切比雪夫多项式的表达式：当 $|t|>1$ 时，$T_{k}(t)=\cosh(k\text{cosh(t)})$，或用显示公式：

\[T_{k}(t)=\frac{1}{2}\big[(t+\sqrt{t^2-1})^k+(t-\sqrt{t^2-1})^k\big]. \]

对于 $t=\gamma=\frac{\kappa+1}{\kappa-1}$，计算

\[\gamma^2-1=(\frac{\kappa+1}{\kappa-1})^2-1=\frac{4\kappa}{(\kappa-1)^2}, \]

所以

\[\sqrt{\gamma^2-1}=\frac{2\sqrt{\kappa}}{\kappa-1}. \]

于是

\[\gamma+\sqrt{\gamma^2-1}=\frac{\kappa+1}{\kappa-1}+\frac{2\sqrt{\kappa}}{\kappa-1}=\frac{\sqrt{\kappa}+1}{\sqrt{\kappa}-1}. \]

类似地：

\[\gamma-\sqrt{\gamma^2-1}=\frac{\kappa+1}{\kappa-1}-\frac{2\sqrt{\kappa}}{\kappa-1}=\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}. \]

因此，

\[T_{k}(t)=\frac{1}{2}\big[(\frac{\sqrt{\kappa}+1}{\sqrt{\kappa}-1})^k+(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1})^k\big]\ge\frac{1}{2}(\frac{\sqrt{\kappa}+1}{\sqrt{\kappa}-1})^k. \]

于是

\[\frac{1}{T_{k}(t)}\le 2(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1})^k. \]

实际上，当条件数 $\kappa$ 较大时，第二项 $(\frac{\sqrt{\kappa}+1}{\sqrt{\kappa}-1})^k$ 远小于第一项。故近似地有

\[\frac{1}{T_{k}(t)}\approx 2(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1})^k. \]

这就是最优收敛的估计，即

\[\max_{\lambda\in[\lambda_{min},\lambda_{max}]}\big|p^{*}_{k}(\lambda)\big|\le 2(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1})^k. \]

这意味着存在迭代法，(如共轭梯度法或切比雪夫半迭代法)能够达到该收敛率：

\[\|\mathbf{e}_{k}\|_{A}\le 2(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1})^k \|\mathbf{e}_{0}\|_{A}. \]