变分推断公式推导

背景介绍

机器学习中的概率模型可分为频率派和贝叶斯派。频率派最终是求一个优化问题，而贝叶斯派则是求一个积分问题。

频率派

举几个例子：

线性回归

样本数据：$\{(x_i,y_i){\}}_{i=1}^N$

• 模型：$f(w)=w^{T}x$

• 策略：损失函数：$L(w)={\sum }_{i=1}^N||w^T{x}_i-y_i|{|}^2$，$\hat{w}=\arg {\min }_{w}L(w)$ 这就是一个无约束优化问题。

• 算法：解法

  • 解析解：线性回归问题形式比较简单，可直接由最小二乘法求出解析解：$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$
  • 数值解：对于其他较为复杂的算法无法解析。有一些求数值解的方法，如梯度下降等。

SVM

• 模型：$f(w)=sign(w^{T}x+b)$
• 策略：损失函数：$min\frac{1}{2}{w}^{T}ws.t.y_i(w^T{x}_i+b\ge 1)$。 是一个有约束的凸优化问题。
• 算法：解法有 QP、拉格朗日对偶等。

EM算法
$${\theta }^{(t+1)}=\arg \underset{\theta }{\max }{\int }_Z\log P(X,Z|\theta )P(Z|X,{\theta }^{(t)})dZ$$
EM算法也是通过迭代来求解最大对数似然的数值解。

贝叶斯派

为什么说贝叶斯派是求积分呢？我们先来看贝叶斯定理：
$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}$$
贝叶斯推断，要求得后验 $P(\theta |X)$ 。

贝叶斯决策。决策可以理解为就是做预测。即 $X$ 为已知的 $N$ 个样本数据。决策就是求：
$$P(\tilde{x}|X)={\int }_{\theta }P(\tilde{x}|X)d\theta ={\int }_{\theta }P(\tilde{x}|\theta )P(\theta |X)d\theta$$
在通过贝叶斯推断求得后验 $P(\theta |X)$ 之后，就可以按照上式进行贝叶斯决策。而且上面这个式子也可以写成关于后验的期望的形式（期望就是求积分）：
$$P(\tilde{x}|X)={\mathbb{E}}_{\theta |X}[P(\tilde{x}|\theta )]$$
贝叶斯派的关键就是求得后验 $P(\theta |X)$ ，即贝叶斯推断的过程。贝叶斯推断又可分为精确推断和近似推断：

• 精确推断
• 近似推断
  • 确定性近似：变分推断（本文的主题）
  • 随机近似：MCMC、MH、Gibbs

公式推导

符号含义：$X$ 为观测数据，$Z$ 为隐变量和参数。注意这里参数 $\theta$ 也一同表示在 $Z$ 中了。

再强调一下我们的目的：求后验 $P(Z|X)$ 。

下面的前几步与 EM 算法导出的做法类似，详见 EM算法公式推导 ，区别只是把参数 $\theta$ 合并到了 $Z$ 中，步骤这里就不一一说明了。
$$\begin{array}{rl}\log P(X)& =\log P(X,Z)-\log P(Z|X)\\ & =\log \frac{P(X,Z)}{q(Z)}-\log \frac{P(Z|X)}{q(Z)}\\ & ={\int }_{Z}q(Z)\log \frac{P(X,Z)}{q(Z)}dZ-{\int }_{Z}q(Z)\log \frac{P(Z|X)}{q(Z)}dZ\\ & =ELBO+KL(q(Z)||P(Z|X))\\ & =\mathcal{L}(q)+KL(q(Z)||P(Z|X))\end{array}$$
经过一系列变形，得到 $EBLO+KL$ 的形式，这里我们将 $ELBO$ 记为 $\mathcal{L}(q)$ ，就是所谓的变分。

我们是要求的是后验 $P(Z|X)$ ，如果其与 $q(Z)$ 的 KL 散度接近0，那么就能用 $q(Z)$ 来对其进行近似。而等式左边 $\log P(X)$ 与 $Z$ 无关，因此 $ELBO+KL$ 在 $q(Z)$ 变化时是个定值，因此，要让 KL 尽量小就转换为让 ELBO 尽量大，即有：
$$\hat{q}(Z)=\arg \underset{q(Z)}{\max }\mathcal{L}(q)\to q(Z)\approx P(Z|X)$$
接下来，我们根据平均场理论，将 $q(Z)$ 划分为 $M$ 个相互独立的份：
$$q(Z)=\prod _{i=1}^M{q}_i(Z_i)$$
之后在求解的时候，我们会先固定 $q_1,q_2,\dots ,q_{j-1},\dots ,q_M$ ，然后求解单个分量 $q_j$ ，最后将所有分量连乘起来，得到完整的 $q(Z)$ 。

首先先将 $q(Z)$ 代回到原式中：
$$\mathcal{L}(q)={\int }_{Z}q(Z)\log P(X,Z)dZ-{\int }_Z\log q(Z)dZ=①-②$$
一项一项地来看：
$$\begin{array}{rl}①& ={\int }_{Z}q(Z)\log P(X,Z)dZ\\ & ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\log P(X,Z)dZ\\ & ={\int }_{Z_j}{q}_j(Z_j){\int }_{Z_i(i\ne j)}\prod _{i\ne j}^M{q}_i(Z_i)\log P(X,Z)d{Z}_{i(i\ne j)}d{Z}_j\\ & ={\int }_{Z_j}{q}_j(Z_j){\int }_{Z_i(i\ne j)}\log P(X,Z)\prod _{i\ne j}^M{q}_i(Z_i)d{Z}_{i(i\ne j)}d{Z}_j\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot {\mathbb{E}}_{{\prod }_{i\ne j}^M{q}_i(Z_i)}[\log P(X,Z)]d{Z}_j\end{array}$$

• 先将 $q(Z)$ 进行拆分为 $M$ 份；
• 然后将第 $j$ 份拆出来；
• 其他份的积分写成期望的形式（见到积分，就考虑能写成期望）

然后看后面一项：
$$\begin{array}{rl}②& ={\int }_{Z}q(Z)\log q(Z)dZ\\ & ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\log \prod _{i=1}^M{q}_i(Z_i)dZ\\ & ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\sum _{i=1}^M\log q_i(Z_i)dZ\\ & ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)[\log q_1(Z_1)+\log q_2(Z_2)+\cdots +\log q_M(Z_M)]dZ\end{array}$$

• 写成 $M$ 份；
• log 里面乘变外面加；
• 把连加号写开；
• 然后我们看其中一项（比如第一项）：

$$\begin{array}{rl}{\int }_Z\prod _{i=1}^M{q}_i(Z_i)\cdot \log q_1(Z_1)dZ& ={\int }_Z{q}_1(Z_1)q_2(Z_2)\dots q_M(Z_M)\log q_1(Z_1)dZ\\ & ={\int }_{Z_1{Z}_2\dots Z_M}{q}_1(Z_1)q_2(Z_2)\dots q_M(Z_M)\log q_1(Z_1)d{Z}_{1}d{Z}_2\dots d{Z}_M\\ & ={\int }_{Z_1}{q}_1(Z_1)\log q_1(Z_1)d{Z}_1\prod _{i=2}^M{\int }_{Z_i}{q}_i(Z_i)d{Z}_i\\ & ={\int }_{Z_1}{q}_1(Z_1)\log q_1(Z_1)d{Z}_1\end{array}$$

• 把 $q_1(Z_1)$ 相关的移到一起；
• 剩下的积分全都是 1

$$\begin{array}{rl}②& =\sum _{i=1}^M{\int }_{Z_i}{q}_i(Z_i)\log q_i(Z_i)d{Z}_i\\ & ={\int }_{Z_j}{q}_j(Z_j)\log q_j(Z_j)d{Z}_j+C\end{array}$$

• 有了 $i=1$ 时的表示，我们就把整个第二项写成连加的形式；
• 我们只关心第 $j$ 项，其余的视作常数 $C$

这样处理完两项，有：
$$\begin{array}{rl}①-②& ={\int }_{Z_j}{q}_j(Z_j)\cdot {\mathbb{E}}_{{\prod }_{i\ne j}^M{q}_i(Z_i)}[\log P(X,Z)]d{Z}_j-{\int }_{Z_j}{q}_j(Z_j)\log q_j(Z_j)d{Z}_j+C\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot \log \hat{P}(X,Z_j)d{Z}_j-{\int }_{Z_j}{q}_j(Z_j)\log q_j(Z_j)d{Z}_j+C\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot \log \frac{\hat{P}(X,Z_j)}{q_j(Z_j)}d{Z}_j\\ & =-KL(\hat{P}(X,Z_j)||q_j(Z_j))\le 0\end{array}$$

• 将 ① 中的期望写成一个函数的形式：$\hat{P}(X,Z_j)$ ；
• 最后就是一个负的 KL 散度，当 $\hat{P}(X,Z_j)=q_j(Z_j)$ 时取到等号

Ref

1. 机器学习白板推导