1、参考来源
论文《Generative Modeling by Estimating Gradients of the Data Distribution》
来源：NeurIPS 2019
论文链接：https://arxiv.org/abs/1907.05600
参考链接：
【AI知识分享】真正搞懂扩散模型Score Matching一定要理解的三大核心问题
2、布朗运动
布朗运动是描述花粉微粒在水中的运动情况的。可以看出，花粉微粒在水中的受力情况如下所示。因此根据牛顿第二定律，
F = m a m ⋅ d v t d t = F 合力 = F 摩擦力 + F 碰撞力 = − γ ⋅ v t + η \begin{equation} \begin{split} F&=ma\\ m\cdot\frac{dv_t}{dt}&= F_{合力}\\ &=F_{摩擦力}+F_{碰撞力}\\ &=-\gamma\cdot v_t+\eta \end{split} \end{equation} Fm⋅dtdvt=ma=F合力=F摩擦力+F碰撞力=−γ⋅vt+η
其中， γ \gamma γ是摩擦力因子。 η \eta η是碰撞力，也是一个随机的力，满足高斯分布， η ∼ N ( 0 , σ 2 ) \eta \sim N(0,\sigma^2) η∼N(0,σ2)。
花粉微粒包含的总能量 E ω E_{\omega} Eω包含动能 E E E和势能 U U U。在合力的作用下，动能和势能相互转化，且总能量保持不变。动能定理，可以得到
F 合力 ⋅ Δ x = Δ E ⇕ F 合力 = Δ E Δ x = Δ E ω − Δ U Δ x = − Δ U Δ x \begin{equation} \begin{split} F_{合力}\cdot \Delta x&=\Delta E\\ &\Updownarrow\\ F_{合力}&=\frac{\Delta E}{\Delta x}\\ &=\frac{\Delta E_{\omega}-\Delta U}{\Delta x}\\ &=\frac{-\Delta U}{\Delta x} \end{split} \end{equation} F合力⋅ΔxF合力=ΔE⇕=ΔxΔE=ΔxΔEω−ΔU=Δx−ΔU
其中， x x x为位移。由于花粉微粒的总能力 E ω E_{\omega} Eω保持不变，因此 Δ E ω Δ x = 0 \frac{\Delta E_{\omega}}{\Delta x}=0 ΔxΔEω=0。
另一方面，花粉微粒在水中的分布，服从波尔兹曼分布。
P ( x ) = e − U ( x ) z \begin{equation} \begin{split} P(x)=\frac{e^{-U(x)}}{z} \end{split} \end{equation} P(x)=ze−U(x)
其中 U ( x ) U(x) U(x)表示在位置 x x x处的花粉微粒所具有的势能。 z z z 是一个归一化因子。也就是说，具有势能越大的花粉，其对应的概率密度越小。波尔兹曼分布是描述粒子的热运动的。玻尔兹曼分布体现了系统的稳定性倾向。系统中的粒子总是趋向于占据能量较低的状态，因为低能量状态更稳定。但由于热运动的存在，粒子也有一定的概率处于较高能量的状态，不过这种概率会随着能量的升高而迅速减小。探秘玻尔兹曼分布：解锁微观粒子能量分布的神奇密码
对公式（3）的两边分别取对数且求导
∇ x l o g ( P ( x ) ) = ∇ x l o g e − U ( x ) z = ∇ x − U ( x ) = F 合力 = − γ ⋅ v t + η = − γ ⋅ d x d t + η ⇕ d x = − d t γ ∇ x l o g ( P ( x ) ) + η γ ⋅ d t ⇕ x t + Δ t = x t − Δ t γ ∇ x l o g ( P ( x ) ) + Δ t γ ⋅ η = x t − Δ t γ ∇ x l o g ( P ( x ) ) + Δ t γ ⋅ σ ⋅ z \begin{equation} \begin{split} \nabla_x log\big(P(x)\big)&=\nabla_x log \frac{e^{-U(x)}}{z} \\ &=\nabla_x-U(x) \\ &=F_{合力} \\ &=-\gamma\cdot v_t+\eta\\ &=-\gamma\cdot \frac{dx}{dt}+\eta \\ &\Updownarrow \\ dx&=-\frac{dt}{\gamma}\nabla_x log\big(P(x)\big) + \frac{\eta}{\gamma} \cdot dt \\ &\Updownarrow \\ x_{t+\Delta t}&=x_{t}-\frac{\Delta t}{\gamma}\nabla_x log\big(P(x)\big) + \frac{\Delta t}{\gamma} \cdot \eta\\ &=x_{t}-\frac{\Delta t}{\gamma}\nabla_x log\big(P(x)\big) + \frac{\Delta t}{\gamma} \cdot \sigma \cdot z\\ \end{split} \end{equation} ∇xlog(P(x))dxxt+Δt=∇xlogze−U(x)=∇x−U(x)=F合力=−γ⋅vt+η=−γ⋅dtdx+η⇕=−γdt∇xlog(P(x))+γη⋅dt⇕=xt−γΔt∇xlog(P(x))+γΔt⋅η=xt−γΔt∇xlog(P(x))+γΔt⋅σ⋅z
其中， z ∼ N ( 0 , 1 ) z\sim N(0,1) z∼N(0,1)。如果分别令 Δ t γ = ϵ 2 \frac{\Delta t}{\gamma}=\frac{\epsilon}{2} γΔt=2ϵ， Δ t γ ⋅ σ = ϵ \frac{\Delta t}{\gamma} \cdot \sigma=\sqrt{\epsilon} γΔt⋅σ=ϵ。公式(4)则变为
x t + Δ t = x t − ϵ 2 ∇ x l o g ( P ( x ) ) + ϵ ⋅ z \begin{equation} \begin{split} x_{t+\Delta t}=x_{t}-\frac{\epsilon}{2}\nabla_x log\big(P(x)\big) + \sqrt{\epsilon} \cdot z\\ \end{split} \end{equation} xt+Δt=xt−2ϵ∇xlog(P(x))+ϵ⋅z
对于下图中的概率分布来说，对于在 x 0 x_0 x0处的花粉微粒来说，其对应的斜率是负数，对应于公式(4)中的 ∇ x l o g ( P ( x ) ) \nabla_x log\big(P(x)\big) ∇xlog(P(x))是负数。因此，相对于 x t x_{t} xt， x t + Δ t x_{t+\Delta t} xt+Δt大概率会增大，因为是存在一个随机高斯分布 η \eta η；对于在 x 1 x_1 x1处的花粉微粒来说，其对应的斜率是正数，对应于公式(4)中的 ∇ x l o g ( P ( x ) ) \nabla_x log\big(P(x)\big) ∇xlog(P(x))是正数。因此，相对于 x t x_{t} xt， x t + Δ t x_{t+\Delta t} xt+Δt大概率会减小。综上所述，花粉微粒大概率会朝向密度低的位置移动。这是符合墨水滴入水中的运动常识的。
论文《Generative Modeling by Estimating Gradients of the Data Distribution》中的公式如公式（6）所示。可以看出，论文中的公式（6）是花粉扩散过程的逆过程
x t + Δ t = x t + ϵ 2 ∇ x l o g ( P ( x ) ) + ϵ ⋅ z \begin{equation} \begin{split} x_{t+\Delta t}=x_{t}+\frac{\epsilon}{2}\nabla_x log\big(P(x)\big) + \sqrt{\epsilon} \cdot z\\ \end{split} \end{equation} xt+Δt=xt+2ϵ∇xlog(P(x))+ϵ⋅z
2、正篇
图像生成别只知道扩散模型(Diffusion Models)，还有基于梯度去噪的分数模型：
)
