3D Gaussian Splatting理论详解 - 教程

本文为大家介绍3D Gaussian Splatting。3D Gaussian Splatting 是一种新兴的三维场景表示与渲染技术，近年来因其高质量、高效率的实时渲染能力而受到广泛关注。该方法将三维场景建模为大量具有空间位置、协方差(控制形状与方向)、不透明度和球谐系数的高斯椭球体(Gaussians)。在渲染过程中，这些高斯体被“投射”(即splatting)到图像平面上，通过可微分的光栅化过程合成最终图像。

与传统的神经辐射场(NeRF)等隐式表示方法不同，3D Gaussian Splatting 采用显式几何表示，避免了训练过程中对神经网络的依赖，从而显著提升了渲染速度，甚至可在消费级GPU上实现实时高质量新视角合成。此外，该方法帮助高效的优化策略，例如基于梯度的密度控制(克隆、分裂或删除高斯体)，以适应场景复杂度并提升重建精度。

自2023年提出以来，3D Gaussian Splatting 已成为三维重建与图形学领域的重要研究方向，广泛应用于虚拟现实、数字孪生、影视特效和机器人感知等场景。

1 高斯球投影

在3DGS的初始阶段，算法会将输入的3D点云中的每一个点，直接初始化为一个高斯球。物体的高斯球所在的坐标系被称为局部坐标系。高斯球的参数包括高斯球在局部坐标系下的缩放$s_x,s_y,s_z$，高斯球在世界坐标系下的位置${\mathbf{\mu }}_w\in {\mathbb{R}}^3$，四元数表示的从局部坐标系到世界坐标系的旋转${\mathbf{q}}_{wl}\in {\mathbb{R}}^4$，不透明度${\alpha }^{\text{raw}}$和球谐系数若干。这些量具有可微属性，可以被神经网络优化。

将缩放参数和旋转参数写成矩阵形式，得到缩放矩阵
$$\mathbf{S}=\mathrm{diag}(s_x,s_y,s_z)$$
和旋转矩阵
$$\mathbf{R}=\mathrm{Rot}({\mathbf{q}}_{wl})$$
组合旋转和缩放，得到
$$\mathbf{M}=\mathbf{RS}$$
最终得到的世界坐标系中的协方差矩阵为
$$\mathbf{\Sigma }=\mathbf{M}{\mathbf{M}}^T=\mathbf{RS}{\mathbf{S}}^T{\mathbf{R}}^T$$
该协方差矩阵描述了高斯球在世界坐标系下的形状和朝向

有了世界坐标系下的3DGS表示，可以根据相机内外参得到高斯球投影到像素平面后的椭圆位置，形状和朝向，投影后的椭圆整体被称为splat

考虑一个高斯球，其参数如上文所述，首先使用相机外参，将高斯球上的点${\mathbf{x}}_w$转换为相机坐标系下的点${\mathbf{x}}_c$
$${\mathbf{x}}_c=\phi ({\mathbf{x}}_w)={\mathbf{W}}_{cw}{\mathbf{x}}_w+{\mathbf{d}}_{cw}^c$$
设${\mathbf{x}}_c=[x_c,y_c,z_c{]}^T$，则其到投影像素${\mathbf{x}}_p$的变换为
$${\mathbf{x}}_p=\mathcal{P}({\mathbf{x}}_c)=\frac{1}{Z}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$$
然而，$\mathcal{P}$仿射的，要计算高斯球投影到二维像素平面上的形状，只能将其在高斯球的中心点就是并不${\mathbf{\mu }}_c=\phi ({\mathbf{\mu }}_w)=[x_c^{\mu },y_c^{\mu },z_c^{\mu }{]}^T$处进行泰勒展开
$${\mathbf{x}}_p\approx \mathcal{P}({\mathbf{\mu }}_c)+\mathbf{J}({\mathbf{W}}_{cw}{\mathbf{x}}_w+{\mathbf{d}}_{cw}^c-{\mathbf{\mu }}_c)$$
其中${\mathbf{\mu }}_p=\mathcal{P}({\mathbf{\mu }}_c)$表示高斯球投影后的椭圆的位置，而
$$\mathbf{J}={\frac{\partial \mathcal{P}({\mathbf{x}}_c)}{\partial {\mathbf{x}}_c}|}_{{\mathbf{x}}_c={\mathbf{\mu }}_c}=\left[\begin{array}{ccc}\frac{f_x}{z_c^{\mu }}& 0& -\frac{c_x}{z_c^{\mu }{z_c^{\mu }}^2}\\ 0& \frac{f_y}{z_c^{\mu }}& -\frac{c_y}{z_c^{\mu }{z_c^{\mu }}^2}\end{array}\right]$$
故世界坐标系下高斯球的协方差矩阵$\mathbf{\Sigma }$，在像素坐标系下对应的二维协方差矩阵${\mathbf{\Sigma }}^{\prime }$为
$${\mathbf{\Sigma }}^{\prime }=\mathbf{J}{\mathbf{W}}_{cw}\mathbf{\Sigma }{\mathbf{W}}_{cw}^T{\mathbf{J}}^T$$

该协方差矩阵描述了高斯球投影后的椭圆在像素坐标系下的形状和朝向

上述高斯球在像素平面上投影后的椭圆位置，形状和朝向是整个splatting的过程的一部分，将会在后续被用到

2 球谐函数

3DGS引入了球谐函数(Spherical Harmonics, SH)来建模方向相关的颜色(view-dependent color)，下面介绍球谐函数。

球谐函数是一族定义在单位球面上的基函数：
$$Y_l^m(\theta ,\varphi )=\{\begin{array}{ll}\sqrt{2}{K}_l^m\cos (m\varphi )P_l^m(\cos \theta )& m>0\\ K_l^0{P}_l^0(\cos \theta )& m=0\\ \sqrt{2}{K}_l^{|m|}\sin (|m|\varphi )P_l^{|m|}(\cos \theta )& m<0\end{array}$$
其中$l⩾0$表示阶数(degree)，$-l⩽m⩽l$表示次序，$\theta ,\varphi$表示球坐标中的极角和方位角，而
$$\begin{array}{rl}{P}_n(x)& =\frac{1}{2^n\cdot n!}\frac{d^n}{d{x}^n}[(x^2-1{)}^n]\\ P_l^m(x)& =(-1{)}^m(1-x^2{)}^{\frac{m}{2}}\frac{d^m}{d{x}^m}{P}_l(x)\\ K_l^m& =\sqrt{\frac{(2l+1)(l-|m|)!}{4\pi (l+|m|)!}}\end{array}$$
将基函数可视化出来，可以发现，随着阶数的增加，波瓣的数量越来越多，即空间频率越来越大，不同的阶数可以建模不同层次的场景结构，若低阶更基函数更倾向于建模整体亮度或平均颜色，而高阶基函数更倾向于建模边缘，复杂材质等细粒度细节

通过在3DGS里，固定视角下，R,G,B三个通道的颜色都能够各自计算为
$$C(\mathbf{\rho })=\sum _{l=0}^L\sum _{m=-l}^l{c}_{l,m}{Y}_l^m(\theta (\mathbf{\rho }),\varphi (\mathbf{\rho }))$$
其中$L$是3DGS所采取的球谐函数阶数，$\mathbf{\rho }$是视角方向，从高斯中心指向相机坐标系原点，$\theta ,\varphi$可以根据其计算出来，$c_{l,m}$是可学习的球谐系数，用来编码场景在不同视角下的颜色分布，容易得到，每个高斯球对应的球谐系数有$(L+1{)}^2\times 3$。需要注意，在球谐函数的阶数越高，表示颜色随视角变化的细节能力越强，但会显著增加存储开销和计算负担，并且大多数自然场景的视角相关颜色变化集中在$L⩽3$，$L>3$带来的视觉提升往往不明，因此默认使用$L=3$，在质量、效率、稳定性之间取得最佳平衡

3 渲染

在 3D Gaussian Splatting 中，渲染可以被定义为：将用多个参数化高斯分布表示的三维场景转化为二维图像的技术，该过程涉及到对这些高斯分布进行光栅化处理，根据它们在屏幕空间中的覆盖范围和相对深度排序，执行α-blending处理以合成最终的像素颜色值。

为了兼顾渲染质量和计算效率，在3DGS的渲染利用光栅化方式实现：首先，对所有待渲染的Gaussians进行一次全局深度(Gaussians中心点在相机坐标系下的z值)排序，而非在每个像素上独立排序。具体来说，系统根据高斯中心在当前相机视角下的深度值，对整个场景中的高斯列表进行一次front-to-back(按距离相机中心深度由近及远)排序。这样，在后续光栅化阶段，每个像素所访问的高斯序列天然保持正确的深度顺序，避免了为每个像素重复执行排序操作，从而大幅降低了排序带来的计算开销，尤其在高分辨率图像和密集高斯场景下效果显著。其次，渲染过程以tile(例如 16×16 像素的子区域)为基本处理单元，对于每个tile，从全局有序列表中筛选出覆盖该tile的Gaussians。由于全局列表已经按深度排好序，tile内的Gaussians顺序行直接继承，无需重新排序。与此同时，每个Gaussian的投影坐标、协方差矩阵、屏幕半径等属性在预处理阶段只需计算一次，结果可供所有覆盖的tile和像素共享，从而避免冗余计算。在算法实现中，底层代码仅处理单个像素，因为不仅各tile之间可以并行，tile内部的各像素间也可以并行处理，这显著加快了渲染速度

下面展示单个像素的RGB值计算。点${\mathbf{x}}_p$处的颜色值为
$$\mathbf{C}=\sum _{i=1}^N{\alpha }_i{\mathbf{c}}_i{T}_i$$
其中$i=1,\cdots ,N$表示tile内部splats按深度从前到后的排序，${\mathbf{c}}_i$表示RGB三通道的颜色值，${\alpha }_i$表示该点处的不透明度，其由可学习的原始不透明度和权重相乘得到
$${\alpha }_i={\alpha }_i^{\text{raw}}\exp \left(-\frac{1}{2}({\mathbf{x}}_p-{\mathbf{\mu }}_{p,i}{)}^T{\mathbf{\Sigma }}_i^{\prime }({\mathbf{x}}_p-{\mathbf{\mu }}_{p,i})\right)$$
$T_i$表示第$i$通过点之前，光线没有被阻挡的概率，又称为透射率，其能够写成
$$T_i=\prod _{j=1}^{i-1}(1-{\alpha }_j)$$
故整体颜色行表示为
$$c=\sum _{i=1}^N{\alpha }_i{c}_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$
上式又称为α-blending

4 损失计算

3DGS损失函数如下
$$L=(1-\lambda )L_1+\lambda L_{\text{D-SSIM}}$$
$L_1$是图像重建误差，可以通过与真实图像的像素级差异计算
$$L_1=\frac{1}{HW}\sum _{i=1}^{HW}\left|I_i^{\text{pred}}-I_i^{\text{gt}}\right|$$
设重建图像和真实图像分别为$I^{\text{pred}},I^{\text{gt}}$

对于彩色图像，SSIM值等于各通道SSIM值的平均
$$\text{SSIM}=\frac{1}{3}({\text{SSIM}}_R+{\text{SSIM}}_G+{\text{SSIM}}_B)$$
为进行梯度下降优化，将相似度指标转化为D-SSIM(Dissimilarity Structural SIMilarity)损失函数
$$L_{\text{D-SSIM}}=\frac{1-\text{SSIM}}{2}$$
即两张图像感知差异越大，$L_{\text{D-SSIM}}$越大。综上可知，$\lambda \to 0$时，更偏向像素精确；$\lambda \to 1$时，更偏向感知正确

通过优化3DGS 的损失函数，我们可以不断调整每个3D高斯的参数(位置、缩放、旋转、球谐系数、不透明度等)，使得渲染出的图像与训练数据集中的真实视角尽可能接近。同时，模型不仅能逐步修正错误的几何结构，还能自动生成、移动或删除高斯来优化场景表示。最终，优化过程得到的是一种紧凑而高效的场景表示形式：少量各向异性(协方差矩阵非单位阵，各方向色彩不同)高斯即可精确捕捉到真实世界的几何与光照特征，从而实现高质量的新视角合成与实时渲染。

附录

§1、结构相似性指标

结构相似性指标SSIM(Structural SIMilarity Index)损失函数考虑了亮度(luminance) ，对比度(contrast)，结构(structure)指标，更符合人眼视觉感知，能让渲染结果纹理细节、结构对比上看起来更自然。对于但单道图像$\mathbf{x},\mathbf{y}$，有
$$\text{SSIM}={\left[l(\mathbf{x},\mathbf{y})\right]}^{\alpha }{\left[c(\mathbf{x},\mathbf{y})\right]}^{\beta }{\left[s(\mathbf{x},\mathbf{y})\right]}^{\gamma }$$
其中$\alpha ,\beta ,\gamma >0$，$l(\mathbf{x},\mathbf{y}),c(\mathbf{x},\mathbf{y}),s(\mathbf{x},\mathbf{y})$分别比较$\mathbf{x},\mathbf{y}$的亮度，对比度，结构的相似性
$$\begin{array}{rl}l(\mathbf{x},\mathbf{y})& =\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}\\ c(\mathbf{x},\mathbf{y})& =\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2}\\ c(\mathbf{x},\mathbf{y})& =\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}\end{array}$$
其中${\mu }_x,{\mu }_y,{\sigma }_x,{\sigma }_y,{\sigma }_{xy}$是重建图像和参考图像在单个通道上的均值和标准差和协方差

实际使用时，常令$\alpha =\beta =\gamma =1$，$C_3=\frac{C_2}{2}$，此时
$$\text{SSIM}=\frac{(2{\mu }_x{\mu }_y+C_1)(2{\sigma }_{xy}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}$$
SSIM值越大，代表两张图像越接近