这周任务好多啊:哥哥结婚 两个课汇报 高数课答疑 实验助教 科研的
今日:
1.早上一觉醒来胸口疼,好像是压到了。洗个澡吃完饭回学校。
2.下午回实验室网很卡,把上周张老师发的毕设文章读完了。开始做光通信课的ppt,整了一下午。顺便对接一下朋辈辅导和学弟寄东西俩事情。
3.晚上和师哥一起吃,聊点好玩的,坐湖边歇会儿。取快递回实验室打炉石,给ppt收尾。把光通信要交的整理好了。
明天没法和祥熊一起吃饭了qaq还有烦人的实验
张老师发的《基于网络摄像机的多视点裸眼3D实时拍摄与显示技术》收获感悟
介绍了两种合成3d片源的方法
1.用多个摄像头拍出多角度视图,标定之后合成。
2.用单个摄像头拍出单角度视图,用CNN合出来深度图,俩结合之后合成。(基于深度图的虚拟视点Depth Image Based Rendering, DIBR视差图像生成方法)
DiffGS: Functional Gaussian Splatting Diffusion收获感悟
接上次↓
粗读
1.Abstract:这是个diffusion-based的3d生成网络,用连续的高斯泼溅函数(Gaussian Splatting Function)代替原先离散的高斯球,且提了离散算法提取高斯球。
2.Introduction的Contribution:①提出生成网络 ②提出连续的高斯泼溅函数范式 ③这个网络性能很牛 输出:任意数量的高斯基元
精读
1.生成式3DGS建模的核心挑战在于其离散性和非结构化性质,这阻碍了结构图像/体素/视频生成中经过充分研究的框架转移到直接生成3DGS。现有工作是把3DGS整进体积模型中。
GauPF(Probability)通过将每个采样的3D位置的概率建模为高斯位置来指示3DGS的几何形状。GauCF(Color)和GauTF(Transform)分别预测给定3D位置作为输入的外观和变换的高斯属性。
传统的用NeRF最大的问题就是计算开销很大

2.VAE:变分自编码器Variational Autoencoder。通过学习数据的潜在低维表示来生成新样本。
Encoder将输入数据映射到潜在空间,Decoder从潜在空间重建数据,然后使用变分推断进行训练。Gaussian VAE中潜变量的先验分布p(z)是标准正态分布 N(0,I)
3.KL散度又称为相对熵(信息论),用于衡量两个概率分布之间的差异,用于评估模型预测分布与真实分布之间的距离。

Fréchet Inception Distance(FID)值越小,表示生成图像的质量越高,越接近真实图像。计算两个高斯分布的Fréchet距离
Kernel Inception Distance (KID)值越小,表示生成图像与真实图像越相似。它不需要FID那样的正态分布假设,是一种无偏的估计。