Animatable-Gaussians:基于3D Gaussian Splatting与StyleGAN的高保真人体化身建模项目

从RGB视频中建模可动人体化身是一个长期存在且具有挑战性的问题。最近的工作通常采用基于MLP的神经辐射场（NeRF）来表示3D人体，但是对于纯MLPs来说，回归姿势相关的服装细节仍然很困难。为此，我们引入了Animatable Gaussians，一种新的化身表示方法，利用强大的2D CNNs和3D高斯飞溅来创建高保真度的化身。为了将3D高斯与可动化的化身关联起来，我们从输入视频中学习一个参数化模板，然后在前后两个标准高斯图上参数化模板，其中每个像素代表一个3D高斯。学习到的模板能够适应着装，用于建模像连衣裙等宽松衣物。这种模板引导的2D参数化使我们能够利用基于StyleGAN的强大CNN来学习姿势相关的高斯图，以建模详细的动态外观。此外，我们引入了一种姿势投影策略，以获得更好的泛化性能。总的来说，我们的方法可以创建具有动态、逼真和泛化外观的栩栩如生的化身。实验表明，我们的方法优于其他最先进的方法。 arXiv:https://arxiv.org/abs/2311.16096 github:https://github.com/lizhe00/AnimatableGaussians