最近，神经渲染和SLAM系统的集成在联合定位和逼真视图重建方面显示出了令人期待的结果。然而，现有方法完全依赖于隐式表示，资源消耗巨大，无法在便携设备上运行，这与SLAM的初衷相去甚远。在本文中，我们提出了一种新颖的SLAM框架Photo-SLAM，具有超级基元地图。具体来说，我们同时利用显式几何特征进行定位，并学习隐式的光度特征来表示观察环境的纹理信息。除了基于几何特征主动增密超级基元外，我们还引入了一种基于高斯金字塔的训练方法，逐渐学习多级特征，增强逼真的映射性能。在单目、双目和RGB-D数据集上进行的大量实验证明，我们提出的Photo-SLAM系统在在线逼真映射方面明显优于当前最先进的SLAM系统，例如在Replica数据集中，PSNR提高了30%，渲染速度快了数百倍。此外，Photo-SLAM可以在像Jetson AGX Orin这样的嵌入式平台上实时运行，展示了机器人应用的潜力。 arXiv:https://arxiv.org/abs/2311.16728 github:https://github.com/HuajianUP/Photo-SLAM
项目介绍
最近，神经渲染和SLAM系统的集成在联合定位和逼真视图重建方面显示出了令人期待的结果。然而，现有方法完全依赖于隐式表示，资源消耗巨大，无法在便携设备上运行，这与SLAM的初衷相去甚远。在本文中，我们提出了一种新颖的SLAM框架Photo-SLAM，具有超级基元地图。具体来说，我们同时利用显式几何特征进行定位，并学习隐式的光度特征来表示观察环境的纹理信息。除了基于几何特征主动增密超级基元外，我们还引入了一种基于高斯金字塔的训练方法，逐渐学习多级特征，增强逼真的映射性能。在单目、双目和RGB-D数据集上进行的大量实验证明，我们提出的Photo-SLAM系统在在线逼真映射方面明显优于当前最先进的SLAM系统，例如在Replica数据集中，PSNR提高了30%，渲染速度快了数百倍。此外，Photo-SLAM可以在像Jetson AGX Orin这样的嵌入式平台上实时运行，展示了机器人应用的潜力。 arXiv:https://arxiv.org/abs/2311.16728 github:https://github.com/HuajianUP/Photo-SLAM
定制我的领域