SynSin: 单图到多视点图像合成 (CVPR 2020)

这是CVPR 2020论文的代码实现。 该代码允许在测试时，仅凭一张未见过的场景的图片，生成新视角的场景图像。 它以自我监督的方式使用成对的视图进行训练，并采用端到端的方式，利用GAN技术和新的可微分三维点云渲染器。 在测试阶段，模型会从一个未知场景的一张图像中输入，进而生成不同视点的新图像。

图 1：使用SynSin在新视点生成的图像。给定视频中的第一幅图像，模型将生成沿轨迹的所有后续图像。所有重建都使用同一模型完成。这些场景在训练时并未出现。

使用说明

请注意，此存储库是原代码的大规模重构，旨在允许公开发布并与pytorch3d集成。 因此，模型和数据集可能与论文中的不尽相同，因为不能发布我们用于测试的保存图像。 为了公平比较和重现结果，建议参考此repo中的数字和模型。

设置与安装

请参阅INSTALL。

快速开始

要快速使用预训练模型，请参阅Quickstart。

训练和评估自己的模型

要在特定数据集上下载、训练或评估模型，请阅读相应文件。 （注意，由于我们无法分发原始像素，所以我们已在相应的文件中解释了如何下载和组织数据集。）

• RealEstate10K
• MP3D 和 Replica
• KITTI

引用

如果本工作对您的研究有所帮助，请引用：

@inproceedings{wiles2020synsin,
  author =       {Olivia Wiles and Georgia Gkioxari and Richard Szeliski and 
                  Justin Johnson},
  title =        {{SynSin}: {E}nd-to-end View Synthesis from a Single Image},
  booktitle =      {CVPR},
  year =         {2020}
}