MeInGame:从单张人像生成游戏角色面部的官方PyTorch实现

MeInGame：从单张肖像创建游戏角色脸孔

这是2021年AAAI论文的官方PyTorch实现： J. Lin, Y. Yuan, 和 Z. Zou, 《MeInGame：从单张肖像生成游戏人物脸部》, 人工智能前沿协会(AAAI), 2021。

创建的游戏角色3D展示（点击观看）：

[更新]

• 2021.05.11：RGB 3D 脸部数据集（谷歌驱动器，受密码保护的zip文件）现已可用！请下载并仔细阅读LICENSE AGREEMENT，然后通过电子邮件将签署的许可协议发送至yuanyi@corp.netease.com以获取ZIP文件的密码。

开始使用

需求

• 代码可在Windows和Linux上运行。
• 为了兼容性，我们使用CUDA 10.0，PyTorch 1.4和Tensorflow 1.14。
• Basel Face Model 2009 (BFM09)。
• 表情基(由Guo等人从Facewarehouse转移)。
• PyTorch3D的一个修改版。由于官方版本存在一个广播问题，所以我们使用了修改版。

安装依赖库

pip install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html
pip install opencv-python fvcore h5py scipy scikit-image dlib face-alignment scikit-learn tensorflow-gpu==1.14.0 gast==0.2.2
pip install "git+https://github.com/Agent-INF/pytorch3d.git@3dface"

使用预训练网络测试

1. 克隆仓库

git clone https://github.com/FuxiCV/MeInGame
cd MeInGame

2. 按照Deep3DFaceReconstruction中的说明准备Basel Face Model，并重命名如下文件：

Deep3DFaceReconstruction/BFM/BFM_model_front.mat -> ./data/models/bfm2009_face.mat
Deep3DFaceReconstruction/BFM/similarity_Lm3D_all.mat -> ./data/models/similarity_Lm3D_all.mat
Deep3DFaceReconstruction/network/FaceReconModel.pb -> ./data/models/FaceReconModel.pb

3. 下载预训练模型，将.pth文件放入./checkpoints/celeba_hq_demo子目录，将.pkl文件放入./data/models子目录。

4. 运行代码。

python main.py -m test -i demo
# 或者
python main.py -m test -i demo -c
# 如果您没有合适的GPU，它将在CPU上运行。

5. ./data/test子目录包含几个测试图像，./results子目录存储它们的重建结果。对于每个输入的测试图像，在运行演示代码后，可以得到以下输出文件：

• "xxx_input.jpg"：对齐后的RGB图像，是网络的输入
  • "xxx_neu.obj"：中性表情重建的3D人脸，可以在MeshLab中查看。
  • "xxx_uv.png"：obj文件对应的uv图。

使用CelebA-HQ数据集训练

数据准备

1. 运行以下命令从野生图像创建训练数据集。

python create_dataset.py
# 您可以修改input_dir为您输入图像的目录。

2. 下载我们的RGB 3D 脸部数据集（谷歌驱动器），解压缩后将其放置到./data/dataset/celeba_hq_gt子目录下。 请仔细下载并阅读LICENSE AGREEMENT，并通过电子邮件将签署的许可协议发送至yuanyi@corp.netease.com以获取ZIP文件的密码。注意：应用权限仅对大学或研究机构的研究人员或教员开放，禁止学生或企业实体申请。

训练网络

准备好数据集后，您可以使用以下命令训练网络：

python main.py -m train

引用

如果该模型对您的研究有所帮助，请引用以下论文：

@inproceedings{lin2021meingame, title={MeInGame: Create a Game Character Face from a Single Portrait}, author={Lin, Jiangke and Yuan, Yi and Zou, Zhengxia}, booktitle={Proceedings of the AAAI Conference on Artificial Intelligence}, year={2021} }