This is a implementation of the 3D FLAME model in PyTorch

文件	最后提交记录	最后更新时间
flame_pytorch	Bugfix	3 年前
gifs	add description	6 年前
.flake8	Added pre-commit hook file	3 年前
.gitignore	Made package installable	3 年前
.pre-commit-config.yaml	Added pre-commit hook file	3 年前
LICENSE	Initial commit	6 年前
README.md	Formatted README	3 年前
main.py	Moved get_cfg function into package	3 年前
requirements.txt	Made package installable	3 年前
setup.py	Added pre-commit hook file	3 年前

自动翻译

FLAME：三维表达头部模型（PyTorch）

这是一个在PyTorch中实现的FLAME三维头部模型。

我们还提供了Tensorflow FLAME，一个基于Chumpy的FLAME拟合库，以及用于Basel Face Model到FLAME转换的代码。

Model Variations

FLAME是一个轻量级且具有表现力的通用头部模型，从超过33,000个精确对齐的3D扫描中学习而来。FLAME结合了线性身份形状空间（从3800名受试者头部扫描训练），可活动的颈部、下颌和眼球，依赖于姿势的校正混合形状，以及额外的全局表情混合形状。详细信息请参阅以下科学论文

Learning a model of facial shape and expression from 4D scans
Tianye Li*, Timo Bolkart*, Michael J. Black, Hao Li, and Javier Romero
ACM Transactions on Graphics (Proc. SIGGRAPH Asia) 2017

以及补充视频。

安装

代码使用Python 3.7，已在PyTorch 1.4上测试。

设置FLAME PyTorch虚拟环境

python3.7 -m venv <你的家目录>/.virtualenvs/FLAME_PyTorch
source <你的家目录>/.virtualenvs/FLAME_PyTorch/bin/activate

克隆项目并安装要求

git clone https://github.com/soubhiksanyal/FLAME_PyTorch
cd FLAME_PyTorch
python setup.py install
mkdir model

下载模型

从此处下载FLAME模型。你需要注册并同意模型许可才能访问模型。将下载的模型复制到model文件夹内。
从RingNet项目下载地标嵌入。将其复制到model文件夹内。

演示

加载FLAME并在脸部可视化3D地标

请注意，我们使用了由RingNet项目引入的依赖于姿势的脸部轮廓。

在终端运行以下命令：

python main.py

许可证

FLAME遵循创作共用署名许可证。通过使用模型或代码，您承认已阅读许可条款（https://flame.is.tue.mpg.de/modellicense.html），理解它们，并同意受到其约束。如果您不同意这些条款和条件，您不得使用该代码。

引用FLAME

当在科学研究出版物中使用此代码时，请引用

@article{FLAME:SiggraphAsia2017,
  title = {Learning a model of facial shape and expression from {4D} scans},
  author = {Li, Tianye and Bolkart, Timo and Black, Michael. J. and Li, Hao and Romero, Javier},
  journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
  volume = {36},
  number = {6},
  year = {2017},
  url = {https://doi.org/10.1145/3130800.3130813}
}

另外，如果你在这个代码库中使用了依赖于姿势的动态地标，请引用

@inproceedings{RingNet:CVPR:2019,
title = {Learning to Regress 3D Face Shape and Expression from an Image without 3D Supervision},
author = {Sanyal, Soubhik and Bolkart, Timo and Feng, Haiwen and Black, Michael},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
month = jun,
year = {2019},
month_numeric = {6}
}

支持的项目

FLAME支持多个项目，例如

FLAME是SMPL-X：一起的人体、面部和手的新联合3D模型的一部分。

联系方式

如果您有关于PyTorch实现的问题，可以通过soubhik.sanyal@tuebingen.mpg.de和timo.bolkart@tuebingen.mpg.de联系我们。

致谢

此存储库是在对SMPLX所做的修改的基础上构建的。

项目介绍