ImageDream 重建

彭王，石宜春

项目页面 | 论文 | 演示

imagedream-threestudio-teaser

安装

本部分与原始的 MVDream-threestudio 相同。如果您已安装环境，可跳过此步骤。

快速开始

在 ./extern/ImageDream/release_models/ 目录下克隆 Huggingface ImageDream 模型页面 上的模型卡片。

在论文中，我们使用了带有软着色的配置。在大多数情况下，计算法线需要 A100 GPU：

export PYTHONPATH=$PYTHONPATH:./extern/ImageDream
image_file="./extern/ImageDream/assets/astronaut.png"
ckpt_file="./extern/ImageDream/release_models/ImageDream/sd-v2.1-base-4view-ipmv.pt"
cfg_file="./extern/ImageDream/imagedream/configs/sd_v2_base_ipmv.yaml"

python3 launch.py \
    --config configs/$method.yaml --train --gpu 0 \
    name="imagedream-sd21-shading" tag="astronaut" \
    system.prompt_processor.prompt="an astronaut riding a horse" \
    system.prompt_processor.image_path="${image_file}" \
    system.guidance.ckpt_path="${ckpt_file}" \
    system.guidance.config_path="${cfg_file}"

对于仅扩散模型，请参考子目录 ./extern/ImageDream/ 请查看 ./threestudio/scripts/run_imagedream.sh 获取 bash 示例。

致谢

• 本代码基于 threestudio 和 MVDream 进行分叉，用于 SDS 和 3D 生成。

提示

1. 将物体放置在图像中心，大小不宜过大或过小。
2. 如果物体存在图像边缘截断的情况，可在配置中调大仰角和视场角的参数范围，例如设为 [0, 30]；否则，可对图像进行外延绘制并遵循提示 1。
3. 在进行 3D 渲染前，先通过 ImageDream 扩散模型检查结果，以节省时间。

预计算结果

• 由于扩散模型存在一定随机性，且获取基准结果耗时较长，我们已将论文中表 1 的复现预计算结果放置在 hugging face 数据集卡片 中。

引用

如果您觉得 ImageDream 对您的研究有所帮助，欢迎引用：

@article{wang2023imagedream,
  title={ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation},
  author={Wang, Peng and Shi, Yichun},
  journal={arXiv preprint arXiv:2312.02201},
  year={2023}
}