[ICLR 2024] SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction

当前项目代码仓暂无内容

自动翻译

SEINE

本仓库是SEINE官方实现：

SEINE 是一款视频扩散模型，它是视频生成系统Vchitect的一部分。您还可以查看我们的文本至视频（T2V）框架LaVie。

安装

准备环境

conda create -n seine python==3.9.16
conda activate seine
pip install -r requirement.txt

下载我们的模型及T2I基础模型

我们的模型基于Stable Diffusion v1.4版本构建，您可以从Stable Diffusion v1-4下载到pretrained目录下。

下载我们的模型检查点（可通过谷歌硬盘或hugging face获取），并将其保存到pretrained目录中。

现在，在./pretrained目录下，您应该能够看到以下内容：

├── pretrained
│   ├── seine.pt
│   ├── stable-diffusion-v1-4
│   │   ├── ...
└── └── ├── ...
        ├── ...

使用说明

对 I2V 进行推理

执行以下命令以获取 I2V 结果：

python sample_scripts/with_mask_sample.py --config configs/sample_i2v.yaml

生成的视频将保存在 ./results/i2v 目录中。

过渡推断

python sample_scripts/with_mask_sample.py --config configs/sample_transition.yaml

生成的视频将保存至 ./results/transition 目录下。

结果

图像转视频结果

输入图像	输出视频

转场结果

输入图像		输出视频

BibTeX

@article{chen2023seine,
title={SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction},
author={Chen, Xinyuan and Wang, Yaohui and Zhang, Lingjun and Zhuang, Shaobin and Ma, Xin and Yu, Jiashuo and Wang, Yali and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
journal={arXiv preprint arXiv:2310.20700},
year={2023}
}

请提供需要翻译的原始文本内容，我将按照您的要求进行翻译。

@article{wang2023lavie,
  title={LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models},
  author={Wang, Yaohui and Chen, Xinyuan and Ma, Xin and Zhou, Shangchen and Huang, Ziqi and Wang, Yi and Yang, Ceyuan and He, Yinan and Yu, Jiashuo and Yang, Peiqing and others},
  journal={arXiv preprint arXiv:2309.15103},
  year={2023}
}

免责声明

我们不对用户生成的内容承担责任。该模型并未接受训练以逼真地呈现人物或事件，因此使用它生成此类内容超出了模型的能力范围。严禁使用该模型生成色情、暴力、血腥内容，以及生成对人物及其环境、文化、宗教等贬低性或有害的内容。用户对其行为负全责。项目贡献者与用户的行为在法律上无关联，不对用户的行为承担责任。请负责任地使用生成模型，遵守道德和法律标准。