dd6fe347创建于 4月9日历史提交

文件	最后提交记录	最后更新时间
magvit2_pytorch	!6729 [built-in][Pytorch][Magvit2]optimizer & readme fix Merge pull request !6729 from zzztq/master	1 年前
test	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
.gitignore	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
LICENSE	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
README.md	fix link validity Co-authored-by: frozenleaves<914814442@qq.com> # message auto-generated for no-merge-commit merge: !7517 merge master into master fix link validity Created-by: frozenn Commit-by: frozenleaves Merged-by: ascend-robot Description: ## Motivation Please describe the motivation of this PR and the goal you want to achieve through this PR. ## Modification Please briefly describe what modification is made in this PR. ## Self-test (Optional) If modifications to this PR may cause/fix function/accuracy/performance DTSs/issues, a self-inspection record needs to be attached. ## BC-breaking (Optional) If there are compatibility issues, such as dependencies on cann/torch_npu versions, they need to be explained in the PR. ## Checklist Before PR: - [ ] The new code needs to comply with the Clean Code specification. - [ ] The PR content is self-checked, and the expression can be clear and the writing standardized After PR: - [ ] CLA has been signed and all committers have signed the CLA in this PR. - [ ] The ci-pipeline is passed, Code Check is passed. See merge request: Ascend/ModelZoo-PyTorch!7517	1 个月前
README_ORG.md	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
__init__.py	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
npu_patch.py	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前
public_address_statement.md	!7376 optimize public_address_statement.md Merge pull request !7376 from 王凯宇/master	8 个月前
setup.py	!7335 [Docs] Requirements update Merge pull request !7335 from J石页/master	10 个月前
train.py	!6719 [built-in][Pytorch] 调整多模态模型存放目录 Merge pull request !6719 from zhangjunyi08/master	1 年前

Magvit2 for PyTorch

简介

模型介绍

Magvit2是谷歌提出的利用语言模型结构为视频和图像生成简洁且富有表现力的编码模型。本仓库主要将Magvit2模型迁移到了昇腾NPU上。

支持任务列表

本仓已经支持以下模型任务类型

模型	任务列表	是否支持
magvit2	train	✔

代码实现

参考实现：

url=https://github.com/lucidrains/magvit2-pytorch
commit_id=06edbd31a4daf3468f2af96bafdb5ef1b0259b19

适配昇腾 AI 处理器的实现：

url=https://gitcode.com/ascend/ModelZoo-PyTorch.git
code_path=PyTorch/built-in/mm/

Magvit2

准备训练环境

安装模型环境

该模型需要python3.10及以上版本，支持的PyTorch版本和三方库依赖如下表所示

表 1 三方库版本支持表

三方库	支持版本
PyTorch	2.1.0
torchvision	0.16.0

在模型源码包根目录下执行命令，安装模型需要的依赖。

pip install -e .

安装昇腾环境

请参考昇腾社区中《[Pytorch框架训练环境准备](https://www.hiascend.com /document/detail/zh/ModelZoo/pytorchframework/ptes)》文档搭建昇腾环境，本仓已支持表2中软件版本。

表 2 昇腾软件版本支持表

软件类型	支持版本
FrameworkPTAdapter	在研版本
CANN	在研版本
昇腾NPU固件	在研版本
昇腾NPU驱动	在研版本

准备数据集

用户需自行获取并解压MSRVTT数据集

参考数据结构如下：

/path/to/dataset/MSRVTT/videos/all/
├── video0.mp4
├── video1.mp4
└── ...

快速开始

训练任务

开始训练

进入解压后的源码包根目录。
```
cd /${模型文件夹名称} 
```

运行训练脚本。

该模型支持单机8卡训练。

单机8卡训练

bash test/train_full_8p_magvit2.sh --dataset_folder=/path/to/dataset/MSRVTT/videos/all/ # 8卡训练
bash test/train_perf_8p_magvit2.sh --dataset_folder=/path/to/dataset/MSRVTT/videos/all/ # 8卡性能

训练参数如下

  dataset_folder                       \\训练数据所在文件夹
  batch_size                           \\训练batchsize
  grad_accum_every                     \\梯度累积次数
  learning_rate                        \\学习率 
  num_train_steps                      \\最大训练步数

训练结果

性能

芯片	卡数	单步迭代时间（s/step)	batch_size	AMP_Type	Torch_Version
竞品A	8p	1.12	16	bf16	2.1
Atlas 800T A2	8p	1.40	16	bf16	2.1

公网地址说明

代码涉及公网地址参考 public_address_statement.md

变更说明

变更

2024.08.31：Magvit2 bf16训练任务首次发布。

FAQ

暂无