昇腾SD类模型推理引擎

文件	最后提交记录	最后更新时间
.gitcode	[dev]添加PR模板 Co-authored-by: mazhixin<mazhixin7@huawei.com> # message auto-generated for no-merge-commit merge: !44 merge dev into dev [dev]添加PR模板 Created-by: mazhixin00_00 Commit-by: mazhixin Merged-by: ascend-robot Description: [dev]添加PR模板 See merge request: Ascend/MindIE-SD!44	9 个月前
benchmarks	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
build	[feature]新增SparseBlockEstimate算子以及plugin和UT Co-authored-by: lanwangli<lanwangli@huawei.com> # message auto-generated for no-merge-commit merge: !67 merge bsa_op1 into dev [feature]新增SparseBlockEstimate算子以及plugin和UT Created-by: mazhixin00_00 Commit-by: lanwangli Merged-by: ascend-robot Description: [feature]新增SparseBlockEstimate算子 ![image.png](https://raw.gitcode.com/user-images/assets/8476587/a478399f-14ac-460d-a74c-99697cde5303/image.png 'image.png') 调用该算子plugin `import torch torch.ops.load_library("mindiesd/plugin/libPTAExtensionOPS.so") stride = 8 scale_value=query.shape[-1] -0.5 / stride smask, sct = torch.ops.mindie.sparse_block_estimate_mindie_sd( query=query, key=key, actual_seq_lengths=None, actual_seq_lengths_kv=None, input_layout="BNSD", stride=stride, sparse_size=128, num_heads=query.shape[1], num_key_value_heads=key.shape[1], scale_value=scale_value, threshold=1.0, causal=False, keep_sink=True, keep_recent=True, row_sparse=1.0 )` - query：支持fp16和bf16 - key：支持fp16和bf16 - actual_seq_lengths：目前只接受None - actual_seq_lengths_kv：目前只接受None - input_layout：目前只支持“BNSD”、“BSND”、“BSH” - stride：目前只支持8 - sparse_size：目前只支持128 - num_heads：query的head - num_key_value_heads：key和value的head - scale_value：headdim -0.5 / stride - threshold：1.0 时表示计算完整的注意力（完全不稀疏）。 - causal：为 True 时只计算 Attention Map 矩阵下三角部分，否则计算完整 Attention Map，默认值为True。 - keep_sink：为 True 时 Attention Map 矩阵的第一列必选，默认值为True。 - keep_recent：为 True 时 Attention Map 矩阵对角线上的 block 必选，默认值为True。 - row_sparse：取值为 0-1 之间的小数，用以强制保证每个 block 行的稀疏率大于 (1-row_sparse)，当 TopCDF 选择的稀疏率小于 (1-row_sparse) 时，使用 Topk进行选取，默认值为1。单算子测试结果： ![image.png](https://raw.gitcode.com/user-images/assets/8476587/7d69ecbf-0d50-4911-99b9-6f5cb3fa4d5b/image.png 'image.png') See merge request: Ascend/MindIE-SD!67	9 个月前
csrc	[feature]新增SparseBlockEstimate算子以及plugin和UT Co-authored-by: lanwangli<lanwangli@huawei.com> # message auto-generated for no-merge-commit merge: !67 merge bsa_op1 into dev [feature]新增SparseBlockEstimate算子以及plugin和UT Created-by: mazhixin00_00 Commit-by: lanwangli Merged-by: ascend-robot Description: [feature]新增SparseBlockEstimate算子 ![image.png](https://raw.gitcode.com/user-images/assets/8476587/a478399f-14ac-460d-a74c-99697cde5303/image.png 'image.png') 调用该算子plugin `import torch torch.ops.load_library("mindiesd/plugin/libPTAExtensionOPS.so") stride = 8 scale_value=query.shape[-1] -0.5 / stride smask, sct = torch.ops.mindie.sparse_block_estimate_mindie_sd( query=query, key=key, actual_seq_lengths=None, actual_seq_lengths_kv=None, input_layout="BNSD", stride=stride, sparse_size=128, num_heads=query.shape[1], num_key_value_heads=key.shape[1], scale_value=scale_value, threshold=1.0, causal=False, keep_sink=True, keep_recent=True, row_sparse=1.0 )` - query：支持fp16和bf16 - key：支持fp16和bf16 - actual_seq_lengths：目前只接受None - actual_seq_lengths_kv：目前只接受None - input_layout：目前只支持“BNSD”、“BSND”、“BSH” - stride：目前只支持8 - sparse_size：目前只支持128 - num_heads：query的head - num_key_value_heads：key和value的head - scale_value：headdim -0.5 / stride - threshold：1.0 时表示计算完整的注意力（完全不稀疏）。 - causal：为 True 时只计算 Attention Map 矩阵下三角部分，否则计算完整 Attention Map，默认值为True。 - keep_sink：为 True 时 Attention Map 矩阵的第一列必选，默认值为True。 - keep_recent：为 True 时 Attention Map 矩阵对角线上的 block 必选，默认值为True。 - row_sparse：取值为 0-1 之间的小数，用以强制保证每个 block 行的稀疏率大于 (1-row_sparse)，当 TopCDF 选择的稀疏率小于 (1-row_sparse) 时，使用 Topk进行选取，默认值为1。单算子测试结果： ![image.png](https://raw.gitcode.com/user-images/assets/8476587/7d69ecbf-0d50-4911-99b9-6f5cb3fa4d5b/image.png 'image.png') See merge request: Ascend/MindIE-SD!67	9 个月前
docker	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
docs	修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Co-authored-by: changetheway<guotaoyuan1@h-partners.com> # message auto-generated for no-merge-commit merge: !57 merge dev into dev [BUGFIX]修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Created-by: changetheway Commit-by: changetheway Merged-by: lanwangli Description: 1、之前出包名称是mindie_sd，安装卸载都是pip install/show/uninstall mindie_sd，调用时却需要import mindiesd。统一成mindiesd的命名。 2、支持依赖非默认的cann toolkit安装路径 See merge request: Ascend/MindIE-SD!57	9 个月前
examples	[Refactor]移除冗余模块代码，与模型解耦，删除和模型相关代码 Co-authored-by: weixin_44144262<lijinxi2@huawei.com> # message auto-generated for no-merge-commit merge: !15 merge del into dev [Refactor]移除冗余模块代码，与模型解耦，删除和模型相关代码 Created-by: weixin_44144262 Commit-by: weixin_44144262 Merged-by: ascend-robot Description: 移除冗余代码，与模型解耦，删除和模型相关代码 ![image.png](https://raw.gitcode.com/user-images/assets/8476587/f5336947-d4a8-409b-9875-f9a176ee327c/image.png 'image.png') See merge request: Ascend/MindIE-SD!15	9 个月前
extensions	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
mindiesd	[feature]新增customop,custom op通过统一的注册机制，提供了自定义算子的接入方式 Co-authored-by: lijinxi<lijinxi2@huawei.com> # message auto-generated for no-merge-commit merge: !46 merge custom_op into dev [feature]新增customop,custom op通过统一的注册机制，提供了自定义算子的接入方式 Created-by: weixin_44144262 Commit-by: lijinxi Merged-by: ascend-robot Description: # 背景新增customop,custom op通过统一的注册机制，提供了自定义算子的接入方式，并支持多个torch版本兼容的register fake，用于fx图推导meta类型数据的shape # 方案 _load_mindie_ops_library做统一注册 register_mindie_fake_op f做统一的fake注册，注册通过定义相应算子的fake实现添加装饰器与真实算子绑定，如 `@register_ops.register_mindie_fake_op("rope_mindie_sd") def rope_fake( x: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor, mode: int ) -> torch.Tensor: return torch.empty_like(x)` 原来的算子调用方式则被custom op的调用统一替换 `def rope( x: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor, mode: int ) -> torch.Tensor: if any(t.device.type == "meta" for t in [x, cos, sin]): return rope_fake(x, cos, sin, mode) return getattr(torch.ops.mindie, "rope_mindie_sd")(x, cos, sin, mode)` # 测试结果 compile和原有算子功能正常![image.png](https://raw.gitcode.com/user-images/assets/8476587/3319f3d6-2fc2-4517-9106-b3fc09f4eaf6/image.png 'image.png') See merge request: Ascend/MindIE-SD!46	9 个月前
tests	[feature]新增SparseBlockEstimate算子以及plugin和UT Co-authored-by: lanwangli<lanwangli@huawei.com> # message auto-generated for no-merge-commit merge: !67 merge bsa_op1 into dev [feature]新增SparseBlockEstimate算子以及plugin和UT Created-by: mazhixin00_00 Commit-by: lanwangli Merged-by: ascend-robot Description: [feature]新增SparseBlockEstimate算子 ![image.png](https://raw.gitcode.com/user-images/assets/8476587/a478399f-14ac-460d-a74c-99697cde5303/image.png 'image.png') 调用该算子plugin `import torch torch.ops.load_library("mindiesd/plugin/libPTAExtensionOPS.so") stride = 8 scale_value=query.shape[-1] -0.5 / stride smask, sct = torch.ops.mindie.sparse_block_estimate_mindie_sd( query=query, key=key, actual_seq_lengths=None, actual_seq_lengths_kv=None, input_layout="BNSD", stride=stride, sparse_size=128, num_heads=query.shape[1], num_key_value_heads=key.shape[1], scale_value=scale_value, threshold=1.0, causal=False, keep_sink=True, keep_recent=True, row_sparse=1.0 )` - query：支持fp16和bf16 - key：支持fp16和bf16 - actual_seq_lengths：目前只接受None - actual_seq_lengths_kv：目前只接受None - input_layout：目前只支持“BNSD”、“BSND”、“BSH” - stride：目前只支持8 - sparse_size：目前只支持128 - num_heads：query的head - num_key_value_heads：key和value的head - scale_value：headdim -0.5 / stride - threshold：1.0 时表示计算完整的注意力（完全不稀疏）。 - causal：为 True 时只计算 Attention Map 矩阵下三角部分，否则计算完整 Attention Map，默认值为True。 - keep_sink：为 True 时 Attention Map 矩阵的第一列必选，默认值为True。 - keep_recent：为 True 时 Attention Map 矩阵对角线上的 block 必选，默认值为True。 - row_sparse：取值为 0-1 之间的小数，用以强制保证每个 block 行的稀疏率大于 (1-row_sparse)，当 TopCDF 选择的稀疏率小于 (1-row_sparse) 时，使用 Topk进行选取，默认值为1。单算子测试结果： ![image.png](https://raw.gitcode.com/user-images/assets/8476587/7d69ecbf-0d50-4911-99b9-6f5cb3fa4d5b/image.png 'image.png') See merge request: Ascend/MindIE-SD!67	9 个月前
LICENSE.md	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
OWNERS	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
README.en.md	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
README.md	修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Co-authored-by: changetheway<guotaoyuan1@h-partners.com> # message auto-generated for no-merge-commit merge: !57 merge dev into dev [BUGFIX]修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Created-by: changetheway Commit-by: changetheway Merged-by: lanwangli Description: 1、之前出包名称是mindie_sd，安装卸载都是pip install/show/uninstall mindie_sd，调用时却需要import mindiesd。统一成mindiesd的命名。 2、支持依赖非默认的cann toolkit安装路径 See merge request: Ascend/MindIE-SD!57	9 个月前
SECURITY.md	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
contributing.md	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
requirements.txt	[dev]同步最新代码 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com>	10 个月前
setup.py	修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Co-authored-by: changetheway<guotaoyuan1@h-partners.com> # message auto-generated for no-merge-commit merge: !57 merge dev into dev [BUGFIX]修改出包名称为mindiesd、支持非默认cann toolkit安装路径 Created-by: changetheway Commit-by: changetheway Merged-by: lanwangli Description: 1、之前出包名称是mindie_sd，安装卸载都是pip install/show/uninstall mindie_sd，调用时却需要import mindiesd。统一成mindiesd的命名。 2、支持依赖非默认的cann toolkit安装路径 See merge request: Ascend/MindIE-SD!57	9 个月前

README

简介

MindIE SD（Mind Inference Engine Stable Diffusion）是 MindIE 的视图生成推理模型套件，它的目标是为稳定扩散（Stable Diffusion, SD）系列大模型提供在昇腾硬件及其软件栈上的端到端推理解决方案。该软件系统内部集成了各功能模块，并对外提供统一的编程接口。

以下是两个 MindIE-SD 代码仓库智能体，只需点击 "Ask AI" 徽章，即可进入其专属页面，有效缓解源码阅读的困难，开启智能代码学习与问答体验！它们将帮助您更深入地理解 MindIE-SD 的运行原理，并协助解决使用过程中遇到的问题与错误。

Latest News

11/30/2025：MindIE SD 正式宣布开源并面向公众开放！会议日历

架构介绍及关键特性

详见架构介绍（包含：关键特性，目录设计等）

现已支持主流扩散模型，对于部分 diffusers 模型进行了昇腾硬件亲和的加速改造，模型归档在 Modelers/ModelZoo，模型列表详见 List of Supported Models，也支持手动改造，详见 examples。

快速开始

本章节以 Wan2.1 模型为例，展示如何使用 MindIE SD 进行文本生成视频，关于该模型的更多推理内容请参见 Modelers - MindIE/Wan2.1。

源码编译安装 MindIE SD（镜像 / 软件包安装方式详见 developer_guide）

git clone https://gitcode.com/Ascend/MindIE-SD.git && cd MindIE-SD
python setup.py bdist_wheel

cd dist
pip install mindiesd-*.whl

安装模型所需依赖并执行推理。

在任意路径下载 Wan2.1 模型仓，并安装所需依赖，进行推理。用户可根据需要自行设置权重路径（例：/home/{用户名}/Wan2.1-T2V-14B）和推理脚本中的模型参数，参数解释详情请参见参数配置。
```
git clone https://modelers.cn/MindIE/Wan2.1.git && cd Wan2.1
pip install -r requirements.txt

# Wan2.1-T2V-14B 8 卡推理
bash examples/wan/infer_t2v.sh --model_base="/home/{用户名}/Wan2.1-T2V-14B"
```

加速特性效果展示

下面以 Wan2.1 模型为例，展示在 Atlas 800I A2 (1*64G) 机器上单卡和多卡实现不同加速特性的加速效果。

其中Cache表示使用AttentionCache特性, TP表示使用Tensor Parallel特性, FA稀疏表示使用FA稀疏中的RainFusion特性，CFG表示使用CFG并行特性，Ulysses表示使用Ulysses并行加速特性，模型生成的视频的H*W为832*480, sample_steps为50。

单卡加速效果

cache 加速效果

Baseline	+ Cache 加速比1.6	+ Cache 加速比2.0	+ Cache 加速比2.4
860.2s	631.7s 1.36x	541.8s 1.59x	516.9s *1.66x

并行策略效果

双卡单个并行策略效果

模型	卡数	并行策略	视频输出分辨率	算子优化	cache 算法优化	FA 稀疏	50 步 E2E 耗时(s)	加速比
Wan2.1	2	VAE	832*480	√	√	√	548.8	1.02x
Wan2.1	2	TP	832*480	√	√	√	502.8	1.12x
Wan2.1	2	CFG	832*480	√	√	√	332.6	1.69x
Wan2.1	2	Ulysses	832*480	√	√	√	327.6	*1.71x

注：* 号表示最优加速效果

多卡并行策略组合效果

模型	卡数	并行策略	视频输出分辨率	算子优化	cache 算法优化	FA 稀疏	50 步 E2E 耗时(s)	加速比
Wan2.1	4	TP=4, VAE	832*480	√	√	√	204.0	2.754x
Wan2.1	4	CFG=2, TP=2, VAE	832*480	√	√	√	175.8	3.19x
Wan2.1	4	Ulysses=4, VAE	832*480	√	√	√	151.1	3.71x
Wan2.1	4	CFG=2, Ulysses=2, VAE	832*480	√	√	√	147.9	*3.79x
Wan2.1	8	TP=8, VAE	832*480	√	√	√	141.5	3.96x
Wan2.1	8	CFG=2, TP=4, VAE	832*480	√	√	√	102.9	5.45x
Wan2.1	8	Ulysses=8, VAE	832*480	√	√	√	78.1	7.18x
Wan2.1	8	CFG=2, Ulysses=4, VAE	832*480	√	√	√	76.4	*7.34x