dev

ascend-robot[Feature][ops]Add mul_add fused operator support

ff8ebdd1创建于 4 天前历史提交

文件	最后提交记录	最后更新时间
ada_block_sparse_attention	fix: 解决退出core dump问题（解决ABSA tiling注册命名冲突） Co-authored-by: yujunyu2<yujunyu3@huawei.com> Co-authored-by: openLiBingCI<openlibing-robot@openlibing.com> # message auto-generated for no-merge-commit merge: !445 merge dev into dev fix: 解决退出core dump问题（解决ABSA tiling注册命名冲突） Created-by: yjy_ac Commit-by: yujunyu2;openLiBingCI Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fixes #205 关联 Issue：https://gitcode.com/Ascend/MindIE-SD/issues/205 # Purpose 修复同时编译安装 ABSA（ada_block_sparse_attention）与 FIA（fused_infer_attention_score）后，import mindiesd 成功但进程退出时在 libcust_opmaster_rt2.0.so 析构路径发生段错误（core dump）的问题。 **根因：** ABSA tiling 头文件复用了与 PromptFlashAttention（PFA）相同的 REGISTER_TILING_DATA_CLASS 注册键。FIA 的 CMake 会把 PFA/IFA tiling 源编进同一 libcust_opmaster_rt2.0.so，导致同键重复注册，退出析构时 double-free。 **本 PR 改动：** | 模块 | 文件 | 说明 | |------|------|------| | ABSA Host Tiling | csrc/ops/ada_block_sparse_attention/op_host/ada_block_sparse_attention_tiling.{h,cpp} | 将 tiling 结构体与 REGISTER_TILING_DATA_CLASS 注册名统一为 AdaBlockSparse* 前缀，消除与 PFA 的键冲突 | | ABSA Kernel | csrc/ops/ada_block_sparse_attention/op_kernel/ada_block_sparse_attention_base.h 等 | 同步适配重命名后的 tiling 类型 | | FIA Host | csrc/ops/fused_infer_attention_score/op_host/CMakeLists.txt | eagle_fused_infer_attention_score_depends 补充 common 依赖，修复单独编译 FIA 缺头文件问题 | | FIA Kernel | infer_flash_attention_sparse.h（两处） | 修正 fallback include 路径，保证单独编译可找到 infer_flash_attention_comm.h | **行为说明：** - 修复后：ABSA + FIA 同时编进 vendor 时，import mindiesd 后进程可正常退出，不再 core dump - ABSA / FIA 算子功能与精度路径保持不变，仅消除重复注册与编译依赖问题 # Test Plan 1. **编译验证** - bash build/build_ops.sh（含 ABSA + FIA） - bash build/build_plugin.sh - 确认 libcust_opmaster_rt2.0.so / libPTAExtensionOPS.so 正常生成并安装 2. **退出段错误回归** - 设置 ASCEND_CUSTOM_OPP_PATH 指向同时包含 ABSA + FIA 的 vendor - python3 -c "import mindiesd; print('import ok')" - 期望：进程正常退出（exit code 0），无 Segmentation fault 3. **ABSA plugin NPU 精度测试** - bash tests/run_test.sh --npu_only tests/plugin/test_adablocksparseattention.py - 或：python tests/plugin/test_adablocksparseattention.py 4. **FIAScore v2 测试** - python -m pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py -v # Test Report **测试环境：** Ascend NPU，MindIE-SD dev（含本 PR 改动），已安装 ABSA + FIA custom OPP 与 plugin | 测试项 | 命令 | 结果 | |--------|------|------| | 退出段错误回归 | python3 -c "import mindiesd; print('import ok')" | ✅ 进程正常退出，无 core dump | | ABSA plugin NPU 测试 | tests/plugin/test_adablocksparseattention.py | ✅ 通过 | | FIAScore v2 测试 | tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py | ✅ 通过 |    See merge request: Ascend/MindIE-SD!445	23 天前
cmake	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前
common	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前
fused_infer_attention_score	fix hunyuan魔改模型，使用fa512算子时，被shape校验卡住的问题，使算子支持512 Co-authored-by: xuzhenqiang<xuzhenqiang3@huawei.com> # message auto-generated for no-merge-commit merge: !446 merge dev into dev fix hunyuan魔改模型，使用fa512算子时，被shape校验卡住的问题，使算子支持512 Created-by: zqxu Commit-by: xuzhenqiang Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fixes #217 # Purpose Hunyuan 魔改模型使用 FA512 算子时，V 侧的 per-block dequant scale 被 host checker 的 硬编码 fp8KVBlockSize=256 校验拦截，导致形状校验失败。 在 CheckDequantScaleShapePerblock 中，仅对 V 侧的 valueAntiquantScale S 维校验 新增 block_size=512 分支，与原有 256 做 AND/OR 判断： - NTD_TND 路径：kTSize/256+bSize → 追加 kTSize/512+bSize - non-NTD 路径：Ceil(s2Size, 256) → 追加 Ceil(s2Size, 512) K 侧保持原有 256 校验不变。 # Test Plan 1. 编译算子：python setup.py build_py && pip install -e . 2. 运行 FP8 per-block NPU 测试： pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py -v 3. Hunyuan 魔改模型 FA512 路径单步推理验证 # Test Report  > 待补充 See merge request: Ascend/MindIE-SD!446	21 天前
incre_flash_attention	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前
la_preprocess	[feature]aclnn: la_preprocess Co-authored-by: guowenna1<guowenna1@huawei.com> # message auto-generated for no-merge-commit merge: !167 merge lapre_aclnn into dev [feature]aclnn: la_preprocess Created-by: guowenna1 Commit-by: guowenna1 Merged-by: ascend-robot Description: # Purpose 将kernel的接入由aclop转换为aclnn：la_preprocess # Test Plan > 单算子测试 > 全量测试 # Test Report   See merge request: Ascend/MindIE-SD!167	5 个月前
laser_attention	[feature]aclnn: laser_attention Co-authored-by: guowenna1<guowenna1@huawei.com> # message auto-generated for no-merge-commit merge: !166 merge la_aclnn into dev [feature]aclnn: laser_attention Created-by: guowenna1 Commit-by: guowenna1 Merged-by: ascend-robot Description: # Purpose 将kernel的接入由aclop转换为aclnn：laser_attention # Test Plan > 单算子测试 > 全量测试 # Test Report   See merge request: Ascend/MindIE-SD!166	5 个月前
mul_add	[Feature][ops]Add mul_add fused operator support Co-authored-by: wangwei<daviwang2026@qq.com> # message auto-generated for no-merge-commit merge: !481 merge feature/mul_add_ops_dev into dev [Feature][ops]Add mul_add fused operator support Created-by: daviwang Commit-by: wangwei Merged-by: ascend-robot Description: # Purpose 新增 mul_add 融合算子，支持在昇腾 NPU 上执行融合乘加计算： - 算子接口：mindiesd::mul_add(a, b, c) -> y - 计算公式：y = a + b * c - 输入 shape：a/b = [batch, seq_len, hidden_size]，c = [batch, 1, hidden_size] - 支持数据类型：FP16、BF16 - 支持计算平台：ascend910b、ascend910_93、ascend950 主要变更： 1. 在 csrc/ops/mul_add/ 下新增算子定义（OpDef）、shape/dtype 推导（proto）、tiling 计算及 AscendC kernel 实现。 2. 在 csrc/plugin/ 下新增 mul_add PTA plugin，并在 register_ops.cpp 中注册到 mindiesd torch 库。 3. 更新 csrc/CMakeLists.txt，将 mul_add.cpp 加入 PTAExtensionOPS 编译。 4. 更新 build/build_ops.sh 默认算子列表，确保默认构建包含 mul_add。 5. 在 tests/ops/mul_add/ 下新增单元测试，覆盖基础 shape、典型 LLM shape、小 shape 边界及 FP16 精度场景。 # Test Plan > 设计了哪些测试内容，指导他人如何对你的PR进行测试\ > Apply information to show others your test design and how to test your Pull Request 1. 编译 AscendC 算子： bash cd build bash build_ops.sh 2. 编译 PTA plugin： bash cd build bash build_plugin.sh 3. 运行 mul_add 单元测试（需在 NPU 环境）： bash cd tests/ops/mul_add python test_mul_add.py 4. 可选：通过环境变量指定 NPU 卡号： ``bash MINDIESD_TEST_NPU_ID=7 python test_mul_add.py # Test Report • 测试覆盖： • 基础小 shape：(1, 4, 128) • 典型 LLM shape：(1, 7200, 4608)、(1, 256, 4608)、(1, 7200, 3072)、(1, 256, 3072) • 多组小 shape 边界：(1, 1, 64) ~ (1, 64, 1024) • FP16 精度：(1, 256, 3072) • 参考实现：ref = a.float() + b.float() * c.float() • 精度阈值：rtol=1e-2, atol=1e-2 - 运行环境：CANN 9.1.T560, Ascend950PR NPU, Python 3.11, aarch64 - 所有新增测试用例均通过： - test_mul_add_basic PASSED - test_mul_add_typical PASSED - test_mul_add_small_shapes PASSED - test_mul_add_fp16` PASSED - 最大误差：BF16 < 1e-2，FP16 < 1e-2 See merge request: Ascend/MindIE-SD!481	4 天前
norm_rope_concat	[Feature][ops]Add norm_rope_concat fused operator Co-authored-by: zhangtian6691844<zhangtiantian5@huawei.com> # message auto-generated for no-merge-commit merge: !455 merge feat/norm_rope_concat_dev into dev [Feature][ops]Add norm_rope_concat fused operator Created-by: zhangtian6691844 Commit-by: zhangtian6691844 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251224 --> # Which issue(s) this PR fixes or accomplishes > **如问题已解决，按照下方示例附上ISSUE单号 / Apply bug or request issue as follow if the solved**\ > Fixes #ISSUE ID\ > **Fixes关键字会自动关闭issue，如问题部分解决请不要使用Fixes，可以用下方标签替代\ > Fixes will automatically close issue, please use the following tag if only part of the issue is solved**\ > Fix part of #ISSUE ID N/A — 新增特性，非问题修复。 # Purpose 为 MindIE-SD 新增 **NormRopeConcat 融合算子**，将三个高频操作（LayerNorm/RMSNorm、RoPE 旋转位置编码、KV Concat）融合为一个 AscendC 自定义算子，减少显存访问次数和 kernel launch 开销，提升大模型推理性能。 **算子功能：** - 对 Query/Key 输入执行 LayerNorm 或 RMSNorm（可选 affine） - 对 Query/Key 执行 RoPE 旋转位置编码（支持 interleave / half 两种模式） - 将 encoder KV 与当前 KV concat 拼接（支持 encoder 在前或在后） - 支持训练模式，输出 norm 的 mean/rstd 用于反向传播 - 支持 16 个输入、11 个输出，全部可选张量自动处理 **变更范围（18 files, +3819/-6 lines）：** | 模块 | 文件 | 说明 | |------|------|------| | AscendC Host | csrc/ops/norm_rope_concat/op_host/ (6 files) | 算子定义、Shape/Dtype 推导、Tiling 策略 | | AscendC Kernel | csrc/ops/norm_rope_concat/op_kernel/ (4 files) | NPU 核函数实现 | | PyTorch 插件 | csrc/plugin/norm_rope_concat.{cpp,h} (2 files) | 插件适配层，调用 ACLNN 接口 | | 构建集成 | build/build_ops.sh, csrc/CMakeLists.txt, csrc/plugin/register_ops.cpp | 算子注册与编译 | | 单元测试 | tests/ops/norm_rope_concat/ (3 files) | Python 功能测试 + C++ Kernel UT | # Test Plan > 设计了哪些测试内容，指导他人如何对你的PR进行测试\ > Apply information to show others your test design and how to test your Pull Request 1. **编译验证** - AscendC 算子编译（ascend910_93 / ascend910b / ascend950 三芯片） - PyTorch 插件编链（libPTAExtensionOPS.so） - 构建环境：CANN 9.1.T560 + bisheng + PyTorch 2.x 2. **单元测试（Python）** - test_norm_rope_concat.py：覆盖 norm_type (NONE/LAYER_NORM/RMS_NORM)、rope_type (NONE/INTERLEAVE/HALF)、concat_order (BEFORE/AFTER)、训练模式等组合 - run_simple_test.py：快速冒烟测试 3. **C++ Kernel UT** - test_norm_rope_concat_kernel.cpp：验证 Tiling 数据传递与 kernel 逻辑正确性 4. **回归验证** - 已有算子（LA、AdaLA、RainFusionAttention 等）编译不受影响 - build_ops.sh 中 norm_rope_concat 作为 ascendc_ops 之一参与构建 # Test Report | 测试项 | 芯片 | 结果 | |--------|------|------| | AscendC 编译 (op_host_aclnn) | - | ✅ PASS | | AscendC 编译 (opsproto) | - | ✅ PASS | | AscendC 编译 (optiling) | - | ✅ PASS | | AscendC Kernel 生成 | ascend910_93 | ✅ PASS | | AscendC Kernel 生成 | ascend910b | ✅ PASS | | AscendC Kernel 生成 | ascend950 | ✅ PASS | | CANN-custom_ops .run 打包 | - | ✅ PASS | | PyTorch 插件编译链接 | - | ✅ PASS (100%) | | 已有算子兼容性 | - | ✅ 无影响 | **测试环境：** CANN 9.1.T560, Ascend950PR NPU, Python 3.11, aarch64 See merge request: Ascend/MindIE-SD!455	8 天前
prompt_flash_attention	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前
quant_flash_attn	[feature][ops]: add mxfp4 quant flash attention softmax variants Co-authored-by: lijinxi<lijinxi2@huawei.com> # message auto-generated for no-merge-commit merge: !347 merge dev into dev [feature][ops]: add mxfp4 quant flash attention softmax variants Created-by: weixin_44144262 Commit-by: lijinxi Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes [#136](https://gitcode.com/Ascend/MindIE-SD/issues/136) # Purpose 本 PR 更新 MXFP4 量化 Flash Attention 算子实现。 主要变更： - 更新 quant flash attention block cube/vector kernel 逻辑。 - 调整 kernel 公共定义和 VF helper 文件。 - 新增 MXFP4 softmax VF 变体，支持 qs128/kvs32 和 qs128/kvs256 布局。 - 更新 quant flash attention metadata AICPU 侧处理，适配新的算子路径。 本 PR 仅包含算子 C++/kernel 代码变更，不包含 Python 运行时代码和 UT 变更。 # Test Plan - 编译 quant flash attention 自定义算子。 - 执行 quant flash attention 算子 UT，覆盖 MXFP4 路径。 - 验证 qs128/kvs32、qs128/kvs256 布局下的 MXFP4 attention case。 # Test Report - GitCode 远端 hook 检查：每次提交均 PASSED。 - 执行本地编译和 UT。  See merge request: Ascend/MindIE-SD!347	1 个月前
quant_flash_attn_metadata	[build]: 添加安全编译和链接选项 Co-authored-by: lijinxi<lijinxi2@huawei.com> # message auto-generated for no-merge-commit merge: !448 merge dev into dev [build]: 添加安全编译和链接选项 Created-by: weixin_44144262 Commit-by: lijinxi Merged-by: ascend-robot Description: # Purpose 按照安全编译指南整改新增编译内容 # Test Plan 测试sd编译和涉及的算子的模型端到端推理 # Test Report  See merge request: Ascend/MindIE-SD!448	21 天前
sparse_block_estimate	【docs】文档修改-增加API参考&加速API Co-authored-by: xiao-qing123<xiaoqing14@h-partners.com> # message auto-generated for no-merge-commit merge: !263 merge dev into dev 【docs】文档修改-增加API参考&加速API Created-by: xiao-qing123 Commit-by: xiao-qing123 Merged-by: ascend-robot Description: fixes [#86](https://gitcode.com/Ascend/MindIE-SD/issues/86) 1、新增API参考（社区API接口） 2、新增加速API（原社区layer层） 3、删除readme中的快速入门和单多卡并行示例内容（有单独的quick_start承载） 4、算子融合单独拆分出来，在特性章节独立存在 5、删除特性章节目录名称中的“加速特性” 6、黄区大模型检测问题修改 See merge request: Ascend/MindIE-SD!263	3 个月前
tik	【docs】文档修改-增加API参考&加速API Co-authored-by: xiao-qing123<xiaoqing14@h-partners.com> # message auto-generated for no-merge-commit merge: !263 merge dev into dev 【docs】文档修改-增加API参考&加速API Created-by: xiao-qing123 Commit-by: xiao-qing123 Merged-by: ascend-robot Description: fixes [#86](https://gitcode.com/Ascend/MindIE-SD/issues/86) 1、新增API参考（社区API接口） 2、新增加速API（原社区layer层） 3、删除readme中的快速入门和单多卡并行示例内容（有单独的quick_start承载） 4、算子融合单独拆分出来，在特性章节独立存在 5、删除特性章节目录名称中的“加速特性” 6、黄区大模型检测问题修改 See merge request: Ascend/MindIE-SD!263	3 个月前
utils	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前
CMakeLists.txt	[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407	27 天前