| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Co-authored-by: HAAZZZEEEE<wang-taicheng@qq.com> # message auto-generated for no-merge-commit merge: !407 merge haze/mig_fia_to_mindiesd into dev [Feature][ops]迁移 fused infer attention score 算子到 MindIE-SD Created-by: HAAZZZEEEE Commit-by: HAAZZZEEEE Merged-by: lanwangli Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 本 PR 将 fused infer attention score 算子迁移到 MindIE-SD。 主要变更： - 新增 csrc/ops/fused_infer_attention_score/ 下的算子实现，包括 op api、op host tiling/checker、op kernel、fallback graph 路径和 UT 框架。 - 新增 csrc/ops/common/、csrc/ops/incre_flash_attention/、csrc/ops/prompt_flash_attention/ 下的 FIA/flash-attention 公共 host 与 kernel 工具。 - 接入 fused infer attention score plugin，并更新相关 CMake/build 脚本。 - 新增 Python 层入口 mindiesd/layers/flash_attn/fused_infer_attention_score.py。 - 新增 tests/ops/fused_infer_attention_score/ 下的测试入口和 UT 脚本。 - 同步更新中英文 quantization 文档。 # Test Plan - 编译算子组件： - bash build/build_ops.sh - bash build/build_ascendc_ops.sh - 运行 fused infer attention score UT： - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 运行 Python 侧 fused infer attention score 测试： - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py - Wan2.2 5B TI2V w8a8f8推理测试 # Test Report 待补充： - bash build/build_ops.sh: ok - bash build/build_ascendc_ops.sh: ok - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh: passed - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py: passed - Wan2.2 5B TI2V w8a8f8推理测试正常 See merge request: Ascend/MindIE-SD!407 | 1 个月前 | |
[Feature][ops] add fused_infer_attention_score op_api files_s for migrate FIA to mindiesd Co-authored-by: wenjiali_sh<liwenjia6@h-partners.com> # message auto-generated for no-merge-commit merge: !411 merge lwj_mindiesd_migrate_fia_to_mindiesd_s into dev [Feature][ops] add fused_infer_attention_score op_api files_s for migrate FIA to mindiesd Created-by: wenjiali_sh Commit-by: wenjiali_sh Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fix part of #ISSUE 198 # Purpose 新增用于 fused_infer_attention_score（融合推理注意力机制）的 C++ ACLNN 算子 API 实现文件，以及算子图模式（op_graph）下的降级回退核心逻辑。 本次新增的文件包括： - aclnn_fused_infer_attention_score_v4.cpp / .h (v4 版本的入口点文件) - aclnn_fused_infer_attention_score_v5.cpp (v5 版本的入口点实现，未引入头文件) - fused_infer_attention_score_inner.h (算子内部公共计算辅助头文件) - op_graph/CMakeLists.txt (算子图构建 CMake 配置文件) - op_graph/fallback_fused_infer_attention_score.cpp (算子图模式回退逻辑的核心实现) # Test Plan 1. 本地编译校验：运行 build/build_ops.sh 编译自定义算子库，确认新增的 csrc/ops/fused_infer_attention_score 目录下的 C++ 文件和 CMake 配置可顺利完成构建，且没有任何语法或编译报错。 2. 校验头文件引用在图模式回退下的编译稳定性。 # Test Report [请在此处粘贴本地编译通过的日志文本或 build_ops.sh 成功执行的终端截图] See merge request: Ascend/MindIE-SD!411 | 1 个月前 | |
fix：删除FIA冗余代码 Co-authored-by: yujunyu2<yujunyu3@huawei.com> # message auto-generated for no-merge-commit merge: !459 merge dev into dev fix：删除FIA冗余代码 Created-by: yjy_ac Commit-by: yujunyu2 Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fixes #323 关联 Issue：https://gitcode.com/Ascend/MindIE-SD/issues/323 # Purpose 删除 FIA arch35 的重复内核副本，把实现统一到 csrc/ops/fused_infer_attention_score/op_kernel/eagle_common/op_kernel/arch35。 dev 上同一套 arch35 kernel / tiling / vf 头文件同时存在于正式路径、csrc/ops/common/op_kernel/arch35/ 以及 eagle_common/common/。多副本会漂移；IFA / PFA 还用 #if __has_include 兜底到 ops/common，缺文件时可能静默编到过期副本。 本 PR 不改 FIA / IFA / PFA 的运行时算法与精度路径，只收口源文件与 include。 **改动范围（249 files, +35 / -142449）：** | 模块 | 范围 | 说明 | |------|------|------| | 删除重复副本 | csrc/ops/common/op_kernel/arch35/（100 个文件） | 删除与 eagle_common 重复的 arch35 kernel / tiling / vf | | 删除重复副本 | .../eagle_common/common/（133 个文件） | 删除另一套未使用的 common 副本 | | Host include | fia_tiling_*.h、fused_infer_attention_score_tiling_impl.h、IFA/PFA *_tiling_v2.h | include 改到 eagle_common/op_kernel/arch35 | | IFA / PFA 入口 | dummy / entry / processor / zero_output 等 | 去掉 common 兜底；正式路径缺失则 #error | | Kernel 自身 | flash_attention_score_antiquant_kernel.h、infer_flash_attention_sparse.h | 去掉指向已删 common 树的 __has_include 分支 | | UT 编译 | csrc/ops/fused_infer_attention_score/tests/ut/CMakeLists.txt | 增加 FIA_EAGLE_KERNEL_DIR include | # Test Plan 1. **编译验证** - 按仓内流程编译 FIA / IFA / PFA（build/build_ops.sh 或等价 AscendC 构建） - 确认 include 收口到 eagle_common/op_kernel/arch35 后可过编；正式路径缺失应编译期 #error，不再回退 ops/common/op_kernel/arch35 2. **FIA arch35 tiling UT** - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 该 UT 的 CMake 已增加 eagle kernel include，需确认能配置、编译并跑通 3. **FIA Python 接口（有 NPU 时）** - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py -v # Test Report 测试用例通过  See merge request: Ascend/MindIE-SD!459 | 13 小时前 | |
fix：删除FIA冗余代码 Co-authored-by: yujunyu2<yujunyu3@huawei.com> # message auto-generated for no-merge-commit merge: !459 merge dev into dev fix：删除FIA冗余代码 Created-by: yjy_ac Commit-by: yujunyu2 Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fixes #323 关联 Issue：https://gitcode.com/Ascend/MindIE-SD/issues/323 # Purpose 删除 FIA arch35 的重复内核副本，把实现统一到 csrc/ops/fused_infer_attention_score/op_kernel/eagle_common/op_kernel/arch35。 dev 上同一套 arch35 kernel / tiling / vf 头文件同时存在于正式路径、csrc/ops/common/op_kernel/arch35/ 以及 eagle_common/common/。多副本会漂移；IFA / PFA 还用 #if __has_include 兜底到 ops/common，缺文件时可能静默编到过期副本。 本 PR 不改 FIA / IFA / PFA 的运行时算法与精度路径，只收口源文件与 include。 **改动范围（249 files, +35 / -142449）：** | 模块 | 范围 | 说明 | |------|------|------| | 删除重复副本 | csrc/ops/common/op_kernel/arch35/（100 个文件） | 删除与 eagle_common 重复的 arch35 kernel / tiling / vf | | 删除重复副本 | .../eagle_common/common/（133 个文件） | 删除另一套未使用的 common 副本 | | Host include | fia_tiling_*.h、fused_infer_attention_score_tiling_impl.h、IFA/PFA *_tiling_v2.h | include 改到 eagle_common/op_kernel/arch35 | | IFA / PFA 入口 | dummy / entry / processor / zero_output 等 | 去掉 common 兜底；正式路径缺失则 #error | | Kernel 自身 | flash_attention_score_antiquant_kernel.h、infer_flash_attention_sparse.h | 去掉指向已删 common 树的 __has_include 分支 | | UT 编译 | csrc/ops/fused_infer_attention_score/tests/ut/CMakeLists.txt | 增加 FIA_EAGLE_KERNEL_DIR include | # Test Plan 1. **编译验证** - 按仓内流程编译 FIA / IFA / PFA（build/build_ops.sh 或等价 AscendC 构建） - 确认 include 收口到 eagle_common/op_kernel/arch35 后可过编；正式路径缺失应编译期 #error，不再回退 ops/common/op_kernel/arch35 2. **FIA arch35 tiling UT** - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 该 UT 的 CMake 已增加 eagle kernel include，需确认能配置、编译并跑通 3. **FIA Python 接口（有 NPU 时）** - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py -v # Test Report 测试用例通过  See merge request: Ascend/MindIE-SD!459 | 13 小时前 | |
fix：删除FIA冗余代码 Co-authored-by: yujunyu2<yujunyu3@huawei.com> # message auto-generated for no-merge-commit merge: !459 merge dev into dev fix：删除FIA冗余代码 Created-by: yjy_ac Commit-by: yujunyu2 Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes Fixes #323 关联 Issue：https://gitcode.com/Ascend/MindIE-SD/issues/323 # Purpose 删除 FIA arch35 的重复内核副本，把实现统一到 csrc/ops/fused_infer_attention_score/op_kernel/eagle_common/op_kernel/arch35。 dev 上同一套 arch35 kernel / tiling / vf 头文件同时存在于正式路径、csrc/ops/common/op_kernel/arch35/ 以及 eagle_common/common/。多副本会漂移；IFA / PFA 还用 #if __has_include 兜底到 ops/common，缺文件时可能静默编到过期副本。 本 PR 不改 FIA / IFA / PFA 的运行时算法与精度路径，只收口源文件与 include。 **改动范围（249 files, +35 / -142449）：** | 模块 | 范围 | 说明 | |------|------|------| | 删除重复副本 | csrc/ops/common/op_kernel/arch35/（100 个文件） | 删除与 eagle_common 重复的 arch35 kernel / tiling / vf | | 删除重复副本 | .../eagle_common/common/（133 个文件） | 删除另一套未使用的 common 副本 | | Host include | fia_tiling_*.h、fused_infer_attention_score_tiling_impl.h、IFA/PFA *_tiling_v2.h | include 改到 eagle_common/op_kernel/arch35 | | IFA / PFA 入口 | dummy / entry / processor / zero_output 等 | 去掉 common 兜底；正式路径缺失则 #error | | Kernel 自身 | flash_attention_score_antiquant_kernel.h、infer_flash_attention_sparse.h | 去掉指向已删 common 树的 __has_include 分支 | | UT 编译 | csrc/ops/fused_infer_attention_score/tests/ut/CMakeLists.txt | 增加 FIA_EAGLE_KERNEL_DIR include | # Test Plan 1. **编译验证** - 按仓内流程编译 FIA / IFA / PFA（build/build_ops.sh 或等价 AscendC 构建） - 确认 include 收口到 eagle_common/op_kernel/arch35 后可过编；正式路径缺失应编译期 #error，不再回退 ops/common/op_kernel/arch35 2. **FIA arch35 tiling UT** - bash tests/ops/fused_infer_attention_score/run_fia_arch35_ut.sh - 该 UT 的 CMake 已增加 eagle kernel include，需确认能配置、编译并跑通 3. **FIA Python 接口（有 NPU 时）** - pytest tests/ops/fused_infer_attention_score/test_fused_infer_attention_score_v2.py -v # Test Report 测试用例通过  See merge request: Ascend/MindIE-SD!459 | 13 小时前 |