| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat: 新增 batch_matmul 批量矩阵乘算子样例（batch 维广播） Co-authored-by: ykxxlzhong<luzhihong3@hisilicon.com> # message auto-generated for no-merge-commit merge: !83 merge bmm into master feat: 新增 batch_matmul 批量矩阵乘算子样例（batch 维广播） Created-by: ykxxlzhong Commit-by: ykxxlzhong Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 1. AI Agent 平台: openCode 2. AI 模型: GLM 3. Prompt上下文: 将 cannbot-arena 的 batch_matmul 算子迁移至本仓（样例/测试/CI 注册/文档/注释精简/修复 codecheck 检出问题），人工确认与验收 ### PR功能描述 / 为什么需要这个合入: 新增 batch_matmul 非量化批量矩阵乘算子样例（ samples/matmul/batch_matmul/）： - C[c_batch, M, N] = A[a_batch, M, K] @ B[b_batch, N, K]^T + bias，batch 维按 numpy/torch.matmul 语义广播，支持 rank 2~6，fp16/bf16/fp32（核内 fp32 累加，可选 HF32 快速模式） - 转置由 stride 自动推导（canonical transpose(-1,-2) 视图零拷贝）；bias 经 BT 折入 init MMAD（[N] 共享 / [*c_batch, N] 逐 batch） - host tiling 对齐主线 batch_mat_mul_v3（ResetBaseDav3510 + CalL1TilingDefault + GetBaseK） - 测试：test/matmul/batch_matmul/test_batch_matmul.py，12 个 NPU 用例（fp16/bf16/fp32/HF32、bias、K-major 视图、batch 广播、非对齐尾块/kL1 边界、2-D 输入） - CI 注册：test_config.yaml / operator_list.yaml 新增 matmul/batch_matmul 节点 - 文档：README 算子列表与目录结构、CHANGELOG 条目、性能对比图 figures/batch_matmul.png ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: - ### 希望检视人员了解: - 环境为 cannbotdsl 0.6.0，面向 NPU ARCH 3510（Ascend 950PR / Ascend 950DT） - CI 验证命令：bash scripts/ci/run_tests.sh --ops=matmul/batch_matmul --mode=npu See merge request: cann/cannbot-dsl!83 | 1 个月前 | |
更新flash attention性能对比图：DSL vs FIA (CANN built-in)，15条用例覆盖decode/mtp/GQA/S1>S2/S1<S2等场景 Co-authored-by: ZacharyX<xiongzhiqiang3@hisilicon.com> # message auto-generated for no-merge-commit merge: !39 merge master into master 更新flash attention性能对比图：DSL vs FIA (CANN built-in)，15条用例覆盖decode/mtp/GQA/S1>S2/S1<S2等场景 Created-by: ZacharyX Commit-by: ZacharyX Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!39 | 2 个月前 | |
fix media to figures Co-authored-by: sky-zyh<zhangyuhan45@huawei.com> # message auto-generated for no-merge-commit merge: !23 merge zyh into master fix media to figures Created-by: sky-zyh Commit-by: sky-zyh Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: - 将仓库根目录 media/ 重命名为语义更明确的 figures/。 - 迁移以下四张性能对比图片，图片内容未发生变化： - flash_attn.png - flash_kda.png - matmul.png - rms_norm.png - 更新根目录 README.md 中的仓库结构说明。 - 更新 flash_attn、flash_kda、matmul、rms_norm README 中的图片引用路径。 - 统一仓库图片资源的目录命名，避免目录重命名后 README 图片链接失效。 ### 该PR关联的issue fixes [#2](https://gitcode.com/cann/cannbot-dsl/issues/2) ### 希望检视人员了解: - 本次修改只涉及图片目录重命名和 Markdown 引用更新，不涉及算子实现或运行逻辑。 - 四张图片均为 Git 100% rename，图片二进制内容未修改。 - 仓内已不存在有效的 media/ 路径引用。 ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing - 扫描仓内路径，确认没有遗留有效的 media/ 引用。 - 检查 figures/ 下四张图片均存在。 - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!23 | 2 个月前 | |
update_matmul_sample Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !45 merge update_matmul_sample into master update_matmul_sample Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [] 否 [√] 是 __1. AI Agent 平台: cannbot __2. AI 模型: GLM5.3 __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> 本 PR 完善 Matmul 类算子样例，新增 GroupedMatmul 和 MXFP8 QBMM，并调整 Matmul 目录结构，使不同场景的实现、文档和测试能够独立维护。 主要改动： - 新增 GroupedMatmul 样例，支持 group_type=-1/0/2、group_list_type=0/1 和 split_item=0/1/2/3。 - GroupedMatmul 覆盖 S1～S6 输入组织方式，支持单/多 Tensor、M 轴分组、K 轴分组，以及显式或隐式 group_list。 - GroupedMatmul Kernel 按各 Group 的真实 M/K 边界计算，Host 侧不执行 cat/stack/contiguous 或补齐。 - GroupedMatmul 使用自适应滑动窗口多核调度、跨 Group 负载均衡和 L2 Cache 控制。 - 新增 MXFP8 QBMM 样例，A/B 支持 float8_e4m3fn、float8_e5m2，ScaleA/ScaleB 使用公开三维 E8M0 paired-scale 布局。 - MXFP8 QBMM 支持四种 transposeA/transposeB 组合、M/N/K 尾块、Bias，以及 FP16/BF16/FP32 输出。 - MXFP8 Host Tiling 根据 Shape 和片上存储容量选择 baseM/baseN/baseK、kL1/scaleKL1 与 Buffer 深度。 - MXFP8 Kernel 支持 ASW 多核调度、AL1_FULL_LOAD、L1/L0 Ping-Pong、L0C Ping-Pong、UnitFlag 和 L2 Cache 控制。 - MXFP8 Torch 接口的参数顺序与 torch_npu.npu_quant_matmul 保持一致。 - 将非量化 Matmul 移入 samples/matmul/matmul，MXFP8 QBMM 放入 samples/matmul/quant_matmul。 - 同步调整测试目录和引用路径，并补充非对齐 Shape 的精度覆盖。 - 为 GroupedMatmul、Matmul 和 MXFP8 QBMM 补充 README、使用示例、精度测试和性能对比图。 ### 该PR关联的issue 无 ### 希望检视人员了解: - Device Kernel 面向 NPU ARCH 3510（Ascend 950PR / Ascend 950DT）。 - GroupedMatmul 请重点检视 S1～S6 输入映射、group_list 语义和跨 Group 多核调度。 - MXFP8 QBMM 请重点检视四种转置的数据与 Scale 布局、尾块 actual shape、kL1/scaleKL1 流水和 AL1_FULL_LOAD。 - samples/matmul/README.md 的删除属于目录拆分，内容已迁移到对应子目录。 ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [x] 性能优化 / Performance - [x] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [x] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [x] 单元测试通过 / UT passed - [x] 集成测试通过 / ST passed - [x] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [x] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [x] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!45 | 1 个月前 | |
Added kv_compress_epilog operator Co-authored-by: zhu-lei0614<zhulei113@huawei.com> # message auto-generated for no-merge-commit merge: !44 merge master into master Added kv_compress_epilog operator Created-by: zhu-lei0614 Commit-by: zhu-lei0614 Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!44 | 1 个月前 | |
fix media to figures Co-authored-by: sky-zyh<zhangyuhan45@huawei.com> # message auto-generated for no-merge-commit merge: !23 merge zyh into master fix media to figures Created-by: sky-zyh Commit-by: sky-zyh Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: - 将仓库根目录 media/ 重命名为语义更明确的 figures/。 - 迁移以下四张性能对比图片，图片内容未发生变化： - flash_attn.png - flash_kda.png - matmul.png - rms_norm.png - 更新根目录 README.md 中的仓库结构说明。 - 更新 flash_attn、flash_kda、matmul、rms_norm README 中的图片引用路径。 - 统一仓库图片资源的目录命名，避免目录重命名后 README 图片链接失效。 ### 该PR关联的issue fixes [#2](https://gitcode.com/cann/cannbot-dsl/issues/2) ### 希望检视人员了解: - 本次修改只涉及图片目录重命名和 Markdown 引用更新，不涉及算子实现或运行逻辑。 - 四张图片均为 Git 100% rename，图片二进制内容未修改。 - 仓内已不存在有效的 media/ 路径引用。 ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing - 扫描仓内路径，确认没有遗留有效的 media/ 引用。 - 检查 figures/ 下四张图片均存在。 - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!23 | 2 个月前 | |
add_qbmm_mxfp4_and_hif8tt Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !79 merge updeta_qbmm_and_dual_level_qbmm into master add_qbmm_mxfp4_and_hif8tt Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [] 否 [x] 是 __1. AI Agent 平台: openCode __2. AI 模型: GLM __3. Prompt上下文 : 略 ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> 补充量化矩阵乘样例：将原 MXFP8 样例扩展为统一的 MXFP8/MXFP4 实现，并新增 HiFloat8 TT（per-tensor）量化矩阵乘样例。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: - 将 MXFP8 样例及测试调整为 quant_batch_matmul_mx，支持 MXFP8、MXFP4、四种转置组合、可选 Bias 及 M/N/K 尾块。 - 新增 quant_batch_matmul_hif8_tt，支持 HiFloat8、INT8 和 FP8 输入；Scale 作为运行时 Tensor 传入，由设备侧计算并用于反量化。 - 补充两条样例的精度用例、README 和性能对比图，并更新测试配置中的 MX 样例名称。 ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [x] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [x] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [x] 单元测试通过 / UT passed - [x] 集成测试通过 / ST passed - [x] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [x] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [x] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!79 | 1 个月前 | |
add_qbmm_mxfp4_and_hif8tt Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !79 merge updeta_qbmm_and_dual_level_qbmm into master add_qbmm_mxfp4_and_hif8tt Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [] 否 [x] 是 __1. AI Agent 平台: openCode __2. AI 模型: GLM __3. Prompt上下文 : 略 ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> 补充量化矩阵乘样例：将原 MXFP8 样例扩展为统一的 MXFP8/MXFP4 实现，并新增 HiFloat8 TT（per-tensor）量化矩阵乘样例。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: - 将 MXFP8 样例及测试调整为 quant_batch_matmul_mx，支持 MXFP8、MXFP4、四种转置组合、可选 Bias 及 M/N/K 尾块。 - 新增 quant_batch_matmul_hif8_tt，支持 HiFloat8、INT8 和 FP8 输入；Scale 作为运行时 Tensor 传入，由设备侧计算并用于反量化。 - 补充两条样例的精度用例、README 和性能对比图，并更新测试配置中的 MX 样例名称。 ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [x] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [x] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [x] 单元测试通过 / UT passed - [x] 集成测试通过 / ST passed - [x] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [x] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [x] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!79 | 1 个月前 | |
update media of rms_norm Co-authored-by: ly_cann_coder<liyao152@huawei.com> # message auto-generated for no-merge-commit merge: !26 merge dev_0807 into master update media of rms_norm Created-by: ly_cann_coder Commit-by: ly_cann_coder Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!26 | 2 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 2 个月前 |
