| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
Add Linear and fused infer attention examples with required API support Co-authored-by: liranr<2501185979@qq.com> # message auto-generated for no-merge-commit merge: !139 merge dev630 into master Add Linear and fused infer attention examples with required API support Created-by: liranr Commit-by: liranr Merged-by: cann-robot Description: ## 描述 新增了 Linear 和 Fused Infer Attention 样例。 本 PR 同时补充和修正了以下基础能力： 1. **新增了高阶api SoftmaxFlashV2**。 2. **完善 Matmul 配置和代码生成** - 修正 get_mm_config 未正确遍历位置参数和关键字参数的问题。 - 修正 en_vec_nd2_nz 字段读取错误，并补充 double cache、channel split 等配置传递。 - 修正 MDL、Special MDL 和 IBShare 模式下配置模式未正确生效的问题。 - 支持在同一作用域中生成多个名称不同的 Matmul 配置，满足样例 10 同时使用 QK 和 PV 两个 Matmul 对象的需求。 - 支持静态 Matmul tiling 的代码生成，并为相应的 register_matmul 调用选择正确重载。 - 修正 MmadParams.unit_flag 的类型，使其与 Ascend C 接口定义一致。 3. **完善嵌套 JIT 函数处理** - 保留空的返回类型访问状态，支持无返回值 JIT 辅助函数的嵌套调用。 - 样例 10 使用多个 JIT 辅助函数拆分复杂的 Attention 流水，因此需要该能力保证函数声明和调用正确生成。 4. **补充样例与 CI 支持** - 将样例 9 和样例 10加入 NPU presmoke 测试列表。 - 扩展样例路径匹配规则，使两位数编号的样例能够使用 NPU 模式运行。 - 修正样例 7、8 的 Ascend C 构建脚本在未传入参数时访问未定义位置参数的问题。 - 修复样例8的Model仿真模式。 ## 关联的Issue 无。 ## 测试 1. python/test/unit/language/adv/test_activation.py 2. test/Target/AscendC/adv.mlir 3. test/run_presmoke_npu_test.sh ## 文档更新 1. docs/python-api/language/generated/asc.language.adv.softmax_flash_v2.md 2. examples/09_linear/README.md 3. examples/10_fused_infer_attention/README.md ## 类型标签 - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述：新增 Linear 和 Fused Infer Attention 样例 See merge request: cann/pyasc!139 | 29 天前 | |
Add Linear and fused infer attention examples with required API support Co-authored-by: liranr<2501185979@qq.com> # message auto-generated for no-merge-commit merge: !139 merge dev630 into master Add Linear and fused infer attention examples with required API support Created-by: liranr Commit-by: liranr Merged-by: cann-robot Description: ## 描述 新增了 Linear 和 Fused Infer Attention 样例。 本 PR 同时补充和修正了以下基础能力： 1. **新增了高阶api SoftmaxFlashV2**。 2. **完善 Matmul 配置和代码生成** - 修正 get_mm_config 未正确遍历位置参数和关键字参数的问题。 - 修正 en_vec_nd2_nz 字段读取错误，并补充 double cache、channel split 等配置传递。 - 修正 MDL、Special MDL 和 IBShare 模式下配置模式未正确生效的问题。 - 支持在同一作用域中生成多个名称不同的 Matmul 配置，满足样例 10 同时使用 QK 和 PV 两个 Matmul 对象的需求。 - 支持静态 Matmul tiling 的代码生成，并为相应的 register_matmul 调用选择正确重载。 - 修正 MmadParams.unit_flag 的类型，使其与 Ascend C 接口定义一致。 3. **完善嵌套 JIT 函数处理** - 保留空的返回类型访问状态，支持无返回值 JIT 辅助函数的嵌套调用。 - 样例 10 使用多个 JIT 辅助函数拆分复杂的 Attention 流水，因此需要该能力保证函数声明和调用正确生成。 4. **补充样例与 CI 支持** - 将样例 9 和样例 10加入 NPU presmoke 测试列表。 - 扩展样例路径匹配规则，使两位数编号的样例能够使用 NPU 模式运行。 - 修正样例 7、8 的 Ascend C 构建脚本在未传入参数时访问未定义位置参数的问题。 - 修复样例8的Model仿真模式。 ## 关联的Issue 无。 ## 测试 1. python/test/unit/language/adv/test_activation.py 2. test/Target/AscendC/adv.mlir 3. test/run_presmoke_npu_test.sh ## 文档更新 1. docs/python-api/language/generated/asc.language.adv.softmax_flash_v2.md 2. examples/09_linear/README.md 3. examples/10_fused_infer_attention/README.md ## 类型标签 - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述：新增 Linear 和 Fused Infer Attention 样例 See merge request: cann/pyasc!139 | 29 天前 | |
Add Linear and fused infer attention examples with required API support Co-authored-by: liranr<2501185979@qq.com> # message auto-generated for no-merge-commit merge: !139 merge dev630 into master Add Linear and fused infer attention examples with required API support Created-by: liranr Commit-by: liranr Merged-by: cann-robot Description: ## 描述 新增了 Linear 和 Fused Infer Attention 样例。 本 PR 同时补充和修正了以下基础能力： 1. **新增了高阶api SoftmaxFlashV2**。 2. **完善 Matmul 配置和代码生成** - 修正 get_mm_config 未正确遍历位置参数和关键字参数的问题。 - 修正 en_vec_nd2_nz 字段读取错误，并补充 double cache、channel split 等配置传递。 - 修正 MDL、Special MDL 和 IBShare 模式下配置模式未正确生效的问题。 - 支持在同一作用域中生成多个名称不同的 Matmul 配置，满足样例 10 同时使用 QK 和 PV 两个 Matmul 对象的需求。 - 支持静态 Matmul tiling 的代码生成，并为相应的 register_matmul 调用选择正确重载。 - 修正 MmadParams.unit_flag 的类型，使其与 Ascend C 接口定义一致。 3. **完善嵌套 JIT 函数处理** - 保留空的返回类型访问状态，支持无返回值 JIT 辅助函数的嵌套调用。 - 样例 10 使用多个 JIT 辅助函数拆分复杂的 Attention 流水，因此需要该能力保证函数声明和调用正确生成。 4. **补充样例与 CI 支持** - 将样例 9 和样例 10加入 NPU presmoke 测试列表。 - 扩展样例路径匹配规则，使两位数编号的样例能够使用 NPU 模式运行。 - 修正样例 7、8 的 Ascend C 构建脚本在未传入参数时访问未定义位置参数的问题。 - 修复样例8的Model仿真模式。 ## 关联的Issue 无。 ## 测试 1. python/test/unit/language/adv/test_activation.py 2. test/Target/AscendC/adv.mlir 3. test/run_presmoke_npu_test.sh ## 文档更新 1. docs/python-api/language/generated/asc.language.adv.softmax_flash_v2.md 2. examples/09_linear/README.md 3. examples/10_fused_infer_attention/README.md ## 类型标签 - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述：新增 Linear 和 Fused Infer Attention 样例 See merge request: cann/pyasc!139 | 29 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 29 天前 | ||
| 29 天前 | ||
| 29 天前 |