0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotS1外切性能优化
94577628创建于 6 天前历史提交
文件最后提交记录最后更新时间
arch22
新增sparse9 tilingkey Co-authored-by: zhouhanqi777<zhouhanqi4@huawei.com> Co-authored-by: jia-zhixi<jiazhixi1@huawei.com> # message auto-generated for no-merge-commit merge: !5545 merge add_tilingkey_0519 into master 新增sparse9 tilingkey Created-by: j00958217 Commit-by: zhouhanqi777;jia-zhixi Merged-by: cann-robot Description: ## 描述 sparse9引入性能劣化，通过新增tilingkey以及模板参数隔离方式恢复性能 ## 关联的Issue 关联Issue--> [#2699](https://gitcode.com/cann/ops-transformer/issues/2699) 问题单单号-->DTS2026040923879、DTS2026042431520 ## 测试 二级冒烟 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!55456 天前
arch35
S1外切性能优化 Co-authored-by: zzy__<zhaozhiyong15@hisilicon.com> # message auto-generated for no-merge-commit merge: !5389 merge S1OutUpdate into master S1外切性能优化 Created-by: zzy__ Commit-by: zzy__ Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> S1外切性能优化 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!53896 天前
CMakeLists.txt
build.sh 同步example ut 分soc执行 Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !1142 merge master into master build.sh 同步example ut 分soc执行 Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 build.sh 同步example ut 分soc执行 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!11424 个月前
fia_tiling_base.h
FIA clean code去除多余空格和头文件 Co-authored-by: aiyang2<aiyang2@huawei.com> # message auto-generated for no-merge-commit merge: !1942 merge master into master FIA clean code去除多余空格和头文件 Created-by: aiyang4 Commit-by: aiyang2 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!19423 个月前
fia_tiling_info.cpp
更新license Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !568 merge lic into master 更新license Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述 更新license <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!5685 个月前
fia_tiling_info.h
拦截报错信息修改 Co-authored-by: fengzixiao<fengzixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !5213 merge master into master 拦截报错信息修改 Created-by: fengzixiao Commit-by: fengzixiao Merged-by: cann-robot Description: ## 描述 拦截报错信息修改，GQA mxfp8全量化不支持传入deqScale1、deqScale2，GQA mxfp8全量化不支持非PA场景 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 二级冒烟 ## 文档更新 更新了aclnnFusedInferAttentionScoreV5.md ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!521320 天前
fia_tiling_shape.cpp
IFA算子新增sparsemode类型9，支持树形mask输入 Co-authored-by: l00935273<liyangzhi1@huawei.com> Co-authored-by: jiangyu741<jiangyu100@huawei.com> Co-authored-by: jia-zhixi<jiazhixi1@huawei.com> # message auto-generated for no-merge-commit merge: !2045 merge master into master IFA算子新增sparsemode类型9，支持树形mask输入 Created-by: j00958217 Commit-by: jia-zhixi;jiangyu741;l00935273 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 改动原因：IFA算子支持树形mask输入，新增sparseMode9，命名为tree mask 支持范围：mla全量化/非量化，gqa非量化 改动方法：sparse9独立实现mask从gm至ub搬运方式，复用部分sparse3处理流程，新增相关特性拦截，并新增tree mask相关文档描述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1413 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了aclnnFusedInferAttentionScoreV4.md文件 更新了sparse_mode参数说明.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [.] 其他，请描述：sparseMode参数新增类型9 See merge request: cann/ops-transformer!20452 个月前
fia_tiling_shape.h
fia noquant refactor Co-authored-by: caizhengyang<caizhengyang1@huawei.com> # message auto-generated for no-merge-commit merge: !699 merge master into master fia noquant refactor Created-by: caizhengyang Commit-by: caizhengyang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!6994 个月前
fia_tiling_templates_registry.h
fia gqa enable balance split core to improve perf Co-authored-by: tang-hao-hw-gitcode<tanghao71@hisilicon.com> # message auto-generated for no-merge-commit merge: !4963 merge master into master fia gqa enable balance split core to improve perf Created-by: tang-hao-hw-gitcode Commit-by: tang-hao-hw-gitcode Merged-by: cann-robot Description: ## 描述 A5 FIA GQA模板支持负载均衡，提升小bs长序列、序列不均场景下性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 FIA算子二级冒烟、典型网络性能用例、网络泛化性能用例 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!496325 天前
split_core.cpp
IFA算子新增sparsemode类型9，支持树形mask输入 Co-authored-by: l00935273<liyangzhi1@huawei.com> Co-authored-by: jiangyu741<jiangyu100@huawei.com> Co-authored-by: jia-zhixi<jiazhixi1@huawei.com> # message auto-generated for no-merge-commit merge: !2045 merge master into master IFA算子新增sparsemode类型9，支持树形mask输入 Created-by: j00958217 Commit-by: jia-zhixi;jiangyu741;l00935273 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 改动原因：IFA算子支持树形mask输入，新增sparseMode9，命名为tree mask 支持范围：mla全量化/非量化，gqa非量化 改动方法：sparse9独立实现mask从gm至ub搬运方式，复用部分sparse3处理流程，新增相关特性拦截，并新增tree mask相关文档描述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1413 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了aclnnFusedInferAttentionScoreV4.md文件 更新了sparse_mode参数说明.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [.] 其他，请描述：sparseMode参数新增类型9 See merge request: cann/ops-transformer!20452 个月前
split_core.h
IFA算子新增sparsemode类型9，支持树形mask输入 Co-authored-by: l00935273<liyangzhi1@huawei.com> Co-authored-by: jiangyu741<jiangyu100@huawei.com> Co-authored-by: jia-zhixi<jiazhixi1@huawei.com> # message auto-generated for no-merge-commit merge: !2045 merge master into master IFA算子新增sparsemode类型9，支持树形mask输入 Created-by: j00958217 Commit-by: jia-zhixi;jiangyu741;l00935273 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 改动原因：IFA算子支持树形mask输入，新增sparseMode9，命名为tree mask 支持范围：mla全量化/非量化，gqa非量化 改动方法：sparse9独立实现mask从gm至ub搬运方式，复用部分sparse3处理流程，新增相关特性拦截，并新增tree mask相关文档描述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1413 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了aclnnFusedInferAttentionScoreV4.md文件 更新了sparse_mode参数说明.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [.] 其他，请描述：sparseMode参数新增类型9 See merge request: cann/ops-transformer!20452 个月前
split_core_v2.cpp
训推归一_flash_attn_后续修改 Co-authored-by: Yuanfeng_HW<yuanfeng24@huawei.com> # message auto-generated for no-merge-commit merge: !5384 merge push_flash_attn into master 训推归一_flash_attn_后续修改 Created-by: Yuanfeng_HW Commit-by: Yuanfeng_HW Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 需求：新增新接口算子flash_attn，该算子支持非量化场景下FA训练正向与推理功能 具体支持功能： 1、基础端到端功能，tiling + kernel + interface （继承 + 新开发） 1.1 基础layout layout_q: BSND dtype_q BF16/FP16 layout_kv: BSND dtype_kv BF16/FP16 layout_out: BSND dtype_out BF16/FP16 1.2 使用aicpu MetaData 输入进行负载均衡调度 1.3 Metadata参数支持不传 1.4 PTA接口放Transformer仓 2、支持 seqused_q， seqused_kv （继承 + int32 适配） 3、 layout 泛化支持（含PageAttention）（继承 + cu_seqlens_q、cu_seqlens_kv shape dtype 适配 ） 4、mask 支持 mode 1 ， 3 5、支持行无效 （继承） 6、softmax_scale 支持None输入（新开发） 7、支持softmaxLse 输出，支持全量layout （继承功能） ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2336 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!538417 天前
split_core_v2.h
fia non quant kernel refactor Co-authored-by: tang-hao-hw-gitcode<tanghao71@hisilicon.com> # message auto-generated for no-merge-commit merge: !4699 merge master into master fia non quant kernel refactor Created-by: tang-hao-hw-gitcode Commit-by: tang-hao-hw-gitcode Merged-by: cann-robot Description: ## 描述 推理FA，非量化模板负载均衡优化 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 二级冒烟 算子UT ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!46991 个月前