0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotmega_moe gmm1优化
f152e7fe创建于 4 天前历史提交
文件最后提交记录最后更新时间
moe_init_routing_v3
mega_moe supports A8W4&A4W4 Co-authored-by: OblivionZHU<zhujun116@huawei.com> # message auto-generated for no-merge-commit merge: !5030 merge master into master mega_moe supports A8W4&A4W4 Created-by: OblivionZHU Commit-by: OblivionZHU Merged-by: cann-robot Description: ## 描述 在 mega_moe 算子的 FFN 阶段或相关通信路径中新增 FP4 量化类型支持，通过更低 bit-width 的数据表示进一步压缩通信数据量，提升 MoE 算子在大模型训练/推理中的整体性能。 ## 关联的Issue [Requirement|需求建议]: mega_moe算子建议新增量化类型 ## 测试 codecheck、蓝区冒烟、本地RDV ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!503010 天前
block_epilogue_swiglu_mx_quant.h
mega_moe gmm1优化 Co-authored-by: LiJianHua<lijianhua56@huawei.com> # message auto-generated for no-merge-commit merge: !5712 merge gmm_optimization into master mega_moe gmm1优化 Created-by: weixin_49300047 Commit-by: LiJianHua Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> megamoe算子中gmm1 m0的切块从128改为256 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2649 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!57124 天前
mega_moe.cpp
add kernel to mega moe Co-authored-by: junyu_lu<lujunyu11@huawei.com> # message auto-generated for no-merge-commit merge: !4776 merge master into master add kernel to mega moe Created-by: junyu_lu Commit-by: junyu_lu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!47761 个月前
mega_moe.h
mega_moe gmm1优化 Co-authored-by: LiJianHua<lijianhua56@huawei.com> # message auto-generated for no-merge-commit merge: !5712 merge gmm_optimization into master mega_moe gmm1优化 Created-by: weixin_49300047 Commit-by: LiJianHua Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> megamoe算子中gmm1 m0的切块从128改为256 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2649 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!57124 天前
mega_moe_base.h
mega_moe tiling refine Co-authored-by: lcttie<luchentao@huawei.com> # message auto-generated for no-merge-commit merge: !4941 merge master into master mega_moe tiling refine Created-by: lcttie Commit-by: lcttie Merged-by: cann-robot Description: ## 描述 1、调整 MegaMoeTilingData 部分属性的命名，提升可读性。 2、增加 cclBufferSize 和 Output 的校验 3、调整 ut 参数（cclBufferSize） 4、torch npu cclBufferSize 接口计算公式调整 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2376 ## 测试 本地编译/验证、黄区编译 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!494117 天前
mega_moe_combine_send.h
使用blaze+tensor_api实现mega_moe中的两个gmm Co-authored-by: Fanqirui<fanqirui1@huawei.com> # message auto-generated for no-merge-commit merge: !4856 merge mega_moe into master 使用blaze+tensor_api实现mega_moe中的两个gmm Created-by: fanqirui Commit-by: Fanqirui Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 使用blaze+tensor_api实现mega_moe中的两个gmm ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联Issue [#1960](https://gitcode.com/cann/ops-transformer/issues/1960) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ![image.png](https://raw.gitcode.com/user-images/assets/7673863/2dc5d121-7314-4fbd-9bae-0fe201a979cf/image.png 'image.png') ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!485629 天前
mega_moe_impl.h
mega_moe gmm1优化 Co-authored-by: LiJianHua<lijianhua56@huawei.com> # message auto-generated for no-merge-commit merge: !5712 merge gmm_optimization into master mega_moe gmm1优化 Created-by: weixin_49300047 Commit-by: LiJianHua Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> megamoe算子中gmm1 m0的切块从128改为256 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2649 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!57124 天前
mega_moe_tiling.h
mega_moe tiling refine Co-authored-by: lcttie<luchentao@huawei.com> # message auto-generated for no-merge-commit merge: !4941 merge master into master mega_moe tiling refine Created-by: lcttie Commit-by: lcttie Merged-by: cann-robot Description: ## 描述 1、调整 MegaMoeTilingData 部分属性的命名，提升可读性。 2、增加 cclBufferSize 和 Output 的校验 3、调整 ut 参数（cclBufferSize） 4、torch npu cclBufferSize 接口计算公式调整 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2376 ## 测试 本地编译/验证、黄区编译 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!494117 天前
mega_moe_tiling_key.h
megamoe host a4w4 adapt Co-authored-by: weixin_49300047<lijianhua56@huawei.com> # message auto-generated for no-merge-commit merge: !5007 merge megamoe_a4w4 into master megamoe host a4w4 adapt Created-by: weixin_49300047 Commit-by: LiJianHua;weixin_49300047 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 在 aclnn_common.h 中补齐 FP4 / FP8 dtype 桥接与 HCCL 公共封装，作为 A4W4 适配的基础设施。 2. 在 mega_moe_tiling.cpp 中将参数命名语义化（N → hiddenDim）并对齐 A4W4 路径的类型签名。 3. 在 torch 适配层 mega_moe.cpp 中修复 weight1 真实 dtype 透传，保证 tiling 走入正确的 A4W4 分支。 4. 在 moe_distribute_dispatch_v2_tiling.cpp 中补齐 scalesDim1 维度校验，将非法 shape 拦截在 host 侧。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2453 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!500714 天前
mega_moe_workspace_info.h
mega_moe supports A8W4&A4W4 Co-authored-by: OblivionZHU<zhujun116@huawei.com> # message auto-generated for no-merge-commit merge: !5030 merge master into master mega_moe supports A8W4&A4W4 Created-by: OblivionZHU Commit-by: OblivionZHU Merged-by: cann-robot Description: ## 描述 在 mega_moe 算子的 FFN 阶段或相关通信路径中新增 FP4 量化类型支持，通过更低 bit-width 的数据表示进一步压缩通信数据量，提升 MoE 算子在大模型训练/推理中的整体性能。 ## 关联的Issue [Requirement|需求建议]: mega_moe算子建议新增量化类型 ## 测试 codecheck、蓝区冒烟、本地RDV ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!503010 天前