0

0

cann-robotmoe类部分算子OP_LOGE接口调整

1ff1e037创建于 1 天前历史提交

文件	最后提交记录	最后更新时间
docs	doc Tools扫描问题修改 Co-authored-by: gitee-yanglulu<yanglulul@h-partners.com> # message auto-generated for no-merge-commit merge: !3415 merge master into master doc Tools扫描问题修改 Created-by: gitee-yanglulu Commit-by: gitee-yanglulu Merged-by: cann-robot Description: doc Tools扫描问题修改 See merge request: cann/ops-transformer!3415	2 个月前
examples	up moe op md Co-authored-by: kdy18482276080<kongdeyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !1761 merge md211 into master up moe op md Created-by: kdy18482276080 Commit-by: kdy18482276080 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修复moe算子文档中存在的问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1761	3 个月前
framework	修改版权头 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !3171 merge master into master 修改版权头 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 版权声明不标准，修改为标准头 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联Issue [#1100](https://gitcode.com/cann/ops-transformer/issues/1100) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他，请描述： See merge request: cann/ops-transformer!3171	2 个月前
op_graph	fix: Moe算子原型在ops-transformer仓缺失geir原型注册 Co-authored-by: ChenPengyi<chenpengyi@huawei.com> # message auto-generated for no-merge-commit merge: !4301 merge cpy_42 into master fix: Moe算子原型在ops-transformer仓缺失geir原型注册 Created-by: cpy_123456 Commit-by: ChenPengyi Merged-by: cann-robot Description: ## 描述 "背景：can_dev仓迁移到can_eco仓，算子原型库迁移情况排查(排查重复注册+遗漏注册) 说明：框架在geir进行编译的时候，关于算子注册信息引用的文件是aclnn_fuzz-aclnn/geir/src/ge_ir_op/inc/下ge_ir_op_base.h或者ge_ir_op_case_base.h文件中的，其中关于算子注册信息在 all_ops.h文件，all_ops.h文件位置在 /usr/local/Ascend/cann-9.0.0/opp/built-in/op_graph/inc/all_ops.h 分仓关于算子注册信息在/usr/local/Ascend/cann-9.0.0/opp/built-in/op_graph/inc/ ops_proto_cv.h ops_proto_legacy.h ---兼容，合并了所有老仓的算子原型(实测也有缺失) ops_proto_math.h ops_proto_nn.h ops_proto_ras.h ops_proto_transformer.h Moe算子原型在ops-transformer仓缺失geir原型注册 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/1963 ## 测试 david 冒烟 obp冒烟 st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!4301	1 个月前
op_host	moe类部分算子OP_LOGE接口调整 Co-authored-by: lizexin<lizexin2@huawei.com> # message auto-generated for no-merge-commit merge: !5052 merge feat-error-code into master 【代码优化】moe类部分算子OP_LOGE接口整改 Created-by: Lizexin312 Commit-by: lizexin Merged-by: cann-robot Description: ## 描述对moe部分算子的OP_LOGE进行可维测性整改，涉及如下算子： moe_compute_expert_tokens moe_finalize_routing_v2 moe_finalize_routing_v2_grad moe_gating_top_k_softmax_v2 moe_gating_top_k_softmax moe_gating_top_k moe_init_routing_quant_v2 moe_init_routing_v2 moe_init_routing_v2_grad moe_init_routing_v3 moe_re_routing ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试编译、冒烟 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 🧹 代码清理 - [x] ❓ 其他，请描述：日志整改 See merge request: cann/ops-transformer!5052	1 天前
op_kernel	moe_init_routing simt整改 Co-authored-by: Huang-Peng<huangpeng98@huawei.com> Co-authored-by: t00620168<tujun6@huawei.com> # message auto-generated for no-merge-commit merge: !4949 merge simt_adapt_tj0506 into master moe_init_routing simt整改 Created-by: tujun6 Commit-by: t00620168;Huang-Peng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> Ascend C后续主推SIMT C风格的API，C++风格不再维护。需要进行统一整改涉及moe算子：moe_init_routing、moe_init_routing_v2、moe_init_routing_quant_v2、moe_init_routing_v3 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2322 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 算子st验证pass，二级冒烟验证pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!4949	18 天前
tests	整改st目录下的atk用例统一目录格式 Co-authored-by: yue-ma<mayue54@huawei.com> # message auto-generated for no-merge-commit merge: !5166 merge master into master 整改st目录下的atk用例统一目录格式 Created-by: yue-ma Commit-by: yue-ma Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 整改st目录下的atk用例统一目录格式 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/1538 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!5166	16 天前
CMakeLists.txt	更新license Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !568 merge lic into master 更新license Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述更新license <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!568	5 个月前
README.md	doc Tools扫描问题修改 Co-authored-by: gitee-yanglulu<yanglulul@h-partners.com> # message auto-generated for no-merge-commit merge: !3415 merge master into master doc Tools扫描问题修改 Created-by: gitee-yanglulu Commit-by: gitee-yanglulu Merged-by: cann-robot Description: doc Tools扫描问题修改 See merge request: cann/ops-transformer!3415	2 个月前

MoeInitRouting

支持的产品型号

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：MoE的routing计算，根据aclnnMoeGatingTopKSoftmax的计算结果做routing处理。
计算公式：
$e x p a n d e d E x p e r t I d x, s o r t e d R o w I d x = k e y V a l u e S o r t (e x p e r t I d x, r o w I d x)$ $e x p a n d e d R o w I d x [s o r t e d R o w I d x [i]] = i$ $expandedX[i]=x[sortedRowIdx[i]%numRows]expandedX[i]=x[sortedRowIdx[i]\%numRows]$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	MOE的输入即token特征输入，对应公式中的`x`。	FLOAT16、BFLOAT16、FLOAT32	ND
rowIdx	输入	指示每个位置对应的原始行位置，对应公式中的`rowIdx`。	INT32	ND
expertIdx	输入	aclnnMoeGatingTopKSoftmax的输出每一行特征对应的K个处理专家, 对应公式中的`expertIdx`。	INT32	ND
activeNum	属性	表示总的最大处理row数且大于等于0，expandedXOut只有这么多行是有效的。	INT64	-
expandedXOut	输出	根据expertIdx进行扩展过的特征，对应公式中的`expandedX`。	FLOAT16、BFLOAT16、FLOAT32	ND
expandedRowIdxOut	输出	expandedX和x的映射关系，对应公式中的`expandedRowIdx`。	INT32	ND
expandedExpertIdxOut	输出	输出expertIdx排序后的结果，对应公式中的`expandedExpertIdx`。	INT32	ND

约束说明

expertIdx内的元素的值需要大于-2**24，不超过2**24，否则可能会存在精度问题。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_moe_init_routing	通过aclnnMoeInitRouting接口方式调用MoeInitRouting算子。