Star0
0
代码
代码
Issues1
Pull Requests
Actions
项目讨论
Wiki
分析
Star0
0
cann-robotcann-robotchore: replace gitcode.com links with atomgit.com
c68eae8d创建于 19 天前历史提交
文件最后提交记录最后更新时间
docs
chore: replace gitcode.com links with atomgit.com Co-authored-by: qzzzy1<qiziyu2@huawei.com> # message auto-generated for no-merge-commit merge: !12664 merge master into master chore: replace gitcode.com links with atomgit.com Created-by: qzzzy1 Commit-by: qzzzy1 Merged-by: cann-robot Description: ## 描述 transformer仓gitcode.com改成atomgit.com ## 关联的Issue 关联Issue 5667 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!12664
19 天前
examples
moe_finalize_routing 文档问题修复 Co-authored-by: juyangokok<juyang@huawei.com> # message auto-generated for no-merge-commit merge: !1688 merge finMd into master moe_finalize_routing 文档问题修复 Created-by: juyangokok Commit-by: juyangokok Merged-by: cann-robot Description: ## 描述 补充了输入输出数据格式和非连续tensor支持情况。 修改了注释。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 更新了moe/moe_finalize_routing/docs/aclnnMoeFinalizeRouting.md <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1688
8 个月前
framework
修改版权头 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !3171 merge master into master 修改版权头 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 版权声明不标准，修改为标准头 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联Issue [#1100](https://gitcode.com/cann/ops-transformer/issues/1100) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他，请描述： See merge request: cann/ops-transformer!3171
6 个月前
op_graph
MoeComputeExpertTokens、MoeFinalizeRouting、MoeFinalizeRoutingV2、MoeInitRouting、MoeInitRoutingQuant算子新增fallback实现 Co-authored-by: wuxiyuan<wuxiyuan@huawei.com> # message auto-generated for no-merge-commit merge: !11195 merge master into master MoeComputeExpertTokens、MoeFinalizeRouting、MoeFinalizeRoutingV2、MoeInitRouting、MoeInitRoutingQuant算子新增fallback实现 Created-by: wuxiyuan Commit-by: wuxiyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为 MoeComputeExpertTokens、MoeFinalizeRouting、MoeFinalizeRoutingV2、MoeInitRouting、MoeInitRoutingQuant 共 5 个 MoE 算子新增 fallback（Host 侧执行）实现。 ### 改动原因 上述算子此前仅有 NPU 侧实现，在不支持 NPU 执行的场景下无法回落到 Host 侧执行 opapi，影响图执行完备性。本次为每个算子补充 op_graph fallback 实现，通过 IMPL_OP(OpName).OpExecuteFunc(...) 注册宿主侧执行函数，在函数内完成输入/属性/输出校验后，经 EXEC_OPAPI_CMD 透传调用对应 aclnn opapi 接口。 ### 改动内容 新增 5 个文件（无存量代码修改）： | 文件 | 说明 | |------|------| | moe/moe_compute_expert_tokens/op_graph/fallback_moe_compute_expert_tokens.cpp | 透传调用 aclnnMoeComputeExpertTokens，校验 num_experts >= 1 | | moe/moe_finalize_routing/op_graph/fallback_moe_finalize_routing.cpp | 透传调用 aclnnMoeFinalizeRouting；处理可选输入 skip2 缺省时的输入索引偏移（offset 机制） | | moe/moe_finalize_routing_v2/op_graph/fallback_moe_finalize_routing_v2.cpp | 复用 aclnnMoeFinalizeRoutingV4 接口完成 V2 语义；将 zero/copy/constant expert range 属性（ContinuousVector）转换为 aclIntArray，并通过 ExpertRangeGuard（RAII）管理其创建与销毁 | | moe/moe_init_routing/op_graph/fallback_moe_init_routing.cpp | 透传调用 aclnnMoeInitRouting，属性 active_num | | moe/moe_init_routing_quant/op_graph/fallback_moe_init_routing_quant.cpp | 透传调用 aclnnMoeInitRoutingQuant，属性 active_num/scale/offset | ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5097 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 已完成自验证 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11195
1 个月前
op_host
pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11020 merge fix_2 into master pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联的Issue 关联Issue https://gitcode.com/cann/ops-transformer/issues/4850 ## 描述 对仓内算子源码提前做 pre-commit 历史格式问题清理，为后续功能改动（如 Regbase API 替换等）扫清钩子障碍，避免后续 PR 因格式问题被大面积格式化污染 diff。 处理方式：find <目录> -type f \( -name '*.h' -o -name '*.hpp' \) | xargs pre-commit run --files，多轮执行直到所有 hook 收敛（无 Failed / 无自动修复）。 修复内容（仅格式，不改任何代码语义）： - 尾随空白（trailing whitespace） - 文件末尾换行（end of file） - clang-format 代码重排（换行、缩进、对齐，遵循仓内 .clang-format） ### 排除范围（不做格式化） - *_def.cpp 算子定义文件（排版由开发者自行维护，另见 PR #11041） - */op_api/aclnn*.h、*/op_graph/*_proto.h、*/op_host/op_api/aclnn*.h 接口/原型头文件（排版由开发者自行维护） - mamba/ 目录（该目录 causal_conv1d 算子 UT 上游基线存在失败，见 Issue #4840，本批不涉及） - examples/、experimental/ 目录 ### PR 拆分说明 全仓 .h/.hpp 清理共 2362 个文件，按场景目录拆分为 6 个 PR（分支不同、内容互不重叠，可独立 review 合入）： | PR | 分支 | 范围 | |---|---|---| | #4878 | compile | attention 第1批（按算子字母序前段） | | #10422 | graph | attention 第2批（按算子字母序中段） | | #9331 | test | attention 第3批（按算子字母序后段） | | #10991 | fix | mc2 | | #11020 | fix_2 | moe、gmm | | #11021 | fix_3 | posembedding、mhc、ffn、common、tests、torch_extension | ## 测试 - 纯格式化改动：不改变任何代码语义，逐文件 diff 均为空白/换行/clang-format 重排 - pre-commit 全量 hook 收敛验证：多轮执行后 trailing-whitespace / end-of-file-fixer / clang-format 均 Passed - 建议合入前对相关算子做一次编译验证 See merge request: cann/ops-transformer!11020
1 个月前
op_kernel
pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11020 merge fix_2 into master pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联的Issue 关联Issue https://gitcode.com/cann/ops-transformer/issues/4850 ## 描述 对仓内算子源码提前做 pre-commit 历史格式问题清理，为后续功能改动（如 Regbase API 替换等）扫清钩子障碍，避免后续 PR 因格式问题被大面积格式化污染 diff。 处理方式：find <目录> -type f \( -name '*.h' -o -name '*.hpp' \) | xargs pre-commit run --files，多轮执行直到所有 hook 收敛（无 Failed / 无自动修复）。 修复内容（仅格式，不改任何代码语义）： - 尾随空白（trailing whitespace） - 文件末尾换行（end of file） - clang-format 代码重排（换行、缩进、对齐，遵循仓内 .clang-format） ### 排除范围（不做格式化） - *_def.cpp 算子定义文件（排版由开发者自行维护，另见 PR #11041） - */op_api/aclnn*.h、*/op_graph/*_proto.h、*/op_host/op_api/aclnn*.h 接口/原型头文件（排版由开发者自行维护） - mamba/ 目录（该目录 causal_conv1d 算子 UT 上游基线存在失败，见 Issue #4840，本批不涉及） - examples/、experimental/ 目录 ### PR 拆分说明 全仓 .h/.hpp 清理共 2362 个文件，按场景目录拆分为 6 个 PR（分支不同、内容互不重叠，可独立 review 合入）： | PR | 分支 | 范围 | |---|---|---| | #4878 | compile | attention 第1批（按算子字母序前段） | | #10422 | graph | attention 第2批（按算子字母序中段） | | #9331 | test | attention 第3批（按算子字母序后段） | | #10991 | fix | mc2 | | #11020 | fix_2 | moe、gmm | | #11021 | fix_3 | posembedding、mhc、ffn、common、tests、torch_extension | ## 测试 - 纯格式化改动：不改变任何代码语义，逐文件 diff 均为空白/换行/clang-format 重排 - pre-commit 全量 hook 收敛验证：多轮执行后 trailing-whitespace / end-of-file-fixer / clang-format 均 Passed - 建议合入前对相关算子做一次编译验证 See merge request: cann/ops-transformer!11020
1 个月前
tests
pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11020 merge fix_2 into master pre-commit修复moe、gmm目录.h/.hpp历史格式问题 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联的Issue 关联Issue https://gitcode.com/cann/ops-transformer/issues/4850 ## 描述 对仓内算子源码提前做 pre-commit 历史格式问题清理，为后续功能改动（如 Regbase API 替换等）扫清钩子障碍，避免后续 PR 因格式问题被大面积格式化污染 diff。 处理方式：find <目录> -type f \( -name '*.h' -o -name '*.hpp' \) | xargs pre-commit run --files，多轮执行直到所有 hook 收敛（无 Failed / 无自动修复）。 修复内容（仅格式，不改任何代码语义）： - 尾随空白（trailing whitespace） - 文件末尾换行（end of file） - clang-format 代码重排（换行、缩进、对齐，遵循仓内 .clang-format） ### 排除范围（不做格式化） - *_def.cpp 算子定义文件（排版由开发者自行维护，另见 PR #11041） - */op_api/aclnn*.h、*/op_graph/*_proto.h、*/op_host/op_api/aclnn*.h 接口/原型头文件（排版由开发者自行维护） - mamba/ 目录（该目录 causal_conv1d 算子 UT 上游基线存在失败，见 Issue #4840，本批不涉及） - examples/、experimental/ 目录 ### PR 拆分说明 全仓 .h/.hpp 清理共 2362 个文件，按场景目录拆分为 6 个 PR（分支不同、内容互不重叠，可独立 review 合入）： | PR | 分支 | 范围 | |---|---|---| | #4878 | compile | attention 第1批（按算子字母序前段） | | #10422 | graph | attention 第2批（按算子字母序中段） | | #9331 | test | attention 第3批（按算子字母序后段） | | #10991 | fix | mc2 | | #11020 | fix_2 | moe、gmm | | #11021 | fix_3 | posembedding、mhc、ffn、common、tests、torch_extension | ## 测试 - 纯格式化改动：不改变任何代码语义，逐文件 diff 均为空白/换行/clang-format 重排 - pre-commit 全量 hook 收敛验证：多轮执行后 trailing-whitespace / end-of-file-fixer / clang-format 均 Passed - 建议合入前对相关算子做一次编译验证 See merge request: cann/ops-transformer!11020
1 个月前
CMakeLists.txt
更新license Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !568 merge lic into master 更新license Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述 更新license <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!568
9 个月前
README.md
fix product master2 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !13074 merge master into master fix product master2 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> AI处理器对应的产品型号名称更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#3258](https://gitcode.com/cann/ops-math/issues/3258) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> *.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!13074
20 天前
README

MoeFinalizeRouting

产品支持情况

产品 是否支持
Ascend 950PR&950DT系列产品 ×
Atlas A3系列产品 √
Atlas A2系列产品 √
Atlas 200I/500 A2推理产品 ×
Atlas推理系列产品 ×
Atlas训练系列产品 ×
Kirin X90处理器系列产品 √
Kirin 9030处理器系列产品 √

功能说明

  • 算子功能：MoE计算中，最后处理合并MoE FFN的输出结果。

  • 计算公式：

    expertid=expandedExpertIdx[i,k]expertid=expandedExpertIdx[i,k]

    out(i,j)=x1i,j+x2Optionali,j+∑k=0K(scalesi,k∗(expandedXexpandedRowIdxi+k∗numrows,j+biasexpertid,j))out(i,j)=x1_{i,j}+x2Optional_{i,j}+\sum_{k=0}^{K}(scales_{i,k}*(expandedX_{expandedRowIdx_{i+k*num_rows},j}+bias_{expertid,j}))

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
expandedX 输入 公式中的`expandedX` ，MoE的FFN输出。 FLOAT16、BFLOAT16、FLOAT32 ND
x1 输入 公式中的`x1`。 FLOAT16、BFLOAT16、FLOAT32 ND
x2Optional 输入 公式中的`x2Optional`。 FLOAT16、BFLOAT16、FLOAT32 ND
bias 输入 公式中的`bias`。 FLOAT16、BFLOAT16、FLOAT32 ND
scales 输入 公式中的`scales`。 FLOAT16、BFLOAT16、FLOAT32 ND
expandedRowIdx 输入 公式中的`expandedRowIdx`。 INT32 ND
expandedExpertIdx 输入 公式中的`expandedExpertIdx`。 INT32 ND
out 输出 公式中的`out`。 FLOAT16、BFLOAT16、FLOAT32 ND
  • Kirin X90/Kirin 9030处理器系列产品: 不支持BFLOAT16。

约束说明

无。

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_moe_finalize_routing.cpp 通过aclnnMoeFinalizeRouting接口方式调用MoeFinalizeRouting算子。