| MoeFinalizeRoutingV2支持空专家及零计算量专家
Co-authored-by: cherylzzzzzz<lijia155@huawei.com>
# message auto-generated for no-merge-commit merge:
!2049 merge master into master
MoeFinalizeRoutingV2支持空专家及零计算量专家
Created-by: cherylzzzzzz
Commit-by: cherylzzzzzz
Merged-by: cann-robot
Description: ## 描述
<!--在这里详细描述你的改动，包括改动的原因和所采取的方法。-->
1.MoeFinalizeRoutingV2在做准备工作的过程中，识别空专家ID，并选择性跳过空专家的处理，当前空专家的index 需要传入特殊的标志符，FinalizeRouting算子内部需要适配空专家逻辑。
2.新增特殊专家场景：zero_expert（零专家），copy_expert（拷贝专家），constant_expert（常量专家）
针对零专家的处理： Moe(x) = 0
拷贝专家的处理： Moe(x) = x
常量专家的处理： Moe(x) = a1 * x + a2 * v
其中，x表示input token
## 关联的Issue
<!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000-->
<!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。-->
## 测试
<!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。-->
## 文档更新
<!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。-->
## 类型标签
<!-- [x] 表示选中 -->
- [ ] Bug修复
- [x] 新特性
- [ ] 性能优化
- [ ] 文档更新
- [ ] 其他，请描述：
See merge request: cann/ops-transformer!2049 | 1 个月前 |
