Qwen3-MoE router 存在 logits 和三元组两种返回形式;DeepSeek router 可以直接返回已计算的 indices/weights。EP 适配需要正确处理这些契约,并在 production local region 中保持 local Tensor 输出。
同时,动态图与静态图需要共享路由和专家数学计算,避免分别维护造成语义偏差。
已在独立 editable 安装的公共源码上执行:
HYPER_PARALLEL_PLATFORM=torch PYTHONNOUSERSITE=1 python -m pytest -q tests/ut/dual_mode_dtensor/test_ep_execution.py tests/ut/dual_mode_dtensor/test_ep_moe_local_region.py
结果:16 passed,6 subtests passed,1 条 TypedStorage 弃用警告。 环境:Python 3.10,torch 2.14.0.dev20260719+cpu,torch_npu 2.14.0.dev20260719。
本次 squash 前后代码树一致。公共分支未单独执行多卡 ST 或性能测试;服务端 CI 和 CodeCheck 待 PR 创建后验证。
需求背景
Qwen3-MoE router 存在 logits 和三元组两种返回形式;DeepSeek router 可以直接返回已计算的 indices/weights。EP 适配需要正确处理这些契约,并在 production local region 中保持 local Tensor 输出。
同时,动态图与静态图需要共享路由和专家数学计算,避免分别维护造成语义偏差。
开发设计
验收标准
验证结果
已在独立 editable 安装的公共源码上执行:
HYPER_PARALLEL_PLATFORM=torch PYTHONNOUSERSITE=1 python -m pytest -q tests/ut/dual_mode_dtensor/test_ep_execution.py tests/ut/dual_mode_dtensor/test_ep_moe_local_region.py
结果:16 passed,6 subtests passed,1 条 TypedStorage 弃用警告。
环境:Python 3.10,torch 2.14.0.dev20260719+cpu,torch_npu 2.14.0.dev20260719。
本次 squash 前后代码树一致。公共分支未单独执行多卡 ST 或性能测试;服务端 CI 和 CodeCheck 待 PR 创建后验证。