Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
moe_ep_combine/moe_ep_dispatch优化
/assign @Yuyu-Li
PR #13422 已合入,为 MoE EP dispatch/combine 引入 shared_jetty 通信路径,支持单 Jetty 服务多个对端,并通过 comm_alg 参数选择通信算法。
shared_jetty
comm_alg
在 combine 路径中,新增了通信算法参数校验,并通过 TilingKey 分流至对应的 kernel;shared_jetty 路径要求至少 64 个 rank,且仅支持 direct 拓扑。
关联 PR:PR #13422
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
moe_ep_combine/moe_ep_dispatch优化
Benefit / Necessity (价值/作用)
Design(设计方案)