HyperGraph 已具备 Forward、Loss 和 Backward 联合图捕获及 Pass 管线骨架,但当前静态图路径尚未支持 Expert Parallel。
AutoModels 动态 EP 使用数据相关的 token dispatch、专家分片和 AllToAll 通信。若重新实现一套静态 EP,不仅会重复维护路由与专家计算逻辑,也容易造成动态图与静态图语义不一致。
本需求目标是复用 AutoModels 已有的动态 EP 路由、专家分片和专家权重能力,将 EP 通信和计算稳定捕获到 HyperGraph 静态图中。首阶段仅支持 EP-only 拓扑,TP、CP、PP 和 FSDP 不在本次范围内。
hyper_parallel/compile
ParallelConfig
ep_degree=1
已知限制和风险:
world_size == ep_degree
1e-6
已执行:
14 passed, 5 subtests passed
5
4.76837158203125e-07
0.0
本需求不包含性能收益验收;性能与混合并行组合将在后续需求中单独验证。
需求背景
HyperGraph 已具备 Forward、Loss 和 Backward 联合图捕获及 Pass 管线骨架,但当前静态图路径尚未支持 Expert Parallel。
AutoModels 动态 EP 使用数据相关的 token dispatch、专家分片和 AllToAll 通信。若重新实现一套静态 EP,不仅会重复维护路由与专家计算逻辑,也容易造成动态图与静态图语义不一致。
本需求目标是复用 AutoModels 已有的动态 EP 路由、专家分片和专家权重能力,将 EP 通信和计算稳定捕获到 HyperGraph 静态图中。首阶段仅支持 EP-only 拓扑,TP、CP、PP 和 FSDP 不在本次范围内。
开发设计
hyper_parallel/compile中增加动态 EP capture adapter。ParallelConfig,增加 EP degree、拓扑和 process group 校验。ep_degree=1时保持原有路径不变。已知限制和风险:
world_size == ep_degree的 EP-only 拓扑。验收标准
1e-6。1e-6。验证计划
已执行:
14 passed, 5 subtests passed。5。4.76837158203125e-07。0.0。本需求不包含性能收益验收;性能与混合并行组合将在后续需求中单独验证。