🗺️ HyperParallel Roadmap

HyperParallel 作为 PyTorch 官方项目及 LLaMA-Factory 默认加速后端、无缝对齐HuggingFace生态演进，支持LLMs、多模态、世界模型高效训练，打造昇腾超节点亲和、易用性领先的分布式加速库。

🚀 2026 Q3 (Now)

• ✅ FSDP / TP / CP / EP / PP — 五大并行策略稳定可用
• ✅ 自定义重计算与 Swap — 灵活的重计算 / 权重卸载策略
• ✅ 分布式 Muon 优化器 — 新一代优化器分布式化
• 🛠️ 生态：支持主流 LLM&VLM 模型接入 — 打通主流模型生态

🎯 2026 Q4

• 🛠️ 去中心化多模数据负载均衡 — 多模态数据分布式均衡调度
• 📅 支持 torch.compile，优化 host bound — 编译优化、降低 host 侧瓶颈
• 📅 CP 增强：1M-10M 超长序列并行 — 超长上下文并行能力
• 📅 EP 增强：EPLB、MoonEP — 专家并行负载均衡与调度
• 📅 生态：支持主流 Diffusers 模型接入 — 扩散模型生态支持

🎯 2027 Q1

• 📅 自动并行策略搜索、自动 Offload — 自动寻找最优并行组合与卸载策略
• 📅 昇腾 Cube/Vector 异构多核并行 — 硬件级异构多核并行
• 📅 HyperParallel Native RL — 原生强化学习支持
• 📅 生态：World models support — 世界模型支持