ascend-inference-cluster:基于昇腾的超大规模MoE模型推理部署项目

昇腾超大规模MoE模型推理部署技术分享

Branch1Tags0
FilesLast commitLast update
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago

昇腾超大规模MoE模型推理部署技术

背景与目标

从2017年Google提出Transformer——这一人工智能神经网络的最主要架构,到DeepSeek V3/R1在2024年一夜爆火,超大规模MoE架构大模型的重点逐渐从训练开发转向推理支撑的应用落地。推理场景是大模型认知能力的 "试金石",是大模型商业化落地的核心能力。

在本次从2025年5月19日到23日的一周时间,我们将分享基于昇腾打造超大规模MoE模型推理部署最佳实践的技术报告,而从6月30日开始,这些技术报告相关的代码也会陆续开源出来,我们希望能够持续构建昇腾超大规模MoE模型推理的开源生态,与开发者共同前行,敬请期待及关注。

第一周发布的技术报告,整体分为如下五个部分

综述部分 (Overview)

在5月19日,我们会首先分享对昇腾超大规模MoE模型推理部署方案的综述性技术报告,在这个报告中我们会整体性的描述该方案中的几个核心技术能力:

  • 从点到面的推理框架侧优化技术
  • 把数学最优实现变为物理最优的FlashComm通算优化技术
  • 把串行计算变成四流并发的通算极致掩盖技术
  • 以加法代乘法昇腾MLA最优实现
  • 硬件感知亲和的大量创新算子

昇腾超大规模MoE模型推理负载均衡技术 (OmniPlacement)

在5月20日,我们会分享第一个技术点的详细技术报告,讲述如何在大EP场景下实现昇腾亲和的极致负载均衡技术,包括其主要组件的技术实现原理。

投机推理技术 (FusionSpec) 与低比特量化技术(OptiQuant)

在5月21日,我们会进一步分享用于投机推理的优化技术FusionSpec,将本来应用在小批量场景的MTP技术,基于昇腾亲和能力改造为同样适应高吞吐场景的优化技术。我们也会分享一篇讲述以Int8打平FP8的创新量化技术的报告。

通算融合优化技术 (FlashComm)

在5月22日,我们会分享有关模型侧通算融合优化技术FlashComm的三篇技术报告,详述我们的AllReduce优化、以存换传优化、大EP四流水并行等优化技术。

昇腾亲和硬件感知创新算子 (OptimizedOps)

在5月23日,我们会分享此前多个技术的基础:基于昇腾的大量创新算子实现,来支撑在推理场景中模型侧和框架侧的极致性能实现。

开源实现

源代码版本包

我们即将把技术报告中所涉及的核心特性,通过开源代码的方式进一步共享出来。其中在gitcode的本仓库中,将会提供不同阶段的源代码压缩包/版本包,供一些研究者进行代码分析。

源代码开发

对有昇腾环境并有兴趣参与开源共建的开发者,请移步至OmniAI社区,其中的Omni-Infer仓库可通过大家所熟悉的开源方式参与到项目讨论和开发中。OmniAI社区将于2025年6月30日正式上线。

许可证

技术报告部分基于Common Creative Attribution 4.0 International许可证。 代码基于MIT许可证。

Credits

感谢所有参与技术报告撰写的作者,以及我们所使用的开源项目的贡献者。

Introduction

昇腾超大规模MoE模型推理部署技术分享

Customize your domain