vLLM Ascend

vLLM Ascend

vLLM 昇腾插件 (vllm-ascend) 是一个让vLLM在Ascend NPU无缝运行的后端插件。 此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则:通过解耦的方式提供了vLLM对Ascend NPU的支持。 使用 vLLM 昇腾插件,可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。

公告
暂无公告
热门项目
75

Qwen3.5 昇腾 vLLM 部署教程。Qwen3.5 是 Qwen 系列最新的旗舰多模态模型,采用 MoE(混合专家)架构,在保持强大模型能力的同时显著降低了推理成本。

75
0
3

2026年2月4日,正式发布的Qwen3-Coder-Next,一款专为编码智能体和本地开发场景设计的开源语言模型。

3
0
  • 暂无简介

    0
    0
    更新于 26 天前
    Like
  • Atlas 300IA2 标卡 部署Qwen3.5-35B-A3B

    0
    0
    更新于 3月14日
    Star
  • 暂无简介

    0
    0
    更新于 3月4日
    Like
  • 暂无简介

    0
    0
    更新于 10 天前
    Star
  • 暂无简介

    Python
    2
    0
    更新于 3月13日
    Star
  • Qwen3.5 昇腾 vLLM 部署教程。Qwen3.5 是 Qwen 系列最新的旗舰多模态模型,采用 MoE(混合专家)架构,在保持强大模型能力的同时显著降低了推理成本。

    75
    0
    更新于 2月26日
    Like
  • 暂无简介

    0
    0
    更新于 3月14日
    Like
  • 暂无简介

    1
    0
    更新于 2月26日
    Like
  • 暂无简介

    2
    0
    更新于 2月26日
    Like
  • 暂无简介

    0
    0
    更新于 3月4日
    Like
查看全部项目 >
公告
暂无公告
成就
86
Star
0
Fork
1.84k
Download
常用语言
Python