MINIMAX-M2.7-W8A8-X86:基于 vLLM-Ascend 的大语言模型部署项目

用户可通过本项目在 Ascend 910B X86 环境部署 MiniMax-M2.7-W8A8 大语言模型,支持单体推理和 PD 混合部署,具备通用对话、工具调用及深度推理能力,采用量化方案降低显存占用与计算开销。【此简介由AI生成】

分支1Tags0

项目介绍

用户可通过本项目在 Ascend 910B X86 环境部署 MiniMax-M2.7-W8A8 大语言模型,支持单体推理和 PD 混合部署,具备通用对话、工具调用及深度推理能力,采用量化方案降低显存占用与计算开销。【此简介由AI生成】

定制我的领域