MindInferenceService:基于昇腾硬件的大模型推理服务项目

可在Atlas 800I A2推理服务器上快速部署在线推理服务,支持Qwen3-8B模型,提供OpenAI API兼容接口,无缝对接现有应用,基于昇腾硬件与vLLM后端实现高效推理。【此简介由AI生成】

Branch2Tags0

Introduction

可在Atlas 800I A2推理服务器上快速部署在线推理服务,支持Qwen3-8B模型,提供OpenAI API兼容接口,无缝对接现有应用,基于昇腾硬件与vLLM后端实现高效推理。【此简介由AI生成】

Customize your domain