MindInferenceService:基于昇腾硬件的LLM在线推理服务项目

可快速部署大语言模型推理服务,支持Qwen3-8B等模型,提供OpenAI API兼容接口,无缝对接现有应用,基于昇腾硬件实现即装即用的高效推理。【此简介由AI生成】

Branch2Tags0

Introduction

可快速部署大语言模型推理服务,支持Qwen3-8B等模型,提供OpenAI API兼容接口,无缝对接现有应用,基于昇腾硬件实现即装即用的高效推理。【此简介由AI生成】

Customize your domain