Hy3-preview:基于 Ascend NPU 与 vLLM 的大模型部署项目

可在 Ascend NPU 上快速部署 Hy3-preview 大模型,支持工具调用与推理模式切换。通过 expert parallel、MTP 等技术优化性能,提供高效服务启动与验证方案。【此简介由AI生成】

分支1Tags0

项目介绍

可在 Ascend NPU 上快速部署 Hy3-preview 大模型,支持工具调用与推理模式切换。通过 expert parallel、MTP 等技术优化性能,提供高效服务启动与验证方案。【此简介由AI生成】

定制我的领域