OpenPangu-7B-mla-vllm:基于vllm-ascend的大模型部署适配项目

可用于在昇腾环境部署OpenPangu-7B模型并进行离线推理与性能分析,基于vllm-ascend-v0.11.0rc0适配,支持eager和torchair模式,需进一步解耦代码及适配aclgraph。【此简介由AI生成】

分支5Tags0

项目介绍

可用于在昇腾环境部署OpenPangu-7B模型并进行离线推理与性能分析,基于vllm-ascend-v0.11.0rc0适配,支持eager和torchair模式,需进一步解耦代码及适配aclgraph。【此简介由AI生成】

定制我的领域