npu-adapter:基于昇腾生态的大模型适配工具项目

本项目主要是大模型昇腾适配过程中,针对场景的torch层算子不兼容,从GPU->NPU适配显存卸载,长序列切分等等能力支持,加速整体迁移效率

分支1Tags0

项目介绍

本项目主要是大模型昇腾适配过程中,针对场景的torch层算子不兼容,从GPU->NPU适配显存卸载,长序列切分等等能力支持,加速整体迁移效率

定制我的领域