airllm:基于内存优化技术的大语言模型推理项目

Star22
5
代码
代码
Issues
Pull Requests
项目讨论
Wiki
分析
Star22
5

AirLLM 70B inference with single 4GB GPU

分支3Tags2

项目介绍

使用单个4GB GPU进行AirLLM 70B模型的推理【此简介由AI生成】

Apache-2.0 Jupyter Notebook302提交数chinese-llmchinese-nlpfinetunegenerative-aiinstruct-gptinstruction-setllamallmopen-modelsopen-sourceopen-source-modelsqlora
定制我的领域
README
23524.06 K2.71 K访问 GitHub