ktransformers:基于 CPU-GPU 异构计算的大语言模型推理与微调项目

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

分支56Tags36

项目介绍

“灵活框架,助力体验前沿大型语言模型推理优化”【此简介由AI生成】

定制我的领域
12018.85 K1.47 K访问 GitHub