AutoGPTQ:基于 GPTQ 算法的模型量化库项目

用户可用来对语言模型进行量化以提升推理速度并降低显存占用。该项目支持多种硬件平台，集成Hugging Face生态，提供高效的4-bit量化及Marlin内核等加速技术。【此简介由AI生成】