amct_issue_157_20260713104552:基于昇腾NPU的模型压缩工具包项目

可用于昇腾NPU上的模型量化压缩,减小模型体积并提升推理性能。支持INT8/INT4/MXFP8/HiFloat8等多精度格式,提供PTQ量化算法及大模型量化方案,硬件亲和且部署便捷。【此简介由AI生成】

分支11Tags9

项目介绍

可用于昇腾NPU上的模型量化压缩,减小模型体积并提升推理性能。支持INT8/INT4/MXFP8/HiFloat8等多精度格式,提供PTQ量化算法及大模型量化方案,硬件亲和且部署便捷。【此简介由AI生成】

定制我的领域