turboquant-ascendC-npu:基于 Ascend C 的 KV-cache 压缩算子项目

用于在华为昇腾910B4 NPU上实现TurboQuant TQ4 KV-cache压缩,提供融合量化和反量化算子,支持AclNN调用,相比Triton-Ascend实现压缩提速1.5倍、反量化提速1.07倍,确保精度达标。【此简介由AI生成】

分支11Tags0

项目介绍

用于在华为昇腾910B4 NPU上实现TurboQuant TQ4 KV-cache压缩,提供融合量化和反量化算子,支持AclNN调用,相比Triton-Ascend实现压缩提速1.5倍、反量化提速1.07倍,确保精度达标。【此简介由AI生成】

定制我的领域