用于在华为昇腾910B4 NPU上实现TurboQuant TQ4 KV-cache压缩,提供融合量化和反量化算子,支持AclNN调用,相比Triton-Ascend实现压缩提速1.5倍、反量化提速1.07倍,确保精度达标。【此简介由AI生成】
用于在华为昇腾910B4 NPU上实现TurboQuant TQ4 KV-cache压缩,提供融合量化和反量化算子,支持AclNN调用,相比Triton-Ascend实现压缩提速1.5倍、反量化提速1.07倍,确保精度达标。【此简介由AI生成】
定制我的领域