deepseek-v3.2-w4a8:基于昇腾NPU的量化权重推理项目

可用于在昇腾NPU上实现高效的大模型推理，提供DeepSeek-V3.2（671B MoE）的W4A8量化权重，基于msModelSlim生成，适配vLLM-Ascend推理引擎，支持投机解码，在GSM8K等数据集上零精度损失。【此简介由AI生成】