特性介绍

1、权重转换过程中新增'--qlora-nf4'选项，开启时启用权重量化，将浮点的hf权重转换到量化后到mcore权重；
2、在lora和cclora的forward和backward中增加对权重的检测，如果是量化权重，那么反量化后再进行矩阵乘。

验证报告

llama2-70b 开启--lora-fusion

平均绝对误差：

平均相对误差：

llama2-70b 关闭--lora-fusion

平均绝对误差：

平均相对误差：

Mixtral-8x7B

NPU: LoRA vs QLoRA 平均相对误差：

GPU: LoRA vs QLoRA 平均相对误差：