已关闭
[RFC] 实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换 #2
zhangyi创建于 2025年12月23日关闭于 2025年12月25日
2025年12月23日 关联了pull request：实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换
zhangyi2025年12月23日 修改标题为 “[RFC] 实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换”，原标题为“实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换”
2025年12月23日 修改标题为 “[RFC] 实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换”，原标题为“实现DeepSeek-V3.2下的数据dump、量化参数训练、精度验证以及权重转换”
2025年12月23日 修改了issue 的描述
2025年12月24日 修改了issue 的描述
yaoguangxiu
2025年12月25日 评论：
2025年12月25日 评论：
已完成功能澄清和代码上库
2025年12月25日 issue状态由 进行中 改变为 已完成
2025年12月25日 关闭了 issue
3月20日 添加了label：resolved
需求目标
开发W8A8C8/W4A8C8量化算法，对MoE权重进行W8A8/W4A8全量压缩、MLA KVCache实现C8压缩，对LightningIndexer BatchMatmul实现A8C8：
开发事项
实现逐block下calibration数据的dump
实现MLA和MOE的训练，目前已支持A8W8C8和A8W4C8量化训练
实现量化后的精度验证，目前支持ppl的计算，已验证A8W8C8和A8W4C8的ppl，详见README
实现量化后的权重转换，即BF16转变为INT，同时支持由官方原生FP8权重转换为BF16或INT
使用方法记录于README文件中