已关闭
[Feature]: 新增 Wan 2.1 MXFP4 W4A4 量化感知训练 #14
Zijun Huang创建于  17 天前关闭于  15 天前
Zijun Huang
Zijun Huang
17 天前 创建

背景

Wan 2.1 T2V 1.3B 在昇腾上部署 MXFP4 W4A4 时,若直接对稠密权重做推理量化,FFN 误差会反映到生成质量。需要在训练阶段用与推理算子一致的伪量化,让 Student 学会补偿这部分误差。

目标

在 FlashGen 中支持 Wan 2.1 T2V 1.3B 的 MXFP4 W4A4 QAT:

  • 前向伪量化与 aclnnDynamicDualLevelMxQuant 对齐(宏组 512 / block 32,E2M1,饱和 6.0)
  • 默认只量化 DiT 各 block 的 ffn.fc_in / ffn.fc_out
  • 训练循环复用 FastVideo v0.2.0 的 FineTuneMethod,FlashGen 只补充伪量化与注入
  • 8 卡启动可用:默认不在线编码 negative prompt,默认关闭 wandb
  • 数据读取与现有 parquet 写入端对齐(pyarrow==19.0.1)

范围

包含:

  • flashgen/methods/mxfp4_fakequant.py
  • flashgen/networks/wan.py 注入逻辑
  • flashgen/configs/wan_qat.yaml
  • tests/test_mxfp4_fakequant.py
  • 相关 SPDX / 依赖钉扎等代码改动

不包含:

  • QAT / DMD / VBench 用户文档(单独文档 issue / PR)
  • 推理实现(在昇腾原生 Wan2.1 仓完成)

验收

  • 配置 wan_qat.yaml 可拉起训练,日志出现 MXFP4 fake-quant enabled
  • 单元测试覆盖 E2M1、双级缩放、层替换与注入
  • 去掉 mxfp4_quant 块可回退稠密微调
likedislike
ascend-robotascend-robot成员
17 天前 添加了label:feature
Zijun HuangZijun Huang
17 天前 修改了issue 的描述
Zijun HuangZijun Huang
15 天前 修改了issue 的描述
ascend-robotascend-robot成员
15 天前 关闭了 issue
ascend-robotascend-robot成员
15 天前 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
15 天前 添加了label:resolved