变更摘要

本 PR 主要调整了 LoRA 的保存模式：在默认的全量 checkpoint 保存流程中支持将 LoRA 权重（lora_A / lora_B）合并回基础权重后再导出，并新增 lora_save_only 开关，仅在显式开启时走"只导出 LoRA adapter"的路径；同时将 LoRA-only 保存改为写入按迭代号组织的 checkpoint 子目录，便于 PEFT/vLLM/SGLang 直接加载。

主要改动

• LoRA 权重合并导出：在 hf_utils.py 中新增 merge_lora_weights 函数，遍历 .lora_A.default.weight / .lora_B.default.weight 键，通过 delta = matmul(lora_b, lora_a) 计算增量并加到对应基础权重（base + scaling * delta），随后从状态字典中删除 LoRA 键；遇到 DTensor 时会先 redistribute 为 Replicate 再合并。

• Checkpointer 参数与预处理扩展：HuggingFaceCheckpointer 新增 lora_alpha、lora_rank 参数，enable_lora 时以 lora_alpha / lora_rank 作为缩放系数调用 merge_lora_weights，并在保存前将浮点权重统一转换为 save_ckpt_dtype。

• 新增 lora_save_only 配置项：LoraArguments 新增 lora_save_only（默认 False）字段，用于控制是否仅导出 adapter 的 safetensors 及其配置。

• 保存逻辑分流：train_engine.py 的 checkpoint 保存逻辑改为仅当 args.training.lora.enable 且 args.training.lora.lora_save_only 时调用 save_lora_only，随后执行 torch.distributed.barrier() 并提前返回；否则走默认全量模型保存流程，并将 lora_alpha、lora_rank 传入 checkpointer。

• LoRA-only 保存目录调整：LoraWeightManager.save_lora_only 改用 get_checkpoint_name(save_path, iteration, release=False) 生成带迭代号的输出目录，lora_adapter.safetensors 与 adapter_config.json 均写入该目录而非原 save_path 下。

openLiBing可接管PR, PR详情链接:
https://www.openlibing.com/apps/transitionPrDetail?owner=Ascend&repo=MindSpeed-MM&number=3109&platform=gitcode&codeHostingPlatformFlag=gitcode

代码审查

✅ 未发现问题

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.