在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。

📚 文档问题描述

https://gitcode.com/Ascend/MindSpeed-LLM/blob/master/docs/zh/pytorch/training/finetune/mcore/layerwise_disaggregated_training.md#使用方法（网址）
原文档有问题之处
3.进行权重转换，将HF权重转换为Megatron-Mcore格式。
...以Qwen3-32B模型在TP8PP2切分为例，需要修改相关路径参数和模型切分配置：
--target-tensor-parallel-size 8 # TP切分大小
--target-pipeline-parallel-size 2 # PP切分大小
--num-layer-list 16,32,16 # U-shape切分：首层16层、隐藏层32层、尾层16层
--load-dir ./model_from_hf/qwen3_hf/ # 原始HF模型权重路径
--save-dir ./model_weights/qwen3_mcore/ # Megatron权重保存路径
  这里--target-pipeline-parallel-size 2 # PP切分大小，这里的值应该为3

4.将Megatron-Mcore格式模型转换为VPP格式。
边云协同分布式训练需要将首尾层权重合并为VPP格式，调用权重转换脚本convert_ckpt_pp_vpp.py进行操作：
python mindspeed_llm/tasks/layerwise_disaggregated_training/convert_ckpt_pp_vpp.py merge
--load-dir ./model_weights/qwen3_mcore/
--save-dir-edge ./model_weights/qwen3_vpp_edge/
--save-dir-cloud ./model_weights/qwen3_vpp_cloud/
--merge-stages 0,1
--middle-stages 1
这里--merge-stages 0,1\ ，这里的值应该为    --merge-stages 0,2 </span>

6.启动微调训练。
配置模型微调脚本，详细配置请参考Qwen3-32b微调脚本，需要修改相关路径参数和模型切分配置：
CKPT_LOAD_DIR="./model_weights/qwen3_vpp_edge/" # 边侧权重加载路径
CKPT_LOAD_CLOUD_DIR="./model_weights/qwen3_vpp_cloud/" # 云侧权重加载路径
CKPT_SAVE_DIR="./ckpt/qwen3_finetune/" # 微调完成后的权重保存路径
DATA_PATH="./finetune_dataset/alpaca" # 数据集路径
TOKENIZER_PATH="./model_from_hf/qwen3_hf" # 词表路径
TP=8 # TP切分大小
PP=2 # PP切分大小
没有CKPT_LOAD_CLOUD_DIR="./model_weights/qwen3_vpp_cloud/" # 云侧权重加载路径
而是：
#边侧权重参数
CKPT_LOAD_DIR="./model_weights/qwen3_vpp_edge/"  # 边侧权重加载路径
DATA_PATH="./finetune_dataset/alpaca"           # 数据集路径
#云侧权重参数
CKPT_LOAD_DIR="./model_weights/qwen3_vpp_cloud/"  # 云侧权重加载路径
DATA_PATH=""           # 数据集路径云侧写空

建议的替代/修复方案

欢迎加入社区，感谢您对社区的贡献 🎉!