| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat: (ltx2.3) add NPU training support and t2av/t2v configs Co-authored-by: vasileone<hanyue42@huawei.com> # message auto-generated for no-merge-commit merge: !2850 merge ltx2.3_push into master feat: (ltx2.3) add NPU training support and t2av/t2v configs Created-by: vasileone Commit-by: vasileone Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 在已有 LTX-2.3 模型迁移基础上，补充 NPU 训练所需的能力与示例配置： - NPU 融合算子 patch ( mindspeed_mm/fsdp/models/ltx2_3/npu_patch.py )：新增 apply_ltx2_3_npu_patch ，通过 monkey-patch 将源仓的 attention / RMSNorm / RoPE 替换为 torch_npu 融合实现（ NpuFlashAttention 、 NpuRMSNorm 、 npu_rotary_mul ）。 - 训练脚本与配置 ： - examples/ltx2_3/finetune_ltx2_3_t2av.sh + examples/ltx2_3/ltx2_3_t2av.yaml ：text-to-audio-video 训练入口 - examples/ltx2_3/finetune_ltx2_3_t2v.sh + examples/ltx2_3/ltx2_3_t2v.yaml ：text-to-video 训练入口 - HF 权重加载兼容 ( mindspeed_mm/fsdp/checkpoint/hf_load_utils.py )： locate_hf_weight_files 支持直接传入 .safetensors 文件路径（原先只接受目录），LTX-2.3 这类单文件权重可直接加载。 - 嵌套字典设备迁移 ( mindspeed_mm/fsdp/utils/utils.py )： move_to_device 增加 dict 分支递归处理，适配 LTX-2.3 batch 中嵌套的 latents / conditions 结构。 ## Does this PR introduce any user-facing change? - 用户可以在 NPU 环境下使用融合算子训练 LTX-2.3，获得更优的单步迭代耗时。 - 新增 t2av / t2v 训练示例，可直接 bash examples/ltx2_3/finetune_ltx2_3_t2av.sh 启动。 - load_hf_checkpoint 现在接受 .safetensors 文件路径作为 load 参数。 ## How was this patch tested? 在 NPU 环境下使用 finetune_ltx2_3_t2av.sh 进行实际训练验证： - 单步迭代时间：源仓 23.9s，MM 仓 17.6s See merge request: Ascend/MindSpeed-MM!2850 | 12 天前 | |
feat: (ltx2.3) add NPU training support and t2av/t2v configs Co-authored-by: vasileone<hanyue42@huawei.com> # message auto-generated for no-merge-commit merge: !2850 merge ltx2.3_push into master feat: (ltx2.3) add NPU training support and t2av/t2v configs Created-by: vasileone Commit-by: vasileone Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 在已有 LTX-2.3 模型迁移基础上，补充 NPU 训练所需的能力与示例配置： - NPU 融合算子 patch ( mindspeed_mm/fsdp/models/ltx2_3/npu_patch.py )：新增 apply_ltx2_3_npu_patch ，通过 monkey-patch 将源仓的 attention / RMSNorm / RoPE 替换为 torch_npu 融合实现（ NpuFlashAttention 、 NpuRMSNorm 、 npu_rotary_mul ）。 - 训练脚本与配置 ： - examples/ltx2_3/finetune_ltx2_3_t2av.sh + examples/ltx2_3/ltx2_3_t2av.yaml ：text-to-audio-video 训练入口 - examples/ltx2_3/finetune_ltx2_3_t2v.sh + examples/ltx2_3/ltx2_3_t2v.yaml ：text-to-video 训练入口 - HF 权重加载兼容 ( mindspeed_mm/fsdp/checkpoint/hf_load_utils.py )： locate_hf_weight_files 支持直接传入 .safetensors 文件路径（原先只接受目录），LTX-2.3 这类单文件权重可直接加载。 - 嵌套字典设备迁移 ( mindspeed_mm/fsdp/utils/utils.py )： move_to_device 增加 dict 分支递归处理，适配 LTX-2.3 batch 中嵌套的 latents / conditions 结构。 ## Does this PR introduce any user-facing change? - 用户可以在 NPU 环境下使用融合算子训练 LTX-2.3，获得更优的单步迭代耗时。 - 新增 t2av / t2v 训练示例，可直接 bash examples/ltx2_3/finetune_ltx2_3_t2av.sh 启动。 - load_hf_checkpoint 现在接受 .safetensors 文件路径作为 load 参数。 ## How was this patch tested? 在 NPU 环境下使用 finetune_ltx2_3_t2av.sh 进行实际训练验证： - 单步迭代时间：源仓 23.9s，MM 仓 17.6s See merge request: Ascend/MindSpeed-MM!2850 | 12 天前 | |
feat: (ltx2.3) add NPU training support and t2av/t2v configs Co-authored-by: vasileone<hanyue42@huawei.com> # message auto-generated for no-merge-commit merge: !2850 merge ltx2.3_push into master feat: (ltx2.3) add NPU training support and t2av/t2v configs Created-by: vasileone Commit-by: vasileone Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 在已有 LTX-2.3 模型迁移基础上，补充 NPU 训练所需的能力与示例配置： - NPU 融合算子 patch ( mindspeed_mm/fsdp/models/ltx2_3/npu_patch.py )：新增 apply_ltx2_3_npu_patch ，通过 monkey-patch 将源仓的 attention / RMSNorm / RoPE 替换为 torch_npu 融合实现（ NpuFlashAttention 、 NpuRMSNorm 、 npu_rotary_mul ）。 - 训练脚本与配置 ： - examples/ltx2_3/finetune_ltx2_3_t2av.sh + examples/ltx2_3/ltx2_3_t2av.yaml ：text-to-audio-video 训练入口 - examples/ltx2_3/finetune_ltx2_3_t2v.sh + examples/ltx2_3/ltx2_3_t2v.yaml ：text-to-video 训练入口 - HF 权重加载兼容 ( mindspeed_mm/fsdp/checkpoint/hf_load_utils.py )： locate_hf_weight_files 支持直接传入 .safetensors 文件路径（原先只接受目录），LTX-2.3 这类单文件权重可直接加载。 - 嵌套字典设备迁移 ( mindspeed_mm/fsdp/utils/utils.py )： move_to_device 增加 dict 分支递归处理，适配 LTX-2.3 batch 中嵌套的 latents / conditions 结构。 ## Does this PR introduce any user-facing change? - 用户可以在 NPU 环境下使用融合算子训练 LTX-2.3，获得更优的单步迭代耗时。 - 新增 t2av / t2v 训练示例，可直接 bash examples/ltx2_3/finetune_ltx2_3_t2av.sh 启动。 - load_hf_checkpoint 现在接受 .safetensors 文件路径作为 load 参数。 ## How was this patch tested? 在 NPU 环境下使用 finetune_ltx2_3_t2av.sh 进行实际训练验证： - 单步迭代时间：源仓 23.9s，MM 仓 17.6s See merge request: Ascend/MindSpeed-MM!2850 | 12 天前 | |
feat: (ltx2.3) add NPU training support and t2av/t2v configs Co-authored-by: vasileone<hanyue42@huawei.com> # message auto-generated for no-merge-commit merge: !2850 merge ltx2.3_push into master feat: (ltx2.3) add NPU training support and t2av/t2v configs Created-by: vasileone Commit-by: vasileone Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 在已有 LTX-2.3 模型迁移基础上，补充 NPU 训练所需的能力与示例配置： - NPU 融合算子 patch ( mindspeed_mm/fsdp/models/ltx2_3/npu_patch.py )：新增 apply_ltx2_3_npu_patch ，通过 monkey-patch 将源仓的 attention / RMSNorm / RoPE 替换为 torch_npu 融合实现（ NpuFlashAttention 、 NpuRMSNorm 、 npu_rotary_mul ）。 - 训练脚本与配置 ： - examples/ltx2_3/finetune_ltx2_3_t2av.sh + examples/ltx2_3/ltx2_3_t2av.yaml ：text-to-audio-video 训练入口 - examples/ltx2_3/finetune_ltx2_3_t2v.sh + examples/ltx2_3/ltx2_3_t2v.yaml ：text-to-video 训练入口 - HF 权重加载兼容 ( mindspeed_mm/fsdp/checkpoint/hf_load_utils.py )： locate_hf_weight_files 支持直接传入 .safetensors 文件路径（原先只接受目录），LTX-2.3 这类单文件权重可直接加载。 - 嵌套字典设备迁移 ( mindspeed_mm/fsdp/utils/utils.py )： move_to_device 增加 dict 分支递归处理，适配 LTX-2.3 batch 中嵌套的 latents / conditions 结构。 ## Does this PR introduce any user-facing change? - 用户可以在 NPU 环境下使用融合算子训练 LTX-2.3，获得更优的单步迭代耗时。 - 新增 t2av / t2v 训练示例，可直接 bash examples/ltx2_3/finetune_ltx2_3_t2av.sh 启动。 - load_hf_checkpoint 现在接受 .safetensors 文件路径作为 load 参数。 ## How was this patch tested? 在 NPU 环境下使用 finetune_ltx2_3_t2av.sh 进行实际训练验证： - 单步迭代时间：源仓 23.9s，MM 仓 17.6s See merge request: Ascend/MindSpeed-MM!2850 | 12 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 12 天前 | ||
| 12 天前 | ||
| 12 天前 | ||
| 12 天前 |