| [Feature] Add t2v and t2av fine-tuning for LTX 2.0 with FSDP2 backend support
Co-authored-by: hanyyy<hanyue42@huawei.com>
# message auto-generated for no-merge-commit merge:
!2301 merge ltx2_0324 into master
[Feature] Add t2v and t2av fine-tuning for LTX 2.0 with FSDP2 backend support
Created-by: vasileone
Commit-by: hanyyy
Merged-by: ascend-robot
Description: ## What this PR does / why we need it?
本 PR 在 MindSpeed-MM 的 FSDP2 后端新增 LTX2.0 微调训练能力，提供可直接跑通的 t2v 与 t2av 示例，并补齐视频 / 音视频两套训练 pipeline
模型侧：
- 新增 model_id: ltx2，适配 FSDP2 后端
- 新增视频 pipeline
- 新增音视频 pipeline
## Modification
- mindspeed_mm/fsdp/models/ltx2/ltx2_fsdp2/modeling_ltx2.py：LTX2 的 FSDP2 训练封装 LTX2ForTraining。
- mindspeed_mm/fsdp/data/datasets/ltx2/ltx2_precomputed_dataset.py：ltx2_precomputed fsdp2后端数据集实现。
- examples/fsdp2/ltx2/finetune_ltx2_t2v.sh：t2v torchrun 启动脚本。
- examples/fsdp2/ltx2/finetune_ltx2_t2av.sh：t2av torchrun 启动脚本。
See merge request: Ascend/MindSpeed-MM!2301 | 2 个月前 |
