NPU 两阶段训练性能优化
核心思路
GPU compile 提供了"哪些 ops 可以融合/消除"的 ground truth,但它无法覆盖所有优化空间(host 开销、通信、内存管理等)。两阶段策略:先用 GPU Teacher 快速拿到对齐增益,再用 Profiling 深挖剩余空间。
Stage 1: GPU Teacher Supernode 调优
目标:对齐 GPU compile 已证明可行的优化(fusion、消除冗余 cast、API 参数对齐等)。
方法:从 GPU ir_post_fusion.txt 提取 fusion groups → 划分 Supernode → 按优先级在 Lab 中测试候选方案 → 多卡 ablation 验证 → 组合进 full training。
Stage 1 的候选生成、优先级、完成条件和验证方法以 skills_phase1/SKILL.md 为唯一依据。顶层不重复规定候选数量或 Supernode 完成门禁。
Stage 1 → Stage 2 切换
Stage 1 完成后输出以下内容,然后进入 Stage 2:
- 每个 SN 的最终结论(accepted / rejected / evidence-based skip)
- 最终 cumulative full 的 train_time + val_loss
- Stage 2 使用的 baseline commit
切换前必须检查 progress.md:不允许有 pending 或 🔄 状态的高优先级 SN。如有,必须先完成或给出 evidence-based skip 理由,不得直接跳过进入 Stage 2。
GPU Teacher 完全不可用时(用户明确无 GPU 环境,或 ir_post_fusion.txt 确实不存在),可直接进入 Stage 2。
Stage 2: Profiling 驱动优化
目标:用 Profiling 数据定位 Stage 1 未覆盖的瓶颈(host 开销、通信、内存、小算子碎片等),做系统性深层优化。
方法:构造短跑脚本 → 采集 L1 → 双线分析(Line A 源码 + Line B Profiling)→ 下界分析确定方向 → 四维度优化实施 → 精度验证 → 收益确认 → 迭代。
Stage 2 的起点特殊性:
- Stage 1 已完成的优化是 Stage 2 的 baseline(不重做)
- Stage 2 的 Phase 1(准备)可跳过已完成的部分(环境已搭好、短跑脚本可能已有),只需补充未完成的产出
- Stage 2 的首轮 L1 profiling 采集的是 Stage 1 优化后的代码——分析的是"Stage 1 之后还剩什么瓶颈"
全局规则
- 不回退 Stage 1 的成果:Stage 2 的优化建立在 Stage 1 之上,不允许撤销已通过 ablation 的 Stage 1 优化(除非 Stage 2 发现了效果更好的实现)
- 短跑脚本共享:Stage 1 的多卡短跑脚本可直接作为 Stage 2 的短跑脚本(或在其基础上调整压缩比)