已关闭
[Feature]: 迁移优化st用例 #1784
Rostellaria创建于 22 天前关闭于 20 天前
22 天前 添加了label:feature
22 天前 关联了pull request:test: sink deepseek4-flash fsdp2 and deepseek-v3 gate cases to pipeline to shorten CI time, fix mamba3 tee misreport
22 天前 关联了pull request:test: sink deepseek4-flash fsdp2 and deepseek-v3 gate cases to pipeline to shorten CI time, fix mamba3 tee misreport
20 天前 关闭了 issue
20 天前 添加了label:resolved
提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
迁移优化st用例
deepseek_v3_mcore_tp1_pp2_ep4 为上一代旗舰,当前主打 v4 flash(仓内 pretrain_deepseek4.py + 两个 fsdp2 v4 用例);v3 专属的 first-k-dense-replace=1、sigmoid 路由 + expert bias 等降级为每日夜间看护,回归发现时延从"PR 即时"变为"次日报告",属可接受的风险-收益交换;
pretrain_deepseek4_flash_1k_fsdp2基础用例唯一未被 cp2 覆盖的执行维度:cp_size=1 时走模型默认注意力实现(model_factory 中 cp_size>1 才强制 eager)。该路径下沉后由 pipeline 每日看护,且 FSDP2 框架本身(fsdp_modules 切分、ep 配置、数据管线)仍由门禁的 gpt_oss fsdp2 用例(cp_off)兜底。
替代方案
补充说明
欢迎加入社区,感谢您对社区的贡献 🎉!