已开启
[知识需求] 补充 Kimi K3 推理优化与调试 Runbook #76
汪超创建于  5 天前
汪超成员
5 天前 创建

知识缺口

昇腾 950PR/DT 上的 Kimi K3 推理涉及 MLA、MegaKDA、MoE、MXFP8 和投机解码。现有通用知识不能完整回答以下实现边界:融合后权重是否重复保存、EP 过滤是否发生在物化前、FlashKDA 的 packed TND 启用条件、图捕获中的 Host metadata 构造,以及 NaN 探针的 dtype、有效行和后端限制。

已检索并复用通用 MoE 分块、通信域隔离、多流同步与 MTP 计时知识;本次只补充尚缺的专项诊断步骤和条件,不重复创建通用主题卡。

知识生产方案

  • create:在 knowledge/model/inference/runbooks/ 新增 18 张卡,覆盖 compilation、performance、precision、runtime、validations。
  • update:在现有 mtp_decode_timing_collection_granularity 中补充实际接受长度、固定分母与 Proposal/Verify 配对的统计边界;同步 5 个直接目录索引和当天日志。
  • 从开发轨迹和代码变更提炼触发条件、探针、观测、处理及验证信号,并逐卡复核技术结论。按轨迹 Runbook 契约使用 sources: [],不附仓库引用或提交标识。
  • 18 张新增卡保留 8 stable、10 draft;尚缺目标 NPU、修后数据或接口验收的结论继续标为 draft,不新增 verified 事件。

预期效果与验收

在 model/inference、runbooks、950 条件下,用以下查询应能定位到对应的条件和边界:

查询 应回答的要点
FlashKDA lower_bound packed TND 同时要求启用 FlashKDA 和非空 lower_bound,其余配置走参考实现
q_b_proj_decode 共享正确的存储配对,保留 Prefill TP 分片与全头 Decode 权重的区别
E4M3 activation(显式查询 draft) 分块扫描限制峰值内存,原始 E8M0 scale 仍跳过并披露覆盖缺口
KIMI_NAN_TRACE(显式查询 draft) 明确 npugraph_ex Decode、eager Prefill 和 GE 后端边界
group_size=32 核对 W8/A8、静态对称权重、动态 group 激活及 target/ignore 优先级
aclrtMemcpy 107030(显式查询 draft) 在 DSpark GQA 的图外 prepare_decode_inputs 准备 metadata

实际结果:内容复核发现的 7 项问题已修正;以上 6 项召回检查全部通过,另完成 22 项逐卡召回、草稿隔离及场景/平台过滤检查。全库 Lint 无 P0/P1/P2,索引构建与 full 验证通过(8,458 张卡)。完整提交门禁结果随关联 PR 提供。

本次未运行 NPU 推理、模型 CPU 测试或硬件 benchmark,不将检索通过或代码核对表述为上板精度、性能验证。

likedislike
汪汪超成员
5 天前 关联了pull request:feat(model): 补充 Kimi K3 推理优化与调试 Runbook