| add or modify kimi-k3 operator Co-authored-by: zhu-lei0614<zhulei113@huawei.com> # message auto-generated for no-merge-commit merge: !151 merge master into master add or modify kimi-k3 operator Created-by: zhu-lei0614 Commit-by: zhu-lei0614 Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: #### 新特性 New Features : KIMI K3 网络算子 - 【block_attn_res_update_rms_norm】新增 Block Attention Residual Update 与 RMSNorm 融合算子：将本层增量 delta 加到当前残差块，结合 pseudo_query 分数与 online-softmax 累积结果合并，再沿隐藏维做 RMSNorm 并乘缩放权重 gamma；同步注册 profiling identity（op_type=BlockAttnResUpdateRMSNorm）。 - 【fused_recurrent_kda_snapshot】新增 KDA decode 算子 fused_recurrent_kda()：计算 1～8 token 的 KDA decode，并把每个 token 的递归状态写入 state-pool 槽位，用于为候选分支保存完整状态的 Snapshot 协议。 - 【mega_recurrent_kda】新增多 batch decode 融合算子：将 QKV、decay、beta、output-gate 投影、causal Conv1D + SiLU、Q/K 归一化、recurrent KDA、RMSNorm、output gating 和输出投影融合为一次 mixed AIC/AIV kernel 调用。 - 【mega_recurrent_kda_replayssm】新增 ReplaySSM verify 算子：将 QKV、decay、beta、gating 和输出投影融合为一次 mixed AIC/AIV kernel 调用。 - 【commit_recurrent_kda_replayssm】新增 ReplaySSM 提交算子：根据 Mega ReplaySSM 保存的 replay record，将每个 batch 已接受的 token 依次提交到递归状态。 - 【quant_mla_prolog】新增 AW1 MLA Prolog 算子，支持 BF16 非量化输出（C0）与 MXFP8 量化输出。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [x] 单元测试通过 / UT passed - [x] 集成测试通过 / ST passed - [x] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [x] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated if needed - [x] 无硬编码敏感信息 / No secrets hardcoded - [x] 提交信息符合规范 / Commit message follows convention See merge request: cann/cannbot-dsl!151 | 49 分钟前 |