已合并
add or modify kimi-k3 operator #151
add or modify kimi-k3 operator #151
已合并
朱磊创建于 26 天前
朱磊
朱磊
26 天前

当前PR是否有AI参与:

[x] 否

[ ] 是
__1. AI Agent 平台:
__2. AI 模型:
__3. Prompt上下文 :

PR功能描述 / 为什么需要这个合入**:

新特性 New Features : KIMI K3 网络算子

  • 【block_attn_res_update_rms_norm】新增 Block Attention Residual Update 与 RMSNorm 融合算子:将本层增量 delta 加到当前残差块,结合 pseudo_query 分数与 online-softmax 累积结果合并,再沿隐藏维做 RMSNorm 并乘缩放权重 gamma;同步注册 profiling identity(op_type=BlockAttnResUpdateRMSNorm)。
  • 【fused_recurrent_kda_snapshot】新增 KDA decode 算子 fused_recurrent_kda():计算 1~8 token 的 KDA decode,并把每个 token 的递归状态写入 state-pool 槽位,用于为候选分支保存完整状态的 Snapshot 协议。
  • 【mega_recurrent_kda】新增多 batch decode 融合算子:将 QKV、decay、beta、output-gate 投影、causal Conv1D + SiLU、Q/K 归一化、recurrent KDA、RMSNorm、output gating 和输出投影融合为一次 mixed AIC/AIV kernel 调用。
  • 【mega_recurrent_kda_replayssm】新增 ReplaySSM verify 算子:将 QKV、decay、beta、gating 和输出投影融合为一次 mixed AIC/AIV kernel 调用。
  • 【commit_recurrent_kda_replayssm】新增 ReplaySSM 提交算子:根据 Mega ReplaySSM 保存的 replay record,将每个 batch 已接受的 token 依次提交到递归状态。
  • 【quant_mla_prolog】新增 AW1 MLA Prolog 算子,支持 BF16 非量化输出(C0)与 MXFP8 量化输出。

该PR关联的issue

(格式为fixes #<issue号>, 或者resolves #<issue号>): fixes #

希望检视人员了解:

改动类型 / Change Type

测试信息 / Testing

检查清单 / Checklist

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 朱磊 的贡献)
朱磊朱磊
26 天前 创建了 pull request,commit 8984cbb5
CANN-robotCANN-robot成员
26 天前 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
26 天前 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-cann/cannbot-dsl ✅ yang-jiwei, liujun2025 (2/2) ✅ yang-jiwei, liujun2025 (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

zhu-lei0614, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
朱磊朱磊
26 天前 virtual merging failed, update merge request[project_id: 10528878, iid: 151, target_commit_sha: 8a196f768ecfd009ee41348eabe5f66cd1fe23c8], message: Conflict detected
朱磊朱磊
26 天前 推送  1 个提交:40c270dc-2
此处折叠了188条消息 查看更多
yang-jiwei成员
24 天前 评论:

/lgtm
/approve

likedislike
CANN-robotCANN-robot成员
24 天前 添加了label:approved
liujun2025成员
24 天前 评论:

/lgtm
/approve

likedislike
CANN-robotCANN-robot成员
24 天前 添加了label:lgtm
CANN-robotCANN-robot成员
24 天前 合入了pull request