已开启
增加attn_epilogue #139
林鹏翔创建于 6 天前
增加attn_epilogue #139
已开启
林鹏翔创建于 6 天前
林鹏翔
6 天前

当前PR是否有AI参与:

[ ] 否

[x] 是
__1. AI Agent 平台: Codex
__2. AI 模型: GPT-6
__3. Prompt上下文 : 上下文过长,略

PR功能描述 / 为什么需要这个合入**:

新增attn_epilogue融合算子,实现RoPE+Quant+Matmul+Qunat+Matmul的融合,获取性能收益;

该PR关联的issue

(格式为fixes #<issue号>, 或者resolves #<issue号>): fixes #

希望检视人员了解:

  • 当前attn_epilogue固化了网络规格参数,仅针对b*s支持动态输入;
  • 当前算子提供了两个接口,attn_epilogue接口不支持TP,是单卡融合的逻辑;attn_epilogue_tp接口是支持TP的版本;
  • 目前单卡融合的版本针对目标场景验证已获取收益,对应的测试结果如下:
    image.png

改动类型 / Change Type

测试信息 / Testing

检查清单 / Checklist

likedislike
合并受阻
林林鹏翔
6 天前 创建了 pull request,commit 3121469c
CANN-robotCANN-robot成员
6 天前 添加了label:ai-co-authored
CANN-robotCANN-robot成员
6 天前 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
6 天前 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

⚠️ This PR does not yet meet the following requirements:lgtm (requires ≥ 2 person(s) per module)、approve (requires ≥ 1 person(s) per module)

Module Approval Details

module lgtm status approve status
repo-cann/cannbot-dsl ❌ (0/2)(You can also ask: 陈振宇, 金炯, 沈敏, 陆玲辉, 刘佳玮) ❌ (0/1)(You can also ask: liujun2025, yang-jiwei, 陈振宇, 刘佳玮, 金炯)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

LinPX, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
林鹏翔
6 天前 评论:

compile

likedislike
林林鹏翔
6 天前 预合并成功(commit_id: c0cb373f99cb811c2200020efc0b84c59c0282bd)
CANN-robot
CANN-robot成员
6 天前 评论:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robot成员
6 天前 添加了label:ci-pipeline-running
CANN-robotCANN-robot成员
6 天前 删除了label:ci-pipeline-running
CANN-robotCANN-robot成员
6 天前 添加了label:ci-pipeline-failed
林鹏翔
5 天前 评论:

compile

likedislike
CANN-robot
CANN-robot成员
5 天前 评论:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robot成员
5 天前 删除了label:ci-pipeline-failed
CANN-robotCANN-robot成员
5 天前 添加了label:ci-pipeline-running
CANN-robotCANN-robot成员
5 天前 删除了label:ci-pipeline-running
CANN-robotCANN-robot成员
5 天前 添加了label:ci-pipeline-failed