已合并
增加 MsaIndexScore 算子 950 实现 #10672
增加 MsaIndexScore 算子 950 实现 #10672
已合并
oscillated创建于 8月26日
oscillated
oscillated成员
8月26日

描述

  1. 增加 MsaIndexScore 算子 950 实现(及对应原型FP8数据类型场景支持)
  2. 为当前 MsaIndexScore 算子增加特性: ①支持q_len, kv_len传0;②kv cache支持首轴非连续(带stride)
  3. 整改补齐相关文档格式(README、aclnn接口文档)
  4. 改进了tiling策略,优化A2A3、950平台计算decode场景小用例时的性能

关联的Issue

关联Issue #5151

测试

950

aclnn example

aclnn_example.png

torch example

torch_example.png

precision v.s. triton impl.

image.png

prof

prof.png

A2/A3

aclnn example

(跳过仅ascend950支持的fp8用例)

aclnn_example.png

torch example

(跳过仅ascend950支持的fp8用例)

torch_example.png

precision v.s. triton impl.

image.png

prof

prof.png

文档更新

类型标签

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 oscillated 的贡献)
oscillatedoscillated成员
8月26日 创建了 pull request,commit 8de9f4fa
CANN-robotCANN-robot成员
8月26日 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
8月26日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
*/*/README.md ✅ 蔡雯雯, L_Euler, 於欣洁, 蒋礼锐 (4/2) ✅ 蔡雯雯 (1/1)
*/*/docs/acl*.md ✅ 蔡雯雯, 蒋礼锐, L_Euler, 於欣洁 (4/2) ✅ 蔡雯雯 (1/1)
*/*/op_host/*_def.cpp ✅ 王永光, 於欣洁, 蒋礼锐, L_Euler (4/2) ✅ 王永光 (1/1)
attention ✅ 蒋礼锐, L_Euler, 於欣洁 (3/2) ✅ 蒋礼锐, L_Euler (2/1)
docs ✅ 蒋礼锐, 於欣洁 (2/2) ✅ 蒋礼锐 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

oscillated, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robot成员
8月26日 将guijianwei,hz36amy_00,coder_linx,juyangokok,monologue815,xuanyuandy,crystalhu,yu-xinjie62,huangwei791,jiang-lirui,yang-binrong,Allan_Yu,gitee-duhuiping,claire8090,tang-lei01,liudan12,shasha_an,wangzhe123456789,luwei_1104,gitcode-chenjiao,cc-z,shen_weiling,Ww7012,gaoxiang618,songjionghui,wenxin_fight,miaofangzheng,mabing1118,tang-hao-hw-gitcode,wangyongguang,haijie_699874,fengying555682,zzy__,yuhao_,L_Euler,caiwenwen,yanglu-1设为评审人
CANN-robotCANN-robot成员
8月26日 将guijianwei,hz36amy_00,coder_linx,juyangokok,monologue815,xuanyuandy,crystalhu,yu-xinjie62,huangwei791,jiang-lirui,yang-binrong,Allan_Yu,gitee-duhuiping,claire8090,tang-lei01,liudan12,shasha_an,wangzhe123456789,luwei_1104,gitcode-chenjiao,cc-z,shen_weiling,Ww7012,gaoxiang618,songjionghui,wenxin_fight,miaofangzheng,mabing1118,tang-hao-hw-gitcode,wangyongguang,haijie_699874,fengying555682,zzy__,yuhao_,L_Euler,caiwenwen,yanglu-1设为审查人
此处折叠了244条消息 查看更多
CANN-robotCANN-robot成员
9月10日 添加了label:approved
於欣洁成员
9月10日 评论:

/lgtm

likedislike
CANN-robotCANN-robot成员
9月10日 添加了label:lgtm
CANN-robotCANN-robot成员
9月10日 关闭了关联的issue
CANN-robotCANN-robot成员
9月10日 合入了pull request