已开启
【Feature】triton算子(mamba_mimo_bwd_fwd_kernel)迁移mindspeed-ops仓 #22
LinShua创建于  5月18日
LinShua成员
5月18日 创建

任务描述

基于state-spaces/mamba开源仓库的triton源码,迁移优化triton算子在NPU上跑通及性能优化。
本期任务的具体信息如下:
(1)算子名称:mamba_mimo_bwd_fwd_kernel
(2)state-spaces/mamba开放仓库的算子源码链接:
https://github.com/state-spaces/mamba/blob/main/mamba_ssm/ops/tilelang/mamba3/mamba3_mimo_bwd.py
(3) 迁移指导文档:https://gitcode.com/Ascend/triton-ascend/blob/main/docs/zh/programming_guide.md
参考 skill 地址:https://gitcode.com/Ascend/agent-skills/tree/master/skills/simple-vector-triton-gpu-to-npu
(4) 开发平台:Atlas 800T A2或者A3

验收标准

一、任务交付件
本期任务为基于state-spaces/mamba开放仓库代码进行功能扩展,请合入开发代码。主要开发点如下:
(1) triton算子针对NPU的适配修改优化后的代码
(2) 针对该triton算子的测试用例UT
二、验收标准:
1)精度/性能要求
精度:
对比GPU相同输入算子精度误差小于0.1%
若无GPU标杆,与CPU小算子对齐,精度误差小于0.1%
性能:
补充说明:具体性能对比数据呈现,按 CV类算子达到0.7x竞品, VV类算子达到0.9x竞品
以下以竞品A100为例说明计算具体的性能对比要求:

  • 1.先计算当前运行NPU设备与对应竞品GPU的算力换算比例
硬件规格 910B2 A100 910B2/A100
Cube算力 354 312 1.13x
Vector算力 11.06 19.5 0.56x
带宽 1800 2039 0.88x
  • 2.根据算力换算比例计算对应算子类在不同bound场景的实际性能要求

910B2 VS A100

bound场景 CV类算子(0.7X) VV类算子(0.9x)
Cube算力bound场景 0.8x 1.0X
Vector算力bound场景 0.4x 0.5X
Memory bound场景(HBM) 0.6x 0.8x

计算式子:以CV类算子的Cube算力bound场景为例:1.13 * 0.7 =0.8
2)实践文档:
triton算子介绍1篇
3)任务完成标准
本次任务完成标准为:
精度/性能(根据实际要求)达标,PR完成合入,实践文档提交到仓库issue。

PR 合入

本地完成测试验证后,向MindSpeed-Ops的master分支发起PR。

对接人

LinSHua

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
LLinShua成员
6月2日 添加了label:feature
Ronald1995成员
6月11日 评论:

/label add good-first-issue

likedislike
ascend-robotascend-robot成员
6月11日 添加了label:good-first-issue
wangx700
wangx700成员
6月12日 评论:

/label add triage-review

likedislike
ascend-robotascend-robot成员
6月12日 添加了label:triage-review
fish_zzh
6月25日 评论:

认领这个任务

likedislike
bitszh3271成员
6月28日 评论:

认领这个任务

likedislike
gcw_MTeIQk9o
6月29日 评论:

认领这个任务

likedislike
yuhanBai成员
6月30日 评论:

认领这个任务

@gcw_ZlphGU5C

你好,感谢您对昇腾平台的支持,请及时在本issue评论区更新进展,超过一周无进展更新自动视为放弃该任务。:)

likedislike
yuhanBai成员
6月30日 评论:

认领这个任务

@bitszh3271

你好,感谢您对昇腾平台的支持,当前一个任务只分配一个开发,根据评论认领时间确定,您可以后续观察该任务是否被释放退出,或者认领其他任务 https://gitcode.com/org/Ascend/discussions/4

likedislike
yuhanBai成员
6月30日 评论:

认领这个任务

@gcw_MTeIQk9o

你好,感谢您对昇腾平台的支持,当前一个任务只分配一个开发,根据评论认领时间确定,您可以后续观察该任务是否被释放退出,或者认领其他任务 https://gitcode.com/org/Ascend/discussions/4

likedislike
zeshengzongzeshengzong成员
7月2日 关联了看板:@zeshengzong的看板 20260702
gcw_FeESPmVU
7月3日 评论:

认领这个任务

@gcw_ZlphGU5C

你好,感谢您对昇腾平台的支持,请及时在本issue评论区更新进展,超过一周无进展更新自动视为放弃该任务。:)

@yuhanBai

原申请者超过一周无进展更新自动视为放弃该任务,现在我申请认领该任务

likedislike
ascend-robotascend-robot成员
7月3日 关联了看板:MindStudio ISSUE管理
gcw_K5CvmS79成员
7月3日 评论:

申请认领该任务

likedislike
yuhanBai成员
7月7日 评论:

认领这个任务

@gcw_ZlphGU5C

你好,感谢您对昇腾平台的支持,请及时在本issue评论区更新进展,超过一周无进展更新自动视为放弃该任务。:)

@yuhanBai

原申请者超过一周无进展更新自动视为放弃该任务,现在我申请认领该任务

@gcw_FeESPmVU @gcw_K5CvmS79

你好,感谢您对昇腾平台的支持,当前一个任务只分配一个开发,根据评论认领时间确定。请关注https://gitcode.com/Ascend/MindSpeed-Ops/issues/3任务是否释放或者认领其他任务 https://gitcode.com/org/Ascend/discussions/4

likedislike
yuhanBai成员
7月7日 评论:

认领这个任务

@gcw_ZlphGU5C

你好,感谢您对昇腾平台的支持,请及时在本issue评论区更新进展,本周五(07/10)之前无进展更新将释放该任务。

likedislike
Lliuzhexu成员
7月11日 关联了里程碑:MindSpeed 26.2.0
hahahascend
7月14日 评论:

认领这个任务

likedislike
Bbitszh3271成员
7月16日 关联了pull request:feat: mamba3-mimo-bwd-fwd-triton-kernel
gcw_K5CvmS79成员
7月16日 评论:

认领这个任务

likedislike
yuhanBai成员
7月21日 评论:

认领这个任务

@gcw_ZlphGU5C

感谢您对昇腾开源社区的关注与支持!
由于该任务在认领后较长时间内暂未收到进展更新,为保障项目整体推进节奏,我们将暂时结束本次认领,并重新开放该任务,供其他社区贡献者参与。
后续如您仍有兴趣参与昇腾开源项目,欢迎持续关注【昇腾生态官网】及本社区发布的最新任务,也欢迎通过提交 Issue或参与社区讨论等方式继续贡献。
再次感谢您的理解与支持,期待未来继续与您合作!

likedislike
gcw_K5CvmS79成员
7月23日 评论:

认领这个任务

likedislike
westbrook3638
7月27日 评论:

认领这个任务

likedislike
yuhanBai成员
7月28日 评论:

认领这个任务

@hahahascend

感谢您此前对该任务的关注与支持!
由于上一位认领者暂未继续推进该任务,目前该任务已重新开放。根据此前的候选顺序,我们希望优先邀请您参与该任务。
如您目前仍有意愿认领,请在5个工作日内回复确认,并简要说明预计开始时间或初步推进计划。确认后,我们将为您保留任务,并提供必要的背景资料和支持。
如您近期时间安排不便,也请直接告知,我们将继续顺延联系其他候选贡献者,不会影响您后续参与其他社区任务。
再次感谢您对昇腾开源社区的关注,期待与您合作!

likedislike
gcw_URSvgjL2
7月31日 评论:

认领这个任务

likedislike
hahahascend
8月4日 评论:

认领这个任务

@hahahascend

感谢您此前对该任务的关注与支持!
由于上一位认领者暂未继续推进该任务,目前该任务已重新开放。根据此前的候选顺序,我们希望优先邀请您参与该任务。
如您目前仍有意愿认领,请在5个工作日内回复确认,并简要说明预计开始时间或初步推进计划。确认后,我们将为您保留任务,并提供必要的背景资料和支持。
如您近期时间安排不便,也请直接告知,我们将继续顺延联系其他候选贡献者,不会影响您后续参与其他社区任务。
再次感谢您对昇腾开源社区的关注,期待与您合作!

@yuhanBai

确认认领该任务

likedislike
bbl0812
8月4日 评论:

认领这个任务

likedislike
LLinShua成员
8月7日 修改了issue 的描述
chenchen
chenchen
8月7日 评论:

认领这个任务

likedislike
olpk
olpk
8月13日 评论:

认领这个任务

likedislike
Hhahahascend
8月19日 关联了pull request:feat: add Triton-Ascend implementation of Mamba-3 mamba_mimo_bwd_fwd
hahahascend
8月19日 评论:
Xxmz成员
8月25日 修改标题为 “【Feature】triton算子(mamba_mimo_bwd_fwd_kernel)迁移mindspeed-ops仓”,原标题为“【Feature】triton算子(_layer_norm_bwd_kernel)迁移mindspeed-ops仓”
梵高的呐喊
梵高的呐喊
24 天前 评论:

认领该任务

likedislike
Xxmz成员
19 天前 关联了里程碑:MindSpeed 26.3.0