已关闭
[Performance]: HSTUJaggedfoward核间切分优化FIXPIPE #1292
qq_37172505创建于  8月6日关闭于  17 小时前
qq_37172505
qq_37172505
8月6日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

性能优化具体描述

您好,我们前段时间在分析 HSTU 性能时发现,HSTUJaggedForward在 [2048, 16, 256] 这个 Shape 下,原有的 256×256×256 tiling 方案存在一定的 FIXPIPE Bound。我们尝试将 tiling 调整为 128×512×256,减少了 FIXPIPE 的写数据量,目前实测整体性能收益约为 15.6%。对相近的shape我们也做了一定泛化测试,具体数据见附件

想看看能否为开源仓库做一些贡献,不知道这个优化方向是否合适。您方便的时候,想请您帮忙看一下;如果有进一步整理和提交的价值,我们再按照仓库要求补充相关 Shape、精度、性能和稳定性验证。

性能劣化说明

指标 Excel 公式
case 总数 20
平均总收益 17.24
平均 FIXPIPE 收益 31.634
90bca73269c745e28c8323fc8d87f4d8.xlsx4955b248d3514bbe8ec1bf4b40e9c224.xlsx

其他相关讨论

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

Linux
cann 9.0
A5

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
xiangjie10成员
8月6日 评论:

👋 您好,感谢向 RecSDK 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

  • 清晰的问题描述
  • 可复现的操作步骤
  • 相关日志、截图或环境信息
    我们会尽快跟进,感谢您的理解与配合!
likedislike
xiangjie10成员
8月6日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
8月6日 添加了label:performance
ascend-robotascend-robot成员
8月6日 添加了label:triaged
FangXq成员
29 天前 评论:

/label add feature

likedislike
ascend-robotascend-robot成员
29 天前 添加了label:feature
Llihao_huawei成员
29 天前 关联了pull request:perf(op): optimize HstuJaggedForward tiling for FIXPIPE Bound
huangleihuanglei成员
27 天前 关联了看板:MindSDK版本issue看板
taoqiuyu1998taoqiuyu1998成员
17 小时前 issue状态由 TODO 改变为 DONE
taoqiuyu1998taoqiuyu1998成员
17 小时前 关闭了 issue
taoqiuyu1998taoqiuyu1998成员
17 小时前 关联了里程碑:MindSDK 26.2.0
ascend-robotascend-robot成员
15 小时前 添加了label:resolved