已关闭
[Performance]: HSTUJaggedfoward核间切分优化FIXPIPE #1292
qq_37172505创建于 8月6日关闭于 17 小时前
xiangjie10
8月6日 评论:
8月6日 评论:
👋 您好,感谢向 RecSDK 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!
📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:
- 清晰的问题描述
- 可复现的操作步骤
- 相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!


xiangjie10
8月6日 评论:
8月6日 评论:
/label add triaged


8月6日 添加了label:performance
8月6日 添加了label:triaged
29 天前 添加了label:feature
29 天前 关联了pull request:perf(op): optimize HstuJaggedForward tiling for FIXPIPE Bound
27 天前 关联了看板:MindSDK版本issue看板
17 小时前 issue状态由 TODO 改变为 DONE
17 小时前 关闭了 issue
17 小时前 关联了里程碑:MindSDK 26.2.0
15 小时前 添加了label:resolved
提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。
性能优化具体描述
您好,我们前段时间在分析 HSTU 性能时发现,HSTUJaggedForward在
[2048, 16, 256]这个 Shape 下,原有的256×256×256tiling 方案存在一定的 FIXPIPE Bound。我们尝试将 tiling 调整为128×512×256,减少了 FIXPIPE 的写数据量,目前实测整体性能收益约为 15.6%。对相近的shape我们也做了一定泛化测试,具体数据见附件想看看能否为开源仓库做一些贡献,不知道这个优化方向是否合适。您方便的时候,想请您帮忙看一下;如果有进一步整理和提交的价值,我们再按照仓库要求补充相关 Shape、精度、性能和稳定性验证。
性能劣化说明
指标 Excel 公式
case 总数 20
平均总收益 17.24
平均 FIXPIPE 收益 31.634
90bca73269c745e28c8323fc8d87f4d8.xlsx4955b248d3514bbe8ec1bf4b40e9c224.xlsx
其他相关讨论
环境信息
Linux
cann 9.0
A5
欢迎加入社区,感谢您对社区的贡献 🎉!