Star134
205
代码
代码
Issues19
Pull Requests31
项目讨论
Wiki
分析
Star134
205
已开启
[Feature]: hstuv2 bwd afmask模式性能优化 #1347
zhoucy创建于  24 天前
zhoucy
zhoucy成员
24 天前 创建

提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

测试脚本：cust_op/test/hstu_v2/test_backward_op_benchmark_arbitrary_mask.py
mask采用causal mask。测试结果有10~25%劣化。

batch_size head_num max_seqlen_q max_seqlen_k head_dim_qk head_dim_v has_rab data_type seed seq_lens_q_mean seq_lens_q_max seq_lens_q_min seq_lens_k_mean seq_lens_k_max seq_lens_k_min Input Shapes Task Duration(us) AF 1grps：Task Duration(us) AF 2grps：Task Duration(us) AF 1grps NoDuplicate：Task Duration(us) AF 2grps NoDuplicate：Task Duration(us)
32 8 512 512 64 64 TRUE float16 123 460 460 460 460 460 460 "14720,8,64;14720,8,64;14720,8,64;14720,8,64;32,8,512,512;33;33;;;14720,8,64;;;" 382.474 421.084 480.895 381.873 367.425
32 8 1024 1024 64 64 TRUE float16 123 921 921 921 921 921 921 "29472,8,64;29472,8,64;29472,8,64;29472,8,64;32,8,1024,1024;33;33;;;29472,8,64;;;" 1134.417 1218.384 1332.562 1113.31 1114.121
32 8 2048 2048 64 64 TRUE float16 123 1843 1843 1843 1843 1843 1843 "58976,8,64;58976,8,64;58976,8,64;58976,8,64;32,8,2048,2048;33;33;;;58976,8,64;;;" 3570.942 3725.03 4131.879 3538.828 3552.679
32 8 4096 4096 64 64 TRUE float16 123 3686 3686 3686 3686 3686 3686 "117952,8,64;117952,8,64;117952,8,64;117952,8,64;32,8,4096,4096;33;33;;;117952,8,64;;;" 12402.444 12830.639 13531.368 12266.564 12347.105
32 8 512 512 128 128 TRUE float16 123 460 460 460 460 460 460 "14720,8,128;14720,8,128;14720,8,128;14720,8,128;32,8,512,512;33;33;;;14720,8,128;;;" 477.276 499.267 545.902 485.704 486.563
32 8 1024 1024 128 128 TRUE float16 123 921 921 921 921 921 921 "29472,8,128;29472,8,128;29472,8,128;29472,8,128;32,8,1024,1024;33;33;;;29472,8,128;;;" 1329.744 1395.254 1501.547 1337.94 1337.769
32 8 2048 2048 128 128 TRUE float16 123 1843 1843 1843 1843 1843 1843 "58976,8,128;58976,8,128;58976,8,128;58976,8,128;32,8,2048,2048;33;33;;;58976,8,128;;;" 4142.811 4273.004 4642.552 4156.683 4168.898
32 8 4096 4096 128 128 TRUE float16 123 3686 3686 3686 3686 3686 3686 "117952,8,128;117952,8,128;117952,8,128;117952,8,128;32,8,4096,4096;33;33;;;117952,8,128;;;" 14480.99 14889.357 15491.758 14436.152 14476.517
32 8 512 512 64 64 FALSE float16 123 460 460 460 460 460 460 "14720,8,64;14720,8,64;14720,8,64;14720,8,64;;33;33;;;14720,8,64;;;" 343.882 376.223 421.127 324.793 325.513
32 8 1024 1024 64 64 FALSE float16 123 921 921 921 921 921 921 "29472,8,64;29472,8,64;29472,8,64;29472,8,64;;33;33;;;29472,8,64;;;" 1041.194 1123.268 1221.946 1012.791 1015.683
32 8 2048 2048 64 64 FALSE float16 123 1843 1843 1843 1843 1843 1843 "58976,8,64;58976,8,64;58976,8,64;58976,8,64;;33;33;;;58976,8,64;;;" 3408.934 3528.968 3870.004 3353.121 3338.854
32 8 4096 4096 64 64 FALSE float16 123 3686 3686 3686 3686 3686 3686 "117952,8,64;117952,8,64;117952,8,64;117952,8,64;;33;33;;;117952,8,64;;;" 11950.18 12281.314 12871.37 11814.925 11818.575
32 8 512 512 128 128 FALSE float16 123 460 460 460 460 460 460 "14720,8,128;14720,8,128;14720,8,128;14720,8,128;;33;33;;;14720,8,128;;;" 411.77 434.096 477.335 400.636 409.358
32 8 1024 1024 128 128 FALSE float16 123 921 921 921 921 921 921 "29472,8,128;29472,8,128;29472,8,128;29472,8,128;;33;33;;;29472,8,128;;;" 1220.996 1290.24 1382.512 1226.137 1225.653
32 8 2048 2048 128 128 FALSE float16 123 1843 1843 1843 1843 1843 1843 "58976,8,128;58976,8,128;58976,8,128;58976,8,128;;33;33;;;58976,8,128;;;" 3953.616 4040.146 4369.37 3926.97 3932.891
32 8 4096 4096 128 128 FALSE float16 123 3686 3686 3686 3686 3686 3686 "117952,8,128;117952,8,128;117952,8,128;117952,8,128;;33;33;;;117952,8,128;;;" 13579.789 14027.008 14538.974 13695.282 13713.687

替代方案

补充说明

欢迎加入社区，感谢您对社区的贡献 🎉!

likedislike
zhoucyzhoucy成员
24 天前 添加了label：feature
taoqiuyu1998
taoqiuyu1998成员
24 天前 评论：

/label add triaged

likedislike
ascend-robotascend-robot成员
24 天前 添加了label：triaged
zhoucyzhoucy成员
24 天前 将 zhoucy998 设为负责人
wuhongfawuhongfa成员
21 天前 关联了pull request：【feat】HSTU 反向，Target分核和跳过
wuhongfawuhongfa成员
21 天前 删除了关联的pull request：【feat】HSTU 反向，Target分核和跳过
wuhongfawuhongfa成员
21 天前 关联了pull request：【feat】HSTU 反向，Target分核和跳过
taoqiuyu1998taoqiuyu1998成员
13 天前 关联了看板：MindSDK版本issue看板
taoqiuyu1998taoqiuyu1998成员
13 天前 关联了里程碑：MindSDK 26.2.0