Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
1、当前stft算子不支持A5,运行会报错; 2、aclStft里的缓存机制是只保留前五个出现的nfft等组合参数,没有退出和更新机制,如果序列超过五个且后面的nfft更大会导致重复创建DTF矩阵性能性能很差。
1、支持A5代际 2、提高多序列缓存命中率,大幅度提高性能。
本次变更主要包含两个方面:一是为 STFT 算子新增 ASCEND950(A5)平台的 AiCore 支持; 二是将 DFT 矩阵缓存从基于"条目数上限"的简单计数策略重构为基于显存预算的 LRU 淘汰策略,并简化缓存键设计,从而提升缓存命中率和显存利用率。
aclnn调用
ascend950
aicore支持的单个缓存最大是500mb,对应nfft=8192;
💡 备注(选填)
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
一、背景信息 (必填)
1、当前stft算子不支持A5,运行会报错;
2、aclStft里的缓存机制是只保留前五个出现的nfft等组合参数,没有退出和更新机制,如果序列超过五个且后面的nfft更大会导致重复创建DTF矩阵性能性能很差。
二、价值/作用 (必填)
1、支持A5代际
2、提高多序列缓存命中率,大幅度提高性能。
三、设计方案 (必填)
本次变更主要包含两个方面:一是为 STFT 算子新增 ASCEND950(A5)平台的 AiCore 支持;
二是将 DFT 矩阵缓存从基于"条目数上限"的简单计数策略重构为基于显存预算的 LRU 淘汰策略,并简化缓存键设计,从而提升缓存命中率和显存利用率。
3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)
aclnn调用
3.2 总体设计
3.2.1 算子支持的数据类型
3.2.2 host侧设计
3.2.3 kernel侧设计
3.3 支持硬件
ascend950
3.4 算子约束限制
aicore支持的单个缓存最大是500mb,对应nfft=8192;
💡 备注(选填)