Closed
[Requirement|需求建议]: INTrainingReduceV2短规约连续计算性能优化 #8324
raoliang_sacAdd on 16 days agoClosed at 13 days ago
16 days ago Added label: requirement
15 days ago Assign raoliang_sac as responsible person
15 days ago Change title to "[Requirement|需求建议]: INTrainingReduceV2短规约连续计算性能优化", originally titled "[Requirement|需求建议]: INTrainingReduceV2 的 R=1 连续计算性能优化".
15 days ago Change title to "[Requirement|需求建议]: INTrainingReduceV2短规约连续计算性能优化", originally titled "[Requirement|需求建议]: INTrainingReduceV2 的 R=1 连续计算性能优化".
15 days ago Modify description of issue
13 days ago Close issue
13 days ago changed custom state from 进行中 to 已完成
13 days ago Added label: resolved
Backgroud(背景信息)
INTrainingReduceV2在Ascend 950的AR路径处理短规约时,逐行搬运、对齐和水平规约开销较大。R=1可退化为连续逐元素计算;复测原报告失败的88例发现,仅完成R=1优化后仍有13例短R场景不达标,规约长度为3~12。
本轮修复并复测原附件全部300例。本地950PR/A100三方精度和同带宽性能均300/300通过,最低折算0.110197;原报告88个失败用例全部纳入。新增8个大规模短R边界场景也全部通过,最低折算1.507567。
Origin(信息来源)
wangyueting/changwei #206的原始性能用例附件,以及针对全部300例的本地950PR/A100复测。
GPU主验收采用原issue的eager Torch组合计算,使用未修改的仓内FP64 golden执行两个输出的
cross_check L1。按本机带宽折算:(A100耗时/950PR耗时)×(1.55/1.6)≥0.1。原L20环境没有在本轮重新执行,早期compiled GPU数据仅作为补充。Benefit / Necessity (价值/作用)
减少短R场景的逐行搬运、填充和水平规约开销。13个剩余失败场景优化后,相对仅有R=1优化的版本,NPU加速比为85.7~343.2。例如原始142(FP32,R=4)从13813.188μs降至40.250μs,本轮A100 eager耗时383.0μs,折算9.2182。
保持输入输出契约、golden和精度标准。仅修改INTrainingReduceV2的arch35实现及对应测试、注释和英文README格式;A2编译及注册隔离检查通过。
Design(设计方案)
验证:原始300例全部通过;最终掩码等价整理后重测43个受影响原始例及8个新增大规模边界例,全部通过。其余257例保持已测计算路径,并有二进制变化范围核对记录。最终包另通过release binary 100例、静态/动态GEIR 28例、OOM 8例、手工消减和混合量级16例。950/A2本地CI通过,Host UT分别106项/12项通过;详细计时、产物对应关系及环境说明见PR。
受测提交:
8de2039bbd2b1f27ef112d9f949ece15b68afb20;官方master基点:47b9e324a4686f7f42c54da69eab4dbfd1c2e83a。关联 PR:https://gitcode.com/cann/ops-nn/pull/13846