Closed
[Requirement|需求建议]: Ascend960 combine算子使能RSW #7195
yezhuoxiAdd on  9 days agoClosed at  5 days ago
yezhuoxiCollaborators
9 days ago Create

Backgroud(背景信息)

Ascend960 combine算子使能RSW特性以及4KB 大包

Benefit / Necessity (价值/作用)

提升combine算子在Ascend960上的性能

Design(设计方案)

likedislike
YyezhuoxiCollaborators
9 days ago Added label: requirement
周云飞
周云飞Collaborators
9 days ago Comments:

/assign @yezhuoxi

likedislike
CANN-robotCANN-robotCollaborators
9 days ago Assign yezhuoxi as responsible person
周云飞
周云飞Collaborators
9 days ago Comments:

问题说明

这是面向 Ascend960 的性能优化需求,涉及 RSW 使能和 4KB 大包支持,目前不足以判断具体改动位置及性能收益。现有 AttentionWorkerCombine 入口片段仅展示计算分支选择,不能据此确认它就是本次目标算子,也不能判断底层是否已支持这两项能力。

处理建议

请补充目标 combine 算子的接口名,以及 RSW 的具体含义或对应规格说明,以便明确适配范围。可考虑在目标算子的通信实现中评估这两项能力,重点确认 4KB 包长的对齐、尾包处理和通信双方兼容性,并在 Ascend960 上对比输出正确性与性能;是否适合默认开启还需结合实测判断。

likedislike
CANN-robotCANN-robotCollaborators
5 days ago Close issue
CANN-robotCANN-robotCollaborators
5 days ago Added label: resolved
周云飞
周云飞Collaborators
5 days ago Comments:

关闭总结

PR !13827 的描述为 Ascend960 combine 算子使用 RSW。提供的差异片段包括:

  • tiling 中识别 DAV_9201/9202,并选择 A6 架构标记生成 tiling key。
  • 调整 combine 及 combine add RMS norm 内核实例的模板参数,在 arch92 路径传入 true,其他所示路径传入 false。

以上仅总结提供的片段;材料未给出测试结果,不能据此确认需求已完全解决。

关联 PR:PR #13827

likedislike