Closed
[Requirement|需求建议]: MatmulReduceScatterV2 960dt 非量化场景适配 APACE 新模板 #6732
dyd-dmyAdd on  20 days agoClosed at  5 days ago
dyd-dmy
dyd-dmy
20 days ago Create

Backgroud(背景信息)

当前已新增APACE新模板,960还未充分适配非量化场景,切模板不影响功能和性能

Benefit / Necessity (价值/作用)

后续不再依赖3rd中的公共接口,便于维护

Design(设计方案)

960的mx量化apace模板已上库,可复用通路

likedislike
游震Collaborators
20 days ago Comments:

/assign @dyd-dmy

likedislike
CANN-robotCANN-robotCollaborators
20 days ago Assign dyd-dmy as responsible person
周云飞
周云飞Collaborators
20 days ago Comments:

感谢提出适配建议。将 950 的 MatmulReduceScatterV2 MXFP8/MXFP4 场景迁移到 APACE 新模板,以减少对 3rd 公共接口的依赖,是一个值得评估的维护优化方向;目前应按模板迁移需求处理,而非功能缺陷。

需求分析

现有 APACE MX 量化实现已将矩阵布局、MX 量化计算块和调度器组合为 MatmulReduceScatterV2 内核,可作为复用基础。其中,B 矩阵布局随转置参数选择;内核调度设计还要求按通信域内各卡的数据边界拆分调度块。因此,复用模板不仅涉及替换调用入口,也需要保持量化数据布局及各卡结果分片的一致性。

调整方向

可以考虑以您提到的 960 通路为参考,在 950 的 MXFP8/MXFP4 模板选择和参数衔接处接入 APACE 实现,并梳理该路径对 3rd 公共接口的实际依赖。迁移应保持现有对外接口和计算语义不变,重点确认量化缩放参数、转置布局及 ReduceScatter 分片是否匹配,避免直接复用时引入平台差异。

预期收益是减少重复适配和外部公共接口依赖,成本主要在平台参数适配及回归验证。“切模板不影响功能和性能”目前仍是迁移目标,需要通过 950 上迁移前后的精度与性能对比确认;现有代码片段尚不能证明 950 已完整接入或已消除相关依赖。我们将继续评估该方案及其兼容性影响。

likedislike
dyd-dmydyd-dmy
17 days ago Modify description of issue
dyd-dmydyd-dmy
17 days ago Change title to "[Requirement|需求建议]: MatmulReduceScatterV2 950 mxfp8/mxfp4/非量化 场景适配 APACE 新模板", originally titled "[Requirement|需求建议]: MatmulReduceScatterV2 950 mxfp8/mxfp4 场景适配 APACE 新模板".
dyd-dmydyd-dmy
6 days ago Change title to "[Requirement|需求建议]: MatmulReduceScatterV2 960dt 非量化场景适配 APACE 新模板", originally titled "[Requirement|需求建议]: MatmulReduceScatterV2 950 mxfp8/mxfp4/非量化 场景适配 APACE 新模板".
dyd-dmydyd-dmy
6 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
5 days ago Close issue
CANN-robotCANN-robotCollaborators
5 days ago Added label: resolved
周云飞
周云飞Collaborators
5 days ago Comments:

已合入 PR #14503,为 MatmulReduceScatterV2 的 960dt 非量化场景接入 APACE 模板。主要改动包括:

  • 新增非量化矩阵乘计算实现,支持 FP16、BF16 输入及 x2 转置和非转置。
  • 统一非量化与 MX 量化场景的融合调度和 ReduceScatter 通信流程,计算层保留各自实现。
  • 复用 MatmulV3 Tiling,按各 rank 通信块合成的逻辑 M 进行切分,并对跨 rank 行段进行分段计算。
  • 完善分块覆盖、尾轮调度和通信量等边界校验,其他非 APACE 场景沿用原有通路。

PR 描述中注明本地测试和冒烟测试已通过,并补充、调整了 Tiling UT 及原有通路的回归用例。

关联 PR:PR #14503

likedislike