Closed
[Documentation|文档反馈]: 补充三类 GMM 转置融合 Pass 的模式图与使用说明 #7064
zhoushaolongAdd on  6 days agoClosed at  4 days ago
zhoushaolong
zhoushaolongCollaborators
6 days ago Create

Document Link(文档链接)

本次为新增指南,以下链接指向关联 PR 的提交版本:

Issues Section(问题文档片段)

需补充的内容为各 Pass 的“融合模式”“使用约束”和“支持的型号”章节及配套模式图。GMMFR/Swiglu 分别提供六种模式,InplaceAdd 分别说明普通量化与 MX 配套融合两种模式。

Existing Issues(存在的问题)

关联 PR 对应的三个 Pass 缺少本次新增的独立图文指南,用户不易直接查阅各自的匹配模式与边界。该单用于跟踪资料补充,不是新增融合能力或运行时缺陷报告。

补充三个既有 GMM 转置融合 Pass 的用户指南与模式配图,便于了解可融合结构、约束和适用型号;本 PR 不新增或修改融合 Pass 实现。

  1. 新增 GroupedMatmulFinalizeRoutingTransposeFusionPass.md:以六张模式图说明 Transpose/Reshape 融合,注明仅对权重 w 为 ND 格式生效。
  2. 新增 GroupedMatmulSwigluQuantTransposeFusionPass.md:提供六种 Transpose/Reshape 融合模式图,使用约束章节填写为“无”。
  3. 新增 QuantGroupedMatmulInplaceAddTransposeFusionPass.md:用两张图分别说明普通量化 x1 转置融合和 MX 量化 x1/scale1 配套融合;说明可选 Bitcast 保留、输入描述更新及不新增转置属性。
  4. InplaceAdd 指南列明 x1/scale1 排列 [1,0]/[1,0,2]、转置等价 Reshape 的单位轴与形状校验、单消费者检查及 MX 两侧配套匹配;明确不融合 x2/scale2,也不将 Reshape → Transpose → Reshape 整链作为独立模式。
  5. 在 docs/zh/figures/ 新增对应14张 PNG(Git LFS 管理);三份指南均标注支持型号为 Ascend 950PR/950DT。此处为新增文档的陈述,不代表本次执行了硬件验证。

验证范围:

本次核对提交 6092ab3f5ed2afcb036fb55cc553398ad72b692b 及 PR 两个提交的完整文字 diff 和文件列表:新增3份 Markdown、14个 PNG 的 Git LFS 指针,合计17个文件,Git 文本统计 +163/-0(包含 LFS 指针行,不表示图片内容行数)。

本次未执行文档构建、图片渲染或图像内容核验,未运行编译、UT 或设备融合测试;不声明上述模式已通过运行验证。PR 未修改测试代码。

关联 PR:https://gitcode.com/cann/ops-transformer/pull/15168

likedislike
zhoushaolongzhoushaolongCollaborators
6 days ago Added label: documentation
zhoushaolong
zhoushaolongCollaborators
6 days ago Comments:

/assign @zhoushaolong

likedislike
CANN-robotCANN-robotCollaborators
6 days ago Assign zhoushaolong as responsible person
周云飞
周云飞Collaborators
6 days ago Comments:

感谢补充这三类 GMM 转置融合 Pass 的文档说明。本单属于既有能力的资料补充,不涉及新增融合能力或运行时缺陷;独立指南和模式图有助于用户区分可匹配的结构与使用边界。

按您提供的说明,关联 PR #15168 的文档补充范围包括:

  • FinalizeRouting 与 SwigluQuant:分别提供六种 Transpose/Reshape 融合模式及配图。FinalizeRouting 明确仅对 ND 格式的权重 w 生效;SwigluQuant 的使用约束章节填写为“无”,这一表述不宜理解为任意结构均可融合,仍需符合所列匹配模式。
  • InplaceAdd:分别说明普通量化的 x1 转置融合,以及 MX 量化的 x1/scale1 配套融合。指南涵盖 [1,0]/[1,0,2] 排列、转置等价 Reshape 的单位轴与形状校验、单消费者及 MX 两侧配套匹配条件,并说明可选 Bitcast 的保留、输入描述更新和不新增转置属性的行为;不覆盖 x2/scale2,也不将 Reshape → Transpose → Reshape 整链列为独立模式。

本单可按上述三份指南及 14 张配图的范围跟踪。三份指南标注的适用型号为 Ascend 950PR/950DT;这是所述文档的支持范围声明,不代表本次完成了设备验证。您说明的文字差异核对也不包含图片内容及渲染效果核验,因此不能据此确认图文展示效果或模式运行结果。关联 PR 的合入状态目前尚未确认。

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Close issue
CANN-robotCANN-robotCollaborators
4 days ago Added label: resolved