Closed
[Documentation|文档反馈]: 补充三类 GMM 转置融合 Pass 的模式图与使用说明 #7064
zhoushaolongAdd on 6 days agoClosed at 4 days ago
6 days ago Added label: documentation
zhoushaolong
6 days ago Comments:
6 days ago Comments:
/assign @zhoushaolong


6 days ago Assign zhoushaolong as responsible person
周云飞
6 days ago Comments:
6 days ago Comments:
感谢补充这三类 GMM 转置融合 Pass 的文档说明。本单属于既有能力的资料补充,不涉及新增融合能力或运行时缺陷;独立指南和模式图有助于用户区分可匹配的结构与使用边界。
按您提供的说明,关联 PR #15168 的文档补充范围包括:
- FinalizeRouting 与 SwigluQuant:分别提供六种 Transpose/Reshape 融合模式及配图。FinalizeRouting 明确仅对 ND 格式的权重 w 生效;SwigluQuant 的使用约束章节填写为“无”,这一表述不宜理解为任意结构均可融合,仍需符合所列匹配模式。
- InplaceAdd:分别说明普通量化的 x1 转置融合,以及 MX 量化的 x1/scale1 配套融合。指南涵盖
[1,0]/[1,0,2]排列、转置等价 Reshape 的单位轴与形状校验、单消费者及 MX 两侧配套匹配条件,并说明可选 Bitcast 的保留、输入描述更新和不新增转置属性的行为;不覆盖 x2/scale2,也不将Reshape → Transpose → Reshape整链列为独立模式。
本单可按上述三份指南及 14 张配图的范围跟踪。三份指南标注的适用型号为 Ascend 950PR/950DT;这是所述文档的支持范围声明,不代表本次完成了设备验证。您说明的文字差异核对也不包含图片内容及渲染效果核验,因此不能据此确认图文展示效果或模式运行结果。关联 PR 的合入状态目前尚未确认。


4 days ago Close issue
4 days ago Added label: resolved
Document Link(文档链接)
本次为新增指南,以下链接指向关联 PR 的提交版本:
Issues Section(问题文档片段)
需补充的内容为各 Pass 的“融合模式”“使用约束”和“支持的型号”章节及配套模式图。GMMFR/Swiglu 分别提供六种模式,InplaceAdd 分别说明普通量化与 MX 配套融合两种模式。
Existing Issues(存在的问题)
关联 PR 对应的三个 Pass 缺少本次新增的独立图文指南,用户不易直接查阅各自的匹配模式与边界。该单用于跟踪资料补充,不是新增融合能力或运行时缺陷报告。
补充三个既有 GMM 转置融合 Pass 的用户指南与模式配图,便于了解可融合结构、约束和适用型号;本 PR 不新增或修改融合 Pass 实现。
GroupedMatmulFinalizeRoutingTransposeFusionPass.md:以六张模式图说明 Transpose/Reshape 融合,注明仅对权重 w 为 ND 格式生效。GroupedMatmulSwigluQuantTransposeFusionPass.md:提供六种 Transpose/Reshape 融合模式图,使用约束章节填写为“无”。QuantGroupedMatmulInplaceAddTransposeFusionPass.md:用两张图分别说明普通量化 x1 转置融合和 MX 量化 x1/scale1 配套融合;说明可选 Bitcast 保留、输入描述更新及不新增转置属性。[1,0]/[1,0,2]、转置等价 Reshape 的单位轴与形状校验、单消费者检查及 MX 两侧配套匹配;明确不融合 x2/scale2,也不将Reshape → Transpose → Reshape整链作为独立模式。docs/zh/figures/新增对应14张 PNG(Git LFS 管理);三份指南均标注支持型号为 Ascend 950PR/950DT。此处为新增文档的陈述,不代表本次执行了硬件验证。验证范围:
本次核对提交
6092ab3f5ed2afcb036fb55cc553398ad72b692b及 PR 两个提交的完整文字 diff 和文件列表:新增3份 Markdown、14个 PNG 的 Git LFS 指针,合计17个文件,Git 文本统计 +163/-0(包含 LFS 指针行,不表示图片内容行数)。本次未执行文档构建、图片渲染或图像内容核验,未运行编译、UT 或设备融合测试;不声明上述模式已通过运行验证。PR 未修改测试代码。
关联 PR:https://gitcode.com/cann/ops-transformer/pull/15168