| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat:支持融合结果上报的 Python 化 Co-authored-by: lfz2812<220252399@seu.edu.cn> # message auto-generated for no-merge-commit merge: !4070 merge develop into develop feat:支持融合结果上报的 Python 化 Created-by: lfz2812 Commit-by: lfz2812 Merged-by: cann-robot Description: # Pull Request ## 描述 在 PR3996 完成 can_fuse Python 化的基础上,本 PR 继续补齐 GE 融合结果上报能力,使 Python 融合 Pass 能够完成融合可行性 检查、改图和融合结果上报的完整流程。 本次修改包括: 1. 新增 report_fuse Python native 绑定: - 接收融合前、融合后的 Python Node 可迭代对象。 - 统一将 Python Node 转换为 C++ GNode 集合。 - 调用 GraphFuseInspectorUtils::ReportFuse 上报融合结果。 - 上报失败时将错误信息写入 PassContext,并向 Python 抛出 RuntimeError。 - 在 ge.passes 中公开 report_fuse,并补充类型声明。 2. 为 SubgraphRewriter.replace 增加带 context 的调用方式: - 原有 SubgraphRewriter.replace(boundary, replacement) 行为保持不变。 - 新增 SubgraphRewriter.replace(boundary, replacement, context=context)。 - 传入 context 后,由底层自动完成融合可行性检查、子图替换和融合结果上报。 - 执行失败时将错误信息写入 PassContext,并向 Python 抛出 RuntimeError。 3. 支持两种 Python 融合 Pass 改图流程: - 传统直接改图方式:用户依次调用 can_fuse、自定义 Graph 改图接口和 report_fuse。 - 基于子图替换的方式:用户传入 context 调用 SubgraphRewriter.replace,由底层统一完成检查、替换和上报。 4. 优化 Python 与 native 层的职责划分: - 节点可迭代对象的遍历、类型校验和 GNode 转换统一在 native 层完成,避免 Python 与 native 重复处理。 - can_fuse 保留 Python 包装,用 FuseCheckResult 封装检查结果。 - report_fuse 无需适配返回值,直接重导出 native 实现。 5. 更新 Python 融合 Pass 样例: - move_relu_before_concat_pass 使用带 context 的 SubgraphRewriter.replace。 - modify_conv_data_format_pass 演示 can_fuse、直接改图、report_fuse 和旧节点删除的调用顺序。 - 同步更新相关中英文 README。 6. 补充接口和设计文档: - 新增 report_fuse API 文档。 - 更新 SubgraphRewriter.replace API 文档,说明传入和不传入 context 时的行为差异。 - 更新 GE Python 中英文设计文档和 API 索引。 7. 补充和更新测试: - 校验 report_fuse 非法 PassContext 入参。 - 验证 Python Pass 通过 pybind 调用 report_fuse。 - 验证带 context 的融合结果上报流程。 - 保留 can_fuse 正常、异常和边界场景覆盖。 调用示例: python from ge.passes import can_fuse, report_fuse # 传统直接改图方式 result = can_fuse(nodes_before) if not result.ok: context.set_error_message(result.reason) return False # 用户直接调用Graph接口完成自定义改图。 report_fuse(nodes_before, nodes_after, context) from ge.passes import SubgraphRewriter # 基于子图替换的方式 SubgraphRewriter.replace( boundary, replacement, context=context, ) ## 变更类型 - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue 关联 Issue:#299 ## 如何测试 1. 执行 Python UT: bash tests/run_test.sh --ut=python 2. 执行 ut_fusion_pass_executor_utest,验证 Python Pass 通过 pybind 调用 report_fuse,并检查 PythonFusionBasePass_PybindBridge_RunSuccess 用例。 3. 检查相关 Python 融合 Pass 样例和中英文文档。 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如:feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit 的合并等 ## 其他信息 - 原有 SubgraphRewriter.replace(boundary, replacement) 接口保持兼容。 - 传统直接改图场景必须在旧节点被删除或失效前调用 report_fuse。 - 本次仅新增 Python 融合结果上报和带 context 的标准化子图替换能力,不改变原有 Python Pass 注册及执行机制。 See merge request: cann/ge!4070 | 24 天前 | |
feat: add format continuity check in GraphNodeSettedFormatPass Co-authored-by: lushiming0<lushiming1@h-partners.com> # message auto-generated for no-merge-commit merge: !4338 merge lsmge_20260811 into develop feat: add format continuity check in GraphNodeSettedFormatPass Created-by: lushiming0 Commit-by: lushiming0 Merged-by: cann-robot Description: # Pull Request ## 描述 检查配置文件中修改了 format 的节点,增加检查其输入/输出端口与直连节点之间的 format 是否连续。 ## 变更类型 请选择本次引入的变更类型: <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在当前页面的右侧'关联Issue'部分添加相应Issue链接,并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件: 1. 配置一条链路上的算子节点,故意漏配置后续节点。 2. 观察漏配节点后是否有对应的报错出现。 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如: feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!4338 | 5 天前 | |
refactor: 清理文档目录,更新配置文件 | 1 个月前 | |
提交英文文档 | 1 个月前 | |
【PR】: fix: 修复融合pass编译失败 Co-authored-by: hugo111<zhaoxinxin1@huawei.com> # message auto-generated for no-merge-commit merge: !3787 merge fix_pass into develop 【PR】: fix: 修复融合pass编译失败 Created-by: hugo111 Commit-by: hugo111 Merged-by: cann-robot Description: # Pull Request ## 描述 decompose_grouped_conv_to_splited_pass.cpp 修复编译失败 ## 变更类型 请选择本次引入的变更类型: <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在当前页面的右侧'关联Issue'部分添加相应Issue链接,并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件: 1. 2. ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如: feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!3787 | 1 个月前 | |
【PR】: fix: 修复融合pass编译失败 Co-authored-by: hugo111<zhaoxinxin1@huawei.com> # message auto-generated for no-merge-commit merge: !3787 merge fix_pass into develop 【PR】: fix: 修复融合pass编译失败 Created-by: hugo111 Commit-by: hugo111 Merged-by: cann-robot Description: # Pull Request ## 描述 decompose_grouped_conv_to_splited_pass.cpp 修复编译失败 ## 变更类型 请选择本次引入的变更类型: <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在当前页面的右侧'关联Issue'部分添加相应Issue链接,并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件: 1. 2. ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如: feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!3787 | 1 个月前 | |
feat: 支持 Python PatternFusionPass 和 DecomposePass 获取 PassContext Co-authored-by: lfz2812<220252399@seu.edu.cn> # message auto-generated for no-merge-commit merge: !4147 merge v2 into develop feat: 支持 Python PatternFusionPass 和 DecomposePass 获取 PassContext Created-by: lfz2812 Commit-by: lfz2812 Merged-by: cann-robot Description: # Pull Request ## 描述 将 C++ PatternFusionPassV2、DecomposePassV2中携带CustomPassContext的判断和替换能力开放至 Python,使 Python PatternFusionPass和DecomposePass可以在meet_requirements、replacement方法中按需接收PassContext。 本次修改支持以下写法: - PatternFusionPass graph-building style: - meet_requirements(self, match_result, context) - replacement(self, match_result, context) - PatternFusionPass expression style: - replacement(self, inputs, context) - replacement(self, inputs, match_result, context) - DecomposePass: - meet_requirements(self, node, context) - replacement(self, node, context) 未声明context的原有方法签名保持兼容,不新增 Python V2 类。 ## Python 化过程 1. C++ Adapter 接入 V2 Pass: - PythonPatternFusionPassAdapter改为继承PatternFusionPassV2。 - PythonDecomposePassAdapter改为继承DecomposePassV2。 - PatternFusionPass 和 DecomposePass 的判断、替换回调增加CustomPassContext&参数。 2. pybind bridge 透传上下文: - 将 C++ CustomPassContext转换为 Python PassContext视图。 - 调用 Python 的判断和替换方法时传入context。 - 捕获 Python 异常,将错误信息写入CustomPassContext,判断方法返回false,替换方法返回FAILED。 3. Python 层兼容新旧签名: - 在 Pass 子类定义阶段检查并适配meet_requirements、replacement方法签名。 - 未声明context时按原有参数调用;声明context时由引擎自动注入。 - 缓存方法是否接收context的判断结果,避免每次匹配重复解析签名。 - 为基类默认方法增加context标记,支持子类不重写meet_requirements的常见场景。 4. expression-style replacement 参数消歧: - replacement(self, inputs, context)的第三个参数只有命名为context时才按PassContext处理。 - 第三个参数不是context时保持原有match_result语义。 - 四参数形式必须为replacement(self, inputs, match_result, context)。 - 不支持的参数组合在类定义阶段抛出TypeError。 5. 接口与文档更新: - 更新 Python 类型声明和 PassContext 使用说明。 - 更新 PatternFusionPass、DecomposePass API 文档及 Python Fusion Pass 开发指南。 调用示例: python from ge.passes import PassContext, PatternFusionPass class MyPatternFusionPass(PatternFusionPass): def meet_requirements(self, match_result, context: PassContext): return context.get_option_value("ge.custom.enable_rule") == "1" def replacement(self, match_result, context: PassContext): return build_replacement_graph(match_result) python from ge.passes import DecomposePass, PassContext class MyDecomposePass(DecomposePass): def meet_requirements(self, node, context: PassContext): return node.get_attr("groups") != 1 def replacement(self, node, context: PassContext): return build_replacement_graph(node) ## 变更类型 - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue 关联 Issue:#299 ## 如何测试 1. 新增 Python UT,覆盖以下场景: - PatternFusionPass 和 DecomposePass 新签名能够接收context。 - 未声明context的旧签名保持兼容。 - 子类未重写meet_requirements时调用基类默认实现。 - expression-style replacement 的context、match_result参数消歧。 - 不支持的参数组合抛出TypeError。 - replacement 返回非法类型时正确报错。 2. 新增 C++ UT/ST,覆盖以下场景: - PatternFusionPass 和 DecomposePass Adapter 透传同一个CustomPassContext。 - Python 判断、替换方法抛出异常时,错误信息写入CustomPassContext。 - Python 异常分别转换为false和FAILED。 3. 执行以下检查: - Python 语法检查。 - Ruff 检查和格式检查。 - clang-format 检查。 - pre-commit 检查。 - Python Pass 相关 UT/ST。 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如:feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于 commit message 的格式、无效 commit 的合并等 ## 其他信息 1. Python 公开类仍为PatternFusionPass和DecomposePass,不暴露PatternFusionPassV2、DecomposePassV2,避免增加重复的 Python API。 2. 原有 Python Pass 方法签名和执行行为保持兼容。 3. 本次修改复用现有PassContext绑定,不修改 C++ CustomPassContext的原有实现。 See merge request: cann/ge!4147 | 17 天前 | |
feat: 支持 Python PatternFusionPass 和 DecomposePass 获取 PassContext Co-authored-by: lfz2812<220252399@seu.edu.cn> # message auto-generated for no-merge-commit merge: !4147 merge v2 into develop feat: 支持 Python PatternFusionPass 和 DecomposePass 获取 PassContext Created-by: lfz2812 Commit-by: lfz2812 Merged-by: cann-robot Description: # Pull Request ## 描述 将 C++ PatternFusionPassV2、DecomposePassV2中携带CustomPassContext的判断和替换能力开放至 Python,使 Python PatternFusionPass和DecomposePass可以在meet_requirements、replacement方法中按需接收PassContext。 本次修改支持以下写法: - PatternFusionPass graph-building style: - meet_requirements(self, match_result, context) - replacement(self, match_result, context) - PatternFusionPass expression style: - replacement(self, inputs, context) - replacement(self, inputs, match_result, context) - DecomposePass: - meet_requirements(self, node, context) - replacement(self, node, context) 未声明context的原有方法签名保持兼容,不新增 Python V2 类。 ## Python 化过程 1. C++ Adapter 接入 V2 Pass: - PythonPatternFusionPassAdapter改为继承PatternFusionPassV2。 - PythonDecomposePassAdapter改为继承DecomposePassV2。 - PatternFusionPass 和 DecomposePass 的判断、替换回调增加CustomPassContext&参数。 2. pybind bridge 透传上下文: - 将 C++ CustomPassContext转换为 Python PassContext视图。 - 调用 Python 的判断和替换方法时传入context。 - 捕获 Python 异常,将错误信息写入CustomPassContext,判断方法返回false,替换方法返回FAILED。 3. Python 层兼容新旧签名: - 在 Pass 子类定义阶段检查并适配meet_requirements、replacement方法签名。 - 未声明context时按原有参数调用;声明context时由引擎自动注入。 - 缓存方法是否接收context的判断结果,避免每次匹配重复解析签名。 - 为基类默认方法增加context标记,支持子类不重写meet_requirements的常见场景。 4. expression-style replacement 参数消歧: - replacement(self, inputs, context)的第三个参数只有命名为context时才按PassContext处理。 - 第三个参数不是context时保持原有match_result语义。 - 四参数形式必须为replacement(self, inputs, match_result, context)。 - 不支持的参数组合在类定义阶段抛出TypeError。 5. 接口与文档更新: - 更新 Python 类型声明和 PassContext 使用说明。 - 更新 PatternFusionPass、DecomposePass API 文档及 Python Fusion Pass 开发指南。 调用示例: python from ge.passes import PassContext, PatternFusionPass class MyPatternFusionPass(PatternFusionPass): def meet_requirements(self, match_result, context: PassContext): return context.get_option_value("ge.custom.enable_rule") == "1" def replacement(self, match_result, context: PassContext): return build_replacement_graph(match_result) python from ge.passes import DecomposePass, PassContext class MyDecomposePass(DecomposePass): def meet_requirements(self, node, context: PassContext): return node.get_attr("groups") != 1 def replacement(self, node, context: PassContext): return build_replacement_graph(node) ## 变更类型 - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue 关联 Issue:#299 ## 如何测试 1. 新增 Python UT,覆盖以下场景: - PatternFusionPass 和 DecomposePass 新签名能够接收context。 - 未声明context的旧签名保持兼容。 - 子类未重写meet_requirements时调用基类默认实现。 - expression-style replacement 的context、match_result参数消歧。 - 不支持的参数组合抛出TypeError。 - replacement 返回非法类型时正确报错。 2. 新增 C++ UT/ST,覆盖以下场景: - PatternFusionPass 和 DecomposePass Adapter 透传同一个CustomPassContext。 - Python 判断、替换方法抛出异常时,错误信息写入CustomPassContext。 - Python 异常分别转换为false和FAILED。 3. 执行以下检查: - Python 语法检查。 - Ruff 检查和格式检查。 - clang-format 检查。 - pre-commit 检查。 - Python Pass 相关 UT/ST。 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如:feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于 commit message 的格式、无效 commit 的合并等 ## 其他信息 1. Python 公开类仍为PatternFusionPass和DecomposePass,不暴露PatternFusionPassV2、DecomposePassV2,避免增加重复的 Python API。 2. 原有 Python Pass 方法签名和执行行为保持兼容。 3. 本次修改复用现有PassContext绑定,不修改 C++ CustomPassContext的原有实现。 See merge request: cann/ge!4147 | 17 天前 |
自定义融合 Pass
本目录提供 GE 自定义融合 pass 的开发文档和样例。
如果是第一次开发,建议按下面顺序阅读:
- 融合 Pattern Pass 机制:先理解 pattern、匹配、过滤、replacement 和边界规则。
- Python 融合 Pass 开发指南:支持运行时接入和
@pattern表达式写法。 - C++ 融合 Pass 开发指南:适合编译成
.so后产品化交付。
样例目录
| 目录 | 说明 |
|---|---|
| pattern_base_pass | 推荐优先参考。通过 PatternFusionPass 或 DecomposePass 开发 pattern 类融合规则 |
| graph_base_pass | 通过 graph 接口直接改图的样例,适合需要完全手动控制图修改的场景 |