master

ascend-robotfix:Optimize the implementation of compile + npugraphs

ffa1aa31创建于 3月13日历史提交

文件	最后提交记录	最后更新时间
mock_modules	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
__init__.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_activation_checkpointing.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_after_aot.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_aot_autograd.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_autograd_function.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_backends.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_base_output.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_bytecode_hook.py	!8820 [UT] adapt 4 official testcase files for dynamo module（test_optimizers.py test_hooks.py test_debug_utils.py test_bytecode_hook.py） Merge pull request !8820 from 张伟康/master-dev-pr2	2 年前
test_compile.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_comptime.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_config.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_ctx_manager.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_debug_utils.py	!8820 [UT] adapt 4 official testcase files for dynamo module（test_optimizers.py test_hooks.py test_debug_utils.py test_bytecode_hook.py） Merge pull request !8820 from 张伟康/master-dev-pr2	2 年前
test_decorators.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_dynamic_shapes.py	!8844 [UT] add and adapt 4 official testcase files for dynamo module for pytorch2.2（test_dynamic_shapes.py test_minifier.py test_profiler.py test_trace_rules.py） Merge pull request !8844 from 张伟康/master-dev0109	2 年前
test_export.py	!8844 [UT] add and adapt 4 official testcase files for dynamo module for pytorch2.2（test_dynamic_shapes.py test_minifier.py test_profiler.py test_trace_rules.py） Merge pull request !8844 from 张伟康/master-dev0109	2 年前
test_export_mutations.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_functions.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_global.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_higher_order_ops.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_hooks.py	!8820 [UT] adapt 4 official testcase files for dynamo module（test_optimizers.py test_hooks.py test_debug_utils.py test_bytecode_hook.py） Merge pull request !8820 from 张伟康/master-dev-pr2	2 年前
test_input_attr_tracking.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_interop.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_logging.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_minifier.py	!8844 [UT] add and adapt 4 official testcase files for dynamo module for pytorch2.2（test_dynamic_shapes.py test_minifier.py test_profiler.py test_trace_rules.py） Merge pull request !8844 from 张伟康/master-dev0109	2 年前
test_misc.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_model_output.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_modules.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_nops.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_npu_backend.py	Provides npugraph_ex APIs for user-defined backends and passes Co-authored-by: xuzhenhua2025<xuzhenhua4@huawei.com> # message auto-generated for no-merge-commit merge: !30229 merge master into master fix: npugraph_ex补充用户自定义backend和自定义pass缺失的接口 Created-by: xuzhenhua2025 Commit-by: xuzhenhua2025 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > (如有)请关联需求文档/issue链接 - [ ] 需求 - [x] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 1. npugraph_ex补充用户自定义backends接口 2. npugraph_ex补充用户自定义passes相关接口 2.1 补充注册replacement接口 2.2 补充自定义pass流record接口 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 已在新版本资料中补充接口说明，资料配套发布。 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 1. 补充user-defined backends接口 python def my_backend(gm: torch.fx.GraphModule, example_inputs): compiler = torch.npu.npugraph_ex.compile_fx() return aot_module_simplified(gm, example_inputs, fw_compiler=compiler) 2. 补充user-defined passes接口 python torch.npu.npugraph_ex.register_replacement( search_fn=search_fn, replace_fn=replace_fn, example_inputs=(input_tensor(), input_tensor(), kwargs_tensor()), extra_check=extra_check ) python # record and wait should be used in pairs with torch.npu.npugraph_ex.scope.npu_stream_switch('1'): # ... record = torch.npu.npugraph_ex.ops.record() # ... torch.npu.npugraph_ex.ops.wait([record]) # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 新增测试用例看护： 1. compile_fx接口用例： /test/dynamo/test_npugraph_ex.TestNpuGraphEx.test_compile_fx 2. 自定义pass接口用例： /test/dynamo/test_npugraph_ex.TestNpuGraphEx.test_register_replacement /test/dynamo/test_npugraph_ex.TestNpuGraphEx.test_record_and_wait  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!30229	8 个月前
test_npugraphs.py	fix:Optimize the implementation of compile + npugraphs Co-authored-by: ygshen<ygshen@qq.com> # message auto-generated for no-merge-commit merge: !31759 merge npugrahps_opt into master fix:Optimize the implementation of compile + npugraphs Created-by: ygshen Commit-by: ygshen Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 在优化前，每次推理都需要使用npugraph_mark_step_begin() 表示一轮新的迭代。否则一直处于warmup状态， 无法进入capture和replay状态。 在走读代码过程中，发现forward_npugraphs的参数is_inference表明是否为推理模式,但是在调用下级函数时直接写成固定值flase，导致该功能有问题。 在讨论过程，发现上游社区也做了优化： https://github.com/pytorch/pytorch/commit/627c7d6799444c200f22b8fa81eec7aca5281541 因此参照社区方案进行优化。 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 优化前，用例执行失败： 截图如下：  优化后，用例执行成功：  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!31759	7 个月前
test_optimizers.py	!8820 [UT] adapt 4 official testcase files for dynamo module（test_optimizers.py test_hooks.py test_debug_utils.py test_bytecode_hook.py） Merge pull request !8820 from 张伟康/master-dev-pr2	2 年前
test_pre_dispatch.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_profiler.py	!8844 [UT] add and adapt 4 official testcase files for dynamo module for pytorch2.2（test_dynamic_shapes.py test_minifier.py test_profiler.py test_trace_rules.py） Merge pull request !8844 from 张伟康/master-dev0109	2 年前
test_python_autograd.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_recompiles.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_repros.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_skip_non_tensor.py	!8742 [UT] add and adapt official source testcases for dynamo module Merge pull request !8742 from 张伟康/master-dev	2 年前
test_sources.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
test_stream.py	!24026 Support stream into Dynamo charts Merge pull request !24026 from 郭光浩/master	1 年前
test_subclasses.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_subgraphs.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_torchair_lazy.py	!11411 【torchair】support lazy init of torchair Merge pull request !11411 from 杜承昆/lazy_init_master	2 年前
test_torchair_no_init.py	!11751 【torchair】fix torchair lazy init bug about sys.modules. Merge pull request !11751 from 杜承昆/warning_master	2 年前
test_trace_rules.py	!9845 update test_trace_rules.py for v2.3 and skip a failed test case. Merge pull request !9845 from yuhaiyan/master-dev4	2 年前
test_trace_stream_event.py	[feat]支持torch_npu多流API入图 Co-authored-by: fu-hao-huawei<fuhao16@huawei.com> # message auto-generated for no-merge-commit merge: !31561 merge master into master [feat]支持torch_npu多流API入图 Created-by: fu-hao-huawei Commit-by: fu-hao-huawei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > (如有)请关联需求文档/issue链接 - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 1、将dynamo中对原生stream、event、record_event的实现逻辑patch给npu，使npu多流相关的api可以被dynamo追踪入图 2、新增NpuStreamContextVariable类继承自原生的StreamContextVariable，与原生相比多出的逻辑为切流时在图上添加set_stream节点，从而在图上保留切流的信息 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 已新增st看护 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!31561	7 个月前
test_unspec.py	!8802 [UT] add and adapt 19 official testcase files for dynamo module for pytorch2.2 Merge pull request !8802 from 张伟康/master-dev	2 年前
test_verify_correctness.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前
utils.py	!8621 [UT] add and adapt official testcases for dynamo of torch_22 Merge pull request !8621 from 张伟康/master-dev	2 年前