| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat: 支持 Python 自定义算子原型与实现桥接注册 Co-authored-by: lfz<220252399@seu.edu.cn> # message auto-generated for no-merge-commit merge: !4320 merge develop2 into develop feat: 支持 Python 自定义算子原型与实现桥接注册 Created-by: lfz2812 Commit-by: lfz Merged-by: cann-robot Description: # Pull Request ## 描述 支持 Python 自定义算子原型从 Python descriptor 到 GE OperatorFactory 的注册，并完善 Python 自定义算子实现的 bridge 注册、校验和生命周期管理。 主要变更： - 根据 Python 函数签名收集输入、属性、输出及 mutates_args，生成并深拷贝 Python custom op proto。 - 将 Python proto 注册为 OperatorFactory creator，并通过公开 IR 查询接口获取 canonical IR。 - 按 proto 注册、canonical IR 收集、impl 签名校验、Adapter 注册的顺序完成加载。 - 支持 proto-only、proto + Python impl、C++ proto + Python impl 以及 legacy impl。 - 完善 Adapter descriptor、runtime registry 和 holder 的所有权管理。 - 支持重复加载幂等、runtime lease pending cleanup 和注册失败回滚。 - 增加 Python proto、descriptor、bridge loader、Adapter 以及 ST/UT 覆盖。 - 当前阶段不执行 Python infer_meta，暂不覆盖编译期 Meta 推导和 RT2 runtime infer。 - 同步更新中英文 Python custom op 设计文档。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [x] 📝 文档内容更新 ## 关联的Issue [#299](https://gitcode.com/cann/ge/issues/299) ## 如何测试 本次补充和扩展以下测试： 1. Python UT： - proto/impl descriptor 快照和关联关系。 - proto-only、proto + schema-bound impl、C++ proto + Python impl 和 legacy impl 场景。 - canonical IR 与 execute 签名校验。 - schema-bound 输入和属性绑定、执行上下文作用域及失效检查。 - plugin 和 bridge/native artifact 加载检查。 2. C++ UT： - proto C POD view 解析和 owning 数据转换。 - 支持的属性类型及默认值转换。 - Operator creator 注册、冲突保护和卸载。 - Adapter capability、runtime entry、holder 和 callback 生命周期。 - loader 注册事务、失败回滚、幂等加载及 pending cleanup。 3. ST： - Python proto 和 impl 注册、创建及卸载。 - Python 自定义算子文件加载失败。 - 不可访问的非 Python自定义算子路径跳过处理。 建议执行： bash bash tests/run_test.sh --ut=python cmake --build build_ut --target ut_libge_multiparts_utest -j4 ctest --test-dir build_ut -R ut_libge_multiparts_utest --output-on-failure git diff --check ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 - 本次完成 Python 原型到 C++ OperatorFactory 的注册，以及 Python 实现到 CustomOpFactory 的 Adapter 注册。 - 本次不执行 Python infer_meta，不包含 infer callback、编译期 shape/data type 回写或 RT2 runtime infer 链路；这些内容由后续 PR 完成。 - 本次保持 schema-bound execute 和迁移期 legacy execute(ctx) 的现有行为。 - Bridge ABI 当前按同批构建和整体替换使用，不承诺不同版本 V1 artifact 混用。 - 本次未修改公开 API，也未修改 build_fwk.sh 等公共构建脚本。 See merge request: cann/ge!4320 | 27 天前 | |
fix: precommit整改 Co-authored-by: yelongjian<yelongjian1@huawei.com> # message auto-generated for no-merge-commit merge: !3726 merge dev-precommit into develop fix: precommit整改 Created-by: yelongjian Commit-by: yelongjian Merged-by: cann-robot Description: # Pull Request ## 描述 precommit整改 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新功能 - [x] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在当前页面的右侧'关联Issue'部分添加相应Issue链接，并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件： 1.NA ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如： feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!3726 | 2 个月前 | |
【PR】: Host tensor value symbolize Co-authored-by: chengyutao3<chengyutao3@huawei.com> # message auto-generated for no-merge-commit merge: !4443 merge develop into develop 【PR】: Host tensor value symbolize Created-by: chengyutao3 Commit-by: chengyutao3 Merged-by: cann-robot Description: # Pull Request ## 描述 本次提交为 host tensor（host 侧输入张量）新增**值符号化（value symbolization）**能力，使依赖输入 tensor 具体数值（如 Reshape 的 shape 输入）进行符号推导的场景不再需要把输入搬到 device，从而提升 JIT 执行与符号推导的准确性和性能。 核心变更包括： 1. **新增 graph 级 option ge.inputHintValue**：支持通过 input_index:[v0,v1,...] 的形式为指定输入指定符号化提示值（与已有 ge.inputHintShape 对齐），并在 option_supportion_checker 中将该 option 登记为受支持项。 2. **值符号化实现**（symbolic_shape_symbolizer.cc）： - 新增 SymbolizeInputValue，优先使用真实 host 数据（支持 INT32/INT64/UINT32/UINT64，元素数上限 200）生成逐元素符号；无真实数据时回退到 ge.inputHintValue 配置值。 - 新增 InputValueElementSource，生成可在运行时读取 GetGraphInputTensor(idx) 对应元素数值的 source 串。 3. **值依赖输入识别**（symbolic_infer_util.cc）：新增 IsValueDependentDataNode / GetValueDependentInputIdxs，通过算子的 IsInputDataDependency 与 op_infer_depends 判定哪些图输入是"值依赖"的，结果缓存到图 attr 中。 4. **JIT 执行路径适配**（jit_executor.cc）： - CopyHostInputsToDevice 支持 keep_on_host_idxs，值依赖的 host 输入不再拷贝到 device。 - BuildCompileInputs 对已在 host 的输入跳过重复拷贝。 - MarkHostTensorOnDataNodes 改为直接基于 ComputeGraph 处理。 5. **option 解析重构**（option_utils.cc/h）：将 ge.inputHintShape 的解析逻辑抽象为通用模板 ParseIndexedListOption，并复用其实现新增 ParseHintInputValue。 6. **测试补充与适配**：新增 UT symbolic_value_inference_unittest.cc、ST test_symbolize_value_and_infer.cc 的 hint value/真实数据用例；JIT 相关用例将 shape 输入由 INT32 调整为 INT64 并置为 host placement；user_graph_manager 用例按"值符号化后 reshape 不再切分执行点"的预期更新。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在当前页面的右侧'关联Issue'部分添加相应Issue链接，并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件： 1. 运行符号值推导相关用例：tests/ge/ut/ge/graph/optimize/symbolic/symbolic_value_inference_unittest.cc（compile_path_reshape_with_hint_value、execute_path_reshape_with_real_data）。 2. 运行 autofuse ST：tests/ge/st/testcase/autofuse/test_symbolize_value_and_infer.cc（reshape_symbolize_infer_with_input_hint_value、reshape_symbolize_infer_with_real_data）。 3. 运行 JIT 执行相关用例：jit_executor_unittest.cc、user_graph_manager_unittest.cc（验证值符号化后图不再切分、host 输入不被重复拷贝）。 4. 构造含 Reshape 且 shape 输入为 host tensor 的模型，配置 ge.inputHintValue（如 1:[5, 400]），确认符号化推导结果符合预期，且无 device 拷贝开销。 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [ ] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [ ] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 - 值符号化优先级：真实 host data > ge.inputHintValue 配置值；当已存在符号化 value 时跳过。 - 阈值 kMaxSymbolizeValueElemNum = 200 与 symbolic_shape_inference.cc 中的 kMaxSymbolicValueSize 保持一致，仅对 shape/索引类小 tensor 进行值符号化。 - 值依赖输入识别结果以图 attr _ge_value_dependent_idxs 缓存，避免重复计算。 See merge request: cann/ge!4443 | 27 天前 | |
feat(om2): 新增OM2运行时变量管理器(RTVarManager) Co-authored-by: wuzheng-hw<wuzheng14@huawei.com> # message auto-generated for no-merge-commit merge: !4297 merge om2_varmanager into develop feat(om2): 新增OM2运行时变量管理器(RTVarManager) Created-by: wuzheng-hw Commit-by: wuzheng-hw Merged-by: cann-robot Description: # Pull Request ## 描述 新增OM2运行时变量管理器（RTVarManager），用于在运行时管理变量的内存分配、地址映射、格式转换及数据拷贝。 主要变更： - 新增 RTVarResource 数据结构，描述运行时变量条目（RTVarEntry），包含变量名、逻辑地址、tensor描述、格式转换路径等 - 新增 BuildRTVarResource 接口，从编译期 VarManager 构建运行时变量资源并序列化到 OM2 模型文件 - 新增 Om2RTVarManager，负责运行时变量内存分配、地址管理、格式转换及数据拷贝 - 新增 Om2RTVarManagerPool 单例池，按 session 管理 RTVarManager 实例 - OM2 codegen 侧新增变量元数据序列化 - 模型执行器集成 RTVarManager，支持从 OM2 文件解析变量资源并初始化 - 任务码构建适配变量地址刷新逻辑 - 新增完整的 UT/ST 测试用例 ## 变更类型 - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue ## 如何测试 1. 运行 UT 用例：om2_rt_var_manager_unittest、rt_var_resource_unittest、om2_var_resource_builder_unittest 2. 运行 ST 用例：test_om2、test_om2_online 3. 验证 OM2 模型编译和运行时变量管理功能正常 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定 ## 其他信息 涉及 57 个文件变更，新增约 4500 行代码。 See merge request: cann/ge!4297 | 1 个月前 | |
fix: precommit整改 Co-authored-by: yelongjian<yelongjian1@huawei.com> # message auto-generated for no-merge-commit merge: !3726 merge dev-precommit into develop fix: precommit整改 Created-by: yelongjian Commit-by: yelongjian Merged-by: cann-robot Description: # Pull Request ## 描述 precommit整改 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新功能 - [x] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在当前页面的右侧'关联Issue'部分添加相应Issue链接，并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件： 1.NA ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如： feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!3726 | 2 个月前 | |
feat: 支持 Python 自定义算子桥接加载 Co-authored-by: du-hua1024<duhua2@huawei.com> # message auto-generated for no-merge-commit merge: !3974 merge op-cpp into develop feat: 支持 Python 自定义算子桥接加载 Created-by: du-hua1024 Commit-by: du-hua1024 Merged-by: cann-robot Description: # Pull Request ## 描述 支持 Python 自定义算子在编译与执行链路中的桥接加载和注册。主要变更如下： 1. 新增 runtime/custom_op 自定义算子加载能力，包括 custom op loader、Python bridge loader、pybind bridge 和桥接 C API。 2. 在 ATC、session、compiler、runtime v1 等入口接入 Python 自定义算子加载流程，覆盖编译前加载与执行侧注册。 3. 将 Python artifact 选择逻辑迁移到 base/common/python_runtime，新增通用 python_bridge_loader_utils.h，复用 Python bridge 动态加载能力。 4. 扩展 graph_metadef 自定义算子 factory/registry 能力，并调整 Python pass fallback、fusion pass loader 等相关调用。 5. 补充和调整 Python runtime artifact、fusion pass executor、custom op factory 相关 UT 构建与用例。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在当前页面的右侧“关联Issue”部分添加相应Issue链接，并勾选“合并后关闭已关联的 Issue”选项。 --> 未关联 Issue。 ## 如何测试 新增及历史UT ST任务正常执行 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 See merge request: cann/ge!3974 | 2 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 27 天前 | ||
| 2 个月前 | ||
| 27 天前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 2 个月前 |