| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat：声明式自定义算子的辅流申请功能 Co-authored-by: Chang-an-HW<machangan@huawei.com> # message auto-generated for no-merge-commit merge: !4934 merge declarative-custom-op-attached-stream-pr into develop feat：声明式自定义算子的辅流申请功能 Created-by: Chang-an-HW Commit-by: Chang-an-HW Merged-by: cann-robot Description: # Pull Request ## 描述 为声明式自定义算子（ AnnotatedArgsOp / DeclareLaunchArgs）新增**编译期辅流申请与任务依赖声明**能力，使算子可以在 DeclareLaunchArgs 回调内把多个 kernel launch 下发到不同逻辑流，并由 GE 自动完成流分配与事件同步插入。 **对外接口（gert::AnnotatedArgsContext，@since 9.3.0(2026-09)）** - 新增 uint32_t RequestAttachedStream(const ge::AscendString &key)：按模型级 key 申请逻辑辅流，相同 key 复用同一 ID；key 为空或申请失败返回 UINT32_MAX。 - 新增 graphStatus AddLaunchWithDependencies(launch_info, args, dependencies, dependency_num, token)：以 AnnotatedLaunchToken 表达 launch 间前驱依赖，成功后输出本次 launch 的 token。 - AddLaunch 的 ABI 与行为保持不变（不产生 token，也不能作为依赖源）。 **graph_metadef 侧** - AnnotatedArgsHandler：LaunchRecord 增加 token 与依赖列表；新增 SetAttachedStreamRequestFunc / RequestAttachedStream / GetAttachedStreamIds；AddLaunchWithDependencies 校验 token 有效性（依赖必须指向更早 launch、不可重复、不可溢出）。 - stub_offline_launch_runtime.cc 同步补齐 stub 实现；stub_lowering 增加 runtime_headers、slog 链接。 **compiler 侧** - 新增 DeclarativeStreamRegistry：挂到 ComputeGraph ext attr（declarative_stream_registry），从当前逻辑流数之后按 key 去重分配辅流 ID，并做溢出保护。 - 新增 AnnotatedArgsTaskPlan 序列化/反序列化（带 version、长度与依赖边合法性校验）：缓存属性由进程内 ext attr 改为可序列化的 _custom_annotated_args_task_plan_bytes，使计划在 ReGetTaskInfo / 二次生成场景下可无回调恢复；计划中新增 launch_stream_ids、dependencies、attached_stream_ids。 - ModelBuilder：PrepareDeclarativeAttachedStreamRegistry（AssignLogicalStreams 之后建注册表）、FinalizeDeclarativeAttachedStreams（把计划辅流写回 op_desc->SetAttachedStreamIds 并扩展 stream_num）、MaterializeAnnotatedArgsTaskDependencies。 - StreamAllocator：InsertAnnotatedArgsEventTasks 为跨流依赖插入 EVENT_RECORD/EVENT_WAIT 任务；ReconcileAnnotatedArgsEventTasks 在拆流后重映射 event id、剪除同流事件对，并回写 stream/event/notify 总数（RTS 与 GE 两条拆流路径均覆盖）。 - CustomOpsKernelBuilder：物化时按计划流 ID 下发任务（无依赖且无辅流的 legacy 计划仍刷新为节点当前主流，兼容跨流复用）；CalcOpRunningParam 改为 DelAttr 清理序列化计划。 **约束校验** - 计划中至少存在一个主流 launch；辅流任务是否汇合回主流由算子自行保证。 - 依赖 token 必须指向更早的 launch，不可重复、不可自依赖。 - mobile OMC 单任务模式不支持依赖与辅流；端侧仍只允许一次 AddLaunch。 **文档**：新增 RequestAttachedStream.md、AddLaunchWithDependencies.md，更新 overview.md、README.md 目录、AddLaunch.md 与 DeclareLaunchArgs.md 约束描述。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue 无 ## 如何测试 描述测试此变更的步骤和前提条件： 1. 编译并运行 UT： - graph_metadef UT：AnnotatedArgsContextUT.AddLaunchWithDependenciesValidatesAndCopiesTokens - ge UT： - stream_allocator_unittest：DeclarativeStreamRegistryTest.*、AnnotatedArgsTaskPlanTest.*（序列化往返、跨流事件插入/重映射/同流剪枝）、ModelBuilderTest.FinalizeDeclarativeAttachedStreams* - custom_ops_kernel_info_store_unittest：计划无回调恢复、辅流不汇合主流、缺主流 launch 报错 - task_generator_unittest：GenerateTask_AnnotatedKernelRecordWait - custom_task_info_unittest：AnnotatedEventWaitUsesExistingWaitAndResetSemantics 2. 编译并运行 ST：graph_engine_test 中 DeclarativeCustomOpAttachedStreamSt.*（按 key 复用辅流 ID、回调缺失返回 UINT32_MAX）。 3. 手工验证：自定义算子在 DeclareLaunchArgs 中调用 RequestAttachedStream + AddLaunchWithDependencies 下发主流/辅流任务，出 OM 后确认 stream_num 扩展、辅流 launch 与 EVENT_RECORD/EVENT_WAIT 任务正确生成且执行结果正确。 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 - PR 当前带 stat/needs-squash 标签，38 个 commit 中含多个 CI 规避/revert 提交，合入前需 squash。 - 标题 feat： 使用了全角冒号，建议改为半角 feat: 。 See merge request: cann/ge!4934 | 21 天前 | |
feat：声明式自定义算子的辅流申请功能 Co-authored-by: Chang-an-HW<machangan@huawei.com> # message auto-generated for no-merge-commit merge: !4934 merge declarative-custom-op-attached-stream-pr into develop feat：声明式自定义算子的辅流申请功能 Created-by: Chang-an-HW Commit-by: Chang-an-HW Merged-by: cann-robot Description: # Pull Request ## 描述 为声明式自定义算子（ AnnotatedArgsOp / DeclareLaunchArgs）新增**编译期辅流申请与任务依赖声明**能力，使算子可以在 DeclareLaunchArgs 回调内把多个 kernel launch 下发到不同逻辑流，并由 GE 自动完成流分配与事件同步插入。 **对外接口（gert::AnnotatedArgsContext，@since 9.3.0(2026-09)）** - 新增 uint32_t RequestAttachedStream(const ge::AscendString &key)：按模型级 key 申请逻辑辅流，相同 key 复用同一 ID；key 为空或申请失败返回 UINT32_MAX。 - 新增 graphStatus AddLaunchWithDependencies(launch_info, args, dependencies, dependency_num, token)：以 AnnotatedLaunchToken 表达 launch 间前驱依赖，成功后输出本次 launch 的 token。 - AddLaunch 的 ABI 与行为保持不变（不产生 token，也不能作为依赖源）。 **graph_metadef 侧** - AnnotatedArgsHandler：LaunchRecord 增加 token 与依赖列表；新增 SetAttachedStreamRequestFunc / RequestAttachedStream / GetAttachedStreamIds；AddLaunchWithDependencies 校验 token 有效性（依赖必须指向更早 launch、不可重复、不可溢出）。 - stub_offline_launch_runtime.cc 同步补齐 stub 实现；stub_lowering 增加 runtime_headers、slog 链接。 **compiler 侧** - 新增 DeclarativeStreamRegistry：挂到 ComputeGraph ext attr（declarative_stream_registry），从当前逻辑流数之后按 key 去重分配辅流 ID，并做溢出保护。 - 新增 AnnotatedArgsTaskPlan 序列化/反序列化（带 version、长度与依赖边合法性校验）：缓存属性由进程内 ext attr 改为可序列化的 _custom_annotated_args_task_plan_bytes，使计划在 ReGetTaskInfo / 二次生成场景下可无回调恢复；计划中新增 launch_stream_ids、dependencies、attached_stream_ids。 - ModelBuilder：PrepareDeclarativeAttachedStreamRegistry（AssignLogicalStreams 之后建注册表）、FinalizeDeclarativeAttachedStreams（把计划辅流写回 op_desc->SetAttachedStreamIds 并扩展 stream_num）、MaterializeAnnotatedArgsTaskDependencies。 - StreamAllocator：InsertAnnotatedArgsEventTasks 为跨流依赖插入 EVENT_RECORD/EVENT_WAIT 任务；ReconcileAnnotatedArgsEventTasks 在拆流后重映射 event id、剪除同流事件对，并回写 stream/event/notify 总数（RTS 与 GE 两条拆流路径均覆盖）。 - CustomOpsKernelBuilder：物化时按计划流 ID 下发任务（无依赖且无辅流的 legacy 计划仍刷新为节点当前主流，兼容跨流复用）；CalcOpRunningParam 改为 DelAttr 清理序列化计划。 **约束校验** - 计划中至少存在一个主流 launch；辅流任务是否汇合回主流由算子自行保证。 - 依赖 token 必须指向更早的 launch，不可重复、不可自依赖。 - mobile OMC 单任务模式不支持依赖与辅流；端侧仍只允许一次 AddLaunch。 **文档**：新增 RequestAttachedStream.md、AddLaunchWithDependencies.md，更新 overview.md、README.md 目录、AddLaunch.md 与 DeclareLaunchArgs.md 约束描述。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue 无 ## 如何测试 描述测试此变更的步骤和前提条件： 1. 编译并运行 UT： - graph_metadef UT：AnnotatedArgsContextUT.AddLaunchWithDependenciesValidatesAndCopiesTokens - ge UT： - stream_allocator_unittest：DeclarativeStreamRegistryTest.*、AnnotatedArgsTaskPlanTest.*（序列化往返、跨流事件插入/重映射/同流剪枝）、ModelBuilderTest.FinalizeDeclarativeAttachedStreams* - custom_ops_kernel_info_store_unittest：计划无回调恢复、辅流不汇合主流、缺主流 launch 报错 - task_generator_unittest：GenerateTask_AnnotatedKernelRecordWait - custom_task_info_unittest：AnnotatedEventWaitUsesExistingWaitAndResetSemantics 2. 编译并运行 ST：graph_engine_test 中 DeclarativeCustomOpAttachedStreamSt.*（按 key 复用辅流 ID、回调缺失返回 UINT32_MAX）。 3. 手工验证：自定义算子在 DeclareLaunchArgs 中调用 RequestAttachedStream + AddLaunchWithDependencies 下发主流/辅流任务，出 OM 后确认 stream_num 扩展、辅流 launch 与 EVENT_RECORD/EVENT_WAIT 任务正确生成且执行结果正确。 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如：feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 - PR 当前带 stat/needs-squash 标签，38 个 commit 中含多个 CI 规避/revert 提交，合入前需 squash。 - 标题 feat： 使用了全角冒号，建议改为半角 feat: 。 See merge request: cann/ge!4934 | 21 天前 | |
【PR】:ge一月份需求合入（包含整改dflow ST、自定义算子执行Context等） Co-authored-by: jikai-tyler<jikai5@huawei.com> # message auto-generated for no-merge-commit merge: !223 merge master into master 【PR】:ge一月份需求合入（包含整改dflow ST、自定义算子执行Context等） Created-by: jikai-tyler Commit-by: jikai-tyler Merged-by: cann-robot Description: # Pull Request ## 描述 ge一月份需求合入： 1、llt测试用例相关重复stub文件清理 2、Triton入图parser解析dlopen的handle关闭 - Triton入图parser解析dlopen的handle关闭 - 补充tensorflow 中其他的入参类型 - 优化parser 解析的的代码 3、UserGraphsManager suppport gert::Tensor - UserGraphsManager及JitExecutor等RunGraphAsync入参由ge::Tensor改为gert::Tensor - 老的兼容接口Session::RunGraph/RunGraphAsync在ge_api.cc 将ge::Tensor转换为gert::Tensor，然后调用InnerSession的接口。 4、整改dflow ST中的HELPER_RES_FILE_PATH - HELPER_RES_FILE_PATH配置文件已经废弃，需要删除并整改用例使用RESOURCE_CONFIG_PATH。 - rtGetIsHeterogenous接口已经废弃，需要删除并整改用例使用RESOURCE_CONFIG_PATH环境变量。 5、注册ge错误码 - 从error_code.json文件中拆分出GE错误码，通过ErrorManager模块的对外接口REG_FORMAT_ERROR_MSG宏完成GE错误码的注册 6、使能acl目录覆盖率拦截项 7、triton入图parser解析优化 8、告警规则处理 9、refactor parser/common/tuple.h 10、fix UserGraphControl SetCompiledFlag/SetCompiledFlag 11、修复Sample问题 - Include stdint and stddef for base mdl - move CheckRunGraphMode to ge_api_v2.cc 12、自定义算子执行Context 13、fix AllRealInputsAreTheSameOutAnchor error log issue - 在Session::AddGraph时会造一个UserGraphControl实例。因此在UserGraphControl中增加compiled_flag 14、bugfix:handling excessively long name - 避免因字符串过长导致二进制匹配耗尽资源而coredump,裁剪name，只保留最开始的128字符 15、acl code check告警处理 16、modify 3rd compile para 17、修改自定义ES_API Sample问题 && README.md 18、Refined inner session to no longer retrieve GraphNode or GraphOptions via graph_id from graph_manager. 19、ES关键类PIMPL实现 && 修改命名空间 - EsCGraphBuilder, CompliantNodeBuilder, EsCTensorHolder改为PIMPL实现 - 修改AddEdgeAndUpdatePeerDesc和CompliantNodeBuilder命名空间至ge::es 20、手动实现log功能, 实现debug_print函数来定位 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新（格式化，局部变量） - [ ] ♻️ 重构（既不修复错误也不增加功能的代码变动） - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在当前页面的右侧'关联Issue'部分添加相应Issue链接，并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件： 1.存量用例执行 2.告警规则检测 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签（如： feat:, fix:） - [x] 我已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 在此添加任何其他关于本次 PR 的说明。 See merge request: cann/ge!223 | 8 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 21 天前 | ||
| 21 天前 | ||
| 8 个月前 |