| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
【PR】: Host tensor value symbolize Co-authored-by: chengyutao3<chengyutao3@huawei.com> # message auto-generated for no-merge-commit merge: !4443 merge develop into develop 【PR】: Host tensor value symbolize Created-by: chengyutao3 Commit-by: chengyutao3 Merged-by: cann-robot Description: # Pull Request ## 描述 本次提交为 host tensor(host 侧输入张量)新增**值符号化(value symbolization)**能力,使依赖输入 tensor 具体数值(如 Reshape 的 shape 输入)进行符号推导的场景不再需要把输入搬到 device,从而提升 JIT 执行与符号推导的准确性和性能。 核心变更包括: 1. **新增 graph 级 option ge.inputHintValue**:支持通过 input_index:[v0,v1,...] 的形式为指定输入指定符号化提示值(与已有 ge.inputHintShape 对齐),并在 option_supportion_checker 中将该 option 登记为受支持项。 2. **值符号化实现**(symbolic_shape_symbolizer.cc): - 新增 SymbolizeInputValue,优先使用真实 host 数据(支持 INT32/INT64/UINT32/UINT64,元素数上限 200)生成逐元素符号;无真实数据时回退到 ge.inputHintValue 配置值。 - 新增 InputValueElementSource,生成可在运行时读取 GetGraphInputTensor(idx) 对应元素数值的 source 串。 3. **值依赖输入识别**(symbolic_infer_util.cc):新增 IsValueDependentDataNode / GetValueDependentInputIdxs,通过算子的 IsInputDataDependency 与 op_infer_depends 判定哪些图输入是"值依赖"的,结果缓存到图 attr 中。 4. **JIT 执行路径适配**(jit_executor.cc): - CopyHostInputsToDevice 支持 keep_on_host_idxs,值依赖的 host 输入不再拷贝到 device。 - BuildCompileInputs 对已在 host 的输入跳过重复拷贝。 - MarkHostTensorOnDataNodes 改为直接基于 ComputeGraph 处理。 5. **option 解析重构**(option_utils.cc/h):将 ge.inputHintShape 的解析逻辑抽象为通用模板 ParseIndexedListOption,并复用其实现新增 ParseHintInputValue。 6. **测试补充与适配**:新增 UT symbolic_value_inference_unittest.cc、ST test_symbolize_value_and_infer.cc 的 hint value/真实数据用例;JIT 相关用例将 shape 输入由 INT32 调整为 INT64 并置为 host placement;user_graph_manager 用例按"值符号化后 reshape 不再切分执行点"的预期更新。 ## 变更类型 请选择本次引入的变更类型: <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在当前页面的右侧'关联Issue'部分添加相应Issue链接,并勾选'合并后关闭已关联的 Issue'选项。 --> ## 如何测试 描述测试此变更的步骤和前提条件: 1. 运行符号值推导相关用例:tests/ge/ut/ge/graph/optimize/symbolic/symbolic_value_inference_unittest.cc(compile_path_reshape_with_hint_value、execute_path_reshape_with_real_data)。 2. 运行 autofuse ST:tests/ge/st/testcase/autofuse/test_symbolize_value_and_infer.cc(reshape_symbolize_infer_with_input_hint_value、reshape_symbolize_infer_with_real_data)。 3. 运行 JIT 执行相关用例:jit_executor_unittest.cc、user_graph_manager_unittest.cc(验证值符号化后图不再切分、host 输入不被重复拷贝)。 4. 构造含 Reshape 且 shape 输入为 host tensor 的模型,配置 ge.inputHintValue(如 1:[5, 400]),确认符号化推导结果符合预期,且无 device 拷贝开销。 ## 核对清单 <!-- [x] 表示选中 --> - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [ ] 我在标题中使用了合适的类型标签(如:feat:, fix:) - [ ] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit的合并等 ## 其他信息 - 值符号化优先级:真实 host data > ge.inputHintValue 配置值;当已存在符号化 value 时跳过。 - 阈值 kMaxSymbolizeValueElemNum = 200 与 symbolic_shape_inference.cc 中的 kMaxSymbolicValueSize 保持一致,仅对 shape/索引类小 tensor 进行值符号化。 - 值依赖输入识别结果以图 attr _ge_value_dependent_idxs 缓存,避免重复计算。 See merge request: cann/ge!4443 | 20 天前 | |
feat: 校验 deterministic 与 level 一致性 Co-authored-by: 谢正恺<xiezhengkai@huawei.com> # message auto-generated for no-merge-commit merge: !4247 merge batch_deterministic_level_validation into develop feat: 校验 deterministic 与 level 一致性 Created-by: ClarkXie Commit-by: 谢正恺 Merged-by: cann-robot Description: # Pull Request ## 描述 - ATC 仅在用户通过命令行或 raw options 显式传入 deterministic_level 时校验一致性。 - IR 构图仅在 aclgrphBuildInitialize 的全局 options 包含 ge.deterministicLevel 时校验一致性。 - 显式传入 level=0 时仍执行校验,并保留取值范围检查。 ## 变更类型 - [x] 🐛 Bug 修复 - [ ] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue 无。 ## 如何测试 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签 - [x] 我已经详细阅读了贡献指南,并遵守了相关规定 ## 其他信息 本 PR 相对 develop 仅包含一个提交。 See merge request: cann/ge!4247 | 1 个月前 | |
feat(om2): 新增OM2运行时变量管理器(RTVarManager) Co-authored-by: wuzheng-hw<wuzheng14@huawei.com> # message auto-generated for no-merge-commit merge: !4297 merge om2_varmanager into develop feat(om2): 新增OM2运行时变量管理器(RTVarManager) Created-by: wuzheng-hw Commit-by: wuzheng-hw Merged-by: cann-robot Description: # Pull Request ## 描述 新增OM2运行时变量管理器(RTVarManager),用于在运行时管理变量的内存分配、地址映射、格式转换及数据拷贝。 主要变更: - 新增 RTVarResource 数据结构,描述运行时变量条目(RTVarEntry),包含变量名、逻辑地址、tensor描述、格式转换路径等 - 新增 BuildRTVarResource 接口,从编译期 VarManager 构建运行时变量资源并序列化到 OM2 模型文件 - 新增 Om2RTVarManager,负责运行时变量内存分配、地址管理、格式转换及数据拷贝 - 新增 Om2RTVarManagerPool 单例池,按 session 管理 RTVarManager 实例 - OM2 codegen 侧新增变量元数据序列化 - 模型执行器集成 RTVarManager,支持从 OM2 文件解析变量资源并初始化 - 任务码构建适配变量地址刷新逻辑 - 新增完整的 UT/ST 测试用例 ## 变更类型 - [ ] 🐛 Bug 修复 - [x] ✨ 新功能 - [ ] 💄 代码风格更新(格式化,局部变量) - [ ] ♻️ 重构(既不修复错误也不增加功能的代码变动) - [ ] 📦 构建过程或辅助工具的变动 - [ ] 📝 文档内容更新 ## 关联的Issue ## 如何测试 1. 运行 UT 用例:om2_rt_var_manager_unittest、rt_var_resource_unittest、om2_var_resource_builder_unittest 2. 运行 ST 用例:test_om2、test_om2_online 3. 验证 OM2 模型编译和运行时变量管理功能正常 ## 核对清单 - [x] 我的代码遵循了项目的代码风格 - [x] 我已对代码进行了自测 - [x] 我已更新了相关的文档 - [x] 我在标题中使用了合适的类型标签(如:feat:, fix:) - [x] 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定 ## 其他信息 涉及 57 个文件变更,新增约 4500 行代码。 See merge request: cann/ge!4297 | 27 天前 |