master

ascend-robot【bug】keep the dytpe of scalar input to fp32

1f67b635创建于 18 天前历史提交

文件	最后提交记录	最后更新时间
lazy_fusion_flags.cpp	【feature】add eager DVM lazy fusion support for PTA Eager mode Co-authored-by: hb_hubin<hubin79@huawei.com> # message auto-generated for no-merge-commit merge: !4956 merge pta-dvm-master into master 【feature】add eager DVM lazy fusion support for PTA Eager mode Created-by: hbhu_bin Commit-by: hb_hubin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 https://gitcode.com/Ascend/pytorch/issues/1732 # 【修改方案】 PTA使能eager模式dvm无图融合算子，**开启TORCH_NPU_LAZY_FUSION=True进行使能**；**不开启时，对原有eager流程无影响** 架构设计 ┌────────────────────────────────────────────────────────────┐ │ PyTorch Eager │ │ torch.add(x, y) / x.silu_() / ... │ └──────────────────────────┬─────────────────────────────────┘ │ aten 调用 ┌──────────────────────────▼─────────────────────────────────┐ │ torch_npu 派发层（codegen 生成） │ │ if (lazy_fusion::IsEnabled("op")) → lazy_fusion::op() │ │ else → op_api::op() / acl_op::op() │ └──────────────────────────┬─────────────────────────────────┘ │ ┌──────────────────┼──────────────────┐ │ │ │ ┌───────▼──────┐ ┌────────▼─────────┐ ┌──────▼─────────┐ │ acl_op:: │ │ op_api:: │ │ lazy_fusion:: │ │ (acl 算子) │ │ (aclnn 算子) │ │ (DVM 融合) │ └──────────────┘ └──────────────────┘ └──────┬─────────┘ │ ┌─────────────▼──────────────┐ │ LazyFusionKernel │ │ - 累积算子到 DVM 图 │ │ - 跨边界自动 Flush │ │ - 调用 dvm::Kernel CodeGen│ └─────────────┬──────────────┘ │ ┌─────────────▼──────────────┐ │ libdvm.a (三方库) │ │ - IR 优化 / 算子融合 │ │ - AiCore kernel 代码生成 │ │ - workspace 管理 │ └────────────────────────────┘ # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” op-plugin PR不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 torch_npu的修改泛化验证97个UT（PR会进行精简），每个UT开启DVM+关闭DVM跑俩遍，比较二者的精度。用例包括：所有涉及单算子用例（多shape+多dtype）、与其他特性协同（aclgraph）、组合算子测试、view场景等 新增UT已全量pass  精简用例之后（24个），全部通过  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!4956	1 个月前
lazy_fusion_flags.h	【feature】add eager DVM lazy fusion support for PTA Eager mode Co-authored-by: hb_hubin<hubin79@huawei.com> # message auto-generated for no-merge-commit merge: !4956 merge pta-dvm-master into master 【feature】add eager DVM lazy fusion support for PTA Eager mode Created-by: hbhu_bin Commit-by: hb_hubin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 https://gitcode.com/Ascend/pytorch/issues/1732 # 【修改方案】 PTA使能eager模式dvm无图融合算子，**开启TORCH_NPU_LAZY_FUSION=True进行使能**；**不开启时，对原有eager流程无影响** 架构设计 ┌────────────────────────────────────────────────────────────┐ │ PyTorch Eager │ │ torch.add(x, y) / x.silu_() / ... │ └──────────────────────────┬─────────────────────────────────┘ │ aten 调用 ┌──────────────────────────▼─────────────────────────────────┐ │ torch_npu 派发层（codegen 生成） │ │ if (lazy_fusion::IsEnabled("op")) → lazy_fusion::op() │ │ else → op_api::op() / acl_op::op() │ └──────────────────────────┬─────────────────────────────────┘ │ ┌──────────────────┼──────────────────┐ │ │ │ ┌───────▼──────┐ ┌────────▼─────────┐ ┌──────▼─────────┐ │ acl_op:: │ │ op_api:: │ │ lazy_fusion:: │ │ (acl 算子) │ │ (aclnn 算子) │ │ (DVM 融合) │ └──────────────┘ └──────────────────┘ └──────┬─────────┘ │ ┌─────────────▼──────────────┐ │ LazyFusionKernel │ │ - 累积算子到 DVM 图 │ │ - 跨边界自动 Flush │ │ - 调用 dvm::Kernel CodeGen│ └─────────────┬──────────────┘ │ ┌─────────────▼──────────────┐ │ libdvm.a (三方库) │ │ - IR 优化 / 算子融合 │ │ - AiCore kernel 代码生成 │ │ - workspace 管理 │ └────────────────────────────┘ # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” op-plugin PR不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 torch_npu的修改泛化验证97个UT（PR会进行精简），每个UT开启DVM+关闭DVM跑俩遍，比较二者的精度。用例包括：所有涉及单算子用例（多shape+多dtype）、与其他特性协同（aclgraph）、组合算子测试、view场景等 新增UT已全量pass  精简用例之后（24个），全部通过  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!4956	1 个月前
lazy_fusion_kernel.cpp	【feature】add eager DVM lazy fusion support for PTA Eager mode Co-authored-by: hb_hubin<hubin79@huawei.com> # message auto-generated for no-merge-commit merge: !4956 merge pta-dvm-master into master 【feature】add eager DVM lazy fusion support for PTA Eager mode Created-by: hbhu_bin Commit-by: hb_hubin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 https://gitcode.com/Ascend/pytorch/issues/1732 # 【修改方案】 PTA使能eager模式dvm无图融合算子，**开启TORCH_NPU_LAZY_FUSION=True进行使能**；**不开启时，对原有eager流程无影响** 架构设计 ┌────────────────────────────────────────────────────────────┐ │ PyTorch Eager │ │ torch.add(x, y) / x.silu_() / ... │ └──────────────────────────┬─────────────────────────────────┘ │ aten 调用 ┌──────────────────────────▼─────────────────────────────────┐ │ torch_npu 派发层（codegen 生成） │ │ if (lazy_fusion::IsEnabled("op")) → lazy_fusion::op() │ │ else → op_api::op() / acl_op::op() │ └──────────────────────────┬─────────────────────────────────┘ │ ┌──────────────────┼──────────────────┐ │ │ │ ┌───────▼──────┐ ┌────────▼─────────┐ ┌──────▼─────────┐ │ acl_op:: │ │ op_api:: │ │ lazy_fusion:: │ │ (acl 算子) │ │ (aclnn 算子) │ │ (DVM 融合) │ └──────────────┘ └──────────────────┘ └──────┬─────────┘ │ ┌─────────────▼──────────────┐ │ LazyFusionKernel │ │ - 累积算子到 DVM 图 │ │ - 跨边界自动 Flush │ │ - 调用 dvm::Kernel CodeGen│ └─────────────┬──────────────┘ │ ┌─────────────▼──────────────┐ │ libdvm.a (三方库) │ │ - IR 优化 / 算子融合 │ │ - AiCore kernel 代码生成 │ │ - workspace 管理 │ └────────────────────────────┘ # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” op-plugin PR不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 torch_npu的修改泛化验证97个UT（PR会进行精简），每个UT开启DVM+关闭DVM跑俩遍，比较二者的精度。用例包括：所有涉及单算子用例（多shape+多dtype）、与其他特性协同（aclgraph）、组合算子测试、view场景等 新增UT已全量pass  精简用例之后（24个），全部通过  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!4956	1 个月前
lazy_fusion_kernel.h	add dvm deterministic when use torch.use_deterministic_algorithms(True) Co-authored-by: hb_hubin<hubin79@huawei.com> # message auto-generated for no-merge-commit merge: !4977 merge pta-dvm-master into master add dvm deterministic when use torch.use_deterministic_algorithms(True) Created-by: hbhu_bin Commit-by: hb_hubin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 https://gitcode.com/Ascend/pytorch/issues/1732 # 【修改方案】 无图融合增加确定性计算接口（torch.use_deterministic_algorithms(True)）的使能逻辑 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” op-plugin PR不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 torch_npu用例已合入，执行pass  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!4977	1 个月前
lazy_fusion_ops.cpp	【bug】keep the dytpe of scalar input to fp32 Co-authored-by: hb_hubin<hubin79@huawei.com> # message auto-generated for no-merge-commit merge: !5106 merge pta-dvm into master 【bug】keep the dytpe of scalar input to fp32 Created-by: hbhu_bin Commit-by: hb_hubin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [x] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 https://gitcode.com/Ascend/pytorch/issues/2264 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） MulScalar/DIvScalar/FloorDivideScalar等带Scalar算子对齐aclnn，Scalar保持为fp32高精度，不cast为bf16/fp16，保持高精度计算 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 新增用例已验证pass  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!5106	18 天前