cann-robotfeat: InplaceApplyPowerSign is supported on Ascend950

文件	最后提交记录	最后更新时间
examples	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
op_graph	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
op_host	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
op_kernel	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
tests	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
CMakeLists.txt	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前
README.md	feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） \| 数据类型 \| 精度标准 (rtol/atol) \| 用例数 \| 通过 \| 失败 \| 通过率 \| \| -------- \| -------------------- \| ------ \| ---- \| ---- \| ------ \| \| FP32 \| 1e-4 / 1e-4 \| 88 \| 88 \| 0 \| 100% \| \| FP16 \| 1e-3 / 1e-3 \| 61 \| 61 \| 0 \| 100% \| \| BF16 \| 4e-3 / 4e-3 \| 48 \| 48 \| 0 \| 100% \| \| 合计 \| — \| 197 \| 197 \| 0 \| 100% \| ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409	12 天前

InplaceApplyPowerSign

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：执行PowerSign优化器的单步参数更新。PowerSign将更新机制解耦为"方向"和"幅度"两个维度，利用梯度与一阶矩的符号一致性来自适应调整更新步长，对权重var和一阶矩m进行原地更新（inplace语义）。对标TensorFlow tf.raw_ops.ApplyPowerSign / tf.raw_ops.ResourceApplyPowerSign接口。
计算公式：
$mt=β⋅mt−1+(1−β)⋅gradsign_gm=sign(mt)⋅sign(grad)vart=vart−1−lr⋅exp⁡(logbase⋅sign_decay⋅sign_gm)⋅grad\begin{aligned} m_{t} &= \beta \cdot m_{t-1} + (1 - \beta) \cdot grad \\ sign\_gm &= \text{sign}(m_{t}) \cdot \text{sign}(grad) \\ var_{t} &= var_{t-1} - lr \cdot \exp(logbase \cdot sign\_decay \cdot sign\_gm) \cdot grad \end{aligned}$
其中sign(x)为符号函数（x > 0 返回 1，x < 0 返回 -1，x = 0 返回 0），exp()为自然指数函数。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
var	输入	待更新的权重参数张量，对应公式中的var。与图输出端口var共享GM地址（inplace更新）。	BFLOAT16、FLOAT16、FLOAT	ND
m	输入	一阶矩估计张量，对应公式中的m。shape/dtype必须与var一致；与图输出端口m共享GM地址（inplace更新）。	BFLOAT16、FLOAT16、FLOAT	ND
lr	输入	学习率，对应公式中的lr。shape必须为 [1] 的scalar Tensor。	BFLOAT16、FLOAT16、FLOAT	ND
logbase	输入	对数基底，对应公式中的logbase。shape必须为 [1] 的scalar Tensor。	BFLOAT16、FLOAT16、FLOAT	ND
sign_decay	输入	符号衰减因子，对应公式中的sign_decay。shape必须为 [1] 的scalar Tensor。	BFLOAT16、FLOAT16、FLOAT	ND
beta	输入	一阶矩衰减率，对应公式中的β，取值范围 [0, 1)。shape必须为 [1] 的scalar Tensor。	BFLOAT16、FLOAT16、FLOAT	ND
grad	输入	当前梯度张量，对应公式中的grad。shape/dtype必须与var一致。	BFLOAT16、FLOAT16、FLOAT	ND
use_locking	属性	是否在更新时加锁。默认false。当前实现不强制互斥锁，仅作语义占位。	BOOL	-
var	输出	更新后的权重张量，与输入var共享Device内存（inplace）。shape/dtype与输入var完全相同。	BFLOAT16、FLOAT16、FLOAT	ND
m	输出	更新后的一阶矩估计张量，与输入m共享Device内存（inplace）。shape/dtype与输入m完全相同。	BFLOAT16、FLOAT16、FLOAT	ND

约束说明

var、m、grad三个张量的shape必须一致。
lr、logbase、sign_decay、beta必须为shape=[1]的scalar Tensor。
所有输入输出的DataType必须一致。
FP16/BF16输入内部提升至FP32计算后cast回原类型。

调用说明

调用方式	调用样例	说明
图模式	test_geir_inplace_apply_power_sign	通过算子IR构图方式调用InplaceApplyPowerSign算子。