cann-robotadd LAMB optimizer fusion operators for Ascend950

文件	最后提交记录	最后更新时间
examples	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
framework	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_graph	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_host	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_kernel	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
tests	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
CMakeLists.txt	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
README.md	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前

LambApplyOptimizerAssign

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√

功能说明

算子功能：对模型中的一个参数完成LAMB优化器的Adam矩更新与偏差校正后的update计算（含可选权重衰减），并原地更新一阶矩inputm与二阶矩inputv。
计算公式：

$next_v=inputv×mul2_x+grad2×mul3_xnext\_v = inputv \times mul2\_x + grad^2 \times mul3\_x$

$next_m=inputm×mul0_x+grad×mul1_xnext\_m = inputm \times mul0\_x + grad \times mul1\_x$

$output0=next_m/(1−mul0_xsteps)next_v/(1−mul2_xsteps)+add2_y+input3×weight_decay_rate×do_use_weightoutput0 = \frac{next\_m / (1 - mul0\_x^{steps})}{\sqrt{next\_v / (1 - mul2\_x^{steps})} + add2\_y} + input3 \times weight\_decay\_rate \times do\_use\_weight$

参数说明

参数名	输入/输出	描述	数据类型	数据格式
grad	输入	公式中的grad。	FLOAT16、FLOAT	ND
inputv	输入	公式中的inputv。	FLOAT16、FLOAT	ND
inputm	输入	公式中的inputm。	FLOAT16、FLOAT	ND
input3	输入	公式中的input3。	FLOAT16、FLOAT	ND
mul0_x	输入	公式中的mul0_x。	FLOAT16、FLOAT	ND
mul1_x	输入	公式中的mul1_x。	FLOAT16、FLOAT	ND
mul2_x	输入	公式中的mul2_x。	FLOAT16、FLOAT	ND
mul3_x	输入	公式中的mul3_x。	FLOAT16、FLOAT	ND
add2_y	输入	公式中的add2_y。	FLOAT16、FLOAT	ND
steps	输入	公式中的steps。	FLOAT16、FLOAT	ND
do_use_weight	输入	公式中的do_use_weight。	FLOAT16、FLOAT	ND
weight_decay_rate	输入	公式中的weight_decay_rate。	FLOAT16、FLOAT	ND
output0	输出	公式中的output0。	FLOAT16、FLOAT	ND
inputv	输出	公式中的inputv。	FLOAT16、FLOAT	ND
inputm	输出	公式中的inputm。	FLOAT16、FLOAT	ND

约束说明

无

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_lamb_apply_optimizer_assign	通过算子IR构图方式调用LambApplyOptimizerAssign算子。