Star909

Star909

cann-robotadd LAMB optimizer fusion operators for Ascend950

df1eacd7创建于 6月10日历史提交

文件	最后提交记录	最后更新时间
examples	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_graph	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_host	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
op_kernel	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
tests	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
CMakeLists.txt	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前
README.md	add LAMB optimizer fusion operators for Ascend950 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !5886 merge master into master add LAMB optimizer fusion operators for Ascend950 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述新增优化器LambXXX长尾算子补充foreach算子的资料和ut覆盖 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 ut/st ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5886	2 个月前

LambNextRight

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√

功能说明

算子功能：BERT LAMB优化器图融合算子：计算二阶矩next_v及其偏差校正后的分母sqrt(v_unbiased)+epsilon。
计算公式：

$y1=input_mul2×mul2_x+input_square2×mul3_x(next_v)y1 = input\_mul2 \times mul2\_x + input\_square^2 \times mul3\_x\quad(next\_v)$

$y2=y1×truediv1_recip+add2_yy2 = \sqrt{y1 \times truediv1\_recip} + add2\_y$

参数说明

参数名	输入/输出	描述	数据类型	数据格式
input_square	输入	公式中的input_square。	FLOAT16、FLOAT	ND
input_mul2	输入	公式中的input_mul2。	FLOAT16、FLOAT	ND
mul2_x	输入	公式中的mul2_x。	FLOAT16、FLOAT	ND
mul3_x	输入	公式中的mul3_x。	FLOAT16、FLOAT	ND
truediv1_recip	输入	公式中的truediv1_recip。	FLOAT16、FLOAT	ND
add2_y	输入	公式中的add2_y。	FLOAT16、FLOAT	ND
y1	输出	公式中的y1。	FLOAT16、FLOAT	ND
y2	输出	公式中的y2。	FLOAT16、FLOAT	ND

约束说明

无

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_lamb_next_right	通过算子IR构图方式调用LambNextRight算子。