9.0.0-beta.2

cann-robotswish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant

76626cce创建于 1月28日历史提交

文件	最后提交记录	最后更新时间
aclnn_quantize.cpp	swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!831	5 个月前
aclnn_quantize.h	swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!831	5 个月前
quantize.cpp	non_zero, nll_loss, nll_loss_grad, adam_apply_one, adam_apply_one_with_decay, adam_apply_one_with_decay_assign, apply_gradient_descent, ascend_quant, quantize支持下一代实现 Co-authored-by: 我是石头人大王<luohao148@huawei.com> # message auto-generated for no-merge-commit merge: !608 merge diff into master non_zero, nll_loss, nll_loss_grad, adam_apply_one, adam_apply_one_with_decay, adam_apply_one_with_decay_assign, apply_gradient_descent, ascend_quant, quantize支持下一代实现 Created-by: lhlll Commit-by: 我是石头人大王 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> | 序号 |算子|功能| |--|--|--| | 1 | non_zero| 找出self中非零元素的位置，设self的维度为D，self中非零元素的个数为N，则返回out的shape为N * D，每一列表示一个非零元素的位置坐标。| | 2| nll_loss|计算负对数似然损失值。 | | 3| nll_loss_grad | 负对数似然损失反向计算。 | | 4| adam_apply_one| 对单个模型参数（Variable）执行 Adam 算法的完整参数更新逻辑 | | 5| adam_apply_one_with_decay | 该算子是自定义融合算子，是Adam优化器算法的变种 | | 6| adam_apply_one_with_decay_assign| 该算子是自定义融合算子，与网络优化器相关，是一种参数更新的算法 | | 7| apply_gradient_descent| 根据计算出的梯度（Gradient）和预设的学习率（Learning Rate），按照梯度下降规则更新模型参数，是模型训练中参数优化的基础操作。 | | 8| ascend_quant| 对输入x进行量化操作，且scale和offset的size需要是x的最后一维或1。 | | 9| quantize| 对输入张量x进行量化处理。 | ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/310 <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!608	6 个月前
quantize.h	non_zero, nll_loss, nll_loss_grad, adam_apply_one, adam_apply_one_with_decay, adam_apply_one_with_decay_assign, apply_gradient_descent, ascend_quant, quantize支持下一代实现 Co-authored-by: 我是石头人大王<luohao148@huawei.com> # message auto-generated for no-merge-commit merge: !608 merge diff into master non_zero, nll_loss, nll_loss_grad, adam_apply_one, adam_apply_one_with_decay, adam_apply_one_with_decay_assign, apply_gradient_descent, ascend_quant, quantize支持下一代实现 Created-by: lhlll Commit-by: 我是石头人大王 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> | 序号 |算子|功能| |--|--|--| | 1 | non_zero| 找出self中非零元素的位置，设self的维度为D，self中非零元素的个数为N，则返回out的shape为N * D，每一列表示一个非零元素的位置坐标。| | 2| nll_loss|计算负对数似然损失值。 | | 3| nll_loss_grad | 负对数似然损失反向计算。 | | 4| adam_apply_one| 对单个模型参数（Variable）执行 Adam 算法的完整参数更新逻辑 | | 5| adam_apply_one_with_decay | 该算子是自定义融合算子，是Adam优化器算法的变种 | | 6| adam_apply_one_with_decay_assign| 该算子是自定义融合算子，与网络优化器相关，是一种参数更新的算法 | | 7| apply_gradient_descent| 根据计算出的梯度（Gradient）和预设的学习率（Learning Rate），按照梯度下降规则更新模型参数，是模型训练中参数优化的基础操作。 | | 8| ascend_quant| 对输入x进行量化操作，且scale和offset的size需要是x的最后一维或1。 | | 9| quantize| 对输入张量x进行量化处理。 | ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/310 <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!608	6 个月前