Star0

Star0

cann-robotGroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升

95405845创建于 8月17日历史提交

文件	最后提交记录	最后更新时间
docs	fix aclnn自动生成算子输出参数非连续Tensor标记错误及aclnnRReluWithNoise支持A5 Co-authored-by: yuanbin_22<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !8106 merge fix/aclnn-doc-noncontiguous-and-classify-rule into master fix aclnn自动生成算子输出参数非连续Tensor标记错误及aclnnRReluWithNoise支持A5 Created-by: yuanbin_22 Commit-by: yuanbin_22 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ### 1. aclnnInplaceRReluWithNoise支持A5 ### 2. 修复aclnn自动生成算子文档中输出参数非连续Tensor标记错误自动生成的aclnn算子（`ACLNNTYPE aclnn`），输出参数不支持非连续Tensor，应标记为 ×。以下5个算子的8个文档文件共19处输出参数从 √ 修正为 ×： \| 算子 \| 文件 \| 修正参数 \| \|------\|------\|---------\| \| dynamic_mx_quant_with_dual_axis \| aclnnDynamicMxQuantWithDualAxis.md, aclnnDynamicMxQuantWithDualAxisV2.md \| y1Out, mxscale1Out, y2Out, mxscale2Out \| \| dynamic_block_mx_quant \| aclnnDynamicBlockMxQuant.md \| yOut, scale1Out, scale2Out \| \| grouped_dynamic_block_quant \| aclnnGroupedDynamicBlockQuant.md, aclnnGroupedDynamicBlockQuantV2.md \| yOut, scaleOut \| \| dynamic_block_quant \| aclnnDynamicBlockQuant.md, aclnnDynamicBlockQuantV2.md \| yOut, scaleOut \| \|swi_glu_grad\|aclnnSwiGluGrad\|x_grad\| ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4549 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8106	2 个月前
examples	修复算子文档格式与示例代码规范问题 Co-authored-by: yuanbin_22<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !8288 merge fix-doc-format-issues into master 修复算子文档格式与示例代码规范问题 Created-by: yuanbin_22 Commit-by: yuanbin_22 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> fix: 修复算子文档格式与示例代码规范问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4603 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8288	2 个月前
op_graph	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	3 个月前
op_host	GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !8725 merge master into master GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4834 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8725	2 个月前
op_kernel	GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !8725 merge master into master GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4834 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8725	2 个月前
tests	GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !8725 merge master into master GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GroupedDynamicBlockQuant 对 rowBlockSize=1 的超宽用例进行性能提升 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4834 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8725	2 个月前
CMakeLists.txt	Arch编码更新 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !1116 merge ut_test into master Arch编码更新 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 Arch编码更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1116	8 个月前
README.md	GroupedDynamicBlockQuant add dst_type_max attr. Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !5505 merge master into master GroupedDynamicBlockQuant add dst_type_max attr. Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GroupedDynamicBlockQuant 新增 dst_type_max 字段. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3467 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5505	4 个月前

GroupedDynamicBlockQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：根据传入的分组索引的起始值（group_list）对各个group以基本块的粒度进行量化，量化为（FP8/HiFP8），并输出量化参数scale（FP32）。
计算公式：
$input\_max = block\_reduce\_max(abs(input))$ $scale = min(input\_max/(FP8\_MAX/HiF8\_MAX/DST\_TYPE\_MAX), 1/min\_scale)$ $y = cast\_to\_[HiF8/FP8](input/scale)$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示算子输入的Tensor，形如[M, N]或[B, M, N]，对应公式中的input。	FLOAT16、BFLOAT16	ND
group_list	输入	表示在M轴上每个group的偏移（cumsum模式）。	INT32	ND
min_scale	输入	表示参与scale计算的最小scale值，对应公式中的min_scale。	DOUBLE	-
round_mode	可选属性	表示最后由高bit数据cast到目标数据类型的近似模式。	STRING	-
dst_type	输入	表示数据转换后y的数据类型。	INT64	-
row_block_size	输入	表示指定M轴上的量化粒度。	INT64	-
col_block_size	输入	表示指定N轴上的量化粒度。	INT64	-
group_list_type	输入	表示group_list的功能类型。	INT64	-
dst_type_max	可选属性	目标数据类型的最大值。当前只支持目标数据类型为HIFLOAT8，且可选取值范围为[0.0, 32768.0] 0.0表示使用数据类型原始的最大值。	FLOAT32	-
y	输出	表示量化后的输出Tensor，对应公式中的y。	HIFLOAT8、FLOAT8_E4M3FN、FLOAT8_E5M2	ND
scale	输出	表示每个分组对应的量化尺度，对应公式中的scale。	FLOAT32	ND

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_grouped_dynamic_block_quant	通过aclnnGroupedDynamicBlockQuant接口方式调用GroupedDynamicBlockQuant算子。
aclnn接口	test_aclnn_grouped_dynamic_block_quant_v2	通过aclnnGroupedDynamicBlockQuantV2接口方式调用GroupedDynamicBlockQuant算子。
图模式	-	通过算子IR构图方式调用GroupedDynamicBlockQuant算子。