Star776

Star776

cann-robot更新md文档格式

6b469087创建于 4月10日历史提交

文件	最后提交记录	最后更新时间
docs	更新md文档格式 Co-authored-by: yuanbin_22<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !3704 merge ModifyAclnnMd900b2 into 9.0.0-beta.2 更新md文档格式 Created-by: yuanbin_22 Commit-by: yuanbin_22 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 更新md文档格式 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3704	3 个月前
examples	swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!831	5 个月前
op_graph	swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!831	5 个月前
op_host	refactor common headers for op_host/op_api Co-authored-by: 丛吉钰<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !1807 merge master into master refactor common headers for op_host/op_api Created-by: cong-jiyu Commit-by: 丛吉钰 Merged-by: cann-robot Description: ## 描述迁移common目录下的文件到op_api/op_host中 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1807	4 个月前
op_kernel	adapt 3101 to 3510 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !1158 merge master into master adapt 3101 to 3510 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1158	4 个月前
tests	Arch编码更新 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !1116 merge ut_test into master Arch编码更新 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 Arch编码更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1116	5 个月前
CMakeLists.txt	Arch编码更新 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !1116 merge ut_test into master Arch编码更新 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 Arch编码更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1116	5 个月前
README.md	Modify the aclnn Co-authored-by: zhouwenfang<zhouwenfang3@h-partners.com> # message auto-generated for no-merge-commit merge: !3572 merge 9.0.0-beta.2 into 9.0.0-beta.2 Modify the aclnn Created-by: zhouwenfang Commit-by: zhouwenfang Merged-by: cann-robot Description: ## 描述 Modify the aclnn ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试已对齐 ## 文档更新 Modify the aclnn ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3572	3 个月前

GroupedDynamicBlockQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：根据传入的分组索引的起始值（group_list）对各个group以基本块的粒度进行量化，量化为（FP8/HiFP8），并输出量化参数scale（FP32）。
计算公式：
$input\_max = block\_reduce\_max(abs(input))$ $scale = min(input\_max/FP8\_MAX(HiF8\_MAX), 1/min\_scale)$ $y = cast\_to\_[HiF8/FP8](input/scale)$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示算子输入的Tensor，形如[M, N]或[B, M, N]，对应公式中的input。	FLOAT16、BFLOAT16	ND
group_list	输入	表示在M轴上每个group的偏移（cumsum模式）。	INT32	ND
min_scale	输入	表示参与scale计算的最小scale值，对应公式中的min_scale。	DOUBLE	-
round_mode	可选属性	表示最后由高bit数据cast到目标数据类型的近似模式。	STRING	-
dst_type	输入	表示数据转换后y的数据类型。	INT64	-
row_block_size	输入	表示指定M轴上的量化粒度。	INT64	-
col_block_size	输入	表示指定N轴上的量化粒度。	INT64	-
group_list_type	输入	表示group_list的功能类型。	INT64	-
y	输出	表示量化后的输出Tensor，对应公式中的y。	HIFLOAT8、FLOAT8_E4M3FN、FLOAT8_E5M2	ND
scale	输出	表示每个分组对应的量化尺度，对应公式中的scale。	FLOAT32	ND

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_grouped_dynamic_block_quant	通过aclnnGroupedDynamicBlockQuant接口方式调用GroupedDynamicBlockQuant算子。
图模式	-	通过算子IR构图方式调用GroupedDynamicBlockQuant算子。