Star0

Star0

cann-robotfeat(quant): support Ascend950 dynamic quant update scatter

a6c1607e创建于 8月3日历史提交

文件	最后提交记录	最后更新时间
examples	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	3 个月前
op_graph	feat(quant): support Ascend950 dynamic quant update scatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8164 merge 930-quant into master feat(quant): support Ascend950 dynamic quant update scatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述本PR补齐DynamicQuantUpdateScatter和DynamicQuantUpdateScatterV2在Ascend950（A5/arch35）上的交付能力。主要改动： - DynamicQuantUpdateScatter调整arch35 RegBase实现，补充reduce取值兼容说明，更新golden与arch35 ST用例。 - DynamicQuantUpdateScatterV2放开Ascend950融合pass，完善arch35 tiling形状校验、UB容量校验和多核切分，更新kernel/tiling data/base路径。 - 补充DynamicQuantUpdateScatterV2融合UT、arch35 tiling UT、golden和arch35 ST用例。 - 保持A2/arch22既有行为不变，未引入A2侧bug修复。 ## 关联的Issue 关联Issue #4491 ## 测试 - `pre-commit run --files $(git diff --cached --name-only)`：Passed - DynamicQuantUpdateScatterV2 arch35 op_host UT：11/11 PASS - DynamicQuantUpdateScatterV2 fusion UT：3/3 PASS - DynamicQuantUpdateScatterV2泛化验证：100/100 PASS - `git diff --check`：Passed ## 文档更新已更新： - `quant/dynamic_quant_update_scatter/README.md` - `quant/dynamic_quant_update_scatter_v2/README.md` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8164	2 个月前
op_host	feat(quant): support Ascend950 dynamic quant update scatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8164 merge 930-quant into master feat(quant): support Ascend950 dynamic quant update scatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述本PR补齐DynamicQuantUpdateScatter和DynamicQuantUpdateScatterV2在Ascend950（A5/arch35）上的交付能力。主要改动： - DynamicQuantUpdateScatter调整arch35 RegBase实现，补充reduce取值兼容说明，更新golden与arch35 ST用例。 - DynamicQuantUpdateScatterV2放开Ascend950融合pass，完善arch35 tiling形状校验、UB容量校验和多核切分，更新kernel/tiling data/base路径。 - 补充DynamicQuantUpdateScatterV2融合UT、arch35 tiling UT、golden和arch35 ST用例。 - 保持A2/arch22既有行为不变，未引入A2侧bug修复。 ## 关联的Issue 关联Issue #4491 ## 测试 - `pre-commit run --files $(git diff --cached --name-only)`：Passed - DynamicQuantUpdateScatterV2 arch35 op_host UT：11/11 PASS - DynamicQuantUpdateScatterV2 fusion UT：3/3 PASS - DynamicQuantUpdateScatterV2泛化验证：100/100 PASS - `git diff --check`：Passed ## 文档更新已更新： - `quant/dynamic_quant_update_scatter/README.md` - `quant/dynamic_quant_update_scatter_v2/README.md` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8164	2 个月前
op_kernel	feat(quant): support Ascend950 dynamic quant update scatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8164 merge 930-quant into master feat(quant): support Ascend950 dynamic quant update scatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述本PR补齐DynamicQuantUpdateScatter和DynamicQuantUpdateScatterV2在Ascend950（A5/arch35）上的交付能力。主要改动： - DynamicQuantUpdateScatter调整arch35 RegBase实现，补充reduce取值兼容说明，更新golden与arch35 ST用例。 - DynamicQuantUpdateScatterV2放开Ascend950融合pass，完善arch35 tiling形状校验、UB容量校验和多核切分，更新kernel/tiling data/base路径。 - 补充DynamicQuantUpdateScatterV2融合UT、arch35 tiling UT、golden和arch35 ST用例。 - 保持A2/arch22既有行为不变，未引入A2侧bug修复。 ## 关联的Issue 关联Issue #4491 ## 测试 - `pre-commit run --files $(git diff --cached --name-only)`：Passed - DynamicQuantUpdateScatterV2 arch35 op_host UT：11/11 PASS - DynamicQuantUpdateScatterV2 fusion UT：3/3 PASS - DynamicQuantUpdateScatterV2泛化验证：100/100 PASS - `git diff --check`：Passed ## 文档更新已更新： - `quant/dynamic_quant_update_scatter/README.md` - `quant/dynamic_quant_update_scatter_v2/README.md` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8164	2 个月前
tests	feat(quant): support Ascend950 dynamic quant update scatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8164 merge 930-quant into master feat(quant): support Ascend950 dynamic quant update scatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述本PR补齐DynamicQuantUpdateScatter和DynamicQuantUpdateScatterV2在Ascend950（A5/arch35）上的交付能力。主要改动： - DynamicQuantUpdateScatter调整arch35 RegBase实现，补充reduce取值兼容说明，更新golden与arch35 ST用例。 - DynamicQuantUpdateScatterV2放开Ascend950融合pass，完善arch35 tiling形状校验、UB容量校验和多核切分，更新kernel/tiling data/base路径。 - 补充DynamicQuantUpdateScatterV2融合UT、arch35 tiling UT、golden和arch35 ST用例。 - 保持A2/arch22既有行为不变，未引入A2侧bug修复。 ## 关联的Issue 关联Issue #4491 ## 测试 - `pre-commit run --files $(git diff --cached --name-only)`：Passed - DynamicQuantUpdateScatterV2 arch35 op_host UT：11/11 PASS - DynamicQuantUpdateScatterV2 fusion UT：3/3 PASS - DynamicQuantUpdateScatterV2泛化验证：100/100 PASS - `git diff --check`：Passed ## 文档更新已更新： - `quant/dynamic_quant_update_scatter/README.md` - `quant/dynamic_quant_update_scatter_v2/README.md` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8164	2 个月前
CMakeLists.txt	fix multi_add_rms_norm_dynamic_quant gamma_dim check, add ut Co-authored-by: liu-zihao35<liuzihao35@h-partners.com> # message auto-generated for no-merge-commit merge: !5883 merge add_fusion_pass_marndq_dqusv2 into master fix multi_add_rms_norm_dynamic_quant gamma_dim check, add ut Created-by: liu-zihao35 Commit-by: liu-zihao35 Merged-by: cann-robot Description: ## 描述 multi_add_rms_norm_dynamic_quant 融合规则补充 gamma_dim 检查和 dtype检查修复缺少 gamma_dim 检查导致的错误融合排查其他参数检查规则并增加ut看护 1. MultiAdd fusion pass — 补充 dtype/shape 检查 - 文件：norm/.../multi_add_rms_norm_dynamic_quant_fusion_pass.cpp - 新增 IsInputDtypeValid：检查 x1 必须 FP16/BF16，所有 Add 和 AddRmsNorm x2 输入 dtype 一致，smooth_scales dtype 与 x1 匹配 - 新增 IsGammaShapeValid：检查 gamma 必须是 1 维 tensor - 在 MeetRequirements 中 IsMaxSubGraph 之后调用这两个检查 2. MultiAdd UT — 3 个反向用例 - test_wrong_dtype：输入使用 DT_FLOAT → 期望不融合 - test_gamma_wrong_shape：gamma 使用 2D shape → 期望不融合 - test_wrong_platform：设置 Ascend310P 平台 → 期望不融合 3. DQUSv2 UT — 1 个反向用例 - test_wrong_x_dtype：x 使用 DT_FLOAT → 期望不融合 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#3203](https://gitcode.com/cann/ops-nn/issues/3203) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 graph_ut、新增异常用例、泛化st、整网用例 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新不涉及 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5883	3 个月前
README.md	feat(quant): support Ascend950 dynamic quant update scatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8164 merge 930-quant into master feat(quant): support Ascend950 dynamic quant update scatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述本PR补齐DynamicQuantUpdateScatter和DynamicQuantUpdateScatterV2在Ascend950（A5/arch35）上的交付能力。主要改动： - DynamicQuantUpdateScatter调整arch35 RegBase实现，补充reduce取值兼容说明，更新golden与arch35 ST用例。 - DynamicQuantUpdateScatterV2放开Ascend950融合pass，完善arch35 tiling形状校验、UB容量校验和多核切分，更新kernel/tiling data/base路径。 - 补充DynamicQuantUpdateScatterV2融合UT、arch35 tiling UT、golden和arch35 ST用例。 - 保持A2/arch22既有行为不变，未引入A2侧bug修复。 ## 关联的Issue 关联Issue #4491 ## 测试 - `pre-commit run --files $(git diff --cached --name-only)`：Passed - DynamicQuantUpdateScatterV2 arch35 op_host UT：11/11 PASS - DynamicQuantUpdateScatterV2 fusion UT：3/3 PASS - DynamicQuantUpdateScatterV2泛化验证：100/100 PASS - `git diff --check`：Passed ## 文档更新已更新： - `quant/dynamic_quant_update_scatter/README.md` - `quant/dynamic_quant_update_scatter_v2/README.md` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8164	2 个月前

DynamicQuantUpdateScatterV2

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

算子功能：将DynamicQuantV2和ScatterUpdate单算子自动融合为DynamicQuantUpdateScatterV2融合算子，以实现INT4类型的非对称量化。
过程描述：原始数据x首先经过DynamicQuantV2算子处理，将其转化为INT4类型，并输出对应的缩放因子scale和偏移量offset。随后，三个不同的ScatterUpdate以插入索引indices、三个初始数据（var，var_scale和var_offset）和DynamicQuantV2算子的三个输出（即量化后的数据，scale和offset）作为输入按指定位置执行写入更新操作，最终得到三个原地更新输出var，var_scale和var_offset，分别对应量化更新后的数据及其对应的量化参数。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	量化输入，对应过程描述中的"x"。不支持空Tensor。	FLOAT16、BFLOAT16	ND
indices	输入	量化数据更新索引，对应过程描述中的"indices"。不支持空Tensor。	INT32	ND
var	输入/输出	需要更新的量化结果，对应过程描述中的"var"。不支持空Tensor。	INT4	ND
var_scale	输入/输出	需要更新的量化scale因子，对应过程描述中的"var_scale"。不支持空Tensor。	FLOAT	ND
var_offset	输入/输出	需要更新的量化offset因子，对应过程描述中的"var_offset"。不支持空Tensor。	FLOAT	ND

Kirin X90/Kirin 9030 处理器系列产品:不支持BFLOAT16。

约束说明

量化方式支持非对称量化，量化数据类型支持INT4。
量化不支持smooth_scale输入。
INT4量化情况下，输入x的尾轴要能被2整除。
输入x的shape为(B, 1, H)，var的shape为(B, S, 1, H)，var_scale和var_offset的shape为(B, S)。
自动融合场景要求H能被8整除且H不超过14960。
DynamicQuantV2的output0为INT4类型，output1为FLOAT类型，output2为FLOAT类型。
DynamicQuantV2的输入dtype必须为FLOAT16或者BFLOAT16。input1如果存在，且input2如果不存在，input1的shape必须是1维，且等于input0的最后一维；若input2存在，input1是两维，第一维大小是专家数，不超过1024，第二维大小等于input0的最后一维。

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_dynamic_quant_update_scatter_v2	通过算子IR构图方式调用DynamicQuantUpdateScatterV2算子。