master

cann-robotfeat: weight_quant_preprocess 新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG

a2ca5bc4Add on 20 days agoHistory

Files	Last commit	Last update
aclnn_weight_quant_preprocess.cpp	weightQuantPreprocess分支迁移 Co-authored-by: yan-chengyi123<yanchengyi@huawei.com> Co-authored-by: zhouhang96<zhouhang96@huawei.com> # message auto-generated for no-merge-commit merge: !6181 merge master into master weightQuantPreprocess分支迁移 Created-by: zhouhang96 Commit-by: zhouhang96;yan-chengyi123 Merged-by: cann-robot Description: ## 描述 新增 Ascend960 上的量化权重预处理能力，支持 A8W4、A16W4、A16MXFP4 和 A16HIF4 等数据流，完成权重格式转换及 scale、offset、bias 的预处理，为下游量化矩阵乘提供所需的数据布局 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/ops-math/issues/3686 ## 测试 本地torch用例验证通过48/48 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 不涉及 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!6181	23 days ago
aclnn_weight_quant_preprocess.h	新增接口WeightQuantPreprocess Co-authored-by: yan-chengyi123<yanchengyi@huawei.com> Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !3832 merge WeightQuantPreprocess into master 新增接口WeightQuantPreprocess Created-by: renzetao Commit-by: renzetao;yan-chengyi123 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次 PR 新增了 WeightQuantPreprocess 算子接口，用于对量化推理中的权重张量进行预处理转换。主要支持两类数据流：MM_MX_A8W4（矩阵乘，2维权重）和 GMM_MX_A8W4（分组矩阵乘，3维权重），均面向 FLOAT4_E2M1 权重 / FLOAT8_E8M0 scale 的 Mx 量化场景。核心流程是将 ND/NCL 格式的权重转置后通过 TransData 转换为 FORMAT_FRACTAL_NZ_C0_32 格式，并对 weightScale 和 bias 做直接拷贝。接口采用两段式设计（GetWorkspaceSize + 执行），并通过 DataFlowEntry 注册表按 NPU 架构匹配数据流、校验参数、执行业务逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2230](https://gitcode.com/cann/ops-math/issues/2230) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地验证GMM-MxA8W4，QBMM-MxA8W4 的历史用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增了conversion/weight_quant_preprocess/docs/aclnnWeightQuantPreprocess.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3832	3 months ago
weight_quant_preprocess_registry.cpp	feat: weight_quant_preprocess 新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG Co-authored-by: maqijun<maqijun@h-partners.com> # message auto-generated for no-merge-commit merge: !6068 merge feat/weight-quant-preprocess-f8f4-tcg into master feat: weight_quant_preprocess 新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG Created-by: maqijun Commit-by: maqijun Merged-by: cann-robot Description: ## 描述 为 weight_quant_preprocess（伪量化 Matmul 的前置参数预处理算子）新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG：x 为 FLOAT8_E4M3FN、weight 为 FLOAT4_E2M1（紧凑 4-bit）、weightScale 为 FP16/BF16 per-group（{ceildiv(K,32),N}，G>1），配套 QuantBatchMatmulV4 的 T-CG 伪量化场景，共 2 个子场景（weight 转置 → ND 直拷透传；weight 非转置 → ND→FRACTAL_NZ_C0_32 分形转换）。check/process 全部复用既有组件（含与 master 重名的存量符号统一加 9201 后缀），TCG 零新增 kernel。 ## 关联的Issue #3839 https://gitcode.com/cann/ops-math/issues/3839 ## 测试 二级冒烟（新增 MM_A8F4_TCG UT 用例全过，存量 91 例回归正常） ## 文档更新 docs/aclnnWeightQuantPreprocess.md ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!6068	20 days ago
weight_quant_preprocess_registry.h	feat: weight_quant_preprocess 新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG Co-authored-by: maqijun<maqijun@h-partners.com> # message auto-generated for no-merge-commit merge: !6068 merge feat/weight-quant-preprocess-f8f4-tcg into master feat: weight_quant_preprocess 新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG Created-by: maqijun Commit-by: maqijun Merged-by: cann-robot Description: ## 描述 为 weight_quant_preprocess（伪量化 Matmul 的前置参数预处理算子）新增 A8W4(F8F4) T-CG 数据流 MM_A8F4_TCG：x 为 FLOAT8_E4M3FN、weight 为 FLOAT4_E2M1（紧凑 4-bit）、weightScale 为 FP16/BF16 per-group（{ceildiv(K,32),N}，G>1），配套 QuantBatchMatmulV4 的 T-CG 伪量化场景，共 2 个子场景（weight 转置 → ND 直拷透传；weight 非转置 → ND→FRACTAL_NZ_C0_32 分形转换）。check/process 全部复用既有组件（含与 master 重名的存量符号统一加 9201 后缀），TCG 零新增 kernel。 ## 关联的Issue #3839 https://gitcode.com/cann/ops-math/issues/3839 ## 测试 二级冒烟（新增 MM_A8F4_TCG UT 用例全过，存量 91 例回归正常） ## 文档更新 docs/aclnnWeightQuantPreprocess.md ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!6068	20 days ago