| Files | Last commit | Last update |
|---|---|---|
md大模型检测低错修改 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !5183 merge master into master md大模型检测低错修改 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> md大模型检测低错修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [# 2466](https://gitcode.com/cann/ops-math/issues/2446) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> *.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5183 | 2 months ago | |
docs: weight_quant_preprocess 补充 A16S4 数据流文档与 example Co-authored-by: maqijun<maqijun@h-partners.com> # message auto-generated for no-merge-commit merge: !5040 merge docs/wq-preprocess-a16w4-example into master docs: weight_quant_preprocess 补充 A16S4 数据流文档与 example Created-by: maqijun Commit-by: maqijun Merged-by: cann-robot Description: ## 描述 为 WeightQuantPreprocess 新增的 A16W4 紧凑排布数据流（功能 PR cann/ops-math#4495，已合入 master）补充 aclnn 文档与调用示例。文档写法参考 Ascend/op-plugin#5779 的评审意见对齐： - aclnnWeightQuantPreprocess.md： - 功能说明：新增 MM_A16S4 数据流约束块（per-tensor/per-channel/per-group 三种量化模式合并描述，三者区别仅在 weightScale 的 shape、weightOffset 透传与 kGroupSize 取值），块开头给出字段含义（MM 表示 Matmul；A16S4 表示 x 为 FLOAT16/BFLOAT16、weight 为 INT4 紧凑 4-bit（每字节打包 2 个值））。 - 参数说明：给出 view shape 中轴的含义与取值/对齐要求——weight 为 2-D {K, N}（K 为 reduction 维、N 为输出维），紧凑 4-bit 打包维（连续维）必须为偶数（非转置时 N 偶数、转置时 K 偶数），viewOffset 必须为偶数；weightScale 按量化粒度给出 shape（per-tensor {1}/{1,1}，per-channel {N}/{1,N}，per-group {ceildiv(K,kGroupSize), N} 且分组数大于 1）；kGroupSize per-tensor/per-channel 必须为 0、per-group 必须大于 0。格式字段沿用历史写法。 - outWeight 按数据流分场景说明：per-tensor（转置/非转置）与 per-channel/per-group 转置场景为 ND 直拷；per-channel/per-group 非转置场景由 ND 转为 FRACTAL_NZ_C0_16，storage shape 为 {ceildiv(N, 16), ceildiv(K, 16), 16, 16}（N 块在前，区别于 A8W4 NZ_C0_32 的 K 块在前）。 - 参数表修正过时项：weight 数据类型补 int4、weightScale 补 float16/bfloat16 及维度 1-4、weightOffset 按数据流说明（MM_A16S4 数据流支持透传，要求与 weightScale 同 viewShape、同数据类型）、outWeight 格式补 ND/NZ；同步更新返回值表与 161002 错误兜底描述。 - 新增 example test_aclnn_weight_quant_preprocess_a16s4.cpp：覆盖 A16S4 perchannel 非转置 NZ_C0_16 输出（含 offset 透传）与 A16S4 pertensor ND 直拷两个场景，示范 NZ_C0_16 storage shape（N 块在前）的构造；调用示例章节末尾按历史风格内联完整源码（与 example 文件逐字一致）。 ## 关联的Issue 关联Issue [#2851](https://gitcode.com/cann/ops-math/issues/2851) ## 测试 - 新 example 已通过官方路径 bash build.sh --run_example weight_quant_preprocess eager --soc=ascend950 在 Ascend950 实机编译运行通过：两个场景全部 success，存量 MM_MX_A8W4 example 不受影响。 ## 文档更新 更新了 aclnnWeightQuantPreprocess.md。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-math!5040 | 2 months ago | |
去除 conversion和random下无效的aclnn自动生成配置 Co-authored-by: yue-ma<mayue54@huawei.com> # message auto-generated for no-merge-commit merge: !5463 merge master into master 去除 conversion和random下无效的aclnn自动生成配置 Created-by: yue-ma Commit-by: yue-ma Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 去除 conversion和random下无效的aclnn自动生成配置 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/3091 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> UT通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5463 | 1 month ago | |
修改日志信息 Co-authored-by: zhangquanxin<zhangquanxin7@h-partners.com> # message auto-generated for no-merge-commit merge: !5406 merge fix-log into master 修改日志信息 Created-by: zhangquanxin Commit-by: zhangquanxin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本 PR 为 Bug 修复类改动，针对 conversion/weight_quant_preprocess/op_host/op_api/aclnn_weight_quant_preprocess.cpp 中 ExecuteDataFlow 的日志信息进行修改：当 dataflow 未匹配到已知流程时，错误日志不再携带架构号 npuArch 输出，并将提示文案由 "UNKNOWN" 调整为 "UNSUPPORTED"，使日志表达更加准确、简洁。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> issue https://gitcode.com/cann/ops-math/issues/3066 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> UT测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5406 | 2 months ago | |
新增接口WeightQuantPreprocess Co-authored-by: yan-chengyi123<yanchengyi@huawei.com> Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !3832 merge WeightQuantPreprocess into master 新增接口WeightQuantPreprocess Created-by: renzetao Commit-by: renzetao;yan-chengyi123 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次 PR 新增了 WeightQuantPreprocess 算子接口，用于对量化推理中的权重张量进行预处理转换。主要支持两类数据流：MM_MX_A8W4（矩阵乘，2维权重）和 GMM_MX_A8W4（分组矩阵乘，3维权重），均面向 FLOAT4_E2M1 权重 / FLOAT8_E8M0 scale 的 Mx 量化场景。核心流程是将 ND/NCL 格式的权重转置后通过 TransData 转换为 FORMAT_FRACTAL_NZ_C0_32 格式，并对 weightScale 和 bias 做直接拷贝。接口采用两段式设计（GetWorkspaceSize + 执行），并通过 DataFlowEntry 注册表按 NPU 架构匹配数据流、校验参数、执行业务逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2230](https://gitcode.com/cann/ops-math/issues/2230) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地验证GMM-MxA8W4，QBMM-MxA8W4 的历史用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增了conversion/weight_quant_preprocess/docs/aclnnWeightQuantPreprocess.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3832 | 3 months ago | |
新增接口WeightQuantPreprocess Co-authored-by: yan-chengyi123<yanchengyi@huawei.com> Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !3832 merge WeightQuantPreprocess into master 新增接口WeightQuantPreprocess Created-by: renzetao Commit-by: renzetao;yan-chengyi123 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次 PR 新增了 WeightQuantPreprocess 算子接口，用于对量化推理中的权重张量进行预处理转换。主要支持两类数据流：MM_MX_A8W4（矩阵乘，2维权重）和 GMM_MX_A8W4（分组矩阵乘，3维权重），均面向 FLOAT4_E2M1 权重 / FLOAT8_E8M0 scale 的 Mx 量化场景。核心流程是将 ND/NCL 格式的权重转置后通过 TransData 转换为 FORMAT_FRACTAL_NZ_C0_32 格式，并对 weightScale 和 bias 做直接拷贝。接口采用两段式设计（GetWorkspaceSize + 执行），并通过 DataFlowEntry 注册表按 NPU 架构匹配数据流、校验参数、执行业务逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2230](https://gitcode.com/cann/ops-math/issues/2230) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地验证GMM-MxA8W4，QBMM-MxA8W4 的历史用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增了conversion/weight_quant_preprocess/docs/aclnnWeightQuantPreprocess.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3832 | 3 months ago |
WeightQuantPreprocess
本目录仅包含WeightQuantPreprocess算子对应的aclnn接口；如您想要贡献该算子的AscendC实现，请参考贡献流程。