| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
dynamic_quant_v2算子新增pertensor量化模式的groupIndex支持 Co-authored-by: LiWeiJian16<liweijian16@huawei.com> # message auto-generated for no-merge-commit merge: !3976 merge dynamic_quant_moe_pertensor into master dynamic_quant_v2算子新增pertensor量化模式的groupIndex支持 Created-by: liweijian16 Commit-by: liweijian16;LiWeiJian16 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次PR扩展了动态量化算子对MoE（Mixture of Experts）模型场景的支持，核心解决了算子原有pertensor（按张量）量化模式无法处理分组索引（group_index）的问题。通过本次修改，动态量化算子能够正确支持MoE架构下按张量进行全局缩放因子计算的量化需求，从而满足更复杂模型的量化任务。 修改方案描述 修改方案分为框架层和内核实现层。在框架层，移除了输入校验中对pertensor模式不支持group_index的限制，并新增了TPL_MOE_PER_TENSOR_FULL_LOAD和TPL_MOE_PER_TENSOR_LARGE_SHAPE两种量化模式枚举，扩展了内核分发逻辑以支持新模式。在内核实现层，新增了两个针对MoE场景优化的高性能量化内核：DynamicQuantRegbaseMoeFullLoadPertensor和DynamicQuantMoeLargeShapePertensor。它们均采用向量化指令优化，支持分组平滑，通过分阶段计算全局缩放因子和偏移量，并最终完成数据量化输出，以高效处理不同数据规模的MoE模型。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2281 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - [x] 泛化用例 （500条） - [x] 网络用例 （92条） - [x] 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3976 | 4 个月前 | |
dynamicQuant性能优化 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !1107 merge dynamic_quant_improve into master dynamicQuant性能优化 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> dynamicQuant小shape场景由于算子头开销过大，性能存在可优化空间 增加新模板，优化小shape以及尾轴8倍数场景的性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联issue [#607](https://gitcode.com/cann/ops-nn/issues/607) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试结果  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1107 | 7 个月前 | |
fix dynamic_quant issue Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !4224 merge dynamic_quant_issue into master fix dynamic_quant issue Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 代码提升可维护性， dynamic_quant_base.h文件中，loopCnt 默认为0，不存在未初始化的动作。 代码可以去掉else{}判断，loopCnt为0的场景，后续计算均不会有问题 dynamic_quant.h文件中，调整offset拷出的逻辑代码顺序，消除冗余代码，提升代码可维护性 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#2077](https://gitcode.com/cann/ops-nn/issues/2077) [#2078](https://gitcode.com/cann/ops-nn/issues/2078) [#2294](https://gitcode.com/cann/ops-nn/issues/2294) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证用例2000条，pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述： 代码clean，提升可维护性 See merge request: cann/ops-nn!4224 | 4 个月前 | |
代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450 | 8 个月前 | |
fix dst type max in dynamciquant Co-authored-by: transformer910<tianye82@h-partners.com> # message auto-generated for no-merge-commit merge: !2607 merge br_0305quant into master fix dst type max in dynamciquant Created-by: transformer910 Commit-by: transformer910 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> HIFloat8量化场景下，dynamic_quant_v2将输入量化后的值域范围会接近hifloat8的边界值。由于hif8是动态精度，在边界值时表示的精度较低。如果输入的数据范围不大，支持新增 dst_type_max参数，将量化后的结果范围限制在精度较高的范围内。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> Issue [#1680](https://gitcode.com/cann/ops-nn/issues/1680) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> quant/dynamic_quant/docs/aclnnDynamicQuantV4.md quant/dynamic_quant_v2/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!2607 | 5 个月前 | |
fix dynamic_quant issue Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !4224 merge dynamic_quant_issue into master fix dynamic_quant issue Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 代码提升可维护性， dynamic_quant_base.h文件中，loopCnt 默认为0，不存在未初始化的动作。 代码可以去掉else{}判断，loopCnt为0的场景，后续计算均不会有问题 dynamic_quant.h文件中，调整offset拷出的逻辑代码顺序，消除冗余代码，提升代码可维护性 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#2077](https://gitcode.com/cann/ops-nn/issues/2077) [#2078](https://gitcode.com/cann/ops-nn/issues/2078) [#2294](https://gitcode.com/cann/ops-nn/issues/2294) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证用例2000条，pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述： 代码clean，提升可维护性 See merge request: cann/ops-nn!4224 | 4 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 7 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 7 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 7 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 7 个月前 | |
dynamicQuant性能优化 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !1107 merge dynamic_quant_improve into master dynamicQuant性能优化 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> dynamicQuant小shape场景由于算子头开销过大，性能存在可优化空间 增加新模板，优化小shape以及尾轴8倍数场景的性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联issue [#607](https://gitcode.com/cann/ops-nn/issues/607) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试结果  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1107 | 7 个月前 | |
ascend_quant、ascend_quant_v2、dynamic_quant 问题修复 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !864 merge compare_with_soc into master ascend_quant、ascend_quant_v2、dynamic_quant 问题修复 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!864 | 7 个月前 | |
fix dynamic quant copyout bug Co-authored-by: superxf<xufeng97@huawei.com> # message auto-generated for no-merge-commit merge: !1324 merge fix_d into master fix dynamic quant copyout bug Created-by: superxf Commit-by: superxf Merged-by: cann-robot Description: ## 描述 问题描述： dynamic quant算子在310p后端搬运输出时，如果是非对齐的场景，搬运尾块会按照固定的numCopyRow_搬运，导致踩踏后续内存。 解决方法： 将尾块搬运改成按实际大小搬运 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#700](https://gitcode.com/cann/ops-nn/issues/700) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1324 | 6 个月前 | |
修复dynamic_quant精度问题 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !3450 merge master_fix into master 修复dynamic_quant精度问题 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 dynamic_quant 在arch2002上跑特定shape(117,9216)时精度会失败，经定位问题为特定尾轴时，取scale值未增加初始偏移量，增加初始偏移量后精度pass <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 管理Issue #1883 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 全量精度测试总计1309条用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3450 | 5 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 4 个月前 | ||
| 7 个月前 | ||
| 4 个月前 | ||
| 8 个月前 | ||
| 5 个月前 | ||
| 4 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 6 个月前 | ||
| 5 个月前 |