| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
dynamic_quant_v2算子新增pertensor量化模式的groupIndex支持 Co-authored-by: LiWeiJian16<liweijian16@huawei.com> # message auto-generated for no-merge-commit merge: !3976 merge dynamic_quant_moe_pertensor into master dynamic_quant_v2算子新增pertensor量化模式的groupIndex支持 Created-by: liweijian16 Commit-by: liweijian16;LiWeiJian16 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次PR扩展了动态量化算子对MoE（Mixture of Experts）模型场景的支持，核心解决了算子原有pertensor（按张量）量化模式无法处理分组索引（group_index）的问题。通过本次修改，动态量化算子能够正确支持MoE架构下按张量进行全局缩放因子计算的量化需求，从而满足更复杂模型的量化任务。 修改方案描述 修改方案分为框架层和内核实现层。在框架层，移除了输入校验中对pertensor模式不支持group_index的限制，并新增了TPL_MOE_PER_TENSOR_FULL_LOAD和TPL_MOE_PER_TENSOR_LARGE_SHAPE两种量化模式枚举，扩展了内核分发逻辑以支持新模式。在内核实现层，新增了两个针对MoE场景优化的高性能量化内核：DynamicQuantRegbaseMoeFullLoadPertensor和DynamicQuantMoeLargeShapePertensor。它们均采用向量化指令优化，支持分组平滑，通过分阶段计算全局缩放因子和偏移量，并最终完成数据量化输出，以高效处理不同数据规模的MoE模型。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2281 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - [x] 泛化用例 （500条） - [x] 网络用例 （92条） - [x] 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3976 | 3 个月前 | |
dynamicQuant性能优化 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !1107 merge dynamic_quant_improve into master dynamicQuant性能优化 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> dynamicQuant小shape场景由于算子头开销过大，性能存在可优化空间 增加新模板，优化小shape以及尾轴8倍数场景的性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联issue [#607](https://gitcode.com/cann/ops-nn/issues/607) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试结果  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1107 | 6 个月前 | |
按实际计算的元素个数进行设置参与计算的元素个数，消除计算过程内存溢出检查告警 Co-authored-by: LetsAiGo<xinhuaqing@huawei.com> # message auto-generated for no-merge-commit merge: !4550 merge master into master 按实际计算的元素个数进行设置参与计算的元素个数，消除计算过程内存溢出检查告警 Created-by: LetsAiGo Commit-by: LetsAiGo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> Div(temp, constScale, temp, MAX_VALUE_NUM) 功能为计算量化缩放因子scale，其中 temp 为计算的Token最大值，constScale为常量值张量，MAX_VALUE_NUM为本地参与计算的元素个数。 由于temp中只有第1个元素为有效的最大值，其他值为非有效值，当设置参与计算元素个数为 MAX_VALUE_NUM时，在内存溢出告警检查时会报出告警，将参与运算的元素个设置为实际的个数1时，报警消除。所以将MAX_VALUE_NUM 修改为实际需要计算的元素个数1. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ X ] 其他，请描述： Div(temp, constScale, temp, MAX_VALUE_NUM) 功能为计算量化缩放因子scale，其中 temp 为计算的Token最大值，constScale为常量值张量，MAX_VALUE_NUM为本地参与计算的元素个数。 由于temp中只有第1个元素为有效的最大值，其他值为非有效值，当设置参与计算元素个数为 MAX_VALUE_NUM时，在内存溢出告警检查时会报出告警，将参与运算的元素个设置为实际的个数1时，报警消除。所以将MAX_VALUE_NUM 修改为实际需要计算的元素个数1. See merge request: cann/ops-nn!4550 | 2 个月前 | |
代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450 | 7 个月前 | |
fix dst type max in dynamciquant Co-authored-by: transformer910<tianye82@h-partners.com> # message auto-generated for no-merge-commit merge: !2607 merge br_0305quant into master fix dst type max in dynamciquant Created-by: transformer910 Commit-by: transformer910 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> HIFloat8量化场景下，dynamic_quant_v2将输入量化后的值域范围会接近hifloat8的边界值。由于hif8是动态精度，在边界值时表示的精度较低。如果输入的数据范围不大，支持新增 dst_type_max参数，将量化后的结果范围限制在精度较高的范围内。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> Issue [#1680](https://gitcode.com/cann/ops-nn/issues/1680) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> quant/dynamic_quant/docs/aclnnDynamicQuantV4.md quant/dynamic_quant_v2/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!2607 | 4 个月前 | |
修复dynamic_quant算子计算gm偏移量时，数据类型溢出的问题 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !5264 merge dynamic_quant_fix into master 修复dynamic_quant算子计算gm偏移量时，数据类型溢出的问题 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 算子计算偏移量使用的参数为uint32格式，当偏移量超过uint32最大值时会出现数据溢出的情况，影响算子精度，将计算偏移量的参数改成unit64格式 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#2871](https://gitcode.com/cann/ops-nn/issues/2871) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证偏移量超过uint32的用例，精度ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5264 | 2 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 6 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 6 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 6 个月前 | |
add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试 蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414 | 6 个月前 | |
dynamicQuant性能优化 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !1107 merge dynamic_quant_improve into master dynamicQuant性能优化 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> dynamicQuant小shape场景由于算子头开销过大，性能存在可优化空间 增加新模板，优化小shape以及尾轴8倍数场景的性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联issue [#607](https://gitcode.com/cann/ops-nn/issues/607) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试结果  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1107 | 6 个月前 | |
修复dynamic_quant算子数据溢出问题 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !5489 merge overflow_fix into master 修复dynamic_quant算子数据溢出问题 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 dynamic_quant算子计算gm偏移量计算时使用uint32，存在数据溢出风险，采用uint64和int64计算偏移量，避免数据溢出 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3029](https://gitcode.com/cann/ops-nn/issues/3029) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地验证pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5489 | 2 个月前 | |
fix dynamic quant copyout bug Co-authored-by: superxf<xufeng97@huawei.com> # message auto-generated for no-merge-commit merge: !1324 merge fix_d into master fix dynamic quant copyout bug Created-by: superxf Commit-by: superxf Merged-by: cann-robot Description: ## 描述 问题描述： dynamic quant算子在310p后端搬运输出时，如果是非对齐的场景，搬运尾块会按照固定的numCopyRow_搬运，导致踩踏后续内存。 解决方法： 将尾块搬运改成按实际大小搬运 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#700](https://gitcode.com/cann/ops-nn/issues/700) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1324 | 5 个月前 | |
修复dynamic_quant精度问题 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !3450 merge master_fix into master 修复dynamic_quant精度问题 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 dynamic_quant 在arch2002上跑特定shape(117,9216)时精度会失败，经定位问题为特定尾轴时，取scale值未增加初始偏移量，增加初始偏移量后精度pass <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 管理Issue #1883 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 全量精度测试总计1309条用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3450 | 4 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 3 个月前 | ||
| 6 个月前 | ||
| 2 个月前 | ||
| 7 个月前 | ||
| 4 个月前 | ||
| 2 个月前 | ||
| 6 个月前 | ||
| 6 个月前 | ||
| 6 个月前 | ||
| 6 个月前 | ||
| 6 个月前 | ||
| 2 个月前 | ||
| 5 个月前 | ||
| 4 个月前 |