| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
新增FlatQuant算子dst_type_max参数支持 Co-authored-by: fbbccc<fangbochen@huawei.com> # message auto-generated for no-merge-commit merge: !3707 merge FQ into master 新增FlatQuant算子dst_type_max参数支持 Created-by: fbbccc Commit-by: fbbccc Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 量化算子增加MaxValue输入,提升数据量化精度。增加MaxValue输入,作为数据格式的最大值,用来计算缩放因子,从而提升数据量化精度。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2279 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ttk、aclnn、torch、静态图 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新了aclnnFlatQuantV2.md文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!3707 | 3 个月前 | |
optimize performance for flatquant-mxfp4 with cmct template && support p2 is None Co-authored-by: z00949599<zhangyushan11@huawei.com> # message auto-generated for no-merge-commit merge: !3788 merge master into master optimize performance for flatquant-mxfp4 with cmct template && support p2 is None Created-by: yushan-kite Commit-by: yushan-kite;z00949599 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 改动的原因: 1.当前flatquant算子在mxfp4场景下的性能不达标,是因为两次matmul和mxquant之间都中转到全局内存。对流水进行优化,减少数据搬运。 2.有网络场景需要支持输入的右矩阵为空,需要实现。 采取的方法: 1.第一次matmul计算后把数据搬运到L1,接着开始第二次matmul计算。开启double bufferr流水并行,优化流水。将p1,p2左右矩阵输入全载,减少数据搬运量。 2.支持右矩阵为空,即只进行一次p1@x矩阵乘法,省略进行x@p2计算。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> 关联Issue #2041 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> TTK -c,-b;aclnnFuzz单算子,图模式 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新aclnnFlatQuant.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!3788 | 3 个月前 | |
新增FlatQuant算子dst_type_max参数支持 Co-authored-by: fbbccc<fangbochen@huawei.com> # message auto-generated for no-merge-commit merge: !3707 merge FQ into master 新增FlatQuant算子dst_type_max参数支持 Created-by: fbbccc Commit-by: fbbccc Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 量化算子增加MaxValue输入,提升数据量化精度。增加MaxValue输入,作为数据格式的最大值,用来计算缩放因子,从而提升数据量化精度。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2279 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ttk、aclnn、torch、静态图 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新了aclnnFlatQuantV2.md文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!3707 | 3 个月前 | |
新增FlatQuant算子dst_type_max参数支持 Co-authored-by: fbbccc<fangbochen@huawei.com> # message auto-generated for no-merge-commit merge: !3707 merge FQ into master 新增FlatQuant算子dst_type_max参数支持 Created-by: fbbccc Commit-by: fbbccc Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 量化算子增加MaxValue输入,提升数据量化精度。增加MaxValue输入,作为数据格式的最大值,用来计算缩放因子,从而提升数据量化精度。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2279 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ttk、aclnn、torch、静态图 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新了aclnnFlatQuantV2.md文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!3707 | 3 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 |