| Files | Last commit | Last update |
|---|---|---|
perf(qfa): mxfp8 softmax fp16 性能优化 Co-authored-by: cardiac_index<wangjianhao12@huawei.com> # message auto-generated for no-merge-commit merge: !13542 merge master into master perf(qfa): mxfp8 softmax fp16 性能优化 Created-by: cardiac_index Commit-by: cardiac_index Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. op_api:aclnn 签名对齐主线 v_tail 三参数;exp 未实现该特性,非空显式报错拦截,全空等价为旧路径 2. metadata:ParamsInitMxfp8SoftmaxFp16 固定 mBaseSize_=s2BaseSize_=256,消除核间负载不均 3. kernel:K 单槽换 PV K=256 宽操作数、K/V 成对预取、P 搬运独立事件、UnitFlag 满块重叠、 VF FP16→FP8 四链双发射、V2 MulDstAdd 融合;golden 随数值语义同步适配 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> 关联Issue [#5923](https://gitcode.com/cann/ops-transformer/issues/5923) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地验证通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13542 | 1 month ago | |
feat(qfa): arch92 mxfp8 softmax fp16 优化与测试用例集 Co-authored-by: lijiaroad<lijialu16@huawei.com> # message auto-generated for no-merge-commit merge: !15273 merge feat/qfa-arch92-mxfp8-softmax-fp16 into master feat(qfa): arch92 mxfp8 softmax fp16 优化与测试用例集 Created-by: lijiaroad Commit-by: lijiaroad Merged-by: cann-robot Description: ## 背景 experimental/attention/quant_flash_attn 的 arch92 MxFP8 + softmax FP16 路径(quant_mode=3)缺少系统性的性能/功能用例集; kernel 侧 softmax 链路(P 生成、row_sum、LSE、V^T 搬运)存在可优化点。 ## 修改内容 ### 1) kernel 优化(op_kernel/arch92/,5 个文件) - P 与重缩放因子统一使用 FusedExpSub,ps(E8M0 修正因子)改为整数域 127+Δk - V1 在线累积 row_sum,LSE 由 V2 在末块写 - 尾段 V^T 整段清零后只搬 realK 行,避免 GM 越界读导致的散点 NaN - 注释统一描述当前状态(不含历史/修复存档表述) ### 2) 新增测试用例集(18 个文件) tests/pytest/qfa_mxfp8_softmax_fp16_test_arch92/ - 87 个用例:m8/m9 Batch Linear(B1~B128)、TP 分卡、GroupGQA(G1~G12)、HY3(KVS/QS Linear)、QWEN - golden:exp 全表查表、LSE 减 ln(pScale)、无效行 FLOAT_INF - 含 perf/debug/func 用例、参数集、perf 解析与 exp 表补丁 ## 验证 - 新增测试目录 Python 文件全部 py_compile 通过 - kernel 与测试已在本地环境(NPU)验证 - 基线目录 qfa_mxfp8_softmax_fp16_test 的用例集不做替换 - 提交内容与本地 master 628a634fd 逐字节一致,PR 仅 1 个 commit ## 关联 Issue #7102 Fixes #7102 See merge request: cann/ops-transformer!15273 | 11 days ago | |
feat(qfa): port quant_flash_attn mxfp8_softmax_fp16 to arch92 Co-authored-by: lijiaroad<lijialu16@huawei.com> # message auto-generated for no-merge-commit merge: !14074 merge feat/quant_flash_attn_arch92_mxfp8_fp16 into master feat(qfa): port quant_flash_attn mxfp8_softmax_fp16 to arch92 Created-by: lijiaroad Commit-by: lijiaroad Merged-by: cann-robot Description: ## 修改内容 新增arch92 MXFP8 FP16 低精场景支持 ## 测试 - [x] 精度验证通过 - [x] pre-commit 检查通过 Fixes #6304 See merge request: cann/ops-transformer!14074 | 27 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 11 days ago | ||
| 27 days ago |