ops-transformer/attention/quant_flash_attn/tests/assets · azyuli/ops-transformer

Files	Last commit	Last update
impl	mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200	6 days ago
_xlsx_minireader.py	qfa ttk支持异常拦截 Co-authored-by: fengzixiao<fengzixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10607 merge master into master qfa ttk支持异常拦截 Created-by: fengzixiao Commit-by: fengzixiao Merged-by: cann-robot Description: ## 描述把 QFA 测试链路里原本以「attributes(keyword 常量/列表)」传递的 cu_seqlens/seqused 等参数,统一改造成「以 CSV tensor_view_shapes 的 15 个位置 tensor slot」传入 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4576 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!10607	2 months ago
excel_to_csv.py	mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200	6 days ago
generate_hifloat8_data.py	[QFA][HIFP8]: 支持 HIF8 per-tensor 量化模式 Co-authored-by: yang-zhipeng19<yangzhipeng19@huawei.com> # message auto-generated for no-merge-commit merge: !9573 merge feat/hif8-support into master [QFA][HIFP8]: 支持 HIF8 per-tensor 量化模式 Created-by: yang-zhipeng19 Commit-by: yang-zhipeng19 Merged-by: cann-robot Description: ## 描述 quant_flash_attn/quant_flash_attn_metadata接口是全量化FA专用接口本PR将fused_infer_attention_v2接口的HIF8全量化适配至quant_flash_attn和quant_flash_attn_metadata接口需先调用quant_flash_attn_metadata获取metadata信息，然后将其传入quant_flsah_attn接口，功能与fused_infer_attention_v2保持一致 ## 关联的Issue [关联Issue #4561](https://gitcode.com/cann/ops-transformer/issues/4561) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9573	2 months ago
quant_flash_attn_fp8_golden.py	[QFA][MXFP8]decode/prefill支持v_tail尾块高精窗口 Co-authored-by: yang-zhipeng19<yangzhipeng19@huawei.com> # message auto-generated for no-merge-commit merge: !13087 merge vtail-highprec-window into master [QFA][MXFP8]decode/prefill支持v_tail尾块高精窗口 Created-by: yang-zhipeng19 Commit-by: yang-zhipeng19 Merged-by: cann-robot Description: ## 特性: v_tail 尾块高精窗口 (quant_flash_attn 15输入 -> 18输入) ### op_api - aclnn 签名扩展 vTailOptional / blockTableTailOptional / sequsedKvTailOptional 三件套 - 新增 l0op 直调层 (quant_flash_attn.h/cpp) 与 aclnn inner 头 ### op_kernel - 模板加 hasVTail; 尾 task 强制 ND 范式 (cube 侧 IterateBmm1Nd 重装载 Q + vec 侧 ProcessVec1VfDnTailMxfp8 的 VF bf16 直出) - L1 KV 轮转扩为 BuffersPolicy4buff (主体 bf16/fp8 与尾块 bf16 共用, 新增 GetPre()) - vf 层新增 DN 尾 task NoUpdate/Update VF: 非量化 bf16 几何 + Mxfp8 状态机 (ln2 格点化 max / preLoop 三件套 / e8m0 pScale) + 尾窗 causal 掩码 ### op_host - tiling key 扩展 hasVTail 字段; vtail checker (KV 尾块 bf16 直存契约) See merge request: cann/ops-transformer!13087	1 month ago
quant_flash_attn_golden.py	mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200	6 days ago
quant_flash_attn_golden_npu.py	[QFA][MXFP8] layout support BNSD/BSND Co-authored-by: shen_weiling<shenweiling@huawei.com> # message auto-generated for no-merge-commit merge: !10890 merge dev_bnsd into master [QFA][MXFP8] layout support BNSD/BSND Created-by: shen_weiling Commit-by: shen_weiling Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> [QFA][MXFP8] layout support BNSD/BSND ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/6226 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> RDV已过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 已更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!10890	25 days ago
quant_flash_attn_hif8_golden.py	test(quant_flash_attn): 为 mxfp8/hif8 增加三方比对支持 Co-authored-by: yang-zhipeng19<yangzhipeng19@huawei.com> # message auto-generated for no-merge-commit merge: !14672 merge test/qfa-cross-check into master test(quant_flash_attn): 为 mxfp8/hif8 增加三方比对支持 Created-by: yang-zhipeng19 Commit-by: yang-zhipeng19 Merged-by: cann-robot Description: ## 描述为 quant_flash_attn 的 mxfp8 / hif8 测试增加三方比对（cross check）能力，TTK 与 Pytest 两套体系同步支持，判定口径统一。 - TTK：`assets/impl/compare.py` 的 `--compare cross_check` 改为复用 pytest 侧同一套判据（`precision_compare_v2.cross_check_compare`），并兼容 ml_dtypes 的 bf16/fp8 输入；配对前过滤 None / 空输出 - TTK：mxfp8 补 FP64 bench（FP64 累加、保留 P 的 FP8 量化）与分段量化参考 golden，hif8 补 FP64 bench；经 `impl/golden.py` 的 bench / sectioned_ref 缓存与 peek 机制传给 compare - TTK：未开 lse 时 golden 不再返回 None 占位（否则被判 SUPPRESSED 跳过插件 compare 钩子，回落到需 XPU 的原生 cross_check 导致 FAIL） - Pytest：mxfp8/hif8 统一使用 `use_fp64_golden` 开关（默认关闭），打开后打印 `[CROSS_CHECK]` 归因指标；pass/fail 仍由两方 `check_result`（FP32 golden vs NPU）决定，开关不改变判定结论 - 判据：`\|x-golden\| > atol + rtol\|golden\|` 的元素占比 ≤ max(2×参考超差率, 0.5%)，与两方门禁同一把尺；mare/mere/rmse、small_err 降级为归因指标。容差档按 NPU 输出 dtype 选取（bf16 → small_value=2^-8 / atol=2^-16） - 清理：移除已被上述模型取代的 `use_fp64_compare` 开关及其配套，删除无调用点的 `cpu_mxfp8_golden_fp64`（236 行） - TTK 用例生成：`pytest_paramset_to_csv.py` 补齐 BNSD/BSND/BN2SGD 的 Q/K/V 与 descale 形状，非 PA 的 layout_out 随输入布局，非 TND 不再传 cu_seqlens ## 关联的Issue #6930 ## 测试 - Pytest mxfp8 全量（两方）：470 passed / 7 skipped / 0 failed，耗时 2:56:10；7 例 skip 均为 master 既有的 `SKIP_CASES`（QS0/KVS0 空序列） - Pytest hif8 全量（两方）：100 passed / 0 failed，耗时 0:38:12 - Pytest mxfp8 三方：214 例（BNSD 104 / BSND 110，覆盖 PA/非 PA 与 BN2SGD）全部 PASS - TTK mxfp8 三方：同 214 例以 `--compare cross_check` 验证全部 PASS；与 pytest 侧判定逐例交叉比对，结论不一致 0 例 - Pytest hif8 三方：RDV 108 例（含 8 条历史最差/近零离群用例）108 passed，`[CROSS_CHECK]` 记录 152 条全部 PASS，special 域（NaN/Inf）全部一致 - TTK hif8 三方：新增 2 条用例（TND、D=128，带/不带 LSE）2/2 PASS - 口径敏感性抽样：以 FP64 bench 作门禁时 `PA_BNBD_VTAIL__D256` 类用例会误判（bench 在 v_tail 语义上存在偏差，NPU 与分段参考彼此一致），故 bench 仅作三方分母、不作门禁 ## 文档更新 - mxfp8 / hif8 的 README 补充三方口径、开关用法与容差档说明 ## 类型标签 - [x] 🧪 测试 See merge request: cann/ops-transformer!14672	15 days ago
quant_flash_attn_hifp4_golden.py	【QFA】A6 HiF4 测试框架回合 Co-authored-by: wangyijing<wangyijing12@huawei.com> Co-authored-by: gcw_y7jrbx71<liao28@huawei.com> # message auto-generated for no-merge-commit merge: !13918 merge master into master 【QFA】A6 HiF4 测试框架回合 Created-by: gcw_y7jrbx71 Commit-by: wangyijing;gcw_y7jrbx71 Merged-by: cann-robot Description: ## 描述 A6 HiF4 TTK测试框架回合主线，包括input、golden、npu_preprocess、compare四个模块的功能。 ## 关联的Issue 关联Issue [#6381](https://gitcode.com/cann/ops-transformer/issues/6381) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13918	25 days ago
spec.py	test(quant_flash_attn): 为 mxfp8/hif8 增加三方比对支持 Co-authored-by: yang-zhipeng19<yangzhipeng19@huawei.com> # message auto-generated for no-merge-commit merge: !14672 merge test/qfa-cross-check into master test(quant_flash_attn): 为 mxfp8/hif8 增加三方比对支持 Created-by: yang-zhipeng19 Commit-by: yang-zhipeng19 Merged-by: cann-robot Description: ## 描述为 quant_flash_attn 的 mxfp8 / hif8 测试增加三方比对（cross check）能力，TTK 与 Pytest 两套体系同步支持，判定口径统一。 - TTK：`assets/impl/compare.py` 的 `--compare cross_check` 改为复用 pytest 侧同一套判据（`precision_compare_v2.cross_check_compare`），并兼容 ml_dtypes 的 bf16/fp8 输入；配对前过滤 None / 空输出 - TTK：mxfp8 补 FP64 bench（FP64 累加、保留 P 的 FP8 量化）与分段量化参考 golden，hif8 补 FP64 bench；经 `impl/golden.py` 的 bench / sectioned_ref 缓存与 peek 机制传给 compare - TTK：未开 lse 时 golden 不再返回 None 占位（否则被判 SUPPRESSED 跳过插件 compare 钩子，回落到需 XPU 的原生 cross_check 导致 FAIL） - Pytest：mxfp8/hif8 统一使用 `use_fp64_golden` 开关（默认关闭），打开后打印 `[CROSS_CHECK]` 归因指标；pass/fail 仍由两方 `check_result`（FP32 golden vs NPU）决定，开关不改变判定结论 - 判据：`\|x-golden\| > atol + rtol\|golden\|` 的元素占比 ≤ max(2×参考超差率, 0.5%)，与两方门禁同一把尺；mare/mere/rmse、small_err 降级为归因指标。容差档按 NPU 输出 dtype 选取（bf16 → small_value=2^-8 / atol=2^-16） - 清理：移除已被上述模型取代的 `use_fp64_compare` 开关及其配套，删除无调用点的 `cpu_mxfp8_golden_fp64`（236 行） - TTK 用例生成：`pytest_paramset_to_csv.py` 补齐 BNSD/BSND/BN2SGD 的 Q/K/V 与 descale 形状，非 PA 的 layout_out 随输入布局，非 TND 不再传 cu_seqlens ## 关联的Issue #6930 ## 测试 - Pytest mxfp8 全量（两方）：470 passed / 7 skipped / 0 failed，耗时 2:56:10；7 例 skip 均为 master 既有的 `SKIP_CASES`（QS0/KVS0 空序列） - Pytest hif8 全量（两方）：100 passed / 0 failed，耗时 0:38:12 - Pytest mxfp8 三方：214 例（BNSD 104 / BSND 110，覆盖 PA/非 PA 与 BN2SGD）全部 PASS - TTK mxfp8 三方：同 214 例以 `--compare cross_check` 验证全部 PASS；与 pytest 侧判定逐例交叉比对，结论不一致 0 例 - Pytest hif8 三方：RDV 108 例（含 8 条历史最差/近零离群用例）108 passed，`[CROSS_CHECK]` 记录 152 条全部 PASS，special 域（NaN/Inf）全部一致 - TTK hif8 三方：新增 2 条用例（TND、D=128，带/不带 LSE）2/2 PASS - 口径敏感性抽样：以 FP64 bench 作门禁时 `PA_BNBD_VTAIL__D256` 类用例会误判（bench 在 v_tail 语义上存在偏差，NPU 与分段参考彼此一致），故 bench 仅作三方分母、不作门禁 ## 文档更新 - mxfp8 / hif8 的 README 补充三方口径、开关用法与容差档说明 ## 类型标签 - [x] 🧪 测试 See merge request: cann/ops-transformer!14672	15 days ago