已关闭
[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul experimental 样例与测试 #283
Chen_HaoWen创建于 7月1日关闭于 17 天前
7月2日 将 Chen_HaoWen 设为负责人
7月21日 添加了label:requirement
7月21日 issue类型由 任务 改变为 需求
7月22日 修改标题为 “[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”,原标题为“【example74、75功能合入】支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”
7月22日 修改标题为 “[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”,原标题为“【example74、75功能合入】支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”
8月8日 修改了issue 的描述
8月8日 修改了issue 的描述
8月8日 修改了issue 的描述
8月8日 修改了issue 的描述
8月8日 修改了issue 的描述
8月17日 修改了issue 的描述
8月17日 修改了issue 的描述
8月17日 修改了issue 的描述
8月18日 修改了issue 的描述
20 天前 修改了issue 的描述
20 天前 修改了issue 的描述
CChen_HaoWen
20 天前 修改标题为 “[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul experimental 样例与测试”,原标题为“[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”
20 天前 修改标题为 “[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul experimental 样例与测试”,原标题为“[Requirement|需求建议]: 支持 Ascend950 FP4/FP8 epilogue 量化 Matmul 示例与测试”
20 天前 修改了issue 的描述
17 天前 关闭了 issue
17 天前 添加了label:resolved
背景
补齐 Ascend950 上 FP4/FP8 epilogue 量化 Matmul 的样例、CATLASS kernel 能力、optest 覆盖和 Python 调用入口。样例交付在
experimental/matmul/分类目录下;使用前按 README 将样例目录拷回examples/并注册 CMake 目标。交付范围
Ascend950 FP4 MX Quant Matmul
experimental/matmul/ascend950_fp4_mx_quant_matmul/。ascend950_fp4_mx_quant_matmul。test_85_ascend950_fp4_mx_quant_matmul.py。float4_e2m1x2_t,MX scale 为float8_e8m0_t,per-token/per-channel scale 为float8_e4m3_t,输出为 FP32;独立样例中的 MX scale 固定为 1.0,torch 接口支持分组 MX scale。torch_catlassAPI。Ascend950 FP8 E4M3 Quant Matmul
experimental/matmul/ascend950_fp8_e4m3_quant_matmul/。ascend950_fp8_e4m3_quant_matmul。test_86_ascend950_fp8_e4m3_quant_matmul.py。float8_e4m3_t,输出为 FP32,在 epilogue 阶段完成缩放。torch_catlassAPI。目录与编号约定
test_85_...py、test_86_...py文件名tests/optest/kernels/内的两个 JIT 目录85_ascend950_fp4_mx_quant_matmul、86_ascend950_fp8_e4m3_quant_matmulexamples/CMakeLists.txt不再默认注册这两个 experimental 样例,tests/test_example.py中对应的常规样例测试入口已移除。迁移后的 optest 执行命令见各样例 README;文档链接按 experimental 实际位置解析,生成数据及独立样例执行路径按拷回后的examples/<无编号名称>/解析。框架能力与修复
block_epilogue_per_token_dequant_fp8_regbase_l0c2ub.hpp、block_epilogue_per_token_dequant_fp8_regbase.hpp。验收标准
check_quant_result:abs(result - expected) <= (1 / 256) * max(abs(expected), 1),同时检查形状、FP32 输出及有限值。mixed_tolerance_bm: {}执行,每个算子不少于 200 个常规模型用例,无自定义精度阈值;每个算子 100 个不同形状×均匀/正态两种分布,范围 M≤4097、K≤2048、N≤4096。原各 100 例测试及其中 FP4 的逐位一致结果属于此前特定输入集的历史记录;当前 ATK 结论以各 200 例正式报告为准,不将旧输入集的 bit-exact 结果推广为全部场景保证。
当前验证结论
2e05d8bb0e1dcebb970df0320b38a4290289e75f,分支master_migrate,PR #791 保持一个 commit。ba2d303a的实测证据,本轮未重复执行。性能专项不涉及。2e05d8bb的 PR-pipeline_catlass #3418 全部启用任务通过,包含编译、静态检查和 ARM/IR/lit 测试。关联 Pull Request
Closes #283及合入后自动关闭配置。