已关闭
[Requirement|需求建议]: A5 Support for TQuant 2D in DN format to MXFP8/MXFP4 #429
omarzohir创建于  6月18日关闭于  6月25日
omarzohir
omarzohir
6月18日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

应用场景

FA, for quantization from bf16/fp16/fp32 to MXFP8/MXFP4

期望支持的硬件

A5 and newer

期望支持的数据类型、Shape、布局等

input: BF16/fp16/fp32
output: MXFP8/MXFP4
layout: [M,N] where M and N are divisible by 64

likedislike
omarzohiromarzohir
6月18日 关联了pull request:A5: Adding support for TQuant DN 2D to MXFP8 for quantization part only
csjlchencsjlchen成员
6月18日 将 omarzohir 设为负责人
omarzohiromarzohir
6月25日 关联了pull request:[A5 TQuant]: Adding support for 2D DN MXFP4 Quantization
omarzohiromarzohir
6月25日 issue状态由 进行中 改变为 已完成
omarzohiromarzohir
6月25日 关闭了 issue
CANN-robotCANN-robot成员
6月25日 添加了label:resolved
omarzohiromarzohir
7月2日 关联了pull request:[Quant A5]: Optimizing TMOV impl, cutting latency by 30-50%