已关闭
[Requirement|需求建议]: A5 Support for TQuant 2D in DN format to MXFP8/MXFP4 #429
omarzohir创建于 6月18日关闭于 6月25日
6月18日 关联了pull request:A5: Adding support for TQuant DN 2D to MXFP8 for quantization part only
6月18日 关联了pull request:A5: Adding support for TQuant DN 2D to MXFP8 for quantization part only
6月18日 将 omarzohir 设为负责人
6月25日 关联了pull request:[A5 TQuant]: Adding support for 2D DN MXFP4 Quantization
6月25日 issue状态由 进行中 改变为 已完成
6月25日 关闭了 issue
6月25日 添加了label:resolved
7月2日 关联了pull request:[Quant A5]: Optimizing TMOV impl, cutting latency by 30-50%
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
应用场景
FA, for quantization from bf16/fp16/fp32 to MXFP8/MXFP4
期望支持的硬件
A5 and newer
期望支持的数据类型、Shape、布局等
input: BF16/fp16/fp32
output: MXFP8/MXFP4
layout: [M,N] where M and N are divisible by 64