Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
大模型推理中MX (Microscaling) 格式量化转换的核心算子,用于将 FP4 低精度数据结合E8M0缩放系数转换为FP8分块量化格式。 本次则是新增torch.ops.cann_ops_nn.mx_to_block_mx_quant接口。
PanGu
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
大模型推理中MX (Microscaling) 格式量化转换的核心算子,用于将 FP4 低精度数据结合E8M0缩放系数转换为FP8分块量化格式。
本次则是新增torch.ops.cann_ops_nn.mx_to_block_mx_quant接口。
Origin(信息来源)
PanGu
Benefit / Necessity (价值/作用)
Design(设计方案)