Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.
moe_init_routing_v3算子fp8量化部分case性能较差，特别是针对numrows小，大hiddensize的case，性能远劣于quantmode=2/3的mxfp8量化
Ascend 950DT CANN9.1.0
同等shape下的case，fp8量化和mxfp8量化性能对比。 对于n小，h特别大的case，fp8的性能比mxfp8差四五倍以上
同等shape下的case，fp8量化和mxfp8量化性能对比，应该基本持平或者相差不大
/close
Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.
Describe the current behavior / 问题描述 (Mandatory / 必填)
moe_init_routing_v3算子fp8量化部分case性能较差，特别是针对numrows小，大hiddensize的case，性能远劣于quantmode=2/3的mxfp8量化
Environment / 环境信息 (Mandatory / 必填)
Ascend 950DT
CANN9.1.0
Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)
同等shape下的case，fp8量化和mxfp8量化性能对比。
对于n小，h特别大的case，fp8的性能比mxfp8差四五倍以上
Describe the expected behavior / 预期结果 (Mandatory / 必填)
同等shape下的case，fp8量化和mxfp8量化性能对比，应该基本持平或者相差不大
Related log / screenshot / 日志 / 截图 (Mandatory / 必填)
同等shape下的case，fp8量化和mxfp8量化性能对比，应该基本持平或者相差不大
Special notes for this issue/备注 (Optional / 选填)