[Requirement|需求建议]: 新增swiglu_group_quant_with_dual_axis算子及对应单轴算子-ops-nn-AtomGit

已关闭

[Requirement|需求建议]: 新增swiglu_group_quant_with_dual_axis算子及对应单轴算子 #6090

liweijian16创建于 12 天前关闭于 10 天前

12 天前创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud（背景信息）

功能目标：
1、A5 支持 "clamp + swiglu +（可选逐 token 加权）+ MX 量化" 融合前向，按调用场景拆分为两个算子实体：训练走新增算子 swiglu_group_quant_with_dual_axis（双轴 MX FP8，两路输出）；推理复用既有算子 swiglu_group_quant（单轴 MX FP8），本次仅追加 alpha/bias 两个可选属性、低精度weight(bf16/fp16/fp32)。
2、轴由算子身份表达，quant_mode 仅表达量化算法（本期均为 MX FP8，双轴取值 quant_mode=1, 单轴选择 quant_mode=5)。