Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
GroupedMatmulSwigluQuantWeightNzV2 算子此前在 MXA8W4(x=FLOAT8_E4M3FN, weight=FLOAT4_E2M1)场景下仅支持单 tensor weight(tensorList 长度=1,view shape 为 3D [E, N, K])。本次改动扩展支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。
支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
GroupedMatmulSwigluQuantWeightNzV2 算子此前在 MXA8W4(x=FLOAT8_E4M3FN, weight=FLOAT4_E2M1)场景下仅支持单 tensor weight(tensorList 长度=1,view shape 为 3D [E, N, K])。本次改动扩展支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。
Benefit / Necessity (价值/作用)
支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。
Design(设计方案)