已关闭
[Requirement|需求建议]: gmm swiglu quant算子支持mxA8W4单多单 #3388
zhangquanxin创建于  6月29日关闭于  6月30日
zhangquanxin
zhangquanxin成员
6月29日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

GroupedMatmulSwigluQuantWeightNzV2 算子此前在 MXA8W4(x=FLOAT8_E4M3FN, weight=FLOAT4_E2M1)场景下仅支持单 tensor weight(tensorList 长度=1,view shape 为 3D [E, N, K])。本次改动扩展支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。

Benefit / Necessity (价值/作用)

支持多 tensor weight 场景(tensorList 长度=E,每个 tensor 的 view shape 为 2D [N, K]),使多组专家权重可独立传入,无需在第 0 维堆叠。

Design(设计方案)

likedislike
zhangquanxinzhangquanxin成员
6月29日 添加了label:requirement
zhangquanxinzhangquanxin成员
6月29日 将 zhangquanxin 设为负责人
CANN-robotCANN-robot成员
6月30日 关闭了 issue
CANN-robotCANN-robot成员
6月30日 添加了label:resolved