Closed
# MoE 算子 ST 用例选取文档 #4472
cpy_123456Add on  Aug 20Closed at  Aug 24
cpy_123456Collaborators
Aug 20 Create

MoE 算子 ST 用例选取文档

1. 选取原则

  • ACLNN 模式:每个算子选取约 20 个用例(ACLNN 调用开销较大,约 2s/用例)
  • Kernel 模式:每个算子选取约 30 个用例(Kernel 编译+执行较快,约 0.4s/用例)
  • 覆盖所有 dtype(float32/float16/bfloat16/int8/int32/int64)
  • 覆盖所有关键属性组合(dropPadMode/quantMode/normType/renorm 等)
  • 覆盖可选输入的组合(有/无 optional inputs)
  • 优先选取小 shape 用例(减少运行时间)
  • 排除已知精度边界用例(量化精度差异、bf16 reduction 差异等)
  • 排除依赖算子代码修改的用例(如 moe_token_unpermute_grad active 场景)
  • 总运行时间控制在 10 分钟以内

2. 选取结果

ACLNN 模式(12 个 CSV,150 个用例)

CSV 文件 算子目录 选取/全量 运行时间 PASS
test_aclnn_moe_gating_top_k_arch35.csv moe_gating_top_k 20/38 42s 20/20
test_aclnn_moe_gating_top_k_v2_arch35.csv moe_gating_top_k 20/32 46s 20/20
test_aclnn_moe_gating_top_k_softmax_v2_arch35.csv moe_gating_top_k_softmax_v2 20/232 47s 20/20
test_aclnn_moe_init_routing_arch35.csv moe_init_routing 10/10 36s 10/10
test_aclnn_moe_init_routing_v2_arch35.csv moe_init_routing_v2 20/27 57s 20/20
test_aclnn_moe_init_routing_v2_grad_arch35.csv moe_init_routing_v2_grad 20/116 51s 20/20
test_aclnn_moe_init_routing_quant_v2_arch35.csv moe_init_routing_quant_v2 15/34 48s 15/15
test_aclnn_moe_finalize_routing_v2_grad_arch35.csv moe_finalize_routing_v2_grad 11/94 30s 11/11
test_aclnn_moe_token_permute_arch35.csv moe_token_permute 4/4 19s 4/4
test_aclnn_moe_token_permute_grad_arch35.csv moe_token_permute_grad 4/4 18s 4/4
test_aclnn_moe_token_unpermute_arch35.csv moe_token_unpermute 2/2 15s 2/2
test_aclnn_moe_token_unpermute_grad_arch35.csv moe_token_unpermute_grad 4/4 19s 4/4

Kernel 模式(10 个 CSV,300 个用例)

CSV 文件 算子目录 选取/全量 运行时间 PASS
test_moe_gating_top_k_arch35.csv moe_gating_top_k 30/829 11s 30/30
test_moe_gating_top_k_softmax_v2_arch35.csv moe_gating_top_k_softmax_v2 30/832 13s 30/30
test_moe_init_routing_arch35.csv moe_init_routing 30/203 13s 30/30
test_moe_init_routing_v2_arch35.csv moe_init_routing_v2 30/200 13s 30/30
test_moe_init_routing_v2_grad_arch35.csv moe_init_routing_v2_grad 30/144 11s 30/30
test_moe_init_routing_quant_v2_arch35.csv moe_init_routing_quant_v2 30/190 13s 30/30
test_moe_finalize_routing_v2_arch35.csv moe_finalize_routing_v2 30/112 13s 30/30
test_moe_finalize_routing_v2_grad_arch35.csv moe_finalize_routing_v2_grad 30/198 13s 30/30
test_moe_compute_expert_tokens_arch35.csv moe_compute_expert_tokens 30/159 13s 30/30
test_moe_re_routing_arch35.csv moe_re_routing 30/578 11s 30/30

3. 验证汇总

指标 值
选取用例总数 450
全量用例总数 3726
PASS 450 (100%)
FAIL 0
ACLNN 运行时间 428s (7m08s)
Kernel 运行时间 124s (2m04s)
总运行时间 552s (9m12s)
平均每用例 1.23s

4. 排除用例说明

以下用例从选取集中排除,原因均为已知的精度边界或算子代码问题,非选取逻辑问题:

aclnn_moe_finalize_routing_v2_grad(排除 9 个)

  • 排除原因:dropPadMode=1 + scales=present 场景下,NPU kernel 的 CalcGradScaleVF 在 bf16 精度下使用 Vector Fetch + 二叉树累加计算 grad_scales,golden 用 float32 计算,两者精度不一致
  • 影响:grad_expanded_x 输出 100% 匹配,仅 grad_scales 存在精度差异
  • 性质:NPU 硬件 bf16 reduction 精度特性

aclnn_moe_init_routing_quant_v2(排除 5 个)

  • 排除原因:quantMode=0(静态量化)场景下,golden 做 fp16 → ×scale → +offset → round → clip → int8,NPU 量化路径使用不同中间精度,int8 结果差异 1-2 个 LSB
  • 性质:量化算子在不同精度路径下的固有差异

aclnn_moe_token_unpermute_grad(排除 1 个)

  • 排除用例:aclnnMoeTokenUnpermuteGrad_16_active_fp32
  • 排除原因:active 场景下 permuteTokens.dim0(10) < sortedIndices.dim0(16),原代码 activeNum = sortedIndices.dim0 导致 kernel 越界访问 permuteTokens[10..15]
  • 修复方案:需修改 aclnn_moe_token_unpermute_grad.cpp 中 activeNum 取 min(sortedIndices.dim0, permuteTokens.dim0),当前不修改 cpp 文件,排除该用例

5. 功能覆盖说明

moe_gating_top_k

  • norm_type:覆盖 0(softmax)/1(sigmoid)/2(sqrtsoftplus)
  • group_count:覆盖 1(无分组)/8(标准分组)/大值(多分组)
  • group_select_mode:覆盖 0(amax)/1(top2sum)
  • out_flag:覆盖 True/False
  • renorm:覆盖 0/1
  • dtype:覆盖 fp32/fp16/bf16

moe_gating_top_k_v2

  • normType:覆盖 1(sigmoid)
  • inputIdsOptional/tid2eidOptional:覆盖 有/无
  • dtype:覆盖 fp32/fp16/bf16

moe_gating_top_k_softmax_v2

  • renorm:覆盖 0(softmax后取topk)/1(topk后renorm)
  • finishedOptional:覆盖 有/无
  • dtype:覆盖 fp32/fp16/bf16

moe_init_routing

  • active_num:覆盖小值(1~5)/大值(100+)
  • dtype:覆盖 fp32/fp16/bf16

moe_init_routing_v2

  • drop_pad_mode:覆盖 0(dropless)/1(drop/pad)
  • expert_tokens_count_or_cumsum_flag:覆盖 0/1(cumsum)/2(count)
  • expert_tokens_before_capacity_flag:覆盖 True/False
  • dtype:覆盖 fp32/fp16/bf16

moe_init_routing_v2_grad

  • drop_pad_mode:覆盖 0/1
  • active_num:覆盖 0(full)/1(active)/大值
  • dtype:覆盖 fp32/fp16/bf16

moe_init_routing_quant_v2

  • drop_pad_mode:覆盖 0/1
  • quant_mode:覆盖 0(静态量化)/1(动态量化)
  • expert_tokens_count_or_cumsum_flag:覆盖 0/1/2
  • expert_tokens_before_capacity_flag:覆盖 True/False
  • dtype:覆盖 fp32/fp16/bf16

moe_finalize_routing_v2

  • drop_pad_mode:覆盖 0/2/3
  • zero/copy/constant_expert_range:覆盖各种 expert range 配置
  • optional inputs(x/a1/a2/v):覆盖 有/无
  • dtype:覆盖 fp32/fp16/bf16

moe_finalize_routing_v2_grad

  • drop_pad_mode:覆盖 0/1
  • active_num:覆盖 0/1/大值
  • scales:覆盖 有/无
  • dtype:覆盖 fp32/fp16/bf16

moe_compute_expert_tokens

  • num_experts:覆盖小值(8)/大值(800+)
  • dtype:int32

moe_re_routing

  • idx_type:覆盖 0/1
  • expert_token_num_type:覆盖 0/1
  • per_token_scales:覆盖 有/无
  • dtype:覆盖 fp32/fp16/bf16/int8/int32/int64

moe_token_permute

  • numOutTokens:覆盖 0(full)/10(active)/20(active)
  • paddedMode:False
  • dtype:覆盖 fp32/fp16

moe_token_permute_grad

  • numTopk:覆盖 8
  • paddedMode:False
  • dtype:覆盖 fp32/fp16

moe_token_unpermute

  • paddedMode:False
  • probsOptional:覆盖 有/无
  • dtype:覆盖 fp32/fp16

moe_token_unpermute_grad

  • paddedMode:False
  • probsOptional:覆盖 有/无
  • dtype:覆盖 fp32/fp16
likedislike
weihao18Collaborators
Aug 20 Comments:

/assign @cpy_123456

likedislike
CANN-robotCANN-robotCollaborators
Aug 20 Assign cpy_123456 as responsible person
CANN-robotCANN-robotCollaborators
Aug 24 Close issue
CANN-robotCANN-robotCollaborators
Aug 24 Added label: resolved