性能评估结果

性能对比

Case Shape DType 自定义算子(us) 标杆(us) 加速比
0 [128, 4096] float16 9.75 10.10 1.036
1 [128, 5120] float16 10.52 9.39 0.893
2 [128, 6144] float16 10.99 14.36 1.307
3 [64, 6400] float16 9.13 9.49 1.040
4 [2, 1024, 4096] float16 57.01 84.92 1.490
5 [2, 1024, 6144] float16 73.80 139.56 1.891
6 [1, 2048, 6400] float16 75.60 143.09 1.893
7 [64, 4096] float32 8.45 7.14 0.846

全量汇总

指标
用例数 8
平均 加速比(>1 表示自定义算子更快) 1.299
自定义算子更优(比值>1) 6
标杆更优(比值<1) 2

按数据类型汇总

DType 用例数 平均 加速比 自定义算子更优 标杆更优
float16 7 1.364 6 1
float32 1 0.846 0 1

简短分析

  • 平均 加速比 大于 1,自定义算子整体略有优势。
  • 大 shape 下 aiv_vec_ratio 提升明显,向量路径利用更充分。
  • aiv_mte2_ratio 有占比,说明搬运/访存开销仍需关注。
  • float32 小 shape 场景自定义算子略逊于标杆,可能与 kernel launch 开销占比较高有关。