性能评估结果
性能对比
| Case | Shape | DType | 自定义算子(us) | 标杆(us) | 加速比 |
|---|---|---|---|---|---|
| 0 | [128, 4096] | float16 | 9.75 | 10.10 | 1.036 |
| 1 | [128, 5120] | float16 | 10.52 | 9.39 | 0.893 |
| 2 | [128, 6144] | float16 | 10.99 | 14.36 | 1.307 |
| 3 | [64, 6400] | float16 | 9.13 | 9.49 | 1.040 |
| 4 | [2, 1024, 4096] | float16 | 57.01 | 84.92 | 1.490 |
| 5 | [2, 1024, 6144] | float16 | 73.80 | 139.56 | 1.891 |
| 6 | [1, 2048, 6400] | float16 | 75.60 | 143.09 | 1.893 |
| 7 | [64, 4096] | float32 | 8.45 | 7.14 | 0.846 |
全量汇总
| 指标 | 值 |
|---|---|
| 用例数 | 8 |
| 平均 加速比(>1 表示自定义算子更快) | 1.299 |
| 自定义算子更优(比值>1) | 6 |
| 标杆更优(比值<1) | 2 |
按数据类型汇总
| DType | 用例数 | 平均 加速比 | 自定义算子更优 | 标杆更优 |
|---|---|---|---|---|
| float16 | 7 | 1.364 | 6 | 1 |
| float32 | 1 | 0.846 | 0 | 1 |
简短分析
- 平均 加速比 大于 1,自定义算子整体略有优势。
- 大 shape 下 aiv_vec_ratio 提升明显,向量路径利用更充分。
- aiv_mte2_ratio 有占比,说明搬运/访存开销仍需关注。
- float32 小 shape 场景自定义算子略逊于标杆,可能与 kernel launch 开销占比较高有关。