自定义算子
本手册描述自定义算子发布情况,PyTorch框架支持情况。
Note
下表中的“Released”代表商用版本已发布,“✅”代表支持,“❌”代表不支持。
表 1 自定义算子列表
| 类型 | 名称 | Released | PyTorch框架支持情况 |
|---|---|---|---|
| 通用场景 | npu_dropout_add_layer_norm | ✅ | ✅ |
| npu_rotary_position_embedding | ✅ | ✅ | |
| fusion_attention | ✅ | ✅ | |
| rms_norm | ✅ | ✅ | |
| swiglu | ✅ | ✅ | |
| npu_matmul_add_fp32 | ✅ | ✅ | |
| npu_groupmatmul_add_fp32 | ✅ | ✅ | |
| 长序列 | npu_ring_attention_update | ✅ | ✅ |
| 优化器 | npu_apply_fused_adamw_v2 | ✅ | ✅ |
| npu_apply_fused_ema_adamw | ❌ | ✅ | |
| 通算融合 | npu_mm_all_reduce_add_rms_norm | ✅ | ✅ |
| npu_mm_all_reduce_add_rms_norm_ | ✅ | ✅ | |
| npu_grouped_mat_mul_all_reduce | ✅ | ✅ | |
| lcal_coc | ❌ | ✅ | |
| npu_all_to_all_all_gather_bmm | ❌ | ✅ | |
| npu_bmm_reduce_scatter_all_to_all | ❌ | ✅ | |
| MoE | quant_gmm | ❌ | ✅ |
| ffn | ❌ | ✅ | |
| npu_gmm | ✅ | ✅ |