自定义算子

本手册描述自定义算子发布情况,PyTorch框架支持情况。

Note

下表中的“Released”代表商用版本已发布,“✅”代表支持,“❌”代表不支持。

表 1 自定义算子列表

类型 名称 Released PyTorch框架支持情况
通用场景 npu_dropout_add_layer_norm
npu_rotary_position_embedding
fusion_attention
rms_norm
swiglu
npu_matmul_add_fp32
npu_groupmatmul_add_fp32
长序列npu_ring_attention_update
优化器npu_apply_fused_adamw_v2
npu_apply_fused_ema_adamw
通算融合npu_mm_all_reduce_add_rms_norm
npu_mm_all_reduce_add_rms_norm_
npu_grouped_mat_mul_all_reduce
lcal_coc
npu_all_to_all_all_gather_bmm
npu_bmm_reduce_scatter_all_to_all
MoEquant_gmm
ffn
npu_gmm