算子列表
说明:
算子目录:目录名为算子名小写下划线形式,每个目录承载该算子所有交付件,包括代码实现、examples、文档等,目录介绍参见项目目录。
算子执行硬件单元:大部分算子运行在AI Core,少部分算子运行在AI CPU。默认情况下,项目中提到的算子一般指AI Core算子。关于AI Core和AI CPU详细介绍参见《Ascend C算子开发》中“概念原理和术语 > 硬件架构与数据处理原理”。
算子接口列表:为方便调用算子,CANN提供一套C API执行算子,一般以aclnn为前缀,全量接口参见aclnn列表。
V版本演进说明:部分算子存在多个V版本,使用时选择最高V版本即可(高版本算子已兼容低版本算子的所有能力)。
项目提供的所有算子分类和算子列表如下:
| 算子分类 | 算子目录 | 算子实现 | aclnn调用 | 图模式调用 | 算子执行硬件单元 | 说明 | ||
|---|---|---|---|---|---|---|---|---|
| op_kernel | op_host | op_api | op_graph | |||||
| activation | celu | ✓ | ✓ | ✗ | ✓ | AI Core | 标准CeLU激活函数的昇腾硬件优化实现,用于网络非线性建模,保障训练稳定并提升运行效率。 | |
| activation | celu_v2 | ✗ | ✗ | ✓ | ✗ | AI Core | 正数直接输出,负数用平滑指数曲线输出。 | |
| activation | cla_gate_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 融合CLA两路head-wise gate加权与MX动态块量化,支持FP8/FP4单轴或双轴量化输出。 | |
| activation | cla_gate_backward | ✓ | ✓ | ✓ | ✗ | AI Core | 对应ClaGateQuant反向算子,不做梯度量化。 | |
| activation | clipped_swiglu | ✓ | ✓ | ✓ | ✓ | AI Core | 带截断的Swish门控线性单元激活函数,实现x的SwiGlu计算。本算子相较于SwiGlu算子,新增了部分输入参数:groupIndex、alpha、limit、bias、interleaved,用于支持GPT-OSS模型使用的变体SwiGlu以及MoE模型使用的分组场景。 | |
| activation | clipped_swiglu_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 带截断的Swish门控线性单元激活函数的反向算子,计算输入x的梯度gradXOut。 | |
| activation | confusion_softmax_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 融合算子,将mul、sum、sub三个算子进行融合。 | |
| activation | elu | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 对输入张量self中的每个元素x调用指数线性单元激活函数ELU,并将得到的结果存入输出张量out中。 | |
| activation | elu_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 对应Elu操作的反向传播梯度。 | |
| activation | elu_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 激活函数的反向计算,输出ELU激活函数正向输入的梯度。 | |
| activation | erfinv | ✓ | ✓ | ✓ | ✓ | AI Core | 高斯误差函数erf的反函数。 | |
| activation | fast_gelu | ✓ | ✓ | ✓ | ✓ | AI Core | 快速高斯误差线性单元激活函数。 | |
| activation | fast_gelu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | FastGelu反向传播。 | |
| activation | fast_gelu_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入特征做非线性激活,用裁剪+多项式近似替代原版GELU的复杂计算。 | |
| activation | fatrelu_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 将输入Tensor按照最后一个维度分为左右两个Tensor:x1和x2,对左边的x1进行Threshold计算,将计算结果与x2相乘。 | |
| activation | fused_bias_leaky_relu | ✓ | ✓ | ✗ | ✓ | AI Core | BiasAdd + LeakyReLU + Scale 三合一前向算子,对应MMCV FusedBiasLeakyReLU前向。 | |
| activation | fused_bias_leaky_relu_grad | ✓ | ✓ | ✗ | ✓ | AI Core | BiasAdd + LeakyReLU + Scale 三合一反向梯度算子,对应MMCV FusedBiasLeakyReLU反向。 | |
| activation | ge_glu_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成aclnnGeGlu和aclnnGeGluV3的反向。 | |
| activation | ge_glu_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 高斯误差线性单元激活门函数,针对aclnnGeGlu,扩充了设置激活函数操作数据块方向的功能。 | |
| activation | gelu | ✓ | ✓ | ✓ | ✓ | AI Core | 高斯误差线性单元激活函数。 | |
| activation | gelu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 激活函数的反向传播算子,用于计算Gelu激活函数的梯度。 | |
| activation | gelu_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | gelu_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 将输入Tensor按照最后一个维度分为左右两个Tensor:x1和x2,对左边的x1进行GELU计算,将计算结果与x2相乘。 | |
| activation | gelu_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 将GeluV2与DynamicQuant/AscendQuantV2进行融合,对输入的数据self进行GELU激活后,对激活的结果进行量化,输出量化后的结果。 | |
| activation | gelu_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | glu | ✓ | ✓ | ✓ | ✓ | AI Core | GLU是一个门控线性单元函数,它将输入张量沿着指定的维度dim平均分成两个张量,并将其前部分张量与后部分张量的Sigmoid函数输出的结果逐元素相乘。 | |
| activation | glu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成Glu的反向。 | |
| activation | hard_shrink | ✓ | ✓ | ✓ | ✓ | AI Core | 将输入张量中绝对值小于等于阈值lambd的元素置零,大于阈值的元素保持不变。 | |
| activation | hard_shrink_grad | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | hard_sigmoid | ✓ | ✓ | ✓ | ✓ | AI Core | 激活函数,对输入张量self逐元素进行HardSigmoid变换,输出与输入shape相同的张量。 | |
| activation | hard_sigmoid_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 对应Hardsigmoid操作的反向传播梯度。 | |
| activation | hard_swish | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | hard_swish_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 分段线性激活函数HardSwish的梯度函数贡献指南。 | |
| activation | hard_swish_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | aclnnHardswish的反向传播,完成张量self的梯度计算。 | |
| activation | hardtanh_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 激活函数aclnnHardtanh的反向。 | |
| activation | heaviside | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入input中每个元素的Heaviside阶跃函数,作为模型的激活函数。 | |
| activation | leaky_relu | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | leaky_relu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | logsigmoid | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | logsigmoid_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 对应logsigmoid操作的反向传播梯度。 | |
| activation | log_softmax_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | log_softmax_v2 | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | mish | ✓ | ✓ | ✓ | ✓ | AI Core | 一个自正则化的非单调神经网络激活函数。 | |
| activation | mish_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | p_relu | ✓ | ✓ | ✓ | ✗ | AI Core | 一种激活函数,当Tensor中value大于0,取该value,小于0时取权重与value的乘积。 | |
| activation | p_relu_grad_reduce | ✓ | ✓ | ✗ | ✗ | AI Core | 对应PRelu的反向传播梯度实现的vector计算部分。 | |
| activation | p_relu_grad_update | ✓ | ✓ | ✓ | ✓ | AI Core | 对应PRelu的反向传播梯度实现的reduce计算部分。 | |
| activation | relu | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | relu_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 对应Relu操作的反向传播梯度。 | |
| activation | relu_grad_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 对应ReluV2操作的反向传播梯度。 | |
| activation | relu_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 激活函数,返回与输入tensor shape相同的tensor,tensor中value大于等于0时,取该value,小于0,取0。 | |
| activation | relu6 | ✓ | ✓ | ✗ | ✓ | AI Core | ReLU6是受限版ReLU激活函数,将输出钳位在 [0, 6] 区间,具备数值稳定、抗溢出、适合量化与端侧推理的特点,广泛用于轻量级卷积神经网络。 | |
| activation | relu6_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 对应ReLU6操作的反向传播梯度,对前向输入落在开区间(0, 6)的位置透传上游梯度,落在区间外(含端点0与6)的位置输出0。 | |
| activation | relu6_d | ✓ | ✓ | ✗ | ✓ | AI Core | 带缩放系数的ReLU6激活函数,对输入逐元素计算 y = min(max(x, 0), 6*scale),将输出钳位在 [0, 6*scale] 区间;scale 默认 1.0 时等价于标准 ReLU6,适用于轻量级网络激活层与低精度量化场景。 | |
| activation | selu | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入Tensor逐元素计算SELU(Scaled Exponential Linear Unit)激活函数。 | |
| activation | selu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成SELU激活函数的反向梯度计算。给定上游梯度gradients和前向输出outputs,按元素计算输出梯度。 | |
| activation | shrink | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量进行非线性变换,根据输入值self与阈值lambd的关系,对输入通过偏移量bias进行缩放和偏移处理。 | |
| activation | sigmoid | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | sigmoid_grad | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | silu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | situ_glu | ✓ | ✓ | ✓ | ✓ | AI Core | SiTU门控线性单元激活函数,对输入张量沿指定维度切分为门控与上路径两半,按SiTU公式计算输出。 | |
| activation | situ_glu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | SiTU门控线性单元激活函数的反向梯度计算,根据上游梯度和前向输入计算输入梯度。 | |
| activation | situ_glu_group | ✓ | ✓ | ✓ | ✓ | AI Core | SiTU门控线性单元激活函数,对输入张量沿指定维度切分为门控与上路径两半,按SiTU公式计算输出,支持可选的逐行权重weight与分组索引group_index。 | |
| activation | softmax_cross_entropy_with_logits | ✓ | ✓ | ✓ | ✓ | AI Core | 计算softmax和cross entropy的交叉熵损失,并给出对输入logits的反向梯度。 | |
| activation | softmax_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成softmax的反向传播。 | |
| activation | softmax_v2 | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 对输入张量计算Softmax值。 | |
| activation | softplus | ✓ | ✓ | ✗ | ✓ | AI Core | 激活函数,用于将任意实数映射到正数区间。 | |
| activation | softplus_grad | ✓ | ✓ | ✓ | ✓ | AI Core | Softplus激活函数的反向传播算子,公式:backprops = gradients × sigmoid(features)。 | |
| activation | softplus_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | Softplus激活函数,当beta与x的乘积不超过threshold时输出(1/beta)×log(1+exp(beta×x)),否则直接输出x。 | |
| activation | softplus_v2_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成softplus的反向传播。 | |
| activation | softshrink | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入张量应用Softshrink激活函数。 | |
| activation | soft_shrink_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成SoftShrink激活函数的反向梯度计算。给定上游梯度和前向输入,按元素判断绝对值是否超过阈值lambd,超过则传递梯度,否则置零。 | |
| activation | softsign | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入张量应用Softsign激活函数:y = x / (1 + |x|),输出值域为(-1, 1)。 | |
| activation | softsign_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 完成Softsign激活函数的反向梯度计算。给定上游梯度gradients和前向输入特征features,按元素计算输出梯度。 | |
| activation | squared_relu | ✓ | ✓ | ✓ | ✓ | AI Core | SquaredRelu函数是一个基于标准Relu函数的变体,其主要特点是对Relu函数的输出进行平方,常作为模型的激活函数。 | |
| activation | swi_glu | ✓ | ✓ | ✓ | ✓ | AI Core | Swish门控线性单元激活函数,实现x的SwiGlu计算。 | |
| activation | swi_glu_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成aclnnSwiGlu的反向计算,完成x的SwiGlu反向梯度计算。 | |
| activation | swiglu_group | ✓ | ✓ | ✓ | ✓ | AI Core | 执行SwiGLU激活,实现输入x的SwigluGroup计算,输出与x相同数据类型的激活结果。 | |
| activation | swiglu_group_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成ClampedSwiglu激活函数的反向梯度计算,从上游梯度grad_y和前向输入x重算clamp mask与sigmoid,输出grad_x与可选grad_weight,支持MoE场景的group_index动态分组和weight权重梯度计算。 | |
| activation | swiglu_group_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 在SwiGlu激活函数后执行分组低比特量化,实现输入x的SwigluGroupQuant计算,支持FP8量化输出。 | |
| activation | swiglu_group_quant_with_dual_axis | ✓ | ✓ | ✓ | ✓ | AI Core | 融合ClippedSwiGLU与两个方向的MX量化,输出最后一轴和倒数第二轴的FP8结果及E8M0缩放因子。 | |
| activation | swiglu_group_quant_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 完成SwiGLU激活函数分组量化的反向梯度计算。用于计算输入x梯度和输入权重weight梯度。 | |
| activation | swiglu_backward_group_quant_with_dual_axis | ✓ | ✓ | ✓ | ✓ | AI Core | 融合带Clamp和weight的SwiGLU反向计算与双轴MX量化,支持FP16/BF16输入、FP16/BF16/FP32 weight和FP8 E4M3FN/E5M2输出,仅支持Ascend 950。 | |
| activation | swish | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| activation | swish_grad | ✓ | ✓ | ✓ | ✓ | AI Core | Swish激活函数的反向传播,用于计算Swish激活函数的梯度。 | |
| activation | threshold | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入x进行阈值操作。当x中的elements大于threshold时,返回 1;否则,返回 0。 | |
| activation | threshold_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入x进行阈值操作。当x中的elements大于threshold时,返回elements;否则,返回value。 | |
| activation | threshold_grad_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 完成threshold正向的反向计算:out = (features > threshold) ? gradients : 0;threshold为输入tensor,与其他输入broadcast。 | |
| activation | threshold_grad_v2_d | ✓ | ✓ | ✓ | ✗ | AI Core | 完成threshold正向的反向计算:out = (self > threshold) ? gradOutput : 0;threshold==0时等价ReluGrad。 | |
| control | assert | ✗ | ✓ | ✓ | ✓ | AI CPU | 断言给定条件为true,如果输入张量input_condition判定为false,则打印input_data中的张量列表。 | |
| control | assert_async | ✓ | ✓ | ✓ | ✗ | AI Core | 断言单元素条件张量非0,为0时打印消息并触发算子失败,语义对齐PyTorch的torch._assert_async。 | |
| control | npu_get_float_status | ✓ | ✓ | ✗ | ✓ | AI Core | 读取NPU硬件浮点溢出状态寄存器,输出固定全零的Tensor。 | |
| control | sleep | ✓ | ✓ | ✓ | ✓ | AI Core | 让NPU设备休眠指定的时钟周期数,通过忙等待实现精确的延时控制,语义与CUDA的torch.cuda._sleep一致。 | |
| control | npu_alloc_float_status | ✓ | ✓ | ✗ | ✓ | AI Core | 分配8个float32零值的Tensor,用于NPU溢出状态检测。 | |
| control | npu_clear_float_status | √ | × | × | √ | √ | AI Core | 清除NPU浮点溢出状态寄存器,输出固定8个float32零值。 |
| control | update_tensor_desc | ✓ | ✓ | ✗ | ✓ | AI Core | 更新输出Tensor的描述信息(tensor_desc):将目标维度个数及各维大小写入128×int64描述缓冲区的固定槽位,其余槽位保留原值,用于动态shape场景下的TensorDesc更新。 | |
| conv | conv3d_backprop_filter_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算三维卷积核权重张量w的梯度 ∂L/∂w。 | |
| conv | conv3d_backprop_input_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算三维卷积正向的输入张量x对损失函数L的梯度 ∂L/∂x。 | |
| conv | conv3d_transpose_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算三维卷积的转置(反卷积)相对于输入的梯度。 | |
| conv | conv3d_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 实现3D卷积功能。 | |
| conv | conv2d_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | 实现2D卷积功能。 | |
| conv | conv3d | ✓ | ✓ | ✓ | ✓ | AI Core | 实现3D卷积rt1.0功能。 | |
| conv | conv2d | ✓ | ✓ | ✓ | ✗ | AI Core | 实现2D卷积rt1.0功能。 | |
| conv | convolution_backward | ✓ | ✓ | ✓ | ✗ | AI Core | 卷积的反向传播。根据输出掩码设置计算输入、权重和偏差的梯度。此函数支持1D、2D和3D卷积。 | |
| conv | convolution_forward | ✓ | ✓ | ✓ | ✗ | AI Core | 实现卷积功能,支持1D卷积、2D卷积、3D卷积,同时支持转置卷积、空洞卷积、分组卷积。 | |
| conv | deformable_conv2d | ✓ | ✓ | ✓ | ✗ | AI Core | 实现卷积功能,支持2D卷积,同时支持可变形卷积、分组卷积。 | |
| conv | deformable_offsets | ✓ | ✓ | ✓ | ✓ | AI Core | 用于计算变形卷积(Deformable Convolution)输出的函数。通过引入偏移参数offsets,使得卷积核在输入特征图上的位置可以动态调整,从而适配不规则的几何变化。 | |
| conv | deformable_offsets_grad | ✓ | ✓ | ✓ | ✓ | AI Core | DeformableOffsets算子的目的是根据offsets( kernel采样点的偏移值)来收集用于卷积的特征采样点,并对其进行重组,方便Conv2d算子进行卷积计算。而DeformableOffsetsGrad即为这一过程的反向。 | |
| conv | depthwise_conv2d | ✗ | ✓ | ✓ | ✓ | AI Core | 实现2D深度卷积功能,每个输入通道独立卷积,等价于groups为通道数的Conv2D,经融合pass替换为Conv2D执行。 | |
| foreach | foreach_abs | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量执行逐元素绝对值运算。 | |
| foreach | foreach_acos | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量执行逐元素反余弦运算。 | |
| foreach | foreach_a_cos_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量逐元素求反余弦,结果原地更新。 | |
| foreach | foreach_add_list | ✓ | ✓ | ✓ | ✓ | AI Core | 两个Tensor列表中的元素逐个相加,并可以通过alpha参数调整相加系数。 | |
| foreach | foreach_add_list_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表逐元素计算x1+alpha*x2,结果原地写回第一个列表。 | |
| foreach | foreach_add_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 将指定的张量值加到张量列表中的每个张量中。 | |
| foreach | foreach_add_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 输入张量列表和输入标量列表执行逐元素相加运算。 | |
| foreach | foreach_addcdiv_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对多个张量进行逐元素加、乘、除操作,x2_i和x3_i进行逐元素相除,并将结果乘以scalars,再与x1_i相加。 | |
| foreach | foreach_addcdiv_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对多个张量进行逐元素加、乘、除操作,x2_i和x3_i进行逐元素相除,并将结果乘以scalar,再与x1_i相加。 | |
| foreach | foreach_addcdiv_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对多个张量进行逐元素加、乘、除操作,x2_i和x3_i进行逐元素相除,并将结果乘以scalars_i,再与x1_i相加。 | |
| foreach | foreach_addcmul_list | ✓ | ✓ | ✓ | ✓ | AI Core | 先对张量列表x2和张量列表x3执行逐元素乘法,并将结果乘以张量scalars,最后将之前计算的结果与张量列表x1执行逐元素相加。 | |
| foreach | foreach_addcmul_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 先对张量列表x2和张量列表x3执行逐元素乘法,再乘以张量scalar,最后将之前计算的结果与张量列表x1执行逐元素相加。 | |
| foreach | foreach_addcmul_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 先对张量列表x2和张量列表x3执行逐元素乘法,再与张量scalars进行逐元素乘法,最后将之前计算的结果与张量列表x1执行逐元素相加。 | |
| foreach | foreach_asin | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素进行反正弦函数运算。 | |
| foreach | foreach_atan | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素进行反正切函数运算。 | |
| foreach | foreach_binary_op | ✓ | ✓ | ✗ | ✓ | AI Core | 对两个Tensor列表逐Tensor、逐元素做二元运算,运算类型由属性op_code选择,将多种二元foreach运算统一为一个算子,便于图融合。 | |
| foreach | foreach_copy | ✓ | ✓ | ✓ | ✓ | AI Core | 用于实现两个张量列表内容的复制。 | |
| foreach | foreach_cos | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素进行余弦函数运算。 | |
| foreach | foreach_cosh | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素进行双曲余弦函数运算。 | |
| foreach | foreach_div_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x1和张量列表x2执行逐元素除法。 | |
| foreach | foreach_div_list_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表逐元素相除,结果原地写回第一个列表。 | |
| foreach | foreach_div_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 计算张量列表x除以张量scalar。 | |
| foreach | foreach_div_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x和标量列表scalars执行逐元素除法。 | |
| foreach | foreach_erf | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素进行误差函数运算(也称之为高斯误差函数,error function or Gaussian error function)。 | |
| foreach | foreach_erfc | ✓ | ✓ | ✓ | ✓ | AI Core | 按元素执行从x到无穷大积分的互补误差函数运算。 | |
| foreach | foreach_exp | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行指数运算。 | |
| foreach | foreach_expm1 | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量执行指数运算,然后将得到的结果减1。 | |
| foreach | foreach_lerp_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表对应位置元素执行插值计算,其中张量列表weight是插值系数。 | |
| foreach | foreach_lerp_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表对应位置元素执行插值计算,其中标量weight是插值系数。 | |
| foreach | foreach_log | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表执行逐元素自然对数运算(ln(x))。 | |
| foreach | foreach_log_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量逐元素求自然对数,结果原地更新。 | |
| foreach | foreach_log10 | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表中的每一个元素执行以10为底的对数函数运算。 | |
| foreach | foreach_log1p | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表中的每一个元素执行先加一再以e为底的对数函数运算。 | |
| foreach | foreach_log2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表中的每一个元素执行以2为底的对数函数运算。 | |
| foreach | foreach_maximum_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最大值。 | |
| foreach | foreach_maximum_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表和张量scalar执行逐元素比较,计算每个元素对应的最大值。 | |
| foreach | foreach_maximum_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最大值。 | |
| foreach | foreach_minimum_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最小值。 | |
| foreach | foreach_minimum_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x和张量scalar执行逐元素比较,计算每个元素对应的最小值。 | |
| foreach | foreach_minimum_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最小值。 | |
| foreach | foreach_mul_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个输入张量列表执行逐元素相乘。 | |
| foreach | foreach_mul_list_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表逐元素相乘,结果原地写回第一个列表。 | |
| foreach | foreach_mul_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量与张量scalar执行相乘运算。 | |
| foreach | foreach_mul_scalar_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量逐元素乘以同一标量,结果原地更新。 | |
| foreach | foreach_mul_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表与标量列表执行逐元素相乘运算。 | |
| foreach | foreach_neg | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入张量列表中每个张量的相反数。 | |
| foreach | foreach_non_finite_check_and_unscale | ✓ | ✓ | ✓ | ✓ | AI Core | 遍历scaledGrads中的所有Tensor,检查是否存在Inf或NaN,如果存在则将foundInf设置为1.0,否则foundInf的值保持不变,并对scaledGrads中的所有Tensor进行反缩放。 | |
| foreach | foreach_norm | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行范数运算。 | |
| foreach | foreach_pow_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行幂运算(底数为x1,指数为x2)。 | |
| foreach | foreach_pow_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行n次方运算。 | |
| foreach | foreach_pow_scalar_and_tensor | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表x中的每个张量进行指数运算,底数为输入的标量scalar。 | |
| foreach | foreach_pow_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表x中的每个张量进行指数运算,指数为标量列表exponent中对应的标量。 | |
| foreach | foreach_reciprocal | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行倒数运算。 | |
| foreach | foreach_round_off_number | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量执行指定精度的四舍五入运算,可通过roundMode指定舍入方式。 | |
| foreach | foreach_sigmoid | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行Sigmoid函数运算。 | |
| foreach | foreach_sign | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入张量列表中每个张量的符号值。 | |
| foreach | foreach_sin | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行正弦函数运算。 | |
| foreach | foreach_sinh | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行双曲正弦函数运算。 | |
| foreach | foreach_sqrt | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行平方根运算。 | |
| foreach | foreach_sub_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入的两个张量列表执行逐元素相减运算,并可以通过alpha参数调整相减系数。 | |
| foreach | foreach_sub_list_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对两个张量列表逐元素计算x1-alpha*x2,结果原地写回第一个列表。 | |
| foreach | foreach_sub_scalar | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量与张量scalar执行相减运算。 | |
| foreach | foreach_sub_scalar_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表中的每个张量逐元素减去同一标量,结果原地更新。 | |
| foreach | foreach_sub_scalar_list | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量与标量列表scalars的每个标量逐元素执行相减运算。 | |
| foreach | foreach_tan | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行正切函数运算。 | |
| foreach | foreach_tanh | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量列表的每个张量进行双曲正切函数运算。 | |
| foreach | foreach_zero_inplace | ✓ | ✓ | ✓ | ✓ | AI Core | 原地更新输入张量列表,输入张量列表的每个张量置为0。 | |
| index | add_row_ranges | ✓ | ✓ | ✗ | ✓ | AI Core | 对矩阵x的每一行r,将矩阵src中由indices指定行范围的按列求和结果累加到x对应行上。 | |
| index | apply_top_k_top_p_with_sorted | ✓ | ✓ | ✓ | ✗ | AI Core | 对原始输入logits进行top-k和top-p采样过滤。 | |
| index | broadcast_gradient_args | ✓ | ✓ | ✗ | ✓ | AI Core | 接收两个输入shape,并输出两个整数向量,通过广播机制,分别得出两个输入shape在梯度计算时需要在哪些维度上进行聚合。 | |
| index | bucketize | ✓ | ✗ | ✗ | ✓ | AI CPU | 根据属性boundaries为输入张量中的每个元素计算所属区间下标。 | |
| index | sparse_fill_empty_rows | ✓ | ✗ | ✗ | ✓ | AI CPU | 对稀疏张量的空行补充默认值,并输出空行标记和原始元素到输出位置的映射。 | |
| index | bucketize_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 用于将张量中的值按照给定的边界进行离散化,根据给定的边界将输入张量中的每个值映射到对应的分箱区间,并返回该值所属区间索引。 | |
| index | data_format_dim_map | ✓ | ✓ | ✗ | ✓ | AI Core | 根据源数据格式和目标数据格式的维度映射关系,将输入的维度索引转换为目标格式下的对应维度索引。 | |
| index | embedding | ✓ | ✓ | ✓ | ✓ | AI Core | 把数据集合映射到向量空间,进而将数据进行量化。embedding的二维权重张量为weight(m+1行,n列),对于任意输入索引张量indices(如1行3列),输出out是一个3行n列的张量。 | |
| index | embedding_bag | ✓ | ✓ | ✓ | ✓ | AI Core | 根据indices从weight中获得一组被聚合的数,然后根据offsets的偏移和mode指定的聚合模式对获取的数进行max、sum、mean聚合。其余参数则更细化了计算过程的控制。 | |
| index | embedding_dense_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 实现Embedding的反向计算,将相同索引indices对应grad的一行累加到out上。 | |
| index | embedding_dense_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 实现Embedding的反向计算,将相同索引indices对应grad的一行累加到out上。 | |
| index | expand_into_jagged_permute | ✓ | ✓ | ✓ | ✗ | AI Core | 将稀疏数据置换索引从表维度扩展到批次维度,适用于稀疏特征在不同rank中具有不同批次大小的情况。 | |
| index | gather_elements | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | gather_elements_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | 对输入tensor中指定的维度dim进行数据聚集。 | |
| index | gather_nd | ✓ | ✓ | ✓ | ✓ | AI Core | 对于输入张量self和输入张量indices,将数据切片收集到输出张量out中。 | |
| index | gather_v2 | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | index | ✓ | ✓ | ✓ | ✓ | AI Core | 根据索引indices将输入x对应坐标的数据取出。 | |
| index | index_fill | ✓ | ✓ | ✓ | ✓ | AI Core | 沿输入x的给定轴dim,将indices指定位置的值使用value进行非原地填充替换。 | |
| index | index_fill | ✓ | ✓ | ✓ | ✓ | AI Core | 在输入Tensor副本上指定维度dim,根据index填写特定的数value。 | |
| index | index_check | ✓ | ✓ | ✗ | ✗ | AI Core | 检查索引是否越界。 | |
| index | index_fill_d | ✓ | ✓ | ✓ | ✓ | AI Core | 沿输入self的给定轴dim,将index指定位置的值使用value进行替换。 | |
| index | index_put_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 根据索引indices将输入self对应坐标的数据与输入values进行替换或累加。 | |
| index | index_put_with_sort | ✓ | ✓ | ✗ | ✗ | AI Core | 执行scatter操作,根据pos_idx的值循环对应的values,累加/替换到linear_index指向的self的位置。 | |
| index | index_put_with_sort_v2 | ✓ | ✓ | ✗ | ✗ | AI Core | 执行scatter操作,根据pos_idx的值循环对应的values,累加/替换到linear_index指向的self的位置。 | |
| index | index_to_addr | ✓ | ✓ | ✗ | ✓ | AI CPU | 根据块索引、原始矩阵shape、块shape和基地址信息,生成块内每一行对应的地址表。 | |
| index | inplace_add | ✓ | ✓ | ✗ | ✓ | AI Core | 根据indices指定的第0维位置,将v中的值加到x对应切片上并输出更新后的张量。 | |
| index | inplace_index_add_with_sorted | ✓ | ✓ | ✗ | ✗ | AI Core | 将alpha和value相乘,并按照sorted_indices中的顺序,累加到var张量的指定axis维度中。 | |
| index | inplace_index_fill | ✓ | ✓ | ✗ | ✓ | AI Core | 在输入Tensor的指定维度dim,根据index填写特定的数value。 | |
| index | inplace_scatter_add | ✓ | ✓ | ✓ | ✗ | AI Core | 根据给定的indices,将updates中的值加到输入张量var的第一维度上。 | |
| index | inplace_sub | ✓ | ✓ | ✗ | ✓ | AI Core | 根据indices指定的第0维位置,将v中的值从x对应切片中减去并输出更新后的张量。 | |
| index | inplace_update | ✓ | ✓ | ✗ | ✓ | AI Core | 根据indices将 updates 中的值更新到 x 中,实现原地更新操作。 | |
| index | kth_value | ✓ | ✓ | ✓ | ✗ | AI Core | 返回输入张量在指定维度上的第k个最小值及其在原输入中的索引。 | |
| index | linear_index | ✓ | ✓ | ✗ | ✗ | AI Core | 将多维数组 / 矩阵的元素位置映射为单一整数的索引方式。 | |
| index | linear_index_v2 | ✓ | ✓ | ✗ | ✗ | AI Core | 将多维数组 / 矩阵的元素位置映射为单一整数的索引方式。 | |
| index | map_index | ✓ | ✓ | ✗ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | masked_scatter | ✓ | ✓ | ✓ | ✓ | AI Core | 根据掩码(mask)张量中元素为True的位置,复制(source)中的元素到(selfRef)对应的位置上。 | |
| index | masked_scatter_with_position | ✓ | ✓ | ✗ | ✓ | AI Core | 根据掩码(mask)张量进行模拟广播到x的shape,mask中为True位置,复制对应(updates)到输入(x)对应位置。其中position为mask广播前的前缀和张量。 | |
| index | matrix_inverse | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | median | ✓ | ✓ | ✓ | ✗ | AI Core | 返回输入张量在指定维度上的中位数及其索引,元素个数为偶数时取两个中间值中较小的值。 | |
| index | nan_median | ✓ | ✓ | ✓ | ✗ | AI Core | 忽略NaN,返回输入张量在指定维度上的中位数及其索引;全为NaN时返回NaN。 | |
| index | non_zero | ✓ | ✓ | ✓ | ✓ | AI Core | 找出`self`中非零元素的位置,设self的维度为D,self中非零元素的个数为N,则返回`out`的shape为N * D,每一列表示一个非零元素的位置坐标。 | |
| index | non_zero_with_value | ✓ | ✓ | ✓ | ✓ | AI Core | 找出2D输入x中的非零元素,静态max-size一次返回非零元素的值value、坐标index(坐标主序[2, numel],前半段行号/后半段列号)和个数count,有效长度由count给出。 | |
| index | non_zero_with_value_shape | ✓ | ✓ | ✗ | ✓ | AI CPU | 根据`NonZeroWithValue`的`count`输入更新`value`和`index`输出shape。 | |
| index | non_zero_with_value_shape_v2 | ✓ | ✓ | ✗ | ✓ | AI CPU | 根据`NonZeroWithValue`的`count`输入更新`value`和`index`输出shape,并校验`index`和`count`为INT32。 | |
| index | quant_update_scatter | ✓ | ✓ | ✓ | ✓ | AI Core | 先将updates在quantAxis轴上进行量化:quantScales对updates做缩放操作,quantZeroPoints做偏移。然后将量化后的updates中的值按指定的轴axis,根据索引张量indices逐个更新selfRef中对应位置的值。 | |
| index | repeat_interleave | ✓ | ✓ | ✓ | ✓ | AI Core | 将tensor self进行flatten后,重复Tensor repeats中的相应次数。 | |
| index | repeat_interleave_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 算子RepeatInterleave的反向,将y_grad tensor的axis维度按repeats进行ReduceSum。 | |
| index | reverse_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | arg_max_grad | ✓ | ✓ | ✗ | ✓ | AI Core | ArgMax的反向:沿指定轴把updates写入indices指定的位置,其余位置保留var的原值。 | |
| index | scatter | ✓ | ✓ | ✓ | ✓ | AI Core | 将tensor updates中的值按指定的轴axis和索引indices逐个更新tensor data中的值。 | |
| index | scatter_add | ✓ | ✓ | ✓ | ✓ | AI Core | 将tensor src中的值按指定的轴和方向以及对应的位置关系逐个替换/累加/累乘至tensor self中。 | |
| index | scatter_add_with_sorted | ✓ | ✓ | ✗ | ✗ | AI Core | 将tensor src中的值按指定的轴和方向和对应的位置关系逐个替换/累加/累乘至tensor self中。 | |
| index | scatter_div | ✓ | ✓ | ✓ | ✓ | AI Core | 实现兼容tf.scatter_div的功能,按索引将updates逐切片除到var上。 | |
| index | scatter_elements | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | scatter_elements_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 将tensor src中的值按指定的轴和方向以及对应的位置关系逐个替换/累加/累乘至tensor self中。 | |
| index | scatter_list | ✓ | ✓ | ✓ | ✓ | AI Core | 将稀疏矩阵更新应用到变量引用中。 | |
| index | scatter_max | ✓ | ✓ | ✓ | ✓ | AI Core | 实现兼容tf.scatter_max的功能,按索引将var与updates逐切片取最大值。 | |
| index | scatter_max_with_argmax | ✓ | ✓ | ✗ | ✓ | AI Core | 沿第0维执行scatter max操作,同时记录每个位置最大值来自哪个update(argmax 索引)。 | |
| index | scatter_min | ✓ | ✓ | ✓ | ✓ | AI Core | 实现兼容tf.scatter_min的功能,按索引将var与updates逐切片取最小值。 | |
| index | scatter_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 实现兼容tf.scatter_mul的功能,按索引将updates逐切片乘到var上。 | |
| index | scatter_nd | ✓ | ✓ | ✓ | ✓ | AI Core | 算子功能:拷贝data的数据至out,同时在指定indices处根据updates更新out中的数据。 | |
| index | scatter_nd_max | ✓ | ✓ | ✗ | ✓ | AI Core/AI CPU | 算子功能:根据indices在给定变量内,在updates和单个值或切片之间求最大值。 | |
| index | scatter_nd_min | ✓ | ✓ | ✗ | ✓ | AI Core/AI CPU | 算子功能:根据indices在给定变量内,在updates和单个值或切片之间求最小值。 | |
| index | scatter_nd_update | ✓ | ✓ | ✓ | ✓ | AI Core | 算子功能:根据indices在给定变量内,将updates应用于变量的单个值或切片。 | |
| index | scatter_update | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | segment_sum | ✓ | ✓ | ✗ | ✓ | AI Core | 根据有序的segment_ids对输入张量按分段求和,输出每个分段内所有行对应元素的累加结果。 | |
| index | sparse_segment_mean | ✓ | ✓ | ✗ | ✓ | AI Core/AI CPU | 根据indices和有序的segment_ids从x中选取若干行,并对同一个segment内的行按第0维求平均。 | |
| index | sparse_segment_mean_grad | ✓ | ✓ | ✗ | ✓ | AI CPU | SparseSegmentMeanGrad 是 SparseSegmentMean 的反向传播算子,用于计算稀疏分段求均值操作的梯度。 | |
| index | sparse_segment_sum | ✓ | ✓ | ✗ | ✓ | AI CPU | SparseSegmentSum 用于沿稀疏分段对输入张量切片求和。 | |
| index | sparse_segment_sum_grad | ✓ | ✓ | ✗ | ✓ | AI Core | SparseSegmentSumGrad 是 SparseSegmentSum 的反向传播算子,用于计算稀疏分段求和操作的梯度。 | |
| index | sparse_to_dense | ✓ | ✓ | ✗ | ✓ | AI Core/AI CPU | 将一个稀疏表示(Sparse Representation)转换为一个稠密张量。 | |
| index | tensor_scatter_update | ✓ | ✗ | ✗ | ✓ | AI CPU | 根据indices指定的位置,将updates中的数据更新到输入张量x的对应位置,生成输出张量y。 | |
| index | tf_scatter_add | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | top_k_top_p_sample | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入词频logits、topK/topP采样参数、随机采样权重分布q,进行topK-topP-sample采样计算,输出每个batch的最大词频logitsSelectIdx,以及topK-topP采样后的词频分布logitsTopKPSelect。 | |
| index | top_k_top_p_sample_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入词频logits、topK/topP/minP采样参数、随机采样权重分布q,进行topK-topP-minP-sample采样计算。当输入isNeedSampleResult为false时,输出每个batch的最大词频logitsSelectIdx,以及topK-topP-minP采样后的词频分布logitsTopKPSelect;当输入isNeedSampleResult为true时,输出topK-topP-minP采样后的中间计算结果logitsIdx和logitsSortMasked,其中logitsSortMasked为词频logits经过topK-topP-minP采样计算后的中间结果,logitsIdx为logitsSortMasked在logits中对应的索引。 | |
| index | union_sparse_gen | ✓ | ✓ | ✓ | ✗ | AI Core | 生成 sparse attention 的升序块并集、有效 count 与逐 token query membership mask。 | |
| index | unique_consecutive | ✓ | ✓ | ✓ | ✓ | AI Core | 去除每一个元素后的重复元素。 | |
| index | unique_with_counts_and_sorting | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 将输入张量展平后全局去重,可返回反向索引及出现次数。 | |
| index | unique_with_counts_ext2 | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| index | where | ✓ | ✓ | ✗ | ✓ | AI CPU | 找出张量`x`中非零或True元素的位置,设张量`x`的维度为D,非零元素的个数为N,则返回`y`的shape为D * N,每一列表示一个非零元素的位置坐标。 | |
| loss | binary_cross_entropy | ✓ | ✓ | ✓ | ✓ | AI Core | 计算x和y的二元交叉熵。 | |
| loss | binary_cross_entropy_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 求二元交叉熵反向传播的梯度值。 | |
| loss | chamfer_distance | ✓ | ✓ | ✗ | ✓ | AI Core | 计算两组二维点集之间的倒角距离,输出每个点到另一组最近点的平方欧氏距离与最近点下标。 | |
| loss | chamfer_distance_grad | ✓ | ✓ | ✓ | ✓ | AI Core | ChamferDistance(倒角距离)的反向算子,根据正向的输入对输出的贡献及初始梯度求出输入对应的梯度。 | |
| loss | cross_entropy_loss | ✓ | ✓ | ✓ | ✗ | AI Core | 计算输入的交叉熵损失。 | |
| loss | cross_entropy_loss_grad | ✓ | ✓ | ✓ | ✗ | AI Core | aclnnCrossEntropyLoss的反向传播。 | |
| loss | cross_entropy_sum_exp_and_index_logit | ✓ | ✓ | ✓ | ✓ | AI Core | 面向vocab并行(Tensor Parallel)场景的CrossEntropy本地计算融合算子。 | |
| loss | fused_cross_entropy_loss_with_max_sum | ✓ | ✓ | ✓ | ✗ | AI Core | 词汇表并行场景下交叉熵计算模块的一部分,解决超大规模词汇表下的显存和计算效率问题,当前部分为计算loss与softMax的结果。 | |
| loss | sigmoid_cross_entropy_with_logits | ✓ | ✓ | ✗ | ✓ | AI Core | 用于计算经过Sigmoid激活后的交叉熵损失的函数。 | |
| loss | sigmoid_cross_entropy_with_logits_grad | ✓ | ✓ | ✓ | ✓ | AI Core | Sigmoid + 二元交叉熵融合损失的反向梯度计算。 | |
| loss | sigmoid_focal_loss_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 计算Sigmoid Focal Loss对前向logits的反向梯度。 | |
| loss | cross_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 用于计算x1和x2张量在维度dim上的向量叉积。 | |
| loss | ctc_loss_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算连接时序分类损失值。 | |
| loss | ctc_loss_v2_grad | ✓ | ✓ | ✓ | ✓ | AI Core | ctcLoss的反向传播,计算CTC的损失梯度。 | |
| loss | cosine_embedding_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 根据两个输入张量和目标标签计算余弦嵌入损失,支持none、sum和mean归约方式。 | |
| loss | ctc_loss_v3 | ✓ | ✓ | ✗ | ✗ | AI Core | 计算连续(未分段)时间序列与目标序列之间的损失。 | |
| loss | ctc_loss_v3_grad | ✓ | ✓ | ✗ | ✗ | AI Core | 计算连续(未分段)时间序列与目标序列之间的损失的反向。 | |
| loss | inplace_cross_entropy_sum_exp_and_index_logit | ✓ | ✓ | ✓ | ✓ | AI Core | 面向vocab并行(Tensor Parallel)场景的CrossEntropy本地计算融合算子(原地更新版)。 | |
| loss | kl_div_loss_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | kl_div_target_loss_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 进行KL散度的target反向计算。 | |
| loss | l1_loss_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | logit | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子是概率到对数几率(log-odds)转换的一个数学运算,常用于概率值的反变换。它可以将一个介于0和1之间的概率值转换为一个实数值。 | |
| loss | logit_grad | ✓ | ✓ | ✓ | ✓ | AI Core | aclnnLogit的反向传播。 | |
| loss | l2_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 计算输入中所有元素平方和的一半,即L2正则化损失。 | |
| loss | lp_loss | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | mse_loss | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入和目标中每个元素之间的均方误差。 | |
| loss | mse_loss_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 均方误差函数aclnnMseLoss的反向传播。 | |
| loss | mse_loss_grad_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | 计算均方误差损失对预测值self的反向梯度,支持gradOutput、self、target三输入广播。 | |
| loss | mse_loss_v2 | ✓ | ✓ | ✗ | ✗ | AI Core | 计算输入x和目标y中每个元素之间的均方误差。 | |
| loss | multilabel_margin_loss | ✗ | ✓ | ✓ | ✗ | AI Core | 计算多标签分类的间隔损失值。 | |
| loss | nll_loss | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | nll_loss_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | poisson_nll_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 计算泊松分布的负对数似然损失(Poisson negative log likelihood loss),常用于计数数据回归。 | |
| loss | sigmoid_cross_entropy_with_logits_grad_v2 | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | sigmoid_cross_entropy_with_logits_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入logits与标签target之间的BCELoss损失 | |
| loss | sigmoid_focal_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 计算带类别平衡和难样本聚焦因子的Sigmoid二分类损失,支持none、sum和mean归约。 | |
| loss | smooth_l1_loss_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 计算SmoothL1Loss的反向传播梯度。 | |
| loss | smooth_l1_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 计算预测值与标签值之间的平滑L1损失(element-wise,无reduction)。 | |
| loss | smooth_l1_loss_grad_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| loss | smooth_l1_loss_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 计算SmoothL1损失函数。 | |
| loss | soft_margin_loss | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入self和目标target的二分类逻辑损失函数。 | |
| loss | soft_margin_loss_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 求soft_margin_loss反向传播的梯度值。 | |
| loss | softmax_focal_loss | ✓ | ✓ | ✗ | ✓ | AI Core | 计算多分类场景下的Softmax Focal Loss,在交叉熵基础上引入调制因子降低易分样本的损失权重。 | |
| loss | softmax_focal_loss_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 求softmax_focal_loss反向传播的梯度值。 | |
| loss | sparse_softmax_cross_entropy_with_logits | ✓ | ✓ | ✗ | ✓ | AI Core | 用于计算稀疏类标签场景下的Softmax交叉熵损失,并同步输出反向传播所需的梯度。 | |
| matmul | addmv | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| matmul | batch_mat_mul_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成带batch的矩阵乘计算。 | |
| matmul | confidence_head_fused | ✓ | ✓ | ✓ | ✗ | AI Core | 融合特征拼接、矩阵向量乘、可选偏置、温度缩放、截断和Sigmoid,输出每行置信度。 | |
| matmul | convert_weight_to_int4_pack | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| matmul | dual_level_quant_batch_matmul | ✓ | ✓ | ✓ | ✓ | AI Core | 完成二级量化mxfp4的矩阵乘计算。 | |
| matmul | fused_linear_cross_entropy_loss_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 词汇表并行场景下交叉熵损失中的梯度计算实现。 | |
| matmul | fused_linear_online_max_sum | ✓ | ✓ | ✓ | ✗ | AI Core | 功能等价Megatron的matmul与fused_vocab_parallel_cross_entropy的实现。 | |
| matmul | fused_mat_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 矩阵乘与通用向量计算融合。 | |
| matmul | fused_quant_mat_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 量化矩阵乘与通用向量计算融合。 | |
| matmul | gemm | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| matmul | gemm_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 计算α乘以A与B的乘积,再与β和input C的乘积求和。 | |
| matmul | gemm_v3 | ✓ | ✓ | ✗ | ✗ | AI Core | 计算α乘以A与B的乘积,再与β和input C的乘积求和。 | |
| matmul | gemm_syrk | ✓ | ✓ | ✓ | ✗ | AI Core | 计算α乘以A与A转置的乘积,再与β和input C的乘积求和,原地更新对称矩阵C。 | |
| matmul | mat_mul_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成通用矩阵乘计算。 | |
| matmul | matmul_compress | ✗ | ✗ | ✓ | ✗ | AI Core | 完成无损解压缩、矩阵乘计算。 | |
| matmul | matmul_emu_split_weight | ✓ | ✓ | ✓ | ✗ | AI Core | 使用双路BF16 GEMM融合模拟FP32精度矩阵乘法。离线将FP32权重拆分为高位BF16与低位残差BF16,推理阶段执行两次BF16 GEMM并做线性组合,激活值全程保持BF16,两路矩阵乘均运行在Cube上。 | |
| matmul | matmul_v2_compress_dequant | ✗ | ✗ | ✓ | ✗ | AI Core | 完成无损解压缩、矩阵乘、反量化计算。 | |
| matmul | mv | ✗ | ✓ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| matmul | quant_batch_matmul_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成量化的矩阵乘计算,最小支持输入维度为2维,最大支持输入维度为6维。 | |
| matmul | quant_batch_matmul_v4 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成量化的矩阵乘计算。 | |
| matmul | quant_batch_matmul_inplace_add | ✓ | ✓ | ✓ | ✗ | AI Core | 完成量化的矩阵乘计算和原地累加。 | |
| matmul | quant_matmul | ✗ | ✗ | ✓ | ✗ | AI Core | 完成量化的矩阵乘计算。 | |
| matmul | quant_matmul_dequant | ✗ | ✗ | ✓ | ✗ | AI Core | 完成量化的矩阵乘计算后,进行反量化。 | |
| matmul | quant_matmul_activation_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 完成量化矩阵乘后计算GELU、SwiGLU或SiLU激活,再执行动态MX量化。 | |
| matmul | quant_matmul_reduce_sum | ✓ | ✓ | ✓ | ✓ | AI Core | 完成量化的分组矩阵计算,然后所有组的矩阵计算结果相加后输出 | |
| matmul | rotate_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 对张量x进行旋转变换,然后执行可选的clamp操作,最后执行对称动态量化(目的数据类型为int8或者quint4x2)或者MX量化(目的数据类型为FLOAT4类、FLOAT8类),支持对输入x进行分组量化操作。 | |
| matmul | sparse_tensor_dense_mat_mul | ✓ | ✓ | ✗ | ✓ | AI Core | 完成稀疏矩阵x1乘以稠密矩阵x2,其中x1用x1_indices、x1_values、x1_shape三个Tensor来表达,x2为直接传入rank=2的Tensor(即矩阵)。 | |
| matmul | sparse4to2quant_matmul | ✓ | ✓ | ✓ | ✗ | AI Core | 完成稀疏4:2量化的矩阵乘计算。 | |
| matmul | transpose_batch_mat_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 完成张量x1与张量x2的矩阵乘计算。仅支持三维的Tensor传入。Tensor支持转置,转置序列根据传入的序列进行变更。permX1代表张量x1的转置序列,permX2代表张量x2的转置序列,序列值为0的是batch维度,其余两个维度做矩阵乘法。 | |
| matmul | transpose_quant_batch_mat_mul | ✓ | ✓ | ✓ | ✓ | AI Core | 完成张量x1与张量x2量化的矩阵乘计算。仅支持三维的Tensor传入。Tensor支持转置,转置序列根据传入的序列进行变更。permX1代表张量x1的转置序列,permX2代表张量x2的转置序列,序列值为0的是batch维度,其余两个维度做矩阵乘法。 | |
| matmul | weight_quant_batch_matmul | ✗ | ✗ | ✓ | ✗ | AI Core | 完成一个输入为伪量化场景的矩阵乘计算,并可以实现对于输出的量化计算。 | |
| matmul | weight_quant_batch_matmul_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成一个输入为伪量化场景的矩阵乘计算,并可以实现对于输出的量化计算。 | |
| norm | ada_layer_norm | ✓ | ✓ | ✓ | ✗ | AI Core | AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。 | |
| norm | ada_layer_norm_grad | ✓ | ✓ | ✓ | ✓ | AI Core | AdaLayerNormV2的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | |
| norm | ada_layer_norm_quant | ✓ | ✓ | ✓ | ✗ | AI Core | AdaLayerNormQuant算子将AdaLayerNorm和下游的量化(目前仅支持DynamicQuant)融合起来。该算子主要是用于执行自适应层归一化的量化操作,即将输入数据进行归一化处理,并将其量化为低精度整数,以提高计算效率和减少内存占用。 | |
| norm | ada_layer_norm_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。 | |
| norm | add_layer_norm | ✓ | ✓ | ✓ | ✓ | AI Core | 实现AddLayerNorm功能。 | |
| norm | add_layer_norm_grad | ✓ | ✓ | ✓ | ✓ | AI Core | LayerNorm是一种归一化方法,可以将网络层输入数据归一化为均值为0、方差为1的分布。LayerNormGrad算子是深度学习中用于反向传播阶段的一个关键算子,主要用于计算LayerNorm操作的梯度。AddLayerNormGrad算子是将Add和LayerNormGrad融合起来,减少搬入搬出操作。 | |
| norm | add_layer_norm_quant | ✓ | ✓ | ✓ | ✓ | AI Core | LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuant算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。 | |
| norm | add_layer_norm_quant_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuantV2算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。 | |
| norm | add_rms_norm | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。 | |
| norm | add_rms_norm_cast | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,AddRmsNormCast算子将AddRmsNorm后的Cast算子融合起来,减少搬入搬出操作。 | |
| norm | add_rms_norm_dynamic_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicMxQuant算子则是在尾轴上按blocksize分组进行动态MX量化的算子。AddRmsNormDynamicMxQuant算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的DynamicMxQuant算子融合起来,减少搬入搬出操作。该算子支持可选输入beta(偏置项)与x3(三路残差加法),并可选输出标准差倒数rstd。 | |
| norm | add_rms_norm_dynamic_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuant算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。 | |
| norm | add_rms_norm_dynamic_quant_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuantV2算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。AddRmsNormDynamicQuantV2算子相较于AddRmsNormDynamicQuant新增了两个RmsNorm归一化结果的输出:y3为RmsNorm结果转换为FLOAT32类型的输出,即计算公式中的yFP32,y4为RmsNorm结果保持原始输入数据类型的输出,即计算公式中的y。 | |
| norm | add_rms_norm_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。 | |
| norm | add_rms_norm_quant_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。AddRmsNormQuantV2算子相较于AddRmsNormQuant在RmsNorm计算过程中增加了偏置项bias参数,即计算公式中的`bias`。 | |
| norm | batch_norm | ✓ | ✓ | ✗ | ✓ | AI Core | 对一个批次的数据做批量归一化处理,归一化之后生成的数据的统计结果为0均值、1标准差。 | |
| norm | batch_norm_ext2 | ✓ | ✓ | ✗ | ✓ | AI Core | 与TensorFlow算子fused_batch_norm_v2兼容的批量归一化,4D NCHW/NHWC输入,输出y及统计量。 | |
| norm | batch_norm_elemt | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| norm | batch_norm_grad_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 批归一化反向传播算子,已提供 Ascend C 实现及 ACLNN 接口。 | |
| norm | batch_norm_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 对一个批次的数据做批量归一化处理,归一化之后生成的数据的统计结果为0均值、1标准差。 | |
| norm | batch_norm3d | ✓ | ✓ | ✗ | ✓ | AI Core | 对5D输入张量执行BatchNorm3D训练/推理计算,输出批均值、批方差及辅助统计量。 | |
| norm | batch_norm3d_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 计算BatchNorm3D的反向传播梯度,输出输入梯度、scale梯度、offset梯度及辅助输出。 | |
| norm | batch_norm_grad_ext2 | ✓ | ✓ | ✗ | ✓ | AI Core | 计算BatchNorm的反向传播梯度,输出输入梯度、scale梯度、offset梯度及辅助输出。 | |
| norm | bn_infer | ✓ | ✓ | ✗ | ✓ | AI Core | 推理场景下使用给定的均值和方差对输入张量执行批量归一化,输出与输入形状一致。 | |
| norm | bn_infer_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 计算Batch Normalization推理模式下输入的反向梯度。 | |
| norm | bn_inference | ✓ | ✓ | ✗ | ✓ | AI Core | 执行Batch Normalization推理,根据均值、方差和动量计算折叠系数,并对输入进行归一化及可选仿射变换。 | |
| norm | bn_training_reduce | ✓ | ✓ | ✓ | ✓ | AI Core | 对四维NCHW输入的N、H、W轴执行归约,输出每个通道的元素和与平方和。 | |
| norm | bn_training_update | ✓ | ✓ | × | ✓ | AI Core | 批归一化训练前向的update阶段(含moving average更新)。给定BNTrainingReduce产出的逐通道sum/square_sum,结合缩放因子scale与偏置offset,对输入x做批归一化仿射变换,输出归一化结果y;同时以factor加权更新running mean/variance,并输出本batch统计量batch_mean/batch_variance(有偏方差)。与BNTrainingReduce配套使用。 | |
| norm | bn_training_update_v2 | ✓ | ✓ | × | ✓ | AI Core | 批归一化训练前向的update阶段。给定BNTrainingReduce产出的逐通道sum/square_sum,结合缩放因子scale与偏置offset,对输入x做批归一化仿射变换,输出归一化结果y,同时输出本batch的统计量batch_mean/batch_variance。适用于不含moving average更新的场景,与BNTrainingReduce配套使用。 | |
| norm | bn_training_update_v3 | ✓ | ✓ | × | ✓ | AI Core | 批归一化训练前向的update阶段。给定BNTrainingReduce产出的逐通道sum/square_sum,结合缩放因子scale与偏置offset,对输入x做批归一化仿射变换,输出归一化结果y;同时输出本batch的统计量batch_mean/batch_variance(无偏估计)以及反向传播用的中间量reserve_1(save_mean)/reserve_2(save_variance,有偏方差)。适用于不含moving average更新的场景,与BNTrainingReduce配套使用。 | |
| norm | bn3d_training_reduce | ✓ | ✓ | ✗ | ✓ | AI Core | 三维批量归一化训练前向的规约阶段,跨N维度与全部空间维度求和及平方和,仅保留C维度。 | |
| norm | bn3_d_training_update | ✓ | ✓ | ✗ | ✓ | AI Core | BN3DTrainingUpdate算子用于3D BatchNorm训练流程的更新环节,结合前驱算子产出的逐通道sum和square_sum对输入做批归一化,输出归一化结果y,同时以factor为EMA权重更新running mean和running variance。 | |
| bn_training_reduce_grad | ✓ | ✓ | × | ✓ | AI Core | 批归一化训练反向的reduce-grad阶段。给定上层梯度grads、前向输入x、BNTrainingUpdateGrad产出的逐通道统计量diff_scale/diff_offset以及scale/batch_mean/batch_variance,计算回传给x的梯度y。该算子在GE图内由FusedBatchNormGrad融合展开生成,与BNTrainingUpdateGrad配套使用。 | ||
| norm | bn_training_update_grad | ✓ | ✓ | × | ✓ | AI Core | 批归一化训练反向的update阶段。给定反向梯度grads、前向输入x以及逐通道统计量batch_mean/batch_variance,计算缩放因子与偏置的梯度diff_scale/diff_offset(fp32)。与BNTrainingUpdate配套使用。 | |
| norm | bn3_d_training_reduce_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 计算3D Batch Normalization训练反传的收尾梯度:将损失对BN输出的梯度与逐通道统计量合成损失对输入x的梯度,支持NCDHW/NDHWC布局。 | |
| norm | bn3d_training_update_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 3D Batch Normalization训练反传的逐通道参数梯度归约:给定反向梯度grads、前向输入x以及逐通道统计量batch_mean/batch_variance,沿批与空间维归约得到缩放因子与偏置的梯度diff_scale/diff_offset(fp32),支持NCDHW/NCHW/NHWC布局。与BN3DTrainingUpdate配套使用。 | |
| norm | in_training_reduce_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 对数据做正则化处理的第一步,对数据按N、C维度保留,在空间维度上求和及平方和。 | |
| norm | in_training_update_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 实例归一化训练更新算子。根据前级输出的sum和square_sum计算实例统计量,对x进行归一化,并可选执行gamma/beta仿射变换和滑动统计量更新。 | |
| norm | in_training_update_grad_gamma_beta | ✓ | ✓ | ✗ | ✓ | AI Core | InstanceNorm训练反向的第二阶段。分别将res_gamma与res_beta沿第0轴求和并保留规约轴,得到pd_gamma与pd_beta。 | |
| norm | in_training_reduce_grad | ✓ | ✓ | ✗ | ✓ | AI Core | InstanceNorm训练反向中reduce阶段的梯度计算。根据上游梯度dy、前向输入x及归约统计量(mean/variance)与res_gamma/res_beta,计算输入x的梯度pd_x。 | |
| norm | centralization | ✓ | ✓ | ✗ | ✓ | AI Core | 计算输入张量在指定轴上的均值,并从输入对应元素中逐元素减去,输出与输入保持相同的shape和数据类型。 | |
| norm | deep_norm | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量x的元素进行深度归一化,通过计算其均值和标准差,将每个元素标准化为具有零均值和单位方差的输出张量。 | |
| norm | deep_norm_grad | ✓ | ✓ | ✓ | ✓ | AI Core | DeepNorm的反向传播,完成张量x、张量gx、张量gamma的梯度计算,以及张量dy的求和计算。 | |
| norm | dua_quantize_add_layer_norm | ✓ | ✓ | ✗ | ✓ | AI Core | DuaQuantizeAddLayerNorm是一个复杂的计算,结合了量化、加法和层归一化(Layer Normalization)的功能。 | |
| norm | euclidean_norm | ✓ | ✓ | ✗ | ✓ | AI Core | EuclideanNorm算子是欧几里得范数的实现。 | |
| norm | gemma_rms_norm | ✓ | ✓ | ✓ | ✓ | AI Core | GemmaRmsNorm算子是大模型常用的归一化操作,相比RmsNorm算子,在计算时对gamma执行了+1操作。 | |
| norm | gn_training_reduce | ✓ | ✓ | ✗ | ✓ | AI Core | GNTrainingReduce是GroupNorm训练前向的统计归约算子,按num_groups将输入x的通道维分组,在每组内求Σx与Σx²两个原始矩并输出为fp32,与配套算子GNTrainingUpdate成对使用。 | |
| norm | gn_training_update | ✓ | ✓ | ✗ | ✓ | AI Core | GNTrainingUpdate是GroupNorm训练前向更新融合算子,消费GNTrainingReduce的组内sum/square_sum现算均值方差,对x做归一化与可选仿射,旁路输出batch_mean/batch_variance。 | |
| norm | group_norm | ✓ | ✓ | ✓ | ✓ | AI Core | GroupNorm将输入的通道轴划分为多个组,对每个样本、每个组独立计算总体均值和总体方差。 | |
| norm | group_norm_grad | ✓ | ✓ | ✓ | ✓ | AI Core | GroupNorm用于计算输入张量的组归一化结果,均值,标准差的倒数,该算子是对GroupNorm的反向计算。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | |
| norm | group_norm_silu_quant | ✓ | ✓ | ✓ | ✗ | AI Core | 计算输入self的组归一化,均值meanOut,标准差的倒数rstdOut,以及对silu的输出进行量化的结果out。 | |
| norm | group_norm_silu | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及silu的输出。 | |
| norm | group_norm_swish | ✓ | ✓ | ✓ | ✓ | AI Core | 计算输入x的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及swish的输出。 | |
| norm | group_norm_swish_grad | ✓ | ✓ | ✓ | ✓ | AI Core | aclnnGroupNormSwish的反向操作。 | |
| norm | group_norm_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 计算输入x的组归一化结果out,均值meanOut,以及标准差的倒数rstdOut。 | |
| norm | inplace_add_layer_norm | ✓ | ✓ | ✗ | ✓ | AI Core | 是一种结合了原位加法和层归一化的算法。输出参数`x1`(对应公式中的`y`)、`x2`(对应公式中的`x`)复用了输入参数`x1`、`x2`输入地址,实现InplaceAddLayerNorm功能。 | |
| norm | inplace_add_rms_norm | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。InplaceAddRmsNorm是一种结合了原位加法和RMS归一化的操作。 | |
| norm | in_infer_v2 | ✓ | ✓ | × | ✓ | AI Core | 实例归一化推理算子。给定每个(N, C)的统计量mean/variance,对输入x做归一化并可选gamma/beta仿射变换,同时将mean/variance透传到batch_mean/batch_variance输出。与InstanceNorm相比,本算子不在算子内计算统计量,直接使用外部给定值,常用于图融合场景。 | |
| norm | instance_norm | ✓ | ✓ | ✗ | ✓ | AI Core | 用于执行Instance Normalization(实例归一化)操作。相比BatchNorm算子,InstanceNorm在每个样本的实例上进行归一化,而不是在整个批次上进行归一化,这使得该函数更适合处理图像等数据。 | |
| norm | instance_norm_v3 | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| norm | layer_norm | ✓ | ✓ | ✗ | ✓ | AI Core | 对指定层进行均值为0、标准差为1的归一化计算。 | |
| norm | layer_norm_grad | ✓ | ✓ | ✗ | ✓ | AI Core | LayerNorm的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | |
| norm | layer_norm_grad_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | LayerNormV4的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | |
| norm | layer_norm_quant | ✓ | ✓ | ✓ | ✗ | AI Core | 算子将LayerNorm归一化输出和下游的量化算子融合起来,减少搬入搬出操作。 | |
| norm | layer_norm_v3 | ✓ | ✓ | ✗ | ✓ | AI Core | 对指定层进行均值为0、标准差为1的归一化计算。 | |
| norm | layer_norm_v4 | ✓ | ✓ | ✓ | ✓ | AI Core | 对指定层进行均值为0、标准差为1的归一化计算。 | |
| norm | lp_norm_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 返回给定张量的矩阵范数或者向量范数。 | |
| norm | lp_norm_update_v2 | ✓ | ✓ | × | ✓ | AI Core | Lp范数两步计算的更新阶段算子,计算y=max(x^(1/p),epsilon)。 | |
| norm | lp_norm_reduce | ✓ | ✓ | ✓ | ✓ | AI Core | 计算Lp范数的归约阶段,按axes对|x|执行计数、求和、幂和、最大值或最小值归约,不执行1/p次开方。 | |
| norm | lp_norm_update | ✓ | ✓ | ✗ | ✓ | AI Core | 算子功能:计算 Lp 范数的"开 p 次根"步骤,输出 y = max(x^(1/p), eps_eff)。仅支持 GEIR 图模式调用。 | |
| norm | masked_softmax_with_rel_pos_bias | ✓ | ✓ | ✓ | ✓ | AI Core | 替换在swinTransformer中使用window attention计算softmax的部分。 | |
| norm | multi_add_rms_norm_dynamic_quant | ✓ | ✓ | ✗ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作。DynamicQuant算子则是为输入张量进行对称动态量化的算子。MultiAddRmsNormDynamicQuant算子将RmsNorm前的n个Add算子和RmsNorm归一化输出给到的DynamicQuant算子融合起来,减少搬入搬出操作(n支持0到4)。 | |
| norm | mvn_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 均值方差归一化算子,对输入张量沿指定轴计算均值与标准差,执行y=(x-mean)/(std+eps)归一化。 | |
| norm | quantize_add_layer_norm | ✓ | ✓ | ✗ | ✓ | AI Core | 是一种结合了量化、加法和层归一化的操作。 | |
| norm | quantized_batch_norm | ✓ | ✓ | ✓ | ✗ | AI Core | 将输入Tensor执行一个反量化的计算,再根据输入的weight、bias、epsilon执行归一化,最后根据输入的outputScale以及outputZeroPoint执行量化。 | |
| norm | renorm | ✓ | ✓ | ✓ | ✗ | AI Core | 返回一个张量,其中输入张量self沿维度dim的每个子张量都经过归一化,使得子张量的p范数低于maxnorm值。 | |
| norm | rms_norm | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。 | |
| norm | rms_norm_grad | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm的反向计算。用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度。 | |
| norm | in_training_update_grad | ✓ | ✓ | ✗ | ✓ | AI Core | InstanceNorm训练反向的第一阶段。对空间维归约,计算res_gamma=Σ(dy·x_norm)与res_beta=Σdy,保留per-(N,C)部分和。 | |
| norm | instance_norm_grad | ✓ | ✓ | ✗ | ✓ | AI Core | InstanceNorm的反向计算。计算输入x、缩放gamma、偏移beta的梯度pd_x、pd_gamma、pd_beta。 | |
| norm | l2_normalize | ✓ | ✓ | ✗ | ✓ | AI Core | 沿指定轴计算输入张量的L2归一化,输出shape和数据类型与输入一致。 | |
| norm | l2_normalize_grad | ✓ | ✓ | ✗ | ✓ | AI Core | L2Normalize的反向计算。计算输入x的梯度dx。 | |
| norm | rms_norm_grad_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNormGrad是用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度的算子。RmsNormGradQuant算子将RmsNormGrad和Quantize两个算子融合,RmsNormGrad计算完dx后进行quant计算,减少搬入搬出操作。 | |
| norm | rms_norm_quant | ✓ | ✓ | ✓ | ✗ | AI Core | RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。RmsNormQuant算子将RmsNorm算子以及RmsNorm后的Quantize算子融合起来,减少搬入搬出操作。 | |
| norm | rms_norm_quant_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。RmsNormQuantV2算子将RmsNorm算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。 | |
| norm | rms_norm_quant_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。RmsNormQuantV3算子将RmsNorm算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。同时在RmsNormQuantV2算子的基础上新增了Rstd的输出。 | |
| norm | rms_norm_dynamic_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicMxQuant算子则是在尾轴上按blocksize分组进行动态MX量化的算子。RmsNormDynamicMxQuant算子将RmsNorm归一化输出给到的DynamicMxQuant算子融合起来,减少搬入搬出操作。 | |
| norm | rms_norm_dynamic_quant | ✓ | ✓ | ✓ | ✓ | AI Core | RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。RmsNormDynamicQuant算子将RmsNorm归一化和DynamicQuant动态量化融合起来,减少搬入搬出操作。 | |
| norm | sync_batch_norm_backward_elemt | ✓ | ✓ | ✓ | ✓ | AI Core | SyncBatchNormBackwardElemt算子用于计算输入张量的元素级梯度,以便在反向传播过程中更新模型参数。 | |
| norm | sync_batch_norm_backward_reduce | ✓ | ✓ | ✓ | ✓ | AI Core | SyncBatchNormBackwardReduce用于反向传播过程中计算BatchNorm操作的所需的权重梯度gradWeight和中间量sumDyXmu。 | |
| norm | sync_batch_norm_gather_stats | ✓ | ✓ | ✓ | ✓ | AI Core | SyncBatchNormGatherStats算子用于收集所有device的均值和方差,更新全局的均值和方差。 | |
| norm | sync_batch_norm_gather_stats_fused | ✓ | ✓ | ✗ | ✗ | AI Core | SyncBatchNormGatherStatsFused算子用于计算在BatchNormTraining过程中的全局的均值和全局标准差倒数,以及更新全局方差。 | |
| norm | sync_batch_norm_gather_stats_with_counts | ✗ | ✗ | ✓ | ✗ | AI Core | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| norm | sync_bn_training_update | ✓ | ✓ | ✗ | ✓ | AI Core | SyncBNTrainingUpdate算子用于更新在BatchNormTraining过程中的全局的均值。 | |
| optim | advance_step | ✓ | ✓ | ✓ | ✓ | AI Core | vLLM是一个高性能的LLM推理和服务框架,专注于优化大规模语言模型的推理效率。它的核心特点包括PageAttention和高效内存管理。advance_step算子的主要作用是推进推理步骤,即在每个生成步骤中更新模型的状态并生成新的inputTokens、inputPositions、seqLens和slotMapping,为vLLM的推理提升效率。 | |
| optim | apply_adadelta | ✓ | ✓ | ✗ | ✓ | AI Core | 执行Adadelta优化器的单步参数更新,根据当前梯度、梯度平方累积accum和更新量平方累积accum_update,原地更新权重参数var以及accum、accum_update。 | |
| optim | apply_came_part1 | ✓ | ✓ | ✗ | ✓ | AI Core | 计算CAME优化器第一阶段的行、列及全局统计量。 | |
| optim | apply_came_part3 | ✓ | ✓ | ✗ | ✓ | AI Core | 计算CAME优化器第三阶段的一阶矩更新以及行、列和全局统计量。 | |
| optim | inplace_apply_adadelta | ✓ | ✓ | ✗ | ✓ | AI Core | Adadelta 优化器三输出 inplace 参数更新,根据当前梯度、梯度平方累积accum和更新量平方累积accum_update,通过三显式inplace输出端口原地更新权重参数var以及accum、accum_update。 | |
| optim | inplace_apply_adagrad_da | ✓ | ✓ | ✗ | ✓ | AI Core | 实现Adagrad Dual Averaging优化器的核心更新操作,用于深度学习模型训练中的参数更新。 | |
| optim | inplace_apply_adagrad_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 实现Adagrad V2优化器单步参数更新功能,原地更新权重参数var及梯度累加器accum。 | |
| optim | inplace_apply_adam_with_amsgrad | ✓ | ✓ | ✗ | ✓ | AI Core | 实现Adam优化器带AMSGrad修正的原地参数更新功能,原地更新权重参数var及一阶矩m、二阶矩v、二阶矩历史最大值vhat四个状态张量。 | |
| optim | inplace_apply_ftrl_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | FTRL-Proximal在线学习优化算法的单步参数更新算子,原地更新var/accum/linear三个状态张量。 | |
| optim | inplace_apply_ftrl | ✓ | ✓ | ✗ | ✓ | AI Core | 实现FTRL-Proximal优化器单步参数更新,就地更新var、accum、linear三个状态量。 | |
| optim | inplace_apply_proximal_adagrad | ✓ | ✓ | ✓ | ✗ | AI Core | ApplyProximalAdagrad的inplace双输出版本,将var和accum均显式暴露为输出端口(inplace alias),完整反映Proximal Adagrad算法的inplace更新语义,对标TensorFlow的ApplyProximalAdagrad接口。 | |
| optim | inplace_apply_add_sign | ✓ | ✓ | ✗ | ✓ | AI Core | 实现AddSign优化器的inplace参数更新,根据动量累积m、梯度grad及标量参数lr/alpha/sign_decay/beta,原地更新权重参数var和动量累积m,对标TensorFlow的ResourceApplyAddSign接口。 | |
| optim | lamb_apply_optimizer_assign | ✓ | ✓ | ✗ | ✓ | AI Core | LAMB优化器:完成参数的Adam矩更新与偏差校正后的update计算。 | |
| optim | lamb_apply_weight_assign | ✓ | ✓ | ✗ | ✓ | AI Core | LAMB优化器:完成信任比(trust ratio)权重更新。 | |
| optim | lamb_next_m_v | ✓ | ✓ | ✗ | ✓ | AI Core | BERT LAMB优化器图融合算子:完成Adam矩更新与偏差校正后的update计算。 | |
| optim | lamb_next_m_v_with_decay | ✓ | ✓ | ✗ | ✓ | AI Core | BERT LAMB优化器图融合算子(含权重衰减):完成Adam矩更新与偏差校正后的update计算。 | |
| optim | lamb_next_right | ✓ | ✓ | ✗ | ✓ | AI Core | BERT LAMB优化器图融合算子:计算二阶矩next_v及update分母。 | |
| optim | lamb_update_with_lr | ✓ | ✓ | ✗ | ✓ | AI Core | BERT LAMB优化器图融合算子:计算信任比并裁剪后更新参数。 | |
| optim | lamb_update_with_lr_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | BERT LAMB优化器图融合算子(信任比权重更新,含裁剪):计算信任比并裁剪后更新参数。 | |
| optim | lars_v2_update | ✓ | ✓ | ✗ | ✓ | AI Core | LARS-V2优化器梯度更新:根据权重的L2范数自适应调整梯度的信任系数,计算更新后的梯度。 | |
| optim | apply_adamax | ✓ | ✓ | ✗ | ✓ | AI Core | 执行AdaMax优化器的单步参数更新,基于无穷范数的Adam变种,根据当前梯度更新一阶矩m和无穷范数v,原地更新权重参数var以及m、v。 | |
| optim | apply_came_part4 | ✓ | ✓ | ✗ | ✓ | AI Core | CAME优化器第4段(参数更新段):按CAME更新规则,利用置信因子r、c对参数param进行更新,回写更新后的param、r、c;sum_r与global_shape为可选输入,缺省时kernel内归约并取本地形状。 | |
| optim | inplace_apply_ada_max | ✓ | ✓ | ✗ | ✓ | AI Core | 执行AdaMax优化器的单步参数更新,基于无穷范数的Adam变种,根据当前梯度更新一阶矩m和无穷范数v,原地更新权重参数var以及m、v。输出端口var/m/v与输入同名(GE inplace 别名),输出内存别名到输入内存实现原地更新。 | |
| optim | apply_rms_prop | ✓ | ✓ | ✗ | ✓ | AI Core | 执行RMSProp优化器(非centered版本)的单步参数更新,根据当前梯度更新梯度平方移动平均ms和动量累积mom,原地更新权重参数var以及ms、mom。对标TensorFlow的tf.raw_ops.ApplyRMSProp接口。 | |
| optim | inplace_apply_rms_prop | ✓ | ✓ | ✗ | ✓ | AI Core | 执行RMSProp优化器的单步参数更新,通过三个显式inplace输出更新权重var、梯度平方移动平均ms和动量累积mom;本仓对应Ascend950/GEIR实现。 | |
| optim | apply_centered_rms_prop | ✓ | ✓ | ✗ | ✓ | AI Core | 执行Centered RMSProp优化器的单步参数更新,在标准RMSProp基础上额外维护一阶梯度移动平均mg,以ms - mg²作为方差估计,根据当前梯度更新mg、ms和动量累积mom,原地更新权重参数var以及mg、ms、mom。对标TensorFlow的tf.raw_ops.ApplyCenteredRMSProp接口。 | |
| optim | inplace_apply_centered_rms_prop | ✓ | ✓ | ✗ | ✓ | AI Core | Centered RMSProp优化器步进的in-place实现,每个训练步对一组持久状态(var/mg/ms/mom)执行就地更新,输出Tensor与对应输入Tensor共享GM地址减少显存占用。epsilon加在sqrt内部(sqrt(ms - mg² + ε)),对标TensorFlow的ResourceApplyCenteredRMSProp接口。 | |
| optim | apply_adagrad_d | ✓ | ✓ | ✗ | ✓ | AI Core | ApplyAdagrad是自适应梯度算法的核心更新操作,主要用于在优化器(如随机梯度下降)中更新模型参数。 | |
| optim | inplace_apply_adagrad | ✓ | ✓ | ✗ | ✓ | AI Core | InplaceApplyAdagrad是Adagrad优化器的单步原地参数更新算子,同时更新参数var与梯度平方累积量accum,输出与同名输入共享Device内存。 | |
| optim | apply_adam_w_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 实现adamW优化器功能。 | |
| optim | apply_came_part2 | ✓ | ✓ | ✗ | ✓ | AI Core | 执行CAME优化器(置信度引导的自适应内存高效随机优化器)4-Part拆分的第2段:对Part1产出的梯度行/列/总和统计与上一step的行/列二阶矩r/c做EMA更新,并用置信度归一化计算归一化更新方向u及平方和sum_square_u,原地更新r、c,供Part3/Part4继续消费。 | |
| optim | adam_apply_one | ✓ | ✓ | ✗ | ✓ | AI Core | 对模型中的一个参数(如权重),完成Adam优化算法的单步计算和更新。 | |
| math | adam_apply_one_assign | ✓ | ✓ | ✗ | ✓ | AI Core | 执行Adam优化器的一次参数更新,10输入3输出,支持broadcast。 | |
| optim | adam_apply_one_with_decay | ✓ | ✓ | ✗ | ✓ | AI Core | 对模型中的一个参数(如权重),完成Adam优化算法的单步计算和更新,在adam_apply_one基础上增加了权重衰减。 | |
| optim | adam_apply_one_with_decay_assign | ✓ | ✓ | ✗ | ✓ | AI Core | 对模型中的一个参数(如权重),完成Adam优化算法的单步计算和更新,在adam_apply_one_with_decay基础上增加了赋值操作,确保更新后的值被正确地保存。 | |
| optim | apply_gradient_descent | ✓ | ✓ | ✗ | ✓ | AI Core | 用于在梯度下降训练过程中更新模型参数。 | |
| optim | apply_gradient_descent | ✓ | ✓ | ✗ | ✓ | AI Core | 用于在梯度下降训练过程中更新模型参数。 | |
| optim | apply_fused_ema_adam | ✓ | ✓ | ✓ | ✓ | AI Core | 实现FusedEmaAdam融合优化器功能,结合了Adam优化器和指数移动平均(EMA)技术。 | |
| optim | apply_proximal_adagrad | ✓ | ✓ | ✗ | ✓ | AI Core | 结合Adagrad自适应学习率与FOBOS(Forward-Backward Splitting)Proximal近端算法的优化器,基于梯度平方累加器自适应调整学习率,并通过软阈值(L1正则化)与缩放(L2正则化)对模型参数进行原地更新。 | |
| optim | fused_mul_apply_keras_momentum | ✓ | ✓ | ✗ | ✓ | AI Core | Keras风格Momentum SGD优化器的融合算子,融合一次梯度乘法后按Momentum SGD公式in-place更新权重var与动量累加器accum,支持标准Momentum与Nesterov Momentum两种模式。 | |
| optim | fused_sgd | ✓ | ✓ | ✓ | ✗ | AI Core | 实现FusedSgd融合优化器功能。 | |
| optim | sgd | ✓ | ✓ | ✗ | ✓ | AI Core | 带动量的随机梯度下降优化器更新算子,按weight_decay、dampening、Nesterov动量组合的SGD公式in-place更新权重parameters,同时原地回写动量累加器accum与首步标志stat。 | |
| optim | fused_adamw | ✓ | ✓ | ✓ | ✗ | AI Core | 实现输入为tensorlist的adamw融合优化器功能。 | |
| optim | fused_adam | ✓ | ✓ | ✓ | ✗ | AI Core | 实现输入为tensorlist的adam融合优化器功能。 | |
| pooling | adaptive_avg_pool3d | ✓ | ✓ | ✓ | ✓ | AI Core | 在指定三维输出shape信息的情况下,完成输入张量的3D自适应平均池化计算。 | |
| pooling | adaptive_avg_pool2d | ✓ | ✓ | ✓ | ✓ | AI Core | 在指定二维输出shape信息的情况下,完成输入张量的2D自适应平均池化计算。 | |
| pooling | adaptive_avg_pool3d_grad | ✓ | ✓ | ✓ | ✓ | AI Core | AdaptiveAvgPool3d的反向计算。 | |
| pooling | adaptive_max_pool2d | ✓ | ✓ | ✓ | ✗ | AI Core | 根据输入的output_size计算每次kernel的大小,对输入x进行2维最大池化操作,输出池化后的值y和索引indices。 | |
| pooling | adaptive_max_pool3d | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入的outputSize计算每次kernel的大小,对输入self进行3维最大池化操作,输出池化后的值outputOut和索引indicesOut。aclnnAdaptiveMaxPool3d与aclnnMaxPool3d的区别在于,只需指定outputSize大小,并按outputSize的大小来划分pooling区域。 | |
| pooling | adaptive_max_pool2d | ✓ | ✓ | ✓ | ✓ | AI Core/AI CPU | 根据输入的outputSize计算每次kernel的大小,对输入self进行2维最大池化操作,输出池化后的值outputOut和索引indicesOut。aclnnAdaptiveMaxPool2d与aclnnMaxPool2d的区别在于,只需指定outputSize大小,并按outputSize的大小来划分pooling区域。 | |
| pooling | adaptive_max_pool3d_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 正向自适应最大池化的反向传播,将梯度回填到每个自适应窗口最大值的坐标处,相同坐标处累加。 | |
| pooling | avg_pool | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入Tensor进行窗口为kH * kW、步长为sH * sW的二维平均池化操作,其中k为kernelSize,表示池化窗口的大小,s为stride,表示池化操作的步长。 | |
| pooling | avg_pool1d | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入Tensor的最后一维做一维平均池化,支持不对称padding、ceil_mode输出长度修正和count_include_pad分母选择。 | |
| pooling | avg_pool1d_avg_matrix | ✓ | ✗ | ✗ | ✓ | AI CPU | 为1DAvgPool反向传播场景生成平均矩阵权重。 | |
| pooling | avg_pool_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入Tensor进行窗口为kH * kW、步长为sH * sW的二维平均池化操作,其中k为kernelSize,表示池化窗口的大小,s为stride,表示池化操作的步长。 | |
| pooling | avg_pool_v2_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 二维平均池化的反向传播,计算二维平均池化正向传播的输入梯度。 | |
| pooling | avg_pool3_d | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入Tensor进行窗口为kD * kH * kW、步长为sD * sH * sW的三维平均池化操作,其中k为kernelSize,表示池化窗口的大小,s为stride,表示池化操作的步长。 | |
| pooling | avg_pool3_d_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 三维平均池化的反向传播,计算三维平均池化正向传播的输入梯度。 | |
| pooling | dilation2_d | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入图像的每个通道独立执行滑窗操作:在每个窗口位置,取输入值与滤波器值之和的最大值作为输出。 | |
| pooling | global_lp_pool | ✓ | ✓ | ✗ | ✓ | AI Core | 计算输入张量空间维度的 Lp 范数:y = (sum(|x|^p))^(1/p)。 | |
| pooling | max_pool3d | ✓ | ✓ | ✗ | ✓ | AI Core | 对于输入信号的输入通道,提供3维最大池化(Max pooling)操作。 | |
| pooling | max_pool_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对于4维的输入张量,进行最大池化(max pooling)操作。 | |
| pooling | max_pool_ext2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对于4维的输入张量,进行最大池化(max pooling)操作。支持NHWC和NCHW两种数据格式,支持SAME和VALID两种填充模式。 | |
| pooling | max_pool_v3 | ✓ | ✓ | ✓ | ✓ | AI Core | 对于3维或4维的输入张量,进行最大池化(max pooling)操作。 | |
| pooling | max_pool_v3_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 对于4维输入张量,进行最大池化(max pooling)的反向传播(grad)操作。 | |
| pooling | max_pool_with_argmax | ✓ | ✓ | ✗ | ✓ | AI Core | 对于输入数据计算2维最大池化操作,同时输出池化后的最大值和对应位置的索引。 | |
| pooling | max_pool_with_argmax_v3 | ✓ | ✓ | ✗ | ✓ | AI Core | 对于输入数据计算2维最大池化操作。 | |
| pooling | max_pool_grad_with_argmax | ✓ | ✓ | ✗ | ✓ | AI Core | 正向最大池化MaxPoolWithArgmax的反向梯度计算。 | |
| pooling | max_pool_grad_grad_with_argmax | ✓ | ✓ | ✗ | ✓ | AI Core | 最大池化的二阶梯度反向传播,根据argmax索引从grad张量中收集值到output。 | |
| pooling | max_pool_grad_with_argmax_v3 | ✓ | ✓ | ✗ | ✓ | AI Core | 正向最大池化MaxPoolGradWithArgmaxV3的反向梯度。 | |
| pooling | max_pool_grad | ✓ | ✓ | ✓ | ✓ | AI Core | 正向最大池化的反向传播,将梯度回填到每个窗口最大值的坐标处,相同坐标处累加。 | |
| pooling | max_pool3d_grad_with_argmax | ✓ | ✓ | ✓ | ✓ | AI Core | 正向最大池化的反向传播,将梯度回填到每个窗口最大值的坐标处,相同坐标处累加。 | |
| pooling | max_pool3d_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 正向最大池化后反向传播,将梯度回填到每个窗口最大值的坐标处,相同坐标处累加。 | |
| pooling | max_pool_3d_grad_grad | ✓ | ✓ | ✗ | ✓ | AI Core | 三维最大池化的二阶梯度,根据orig_x与orig_y的首个匹配位置从grads取值;无匹配或目标为NaN时输出FP16零。 | |
| pooling | max_pool3d_with_argmax_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对于输入信号的输入通道,提供3维最大池化(Max pooling)操作,输出池化后的值out和索引indices。 | |
| pooling | avg_pool_update | ✓ | ✓ | ✗ | ✓ | AI Core | 计算平均池化的更新值,将求和池化结果除以池化窗口实际覆盖的有效元素个数得到平均值。 | |
| pooling | psroi_pooling_v2 | ✓ | ✓ | ✗ | ✗ | AI Core | 对输入特征图执行位置敏感RoI平均池化,适用于R-FCN等目标检测网络。 | |
| pooling | psroi_pooling_grad_v2_d | ✓ | ✓ | ✗ | ✓ | AI Core | 将PS ROI Pooling的上游梯度按位置敏感通道映射和bin面积散射回输入特征图空间。 | |
| pooling | roi_pooling | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入特征图按ROI区域进行最大池化,输出固定尺寸的池化结果,用于目标检测等任务。 | |
| quant | act_ulq_clamp_max_grad | ✓ | ✓ | ✗ | ✓ | AI Core | ULQ量化感知训练clamp上界截断的反向梯度算子,输出0维标量。 | |
| quant | act_ulq_clamp_min_grad | ✓ | ✓ | ✗ | ✓ | AI Core | ULQ量化感知训练clamp下界截断的反向梯度算子,输出0维标量。 | |
| quant | acts_ulq | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入数据进行均匀线性量化(ULQ),支持broadcast和固定下界,输出量化结果及上下界掩码和量化损失。 | |
| quant | acts_ulq_input_grad | ✓ | ✓ | ✗ | ✓ | AI Core | ActsULQ均匀线性量化的反向输入梯度算子,按上下界掩码对上游梯度做逐元素门控,x_grad = y_grad * clamp_min_mask * clamp_max_mask。 | |
| quant | anti_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 将调用DynamicMxQuant量化得到的FLOAT4/FLOAT8的Tensor反量化为FLOAT16/BFLOAT16/FLOAT32格式。 | |
| quant | ascend_anti_quant | ✓ | ✓ | ✗ | ✓ | AI Core | 根据输入的scale和offset对输入x进行反量化。 | |
| quant | ascend_anti_quant_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入的scale和offset对输入x进行反量化。 | |
| quant | ascend_dequant | ✓ | ✓ | ✗ | ✓ | AI Core | 对INT32输入按UINT64反量化系数逐元素反量化,输出FLOAT16或FLOAT32结果,系数支持右对齐广播。 | |
| quant | ascend_quant | ✓ | ✓ | ✗ | ✓ | AI Core | 根据输入的scale和offset对输入x进行量化,且scale和offset的size需要是x的最后一维或1。 | |
| quant | ascend_quant_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入x进行量化操作,支持设置axis以指定scale和offset对应的轴,scale和offset的shape需要满足和axis指定x的轴相等或1。axis当前支持设置最后两个维度。 | |
| quant | ascend_requant | ✓ | ✓ | ✗ | ✓ | AI Core | INT8静态量化推理链路中的反量化再量化算子,将上游Conv/MatMul在INT8权重下产生的INT32累加结果,按反量化缩放因子重新量化回INT8,作为下一层INT8计算的输入。 | |
| quant | ascend_weight_quant | ✗ | ✓ | ✗ | ✗ | AI Core | 量化链路中的权重量化算子(opFile=Null,无kernel实现,仅由融合pass在图编译期处理),x/offset为int8 HWCN必选输入,y为int8 HWCN输出,dst_type可选默认DT_INT8。 | |
| quant | dequant_bias | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入x反量化操作,将输入的int32的数据转化为FLOAT16/BFLOAT16输出。 | |
| quant | dequant_situ_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 在Situ激活函数前后添加dequant和quant操作,实现x的DequantSituQuant计算。 | |
| quant | dequant_swiglu_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 在Swish门控线性单元激活函数前后添加dequant和quant操作,实现x的DequantSwigluQuant计算。 | |
| quant | dequantize | ✓ | ✓ | ✗ | ✓ | AI Core | 对量化后的整数张量进行反量化,将其转换回浮点数。 | |
| quant | dynamic_block_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量,通过给定的row_block_size和col_block_size将输入划分成多个数据块,以数据块为基本粒度进行量化。在每个块中,先计算出当前块对应的量化参数scale,并根据scale对输入进行量化。输出最终的量化结果,以及每个块的量化参数scale。 | |
| quant | dynamic_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 为输入张量进行per-token对称动态量化。 | |
| quant | dynamic_dual_level_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 通过给定的level0BlockSize和level1BlockSize将输入进行两次划分,以数据块为粒度,进行目的数据类型为FLOAT4类的MX二级量化。 | |
| quant | grouped_dynamic_block_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 根据传入的分组索引的起始值对各个group以基本块的粒度进行量化,并输出量化参数scale。 | |
| quant | grouped_dynamic_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 根据传入的分组索引的起始值,对各个group以基本块的粒度进行目标数据类型为float4/float8的动态MX量化。 | |
| quant | grouped_dynamic_mx_quant_with_dual_axis | √ | √ | √ | √ | AI Core | 根据传入的分组索引,对输入数据同时沿最后一维和倒数第二维进行float8动态MX量化。 | |
| quant | dynamic_block_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入变量,以数据块(32*32)为基本块进行MX量化转换为目的数据类型。 | |
| quant | mx_to_block_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 将 FP4 MX 格式数据结合 FP8_E8M0 缩放系数转换为 FP8 分块量化格式,同时输出 -1 轴和 -2 轴方向的量化尺度。 | |
| quant | dynamic_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 对传入的数据进行分组的float8的动态量化。 | |
| quant | dynamic_quant_update_scatter | ✓ | ✓ | ✗ | ✓ | AI Core | 将DynamicQuantV2和ScatterUpdate单算子自动融合为DynamicQuantUpdateScatterV2融合算子,以实现INT4类型的非对称量化。 | |
| quant | dynamic_quant_update_scatter_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 将DynamicQuantV2和ScatterUpdate单算子自动融合为DynamicQuantUpdateScatterV2融合算子,以实现INT4类型的非对称量化。 | |
| quant | dynamic_quant_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 为输入张量进行per-token对称/非对称动态量化。在MOE场景下,每个专家的smooth_scales是不同的,根据输入的group_index进行区分。 | |
| quant | fake_quant_affine_cachemask | ✓ | ✓ | ✓ | ✓ | AI Core | 对于输入数据self,使用scale和zeroPoint对输入self在指定轴axis上进行伪量化处理,并根据quantMin和quantMax对伪量化输出进行值域更新,最终返回结果out及对应位置掩码mask。 | |
| quant | fake_quant_with_min_max_args | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入x进行per-tensor假量化(Fake Quantization),通过Nudge算法将min/max调整为量化步长的整数倍后,执行量化-反量化操作。 | |
| quant | fake_quant_with_min_max_args_gradient | ✓ | ✓ | ✗ | ✓ | AI Core | FakeQuantWithMinMaxArgs的反向梯度算子,通过Nudge后的nudgedMin/nudgedMax构建0/1 mask,对梯度进行乘法门控。 | |
| quant | fake_quant_with_min_max_vars | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入x进行per-tensor假量化,通过Nudge算法将min/max调整为量化步长的整数倍后,执行量化-反量化操作。与FakeQuantWithMinMaxArgs的区别在于min/max作为可训练变量(tensor输入)参与梯度更新,适用于量化感知训练。 | |
| quant | fake_quant_with_min_max_vars_gradient | ✓ | ✓ | ✗ | ✓ | AI Core | FakeQuantWithMinMaxVars的反向梯度算子,用于量化感知训练的反向传播。通过Nudge后的nudgedMin/nudgedMax构建0/1 mask,对梯度进行乘法门控,同时计算min/max的越界梯度之和。 | |
| quant | fake_quant_with_min_max_vars_per_channel | ✓ | ✓ | ✗ | ✓ | AI Core | 对输入x进行per-channel假量化,沿最后一轴的每个通道使用各自的min/max独立执行Nudge量化-反量化操作。每个通道拥有独立的量化参数,能更好地适应不同通道的数值范围差异,适用于量化感知训练。 | |
| quant | fake_quant_with_min_max_vars_per_channel_gradient | ✓ | ✓ | ✗ | ✓ | AI Core | FakeQuantWithMinMaxVarsPerChannel的反向梯度算子,用于per-channel量化感知训练的反向传播。通过per-channel Nudge后的nudgedMin/nudgedMax构建0/1 mask,对梯度进行乘法门控,同时计算min/max的per-channel越界梯度之和。 | |
| quant | flat_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 该融合算子为输入矩阵x一次进行两次小矩阵乘法,即右乘输入矩阵kroneckerP2,左乘输入矩阵kroneckerP1,然后针对矩阵乘的结果进行per-token量化处理。 | |
| quant | group_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入x进行分组量化操作。 | |
| quant | quant_max | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入的scale对输入x进行量化,并计算输入x的绝对值的最大值amax。 | |
| quant | grouped_quant_max | ✓ | ✓ | ✓ | ✓ | AI Core | 根据输入的scale对输入x进行分组量化,并分组计算输入x的绝对值的最大值amax。 | |
| quant | quant_max_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 支持scale可选与group_list分组可选的量化计算,输出量化结果y与分组绝对值最大值amax;动态量化额外输出量化系数y_scale。 | |
| quant | quantize | ✓ | ✓ | ✓ | ✓ | AI Core | 对输入张量x进行量化处理。 | |
| quant | swi_glu_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 在SwiGlu激活函数后添加quant操作,实现输入x的SwiGluQuant计算,支持int8或int4量化输出。 | |
| quant | swiglu_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 在SwiGlu激活函数后添加mx_quant操作,实现输入x的SwigluMxQuant计算,支持FP8或FP4量化输出。 | |
| quant | situ_mx_quant | ✓ | ✓ | ✓ | ✓ | AI Core | 将Situ激活函数与动态MX量化融合,实现输入x的SituMxQuant计算,支持FP8量化输出。 | |
| quant | swiglu_mx_quant_with_dual_axis | ✓ | ✓ | ✓ | ✗ | AI Core | 在SwiGlu激活函数后添加group_mx_quant操作,实现输入x的Swiglu操作后-1轴和-2轴同时量化计算,支持FP8或FP4量化输出。 | |
| quant | swiglu_backward_mx_quant_with_dual_axis | ✓ | ✓ | ✓ | ✗ | AI Core | 在SwiGlu激活的反向梯度计算函数后添加group_mx_quant操作,实现输入x的Swiglu反向梯度操作后-1轴和-2轴同时量化计算,支持FP8量化输出。 | |
| quant | trans_quant_param | ✗ | ✗ | ✓ | ✗ | AI CPU | 该算子暂无Ascend C代码实现,欢迎开发者补充贡献,贡献方式参考贡献指南。 | |
| quant | trans_quant_param_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 完成量化计算参数scale数据类型的转换,将FLOAT32的数据类型转换为硬件需要的UINT64类型。 | |
| quant | ifmr | ✓ | ✓ | ✗ | ✓ | AI Core | 输入特征图重建的量化方法。 | |
| quant | wts_arq | ✓ | ✓ | ✗ | ✓ | AI Core | AMCT 量化感知训练(QAT)场景。 | |
| rnn | bidirection_lstm | ✓ | ✓ | ✓ | ✗ | AI Core | 进行LSTM网络计算,接收输入序列和初始状态,返回输出序列和最终状态。 | |
| rnn | bidirection_lstmv2 | ✓ | ✓ | ✓ | ✗ | AI Core | 进行LSTM网络计算,接收输入序列和初始状态,返回输出序列和最终状态。 | |
| rnn | dynamic_rnn | ✓ | ✓ | ✓ | ✓ | AI Core | 基础循环神经网络(Recurrent Neural Network)算子,用于处理序列数据。它通过隐藏状态传递时序信息,适合处理具有时间/顺序依赖性的数据。 | |
| rnn | dynamic_rnnv2 | ✓ | ✓ | ✗ | ✓ | AI Core | 基础循环神经网络(Recurrent Neural Network)算子,用于处理序列数据。它通过隐藏状态传递时序信息,适合处理具有时间/顺序依赖性的数据,仅支持单层RNN。 | |
| rnn | gru | ✓ | ✓ | ✓ | ✗ | AI Core | 实现门控循环单元(Gated Recurrent Unit, GRU)计算,支持多层堆叠、双向、定长序列和不定长序列(PackedSequence)两种输入模式。训练模式下可输出各门控中间结果(r、z、n、hn、h),用于反向传播。 | |
| rnn | gru_grad | ✓ | ✓ | ✓ | ✗ | AI Core | GRU的反向传播,计算正向输入input、权重params、初始状态hx的梯度。 | |
| index | unsorted_segment_max | ✓ | ✓ | ✗ | ✓ | AI Core | unsorted_segment_max主要功能是对一个张量分段求最大值。 | |
| index | unsorted_segment_min | ✓ | ✓ | ✗ | ✓ | AI Core | unsorted_segment_min主要功能是对一个张量分段求最小值。 | |
| index | unsorted_segment_sum | ✓ | ✓ | ✗ | ✓ | AI Core | unsorted_segment_sum主要功能是对一个张量分段求和。 | |
| index | unsorted_segment_prod | ✓ | ✓ | ✗ | ✓ | AI Core | unsorted_segment_prod主要功能是对一个张量分段求乘积。 | |
| index | tensor_scatter_sub | ✓ | ✓ | ✗ | ✓ | AI Core | 将x拷贝到输出y,再按照indices指定的位置,逐条将updates中对应的slice从y中减去,重复索引按输入顺序串行累减,结果确定。 | |
| rnn | single_layer_lstm | ✓ | ✓ | ✓ | ✗ | AI Core | 单层单向LSTM的正向计算,输出隐藏状态序列及供反向传播使用的门值和状态。 | |
| rnn | single_layer_lstm_grad | ✓ | ✓ | ✓ | ✗ | AI Core | 单层单向LSTM的反向传播,计算正向输入x、权重w、偏置b、初始隐藏状态initH与初始细胞状态initC的梯度。 | |
| rnn | thnn_fused_gru_cell | ✓ | ✓ | ✓ | ✓ | AI Core | 对GRU(Gated Recurrent Unit)的单个时间步执行门控融合计算,输入两路门控预激活(输入侧与隐层侧)、上一步隐状态及可选的两路bias,一次计算产出新隐状态hy与反向计算复用的中间量storage。 | |
| rnn | thnn_fused_lstm_cell | ✓ | ✓ | ✓ | ✗ | AI Core | 实现长短期记忆网络单元(LSTM Cell)的单步前向计算中,矩阵乘法后的后续计算。 | |
| rnn | thnn_fused_lstm_cell_grad | ✓ | ✓ | ✓ | ✗ | AI Core | LSTMCell中四个门中matmul后剩余计算的反向传播,计算正向输出四个门激活前的值gates、输入cx、偏置b的梯度。 | |
| rnn | thnn_fused_gru_cell_grad | ✓ | ✓ | ✓ | ✓ | AI Core | GRUCell中三个门中matmul后剩余计算的反向传播,计算正向输出三个门激活前的值gates、前向workspace([r,z,n,hx,hn]五平面)的梯度,以及输入hx与偏置b的梯度。 | |
| vfusion | modulate_grad | ✓ | ✓ | ✓ | ✗ | AI Core | Modulate算子的反向传播,根据输出梯度计算输入x、scale和shift的梯度。 | |
| vfusion | multi_scale_deformable_attention_grad | ✓ | ✓ | ✓ | ✓ | AI Core | MultiScaleDeformableAttention正向算子功能主要通过采样位置(sample location)、注意力权重(attention weights)、映射后的value特征、多尺度特征起始索引位置、多尺度特征图的空间大小(便于将采样位置由归一化的值变成绝对位置)等参数来遍历不同尺寸特征图的不同采样点。而反向算子的功能为根据正向的输入对输出的贡献及初始梯度求出输入对应的梯度。 | |
| vfusion | multi_scale_deformable_attn_function | ✓ | ✓ | ✓ | ✓ | AI Core | 通过采样位置(sample location)、注意力权重(attention weights)、映射后的value特征、多尺度特征起始索引位置、多尺度特征图的空间大小(便于将采样位置由归一化的值变成绝对位置)等参数来遍历不同尺寸特征图的不同采样点。 | |
| vfusion | normalize_bbox | ✓ | ✓ | ✗ | ✓ | AI Core | 将目标检测Prediction阶段筛选后的预选框绝对像素坐标,按对应图像的高与宽逐batch换算为相对坐标,结果不截断,输入框越界时输出可超出[0, 1]。 | |
| vfusion | scaled_masked_softmax_grad_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | softmax的反向传播,并对结果进行缩放以及掩码。 | |
| vfusion | scaled_masked_softmax_v2 | ✓ | ✓ | ✓ | ✗ | AI Core | 将输入的数据x先进行scale缩放和mask,然后执行softmax的输出。 | |
| optim | apply_adam_w | ✓ | ✓ | ✓ | ✓ | AI Core | 实现adamW优化器功能。 | |
| optim | apply_adam | ✓ | ✓ | ✓ | ✓ | AI Core | 实现adam优化器功能。 | |
| optim | apply_adam_v2 | ✓ | ✓ | ✓ | ✓ | AI Core | 实现adam优化器V2版本功能,支持FP32和FP16数据类型。 | |
| optim | apply_adam_d | ✓ | ✓ | ✓ | ✓ | AI Core | 实现adam优化器功能。 | |
| optim | apply_ftrl | ✓ | ✓ | ✓ | ✓ | AI Core | 实现ftrl优化器功能。 | |
| optim | sparse_apply_rms_prop | ✓ | ✓ | ✗ | ✓ | AI Core | 对indices指定的稀疏行执行RMSProp优化器更新,gather对应行应用更新公式后scatter写回,原地更新var/ms/mom,未命中行保持不变。对标TensorFlow的SparseApplyRMSProp接口。 | |
| optim | sparse_apply_proximal_adagrad | ✓ | ✓ | ✗ | ✓ | AI Core | 对indices指定的稀疏行执行ProximalAdagrad优化(Adagrad自适应学习率结合FOBOS近端的L1软阈值与L2缩放),原地更新var/accum。对标TensorFlow的SparseApplyProximalAdagrad接口。 | |
| optim | sparse_apply_ftrl | ✓ | ✓ | ✗ | ✓ | AI Core | 对indices指定的稀疏行执行FTRL-proximal优化器更新,原地更新var/accum/linear。对标TensorFlow的SparseApplyFtrl和ResourceSparseApplyFtrl接口。 | |
| optim | sparse_apply_ftrl_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 对indices指定的稀疏行执行FTRL-proximal V2优化器更新,原地更新var/accum/linear。对标TensorFlow的ResourceSparseApplyFtrlV2接口。 | |
| optim | apply_ftrl_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 实现ftrl v2优化器功能(含l2_shrinkage正则化)。 | |
| optim | apply_keras_momentum | ✓ | ✓ | ✓ | ✓ | AI Core | 执行Keras Momentum优化器的单步参数更新,根据动量系数momentum、学习率lr和梯度grad更新累积量accum,并按标准模式或Nesterov模式原地更新权重参数var。对标TensorFlow的ResourceApplyKerasMomentum接口。 | |
| optim | apply_momentum | ✓ | ✓ | ✓ | ✓ | AI Core | 实现momentum优化器功能。 | |
| optim | inplace_apply_momentum | ✓ | ✓ | ✗ | ✓ | AI Core | 根据动量方案更新变量var和accum,支持标准动量和Nesterov动量两种模式,显式输出var和accum。 | |
| optim | apply_proximal_gradient_descent | ✓ | ✓ | ✗ | ✓ | AI Core | 实现带L1/L2正则化的近端梯度下降一步更新,常用于带稀疏正则的优化场景。 | 实现带L1/L2正则化的近端梯度下降一步更新,常用于带稀疏正则的优化场景。 |
| optim | inplace_apply_proximal_gradient_descent | ✓ | ✓ | ✗ | ✓ | AI Core | 执行带L1/L2正则的近端梯度下降单步更新,显式输出更新后的var_out;本仓提供Ascend950的GE图模式实现,对齐TensorFlow近端梯度下降更新语义。 | |
| optim | sparse_apply_adadelta | ✓ | ✓ | ✗ | ✓ | AI Core | 稀疏版本的AdaDelta优化器算子,仅更新indices指定的参数行,原地更新var、accum与accum_update(inplace语义)。 | |
| optim | sparse_apply_adagrad_v2 | ✓ | ✓ | ✗ | ✓ | AI Core | 稀疏版本的AdagradV2优化器算子,根据稀疏梯度和索引向量原地更新参数变量和累加器。 | |
| optim | inplace_apply_power_sign | ✓ | ✓ | ✗ | ✓ | AI Core | 执行PowerSign优化器的单步参数更新,对权重`var`和一阶矩`m`进行原地更新(inplace语义)。 | |
| optim | inplace_apply_keras_momentum | ✓ | ✓ | ✗ | ✓ | AI Core | 执行Keras Momentum优化器的单步参数更新,根据动量系数momentum、学习率lr和梯度grad更新累积量accum,并按标准模式或Nesterov模式原地更新权重参数var。对标TensorFlow的ResourceApplyKerasMomentum接口。 | |
| optim | fused_mul_apply_momentum | ✓ | ✓ | ✗ | ✓ | AI Core | CANN图模式融合训练算子,将梯度缩放(Mul)与带动量的参数更新(ApplyMomentum)融合为单次逐元素更新,支持标准动量与Nesterov动量。 | |
| optim | fused_mul_apply_momentum_extern | ✓ | ✓ | ✗ | ✓ | AI Core | CANN图模式融合训练算子,将梯度缩放(Mul)与带动量的参数更新(ApplyMomentum)融合为单次逐元素更新,根据梯度x1、缩放标量x2、动量momentum和学习率lr计算参数更新量,原地更新主权重var、动量缓冲accum及低精度权重副本var_copy,支持标准动量与Nesterov动量。 | |
| hash | embedding_hash_table_apply_adam_w | ✓ | ✓ | ✗ | ✓ | AI Core | 查询hash表是否存在key,如果存在,则更新其value,如果不存在,则插入key。 | |
| hash | embedding_hash_table_export | ✓ | ✓ | ✗ | ✓ | AI Core | 导出整个table表。 | |
| hash | embedding_hash_table_import | ✓ | ✓ | ✗ | ✓ | AI Core | 将输入的key和value插入hash表。 | |
| hash | embedding_hash_table_lookup_or_insert | ✓ | ✓ | ✗ | ✓ | AI Core | 根据key值查看table中是否存在key;如果存在则不插入value值,并且导出key当前位置上的值;如果不存在则对key进行hash,找到位置后插入value。 | |
| hash | init_embedding_hash_table | ✓ | ✓ | ✗ | ✓ | AI Core | 初始化hash表。 | |