数组类(vector)算子 Shape 提取 —— 来源: d:\welink\智元_op_shape_list.xlsx [sheet: 算子与Shape] 筛选口径: 属组含 vector/Vector(含组合)、cube+vector 组合,以及组合类(组合?)与无属组但实为向量算子;共 49 条
O11 | VAE Linear Attention(组合) | torch.matmul + torch.softmax(组合) | Q/K/V[N,h,32,T] | 前向 | N=1~256;h={16,32,64};T=48~6144,且T>32;补1后V的通道为33;覆盖VKᵀ、乘Q及归一化除法。 | BF16输入;FP32计算 | N | cube+vector 组合?? O12 | VAE Quadratic Attention(组合) | torch.matmul + torch.softmax + torch.sum(组合) | Q/K/V[N,h,32,T];分数[N,h,T,T] | 前向 | N=1~256;h={16,32,64};T=1~32,包含6、24;同时保留原matmul与当前显式mul+sum规避路径的对照。 | BF16输入;当前规避路径FP32 | N | cube+vector 组合?? O13 | RMSNorm | aclnnRmsNorm | [R,D] | 前向+适用反向 | R=1~1,572,864;D={64,72,128,256,512,1024,1152,2048,2560,3072,4096};eps=1e-6或1e-5,按原模块取值。 | BF16输入;FP32归约 | Y | Vector O14 | LayerNorm | aclnnLayerNorm / aclnnLayerNormWithImplMode | [R,D] | 前向+适用反向 | R=1~65,536;D={1024,1152,2048,2560,3072,4096};affine及eps按原模块保留。 | BF16输入;FP32归约 | Y | Vector O15 | BatchNorm2d(eval) | aclnnBatchNorm(training=false) | [N,C,H,W] | 前向,解码时 | N=1~256;C={128,256,512};H=16~512,W=24~768;固定running mean/var。 | BF16;FP32统计 | Y | Vector O16 | L2 Normalize | torch.nn.functional.normalize(无aclnn文档) | [B,L,H,128]或[R,D] | 前向+适用反向 | Q/K:B=1~32,L=128~768,H={16,32},D=128,eps=1e-6;融合池化:[B,J,D],B=1~64,J=24~32,D={2048,2560},eps按F.normalize源码。 | BF16 / FP32 | Y | Vector O17 | RMSNormGated(融合组合) | torch.nn.functional.rms_norm + torch.nn.functional.silu(组合) | x,z[B,L,H,128] | 前向 | B=1~32;L=128~768;H={16,32};逐头RMSNorm×SiLU(z)。 | BF16输入;FP32归约/门控 | Y | Vector组合? O18 | GELU(tanh近似) | aclnnGelu / aclnnGeluBackward | [M,F] | 前向+适用反向 | M=1~27,648;F={4096,4608,8192,12288,16384};保留tanh近似。 | BF16;FP32对照 | Y | vector O19 | SiLU | aclnnSilu / aclnnSwish(反向aclnnSwishBackward) | [M,F] 或 [N,C,H,W] | 前向+适用反向 | 二维M=1~27,648,F=128~9216;卷积形状N=1~256,C=2048~16384,H=2~64,W=3~96;按对应路径配对。 | BF16 / FP32 | Y | vector O20 | ReLU | aclnnRelu / aclnnInplaceRelu | [E] | 前向 | E=1~2^31;包含从[N,h,32,T]和图像特征展平的张量。 | BF16 / FP32 | Y | vector O21 | ReLU6 | torch.nn.functional.relu6(无aclnnRelu6文档) | [N,C,H,W] | 前向 | N=1~256;C={128,256,512};H=8~512,W=12~768;截断区间[0,6]。 | BF16 / FP32 | Y | 未标注 O22 | Sigmoid | aclnnSigmoid / aclnnInplaceSigmoid | [B,L,H] 或 [B,L,D] | 前向+适用反向 | B=1~64;L=1~768;H={16,32};输出门控D={2048,4096};采样标量也覆盖[B]。 | BF16 / FP32 | Y | vector O23 | Softplus | aclnnSoftplus / aclnnSoftplusBackward | [B,L,H] | 前向 | B=1~32;L=128~768;H={16,32};dt_bias沿最后一维广播。 | FP32 | Y | vector O24 | Tanh | aclnnTanh / aclnnInplaceTanh | [E] | 前向+适用反向 | E=1~2^29;包含FFN大张量及[B,G]小张量,B=1~64、G=4~16。 | BF16 / FP32 | Y | vector O25 | Softmax | aclnnSoftmax / aclnnSoftmaxBackward | [B,H,Q,L] 或 [R,L] | 前向+适用反向 | 注意力B=1~64,H=8~64,Q=1~1536,L=1~2304;小门控L=4~54。沿最后一维,保持实际mask。 | BF16输入可选;FP32归约 | Y | vector O26 | Exp | aclnnExp / aclnnInplaceExp | [E] | 前向+适用反向 | E=16~2^26;包含[H]参数广播、[B,L,H]及chunk内部衰减矩阵。 | FP32 | Y | vector O27 | Add | aclnnAdd / aclnnInplaceAdd | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O28 | Sub | aclnnSub / aclnnInplaceSub | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O29 | Mul | aclnnMul / aclnnInplaceMul | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O30 | Div | aclnnDiv / aclnnInplaceDiv | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O31 | Pow / Square | aclnnPowTensorTensor / aclnnPowTensorScalar / aclnnSquare | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O32 | Sqrt / Rsqrt | aclnnSqrt / aclnnRsqrt | [E],含标量/通道广播 | 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vector O33 | Sum | aclnnReduceSum | [R,D] → [R] 或标量 | 前向+适用反向 | R=1~1,572,864;D=1~16,384;同时覆盖全量归约E≤2^31与keepdim。 | BF16输入;FP32归约 | Y | vector O34 | Mean | aclnnMean / aclnnMeanV2 | [R,D] → [R] 或标量 | 前向+适用反向 | R=1~1,572,864;D=1~16,384;按通道、token及整张量分别归约。 | BF16输入;FP32归约 | Y | vector O35 | Max / Min归约 | aclnnMaxDim / aclnnMinDim | [R,D] → [R] | 前向 | R=1~65,536;D=1~2304;保留values与indices的实际输出需求。 | FP32 / INT64 / Bool | Y | vector O36 | Clamp / Minimum / Maximum | aclnnClamp / aclnnClampTensor / aclnnMinimum / aclnnMaximum | [E] | 前向+适用反向 | E=1~2^31;同时覆盖标量阈值、[B,1,1]及逐token阈值广播。 | BF16 / FP32 | Y | vector O37 | Where / Masked Fill | aclnnSWhere / aclnnInplaceMaskedFillScalar / aclnnInplaceMaskedFillTensor | 值张量+可广播mask | 前向+适用反向 | 值张量E=1~2^31;注意力mask可取[B,1,Q,L],B=1~64,Q/L=1~2304;同时覆盖[B,1,1]条件mask。 | BF16 / FP32+Bool | Y | vector O38 | RoPE / Sin / Cos(组合) | aclnnSin / aclnnCos + 自定义RoPE(torch.sin/cos/outer) | [B,L,D]或分头[B,H,L,d] | 前向+适用反向/JVP | B=1~64;L=1~2304;D={512,1152,2048,3072,4096};分头H={8,16,32,48,64},d={64,72,256}。文本head=256只旋转64维;频率与旋转配对保持源码布局。 | BF16输入;FP32三角/计算 | Y | vector组合? O39 | Embedding | aclnnEmbedding | indices[B,L];weight[V,D] | 前向+适用反向 | B=1~64;L=1~768;词表(V=248320,D=2048/2560);位置(2304,1024);view(10,D=512/2048/3072/4096);body(14,6912)。 | INT64索引;BF16权重 | Y | vector O40 | Gather / Index Select | aclnnGatherV2 / aclnnIndexSelect | [B,L,D]及索引[B,K] | 前向+适用反向 | B=1~256;L=1~2304;D=32~4096;K=1~L;覆盖沿batch与token轴选择。 | BF16 / FP32+INT64 | Y | vector O41 | Masked Scatter | aclnnInplaceMaskedScatter | 目标[B,L,D];源[P,D] | 前向 | B=1~32;L=128~768;D={2048,2560};P=1~B×L,mask真值数必须与源元素数一致;P待实采。 | BF16值+Bool mask | Y | vector O42 | Cat / Stack | aclnnCat / aclnnStack | 2~8份张量,沿batch/token/head拼接 | 前向+适用反向 | 输出总量1KiB~8GiB;单块可取[B,L,D],B=1~256、L=1~2304、D=32~16384;总量约束优先。 | BF16 / FP32 | Y | vector O43 | Repeat / Repeat Interleave | aclnnRepeatInterleave / aclnnRepeatInterleaveInt / aclnnRepeatInterleaveTensor | [B,L,D]或[N,C,H,W] | 前向+适用反向 | 复制因子={2,3,4,8};输出总量1KiB~8GiB;GQA按Hq/Hkv,候选组以4为基准。 | BF16 / FP32 / INT64 | Y | vector O44 | Transpose / Permute后的Contiguous | aclnnPermute + tensor.contiguous() | BHLD↔BLHD;NCHW↔channels-last | 前向+适用反向 | 实际搬运1KiB~8GiB;注意力B=1~256、H=8~64、L=1~2304、D={32,64,72,128,256};卷积按对应层shape。纯view单独记元数据开销。 | BF16 / FP32 | Y | vector O45 | Copy / Copy_ | aclnnInplaceCopy / torch.Tensor.copy_(H2D/D2H用.to()) | [E]或strided tensor | 拷贝 | 单次1KiB~8GiB;区分H2D、D2D、D2H;连续和非连续分别取样。 | BF16 / FP32 | Y | vector O46 | Dtype Cast | aclnnCast | [E] | 前向+适用反向 | E=1~2^31;覆盖归约前上转与输出回转,以及非连续输入。 | BF16↔FP32 | Y | vector O47 | Pixel Unshuffle | torch.nn.functional.pixel_unshuffle,对应aclnninplacecopy | [N,C,H,W] → [N,4C,H/2,W/2] | 前向 | N=1~256;C=3~2048;H=4~512,W=6~768;factor=2,H/W必须可整除2。 | BF16 | ? | vector O48 | Pixel Shuffle | torch.nn.functional.pixel_shuffle,对应aclnninplacecopy | [N,4C,H,W] → [N,C,2H,2W] | 前向,解码时 | N=1~256;输出C=3~2048;H=2~256,W=3~384;factor=2,输入通道为4C。 | BF16 | ? | vector O49 | Pad | aclnnConstantPadNd / aclnnReflectionPad2d | [N,C,H,W]或[B,H,D,L] | 前向 | 图像N=1~256、C=3~512、H=2~512、W=3~768,padding=1~2;注意力D=32→33、L=1~6144;constant与reflect按路径区分。 | BF16 / FP32 | Y | vector O50 | Interpolate / Resize | aclnnResize / aclnnUpsampleNearest2d | [N,C,H,W] | 前向,路径依赖 | 建议N=1~64;C=3或512;H=2~512,W=3~768;scale=0.5~2。位置嵌入按48×48网格、D=1024做索引插值;CPU/设备落点待实采。 | FP32 / BF16 | Y | vector O51 | Randn / Randn Like | aclnnNormalFloatFloat / torch.randn | 视频[B,L,512];动作[B,La,32] | 随机生成 | B=1~192;视频L=48~1536;动作La=1~216;额外标量/时间采样覆盖[B]。 | FP32 / BF16 | Y | vector O52 | Rand / Uniform | aclnnInplaceUniform / torch.rand | [B]、[B,L]及token分数 | 随机生成 | B=1~256;L=1~6144;同时覆盖候选分数[B,G],G=4~16。 | FP32 | Y | vector O53 | Masked MSE Loss(组合) | aclnnMseLoss / aclnnMseLossOut(mask组合用torch) | 视频[B,L,512];动作[B,La,32] | 前向+反向 | B=1~192;L=48~1536;La=1~216;保留dense/sparse、padding与joint mask及有效元素分母。 | FP32损失与归约 | Y | vector O54 | TopK / Sort | aclnnTopkV2 / aclnnSort / aclnnArgsort | [B,G]或[B,F,T] | 前向 | 候选B=1~64,G=4~16,k=1~G(源码基准G=4、k=1);token采样B=1~192、F=1~9、T=6~384;token_dropout开启才使用后者。 | FP32+INT64索引 | Y | vector O55 | Cumsum | aclnnCumsum / aclnnCumsumV2 | [B,G]或[images] | 前向 | B=1~64,G=4~16;视觉图像/时间片计数长度1~256。 | FP32 / INT32 / INT64 | Y | vector O56 | Quantile / Median / Std | aclnnMedian / aclnnStd(quantile用torch.quantile) | [B,G] → [B]或标量 | 前向 | B=1~64;G=4~16,包含基准4;quantile=0.5与std(unbiased=False)保持源码语义。此组通常为小张量开销。 | FP32 | Y | vector O57 | AdamW(含foreach/融合更新) | aclnnApplyAdamW / aclnnApplyAdamWV2(混合精度用torch.optim.AdamW) | 参数、梯度、m、v:同长[E]或tensor list | 参数更新 | 单tensor E=1024~2^28;tensor list=1~256个;总元素量按真实参数分组/分片匹配;实际fused/foreach实现待实采。 | FP32状态;参数按实际dtype | Y | vector O66 | AdaLN / Scale-Shift-Gate(组合) | aclnnAdaLayerNormV2 / torch.nn.functional.layer_norm + scale/shift/gate(组合) | x[B,L,D];调制[B,6D]或[B,L,6D] | 前向+反向 | B=1~128;L=1~1536;D={1152,2048,3072,4096};调制宽度6D=6912~24,576,按D配套;包含逐token时间与样本级广播。 | BF16;归一化部分FP32 | N | 组合? O67 | FFN / SwiGLU(组合) | aclnnSwiGlu / torch.nn.functional.silu + linear(组合) | [M,D] → [M,F] → [M,D] | 前向+适用反向 | M=1~27,648;(D,F)={(1024,4096),(1152,4608),(2048,6144),(2048,8192),(2560,9216),(3072,12288),(4096,16384)};GELU两层与SiLU门控三投影分别按源码执行。 | BF16;FP32对照 | N | 组合?
Q/K/V[N,h,32,T]
Q/K/V[N,h,32,T];分数[N,h,T,T]
[R,D]
[N,C,H,W]
[B,L,H,128]或[R,D]
x,z[B,L,H,128]
[M,F]
[M,F] 或 [N,C,H,W]
[E]
[B,L,H] 或 [B,L,D]
[B,L,H]
[B,H,Q,L] 或 [R,L]
[E],含标量/通道广播
[R,D] → [R] 或标量
[R,D] → [R]
值张量+可广播mask
[B,L,D]或分头[B,H,L,d]
indices[B,L];weight[V,D]
[B,L,D]及索引[B,K]
目标[B,L,D];源[P,D]
2~8份张量,沿batch/token/head拼接
[B,L,D]或[N,C,H,W]
BHLD↔BLHD;NCHW↔channels-last
[E]或strided tensor
[N,C,H,W] → [N,4C,H/2,W/2]
[N,4C,H,W] → [N,C,2H,2W]
[N,C,H,W]或[B,H,D,L]
视频[B,L,512];动作[B,La,32]
[B]、[B,L]及token分数
[B,G]或[B,F,T]
[B,G]或[images]
[B,G] → [B]或标量
参数、梯度、m、v:同长[E]或tensor list
x[B,L,D];调制[B,6D]或[B,L,6D]
[M,D] → [M,F] → [M,D]
统计: cube+vector 组合 = 2, vector = 42, vector组合 = 2, 未标注属组 = 1, 组合? = 2 说明: 属组=组合? 的 O66 AdaLN、O67 FFN/SwiGLU 为小算子拼接;O21 ReLU6 属组为空但属向量算子,一并纳入。
[O11] VAE Linear Attention(组合) (Excel 第 9 行, 属组: cube+vector 组合) 测试接口 : torch.matmul + torch.softmax(组合) Shape形式 : Q/K/V[N,h,32,T] 方向 : 前向 建议范围与配对约束: N=1~256;h={16,32,64};T=48~6144,且T>32;补1后V的通道为33;覆盖VKᵀ、乘Q及归一化除法。 精度 : BF16输入;FP32计算 是否支持 : N 主要路径 : VAE较大空间网格 待确认项 : 【待确认】VAE Linear Attention为组合项,无单一算子文档;需拆解到matmul(QKᵀ/PV)、softmax、归一化等子算子核对,当前无法直接确认950与T≤6144/通道33范围。
[O12] VAE Quadratic Attention(组合) (Excel 第 10 行, 属组: cube+vector 组合) 测试接口 : torch.matmul + torch.softmax + torch.sum(组合) Shape形式 : Q/K/V[N,h,32,T];分数[N,h,T,T] 方向 : 前向 建议范围与配对约束: N=1~256;h={16,32,64};T=1~32,包含6、24;同时保留原matmul与当前显式mul+sum规避路径的对照。 精度 : BF16输入;当前规避路径FP32 是否支持 : N 主要路径 : VAE小空间网格 待确认项 : 【待确认】VAE Quadratic Attention为组合项,无单一算子文档;需拆解到matmul、softmax、mul+sum等子算子核对,当前无法直接确认950与T≤32/显式分数矩阵范围。
[O13] RMSNorm (Excel 第 11 行, 属组: vector) 测试接口 : aclnnRmsNorm Shape形式 : [R,D] 方向 : 前向+适用反向 建议范围与配对约束: R=1~1,572,864;D={64,72,128,256,512,1024,1152,2048,2560,3072,4096};eps=1e-6或1e-5,按原模块取值。 精度 : BF16输入;FP32归约 是否支持 : Y 主要路径 : 视频、动作、VLM、VAE 待确认项 : 无(RmsNorm文档支持950、BF16/FP32、ND、1~8维,[R,D]覆盖,D≤4096;eps属性存在)。依据:ops-nn/norm/rms_norm/README.md。
[O14] LayerNorm (Excel 第 12 行, 属组: vector) 测试接口 : aclnnLayerNorm / aclnnLayerNormWithImplMode Shape形式 : [R,D] 方向 : 前向+适用反向 建议范围与配对约束: R=1~65,536;D={1024,1152,2048,2560,3072,4096};affine及eps按原模块保留。 精度 : BF16输入;FP32归约 是否支持 : Y 主要路径 : 视频/动作输出、视觉编码、特征融合 待确认项 : 无(LayerNorm文档支持950、BF16/FP32、ND,[R,D]及affine/eps覆盖)。依据:ops-nn/norm/layer_norm/README.md。
[O15] BatchNorm2d(eval) (Excel 第 13 行, 属组: vector) 测试接口 : aclnnBatchNorm(training=false) Shape形式 : [N,C,H,W] 方向 : 前向,解码时 建议范围与配对约束: N=1~256;C={128,256,512};H=16~512,W=24~768;固定running mean/var。 精度 : BF16;FP32统计 是否支持 : Y 主要路径 : VAE解码的早期ResBlock 待确认项 : 无(BatchNormV3文档支持950、BF16/FP32、4D/5D NCHW/NHWC,training=false推理路径有说明;C≤512/H≤512/W≤768覆盖)。依据:ops-nn/norm/batch_norm_v3/README.md。
[O16] L2 Normalize (Excel 第 14 行, 属组: vector) 测试接口 : torch.nn.functional.normalize(无aclnn文档) Shape形式 : [B,L,H,128]或[R,D] 方向 : 前向+适用反向 建议范围与配对约束: Q/K:B=1~32,L=128~768,H={16,32},D=128,eps=1e-6;融合池化:[B,J,D],B=1~64,J=24~32,D={2048,2560},eps按F.normalize源码。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : VLM Q/K与多层特征融合 待确认项 : 【待确认】L2Normalize文档支持950,但仅列FLOAT16/FLOAT32,未支持BFLOAT16;客户Q/K要求BF16,存在精度/接口不匹配,需确认改用FP32或其它归一化算子。shape [B,L,H,128]/[R,D]及1~8维支持。依据:ops-nn/norm/l2_normalize/README.md。
[O17] RMSNormGated(融合组合) (Excel 第 15 行, 属组: vector组合) 测试接口 : torch.nn.functional.rms_norm + torch.nn.functional.silu(组合) Shape形式 : x,z[B,L,H,128] 方向 : 前向 建议范围与配对约束: B=1~32;L=128~768;H={16,32};逐头RMSNorm×SiLU(z)。 精度 : BF16输入;FP32归约/门控 是否支持 : Y 主要路径 : VLM线性注意力输出 待确认项 : 【待确认】未找到RMSNormGated独立算子文档;需按RMSNorm+SiLU组合或确认融合接口,当前无法直接核对950与[B,L,H,128]范围。
[O18] GELU(tanh近似) (Excel 第 16 行, 属组: vector) 测试接口 : aclnnGelu / aclnnGeluBackward Shape形式 : [M,F] 方向 : 前向+适用反向 建议范围与配对约束: M=1~27,648;F={4096,4608,8192,12288,16384};保留tanh近似。 精度 : BF16;FP32对照 是否支持 : Y 主要路径 : 视频、动作、视觉FFN 待确认项 : 无(aclnnGelu文档支持950、BF16/FP32,公式即tanh近似,[M,F]覆盖)。依据:ops-nn/activation/gelu/docs/aclnnGelu.md。
[O19] SiLU (Excel 第 17 行, 属组: vector) 测试接口 : aclnnSilu / aclnnSwish(反向aclnnSwishBackward) Shape形式 : [M,F] 或 [N,C,H,W] 方向 : 前向+适用反向 建议范围与配对约束: 二维M=1~27,648,F=128~9216;卷积形状N=1~256,C=2048~16384,H=2~64,W=3~96;按对应路径配对。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : VAE门控、VLM MLP、时间嵌入 待确认项 : 无(aclnnSilu/Swish文档支持950、BF16/FP32、ND、1~8维,二维及[N,C,H,W]均覆盖)。依据:ops-nn/activation/swish/docs/aclnnSilu.md。
[O20] ReLU (Excel 第 18 行, 属组: vector) 测试接口 : aclnnRelu / aclnnInplaceRelu Shape形式 : [E] 方向 : 前向 建议范围与配对约束: E=1~2^31;包含从[N,h,32,T]和图像特征展平的张量。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : VAE Q/K与解码 待确认项 : 无(ReLU文档支持950、BF16/FP32、ND,[E]覆盖;反向ReLUGradV2亦支持950)。依据:ops-nn/activation/relu_v2/README.md。
[O21] ReLU6 (Excel 第 19 行, 属组: 未标注属组) 测试接口 : torch.nn.functional.relu6(无aclnnRelu6文档) Shape形式 : [N,C,H,W] 方向 : 前向 建议范围与配对约束: N=1~256;C={128,256,512};H=8~512,W=12~768;截断区间[0,6]。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : VAE编码ResBlock 待确认项 : 无(ReLU6文档支持950、BF16/FP32、≤8维,[N,C,H,W]覆盖)。依据:ops-nn/activation/relu6/README.md。
[O22] Sigmoid (Excel 第 20 行, 属组: vector) 测试接口 : aclnnSigmoid / aclnnInplaceSigmoid Shape形式 : [B,L,H] 或 [B,L,D] 方向 : 前向+适用反向 建议范围与配对约束: B=1~64;L=1~768;H={16,32};输出门控D={2048,4096};采样标量也覆盖[B]。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : VLM门控、时间采样 待确认项 : 无(Sigmoid文档支持950、BF16/FP32、ND,[B,L,H]/[B,L,D]/[B]覆盖)。依据:ops-nn/activation/sigmoid/README.md。
[O23] Softplus (Excel 第 21 行, 属组: vector) 测试接口 : aclnnSoftplus / aclnnSoftplusBackward Shape形式 : [B,L,H] 方向 : 前向 建议范围与配对约束: B=1~32;L=128~768;H={16,32};dt_bias沿最后一维广播。 精度 : FP32 是否支持 : Y 主要路径 : VLM衰减门控 待确认项 : 无(Softplus文档支持950、FP32(另支持BF16/FP16)、ND,[B,L,H]覆盖)。依据:ops-nn/activation/softplus_v2/README.md。
[O24] Tanh (Excel 第 22 行, 属组: vector) 测试接口 : aclnnTanh / aclnnInplaceTanh Shape形式 : [E] 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^29;包含FFN大张量及[B,G]小张量,B=1~64、G=4~16。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : GELU/JVP内部、cotrain置信权重 待确认项 : 无(Tanh文档支持950、BF16/FP32、ND,[E]/[B,G]覆盖)。依据:ops-math/math/tanh/README.md。
[O25] Softmax (Excel 第 23 行, 属组: vector) 测试接口 : aclnnSoftmax / aclnnSoftmaxBackward Shape形式 : [B,H,Q,L] 或 [R,L] 方向 : 前向+适用反向 建议范围与配对约束: 注意力B=1~64,H=8~64,Q=1~1536,L=1~2304;小门控L=4~54。沿最后一维,保持实际mask。 精度 : BF16输入可选;FP32归约 是否支持 : Y 主要路径 : 显式注意力、JVP、特征融合 待确认项 : 无(SoftmaxV2文档支持950、BF16/FP32、ND、任意轴,[B,H,Q,L]/[R,L]覆盖)。依据:ops-nn/activation/softmax_v2/README.md。
[O26] Exp (Excel 第 24 行, 属组: vector) 测试接口 : aclnnExp / aclnnInplaceExp Shape形式 : [E] 方向 : 前向+适用反向 建议范围与配对约束: E=16~2^26;包含[H]参数广播、[B,L,H]及chunk内部衰减矩阵。 精度 : FP32 是否支持 : Y 主要路径 : FLA衰减、时间/位置编码 待确认项 : 无(Exp文档支持950、FP32、ND,[E]覆盖)。依据:ops-math/math/exp/README.md。
[O27] Add (Excel 第 25 行, 属组: vector) 测试接口 : aclnnAdd / aclnnInplaceAdd Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 残差、bias、时间调制 待确认项 : 无(Add文档支持950、BF16/FP32、ND及broadcast,[M,D]+[D]/[B,L,D]+[B,1,D]覆盖)。依据:ops-math/math/add/README.md。
[O28] Sub (Excel 第 26 行, 属组: vector) 测试接口 : aclnnSub / aclnnInplaceSub Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 损失差值、归一化、JVP 待确认项 : 无(Sub文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/sub/README.md。
[O29] Mul (Excel 第 27 行, 属组: vector) 测试接口 : aclnnMul / aclnnInplaceMul Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 门控、mask、调制、JVP 待确认项 : 无(Mul文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/mul/README.md。
[O30] Div (Excel 第 28 行, 属组: vector) 测试接口 : aclnnDiv / aclnnInplaceDiv Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 归一化、loss权重、注意力 待确认项 : 无(Div文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/div/README.md。
[O31] Pow / Square (Excel 第 29 行, 属组: vector) 测试接口 : aclnnPowTensorTensor / aclnnPowTensorScalar / aclnnSquare Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : RMS方差、损失、JVP 待确认项 : 无(Pow/Square文档支持950、BF16/FP32、ND,[E]覆盖;Square另支持INT32/INT64)。依据:ops-math/math/pow、square/README.md。
[O32] Sqrt / Rsqrt (Excel 第 30 行, 属组: vector) 测试接口 : aclnnSqrt / aclnnRsqrt Shape形式 : [E],含标量/通道广播 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 归一化、梯度范数、优化器 待确认项 : 无(Sqrt/Rsqrt文档支持950、BF16/FP32、ND,[E]覆盖)。依据:ops-math/math/sqrt、rsqrt/README.md。
[O33] Sum (Excel 第 31 行, 属组: vector) 测试接口 : aclnnReduceSum Shape形式 : [R,D] → [R] 或标量 方向 : 前向+适用反向 建议范围与配对约束: R=1~1,572,864;D=1~16,384;同时覆盖全量归约E≤2^31与keepdim。 精度 : BF16输入;FP32归约 是否支持 : Y 主要路径 : 损失、注意力/JVP、mask统计 待确认项 : 无(ReduceSum文档支持950、BF16输入/FP32归约、ND、0~8维,[R,D]→[R]/标量覆盖)。依据:ops-math/math/reduce_sum/docs/aclnnReduceSum.md。
[O34] Mean (Excel 第 32 行, 属组: vector) 测试接口 : aclnnMean / aclnnMeanV2 Shape形式 : [R,D] → [R] 或标量 方向 : 前向+适用反向 建议范围与配对约束: R=1~1,572,864;D=1~16,384;按通道、token及整张量分别归约。 精度 : BF16输入;FP32归约 是否支持 : Y 主要路径 : RMS/LayerNorm、loss、池化 待确认项 : 无(ReduceMean文档支持950、BF16/FP32、ND、1~8维,[R,D]→[R]/标量覆盖)。依据:ops-math/math/reduce_mean/docs/aclnnMean.md。
[O35] Max / Min归约 (Excel 第 33 行, 属组: vector) 测试接口 : aclnnMaxDim / aclnnMinDim Shape形式 : [R,D] → [R] 方向 : 前向 建议范围与配对约束: R=1~65,536;D=1~2304;保留values与indices的实际输出需求。 精度 : FP32 / INT64 / Bool 是否支持 : Y 主要路径 : mask长度、分组统计、诊断 待确认项 : 无(aclnnMaxDim/aclnnMinDim文档支持950、BF16/FP32/INT64/Bool、ND、1~8维,同时输出values+indices,覆盖客户需求)。依据:ops-math/math/arg_max_with_value、arg_min_with_value。
[O36] Clamp / Minimum / Maximum (Excel 第 34 行, 属组: vector) 测试接口 : aclnnClamp / aclnnClampTensor / aclnnMinimum / aclnnMaximum Shape形式 : [E] 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;同时覆盖标量阈值、[B,1,1]及逐token阈值广播。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 导数限幅、loss权重、坐标边界 待确认项 : 无(Clamp/Minimum/Maximum文档支持950、BF16/FP32、ND及broadcast,[E]/[B,1,1]/逐token阈值覆盖)。依据:ops-math/conversion/clip_by_value_v2、math/maximum、math/minimum。
[O37] Where / Masked Fill (Excel 第 35 行, 属组: vector) 测试接口 : aclnnSWhere / aclnnInplaceMaskedFillScalar / aclnnInplaceMaskedFillTensor Shape形式 : 值张量+可广播mask 方向 : 前向+适用反向 建议范围与配对约束: 值张量E=1~2^31;注意力mask可取[B,1,Q,L],B=1~64,Q/L=1~2304;同时覆盖[B,1,1]条件mask。 精度 : BF16 / FP32+Bool 是否支持 : Y 主要路径 : 条件丢弃、attention mask、候选过滤 待确认项 : 无(aclnnSWhere文档支持950、BF16/FP32、ND及broadcast,覆盖torch.where三参选择;MaskedFill的aclnnInplaceMaskedFillScalar/Tensor亦支持950。依据:ops-math/math/select、ops-math/conversion/masked_fill)。
[O38] RoPE / Sin / Cos(组合) (Excel 第 36 行, 属组: vector组合) 测试接口 : aclnnSin / aclnnCos + 自定义RoPE(torch.sin/cos/outer) Shape形式 : [B,L,D]或分头[B,H,L,d] 方向 : 前向+适用反向/JVP 建议范围与配对约束: B=1~64;L=1~2304;D={512,1152,2048,3072,4096};分头H={8,16,32,48,64},d={64,72,256}。文本head=256只旋转64维;频率与旋转配对保持源码布局。 精度 : BF16输入;FP32三角/计算 是否支持 : Y 主要路径 : 视频、动作、VLM位置与时间编码 待确认项 : 【待确认】是rotary_postion_embeding/sin/cos三个算子还是组合的一个rope_with_sin_cos_cache?
[O39] Embedding (Excel 第 37 行, 属组: vector) 测试接口 : aclnnEmbedding Shape形式 : indices[B,L];weight[V,D] 方向 : 前向+适用反向 建议范围与配对约束: B=1~64;L=1~768;词表(V=248320,D=2048/2560);位置(2304,1024);view(10,D=512/2048/3072/4096);body(14,6912)。 精度 : INT64索引;BF16权重 是否支持 : Y 主要路径 : 词表、位置、view/body条件 待确认项 : 无(Embedding文档支持950、BF16/FP32权重、INT64索引、ND,[B,L]索引+[V,D]权重覆盖)。依据:ops-nn/index/embedding/README.md。
[O40] Gather / Index Select (Excel 第 38 行, 属组: vector) 测试接口 : aclnnGatherV2 / aclnnIndexSelect Shape形式 : [B,L,D]及索引[B,K] 方向 : 前向+适用反向 建议范围与配对约束: B=1~256;L=1~2304;D=32~4096;K=1~L;覆盖沿batch与token轴选择。 精度 : BF16 / FP32+INT64 是否支持 : Y 主要路径 : 候选选择、token/位置索引 待确认项 : 无(GatherV2/IndexSelect文档支持950、BF16/FP32、INT64索引、ND,[B,L,D]+[B,K]覆盖)。注意GatherElementsV2 README标950×,若走该接口需另确认。依据:ops-nn/index/gather_v2。
[O41] Masked Scatter (Excel 第 39 行, 属组: vector) 测试接口 : aclnnInplaceMaskedScatter Shape形式 : 目标[B,L,D];源[P,D] 方向 : 前向 建议范围与配对约束: B=1~32;L=128~768;D={2048,2560};P=1~B×L,mask真值数必须与源元素数一致;P待实采。 精度 : BF16值+Bool mask 是否支持 : Y 主要路径 : VLM图像token写入 待确认项 : 无(MaskedScatter文档支持950、BF16、BOOL/UINT8 mask、ND,[B,L,D]+[P,D]覆盖)。依据:ops-nn/index/masked_scatter/docs/aclnnInplaceMaskedScatter.md。
[O42] Cat / Stack (Excel 第 40 行, 属组: vector) 测试接口 : aclnnCat / aclnnStack Shape形式 : 2~8份张量,沿batch/token/head拼接 方向 : 前向+适用反向 建议范围与配对约束: 输出总量1KiB~8GiB;单块可取[B,L,D],B=1~256、L=1~2304、D=32~16384;总量约束优先。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 帧/视角合批、JVP、特征融合 待确认项 : 无(Cat由ConcatD/aclnnCat、Stack由Pack/aclnnStack覆盖,均支持950、BF16/FP32、ND,2~8份拼接/堆叠)。依据:ops-math/conversion/concat_d、pack。
[O43] Repeat / Repeat Interleave (Excel 第 41 行, 属组: vector) 测试接口 : aclnnRepeatInterleave / aclnnRepeatInterleaveInt / aclnnRepeatInterleaveTensor Shape形式 : [B,L,D]或[N,C,H,W] 方向 : 前向+适用反向 建议范围与配对约束: 复制因子={2,3,4,8};输出总量1KiB~8GiB;GQA按Hq/Hkv,候选组以4为基准。 精度 : BF16 / FP32 / INT64 是否支持 : Y 主要路径 : 候选扩展、GQA头复制、解码shortcut 待确认项 : 【待确认】RepeatInterleave文档支持950;int repeats可使用2/3/4/8,但Tensor repeats的outputSize上限2^22,若用tensor repeats与8GiB总量要求冲突,需确认走int repeats。依据:ops-nn/index/repeat_interleave/docs/aclnnRepeatInterleaveTensor.md。
[O44] Transpose / Permute后的Contiguous (Excel 第 42 行, 属组: vector) 测试接口 : aclnnPermute + tensor.contiguous() Shape形式 : BHLD↔BLHD;NCHW↔channels-last 方向 : 前向+适用反向 建议范围与配对约束: 实际搬运1KiB~8GiB;注意力B=1~256、H=8~64、L=1~2304、D={32,64,72,128,256};卷积按对应层shape。纯view单独记元数据开销。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 注意力布局、卷积入口连续化 待确认项 : 【待确认】Permute/Transpose文档支持950、BF16/FP32、ND,BHLD↔BLHD/NCHW↔NHWC可表达;但Contiguous目录无产品支持/文档,需确认连续化由Permute内部完成还是单独接口。依据:ops-math/conversion/transpose/docs/aclnnPermute.md。
[O45] Copy / Copy_ (Excel 第 43 行, 属组: vector) 测试接口 : aclnnInplaceCopy / torch.Tensor.copy_(H2D/D2H用.to()) Shape形式 : [E]或strided tensor 方向 : 拷贝 建议范围与配对约束: 单次1KiB~8GiB;区分H2D、D2D、D2H;连续和非连续分别取样。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 设备拷贝、参数分片回写 待确认项 : 【待确认】Copy/Copy_(aclnnInplaceCopy)文档支持950、BF16/FP32,但仅覆盖device内copy;H2D/D2H属aclrtMemcpy运行时接口,文档未覆盖,需确认测试口径。依据:ops-math/conversion/view_copy/docs/aclnnInplaceCopy.md。
[O46] Dtype Cast (Excel 第 44 行, 属组: vector) 测试接口 : aclnnCast Shape形式 : [E] 方向 : 前向+适用反向 建议范围与配对约束: E=1~2^31;覆盖归约前上转与输出回转,以及非连续输入。 精度 : BF16↔FP32 是否支持 : Y 主要路径 : BF16与FP32混合精度边界 待确认项 : 无(Cast文档支持950、BF16↔FP32、ND,[E]覆盖)。依据:ops-math/math/cast/README.md。
[O47] Pixel Unshuffle (Excel 第 45 行, 属组: vector) 测试接口 : torch.nn.functional.pixel_unshuffle,对应aclnninplacecopy Shape形式 : [N,C,H,W] → [N,4C,H/2,W/2] 方向 : 前向 建议范围与配对约束: N=1~256;C=3~2048;H=4~512,W=6~768;factor=2,H/W必须可整除2。 精度 : BF16 是否支持 : ? 主要路径 : VAE下采样 待确认项 : 【待确认】未找到PixelUnshuffle算子文档(ops-cv/image下无对应目录),无法核对950与[N,C,H,W]→[N,4C,H/2,W/2];需确认是否由Reshape/Permute组合或其它仓库实现。
[O48] Pixel Shuffle (Excel 第 46 行, 属组: vector) 测试接口 : torch.nn.functional.pixel_shuffle,对应aclnninplacecopy Shape形式 : [N,4C,H,W] → [N,C,2H,2W] 方向 : 前向,解码时 建议范围与配对约束: N=1~256;输出C=3~2048;H=2~256,W=3~384;factor=2,输入通道为4C。 精度 : BF16 是否支持 : ? 主要路径 : VAE解码上采样 待确认项 : 【待确认】未找到PixelShuffle算子文档(ops-cv/image下无对应目录),无法核对950与[N,4C,H,W]→[N,C,2H,2W];需确认是否由Reshape/Permute组合或其它仓库实现。
[O49] Pad (Excel 第 47 行, 属组: vector) 测试接口 : aclnnConstantPadNd / aclnnReflectionPad2d Shape形式 : [N,C,H,W]或[B,H,D,L] 方向 : 前向 建议范围与配对约束: 图像N=1~256、C=3~512、H=2~512、W=3~768,padding=1~2;注意力D=32→33、L=1~6144;constant与reflect按路径区分。 精度 : BF16 / FP32 是否支持 : Y 主要路径 : 高斯模糊、VAE注意力、FLA 待确认项 : 无(PadV3/PadV2文档支持950、BF16/FP32、ND、1~8维,[N,C,H,W]/[B,H,D,L]及constant/reflect覆盖;reflect要求pad<对应边长,表内H=2且pad=2的边界组合需单独核算)。依据:ops-math/conversion/pad_v3。
[O50] Interpolate / Resize (Excel 第 48 行, 属组: vector) 测试接口 : aclnnResize / aclnnUpsampleNearest2d Shape形式 : [N,C,H,W] 方向 : 前向,路径依赖 建议范围与配对约束: 建议N=1~64;C=3或512;H=2~512,W=3~768;scale=0.5~2。位置嵌入按48×48网格、D=1024做索引插值;CPU/设备落点待实采。 精度 : FP32 / BF16 是否支持 : Y 主要路径 : 图像预处理、位置插值、可选稀疏目标 待确认项 : 【待确认】ResizeBilinear/Nearest/Bicubic文档支持950、NCHW、scale,但“位置嵌入48×48网格、D=1024索引插值”不是Resize标准场景,需确认由Gather/索引实现;Nearest2D另有内存<60GB约束,需按[N,C,H,W]核算。依据:ops-cv/image/resize_*。
[O51] Randn / Randn Like (Excel 第 49 行, 属组: vector) 测试接口 : aclnnNormalFloatFloat / torch.randn Shape形式 : 视频[B,L,512];动作[B,La,32] 方向 : 随机生成 建议范围与配对约束: B=1~192;视频L=48~1536;动作La=1~216;额外标量/时间采样覆盖[B]。 精度 : FP32 / BF16 是否支持 : Y 主要路径 : 视频/动作噪声、MeanFlow 待确认项 : 无(StatelessNormal文档支持950、FP32/BF16、ND,[B,L,512]/[B,La,32]覆盖)。依据:ops-math/random/stateless_normal/README.md。
[O52] Rand / Uniform (Excel 第 50 行, 属组: vector) 测试接口 : aclnnInplaceUniform / torch.rand Shape形式 : [B]、[B,L]及token分数 方向 : 随机生成 建议范围与配对约束: B=1~256;L=1~6144;同时覆盖候选分数[B,G],G=4~16。 精度 : FP32 是否支持 : Y 主要路径 : 时间、条件mask、token采样 待确认项 : 无(RandomUniformV2文档支持950、FP32/BF16、ND,[B]/[B,L]/[B,G]覆盖)。依据:ops-math/random/random_uniform_v2/README.md。
[O53] Masked MSE Loss(组合) (Excel 第 51 行, 属组: vector) 测试接口 : aclnnMseLoss / aclnnMseLossOut(mask组合用torch) Shape形式 : 视频[B,L,512];动作[B,La,32] 方向 : 前向+反向 建议范围与配对约束: B=1~192;L=48~1536;La=1~216;保留dense/sparse、padding与joint mask及有效元素分母。 精度 : FP32损失与归约 是否支持 : Y 主要路径 : 视频/动作训练损失 待确认项 : 【待确认】aclnnMseLoss/V2及MseLossGrad支持950、BF16/FP32、ND,但文档仅覆盖标准reduction,无mask/padding/joint mask语义;客户Masked MSE需确认组合路径及有效元素分母。依据:ops-nn/loss/mse_loss。
[O54] TopK / Sort (Excel 第 52 行, 属组: vector) 测试接口 : aclnnTopkV2 / aclnnSort / aclnnArgsort Shape形式 : [B,G]或[B,F,T] 方向 : 前向 建议范围与配对约束: 候选B=1~64,G=4~16,k=1~G(源码基准G=4、k=1);token采样B=1~192、F=1~9、T=6~384;token_dropout开启才使用后者。 精度 : FP32+INT64索引 是否支持 : Y 主要路径 : 候选筛选;可选token采样 待确认项 : 无(TopKV2/Sort文档支持950、FP32、INT64索引、ND,[B,G]/[B,F,T]覆盖)。依据:ops-math/math/top_k_v2、sort。
[O55] Cumsum (Excel 第 53 行, 属组: vector) 测试接口 : aclnnCumsum / aclnnCumsumV2 Shape形式 : [B,G]或[images] 方向 : 前向 建议范围与配对约束: B=1~64,G=4~16;视觉图像/时间片计数长度1~256。 精度 : FP32 / INT32 / INT64 是否支持 : Y 主要路径 : 候选分组统计、视觉变长边界 待确认项 : 无(Cumsum文档支持950、FP32/INT32/INT64、ND,[B,G]/[images]覆盖)。依据:ops-math/math/cumsum。
[O56] Quantile / Median / Std (Excel 第 54 行, 属组: vector) 测试接口 : aclnnMedian / aclnnStd(quantile用torch.quantile) Shape形式 : [B,G] → [B]或标量 方向 : 前向 建议范围与配对约束: B=1~64;G=4~16,包含基准4;quantile=0.5与std(unbiased=False)保持源码语义。此组通常为小张量开销。 精度 : FP32 是否支持 : Y 主要路径 : cotrain置信度与分组过滤 待确认项 : 【待确认】Median/Std文档支持950、FP32、ND,但未找到Quantile算子文档;客户quantile=0.5需确认由Median替代或其它接口。依据:ops-nn/index/median、ops-math/math/reduce_std_v2。
[O57] AdamW(含foreach/融合更新) (Excel 第 55 行, 属组: vector) 测试接口 : aclnnApplyAdamW / aclnnApplyAdamWV2(混合精度用torch.optim.AdamW) Shape形式 : 参数、梯度、m、v:同长[E]或tensor list 方向 : 参数更新 建议范围与配对约束: 单tensor E=1024~2^28;tensor list=1~256个;总元素量按真实参数分组/分片匹配;实际fused/foreach实现待实采。 精度 : FP32状态;参数按实际dtype 是否支持 : Y 主要路径 : 优化器 待确认项 : 【待确认】ApplyAdamW/V2文档支持950、FP16/BF16/FP32,但要求varRef、mRef、vRef、grad同dtype;客户“FP32状态+参数实际dtype”的混合精度组合未被文档覆盖,需确认统一dtype或其它优化器接口;另未见foreach AdamW文档。依据:ops-nn/optim/apply_adam_w。
[O66] AdaLN / Scale-Shift-Gate(组合) (Excel 第 59 行, 属组: 组合?) 测试接口 : aclnnAdaLayerNormV2 / torch.nn.functional.layer_norm + scale/shift/gate(组合) Shape形式 : x[B,L,D];调制[B,6D]或[B,L,6D] 方向 : 前向+反向 建议范围与配对约束: B=1~128;L=1~1536;D={1152,2048,3072,4096};调制宽度6D=6912~24,576,按D配套;包含逐token时间与样本级广播。 精度 : BF16;归一化部分FP32 是否支持 : N 主要路径 : 视频与动作时间调制、残差门控 待确认项 :
[O67] FFN / SwiGLU(组合) (Excel 第 60 行, 属组: 组合?) 测试接口 : aclnnSwiGlu / torch.nn.functional.silu + linear(组合) Shape形式 : [M,D] → [M,F] → [M,D] 方向 : 前向+适用反向 建议范围与配对约束: M=1~27,648;(D,F)={(1024,4096),(1152,4608),(2048,6144),(2048,8192),(2560,9216),(3072,12288),(4096,16384)};GELU两层与SiLU门控三投影分别按源码执行。 精度 : BF16;FP32对照 是否支持 : N 主要路径 : 视频、动作、VLM前馈网络 待确认项 :
数组类(vector)算子 Shape 提取 —— 来源: d:\welink\智元_op_shape_list.xlsx [sheet: 算子与Shape]
筛选口径: 属组含 vector/Vector(含组合)、cube+vector 组合,以及组合类(组合?)与无属组但实为向量算子;共 49 条
编号 | 算子 | 测试接口 | Shape形式 | 方向 | 建议范围与配对约束 | 精度 | 是否支持 | 属组
O11 | VAE Linear Attention(组合) | torch.matmul + torch.softmax(组合) |
Q/K/V[N,h,32,T]| 前向 | N=1~256;h={16,32,64};T=48~6144,且T>32;补1后V的通道为33;覆盖VKᵀ、乘Q及归一化除法。 | BF16输入;FP32计算 | N | cube+vector 组合??O12 | VAE Quadratic Attention(组合) | torch.matmul + torch.softmax + torch.sum(组合) |
Q/K/V[N,h,32,T];分数[N,h,T,T]| 前向 | N=1~256;h={16,32,64};T=1~32,包含6、24;同时保留原matmul与当前显式mul+sum规避路径的对照。 | BF16输入;当前规避路径FP32 | N | cube+vector 组合??O13 | RMSNorm | aclnnRmsNorm |
[R,D]| 前向+适用反向 | R=1~1,572,864;D={64,72,128,256,512,1024,1152,2048,2560,3072,4096};eps=1e-6或1e-5,按原模块取值。 | BF16输入;FP32归约 | Y | VectorO14 | LayerNorm | aclnnLayerNorm / aclnnLayerNormWithImplMode |
[R,D]| 前向+适用反向 | R=1~65,536;D={1024,1152,2048,2560,3072,4096};affine及eps按原模块保留。 | BF16输入;FP32归约 | Y | VectorO15 | BatchNorm2d(eval) | aclnnBatchNorm(training=false) |
[N,C,H,W]| 前向,解码时 | N=1~256;C={128,256,512};H=16~512,W=24~768;固定running mean/var。 | BF16;FP32统计 | Y | VectorO16 | L2 Normalize | torch.nn.functional.normalize(无aclnn文档) |
[B,L,H,128]或[R,D]| 前向+适用反向 | Q/K:B=1~32,L=128~768,H={16,32},D=128,eps=1e-6;融合池化:[B,J,D],B=1~64,J=24~32,D={2048,2560},eps按F.normalize源码。 | BF16 / FP32 | Y | VectorO17 | RMSNormGated(融合组合) | torch.nn.functional.rms_norm + torch.nn.functional.silu(组合) |
x,z[B,L,H,128]| 前向 | B=1~32;L=128~768;H={16,32};逐头RMSNorm×SiLU(z)。 | BF16输入;FP32归约/门控 | Y | Vector组合?O18 | GELU(tanh近似) | aclnnGelu / aclnnGeluBackward |
[M,F]| 前向+适用反向 | M=1~27,648;F={4096,4608,8192,12288,16384};保留tanh近似。 | BF16;FP32对照 | Y | vectorO19 | SiLU | aclnnSilu / aclnnSwish(反向aclnnSwishBackward) |
[M,F] 或 [N,C,H,W]| 前向+适用反向 | 二维M=1~27,648,F=128~9216;卷积形状N=1~256,C=2048~16384,H=2~64,W=3~96;按对应路径配对。 | BF16 / FP32 | Y | vectorO20 | ReLU | aclnnRelu / aclnnInplaceRelu |
[E]| 前向 | E=1~2^31;包含从[N,h,32,T]和图像特征展平的张量。 | BF16 / FP32 | Y | vectorO21 | ReLU6 | torch.nn.functional.relu6(无aclnnRelu6文档) |
[N,C,H,W]| 前向 | N=1~256;C={128,256,512};H=8~512,W=12~768;截断区间[0,6]。 | BF16 / FP32 | Y | 未标注O22 | Sigmoid | aclnnSigmoid / aclnnInplaceSigmoid |
[B,L,H] 或 [B,L,D]| 前向+适用反向 | B=1~64;L=1~768;H={16,32};输出门控D={2048,4096};采样标量也覆盖[B]。 | BF16 / FP32 | Y | vectorO23 | Softplus | aclnnSoftplus / aclnnSoftplusBackward |
[B,L,H]| 前向 | B=1~32;L=128~768;H={16,32};dt_bias沿最后一维广播。 | FP32 | Y | vectorO24 | Tanh | aclnnTanh / aclnnInplaceTanh |
[E]| 前向+适用反向 | E=1~2^29;包含FFN大张量及[B,G]小张量,B=1~64、G=4~16。 | BF16 / FP32 | Y | vectorO25 | Softmax | aclnnSoftmax / aclnnSoftmaxBackward |
[B,H,Q,L] 或 [R,L]| 前向+适用反向 | 注意力B=1~64,H=8~64,Q=1~1536,L=1~2304;小门控L=4~54。沿最后一维,保持实际mask。 | BF16输入可选;FP32归约 | Y | vectorO26 | Exp | aclnnExp / aclnnInplaceExp |
[E]| 前向+适用反向 | E=16~2^26;包含[H]参数广播、[B,L,H]及chunk内部衰减矩阵。 | FP32 | Y | vectorO27 | Add | aclnnAdd / aclnnInplaceAdd |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO28 | Sub | aclnnSub / aclnnInplaceSub |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO29 | Mul | aclnnMul / aclnnInplaceMul |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO30 | Div | aclnnDiv / aclnnInplaceDiv |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO31 | Pow / Square | aclnnPowTensorTensor / aclnnPowTensorScalar / aclnnSquare |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO32 | Sqrt / Rsqrt | aclnnSqrt / aclnnRsqrt |
[E],含标量/通道广播| 前向+适用反向 | E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。 | BF16 / FP32 | Y | vectorO33 | Sum | aclnnReduceSum |
[R,D] → [R] 或标量| 前向+适用反向 | R=1~1,572,864;D=1~16,384;同时覆盖全量归约E≤2^31与keepdim。 | BF16输入;FP32归约 | Y | vectorO34 | Mean | aclnnMean / aclnnMeanV2 |
[R,D] → [R] 或标量| 前向+适用反向 | R=1~1,572,864;D=1~16,384;按通道、token及整张量分别归约。 | BF16输入;FP32归约 | Y | vectorO35 | Max / Min归约 | aclnnMaxDim / aclnnMinDim |
[R,D] → [R]| 前向 | R=1~65,536;D=1~2304;保留values与indices的实际输出需求。 | FP32 / INT64 / Bool | Y | vectorO36 | Clamp / Minimum / Maximum | aclnnClamp / aclnnClampTensor / aclnnMinimum / aclnnMaximum |
[E]| 前向+适用反向 | E=1~2^31;同时覆盖标量阈值、[B,1,1]及逐token阈值广播。 | BF16 / FP32 | Y | vectorO37 | Where / Masked Fill | aclnnSWhere / aclnnInplaceMaskedFillScalar / aclnnInplaceMaskedFillTensor |
值张量+可广播mask| 前向+适用反向 | 值张量E=1~2^31;注意力mask可取[B,1,Q,L],B=1~64,Q/L=1~2304;同时覆盖[B,1,1]条件mask。 | BF16 / FP32+Bool | Y | vectorO38 | RoPE / Sin / Cos(组合) | aclnnSin / aclnnCos + 自定义RoPE(torch.sin/cos/outer) |
[B,L,D]或分头[B,H,L,d]| 前向+适用反向/JVP | B=1~64;L=1~2304;D={512,1152,2048,3072,4096};分头H={8,16,32,48,64},d={64,72,256}。文本head=256只旋转64维;频率与旋转配对保持源码布局。 | BF16输入;FP32三角/计算 | Y | vector组合?O39 | Embedding | aclnnEmbedding |
indices[B,L];weight[V,D]| 前向+适用反向 | B=1~64;L=1~768;词表(V=248320,D=2048/2560);位置(2304,1024);view(10,D=512/2048/3072/4096);body(14,6912)。 | INT64索引;BF16权重 | Y | vectorO40 | Gather / Index Select | aclnnGatherV2 / aclnnIndexSelect |
[B,L,D]及索引[B,K]| 前向+适用反向 | B=1~256;L=1~2304;D=32~4096;K=1~L;覆盖沿batch与token轴选择。 | BF16 / FP32+INT64 | Y | vectorO41 | Masked Scatter | aclnnInplaceMaskedScatter |
目标[B,L,D];源[P,D]| 前向 | B=1~32;L=128~768;D={2048,2560};P=1~B×L,mask真值数必须与源元素数一致;P待实采。 | BF16值+Bool mask | Y | vectorO42 | Cat / Stack | aclnnCat / aclnnStack |
2~8份张量,沿batch/token/head拼接| 前向+适用反向 | 输出总量1KiB~8GiB;单块可取[B,L,D],B=1~256、L=1~2304、D=32~16384;总量约束优先。 | BF16 / FP32 | Y | vectorO43 | Repeat / Repeat Interleave | aclnnRepeatInterleave / aclnnRepeatInterleaveInt / aclnnRepeatInterleaveTensor |
[B,L,D]或[N,C,H,W]| 前向+适用反向 | 复制因子={2,3,4,8};输出总量1KiB~8GiB;GQA按Hq/Hkv,候选组以4为基准。 | BF16 / FP32 / INT64 | Y | vectorO44 | Transpose / Permute后的Contiguous | aclnnPermute + tensor.contiguous() |
BHLD↔BLHD;NCHW↔channels-last| 前向+适用反向 | 实际搬运1KiB~8GiB;注意力B=1~256、H=8~64、L=1~2304、D={32,64,72,128,256};卷积按对应层shape。纯view单独记元数据开销。 | BF16 / FP32 | Y | vectorO45 | Copy / Copy_ | aclnnInplaceCopy / torch.Tensor.copy_(H2D/D2H用.to()) |
[E]或strided tensor| 拷贝 | 单次1KiB~8GiB;区分H2D、D2D、D2H;连续和非连续分别取样。 | BF16 / FP32 | Y | vectorO46 | Dtype Cast | aclnnCast |
[E]| 前向+适用反向 | E=1~2^31;覆盖归约前上转与输出回转,以及非连续输入。 | BF16↔FP32 | Y | vectorO47 | Pixel Unshuffle | torch.nn.functional.pixel_unshuffle,对应aclnninplacecopy |
[N,C,H,W] → [N,4C,H/2,W/2]| 前向 | N=1~256;C=3~2048;H=4~512,W=6~768;factor=2,H/W必须可整除2。 | BF16 | ? | vectorO48 | Pixel Shuffle | torch.nn.functional.pixel_shuffle,对应aclnninplacecopy |
[N,4C,H,W] → [N,C,2H,2W]| 前向,解码时 | N=1~256;输出C=3~2048;H=2~256,W=3~384;factor=2,输入通道为4C。 | BF16 | ? | vectorO49 | Pad | aclnnConstantPadNd / aclnnReflectionPad2d |
[N,C,H,W]或[B,H,D,L]| 前向 | 图像N=1~256、C=3~512、H=2~512、W=3~768,padding=1~2;注意力D=32→33、L=1~6144;constant与reflect按路径区分。 | BF16 / FP32 | Y | vectorO50 | Interpolate / Resize | aclnnResize / aclnnUpsampleNearest2d |
[N,C,H,W]| 前向,路径依赖 | 建议N=1~64;C=3或512;H=2~512,W=3~768;scale=0.5~2。位置嵌入按48×48网格、D=1024做索引插值;CPU/设备落点待实采。 | FP32 / BF16 | Y | vectorO51 | Randn / Randn Like | aclnnNormalFloatFloat / torch.randn |
视频[B,L,512];动作[B,La,32]| 随机生成 | B=1~192;视频L=48~1536;动作La=1~216;额外标量/时间采样覆盖[B]。 | FP32 / BF16 | Y | vectorO52 | Rand / Uniform | aclnnInplaceUniform / torch.rand |
[B]、[B,L]及token分数| 随机生成 | B=1~256;L=1~6144;同时覆盖候选分数[B,G],G=4~16。 | FP32 | Y | vectorO53 | Masked MSE Loss(组合) | aclnnMseLoss / aclnnMseLossOut(mask组合用torch) |
视频[B,L,512];动作[B,La,32]| 前向+反向 | B=1~192;L=48~1536;La=1~216;保留dense/sparse、padding与joint mask及有效元素分母。 | FP32损失与归约 | Y | vectorO54 | TopK / Sort | aclnnTopkV2 / aclnnSort / aclnnArgsort |
[B,G]或[B,F,T]| 前向 | 候选B=1~64,G=4~16,k=1~G(源码基准G=4、k=1);token采样B=1~192、F=1~9、T=6~384;token_dropout开启才使用后者。 | FP32+INT64索引 | Y | vectorO55 | Cumsum | aclnnCumsum / aclnnCumsumV2 |
[B,G]或[images]| 前向 | B=1~64,G=4~16;视觉图像/时间片计数长度1~256。 | FP32 / INT32 / INT64 | Y | vectorO56 | Quantile / Median / Std | aclnnMedian / aclnnStd(quantile用torch.quantile) |
[B,G] → [B]或标量| 前向 | B=1~64;G=4~16,包含基准4;quantile=0.5与std(unbiased=False)保持源码语义。此组通常为小张量开销。 | FP32 | Y | vectorO57 | AdamW(含foreach/融合更新) | aclnnApplyAdamW / aclnnApplyAdamWV2(混合精度用torch.optim.AdamW) |
参数、梯度、m、v:同长[E]或tensor list| 参数更新 | 单tensor E=1024~2^28;tensor list=1~256个;总元素量按真实参数分组/分片匹配;实际fused/foreach实现待实采。 | FP32状态;参数按实际dtype | Y | vectorO66 | AdaLN / Scale-Shift-Gate(组合) | aclnnAdaLayerNormV2 / torch.nn.functional.layer_norm + scale/shift/gate(组合) |
x[B,L,D];调制[B,6D]或[B,L,6D]| 前向+反向 | B=1~128;L=1~1536;D={1152,2048,3072,4096};调制宽度6D=6912~24,576,按D配套;包含逐token时间与样本级广播。 | BF16;归一化部分FP32 | N | 组合?O67 | FFN / SwiGLU(组合) | aclnnSwiGlu / torch.nn.functional.silu + linear(组合) |
[M,D] → [M,F] → [M,D]| 前向+适用反向 | M=1~27,648;(D,F)={(1024,4096),(1152,4608),(2048,6144),(2048,8192),(2560,9216),(3072,12288),(4096,16384)};GELU两层与SiLU门控三投影分别按源码执行。 | BF16;FP32对照 | N | 组合?统计: cube+vector 组合 = 2, vector = 42, vector组合 = 2, 未标注属组 = 1, 组合? = 2
说明: 属组=组合? 的 O66 AdaLN、O67 FFN/SwiGLU 为小算子拼接;O21 ReLU6 属组为空但属向量算子,一并纳入。
========================================================================================================================
二、明细(逐行字段展示)
[O11] VAE Linear Attention(组合) (Excel 第 9 行, 属组: cube+vector 组合)
测试接口 : torch.matmul + torch.softmax(组合)
Shape形式 :
Q/K/V[N,h,32,T]方向 : 前向
建议范围与配对约束: N=1~256;h={16,32,64};T=48~6144,且T>32;补1后V的通道为33;覆盖VKᵀ、乘Q及归一化除法。
精度 : BF16输入;FP32计算
是否支持 : N
主要路径 : VAE较大空间网格
待确认项 : 【待确认】VAE Linear Attention为组合项,无单一算子文档;需拆解到matmul(QKᵀ/PV)、softmax、归一化等子算子核对,当前无法直接确认950与T≤6144/通道33范围。
[O12] VAE Quadratic Attention(组合) (Excel 第 10 行, 属组: cube+vector 组合)
测试接口 : torch.matmul + torch.softmax + torch.sum(组合)
Shape形式 :
Q/K/V[N,h,32,T];分数[N,h,T,T]方向 : 前向
建议范围与配对约束: N=1~256;h={16,32,64};T=1~32,包含6、24;同时保留原matmul与当前显式mul+sum规避路径的对照。
精度 : BF16输入;当前规避路径FP32
是否支持 : N
主要路径 : VAE小空间网格
待确认项 : 【待确认】VAE Quadratic Attention为组合项,无单一算子文档;需拆解到matmul、softmax、mul+sum等子算子核对,当前无法直接确认950与T≤32/显式分数矩阵范围。
[O13] RMSNorm (Excel 第 11 行, 属组: vector)
测试接口 : aclnnRmsNorm
Shape形式 :
[R,D]方向 : 前向+适用反向
建议范围与配对约束: R=1~1,572,864;D={64,72,128,256,512,1024,1152,2048,2560,3072,4096};eps=1e-6或1e-5,按原模块取值。
精度 : BF16输入;FP32归约
是否支持 : Y
主要路径 : 视频、动作、VLM、VAE
待确认项 : 无(RmsNorm文档支持950、BF16/FP32、ND、1~8维,[R,D]覆盖,D≤4096;eps属性存在)。依据:ops-nn/norm/rms_norm/README.md。
[O14] LayerNorm (Excel 第 12 行, 属组: vector)
测试接口 : aclnnLayerNorm / aclnnLayerNormWithImplMode
Shape形式 :
[R,D]方向 : 前向+适用反向
建议范围与配对约束: R=1~65,536;D={1024,1152,2048,2560,3072,4096};affine及eps按原模块保留。
精度 : BF16输入;FP32归约
是否支持 : Y
主要路径 : 视频/动作输出、视觉编码、特征融合
待确认项 : 无(LayerNorm文档支持950、BF16/FP32、ND,[R,D]及affine/eps覆盖)。依据:ops-nn/norm/layer_norm/README.md。
[O15] BatchNorm2d(eval) (Excel 第 13 行, 属组: vector)
测试接口 : aclnnBatchNorm(training=false)
Shape形式 :
[N,C,H,W]方向 : 前向,解码时
建议范围与配对约束: N=1~256;C={128,256,512};H=16~512,W=24~768;固定running mean/var。
精度 : BF16;FP32统计
是否支持 : Y
主要路径 : VAE解码的早期ResBlock
待确认项 : 无(BatchNormV3文档支持950、BF16/FP32、4D/5D NCHW/NHWC,training=false推理路径有说明;C≤512/H≤512/W≤768覆盖)。依据:ops-nn/norm/batch_norm_v3/README.md。
[O16] L2 Normalize (Excel 第 14 行, 属组: vector)
测试接口 : torch.nn.functional.normalize(无aclnn文档)
Shape形式 :
[B,L,H,128]或[R,D]方向 : 前向+适用反向
建议范围与配对约束: Q/K:B=1~32,L=128~768,H={16,32},D=128,eps=1e-6;融合池化:[B,J,D],B=1~64,J=24~32,D={2048,2560},eps按F.normalize源码。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : VLM Q/K与多层特征融合
待确认项 : 【待确认】L2Normalize文档支持950,但仅列FLOAT16/FLOAT32,未支持BFLOAT16;客户Q/K要求BF16,存在精度/接口不匹配,需确认改用FP32或其它归一化算子。shape [B,L,H,128]/[R,D]及1~8维支持。依据:ops-nn/norm/l2_normalize/README.md。
[O17] RMSNormGated(融合组合) (Excel 第 15 行, 属组: vector组合)
测试接口 : torch.nn.functional.rms_norm + torch.nn.functional.silu(组合)
Shape形式 :
x,z[B,L,H,128]方向 : 前向
建议范围与配对约束: B=1~32;L=128~768;H={16,32};逐头RMSNorm×SiLU(z)。
精度 : BF16输入;FP32归约/门控
是否支持 : Y
主要路径 : VLM线性注意力输出
待确认项 : 【待确认】未找到RMSNormGated独立算子文档;需按RMSNorm+SiLU组合或确认融合接口,当前无法直接核对950与[B,L,H,128]范围。
[O18] GELU(tanh近似) (Excel 第 16 行, 属组: vector)
测试接口 : aclnnGelu / aclnnGeluBackward
Shape形式 :
[M,F]方向 : 前向+适用反向
建议范围与配对约束: M=1~27,648;F={4096,4608,8192,12288,16384};保留tanh近似。
精度 : BF16;FP32对照
是否支持 : Y
主要路径 : 视频、动作、视觉FFN
待确认项 : 无(aclnnGelu文档支持950、BF16/FP32,公式即tanh近似,[M,F]覆盖)。依据:ops-nn/activation/gelu/docs/aclnnGelu.md。
[O19] SiLU (Excel 第 17 行, 属组: vector)
测试接口 : aclnnSilu / aclnnSwish(反向aclnnSwishBackward)
Shape形式 :
[M,F] 或 [N,C,H,W]方向 : 前向+适用反向
建议范围与配对约束: 二维M=1~27,648,F=128~9216;卷积形状N=1~256,C=2048~16384,H=2~64,W=3~96;按对应路径配对。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : VAE门控、VLM MLP、时间嵌入
待确认项 : 无(aclnnSilu/Swish文档支持950、BF16/FP32、ND、1~8维,二维及[N,C,H,W]均覆盖)。依据:ops-nn/activation/swish/docs/aclnnSilu.md。
[O20] ReLU (Excel 第 18 行, 属组: vector)
测试接口 : aclnnRelu / aclnnInplaceRelu
Shape形式 :
[E]方向 : 前向
建议范围与配对约束: E=1~2^31;包含从[N,h,32,T]和图像特征展平的张量。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : VAE Q/K与解码
待确认项 : 无(ReLU文档支持950、BF16/FP32、ND,[E]覆盖;反向ReLUGradV2亦支持950)。依据:ops-nn/activation/relu_v2/README.md。
[O21] ReLU6 (Excel 第 19 行, 属组: 未标注属组)
测试接口 : torch.nn.functional.relu6(无aclnnRelu6文档)
Shape形式 :
[N,C,H,W]方向 : 前向
建议范围与配对约束: N=1~256;C={128,256,512};H=8~512,W=12~768;截断区间[0,6]。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : VAE编码ResBlock
待确认项 : 无(ReLU6文档支持950、BF16/FP32、≤8维,[N,C,H,W]覆盖)。依据:ops-nn/activation/relu6/README.md。
[O22] Sigmoid (Excel 第 20 行, 属组: vector)
测试接口 : aclnnSigmoid / aclnnInplaceSigmoid
Shape形式 :
[B,L,H] 或 [B,L,D]方向 : 前向+适用反向
建议范围与配对约束: B=1~64;L=1~768;H={16,32};输出门控D={2048,4096};采样标量也覆盖[B]。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : VLM门控、时间采样
待确认项 : 无(Sigmoid文档支持950、BF16/FP32、ND,[B,L,H]/[B,L,D]/[B]覆盖)。依据:ops-nn/activation/sigmoid/README.md。
[O23] Softplus (Excel 第 21 行, 属组: vector)
测试接口 : aclnnSoftplus / aclnnSoftplusBackward
Shape形式 :
[B,L,H]方向 : 前向
建议范围与配对约束: B=1~32;L=128~768;H={16,32};dt_bias沿最后一维广播。
精度 : FP32
是否支持 : Y
主要路径 : VLM衰减门控
待确认项 : 无(Softplus文档支持950、FP32(另支持BF16/FP16)、ND,[B,L,H]覆盖)。依据:ops-nn/activation/softplus_v2/README.md。
[O24] Tanh (Excel 第 22 行, 属组: vector)
测试接口 : aclnnTanh / aclnnInplaceTanh
Shape形式 :
[E]方向 : 前向+适用反向
建议范围与配对约束: E=1~2^29;包含FFN大张量及[B,G]小张量,B=1~64、G=4~16。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : GELU/JVP内部、cotrain置信权重
待确认项 : 无(Tanh文档支持950、BF16/FP32、ND,[E]/[B,G]覆盖)。依据:ops-math/math/tanh/README.md。
[O25] Softmax (Excel 第 23 行, 属组: vector)
测试接口 : aclnnSoftmax / aclnnSoftmaxBackward
Shape形式 :
[B,H,Q,L] 或 [R,L]方向 : 前向+适用反向
建议范围与配对约束: 注意力B=1~64,H=8~64,Q=1~1536,L=1~2304;小门控L=4~54。沿最后一维,保持实际mask。
精度 : BF16输入可选;FP32归约
是否支持 : Y
主要路径 : 显式注意力、JVP、特征融合
待确认项 : 无(SoftmaxV2文档支持950、BF16/FP32、ND、任意轴,[B,H,Q,L]/[R,L]覆盖)。依据:ops-nn/activation/softmax_v2/README.md。
[O26] Exp (Excel 第 24 行, 属组: vector)
测试接口 : aclnnExp / aclnnInplaceExp
Shape形式 :
[E]方向 : 前向+适用反向
建议范围与配对约束: E=16~2^26;包含[H]参数广播、[B,L,H]及chunk内部衰减矩阵。
精度 : FP32
是否支持 : Y
主要路径 : FLA衰减、时间/位置编码
待确认项 : 无(Exp文档支持950、FP32、ND,[E]覆盖)。依据:ops-math/math/exp/README.md。
[O27] Add (Excel 第 25 行, 属组: vector)
测试接口 : aclnnAdd / aclnnInplaceAdd
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 残差、bias、时间调制
待确认项 : 无(Add文档支持950、BF16/FP32、ND及broadcast,[M,D]+[D]/[B,L,D]+[B,1,D]覆盖)。依据:ops-math/math/add/README.md。
[O28] Sub (Excel 第 26 行, 属组: vector)
测试接口 : aclnnSub / aclnnInplaceSub
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 损失差值、归一化、JVP
待确认项 : 无(Sub文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/sub/README.md。
[O29] Mul (Excel 第 27 行, 属组: vector)
测试接口 : aclnnMul / aclnnInplaceMul
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 门控、mask、调制、JVP
待确认项 : 无(Mul文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/mul/README.md。
[O30] Div (Excel 第 28 行, 属组: vector)
测试接口 : aclnnDiv / aclnnInplaceDiv
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 归一化、loss权重、注意力
待确认项 : 无(Div文档支持950、BF16/FP32、ND及broadcast,覆盖表内广播形态)。依据:ops-math/math/div/README.md。
[O31] Pow / Square (Excel 第 29 行, 属组: vector)
测试接口 : aclnnPowTensorTensor / aclnnPowTensorScalar / aclnnSquare
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : RMS方差、损失、JVP
待确认项 : 无(Pow/Square文档支持950、BF16/FP32、ND,[E]覆盖;Square另支持INT32/INT64)。依据:ops-math/math/pow、square/README.md。
[O32] Sqrt / Rsqrt (Excel 第 30 行, 属组: vector)
测试接口 : aclnnSqrt / aclnnRsqrt
Shape形式 :
[E],含标量/通道广播方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;广播覆盖[M,D]+[D]、[B,L,D]与[B,1,D];按原shape恢复归约与广播轴。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 归一化、梯度范数、优化器
待确认项 : 无(Sqrt/Rsqrt文档支持950、BF16/FP32、ND,[E]覆盖)。依据:ops-math/math/sqrt、rsqrt/README.md。
[O33] Sum (Excel 第 31 行, 属组: vector)
测试接口 : aclnnReduceSum
Shape形式 :
[R,D] → [R] 或标量方向 : 前向+适用反向
建议范围与配对约束: R=1~1,572,864;D=1~16,384;同时覆盖全量归约E≤2^31与keepdim。
精度 : BF16输入;FP32归约
是否支持 : Y
主要路径 : 损失、注意力/JVP、mask统计
待确认项 : 无(ReduceSum文档支持950、BF16输入/FP32归约、ND、0~8维,[R,D]→[R]/标量覆盖)。依据:ops-math/math/reduce_sum/docs/aclnnReduceSum.md。
[O34] Mean (Excel 第 32 行, 属组: vector)
测试接口 : aclnnMean / aclnnMeanV2
Shape形式 :
[R,D] → [R] 或标量方向 : 前向+适用反向
建议范围与配对约束: R=1~1,572,864;D=1~16,384;按通道、token及整张量分别归约。
精度 : BF16输入;FP32归约
是否支持 : Y
主要路径 : RMS/LayerNorm、loss、池化
待确认项 : 无(ReduceMean文档支持950、BF16/FP32、ND、1~8维,[R,D]→[R]/标量覆盖)。依据:ops-math/math/reduce_mean/docs/aclnnMean.md。
[O35] Max / Min归约 (Excel 第 33 行, 属组: vector)
测试接口 : aclnnMaxDim / aclnnMinDim
Shape形式 :
[R,D] → [R]方向 : 前向
建议范围与配对约束: R=1~65,536;D=1~2304;保留values与indices的实际输出需求。
精度 : FP32 / INT64 / Bool
是否支持 : Y
主要路径 : mask长度、分组统计、诊断
待确认项 : 无(aclnnMaxDim/aclnnMinDim文档支持950、BF16/FP32/INT64/Bool、ND、1~8维,同时输出values+indices,覆盖客户需求)。依据:ops-math/math/arg_max_with_value、arg_min_with_value。
[O36] Clamp / Minimum / Maximum (Excel 第 34 行, 属组: vector)
测试接口 : aclnnClamp / aclnnClampTensor / aclnnMinimum / aclnnMaximum
Shape形式 :
[E]方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;同时覆盖标量阈值、[B,1,1]及逐token阈值广播。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 导数限幅、loss权重、坐标边界
待确认项 : 无(Clamp/Minimum/Maximum文档支持950、BF16/FP32、ND及broadcast,[E]/[B,1,1]/逐token阈值覆盖)。依据:ops-math/conversion/clip_by_value_v2、math/maximum、math/minimum。
[O37] Where / Masked Fill (Excel 第 35 行, 属组: vector)
测试接口 : aclnnSWhere / aclnnInplaceMaskedFillScalar / aclnnInplaceMaskedFillTensor
Shape形式 :
值张量+可广播mask方向 : 前向+适用反向
建议范围与配对约束: 值张量E=1~2^31;注意力mask可取[B,1,Q,L],B=1~64,Q/L=1~2304;同时覆盖[B,1,1]条件mask。
精度 : BF16 / FP32+Bool
是否支持 : Y
主要路径 : 条件丢弃、attention mask、候选过滤
待确认项 : 无(aclnnSWhere文档支持950、BF16/FP32、ND及broadcast,覆盖torch.where三参选择;MaskedFill的aclnnInplaceMaskedFillScalar/Tensor亦支持950。依据:ops-math/math/select、ops-math/conversion/masked_fill)。
[O38] RoPE / Sin / Cos(组合) (Excel 第 36 行, 属组: vector组合)
测试接口 : aclnnSin / aclnnCos + 自定义RoPE(torch.sin/cos/outer)
Shape形式 :
[B,L,D]或分头[B,H,L,d]方向 : 前向+适用反向/JVP
建议范围与配对约束: B=1~64;L=1~2304;D={512,1152,2048,3072,4096};分头H={8,16,32,48,64},d={64,72,256}。文本head=256只旋转64维;频率与旋转配对保持源码布局。
精度 : BF16输入;FP32三角/计算
是否支持 : Y
主要路径 : 视频、动作、VLM位置与时间编码
待确认项 : 【待确认】是rotary_postion_embeding/sin/cos三个算子还是组合的一个rope_with_sin_cos_cache?
[O39] Embedding (Excel 第 37 行, 属组: vector)
测试接口 : aclnnEmbedding
Shape形式 :
indices[B,L];weight[V,D]方向 : 前向+适用反向
建议范围与配对约束: B=1~64;L=1~768;词表(V=248320,D=2048/2560);位置(2304,1024);view(10,D=512/2048/3072/4096);body(14,6912)。
精度 : INT64索引;BF16权重
是否支持 : Y
主要路径 : 词表、位置、view/body条件
待确认项 : 无(Embedding文档支持950、BF16/FP32权重、INT64索引、ND,[B,L]索引+[V,D]权重覆盖)。依据:ops-nn/index/embedding/README.md。
[O40] Gather / Index Select (Excel 第 38 行, 属组: vector)
测试接口 : aclnnGatherV2 / aclnnIndexSelect
Shape形式 :
[B,L,D]及索引[B,K]方向 : 前向+适用反向
建议范围与配对约束: B=1~256;L=1~2304;D=32~4096;K=1~L;覆盖沿batch与token轴选择。
精度 : BF16 / FP32+INT64
是否支持 : Y
主要路径 : 候选选择、token/位置索引
待确认项 : 无(GatherV2/IndexSelect文档支持950、BF16/FP32、INT64索引、ND,[B,L,D]+[B,K]覆盖)。注意GatherElementsV2 README标950×,若走该接口需另确认。依据:ops-nn/index/gather_v2。
[O41] Masked Scatter (Excel 第 39 行, 属组: vector)
测试接口 : aclnnInplaceMaskedScatter
Shape形式 :
目标[B,L,D];源[P,D]方向 : 前向
建议范围与配对约束: B=1~32;L=128~768;D={2048,2560};P=1~B×L,mask真值数必须与源元素数一致;P待实采。
精度 : BF16值+Bool mask
是否支持 : Y
主要路径 : VLM图像token写入
待确认项 : 无(MaskedScatter文档支持950、BF16、BOOL/UINT8 mask、ND,[B,L,D]+[P,D]覆盖)。依据:ops-nn/index/masked_scatter/docs/aclnnInplaceMaskedScatter.md。
[O42] Cat / Stack (Excel 第 40 行, 属组: vector)
测试接口 : aclnnCat / aclnnStack
Shape形式 :
2~8份张量,沿batch/token/head拼接方向 : 前向+适用反向
建议范围与配对约束: 输出总量1KiB~8GiB;单块可取[B,L,D],B=1~256、L=1~2304、D=32~16384;总量约束优先。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 帧/视角合批、JVP、特征融合
待确认项 : 无(Cat由ConcatD/aclnnCat、Stack由Pack/aclnnStack覆盖,均支持950、BF16/FP32、ND,2~8份拼接/堆叠)。依据:ops-math/conversion/concat_d、pack。
[O43] Repeat / Repeat Interleave (Excel 第 41 行, 属组: vector)
测试接口 : aclnnRepeatInterleave / aclnnRepeatInterleaveInt / aclnnRepeatInterleaveTensor
Shape形式 :
[B,L,D]或[N,C,H,W]方向 : 前向+适用反向
建议范围与配对约束: 复制因子={2,3,4,8};输出总量1KiB~8GiB;GQA按Hq/Hkv,候选组以4为基准。
精度 : BF16 / FP32 / INT64
是否支持 : Y
主要路径 : 候选扩展、GQA头复制、解码shortcut
待确认项 : 【待确认】RepeatInterleave文档支持950;int repeats可使用2/3/4/8,但Tensor repeats的outputSize上限2^22,若用tensor repeats与8GiB总量要求冲突,需确认走int repeats。依据:ops-nn/index/repeat_interleave/docs/aclnnRepeatInterleaveTensor.md。
[O44] Transpose / Permute后的Contiguous (Excel 第 42 行, 属组: vector)
测试接口 : aclnnPermute + tensor.contiguous()
Shape形式 :
BHLD↔BLHD;NCHW↔channels-last方向 : 前向+适用反向
建议范围与配对约束: 实际搬运1KiB~8GiB;注意力B=1~256、H=8~64、L=1~2304、D={32,64,72,128,256};卷积按对应层shape。纯view单独记元数据开销。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 注意力布局、卷积入口连续化
待确认项 : 【待确认】Permute/Transpose文档支持950、BF16/FP32、ND,BHLD↔BLHD/NCHW↔NHWC可表达;但Contiguous目录无产品支持/文档,需确认连续化由Permute内部完成还是单独接口。依据:ops-math/conversion/transpose/docs/aclnnPermute.md。
[O45] Copy / Copy_ (Excel 第 43 行, 属组: vector)
测试接口 : aclnnInplaceCopy / torch.Tensor.copy_(H2D/D2H用.to())
Shape形式 :
[E]或strided tensor方向 : 拷贝
建议范围与配对约束: 单次1KiB~8GiB;区分H2D、D2D、D2H;连续和非连续分别取样。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 设备拷贝、参数分片回写
待确认项 : 【待确认】Copy/Copy_(aclnnInplaceCopy)文档支持950、BF16/FP32,但仅覆盖device内copy;H2D/D2H属aclrtMemcpy运行时接口,文档未覆盖,需确认测试口径。依据:ops-math/conversion/view_copy/docs/aclnnInplaceCopy.md。
[O46] Dtype Cast (Excel 第 44 行, 属组: vector)
测试接口 : aclnnCast
Shape形式 :
[E]方向 : 前向+适用反向
建议范围与配对约束: E=1~2^31;覆盖归约前上转与输出回转,以及非连续输入。
精度 : BF16↔FP32
是否支持 : Y
主要路径 : BF16与FP32混合精度边界
待确认项 : 无(Cast文档支持950、BF16↔FP32、ND,[E]覆盖)。依据:ops-math/math/cast/README.md。
[O47] Pixel Unshuffle (Excel 第 45 行, 属组: vector)
测试接口 : torch.nn.functional.pixel_unshuffle,对应aclnninplacecopy
Shape形式 :
[N,C,H,W] → [N,4C,H/2,W/2]方向 : 前向
建议范围与配对约束: N=1~256;C=3~2048;H=4~512,W=6~768;factor=2,H/W必须可整除2。
精度 : BF16
是否支持 : ?
主要路径 : VAE下采样
待确认项 : 【待确认】未找到PixelUnshuffle算子文档(ops-cv/image下无对应目录),无法核对950与[N,C,H,W]→[N,4C,H/2,W/2];需确认是否由Reshape/Permute组合或其它仓库实现。
[O48] Pixel Shuffle (Excel 第 46 行, 属组: vector)
测试接口 : torch.nn.functional.pixel_shuffle,对应aclnninplacecopy
Shape形式 :
[N,4C,H,W] → [N,C,2H,2W]方向 : 前向,解码时
建议范围与配对约束: N=1~256;输出C=3~2048;H=2~256,W=3~384;factor=2,输入通道为4C。
精度 : BF16
是否支持 : ?
主要路径 : VAE解码上采样
待确认项 : 【待确认】未找到PixelShuffle算子文档(ops-cv/image下无对应目录),无法核对950与[N,4C,H,W]→[N,C,2H,2W];需确认是否由Reshape/Permute组合或其它仓库实现。
[O49] Pad (Excel 第 47 行, 属组: vector)
测试接口 : aclnnConstantPadNd / aclnnReflectionPad2d
Shape形式 :
[N,C,H,W]或[B,H,D,L]方向 : 前向
建议范围与配对约束: 图像N=1~256、C=3~512、H=2~512、W=3~768,padding=1~2;注意力D=32→33、L=1~6144;constant与reflect按路径区分。
精度 : BF16 / FP32
是否支持 : Y
主要路径 : 高斯模糊、VAE注意力、FLA
待确认项 : 无(PadV3/PadV2文档支持950、BF16/FP32、ND、1~8维,[N,C,H,W]/[B,H,D,L]及constant/reflect覆盖;reflect要求pad<对应边长,表内H=2且pad=2的边界组合需单独核算)。依据:ops-math/conversion/pad_v3。
[O50] Interpolate / Resize (Excel 第 48 行, 属组: vector)
测试接口 : aclnnResize / aclnnUpsampleNearest2d
Shape形式 :
[N,C,H,W]方向 : 前向,路径依赖
建议范围与配对约束: 建议N=1~64;C=3或512;H=2~512,W=3~768;scale=0.5~2。位置嵌入按48×48网格、D=1024做索引插值;CPU/设备落点待实采。
精度 : FP32 / BF16
是否支持 : Y
主要路径 : 图像预处理、位置插值、可选稀疏目标
待确认项 : 【待确认】ResizeBilinear/Nearest/Bicubic文档支持950、NCHW、scale,但“位置嵌入48×48网格、D=1024索引插值”不是Resize标准场景,需确认由Gather/索引实现;Nearest2D另有内存<60GB约束,需按[N,C,H,W]核算。依据:ops-cv/image/resize_*。
[O51] Randn / Randn Like (Excel 第 49 行, 属组: vector)
测试接口 : aclnnNormalFloatFloat / torch.randn
Shape形式 :
视频[B,L,512];动作[B,La,32]方向 : 随机生成
建议范围与配对约束: B=1~192;视频L=48~1536;动作La=1~216;额外标量/时间采样覆盖[B]。
精度 : FP32 / BF16
是否支持 : Y
主要路径 : 视频/动作噪声、MeanFlow
待确认项 : 无(StatelessNormal文档支持950、FP32/BF16、ND,[B,L,512]/[B,La,32]覆盖)。依据:ops-math/random/stateless_normal/README.md。
[O52] Rand / Uniform (Excel 第 50 行, 属组: vector)
测试接口 : aclnnInplaceUniform / torch.rand
Shape形式 :
[B]、[B,L]及token分数方向 : 随机生成
建议范围与配对约束: B=1~256;L=1~6144;同时覆盖候选分数[B,G],G=4~16。
精度 : FP32
是否支持 : Y
主要路径 : 时间、条件mask、token采样
待确认项 : 无(RandomUniformV2文档支持950、FP32/BF16、ND,[B]/[B,L]/[B,G]覆盖)。依据:ops-math/random/random_uniform_v2/README.md。
[O53] Masked MSE Loss(组合) (Excel 第 51 行, 属组: vector)
测试接口 : aclnnMseLoss / aclnnMseLossOut(mask组合用torch)
Shape形式 :
视频[B,L,512];动作[B,La,32]方向 : 前向+反向
建议范围与配对约束: B=1~192;L=48~1536;La=1~216;保留dense/sparse、padding与joint mask及有效元素分母。
精度 : FP32损失与归约
是否支持 : Y
主要路径 : 视频/动作训练损失
待确认项 : 【待确认】aclnnMseLoss/V2及MseLossGrad支持950、BF16/FP32、ND,但文档仅覆盖标准reduction,无mask/padding/joint mask语义;客户Masked MSE需确认组合路径及有效元素分母。依据:ops-nn/loss/mse_loss。
[O54] TopK / Sort (Excel 第 52 行, 属组: vector)
测试接口 : aclnnTopkV2 / aclnnSort / aclnnArgsort
Shape形式 :
[B,G]或[B,F,T]方向 : 前向
建议范围与配对约束: 候选B=1~64,G=4~16,k=1~G(源码基准G=4、k=1);token采样B=1~192、F=1~9、T=6~384;token_dropout开启才使用后者。
精度 : FP32+INT64索引
是否支持 : Y
主要路径 : 候选筛选;可选token采样
待确认项 : 无(TopKV2/Sort文档支持950、FP32、INT64索引、ND,[B,G]/[B,F,T]覆盖)。依据:ops-math/math/top_k_v2、sort。
[O55] Cumsum (Excel 第 53 行, 属组: vector)
测试接口 : aclnnCumsum / aclnnCumsumV2
Shape形式 :
[B,G]或[images]方向 : 前向
建议范围与配对约束: B=1~64,G=4~16;视觉图像/时间片计数长度1~256。
精度 : FP32 / INT32 / INT64
是否支持 : Y
主要路径 : 候选分组统计、视觉变长边界
待确认项 : 无(Cumsum文档支持950、FP32/INT32/INT64、ND,[B,G]/[images]覆盖)。依据:ops-math/math/cumsum。
[O56] Quantile / Median / Std (Excel 第 54 行, 属组: vector)
测试接口 : aclnnMedian / aclnnStd(quantile用torch.quantile)
Shape形式 :
[B,G] → [B]或标量方向 : 前向
建议范围与配对约束: B=1~64;G=4~16,包含基准4;quantile=0.5与std(unbiased=False)保持源码语义。此组通常为小张量开销。
精度 : FP32
是否支持 : Y
主要路径 : cotrain置信度与分组过滤
待确认项 : 【待确认】Median/Std文档支持950、FP32、ND,但未找到Quantile算子文档;客户quantile=0.5需确认由Median替代或其它接口。依据:ops-nn/index/median、ops-math/math/reduce_std_v2。
[O57] AdamW(含foreach/融合更新) (Excel 第 55 行, 属组: vector)
测试接口 : aclnnApplyAdamW / aclnnApplyAdamWV2(混合精度用torch.optim.AdamW)
Shape形式 :
参数、梯度、m、v:同长[E]或tensor list方向 : 参数更新
建议范围与配对约束: 单tensor E=1024~2^28;tensor list=1~256个;总元素量按真实参数分组/分片匹配;实际fused/foreach实现待实采。
精度 : FP32状态;参数按实际dtype
是否支持 : Y
主要路径 : 优化器
待确认项 : 【待确认】ApplyAdamW/V2文档支持950、FP16/BF16/FP32,但要求varRef、mRef、vRef、grad同dtype;客户“FP32状态+参数实际dtype”的混合精度组合未被文档覆盖,需确认统一dtype或其它优化器接口;另未见foreach AdamW文档。依据:ops-nn/optim/apply_adam_w。
[O66] AdaLN / Scale-Shift-Gate(组合) (Excel 第 59 行, 属组: 组合?)
测试接口 : aclnnAdaLayerNormV2 / torch.nn.functional.layer_norm + scale/shift/gate(组合)
Shape形式 :
x[B,L,D];调制[B,6D]或[B,L,6D]方向 : 前向+反向
建议范围与配对约束: B=1~128;L=1~1536;D={1152,2048,3072,4096};调制宽度6D=6912~24,576,按D配套;包含逐token时间与样本级广播。
精度 : BF16;归一化部分FP32
是否支持 : N
主要路径 : 视频与动作时间调制、残差门控
待确认项 :
[O67] FFN / SwiGLU(组合) (Excel 第 60 行, 属组: 组合?)
测试接口 : aclnnSwiGlu / torch.nn.functional.silu + linear(组合)
Shape形式 :
[M,D] → [M,F] → [M,D]方向 : 前向+适用反向
建议范围与配对约束: M=1~27,648;(D,F)={(1024,4096),(1152,4608),(2048,6144),(2048,8192),(2560,9216),(3072,12288),(4096,16384)};GELU两层与SiLU门控三投影分别按源码执行。
精度 : BF16;FP32对照
是否支持 : N
主要路径 : 视频、动作、VLM前馈网络
待确认项 :