MultiScaleDeformableAttnFunction

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	√
Atlas 训练系列产品	×

功能说明

• 算子功能： 通过采样位置（sample location）、注意力权重（attention weights）、映射后的value特征、多尺度特征起始索引位置、多尺度特征图的空间大小（便于将采样位置由归一化的值变成绝对位置）等参数来遍历不同尺寸特征图的不同采样点。

• 计算公式：

  将采样点的归一化坐标 $(u,v)\in [0,1]$ 映射到第 $\ell$ 层特征图的像素坐标系：

  $$x=u\cdot W_{\ell }-0.5,y=v\cdot H_{\ell }-0.5$$

  确定采样点落在哪四个整数网格点之间：

  $$x_0=\lfloor x\rfloor ,x_1=x_0+1,y_0=\lfloor y\rfloor ,y_1=y_0+1$$

  计算采样点相对于左上角网格点的偏移，用于插值权重：

  $${\alpha }_x=x-x_0,{\alpha }_y=y-y_0$$

  计算双线性插值权重，四个邻点的和为1

  $$\begin{array}{rl}{w}_{00}& =(1-{\alpha }_y)(1-{\alpha }_x),\\ w_{10}& =(1-{\alpha }_y){\alpha }_x,\\ w_{01}& ={\alpha }_y(1-{\alpha }_x),\\ w_{11}& ={\alpha }_y{\alpha }_x\end{array}$$

  计算得到采样点对应的特征向量（长度为 $D$）:

  $$\mathrm{bilinear}(V;b,h,\ell ,x,y)=w_{00}{V}_{b,\ell ,y_0,x_0,h,:}+w_{10}{V}_{b,\ell ,y_0,x_1,h,:}+w_{01}{V}_{b,\ell ,y_1,x_0,h,:}+w_{11}{V}_{b,\ell ,y_1,x_1,h,:}$$

  所有层、所有采样点的双线性采样结果，加权求和得到最终输出：

  $$O_{b,q,h,:}=\sum _{\ell =0}^{L-1}\sum _{p=0}^{N_p-1}{A}_{b,q,h,\ell ,p}\cdot \mathrm{bilinear}\left(V;b,h,\ell ,x_{b,q,h,\ell ,p},y_{b,q,h,\ell ,p}\right)$$

参数说明

参数名	输入/输出/属性	描述	数据类型
u, v	输入	采样点的归一化坐标，范围 [0,1]	FLOAT
Wℓ, Hℓ	输入	第 ℓ 层特征图的宽、高	INT32
V(b,ℓ,y,x,h,:)	输入	Value特征向量：第b个batch、第 ℓ 层、坐标(y,x)、head h	FLOAT
A(b,q,h,ℓ,p)	输入	注意力权重：query q在第 ℓ 层第p个采样点上的权重	FLOAT
x, y	中间量	映射到像素坐标系下的采样点位置	FLOAT
x₀, x₁, y₀, y₁	中间量	四邻点整数坐标	INT32
αx, αy	中间量	采样点相对于左上角网格点的偏移量	FLOAT
w₀₀, w₁₀, w₀₁, w₁₁	中间量	双线性插值权重，和为1	FLOAT
bilinear(V;·)	中间量	插值得到的采样向量	FLOAT
O(b,q,h,:)	输出	最终输出向量：query q在head h的结果	FLOAT
b	属性	batch索引	INT32
q	属性	query索引	INT32
h	属性	head索引	INT32
ℓ	属性	特征层索引	INT32
p	属性	采样点索引	INT32
D	属性	每个head的嵌入维度	INT32
Nq(num_queries)	属性	每个batch的query数	INT32
Nh(num_heads)	属性	注意力head数	INT32
L(num_levels)	属性	特征层数	INT32
Np(num_points)	属性	每层每个query的采样点数	INT32

• Atlas 推理系列产品：不支持BFLOAT16

约束说明

• Atlas 推理系列产品：
  • 通道数channels%32 = 0，且channels <= 256
  • 查询的数量32 <= num_queries< 500000
  • 特征图的数量num_levels <= 16
  • 头的数量num_heads = [2, 4, 8]
  • 采样点的数量num_points = [4, 8]
• Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品、Ascend 950PR/Ascend 950DT：
  • 通道数channels%8 = 0，且channels <= 256
  • 查询的数量32 <= num_queries < 500000
  • 特征图的数量num_levels <= 16
  • 头的数量num_heads <= 16
  • 采样点的数量num_points <= 16

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_multi_scale_deformable_attn_function	通过aclnnMultiScaleDeformableAttnFunction接口方式调用aclnnMultiScaleDeformableAttnFunction算子。