Rasterizer

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	×
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：实现光栅化计算。根据给定的三维空间中的点和面，获取屏幕中每个像素点的最小深度及其对应的面片索引，并计算该面片的重心坐标透视矫正插值。

• 计算公式： $findices$记录每个像素点最小深度对应的面索引，$barycentric$记录每个顶点相对于$findices$中记录的面的重心坐标透视矫正插值。 计算过程中使用的Z-Buffer记录每个像素点$(x,y)$的最小深度$z_{\min }(x,y)$以及该深度对应的三角形面片索引$\text{face\_idx}(x,y)$。

  计算过程如下： 对空间中的每个三角形面片$f$：

  1. 将$f$的三个顶点坐标$v_0$,$v_1$,$v_2$转换为屏幕坐标$v_{s0}$,$v_{s1}$,$v_{s2}$

  2. 根据$v_{s0}$,$v_{s1}$,$v_{s2}$计算包围$f$的矩形范围

  3. 对矩形内每个像素点$v_i=(x_i,y_i)$，执行以下操作：

     a. 计算像素中心坐标$v_c$
     b. 计算$v_c$相对于三角形$f$的重心坐标$(\alpha ,\beta ,\gamma )$
     c. 根据$(\alpha ,\beta ,\gamma )$判断$v_c$是否在三角形内部。若$v_c$不在三角形内部，则处理矩形内下个像素点，否则执行下述步骤
     d. 使用$(\alpha ,\beta ,\gamma )$和$v_{s0}$,$v_{s1}$,$v_{s2}$得到当前像素的深度值depth
     e. 若启用了深度先验；否则，直接执行下一步“Z-Buffer更新”

     • 使用深度先验图计算深度阈值depth_thres
     • 如果depth < depth_thres，处理矩形内下个像素点，否则执行下述步骤

     f. Z-Buffer更新：

     • 若$depth<z_{\min }(x_i,y_i)$：

     $$\begin{gathered} z_{\min }(x_i,y_i)\leftarrow \text{depth} \\ \text{face\_idx}(x_i,y_i)\leftarrow f \end{gathered}$$

     • 若$depth=z_{\min }(x_i,y_i)$：

     $$\text{face\_idx}(x_i,y_i)\leftarrow \min (\text{face\_idx}(x_i,y_i),f)$$

  按上述步骤对空间中所有的三角形面片进行处理后，对大小为$height\ast width$的屏幕上每个像素点$v_i=(x_i,y_i)$：

  1. 取Z-Buffer中$v_i$对应的面片索引$f_{idx}$，$findices(x_i,y_i)\leftarrow f_{idx}$
  2. 将$f$的三个顶点坐标$v_0$,$v_1$,$v_2$转换为屏幕坐标$v_{s0}$,$v_{s1}$,$v_{s2}$
  3. 计算$v_i$的中心点坐标$v_c$
  4. 计算$v_c$相对于三角形$f$的重心坐标$(\alpha ,\beta ,\gamma )$
  5. 使用$(\alpha ,\beta ,\gamma )$计算透视矫正插值$(\tilde{\alpha },\tilde{\beta },\tilde{\gamma })$
  6. $barycentric(x_i,y_i)\leftarrow (\tilde{\alpha },\tilde{\beta },\tilde{\gamma })$

  以下是涉及的各种具体计算方法：

  • 顶点$v=(x,y,z,w)$转换为屏幕坐标$v_s=(x_s,y_s,z_s)$

    $$\begin{gathered} x_s=(x/w\ast 0.5+0.5)\ast (width-1)+0.5 \\ {y}_s=(0.5+0.5\ast y/w)\ast (height-1)+0.5 \\ {z}_s=z/w\ast 0.49999+0.5 \end{gathered}$$

  • 点$v$相对于三角形$(v_0,v_1,v_2)$的重心坐标$(\alpha ,\beta ,\gamma )$

    1. 分别计算计算三角形$(v_0,v_1,v_2)$、$(v_0,v,v_2)$和$(v_0,v_1,v)$的有向面积$area$、$beta\_tri$和$gamma\_tri$
    2. 若$area$为0，则$\alpha =\beta =\gamma =-1$， 否则

    $$\begin{gathered} \beta =beta\_tri/area \\ \gamma =gamma\_tri/area \\ \alpha =1-\beta -\gamma \end{gathered}$$

  • 由顶点$v_0=(x_0,y_0,z_0)$,$v_1=(x_1,y_1,z_1)$和$v_2=(x_2,y_2,z_2)$组成的三角形的有向面积

    $$area=(x_2-x_0)\ast (y_1-y_0)-(x_1-x_0)\ast (y_2-y_0)$$

  • 结合重心坐标$(\alpha ,\beta ,\gamma )$和三角形屏幕坐标$v_0=(x_0,y_0,z_0)$, $v_1=(x_1,y_1,z_1)$和$v_2=(x_2,y_2,z_2)$计算像素点$v=(x,y)$的深度$depth$

    $$depth=\alpha \ast z_0+\beta \ast z_1+\gamma \ast z_2$$

  • 结合深度图$d$，遮挡截断$occlusion\_truncation$计算点$v=(x,y)$的深度阈值$depth\_thres$

    $$depth\_thres=d(x,y)\ast 0.49999+0.5+occlusion\_truncation$$

  • 根据重心坐标$(\alpha ,\beta ,\gamma )$判断顶点是否在三角形内 如果$\alpha >=0$且$\beta >=0$且$\gamma >=0$则点在三角形内（包括在三角形边上），否则点不在三角形内。

  • 结合重心坐标$({\lambda }_0,{\lambda }_1,{\lambda }_2)$以及三角形的三个顶点坐标$v_0=(x_0,y_0,z_0,w_0)$,$v_1=(x_1,y_1,z_1,w_1)$和$v_2=(x_2,y_2,z_2,w_2)$计算透视矫正插值$({\lambda }_0^{corrected},{\lambda }_1^{corrected},{\lambda }_2^{corrected})$

    $${\lambda }_i^{corrected}=\frac{{\lambda }_i/w_i}{\sum ({\lambda }_j/w_j)}$$

参数说明

• 参数说明：

  参数名	输入/输出/属性	描述	数据类型	数据格式
  v	输入	表示空间中顶点坐标的输入张量，对应公式描述中的`v`，size为2。	FLOAT32	ND
  f	输入	表示空间中面片的输入张量，对应公式描述中的`f`，size为2。	INT32	ND
  d	可选属性	表示深度图的输入张量，用于计算深度阈值，此参数不生效。 默认值为空。	FLOAT32	ND
  height	输入	表示屏幕高度。 默认值为0。	INT64	-
  width	输入	表示屏幕宽度。 默认值为0。	INT64	-
  occlusion_truncation	输入	遮挡截断，用于计算深度阈值，此参数不生效。 默认值为0.0。	DOUBLE	-
  use_depth_prior	输入	表示是否应用深度先验，此参数不生效。 默认值为0。	INT64	-
  findices	输出	表示屏幕中每个像素点最小深度对应的面片索引，对应公式描述中的`findices`，size为2。	INT32	ND
  barycentric	输出	表示屏幕中每个像素点基于最小深度的面片，求解得到的重心坐标透视矫正插值的输出张量，对应公式描述中的`barycentric`，size为2。	FLOAT32	ND

约束说明

• 仅支持useDepthPrior为0的输入场景，参数d、occlusionTruncation、useDepthPrior在实际计算中不生效。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_rasterizer	通过aclnnRasterizer接口方式调用Rasterizer算子。