MhcSinkhornBackward

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：MhcSinkhornBackward是MhcSinkhorn的反向算子。mHC（Manifold-Constrained Hyper-Connections）架构中的MhcSinkhorn算子对输入矩阵做sinkhorn变换得到双随机矩阵${\mathbf{H}}_{\text{res}}$，输出的双随机矩阵的所有元素≥0、每一行之和为1且每一列之和为1 (具有范数保持、组合封闭性和凸组合几何解释三大特性)。对mHC架构中双随机矩阵${\mathbf{H}}_{\text{res}}$矩阵的梯度进行sinkhorn变换的反向计算得到输入${\mathbf{H}}_{\text{res}}^{\prime }$的梯度。

• 计算公式：

  • Sinkhorn-Knopp算法在正向计算中通过 $\mathbf{n}\mathbf{u}\mathbf{m}\_\mathbf{i}\mathbf{t}\mathbf{e}\mathbf{r}\mathbf{s}$ 次迭代归一化实现双随机投影，在反向传播的迭代计算中：

  • 前 $\mathbf{n}\mathbf{u}\mathbf{m}\_\mathbf{i}\mathbf{t}\mathbf{e}\mathbf{r}\mathbf{s}-1$ 次迭代:

    $$\begin{array}{rl}{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_{2i+1}& =\sum _{\dim =-2,\text{keepdim}=\text{True}}({\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}\cdot {\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{2i+1}),\\ {\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}& \leftarrow \frac{{\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}-{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_{2i+1}}{{\mathbf{s}\mathbf{u}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{2i+1}},\\ {\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_{2i}& =\sum _{\dim =-1,\text{keepdim}=\text{True}}({\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}\cdot {\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{2i}),\\ {\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}& \leftarrow \frac{{\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}-{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_{2i}}{{\mathbf{s}\mathbf{u}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{2i}},\end{array}$$

  • 最后一次迭代：

    $$\begin{array}{rl}{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_1& =\sum _{\dim =-2,\text{keepdim}=\text{True}}({\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}\cdot {\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_1),\\ {\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}& \leftarrow \frac{{\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}-{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_1}{{\mathbf{s}\mathbf{u}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_1},\\ {\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_0& =\sum _{\dim =-1,\text{keepdim}=\text{True}}({\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}\cdot {\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_0),\\ {\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{input}& \leftarrow ({\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{curr}-{\mathbf{d}\mathbf{o}\mathbf{t}\_\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{d}}_0)\cdot {\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_0\end{array}$$

  • 其中：${\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{\text{curr}}$ 为初始梯度，${\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}}_{\text{input}}$ 为输出梯度，${\mathbf{n}\mathbf{o}\mathbf{r}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{\text{k}}$为第$k$次归一化方向向量，${\mathbf{s}\mathbf{u}\mathbf{m}\_\mathbf{o}\mathbf{u}\mathbf{t}}_{\text{k}}$ 为对应的缩放系数。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
grad_y	输入	Sinkhorn变换输出的H_res的梯度。	FLOAT32	ND
norm	输入	Sinkhorn变换正向计算保存的中间norm结果。	FLOAT32	ND
sum	输入	Sinkhorn变换正向计算保存的中间sum结果。	FLOAT32	ND
grad_input	输出	Sinkhorn变换的输入的H_res的梯度。	FLOAT32	ND

约束说明

• 输入 grad_y 仅支持 3 维 (T,n,n) 或 4 维 (B,S,n,n)。
• 输入 norm 仅支持 1 维 (2*num_iters*n*align_n*B*S) 或 (2*num_iters*n*align_n*T) 。
• 输入 sum 仅支持 1 维 (2*num_iters*align_n*B*S) 或 (2*num_iters*align_n*T) 。
• num_iters：取值范围 1~100，超出则报参数无效。
• n：仅支持 4、6或8。
• align_n：固定取值为 8。

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_mhc_sinkhorn_backward	通过aclnnMhcSinkhornBackward接口方式调用MhcSinkhornBackward算子。