MhcPre

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：基于一系列计算得到MHC架构中hidden层的$H^{res}$和$H^{post}$投影矩阵以及Attention或MLP层的输入矩阵$h^{in}$。

• 计算公式：

$$\begin{array}{rl}\overrightarrow{x_l^{{}^{\prime }}}& =RMSNorm(\overrightarrow{x_l})\\ H_l^{pre}& ={\alpha }_l^{pre}\cdot (\overrightarrow{x_l^{{}^{\prime }}}{\phi }_l^{pre})+b_l^{pre}\\ H_l^{post}& ={\alpha }_l^{post}\cdot (\overrightarrow{x_l^{{}^{\prime }}}{\phi }_l^{post})+b_l^{post}\\ H_l^{res}& ={\alpha }_l^{res}\cdot (\overrightarrow{x_l^{{}^{\prime }}}{\phi }_l^{res})+b_l^{res}\\ H_l^{pre}& =\sigma (H_l^{pre})\\ H_l^{post}& =2\sigma (H_l^{post})\\ h_{in}& =\overrightarrow{x_l^{{}^{\prime }}}{H}_l^{pre}\end{array}$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	待计算数据，表示网络中mHC层的输入数据。	BFLOAT16, FLOAT16	ND
phi	输入	mHC的参数矩阵。	FLOAT32	ND
alpha	输入	mHC的缩放参数。	FLOAT32	-
bias	输入	mHC的bias参数。	FLOAT32	-
gamma	可选输入	表示进行RmsNorm计算的缩放因子。	FLOAT32	ND
out_flag	可选输入	表示是否输出inv_rms/h_mix/h_pre, 默认为0表示不输出，为1表示全输出。	DOUBLE	-
norm_eps	可选输入	RmsNorm的防除零参数。	DOUBLE	-
hc_eps	可选输入	h_pre的sigmoid后的eps参数。	DOUBLE	-
h_in	输出	输出的h_in作为Attention/MLP层的输入。	BFLOAT16, FLOAT16	ND
h_post	输出	输出的mHC的h_post变换矩阵。	FLOAT32	ND
h_res	输出	输出的mHC的h_res变换矩阵（未做sinkhorn变换）。	FLOAT32	ND
inv_rms	可选输出	RmsNorm计算得到的1/r。	FLOAT32	ND
h_mix	可选输出	x与phi矩阵乘的结果。	FLOAT32	ND
h_pre	可选输出	做完sigmoid计算之后的h_pre矩阵。	FLOAT32	ND

约束说明

• n目前支持4、6、8。
• D支持1~16384范围以内，需满足D为16对齐。

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_mhc_pre	通过aclnnMhcPre接口方式调用MhcPre算子。