Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
FusedMatMul 支持 matmul+add 融合全量模板设计方案 matmul+add融合算子计算公式：Y = A × B + bias + x3（其中x3为elementwise add输入） matmul+mul融合算子计算公式：Y = (A × B + bias) * x3（其中x3为elementwise add输入）
非量化matmul
期望泛化平均获取到50%以add/mul融合小算子收益。
使用基础API（Basic Level）编程方式实现，适配以下4个模板： 模板名称 FULL_LOAD_MODE L0C2OUT_MODEL 核心类型 说明 ASWT基础模板（AL1全载） MAT_MUL_A_FULL_LOAD(1) MAT_MUL_ON_THE_FLY(0) MIX_AIC_1_2 A矩阵L1全载，on-the-fly输出 ASWT基础模板（BL1全载） MAT_MUL_B_FULL_LOAD(2) MAT_MUL_ON_THE_FLY(0) / MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 B矩阵L1全载，支持fixpipe优化 fixpipe输出优化模板 MAT_MUL_NO_FULL_LOAD(0) / MAT_MUL_B_FULL_LOAD(2) MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 fixpipe bound优化，CV流水覆盖 stream-K模板 MAT_MUL_NO_FULL_LOAD(0) MAT_MUL_ON_THE_FLY(0) / MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 负载均衡stream-K模式
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
FusedMatMul 支持 matmul+add 融合全量模板设计方案
matmul+add融合算子计算公式：Y = A × B + bias + x3（其中x3为elementwise add输入）
matmul+mul融合算子计算公式：Y = (A × B + bias) * x3（其中x3为elementwise add输入）
Origin（信息来源）
非量化matmul
Benefit / Necessity （价值/作用）
期望泛化平均获取到50%以add/mul融合小算子收益。
Design（设计方案）
使用基础API（Basic Level）编程方式实现，适配以下4个模板：
模板名称 FULL_LOAD_MODE L0C2OUT_MODEL 核心类型 说明
ASWT基础模板（AL1全载） MAT_MUL_A_FULL_LOAD(1) MAT_MUL_ON_THE_FLY(0) MIX_AIC_1_2 A矩阵L1全载，on-the-fly输出
ASWT基础模板（BL1全载） MAT_MUL_B_FULL_LOAD(2) MAT_MUL_ON_THE_FLY(0) / MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 B矩阵L1全载，支持fixpipe优化
fixpipe输出优化模板 MAT_MUL_NO_FULL_LOAD(0) / MAT_MUL_B_FULL_LOAD(2) MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 fixpipe bound优化，CV流水覆盖
stream-K模板 MAT_MUL_NO_FULL_LOAD(0) MAT_MUL_ON_THE_FLY(0) / MAT_MUL_1V2_ND_ALIG_FIXPIPE(2) MIX_AIC_1_2 负载均衡stream-K模式