MatmulTanh 是一个融合算子,将 矩阵乘法(Matrix Multiplication, Matmul) 与 双曲正切激活函数(Hyperbolic Tangent, Tanh) 在计算图层面或硬件执行层面融合为单一操作。该融合旨在减少中间张量的显存占用、提升计算吞吐,并降低延迟,尤其适用于端侧推理和大规模模型部署场景。
| Files | Last commit | Last update |
|---|---|---|
| 10 months ago |
Introduction
MatmulTanh 是一个融合算子,将 矩阵乘法(Matrix Multiplication, Matmul) 与 双曲正切激活函数(Hyperbolic Tangent, Tanh) 在计算图层面或硬件执行层面融合为单一操作。该融合旨在减少中间张量的显存占用、提升计算吞吐,并降低延迟,尤其适用于端侧推理和大规模模型部署场景。
Customize your domain