FlagGems:基于 Triton 语言的高性能通用算子库项目

FlagGems 是一个使用Triton 编程语言实现的高性能通用算子库，旨在为大语言模型提供一系列可应用于 PyTorch 框架的算子，加速模型面向多种后端平台的推理与训练，是FlagOS大家族的一员。 FlagGems 通过对 PyTorch 的后端 aten 算子进行覆盖重写，实现算子库的无缝替换，一方面模型开发者能够在无需修改底层 API 的情况下平稳地切换到 triton 算子库，使用其熟悉的 PyTorch API 同时享受新硬件带来的加速能力，另一方面对 kernel 开发者而言，Triton 语言提供了更好的可读性和易用性，可媲美 CUDA 的性能，因此开发者只需付出较低的学习成本，即可参与 FlagGems 的算子开发与建设。 FlagGems算子借助FlagTree编译器，FlagOS的另外一个成员项目，可以获得性能增益和更广泛的硬件支持，旨在一次编写，多芯运行。