README
FlagGems 是一个使用Triton 编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于 PyTorch 框架的算子,加速模型面向多种后端平台的推理与训练,是FlagOS大家族的一员。 FlagGems 通过对 PyTorch 的后端 aten 算子进行覆盖重写,实现算子库的无缝替换,一方面模型开发者能够在无需修改底层 API 的情况下平稳地切换到 triton 算子库,使用其熟悉的 PyTorch API 同时享受新硬件带来的加速能力,另一方面对 kernel 开发者而言,Triton 语言提供了更好的可读性和易用性,可媲美 CUDA 的性能,因此开发者只需付出较低的学习成本,即可参与 FlagGems 的算子开发与建设。 FlagGems算子借助FlagTree编译器,FlagOS的另外一个成员项目,可以获得性能增益和更广泛的硬件支持,旨在一次编写,多芯运行。
可用于辅助多芯片系统的内核开发,是FlagOS家族新成员,通过AI辅助生成高质量内核代码,代码需通过100%正确性测试且性能加速比≥0.8,可贡献至FlagGems实验性操作。【此简介由AI生成】
暂无简介
暂无简介
暂无简介
暂无简介
项目展示
查看全部项目 >FlagGems 是一个使用Triton 编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于 PyTorch 框架的算子,加速模型面向多种后端平台的推理与训练,是FlagOS大家族的一员。 FlagGems 通过对 PyTorch 的后端 aten 算子进行覆盖重写,实现算子库的无缝替换,一方面模型开发者能够在无需修改底层 API 的情况下平稳地切换到 triton 算子库,使用其熟悉的 PyTorch API 同时享受新硬件带来的加速能力,另一方面对 kernel 开发者而言,Triton 语言提供了更好的可读性和易用性,可媲美 CUDA 的性能,因此开发者只需付出较低的学习成本,即可参与 FlagGems 的算子开发与建设。 FlagGems算子借助FlagTree编译器,FlagOS的另外一个成员项目,可以获得性能增益和更广泛的硬件支持,旨在一次编写,多芯运行。
Star可用于辅助多芯片系统的内核开发,是FlagOS家族新成员,通过AI辅助生成高质量内核代码,代码需通过100%正确性测试且性能加速比≥0.8,可贡献至FlagGems实验性操作。【此简介由AI生成】
Star暂无简介
Star暂无简介
Star暂无简介
Star- Star
暂无简介
Star暂无简介
Star暂无简介
Star暂无简介
Star

