flashinfer:基于GPU架构的推理库与内核生成项目

用户可借助该项目实现高效的大模型推理，它提供统一API支持注意力、GEMM和MoE操作，集成多种后端，具备顶尖性能、多架构支持、低精度计算及生产级特性。【此简介由AI生成】