TensorRT-LLM:基于 TensorRT 生态的 LLM 与视觉生成推理优化库项目

可用于优化 LLM 和视觉生成模型的推理性能,该项目提供自定义内核、算法运行时优化等技术,支持单GPU到多节点部署,集成PyTorch API和Triton推理服务器,便于开发者扩展和部署。【此简介由AI生成】

分支43Tags84

项目介绍

可用于优化 LLM 和视觉生成模型的推理性能,该项目提供自定义内核、算法运行时优化等技术,支持单GPU到多节点部署,集成PyTorch API和Triton推理服务器,便于开发者扩展和部署。【此简介由AI生成】

定制我的领域