layerwise_sim:基于离散事件模拟的边云协同LLM推理调度模拟器项目

可用于模拟和研究边缘-云协同场景下大语言模型推理性能,评估不同调度策略对延迟和吞吐量的影响。该事件驱动的离散事件模拟器支持层间解耦推理、Prefill分块、云端切分、Decode Batch化等机制,内置Web可视化界面与稳态性能统计功能。【此简介由AI生成】

分支9Tags0

项目介绍

可用于模拟和研究边缘-云协同场景下大语言模型推理性能,评估不同调度策略对延迟和吞吐量的影响。该事件驱动的离散事件模拟器支持层间解耦推理、Prefill分块、云端切分、Decode Batch化等机制,内置Web可视化界面与稳态性能统计功能。【此简介由AI生成】

定制我的领域