已关闭
[Bug]:vllm推理请求把内存池打满,故障重拉meta service之后,继续发请求触发淘汰出现各个rank间淘汰数据不均匀,部分rank至99.99%无法正常淘汰 #336
junjie777创建于 22 天前关闭于 22 天前
shilinlee
22 天前 评论:
22 天前 评论:
/label add triaged


shilinlee
22 天前 评论:
22 天前 评论:
Issue 标签使用规范
请根据以下规则为 Issue 打标签,保持分类准确:
| # | 场景 | 标签 |
|---|---|---|
| 1 | 提交者本人提的 Issue | /label add triaged |
| 2 | 属于 v1.0.0/release 里程碑的问题 | high-priority |
| 3 | 提交者本人正在跟进 / 排查中 | triage-review |
| 4 | 系统自动打标(无需手动操作) | triaged |
| 5 | 测试同学提的 Issue | 需确保复现步骤明确、所属仓库准确 |
| 6 | 开发同学提的建设性 Issue | 按类型选择:feature / rfc / performance |
| 7 | 已定位、待合入或待测试 | ok-to-test |
| 8 | 方案未明确、需团队讨论 | help-wanted |
⚠️ 测试or用户提 Issue 前请检查:问题描述是否清晰、仓库是否正确,避免信息不全影响处理效率。


22 天前 添加了label:triaged
22 天前 关闭了 issue
22 天前 issue状态由 TODO 改变为 DONE
22 天前 添加了label:resolved
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:
在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用
<TOKEN>等占位符替代原有内容。环境信息
🐛 问题描述
vllm推理请求把内存池打满,故障重拉meta service之后,继续发请求触发淘汰出现各个rank间淘汰数据不均匀,部分rank至99.99%无法正常淘汰
meta故障重拉:

继续发请求触发淘汰:
部分rank无法allocate刷屏
欢迎加入社区,感谢您对社区的贡献 🎉!