已关闭
[Bug]:vllm推理请求把内存池打满,故障重拉meta service之后,继续发请求触发淘汰出现各个rank间淘汰数据不均匀,部分rank至99.99%无法正常淘汰 #336
junjie777创建于  22 天前关闭于  22 天前
junjie777成员
22 天前 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

- 操作系统  openEuler 24.03 (LTS-SP3)
- 昇腾硬件信息 hdk-25.5.1
- CANN软件版本 cann-9.1.0
- 安装的对应软件版本
memcache:release/1.2.1      commit id:9abec55b8b1579d3d564c2bff2e0b53777970ece
memfabric:release/1.2.1     commit id:7f37d0bb29db17734c0c5df47edec942d6aeaac6

🐛 问题描述

vllm推理请求把内存池打满,故障重拉meta service之后,继续发请求触发淘汰出现各个rank间淘汰数据不均匀,部分rank至99.99%无法正常淘汰

meta故障重拉:
image.png
继续发请求触发淘汰:

rank-0        53679816704/53687091200(99.99%)
rank-1        37558915072/53687091200(69.96%)
rank-2        53679816704/53687091200(99.99%)
rank-3        37013880832/53687091200(68.94%)
rank-4        53679816704/53687091200(99.99%)
rank-5        53679816704/53687091200(99.99%)
rank-6        50954645504/53687091200(94.91%)
rank-7        22249508864/53687091200(41.44%)
rank-8        49452773376/53687091200(92.11%)
rank-9        11772739584/53687091200(21.93%)
rank-10       36262944768/53687091200(67.54%)
rank-11       53679816704/53687091200(99.99%)
rank-12       53679816704/53687091200(99.99%)
rank-13       53679816704/53687091200(99.99%)
rank-14       17477431296/53687091200(32.55%)
rank-15       53679816704/53687091200(99.99%)

部分rank无法allocate刷屏

2026-09-18 17:02:00.747695 225175 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 1 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872
2026-09-18 17:02:00.747643 225174 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 9 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872
2026-09-18 17:02:00.747698 225175 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 15 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872
2026-09-18 17:02:00.747649 225172 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 0 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872
2026-09-18 17:02:00.747710 225172 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 10 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872
2026-09-18 17:02:00.747727 225174 warning [MMC mmc_blob_allocator.cpp:59 Alloc] Allocator rank: 8 mediaType: DRAM, cap:53679816704/53687091200 cannot allocate with size: 12111872

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Jjunjie777成员
22 天前 添加了label:bug
Jjunjie777成员
22 天前 将 gcw_qYJeyWK4 设为负责人
shilinlee
shilinlee成员
22 天前 评论:

/label add triaged

likedislike
shilinlee
shilinlee成员
22 天前 评论:

Issue 标签使用规范

请根据以下规则为 Issue 打标签,保持分类准确:

# 场景 标签
1 提交者本人提的 Issue /label add triaged
2 属于 v1.0.0/release 里程碑的问题 high-priority
3 提交者本人正在跟进 / 排查中 triage-review
4 系统自动打标(无需手动操作) triaged
5 测试同学提的 Issue 需确保复现步骤明确、所属仓库准确
6 开发同学提的建设性 Issue 按类型选择:feature / rfc / performance
7 已定位、待合入或待测试 ok-to-test
8 方案未明确、需团队讨论 help-wanted

⚠️ 测试or用户提 Issue 前请检查:问题描述是否清晰、仓库是否正确,避免信息不全影响处理效率。

likedislike
ascend-robotascend-robot成员
22 天前 添加了label:triaged
Ddajiang成员
22 天前 关联了pull request:fix: 打散全局LRU链路,防止重建后淘汰全部局限在某个固定的rank
Zzhangjinshi成员
22 天前 关闭了 issue
Zzhangjinshi成员
22 天前 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
22 天前 添加了label:resolved
Ddajiang成员
18 天前 关联了pull request:fix: 打散全局LRU链路,防止重建后淘汰全部局限在某个固定的rank