已关闭
[Bug]: A3 双机跑pd 分离对接mf+mmc时 手动curl请求提供的请求序列过短时会出现key vector is empty的error #73
Yuandongsheng创建于  5月9日关闭于  5月11日
Yuandongsheng成员
5月9日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

操作系统Ubuntu 22.04

昇腾硬件信息HDK25.5.1
CANN软件版本CANN8.5.1
memfabric: master分支b007转测包
memcache:master分支b007转测包

🐛 问题描述

在A2 双机跑memcache+memfabric的pd分离时
拉起实例后向proxy节点发送

curl http://141.61.39.233:8888/v1/completions -H "Content-Type: application/json" -d '{
    "model": "dsv3",
    "prompt": "请介绍一下唐代诗人李白及其代表作。",
    "max_tokens": 100,
    "temperature": 0
}' 

可能会因为prompt序列太短导致p节点报错:

2026-05-09 11:11:39.682558 INFO [2358-2652][SMEM smem_bm_entry.cpp:244 JoinHandle] end join func, local_rk: 1 receive_rk: 3 receive_info_num:1, rank size is: 4
2026-05-09 11:11:39.682640 INFO [2357-2645][SMEM smem_bm_entry.cpp:244 JoinHandle] end join func, local_rk: 0 receive_rk: 3 receive_info_num:1, rank size is: 4
2026-05-09 11:15:43.523599 ERROR [2357-2736][MMC mmcache_store.cpp:299 BatchIsExist] key vector is empty
(EngineCore_DP0 pid=2325) INFO 05-09 11:15:43 [pool_scheduler.py:91] Reqid: cmpl-aa1d37c5-9041-4f41-8586-c760c6481972-0-a7d1759a, Total tokens 9, kvpool hit tokens: 0, need to load: 0
(EngineCore_DP0 pid=2325) INFO 05-09 11:15:45 [mooncake_connector.py:1057] Delaying free of 1 blocks for request cmpl-aa1d37c5-9041-4f41-8586-c760c6481972-0-a7d1759a

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
YYuandongsheng成员
5月9日 添加了label:bug, triaged
长宏大哥
长宏大哥成员
5月9日 评论:

/label add triaged

likedislike
长宏大哥
长宏大哥成员
5月9日 评论:

Issue 标签使用规范

请根据以下规则为 Issue 打标签,保持分类准确:

# 场景 标签
1 提交者本人提的 Issue /label add triaged
2 属于 v1.0.0 里程碑的问题 high-priority
3 提交者本人正在跟进 / 排查中 triage-review
4 系统自动打标(无需手动操作) triaged
5 测试同学提的 Issue 需确保复现步骤明确、所属仓库准确
6 开发同学提的建设性 Issue 按类型选择:feature / rfc / performance
7 已定位、待合入或待测试 ok-to-test
8 方案未明确、需团队讨论 help-wanted

⚠️ 测试or用户提 Issue 前请检查:问题描述是否清晰、仓库是否正确,避免信息不全影响处理效率。

likedislike
曲子熹曲子熹成员
5月9日 将 huawei_zixiqu 设为负责人
曲子熹
曲子熹成员
5月9日 评论:
2026-05-09 11:15:43.523599 ERROR [2357-2736][MMC mmcache_store.cpp:299 BatchIsExist] key vector is empty

分析后,这个empty key 是正常现象 上面没有做空置判断 这个log级别太高,所以把ERROR降级成DEBUG。

likedislike
曲子熹曲子熹成员
5月9日 修改了issue 的描述
shilinleeshilinlee成员
5月9日 从 Ascend/memfabric_hybrid 转移
曲子熹曲子熹成员
5月9日 将 huawei_zixiqu 设为负责人
曲子熹曲子熹成员
5月9日 关联了pull request:fix: mf #138 reduce log level
Zzhangjinshi成员
5月11日 关闭了 issue
ascend-robotascend-robot成员
5月19日 添加了label:resolved