[Bug-Report|缺陷反馈]: kv_cache_store 支持 mooncake metrics 配置-MindIE-Motor-AtomGit

已开启

[Bug-Report|缺陷反馈]: kv_cache_store 支持 mooncake metrics 配置 #510

sceneryback创建于 17 天前

17 天前创建

在您提交issue前，请确认以下信息：

我已经搜索过现有和历史issues，确认这是一个新问题

问题描述

当前 kv_cache_store 模板，其中 metrics 端口是 memcache 端口，在 deployer 拉起过程中不会修改。如果 backend 是 mooncake，需要配置 mooncake metrics 端口，默认 9003：

环境信息

硬件：不限
软件：当前仓库主分支

重现步骤

kv_cache_store 如下配置：

  "kv_cache_store_config": {
    "backend": "mooncake",
    "port": 50088,
    "eviction_high_watermark_ratio": 0.9,
    "eviction_ratio": 0.1
  }

最终生产的 service 中 metrics 如下：

  - name: metrics
    port: 50090
    protocol: TCP
    targetPort: 50090

而 mooncake 默认 metrics 端口是 9003，将导致获取不到 metrics 端口数据

预期结果

根据 user_config 来配置 mooncake metrics port

日志 / 截图

spec:
  ports:
    - name: business
      protocol: TCP
      port: 50088
      targetPort: 50088
    - name: config-store
      protocol: TCP
      port: 50089
      targetPort: 50089
    - name: metrics
      protocol: TCP
      port: 50090
      targetPort: 50090
  selector:
    app: mindie-motor-kv-store

备注

S sceneryback

17 天前关联了pull request：add mooncake metrics port config

wangyang成员

16 天前评论：

👋 您好，感谢向 mindie-motor 提交 Issue！
🎉 我们已收到您的反馈，感谢你对开源社区的支持！

📅 处理时效维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查（推荐优先查看）在等待回复期间，您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案，多数问题可快速解决。
💡 为了更快定位问题，请您确保 Issue 包含：

清晰的问题描述
可复现的操作步骤
相关日志、截图或环境信息
我们会尽快跟进，感谢您的理解与配合！

F fuduyouyuanren成员

7 天前关联了看板：MindIE-Motor

zhinengwu

6 天前评论：

同一问题的完整根因已定位并修复(与 #510 视角互补,此条评论补充另一半根因):

补充根因:除了 Service 端口外,还有两处约定不一致:

coordinator 自动抓取默认值对 mooncake 取业务端口 50088(metrics_collector.py 旧逻辑),而 mooncake master 的 Prometheus metrics 由独立 HTTP server 提供,50088 上无 /metrics;
store 启动脚本未显式传 --metrics_port,master metrics 落在上游默认 9003。

修复方案(统一为 50090,与 Service 模板已声明的 metrics 端口一致):

motor/coordinator/metrics/metrics_collector.py:mooncake 自动默认 50088 → 50090;
mooncake.sh / all_combine_in_single_container.sh:mooncake_master 增加 --metrics_port ${MOONCAKE_METRICS_PORT:-50090};
kv_cache_store.py:deployer 全局默认对 mooncake 由 50088 统一为 50090。

验证结果(真实环境):store pod 50090 正常输出 master_* 指标(master_key_count=2、容量 400GB 与 coordinator 聚合的 kv_store_keys/size 完全对上),coordinator 1027 聚合链路全通。已附带回归 UT:旧代码下失败、新代码通过。

zhinengwu

6 天前关联了pull request：[bugfix] 修复 mooncake KV store metrics 获取失败:metrics 端口统一为 50090