已关闭
[Documentation|文档反馈]: 补充 A5 PR+DT 异构调度说明并删除独立 hetero 样例配置 #628
zhinengwu创建于  9月15日关闭于  9月17日
zhinengwu
zhinengwu
9月15日 创建

文档链接

问题文档片段

此前为 PR/DT 异构调度单独增加了 examples/infer_engines/vllm/user_config_pd_hetero.json、examples/infer_engines/sglang/user_config_pd_hetero.json,PD 分离部署文档中也未说明 Atlas A5 上 PR(白鹭)与 DT(HBM)组网时为何要把 Prefill / Decode 分别调度到对应节点;Docker 部署文档未说明该场景下如何做异构部署。

存在的问题

  1. 异构调度只是在现有 user_config.json 中打开字段,不应再维护一份独立样例配置。
  2. 用户文档需要写清场景:A5 机器分为 PR、DT;DT 使用 HBM,带宽更大、更适合 Decode;PR 使用白鹭内存。仅 PR + DT 组网 时需要把 P 实例调度到 PR 节点、D 实例调度到 DT 节点。
  3. 节点标签由用户在集群侧维护,配置中的 npu_chip_name(分别位于 motor_engine_prefill_config / motor_engine_decode_config)须与节点标签 huawei.com/npu.chip.name 一致。
  4. Docker 部署无调度器,异构需由人工按机器形态分配容器,文档需说明该差异及不支持异构的单容器场景。

涉及范围

  • 文档:K8s PD 分离部署、Docker 多容器/单容器部署、配置参考
  • 代码:motor/config/node_manager.py 的 A5 硬件类型枚举收敛(350-Atlas-* / 850-* / 950-SuperPod-* → Ascend950),及 deployer 侧 nodeSelector 生成逻辑
likedislike
zhinengwuzhinengwu
9月15日 关联了pull request:[docs] 补充 A5 PR+DT 异构调度说明
wangyang
wangyang成员
9月16日 评论:

👋 您好,感谢向 mindie-motor 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

清晰的问题描述
可复现的操作步骤
相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!

likedislike
zhinengwuzhinengwu
9月17日 修改了issue 的描述
zhinengwuzhinengwu
9月17日 修改了issue 的描述
wangyangwangyang成员
9月17日 关闭了 issue
wangyangwangyang成员
9月17日 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
9月17日 添加了label:resolved