已关闭
[Feature]: 支持Atlas 950 SuperPod 推理大EP亲和性调度 #613
寰球无敌飞天小女警创建于 6月17日关闭于 6月17日
6月17日 添加了label：feature
xiangjie10
6月17日 评论：
6月17日 评论：
👋 您好，感谢向 mind-cluster 提交 Issue！
🎉 我们已收到您的反馈，感谢你对开源社区的支持！
📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查（推荐优先查看） 在等待回复期间，您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案，多数问题可快速解决。
💡 为了更快定位问题，请您确保 Issue 包含：
- 清晰的问题描述
- 可复现的操作步骤
- 相关日志、截图或环境信息
我们会尽快跟进，感谢您的理解与配合！
xiangjie10
6月17日 评论：
6月17日 评论：
/label add triaged
6月17日 添加了label：triaged
6月17日 关联了pull request：950推理大EP亲和性调度
6月17日 关闭了 issue
6月17日 添加了label：resolved
29 天前 issue状态由 TODO 改变为 DONE
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
【需求描述】
尽量将一个推理服务下的推理实例放置到相同的Pod框内，资源不足则尽量放置到相同的超节点
【方案描述】
单个大EP首实例（pg）调度逻辑：
1、优选选择空闲框数最多的超节点进行调度，在超节点内优先使用空闲的框（如果存在空闲框，否则使用空闲节点数更多的框）
2、空闲框数量一致时，优先选择空闲节点数最多的超节点进行调度，在超节点内优先使用空闲的框
3、空闲框和空闲节点数量都一致时，可选择队列中第一个超进行调度
后续实例（PG）调度逻辑：
1、优先选择原来的框和原来的超节点（已有同服务任务的框/超）
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!