已合并
[feature]对接SGLang — coordinator、deploy #9
[feature]对接SGLang — coordinator、deploy #9
已合并
linghb创建于 3月16日
linghb
linghb
3月16日

1. 合入背景

https://gitcode.com/Ascend/MindIE-PyMotor/issues/3

2. 修改内容

1、coordinator 新增pd_dual_dispatch_router,支持同时P和D双选,并发下发请求的模式;
2、deploy (1)Ascend_MF_STORE 单独部署;(2)user_config 增加sglang配置;

3. 资料变更

不涉及

4. 接口变更

不涉及

5. 测试结果

部署成功
image.png

推理请求成功
v1/completions
image.png

6. CheckList

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

[ ] 代码注释完备

[ ] 正确记录维测日志

[ ] 是否有UT用例

[ ] 若涉及多线程场景,考虑了并发场景,不存在死锁问题

likedislike
Pull Request已成功合入, 合并人@wangyang
(感谢 linghb 的贡献)
linghblinghb
3月16日 关联了issue:[feature] PyMotor对接SGLang
ascend-robotascend-robot成员
3月16日 添加了label:stat/needs-squash
ascend-robot
ascend-robot成员
3月16日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/MindIE-PyMotor towncharlie, codeDogPro (2/2) towncharlie (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

linghb, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
3月16日 添加了label:ascend-cla/yes
linghblinghb
3月16日 修改了pull request 的描述
此处折叠了47条消息 查看更多
wangyang
wangyang成员
3月20日 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
3月20日 添加了label:approvedlgtm
wangyangwangyang成员
3月20日 关闭了关联的issue
wangyangwangyang成员
3月20日 合入了pull request
jason lyu
jason lyu成员
3月23日 评论:

DT失败.png

likedislike