已开启
【Bug】vllm进行PD分离, curl proxy进行 dump数据,P可以采集,D节点data为空 #2
HowSir_X创建于  7月1日
HowSir_X
HowSir_X
7月1日 创建

P节点为NPU, D节点为GPU, 分别单独curl P节点和D节点是可以采集到的

vllm 0.20.2

启动参数:
tensor-parallel-size 4
enforce-eager
enable-expert-parallel

curl的最大token设置:
max_tokens = 10

采集的配置:
step[0, 1]

采集到的数据:
[root@TENCENT64 rank0]# pwd
/data2/data dump/dump_all_yigou_d_1952/step1/rank0
[root@TENCENT64 rank0]# cat dump.json
{
"task”: "statistics",
"level”: "mix",
"framework": "pytorch",
"dump data dir": null,
"data": {}
}

likedislike
HowSir_XHowSir_X
7月1日 修改了issue 的描述