PR !542 已新增 OptiX vLLM benchmark 早停功能,但中英文用户指南尚未说明该功能,用户无法从文档中了解以下内容:
[benchmark_early_exit]
enabled
action
metrics_url
action = "report"
action = "terminate"
report
terminate
case_id
would_early_exit
early_exit
result_source
usable_as_best
欢迎加入社区,感谢您对社区的贡献 🎉!
/label add triaged
Documentation Location (Multiple document links can be specified) | 文档位置(可指定多个文档链接)
Current Content Description | 文档问题描述
PR !542 已新增 OptiX vLLM benchmark 早停功能,但中英文用户指南尚未说明该功能,用户无法从文档中了解以下内容:
[benchmark_early_exit]配置启用早停,以及enabled、action、metrics_url的含义;action = "report"观察判断结果,再切换为action = "terminate"实际终止低收益候选;Modification Suggestion | 修改建议
report验证判断和采样轨迹,再切换至terminate。case_id、would_early_exit、early_exit、预计节省时间、result_source、usable_as_best等结果字段说明。Acceptance Criteria | 验收标准
Related Pull Request | 关联 PR
欢迎加入社区,感谢您对社区的贡献 🎉!