已关闭
[Doc]: 补充 OptiX vLLM benchmark 早停功能中英文用户指南 #442
huqixing创建于  20 天前关闭于  19 天前
huqixing成员
20 天前 创建

Current Content Description | 文档问题描述

PR !542 已新增 OptiX vLLM benchmark 早停功能,但中英文用户指南尚未说明该功能,用户无法从文档中了解以下内容:

  • 如何通过 [benchmark_early_exit] 配置启用早停,以及 enabled、action、metrics_url 的含义;
  • 如何先使用 action = "report" 观察判断结果,再切换为 action = "terminate" 实际终止低收益候选;
  • 哪些寻优阶段允许早停,哪些基准、校准、refinement 和最优候选复测阶段会被保护并完整执行;
  • 如何解读早停相关结果字段和采样文件;
  • engine 不支持、缺少 reference、Case 太短、metrics 不可用等场景下为何未触发早停。

Modification Suggestion | 修改建议

  1. 在中英文 OptiX 用户指南中同步新增 benchmark 早停章节,并给出可直接使用的 TOML 配置示例。
  2. 说明推荐的灰度启用流程:先使用 report 验证判断和采样轨迹,再切换至 terminate。
  3. 说明早停适用范围及完整结果保护机制,避免用户误以为所有 benchmark 阶段都会提前结束。
  4. 补充 case_id、would_early_exit、early_exit、预计节省时间、result_source、usable_as_best 等结果字段说明。
  5. 补充常见未触发场景的排障方法,并明确当前仅支持 vLLM engine。

Acceptance Criteria | 验收标准

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Hhuqixing成员
20 天前 添加了label:document
ascend-robotascend-robot成员
19 天前 关闭了 issue
ascend-robotascend-robot成员
19 天前 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
19 天前 添加了label:resolved
刘家旺
刘家旺成员
16 天前 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
16 天前 添加了label:triaged