已关闭
【资料测试】性能测试报告(v26.06)缺少数据集生成方法与测试脚本,无法复现 #52
juedingfengzm创建于  9月3日关闭于  24 天前
juedingfengzm
9月3日 创建

问题简述/ Brief Description

reports/performance/InferNex整体性能测试报告-v26.06.md 中给出的性能数据(TTFT 降低 51%~59%、TPS 提升 24%~40%)很有参考价值,但报告缺少可复现的关键信息:

  1. 数据集生成方法缺失:两个场景(定长系统提示词复用、多轮对话)只描述了数据特征(120 种 8k 系统提示词各重复 4 次、共 480 条请求、泊松分布、并发 8等),但没有给出数据集的生成方法或生成脚本。
  2. 测试脚本与配置缺失:报告注明测试工具为 aiperf,但没有给出 aiperf 版本、profile 配置和调用命令。
  3. 结果不可复现:缺少上述内容后,社区用户无法验证或对比报告中的 TTFT / TPOT / TPS / E2EL 数据。

期望

  • 公开两个场景的数据集生成脚本(或生成方法说明:提示词语料来源、token 长度如何精确控制、泊松分布到达如何实现);
  • 公开对应的 aiperf 运行配置/命令与版本;
  • 若内部脚本暂不便开源,也希望能提供一份基于开源组件(如 vLLM benchmark_serving、ShareGPT 数据集 + 自定义 trace 等)达到同等测试场景的等价复现方案。
likedislike
openFuyao-botopenFuyao-bot成员
9月3日 添加了label:sig/sig-ai-inference
openFuyao-bot
openFuyao-bot成员
9月3日 评论:

欢迎来到 openFuyao 社区

Hey @juedingfengzm , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。您可以自助配置此仓库的 PR 合并规则,更多详情,请参阅此处。

联系指引

有疑问可以联系 SIG: sig-ai-inference ,
维护者是: @foxbit, @regandy ,
审核者是: @ShiroChen, @piamposer-li, @qinwenzh .

likedislike
zhengqinwenZZZzhengqinwenZZZ成员
9月3日 issue类型由 任务/Task 改变为 需求/Requirement
yangxt65535yangxt65535成员
9月3日 关联了pull request:docs(infernex-bridge): align user guide with updated technical spec
yangxt65535yangxt65535成员
9月3日 删除了关联的pull request:docs(infernex-bridge): align user guide with updated technical spec
yangxt65535yangxt65535成员
9月3日 关联了pull request:docs: add README for hacks/dataset_gen scripts
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 将 yangxt65535 设为负责人
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 移除了负责人 yangxt65535
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 将 yangxt65535 设为负责人
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 添加了label:documentation
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 关联了看板:openFuyao - v26.09问题单
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 关联了里程碑:v26.06
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 关联了里程碑:v26.09
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 issue状态由 开启 改变为 接纳
zhengqinwenZZZzhengqinwenZZZ成员
24 天前 关闭了 issue