已开启
apply-Ray-config-before-import #54
apply-Ray-config-before-import #54
已开启
3stone创建于 7月24日
3stone
3stone成员
7月24日

1. 减少 Ray task/GCS 事件与指标基数

1.1 优化点名称

减少 Ray task/GCS 事件与指标基数(Minimal Ray Control Plane)。

1.2 背景与收益原理

Ray 默认会收集 task history、Core metrics 和 event stats。大量短 task 或算子节点会产生高基数指标标签及持续的事件上报,增加:

  • worker/raylet 到 GCS 的控制面通信;
  • GCS 事件持久化和索引维护;
  • metrics 聚合与序列化;
  • dashboard/state API 后台处理;
  • CPU cache 和内存带宽压力。

Daft pipeline 的正确执行不依赖完整 task history 或 Ray Core metrics,因此在以吞吐为目标的 benchmark/生产模式中,可以关闭这些可观测性数据,换取更低的控制面开销。该优化对短 task、多 partition、高并发场景理论上更明显。

1.3 实现方式、分支与提交

分支:codex/ai-de-ray-control-cardinality

提交:

  • c91c78e1creduce-Ray-control-plane-telemetry-overhead
  • b6fa44cb6apply-Ray-config-before-import
  • b2f487039adapt Ray control-plane setup to early experimental import

主要实现位于 daft/runners/ray_runner.py

  • 新增 _configure_minimal_ray_control_plane
  • 默认设置:
    • RAY_task_events_report_interval_ms=0
    • RAY_enable_metrics_collection=0
    • RAY_event_stats=0
  • 配置必须在 import ray 前执行,因为 Ray C++ 配置单例可能在导入阶段读取 RAY_* 环境变量。
  • 使用 setdefault,保证用户显式设置的 Ray 参数优先。
  • 可设置 DAFT_RAY_MINIMAL_CONTROL_PLANE=0 恢复完整 Ray 可观测性。

新 base 在文件顶部提前导入了 ray.experimental,且不再导入 os。直接移植旧补丁会导致 NameError,并使配置无法在 Ray 首次导入前生效。提交 b2f487039 补充 os 导入,并把 ray.experimental 移到控制面配置之后。首次兼容性失败和一次 Ray worker 瞬态缺模块样本均完整保留,但没有计入最终 A/B;最终结果来自重新执行的完整 3 轮。

1.4 测试结果

Pipeline 基线中位数 优化后中位数 优化效果 加速比
pipeline_pdf_full_min 12.076 s 12.230 s -1.28% 0.987x
pipeline_text_fineweb_full_min 9.381 s 9.400 s -0.21% 0.998x
pipeline_text_vectorize_full_min 17.093 s 17.934 s -4.92% 0.953x
pipeline_image_full_min 12.031 s 12.355 s -2.69% 0.974x
pipeline_video_full_min 12.391 s 12.446 s -0.44% 0.996x
五条中位数之和 62.972 s 64.365 s -2.21% 0.978x

结论:新 base 上 5 条 pipeline 全部回退,汇总回退 2.21%,其中向量化回退 4.92%。该优化还会降低 Ray dashboard/state API 的可观测信息,当前没有性能收益支撑这一权衡,不建议合入或默认开启。

likedislike
合并受阻
3stone3stone成员
7月24日 强制推送  2 个提交:f16d5ffe-reduce-Ray-control-plane-telemetry-overhead,53bf88da-apply-Ray-config-before-import
3stone3stone成员
7月24日 修改了pull request 的描述