eagle-eye

项目介绍

Eagle Eye是面向AI推理场景的可观测体系，实现从AI网关、推理引擎、Mooncake到基础设施（Ray、K8s、硬件）的全链路指标采集、近实时传输与智能诊断。该体系融合了Prometheus的周期性指标采集与分布式消息队列系统的低延迟推送机制，既支持扩缩容决策的趋势分析，也满足时效性要求高的模块（如智能路由）对秒级数据更新的需求。通过独立的硬件健康诊断模块，实现对NPU/GPU、温度、功耗、错误码等底层指标的持续监测与异常识别，构建“采集—传输—诊断—评估”的闭环监控能力，为AI推理系统的稳定性、性能优化与资源调度提供坚实的数据支撑。

核心功能

• 多层指标覆盖：覆盖AI网关（如性能、资源消耗、安全与合规审计、治理策略执行追踪）、推理引擎（API Server、模型输入输出、推理过程、推理引擎状态）、Mooncake（Mooncake master、transfer engine、Mooncake client）和基础设施（Ray、K8S、硬件），实现全链路观测。

• 近实时指标传输：面向对时效性要求高的模块，通过分布式消息队列系统实现秒级指标推送，确保指标能够被及时感知并影响决策。

• 扩缩容决策支撑：将采集到的系统与运行态指标同步上报至Prometheus，用于周期性计算与趋势评估。

• 硬件健康检查与诊断：构建独立的硬件健康诊断模块，周期性采集NPU/GPU温度、功耗、错误码等底层指标，并通过分布式消息队列系统实时上报。诊断模块订阅并分析采集数据，结合设备型号、驱动与固件信息，基于阈值规则与异常指标分析，识别典型故障模式并输出诊断结论与处置建议，实现从数据采集到健康评估的闭环。

本地构建

镜像构建

构建命令

• 构建并推送到指定OCI仓库。

  使用docker

  docker buildx build . -f <path/to/dockerfile> \
      -o type=image,name=<oci/repository>:<tag>,oci-mediatypes=true,rewrite-timestamp=true,push=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  使用nerdctl

  nerdctl build . -f <path/to/dockerfile> \
      -o type=image,name=<oci/repository>:<tag>,oci-mediatypes=true,rewrite-timestamp=true,push=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  其中，<path/to/dockerfile>为Dockerfile路径，<oci/repository>为镜像地址，<tag>为镜像tag。

• 构建并导出OCI Layout到本地tarball。

  使用docker

  docker buildx build . -f <path/to/dockerfile> \
      -o type=oci,name=<oci/repository>:<tag>,dest=<path/to/oci-layout.tar>,rewrite-timestamp=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  使用nerdctl

  nerdctl build . -f <path/to/dockerfile> \
      -o type=oci,name=<oci/repository>:<tag>,dest=<path/to/oci-layout.tar>,rewrite-timestamp=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  其中，<path/to/dockerfile>为Dockerfile路径，<oci/repository>为镜像地址，<tag>为镜像tag，path/to/oci-layout.tar为tar包路径。

• 构建并导出镜像rootfs到本地目录。

  使用docker

  docker buildx build . -f <path/to/dockerfile> \
      -o type=local,dest=<path/to/output>,platform-split=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  使用nerdctl

  nerdctl build . -f <path/to/dockerfile> \
      -o type=local,dest=<path/to/output>,platform-split=true \
      --platform=linux/amd64,linux/arm64 \
      --provenance=false \
  

  其中，<path/to/dockerfile>为Dockerfile路径，path/to/output为本地目录路径。

Helm Chart构建

• 打包Helm Chart。

  helm package <path/to/chart> -u \
      --version=0.0.0-latest \
      --app-version=openFuyao-v26.03
  

  其中，<path/to/chart>为Chart文件夹路径。

• 推送Chart包到指定OCI仓库。

  helm push <path/to/chart.tgz> oci://<oci/repository>:<tag>
  

  其中，<path/to/chart.tgz>为Chart包路径，<oci/repository>为Chart包推送地址，<tag>为Chart包tag。