Burrow - Kafka 消费者延迟检查

Burrow 是 Apache Kafka 的监控辅助工具，它提供消费者延迟检查服务，无需设置阈值。它监控所有消费者的已提交偏移量，并根据需要计算这些消费者的状态。系统提供 HTTP 端点，用于按需请求状态，以及提供其他 Kafka 集群信息。此外，还有可配置的通知器，能够通过电子邮件或 HTTP 调用将状态发送到其他服务。

功能特性

• 无需阈值！消费者组通过滑动窗口进行评估。
• 支持多 Kafka 集群
• 自动监控所有使用 Kafka 提交偏移量的消费者
• 可配置支持 Zookeeper 提交的偏移量
• 可配置支持 Storm 提交的偏移量
• 提供 HTTP 端点，用于获取消费者组状态以及 broker 和消费者信息
• 可配置邮件发送器，用于为特定消费者组发送告警
• 可配置 HTTP 客户端，用于为所有消费者组向其他系统发送告警

快速开始

前提条件

Burrow 使用 Go 语言编写，因此在开始之前，您需要安装并设置 Go。由于依赖项通过 Go modules 管理，支持的最低 Go 版本为 1.24（根据 go.mod）；CI 当前使用 Go 1.25 进行构建。

构建与安装

$ Clone github.com/linkedin/Burrow to a directory outside of $GOPATH. Alternatively, you can export GO111MODULE=on to enable Go module.
$ cd to the source directory.
$ go mod tidy
$ go install

运行 Burrow

$ $GOPATH/bin/Burrow --config-dir /path/containing/config

使用 Docker

提供了一个 Docker 文件，可在 Alpine Linux 镜像基础上构建此项目。 要使用 Docker，请构建您的 Docker 容器，将您的 Burrow 配置挂载到 /etc/burrow 目录，然后运行 Docker。

还提供了一个 Docker Compose，以便快速便捷地进行开发。

安装 Docker Compose，然后执行以下步骤：

1. 构建 Docker 容器：

   docker-compose build
   

2. 运行包含 kafka 和 zookeeper 的 Docker Compose 栈：

   docker-compose down; docker-compose up
   

3. 默认情况下已创建一些测试主题，可通过 http://localhost:8000/v3/kafka 访问 Burrow。

配置

有关如何编写配置文件的信息，请查看 详细维基

许可证

Copyright 2017 LinkedIn Corp. 本软件根据 Apache 许可证 2.0 版（以下简称“许可证”）授权；除非遵守许可证，否则您不得使用此文件。 您可以在 http://www.apache.org/licenses/LICENSE-2.0 处获取许可证的副本。

除非适用法律要求或书面同意，否则根据许可证分发的软件按“原样”分发，不附带任何明示或暗示的保证或条件。