Database replication platform that leverages change data capture. Stream production data from databases to your data warehouse (Snowflake, BigQuery, Redshift, Databricks) in real-time.
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 1 个月前 | ||
| 5 个月前 | ||
| 3 个月前 | ||
| 4 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 1 年前 | ||
| 8 个月前 | ||
| 1 年前 | ||
| 3 年前 | ||
| 2 个月前 | ||
| 4 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 1 年前 | ||
| 2 个月前 |
Artie Transfer 是一款面向数据库与数据仓库/数据湖的实时数据复制解决方案。
传统 ETL 解决方案依赖批处理流程或调度工具（如 DAG、Airflow），这导致下游数据仓库中的数据往往存在数小时甚至数天的延迟。随着数据量不断增长，批处理耗时越来越长，这一问题愈发严重。
Artie 利用变更数据捕获（CDC）和流处理技术，以更高效的方式执行数据同步，实现亚分钟级延迟。
Artie Transfer 的优势：
- 亚分钟级数据延迟：随时获取生产环境实时数据。
- 易于使用：只需简单配置文件，即可快速启动！
- 自动表创建与 schema 检测：Artie 能够自动推断 schema，并将变更自动合并至下游目标。
- 可靠性：具备自动重试机制，处理过程确保幂等性。
- 可扩展性：轻松应对 1GB 至 100+ TB 的数据量。
- 监控功能：内置错误报告及丰富的遥测统计数据。
查看此指南开始使用！
架构
示例
要在本地运行 Artie Transfer 的技术栈，请参考 examples 文件夹。
快速开始
当前支持哪些功能？
Transfer 旨在支持所有 OLTP 和 OLAP 数据库。目前 Transfer 支持：
-
消息队列
- Kafka（默认）
-
目标端：
- BigQuery
- ClickHouse
- Databricks
- Iceberg
- S3Tables
- REST catalog
- Microsoft SQL Server
- MotherDuck
- PostgreSQL
- Redshift
- S3
- Snowflake
- Amazon SQS
-
源端：
- DocumentDB
- DynamoDB
- Microsoft SQL Server
- MongoDB
- MySQL
- Oracle
- PostgreSQL
如果您使用的数据库不在列表中，欢迎提交 功能请求。
配置文件
遥测
测试
Transfer 使用 Go 语言编写，并使用 counterfeiter 进行模拟。 要运行测试，请执行以下命令：
make generate
make test
发布
Artie Transfer 通过 GoReleaser 进行发布，我们使用它在 发布页面 以及 Dockerhub 上交叉编译我们的二进制文件。如果您的操作系统或架构不受支持，请提交功能请求！
许可
Artie Transfer 根据 ELv2 许可协议授权。更多信息请参见 LICENSE 文件。如果您有任何许可相关问题，请发送邮件至 hi@artie.com。
项目介绍
Database replication platform that leverages change data capture. Stream production data from databases to your data warehouse (Snowflake, BigQuery, Redshift, Databricks) in real-time.