Daft：面向 AI 和多模态工作负载的高性能数据引擎

|TrendShift|

Daft 是一款面向 AI 和多模态工作负载的高性能数据引擎。可处理任意规模的图像、音频、视频和结构化数据。

原生多模态处理： 在单一框架中同时处理图像、音频、视频、嵌入向量及结构化数据
内置 AI 操作： 使用 OpenAI、Transformers 或自定义模型，大规模运行 LLM 提示词、生成嵌入向量和数据分类
原生 Python，Rust 驱动： 以 Python 为核心，底层采用 Rust 实现卓越性能，无需应对 JVM 复杂性
无缝扩展： 从本地开始，轻松扩展至 Ray、Kubernetes 分布式集群
通用连接能力： 可访问任意位置的数据（S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalog）
开箱即用的可靠性： 智能内存管理和合理的默认配置，消除配置难题

快速开始

安装 ^^^^^^^^^^^^

使用 pip install daft 安装 Daft。要求 Python 3.10 或更高版本。

如需更高级的安装方式（例如从源码安装，或安装包含 Ray 和 AWS 工具等额外依赖），请参阅我们的安装指南。

快速入门 ^^^^^^^^^^

通过我们的快速入门，只需几分钟即可上手 —— 加载真实世界的电子商务数据集、处理产品图像并大规模运行 AI 推理。

更多资源 ^^^^^^^^^^^^^^

示例 - 查看 Daft 在文本、图像、音频等多种用例中的实际应用
用户指南 - 深入了解 Daft 的各个主题
API 参考 - Daft 公共类/函数的 API 参考

基准测试

|基准测试图片|

如需查看完整的基准测试、详细的设置以及日志，请访问我们的基准测试页面。

贡献指南

我们热爱开发者！若要开始为 Daft 贡献代码，请阅读 CONTRIBUTING.md。该文档描述了 Daft 的开发生命周期和工具链，还详细说明了如何向核心引擎添加新功能并通过 Python API 将其公开。

这里有一份良好的入门问题列表，助您熟悉 Daft。在问题下留言即可认领，有任何疑问随时提出！

遥测

为帮助改进 Daft，我们通过 Scarf（https://scarf.sh）收集非身份识别数据。

若要禁用此行为，请设置环境变量 DO_NOT_TRACK=true。

我们收集的数据具有以下特点：

非身份识别性：事件通过会话 ID 进行标识，该 ID 在导入 Daft 时生成
仅元数据：我们不收集任何用户的专有代码或数据
仅用于开发：我们不会购买或出售任何用户数据

相关项目

+---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | 引擎 | 查询优化器 | 多模态 | 分布式 | Arrow 支持 | 向量化执行引擎 | 核外计算 | +===================================================+=================+===============+=============+=================+=============================+=============+ | Daft | 是 | 是 | 是 | 是 | 是 | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Pandas | 否 | Python 对象 | 否 | 可选（>= 2.0） | 部分（Numpy） | 否 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Polars | 是 | Python 对象 | 否 | 是 | 是 | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Modin | 是 | Python 对象 | 是 | 否 | 部分（Pandas） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Ray Data | 否 | 是 | 是 | 是 | 部分（PyArrow） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | PySpark | 是 | 否 | 是 | Pandas UDF/IO | Pandas UDF | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Dask DF | 否 | Python 对象 | 是 | 否 | 部分（Pandas） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+

许可证

Daft 采用 Apache 2.0 许可证——详情请参见 LICENSE 文件。

.. |Quickstart Image| image:: https://github.com/Eventual-Inc/Daft/assets/17691182/dea2f515-9739-4f3e-ac58-cd96d51e44a8 :alt: 从 AWS S3 加载图片文件夹并创建缩略图的数据帧代码 :height: 256

.. |Benchmark Image| image:: https://raw.githubusercontent.com/Eventual-Inc/Daft/refs/heads/main/assets/benchmark.png :alt: AI 基准测试

.. |Banner| image:: https://daft.ai/images/diagram.png :target: https://www.daft.ai :alt: Daft 数据帧能够将 PDF 文档、图片、协议缓冲区、CSV、Parquet 及音频文件等各类数据加载到表格数据帧结构中，以便轻松查询

.. |CI| image:: https://github.com/Eventual-Inc/Daft/actions/workflows/pr-test-suite.yml/badge.svg :target: https://github.com/Eventual-Inc/Daft/actions/workflows/pr-test-suite.yml?query=branch:main :alt: GitHub Actions 测试

.. |PyPI| image:: https://img.shields.io/pypi/v/daft.svg?label=pip&logo=PyPI&logoColor=white :target: https://pypi.org/project/daft :alt: PyPI

.. |Latest Tag| image:: https://img.shields.io/github/v/tag/Eventual-Inc/Daft?label=latest&logo=GitHub :target: https://github.com/Eventual-Inc/Daft/tags :alt: 最新标签

.. |Coverage| image:: https://codecov.io/gh/Eventual-Inc/Daft/branch/main/graph/badge.svg?token=J430QVFE89 :target: https://codecov.io/gh/Eventual-Inc/Daft :alt: 覆盖率

.. |Slack| image:: https://img.shields.io/badge/slack-@distdata-purple.svg?logo=slack :target: https://join.slack.com/t/dist-data/shared_invite/zt-3rh9jr9iv-tmmTNOlQpfvhEy2NTMWS_w :alt: Slack 社区

.. |TrendShift| image:: https://trendshift.io/api/badge/repositories/8239 :target: https://trendshift.io/repositories/8239 :alt: Eventual-Inc/Daft | Trendshift :width: 250px :height: 55px