README

项目介绍

Fire-Flyer文件系统（以下简称3FS）是一个较为特殊的文件系统，是由DeepSeek AI专为满足AI训练和推理工作负载的密集数据需求而设计开发的一种高性能分布式并行文件系统。

3FS只用在AI训练时计算节点中的模型批量读取样本数据这个场景上，通过高速的计算存储交互加快模型训练。它以高吞吐、低延迟和强一致性为核心设计理念，通过高效利用RDMA网络，为分布式应用开发者提供了一个简化的共享存储层。本文档主要介绍了在ARM平台的openEuler 22.03操作系统下，DeepSeek的存储组件3FS的编译与安装步骤，帮助客户快速使能。

3FS是一个高性能、高可用的分布式文件系统，其架构设计分为四个核心组件：Cluster Manager、Client、Meta Service和Storage Service，所有组件通过RDMA网络实现高速互联。

这里提供了3FS在鲲鹏920服务器上的编译部署方法。

目录结构

├── docs                                    # 项目文档目录
│   ├── LICENSE-DOCS                        # 文档许可协议
│   └── zh                                  # 中文文档目录
│       ├── figures                         # 中文文档图片资料目录
│       ├── release_notes.md                # 版本说明
│       ├── installation_guide.md           # 安装指南
│       └── quick_start.md                  # 快速入门
├── openeuler_3fs.patch                     # 3FS编译适配补丁文件
├── openeuler_3fs_folly.patch               # 3FS folly组件适配补丁文件
├── LICENSE                                 # 软件许可协议
└── README.md                               # 介绍文档

安装指南

环境要求、编译安装指南详见安装指南。

快速入门

3FS的并发读写测试详见快速入门。

版本说明

版本信息详见版本说明。

免责声明

致本项目使用者

• 本项目仅供调试和开发之用，使用者需自行承担使用风险，并理解以下内容：

  • 数据处理及删除：用户在使用本工具过程中产生的数据属于用户责任范畴。建议用户在使用完毕后及时删除相关数据，以防信息泄露。
  • 数据保密与传播：使用者了解并同意不得将通过本工具产生的数据随意外发或传播。对于由此产生的信息泄露、数据泄露或其他不良后果，本工具及其开发者概不负责。
  • 用户输入安全性：用户需自行保证输入的命令行的安全性，并承担因输入不当而导致的任何安全风险或损失。对于输入命令行不当所导致的问题，本工具及其开发者概不负责。

• 免责声明范围：本免责声明适用于所有使用本工具的个人或实体。使用本工具即表示您同意并接受本声明的内容，并愿意承担因使用该功能而产生的风险和责任，如有异议请停止使用本工具。

• 在使用本工具之前，请谨慎阅读并理解以上免责声明的内容。对于使用本工具所产生的任何问题或疑问，请及时联系开发者。

致数据所有者

如果您不希望您的模型或数据集等信息在本项目中被提及，或希望更新本项目有关的描述，请在GitCode提交issue，我们将根据您的issue要求删除或更新您相关描述。衷心感谢您对本项目的理解和贡献。

License

本项目的代码适用于Apache License 2.0许可证，具体请参见LICENSE文件。

本项目的文档适用于CC-BY 4.0许可证，具体请参见LICENSE文件。

贡献声明

欢迎大家为社区做贡献，如果使用过程中有任何问题/建议，或者需要反馈特性需求和bug报告，可以提交Issues联系我们，具体贡献方法可参考这里。同时也欢迎大家在讨论专区展开讨论交流。感谢您的支持。