ubs-io

介绍

UBS IO是面向推理、训练、后训练等多种场景的IO加速服务套件，提供NPU直通存储、基于块存储的分布式KV/文件缓存和块存储扩展特性等加速能力，支持模型权重文件启动加载、KV Cache复用卸载等场景IO性能提升。

软件架构

UBS IO目前主要包括以下关键特性：

NDS(NPU Direct Storage)：提供KV和文件直通接口，支持本地PCIE SSD、基于UB的块存储和基于RDMA/UB互连的外置存储系统数据直通读写NPU HBM，减少存储设备与CPU侧冗余的内存拷贝开销。NDS提供适配主流开源多层级KV Cache缓存框架的插件扩展，可适配业界主流的开源三方文件/KV缓存系统，加速KV Cache数据的复用加载。 IO缓存：提供基于FUSE的标准文件IO接口和原生KV接口，支持基于服务器、超节点的本地块存储和存算分离的分布式存储服务器等多种系统架构部署，原生支持适配NDS服务，实现KV Cache、权重加载等场景的最短路径传输。 块存储扩展特性：提供对块存储的软硬协同功能，包括多类型块设备的空间分配和管理、块存储多流IO适配、NPU/块存储 UB建链和内存注册协同等，支持与块存储UB池化系统对接。

参与贡献

我们欢迎社区开发者提交 Issue、PR 或参与讨论！ 请先阅读贡献指南，并遵守 openEuler 社区行为准则。

许可证

本项目采用 Mulan PSL v2 开源许可证。