memcache:基于MemFabric的高性能分布式KVCache存储引擎项目

MemCache是针对AI推理场景设计的高性能分布式KVCache缓存，针对昇腾超节点、服务器的实现了精细化性能调优，提供较好的High Availability能力, 同时对接到vllm-ascend、sglang、mindie等开源推理框架

当前项目代码仓暂无内容

High-performance distributed key-value cache

MemCache roadmap详见： Roadmap MemCache 分支发布策略：分支发布策略

MemCache是针对LLM推理、GR推理场景设计的高性能分布式KVCache存储引擎，其主要特性包括：

基于对象操作的API：支持批量和非批量的put/get/exist/remove操作，支持多层结构的KV Block读写接口。
多层缓存池：支持HBM，DDR，SSD组成多级缓存池，多级之间通过淘汰和预取进行数据冷热交换。
高带宽低时延：使用 MemFabric 作为多级内存和异构网络传输的底座，在Ascend硬件上，基于device_rdma(A2)、device_sdma(A3)、host_rdma(A2/A3)、device_urma(A5)、device_uboe(A5) 等路径提供OneCopy跨机跨介质数据直接访问能力，满足高带宽，低时延的读写性能述求。在鲲鹏硬件上，支持host_urma(K5)。支持host_shm实现同节点共享内存通信。
支持扩缩容：支持LocalService动态加入和移除
HA能力：在K8S集群中，MetaService支持多活能力，支持元数据恢复，提供尽力而为的HA能力。

MemCache包含LocalService和MetaService两大核心组件：

MetaService：
- 负责管理整个集群中内存池空间的分配和管理，处理LocalService的加入与退出。
- MetaService作为独立进程运行，提供两种启动方式：python API启动；二进制启动，详见 whl安装使用和 run安装使用
- MetaService支持两种部署形态： 1、单点模式：MetaService由单个进程组成，部署方式简单，但存在单点故障的问题。如果MetaService进程崩溃或无法访问，系统将无法继续提供服务，直至重新恢复为止。 2、HA模式：该模式基于K8S的的ClusterIP Service和Lease资源构建，部署较为复杂，该模式会部署多个MetaService进程实例，实现多活高可用。部署详见怎么部署一个MemCache的HA集群
LocalService：负责承担如下功能：
- 客户端：作为客户端，以whl/so形式作为共享库被应用进程加载调用API
- 内存提供者：负责提供一段连续的内存区域作为内存池空间的一部分，其内存可以被其他LocalService实例基于地址直接访问。