| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[doc]新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档 Co-authored-by: whytao<weitao46@h-partners.com> # message auto-generated for no-merge-commit merge: !531 merge develop into develop [doc]新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档 Created-by: whytao Commit-by: whytao Merged-by: yrewzjsx Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue fixed: [#275](https://atomgit.com/Ascend/memcache/issues/275) # 问题/功能描述 # 修改方案描述 新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档。 # 是否涉及UT/ST - [ ] 是 - [ ] 否（说明理由） # 开发自检 - [ ] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [ ] 规范：已关联issue或里程碑 - [ ] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [ ] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [ ] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [ ] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [ ] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!531 | 27 天前 | |
feat: 支持UBSIO文件语义元数据分离 Co-authored-by: zhangjialee<z3262749952@163.com> # message auto-generated for no-merge-commit merge: !606 merge feat/ubsio-filesystem-metadata-separation into master feat: 支持UBSIO文件语义元数据分离 Created-by: zhangjialee Commit-by: zhangjialee Merged-by: yangchangjie12138 Description: # 合入来源 - [x] 需求 - [ ] 问题单 - [ ] issue # 问题/功能描述 - UBSIO 对接文件语义后，SSD key 与 value size 由 UBSIO 管理，MetaService 仅查询 DRAM 元数据时无法发现 SSD-only key。 - 文件语义的 Get、BatchGet、Query、BatchQuery 和预取需要先取得真实 value size、申请 DRAM Blob，再从共享文件系统回温；缺失该链路会降低外部命中并影响 Layerwise 返回 GVA。 - 新增能力需要与现有 KV/块设备聚合元数据模式兼容，且不能改变 DRAM 命中、异步淘汰和已有 Layerwise 语义。 # 修改方案描述 - 增加统一存储配置，LocalService 初始化时获取 SSD 元数据模式；分离模式由 UBSIO 管理 SSD key，聚合模式继续使用 MetaService 中的 SSD Blob。 - 增加 BatchStorageStat RPC，在文件语义 SSD-only miss、Query/BatchQuery 和预取路径获取真实 value size，并按 allocator 分配结果将 key 按 rank 聚合后执行 BatchGet 回温。 - Exist/BatchExist、Get/BatchGet、Query/BatchQuery 与 Layerwise 共用一致的文件语义发现和回温规则，回温后的 DRAM Blob 继续使用已有状态机、租约和命中统计。 - 分离模式刷盘完成后不向 MetaService 持久化 SSD Blob，异步刷盘、临时文件提交和 SSD 生命周期由 UBSIO 管理；聚合模式行为保持不变。 - 补齐 UBSIO BatchStat 动态加载、RPC/接口 trace、配置说明及协议序列化测试，并保留 master 的 Blob 解锁释放和 BatchPromote 逻辑。  详细设计：[Memcache ubsio 文件语义与固态盘元数据分离设计](https://gitcode.com/zhangjialee/memcache/wiki/Memcache%20ubsio%20%E6%96%87%E4%BB%B6%E8%AF%AD%E4%B9%89%E4%B8%8E%E5%9B%BA%E6%80%81%E7%9B%98%E5%85%83%E6%95%B0%E6%8D%AE%E5%88%86%E7%A6%BB%E8%AE%BE%E8%AE%A1) # 测试结果： - C++ UT/ST：覆盖存储模式配置、初始化配置消息、BatchStorageStat 消息、LocalService UBSIO 调用、MetaService SSD-only 分类与批量回温、KV 聚合模式兼容及 UBSIO proxy；代码已包含测试。本机定向 UT 因 Windows Bash 服务 E_ACCESSDENIED 未启动，远端功能与性能验证结果如下。 - MemCache benchmark：覆盖异步刷盘、SSD-only key 发现、Get/BatchGet 回温、回温后 DRAM 命中、混合命中逐项结果，以及不同长度和复用间隔的连续多轮执行；执行至第 9 轮后结束并清理测试文件。 - 预取与 Layerwise：验证 Exist/BatchExist 预取、Query/BatchQuery 同步回温并返回 GVA，以及 Qwen3 Layerwise 下 vLLM、MemCache、UBSIO 三层 key 形态。 - MiniMax-M2.5 TP8 128K：40 请求、并发 1、输出 512 时，文件语义与 KV 输入吞吐分别为 3616.92/2176.88 tok/s，命中率均为 78.08%，请求全部成功；96 请求、95% 命中时分别为 3954.19/2347.80 tok/s，KV 组出现 Eagle3 acceptance 异常；192 请求、并发 4、输出 1、95% 命中时分别为 32654.32/25216.30 tok/s，请求全部成功。  **DeepSeek-V4-Flash TP8 128K 九轮长稳结果（40 请求/轮、并发 4、输出 1）** | 轮次 | 成功/失败 | 时长(s) | tok/s | Mean TTFT(ms) | P99 TTFT(ms) | 外部命中率 | | --- | --- | ---: | ---: | ---: | ---: | ---: | | 1 | 40/0 | 74.17 | 69,033.39 | 7,189.33 | 9,466.59 | 89.60% | | 2 | 40/0 | 70.71 | 72,409.59 | 6,857.10 | 9,462.37 | 89.60% | | 3 | 40/0 | 75.91 | 67,444.47 | 7,357.57 | 9,407.89 | 89.60% | | 4 | 40/0 | 75.99 | 67,378.60 | 7,357.01 | 9,706.51 | 89.60% | | 5 | 40/0 | 73.74 | 69,435.91 | 7,137.52 | 9,296.72 | 89.60% | | 6 | 40/0 | 78.80 | 64,972.31 | 7,629.17 | 9,776.00 | 89.60% | | 7 | 40/0 | 75.72 | 67,618.25 | 7,346.03 | 9,732.46 | 89.60% | | 8 | 40/0 | 77.79 | 65,818.52 | 7,545.00 | 9,693.00 | 89.60% | | 9 | 40/0 | 77.20 | 66,319.10 | 7,480.51 | 9,592.78 | 89.60% | | 平均 | 360/0 | 75.56 | 67,825.57 | 7,322.14 | 9,570.48 | 89.60% | - DeepSeek-V4-Flash TP8 128K：相同 900 MB/worker DRAM、40 请求、并发 4、输出 1 和同一 ABCCBA 数据集下，纯 DRAM、本地块设备、NFS 文件系统命中率分别为 55.68%/89.60%/87.36%，Token 吞吐分别为 25498/71073/41777 tok/s，Mean TTFT 分别为 19.89/7.02/12.07 s。 - 分层时延：NFS BatchExist 入口到出口平均 19.780 ms，NFS BatchGet 平均 681.202 ms；NFS UnderFS 单对象 Get 平均 536.082 ms，其中 pread 337.432 ms。上层 BatchPut 在三组均约 1.5 ms，说明异步刷盘未阻塞主写路径；NFS 后台 UnderFS Put 平均 489.163 ms。 - NFS 远端共享文件系统链路请求可完成，但历史回归轮次出现 431 次 SSD 回温失败：NFS READ 平均执行 262.54 ms，叠加排队与长尾超过 300 ms pending wait，失败请求由 recompute 完成。该项记录为已知未通过条件，不作为 SSD 回温零失败结论。 # 是否涉及UT/ST - [x] 是：已执行，结果见“测试结果”章节 - [ ] 否（说明理由）： # 开发自检 - [x] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [ ] 规范：已关联issue或里程碑 - [x] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [x] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [x] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [x] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [x] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!606 | 8 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 27 天前 | ||
| 8 天前 |