memcache/example · chenyz6/memcache

Files	Last commit	Last update
benchmark	layerwise性能优化 Co-authored-by: henian_Ni<nihenian@huawei.com> # message auto-generated for no-merge-commit merge: !617 merge develop_0914_pr into master layerwise性能优化 Created-by: henian_Ni Commit-by: henian_Ni Merged-by: yangchangjie12138 Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue # 问题/功能描述 # 修改方案描述单次1000key查询时，PrefetchKeys传参拷贝耗时75u，改为引用传参不开启ssd时，PrefetchKeys无效查询container，耗时10ms以上 resp.batchQueryInfos_避免重复扩缩用框架侧保证租约有效性，layerwise支持gva免校验 # 是否涉及UT/ST - [ ] 是 - [x] 否（说明理由） # 开发自检 - [x] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [x] 规范：已关联issue或里程碑 - [x] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [x] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [x] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [x] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [x] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!617	1 month ago
cpp	refactor: memcache通过运行时C ABI解耦memfabric Co-authored-by: zhangjialee<z3262749952@163.com> # message auto-generated for no-merge-commit merge: !536 merge fix/memfabric-decouple into develop refactor: memcache通过运行时C ABI解耦memfabric Created-by: zhangjialee Commit-by: zhangjialee Merged-by: chenyz6 Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue 关联 issue：[Ascend/memcache #281](https://gitcode.com/Ascend/memcache/issues/281) # 问题/功能描述 Issue #281：MemCache 将 MemFabric 作为三方库参与编译并直接使用其 C++ 类型。编译期 MF 与运行时 libmf_smem.so 的小版本或 C++ ABI 不一致时，同名 C++/STL 符号可能发生进程级抢占，MetaService 在 AccCommonServerOptions::operator=、std::string::assign 等位置 coredump。普通 dlopen 仍不足以隔离两套 C++ ABI。 # 修改方案描述修改点： - 删除 MemCache 对 3rdparty/memfabric_hybrid 的编译、链接、头文件及 Python 包依赖，运行时固定加载 libmf_smem.so，不新增环境变量。 - ACC、ConfigStore、BM 分模块定义 def/API 封装，通过 dlopen/dlsym 调用 MF 纯 C ABI，并保持原有 C++ 驼峰调用接口。 - ConfigStore 适配类使用 ock::mmc_smem 实际命名空间，通过 ock::smem 别名保持调用侧不变，避免与 MF 原生 ock::smem C++ 符号冲突。 - dlopen 使用 RTLD_NOW \| RTLD_LOCAL \| RTLD_DEEPBIND，隔离 ABI0/ABI1 的 libstdc++ 弱模板符号。 - 兼容性匹配规则： - 版本来源：MMC 和 MF 均使用各自根目录的 VERSION。 - 版本编码：高 16 位为 major，低 16 位为 minor。 - 匹配条件：MMC 与运行时 MF 的 major.minor 必须完全一致，patch 不参与匹配。 - 当前分支：develop 为 1.3.x，仅匹配 MF 1.3.x；1.1.x、1.2.x 等其他版本线均拒绝加载。 - 必需接口：MF 必须导出 smem_get_abi_version，以及 MMC 实际使用的 ACC、ConfigStore、BM 模块全部必需 C ABI 符号。 - 失败行为：任一必需符号缺失或版本不匹配，均记录期望/实际版本或缺失符号并快速退出，避免 coredump。 - 结构长度：当前没有独立的结构长度字段校验，C ABI 结构布局兼容性由相同 major.minor 约束。 - Python 绑定的复制方向默认值显式转换为 int32_t，避免未注册枚举导致模块导入失败。 # 测试结果：验证结果： - 构建与单元测试：develop DEBUG 构建成功，release/1.2 完整构建 221/221 成功；test_mf_smem_api 2/2 PASSED。 - C++ ABI 组合启动：同一 MMC 产物分别加载采用 libstdc++ ABI0、ABI1 构建的兼容版本 MF，MetaService 均启动成功，/health 返回 HTTP 200。 - 异常依赖启动：缺少 libmf_smem.so、缺少 smem_get_abi_version、缺少模块必需符号或 major.minor 不匹配时，均输出明确错误并快速退出，无 core。 - ELF 解耦检查：libmf_memcache.so 不包含对 libmf_smem.so、libacc_tcp_net.so 的 DT_NEEDED，也不存在未解析 ock::smem C++ 符号。 - CPU/host_shm benchmark：MF ABI0、ABI1 组合均完成写读，读取返回 0，逐轮写读校验和一致。 - NPU 基础初始化：acl.init 及两张 NPU 卡的 acl.rt.set_device 均返回 0，MetaService 健康检查通过。 - 双卡 device_sdma benchmark：每卡写读 256 MiB；卡 1 写/读 1.616/1.463 GB/s，写读校验和均为 1070032372；卡 2 写/读 1.571/1.481 GB/s，写读校验和均为 1069712602；读取返回 0，无 core。 - 四卡端到端推理验证： - 软件组合：vLLM 0.23.0、Qwen3-32B-W8A8、TP=4；模型列表接口返回 HTTP 200，聊天冒烟请求成功生成 64 tokens，各 TP worker 加载约 9.994 GiB 权重。 - 并发 1：8/8 请求成功、0 失败；耗时 19.58 s，请求吞吐 0.41 req/s，输出吞吐 52.31 tok/s，总吞吐 470.77 tok/s；平均 TTFT 155.15 ms，P99 TTFT 172.99 ms，平均 TPOT 18.04 ms，P99 TPOT 18.08 ms。 - 并发 16：32/32 请求成功、0 失败；耗时 6.07 s，请求吞吐 5.27 req/s，输出吞吐 674.48 tok/s，峰值输出吞吐 768 tok/s，总吞吐 6070.29 tok/s；平均 TTFT 335.07 ms，P99 TTFT 364.77 ms，平均 TPOT 21.24 ms，P99 TPOT 22.30 ms。 # 是否涉及UT/ST - [x] 是：已执行，结果见“测试结果”章节 - [ ] 否（说明理由）： # 开发自检 - [x] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [x] 规范：已关联issue或里程碑 - [x] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [x] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [x] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [x] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [x] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!536	1 month ago
meta_service_bench	1	15 days ago
metrics	metrics 补充 BatchIsExist 时延与 evict_running 运行态，ptracer 新增 FREE_BLOBS 埋点 Co-authored-by: Hututu-w<wangyibing13@huawei.com> # message auto-generated for no-merge-commit merge: !483 merge feature/metrics-tracepoints into develop metrics 补充 BatchIsExist 时延与 evict_running 运行态，ptracer 新增 FREE_BLOBS 埋点 Created-by: Hututu-w Commit-by: Hututu-w Merged-by: yrewzjsx Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue # 问题/功能描述监控指标补充 # 修改方案描述 1. /metrics 补充 BatchIsExist 时延指标、memcache_evict_running GC状态 2. ptracer 新增 FREE_BLOBS 埋点 3. 同步修改 memcache_restful_api.md # 是否涉及UT/ST - [x] 是 - [ ] 否（说明理由） # 开发自检 - [x] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [x] 规范：已关联issue或里程碑 - [x] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [x] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [x] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [x] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [x] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!483	2 months ago
python	fix(meta): 支持聚合预取 Co-authored-by: gcw_qYJeyWK4<jiangbo97@huawei.com> # message auto-generated for no-merge-commit merge: !548 merge codex/batch-exist-aggregated-prefetch into develop fix(meta): 支持聚合预取 Created-by: gcw_qYJeyWK4 Commit-by: gcw_qYJeyWK4 Merged-by: yrewzjsx Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue # 问题/功能描述 # 修改方案描述 # 是否涉及UT/ST - [ ] 是 - [x] 否（说明理由） # 开发自检 - [x] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [x] 规范：已关联issue或里程碑 - [ ] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [ ] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [ ] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [ ] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [ ] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!548	1 month ago
examples.md	[doc]新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档 Co-authored-by: whytao<weitao46@h-partners.com> # message auto-generated for no-merge-commit merge: !531 merge develop into develop [doc]新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档 Created-by: whytao Commit-by: whytao Merged-by: yrewzjsx Description: # 合入来源 - [ ] 需求 - [ ] 问题单 - [x] issue fixed: [#275](https://atomgit.com/Ascend/memcache/issues/275) # 问题/功能描述 # 修改方案描述新增版本说明书；将资料移至 docs/zh 目录下，并同步更新受影响文档。 # 是否涉及UT/ST - [ ] 是 - [ ] 否（说明理由） # 开发自检 - [ ] 规范：未超过1k；超过1k已完成备案；反合入需要标题注明【反合】 - [ ] 规范：已关联issue或里程碑 - [ ] 规范：不需要UT/ST且已说明理由；需要且已包含UT/ST - [ ] 安全：涉及对外接口/参数/环境变量改动，并同步修改资料 - [ ] 安全：未引入三方开源软件；引入三方开源软件并经过安全评审 - [ ] 安全：未新增对外接口/参数；新增对外接口/参数有校验 - [ ] 规范：未涉及资料改动；涉及资料改动并已完成修改 See merge request: Ascend/memcache!531	2 months ago