已关闭
[新需求]: KV Cache池化异步写 #59
LiuChunmiao创建于 2025年12月30日关闭于 3月16日
2025年12月30日 修改了issue 的描述
2025年12月30日 修改了issue 的描述
1月6日 将 taojiovvo 设为负责人
CXY-Katrina
1月7日 评论：
1月7日 评论：
待确认特性叠加支持情况与硬件支持情况。
1月7日 issue优先级由 无优先级 改变为 不重要
wangdj
2月13日 评论：
2月13日 评论：
（历次评审会议纪要）
TMG评审（2025-11）
决策内容：池化异步不分层写方案合入MindIE分支
决策结果：评审通过，允许合入
决策过程/意见：
- 异步写已落入需求，且收益确定；
- 异步分层方案在Mooncake上有性能问题，且必须支持Mooncake作为池化后端，故选择异步不分层方案；
- 少部分特性暂不支持叠加，且已确定后续的叠加计划；
- 为保证设计冗余，保证现有的特性叠加，建议通过以增加开关的方式保留原来的同步写，并后续完善异步写的特性叠加。
SIG评审（2026-02）
决策内容：池化异步不分层写接口方案与特性叠加情况
决策结果：评审通过
会议纪要：
一、接口情况：
在config.json中kvPoolConfig下新增asyncWrite开关，设为true表示启用异步写，设为false或不设表示启用同步写；
新增开关是出于设计冗余考虑，让用户多一种选择，通过保证现有同步写的特性叠加方案，提高了可靠性。
二、特性叠加情况：
已支持叠加DeepSeek和Qwen的几乎所有主要特性；
Micro Batch、Multi-Lora无法支持叠加，因为Prefix Cache特性本身不支持；
SplitFuse暂不支持叠加，但已确定后续叠加计划。
吴铭泾
3月9日 评论：
3月9日 评论：
收到反馈，感谢！我会尽快查看并回复进展。
3月16日 issue状态由 TODO 改变为 DONE
3月16日 关闭了 issue
吴铭泾
3月16日 评论：
3月16日 评论：
KV Cache 异步写，PR已合入：https://gitcode.com/Ascend/MindIE-LLM/pull/57。该ISSUE建议关闭。
3月26日 添加了label：resolved
3月28日 关联了pull request：异步不分层-dev分支
感谢提出新需求。
需求背景
KV Cache池化当前为同步写逻辑，TTFT用时包含写盘用时，为了进一步降低TTFT，新增KV Cache池化异步写逻辑
需求描述
1、MemPool模块通过MemPool抽象基类要求子类实现exists、put、get等固定接口。为减少put时延对TTFT的影响，在prefix cache plugin中起一个异步写线程，随着KV Cache计算完成，异步写线程进行put操作
2、新增异步写功能可以通过配置项打开，kvPoolConfig{{"backend"："kv_pool_backend_name", "configPath":"/path/to/your/config/file",
"asyncWrite":true}，其中asyncWrite为异步写开关，不设置或设置为false，表示关闭KV Cache的异步写。设置为true，表示开启KV Cache的异步写。
预期目标
TTFT优于当前同步写，提升比例与当前池化后端写时延有关，约10%
其他说明