已开启
[Feature]: 支持统一 KVCache 算力亲和生命周期管理 #192
tan-wei-cheng创建于 29 天前
29 天前 添加了label：feature
29 天前 添加了label：sig/sig-agent-core-java
openJiuwen-bot
29 天前 评论：
29 天前 评论：
欢迎来到 openJiuwen 社区
Hey @tan-wei-cheng , 感谢你对社区的贡献.
机器人使用手册
有关指令的使用，可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。
联系指引
有疑问可以联系 SIG: sig-agent-core-java ,
维护者是： @shenwei21, @tianmingyong ,
审核者是： @foreach1991, @gcw_xJSJ32Ge, @jeffrey_qiao, @kangquansheng_makeIT, @xiongjie_makeit .
29 天前 修改了issue 的描述
29 天前 修改了issue 的描述
29 天前 修改了issue 的描述
29 天前 修改了issue 的描述
29 天前 修改了issue 的描述
29 天前 关联了里程碑：agent-core-java v0.1.17
29 天前 修改了issue 的描述
13 天前 修改了issue 的描述
Paired: GitHub #364 ↔ GitCode #192
价值
推理时延低：基于昇腾多级缓存与池化能力，上下文与多级KV Cache池化亲和，降低首/尾Token时延（TTFT/TTLT）
系统吞吐高：Agent 多任务管理能力， 统一CPU/NPU等资源调度，整体吞吐提升
方案
KVCacheRuntime，集中管理模型 binding、父子缓存身份、在途推理及管理动作排队。验收要求
agent_hint，生命周期结束后释放对应缓存。