已关闭
[Bug]: 新增 AscendAffinity KV-Cache 亲和协议与生命周期管理 #1372
HanMeng创建于  7月21日关闭于  7月23日
HanMeng
7月21日 创建

Checklist

🐞 Detailed Description of the Problem

背景

agent-core 当前缺少统一机制,用于把 Agent 侧的缓存身份和生命周期事件传递给推理侧 KV-Cache 管理模块。
普通 OpenAI-compatible 请求无法表达:

  1. 稳定的缓存身份和父子关系
  2. 会话级 offload、prefetch 和 evict
  3. messages/tools 修改后的局部缓存失效
  4. Plan、子 Agent、Team 和 Swarmflow 的缓存生命周期
    KV-Cache 亲和只是性能优化。关闭功能或者管理请求失败时,不能阻塞或改变 Agent 原有执行流程。

目标

通过 /v1/chat/completions 和 agent_hint 扩展,引入可选的 AscendAffinity KV-Cache 管理能力,并保证关闭开关时维持原有 agent-core 行为。

主要范围

  • 新增并注册 AscendAffinityModelClient,保持普通 invoke/stream 的 OpenAI-compatible 行为。
  • 支持 session/messages/tools 级别的 offload、prefetch、evict。
  • messages/tools 范围统一采用左闭右开区间 [start, end)。
  • KVC 管理请求使用独立的总超时和尝试次数,失败后让原业务继续。
  • 统一缓存 identity、parent lineage、range 计算和 session action。
  • 后台 offload/prefetch 按 identity 排序,evict 等待已有 signal 后再永久清除。
  • 覆盖 Plan、确定性子 Agent、Team member 和 Swarmflow worker 生命周期。
  • Team 同控制域优先使用 root action,模型或 endpoint 不同的 member 使用逐 member action。
  • affinity 和旧 enable_kv_cache_release 开关互斥。
  • affinity 关闭时,不注入 agent_hint、不发送管理 HTTP、不构造 KVC binding,也不增加额外等待。

验收重点

  • 普通推理行为不变。
  • KVC 管理失败不影响 Agent 结果。
  • 区间语义、父子 identity 和 action payload 正确。
  • 后台任务有序并能在 shutdown 时回收。
  • 永久 evict 不会被迟到的 offload/prefetch 覆盖。
  • Plan、Team、Swarmflow 和旧 release 链路都有单元测试。
  • 关闭开关后实现完整 no-op。

Detailed Environment Information Description

the same as before

Additional Information

Version Information

Thanks for your contribution 🎉!

likedislike
openJiuwen-bot成员
7月21日 评论:

注意

此 Issue 需要负责人。 如果没有指派时, iamcandiceguo 是默认的负责人

likedislike
OopenJiuwen-bot成员
7月21日 将 iamcandiceguo 设为负责人
OopenJiuwen-bot成员
7月21日 添加了label:sig/sig-agent-core
openJiuwen-bot成员
7月21日 评论:

欢迎来到 openJiuwen 社区

Hey @MengHan18 , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。

联系指引

有疑问可以联系 SIG: sig-agent-core ,
维护者是: @seanzhang_cn, @xinyu-jiuwen ,
审核者是: @alan_cheng, @deyang, @iamcandiceguo, @yangzequ .

likedislike
HHanMeng
7月21日 关联了pull request:fix(ascend affinity): integrate AscendAffinity KV Cache affinity management and lifecycle support
Gguoqian成员
7月23日 将 MengHan18 设为负责人
Gguoqian成员
7月23日 移除了负责人 iamcandiceguo
Gguoqian成员
7月23日 关联了里程碑:V0.1.17
HHanMeng
7月23日 issue状态由 TODO 改变为 DONE
HHanMeng
7月23日 关闭了 issue