变更摘要

该 PR（标题标注为 docs(api)，实际内容为 2026-09 系统自评估功能的落地）为 agent-runtime 引入系统自评估数据层及其可视化接口：新增 agent_runtime/evaluation 子包（state/collector/evaluator/rules/llm 五个模块），在 main.py 中注册 sys_sample/sys_eval 两个单 leader 后台 job 并接入热路径计数埋点，扩展 /visualization/* 只读端点，同时新增 eval_* 配置项与 AGENT_RUNTIME_EVAL_* 环境变量。默认配置为纯规则评估（无 LLM 外呼），LLM 分析仅在 base_url 与 model 均非空时启用。

主要改动

• 新增 evaluation 子包与 Redis 状态层：state.py 定义 {agent_runtime:eval} hash tag 单槽键域（采样 ZSET/计数 HASH/报告 STRING+ZSET，全单键命令零 Lua），EvaluationState 提供 bump_counters/add_sample/write_report/latest_report 等门面；rules.py 提供纯函数静态/动态规则引擎（如 S-CONTRADICTION-MIN-IDLE、D-CONCURRENCY-SATURATION、D-POD-TTL-CHURN），evaluator.py 的 Evaluator.evaluate_once 将采集→规则→LLM→报告落盘编排为 sys_eval job 的 on_tick，报告仅含 B 类策略字段建议、caveat 明示需人审后经 config_sync 下发。

- **注册两个自评估 job 并打通采集链路**：`main.py` 新增 `sys_sample`/`sys_eval` 单 leader job（interval 分别为 `max(eval_sample_interval, 5)`/`max(eval_interval, 30)`），并启动每副本 5s 的 `_telemetry_flush_loop` 把内存计数批量 HINCRBY 聚合到 Redis；`session_manager/orchestrator.py` 的 route 结果与 `resource_manager/orchestrator.py` 的 acquire outcome 经 `ScopeTelemetryBuffer` 计数，`resource_manager/sweeper.py` 经 `event_sink` 上报扩缩容/回收/判死事件（均 try/except 包裹，埋点不反噬业务）。

• 新增配置项与环境变量：config.py 的 AgentRuntimeConfig 增加 eval_sample_interval/eval_interval/eval_llm_*/eval_pod_budget 字段及 _env_float/_env_bool 解析助手，agent_runtime.server.env.example、deploy/agent_runtime.env.example 与 agent_runtime.template.yaml 同步注入对应 AGENT_RUNTIME_EVAL_* 变量（默认全空=纯规则评估、无 LLM 外呼、pod_budget=0 关闭预算规则）。
• 扩展可视化只读接口：visualization_api.py 新增 /visualization/history（per-scope 历史趋势采样，窗口默认 1h、新在前）与 /visualization/evaluation（全局评估报告，latest 完整报告 + 瘦身 history，经 redact 脱敏、无报告属正常态不 404）；/visualization/scopes 与 /scope 改用 scope_inventory 并补齐 phase 分类与容量闸门字段（scope_concurrency/max_pods/session_utilization/route_budget_sec 等）。
• LLM 分析层及配套验证：llm.py 的 LLMClient 走 OpenAI 兼容 chat completions，prompt 构造做白名单投影与 48KB 体积护栏、输出解析逐项过滤字段白名单并降级为纯规则报告；配套新增 tests/evaluation/ 单测（覆盖缓冲/状态/评估器三态/LLM 解析/规则边界）、visualization 集成用例，并扩展 verify_redis_cluster.py（评估域键读写）与 e2e_hld_acceptance.py（stage13c 自评估验收）。

代码审查

✅ 未发现问题

欢迎来到 openJiuwen 社区

Hey @wangmingqi , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用，可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。

CLA 签署成功

wangmingqi, 感谢您的代码贡献。 所有的代码贡献者都已完成了 CLA 签署。 👍

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

免责声明

AI 助手可能存在误判，请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

ci-pipeline

ci-pipeline