Paired: GitHub #982 ↔ GitCode !2543

What type of PR is this?

/kind feature

Online RL 端到端验证报告

验证环境

• 模型：Qwen3-4B-Instruct-2507
• 推理：vLLM，GPU 0
• 训练：VERL PPO，GPU 1、2
• 网关：AgentBox Adapter AIGW
• 存储：独立 Redis
• 训练样本：4 条，其中 reward=1 和 reward=0 各 2 条

验证链路

• JiuwenSwarm：JiuwenSwarm CLI -> OpenAI 协议 -> AIGW -> vLLM -> RL Service -> PPO -> LoRA
• Claude Code：Claude Code CLI -> Anthropic 协议 -> AIGW -> vLLM -> RL Service -> PPO -> LoRA

两条链路均使用真实进程和真实 GPU 训练，不使用 mock Agent、mock AIGW、fake PPO 或 fake LoRA。

验证结果

两项 ST 均完成以下验证：

1. Agent 通过 AIGW 产生可训练轨迹。
2. 正负 reward 样本进入同一训练批次。
3. VERL PPO 完成真实参数更新。
4. 生成并持久化非零 LoRA。
5. LoRA 成功加载到 vLLM。
6. Rewarded 样本的策略偏好相对训练前得到改善。
7. 新建 Task 绑定训练后的 LoRA，并再次完成 Agent 推理。

LoRA 产物证据

Claude Code ST 生成的 LoRA：

• 策略版本：qwen3-4b-online-rl-st:v1
• 文件大小：132,187,856 bytes
• LoRA 张量数：504
• 非零张量数：504
• 参数最大绝对值：0.019775370
• vLLM load_lora_adapter：200 OK

JiuwenSwarm ST 同样生成约 126 MiB 的 adapter_model.safetensors，并完成 LoRA 激活及训练后 CLI 请求。

结论

JiuwenSwarm 的 OpenAI 协议路径和 Claude Code 的 Anthropic 协议路径均已跑通完整 Online RL 闭环，能够从真实 Agent 交互采集训练样本、执行 PPO、产生有效 LoRA，并让后续 Task 使用更新后的策略。

Self-checklist:（请自检，在[ ]内打上x，我们将检视你的完成情况，否则会导致pr无法合入）

• • 设计：PR对应的方案是否已经经过Maintainer评审，方案检视意见是否均已答复并完成方案修改
• • 测试：PR中的代码是否已有UT/ST测试用例进行充分的覆盖，新增测试用例是否随本PR一并上库或已经上库
• • 验证：PR描述信息中是否已包含对该PR对应的Feature、Refactor、Bugfix的预期目标达成情况的详细验证结果描述
• • 接口：是否涉及对外接口变更，相应变更已得到接口评审组织的通过，API对应的注释信息已经刷新正确
• • 文档：是否涉及官网文档修改，如果涉及请及时提交资料到Doc仓

Linked Closing Issues:

• #1371