Star0
0
代码
代码
Issues
Pull Requests
项目讨论
Wiki
分析
Star0
0
GGitHubdocs: 保留完整内容，重写中文实验 README 的教学流程 (#1145)
73ffc0d7创建于 27 天前历史提交
文件最后提交记录最后更新时间
agent-cost-analysis
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
android-world
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
elo-leaderboard
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
experiment-7-2-human-benchmark
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
model-action-threshold
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
model-benchmark
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
openvla-robotwin2-eval
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
public-health-reporting-eval
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
tau2-bench-eval
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
tts-quality-eval
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
user-memory-policy-eval
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
user-memory-system-evaluation
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
EXPERIMENT_LEDGER.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.ar.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.en.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.es.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.hu.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.id.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.ja.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.ko.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.md
docs: 保留完整内容，重写中文实验 README 的教学流程 (#1145) * docs: teach from full experiment READMEs while preserving details * docs: keep existing anchors beside their teaching sections --------- Co-authored-by: Bojie Li <i@01.me>
27 天前
README.ru.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.ta.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.tr.md
fix(i18n): 修复土耳其语第七章 README 的项目数与实验编号 (#998) i18n consistency check 自 #996 起在 main 上失败： 「tr 项目数不一致（1 处）：第7章 19≠20」。 土耳其语版把实验编号写在项目名后的括号里（(7-3)），而其它 12 个 语种放在表格第一列。#996 的重编号脚本按第一列匹配，因此整份文件 被跳过：既漏掉了新增的失败归因实验行，编号也停留在重编号之前。 - 补上遗漏的 android-world/failure-attribution (7-6) 行，项目数 由 19 恢复为 20，CI 恢复通过 - 按项目（而非按旧编号）重新对齐 10 处括号内编号，避免连锁改错： tts 7-6→7-5、轨迹前缀 7-5→7-7、Elo 7-7→7-8、行动阈值 7-8→7-9、 成本 7-9→7-10、基准 7-10→7-11、记忆选型 7-11→7-12、 android-world 7-12→7-13、OpenVLA 7-13→7-14、android_world 的 (7-2, 7-12)→(7-2, 7-13) - android-world 行状态 📖 改为 ✅，与中文版一致 已确认其余 12 个语种不使用括号式编号，不受此问题影响。 本地 scripts/check_i18n_consistency.py 通过。 Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.vi.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
README.zh-TW.md
docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 (#996) * docs(ch2): 区分 Skill 的两条触发路径，并修复中文版图 2-12/2-13 的回归 issue #970 的读者指出：图 2-12 里 SKILL.md 直接以 user message 出现，看不到 斜杠命令与自然语言隐式触发的区别，也看不到 ReAct 的那次工具往返。核实下来 问题有两层。 第一层是中文版图回归。#638 用一版简化图替换了 fig2-12/fig2-13，把 Skill 目录 画进了 system prompt，也删掉了 Skill(skill: "pptx") 的 tool_use 与占位符 tool_result 两行；13 个译本都还是替换前的版本。也就是说读者看到的中文图与 其它所有语言版本不一致，也与它自己下方的正文（#767 已改成「目录作为运行时 上下文消息提供」）互相矛盾。这次把两张中文图恢复成与 13 个译本一致的版本， 其中 fig2-12 恢复后正好画出读者说缺失的那次工具往返。 第二层是正文没写清触发方式。用 Claude Code 实测（自建一个空 Skill，分别用 /probe-demo 和自然语言触发，读会话 transcript 核对消息序列）： - 斜杠命令：客户端本地展开，先落一条带 <command-name> 的 user 消息， 紧接一条 isMeta: true 的 user 消息装 "Base directory for this skill: ..." + SKILL.md 正文，全程没有工具调用。 - 自然语言：模型调用 Skill 工具，tool_result 只有一句 "Launching skill: probe-demo"，正文仍然是随后那条 isMeta: true 的 user 消息（带 sourceToolUseID 指回该次 tool_use）。 所以读者说的「隐式触发多一次 ReAct 往返」是对的，「正文作为 tool result 回传」 则只适用于没有专用激活工具、改用通用文件读取工具的运行时——Claude Code 两条 路径的落点都是 user message。正文按这个区分改写，并补一条脚注引用 Claude Code 文档的 "Invoking skills and commands"（"Skills and commands inject their instructions as user messages at the point of invocation."）与 Agent Skills 的 "User-explicit activation"。 「Skills 在上下文中的位置」一节的 Claude Code 条目补一句，把图 2-12 与这两条 路径对上：图里画的是模型自主触发的情形，斜杠命令则没有那一对工具消息。 13 个译本同步同样的改动。i18n 一致性检查通过；pandoc 解析与 crossref 过滤器 核对通过（图2-12 的正文引用能生成 crossreflink）。 Closes #970 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01FYPj2JY722jRzLpPP3ZNey * docs(ch7): 扩充失败归因、补实验 7-6 的真实证据，并把 Rubric 内容归位 回应 issue #978：读者指出失败归因的错误分类偏理想化，真实项目里常见的是 "调用链路全对但结果不对"。补充的内容说明这类失败依然有可定位的首个错误， 只是它落在一条 assistant message 上，而不是某次工具返回。 正文（14 个版本同步） - 失败归因分类扩充：新增需求理解与歧义处理、hack 验证环境、修改不完整、 对用户的信息反馈错误、非功能性回归五类，均为全程无报错的静默失败 - 补 τ²-bench 的 COMMUNICATE 计分证据：带信息告知要求的 704 次基线运行中 240 次失败，80 次（占失败三分之一）环境状态正确但回报信息错误 - 补 AndroidWorld T3A 走查：32 步零报错、自称完成，首个错误在第 8 步的 assistant message；根因是观察通道缺失而非模型不会 OCR - 结构调整：Rubric 用户记忆案例、多源评判、多模态评判三块从"端到端回归任务" 节迁回 LLM-as-a-Judge 节，回归任务节只留回归任务本身 - 实验编号相应调整（7-3..7-7 置换，7-8 及以后不变） 新增实验 7-6：对 AndroidWorld 失败轨迹做失败归因 - chapter7/android-world/failure-attribution/ 保留完整证据 - 全体统计：53 个任务块（1 块为基准 initialize_task 崩溃跳过），52 条真实失败， 24/52 是 Agent 自称完成后被验证器否掉 - 抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败，7 条首错在 assistant message；5 高 / 4 中 / 1 低置信度 - 两个机制层面发现：9 条依赖当前日期的目标里只有 2 条曾从环境读到日期； 自述"界面无变化"出现 55 次覆盖 18/52 条轨迹 - 三轮标注的修订过程与理由一并保留（第二轮前移 7 条首错，第三轮订正两项统计） - 更正 t3a_failed_analysis.md 中三处归因错误 其他修复 - 第八章对实验 7-8 的跨章引用因编号变动失效，14 个版本修正为 7-9 - EXPERIMENT_LEDGER 中 OpenVLA 证据链接指向不存在的目录，已修正 - 恢复被误改的 Advanced JSON Cards 实验验收段落与表7-3 标题 Closes #978 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(i18n): 以中文版为准清理第七章的既有版本分歧 13 个译本都带着 2.0 重构前的旧计划稿，中文版早已改写而译本从未同步。 - §人工抽检和对抗式评审：删除滞留其中的整段旧「指标」平铺文本（含 三个粗体小标题与其下段落），它同时重复了本节自身的浓缩版 - 把该块中属于「过程指标」「安全、鲁棒性与轨迹覆盖」两节的段落 归位，两节由 1 段各补足为 3 段，与中文版一致（复用既有译文， 不新增翻译） - §Agent 的可观测性：删除中文版已移除的「可观测性面临的挑战」 与技术展望共三段 - 匈牙利版 §配对比较与模型排名：删除仅该版独有的「时间与领域 质量漂移」三段 清理后，译本多于中文版的段落为 0 处。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe * docs(ch7): 精简失败归因一节，并把案例独立为「做对了但说错了」小节 作者手工修订：删去实验框中的前置要求与部分冗述，收紧分类表的表述， 把 τ²-bench 证据与 AndroidWorld 案例从正文段落提为独立的 「做对了但说错了」小节，与既有的两个小节并列。 顺带修掉三处编辑残留：分类表末尾的空行、小节标题里方向写反的 中文引号、以及引用块行尾的空白。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01B1Zu35aad26ZyQbzyAvBJe --------- Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
1 个月前
package_evidence.py
refactor(book): 新增第六章「交互」并顺延评估/后训练/进化三章 (#856) 把第四章的事件驱动异步架构与原第九章的多模态实时交互合并为新的第六章 《交互：观察与动作空间的扩展》，置于「构建 Agent」部分末尾。 动机有二。其一，原第九章全章只有 1 处引用他章，却被第一、四、五、六、七章 前向引用 6 次——一个没有前置依赖、却被前面多章当作前置知识的章节，说明它在 目录中排得太晚：第七章讲 SimpleVLA-RL 与动作分块时，VLA 要到第九章才定义。 其二，第四章后半的「事件驱动异步 Agent」与原第九章的「全双工/边想边说」讲的 是同一个矛盾——模型按回合制训练、环境不按回合制运行——相隔五章各写一遍且 互不引用。 新第六章沿「模态 × 时机」两根轴组织，四节按时间尺度递进：异步与事件驱动 （秒—天）→ 语音（毫秒—秒）→ Computer Use → 机器人，并新增 6.0 框架节回指 第一章的观察/动作空间论断。原第九章 220 行处的阅读路线图移到章首。 章号变化： 第四章 工具 移出事件驱动段，实验 4-1..4-5 第六章 交互：观察与动作空间的扩展 新增，实验 6-1..6-13，思考题 12 道 第七章 Agent 的评估 原第六章 第八章 模型后训练 原第七章 第九章 Agent 的持续进化 原第八章 第十章 多 Agent 协作 不变 同步更新：56 个 SVG 四路轮换、全书 94 处跨章引用、实验/表/脚注编号、引言全书 结构与阅读路径、后记三层次叙述、第一章 Harness 映射表、思考题参考答案（含新增 第 12 题）、mkdocs 导航、根 README 章节表与外部仓库 clone 路径，以及配套代码目录 chapter6↔chapter9 轮换（3559 个文件）与各章 README。 顺带把根 README 与 mkdocs 中第五章标题「代码生成」对齐为正文的 《Coding Agent 与通用 Agent》。 本次仅改中文版；12 个翻译版按仓库惯例后续单独同步。各实验的 validation run 标识（exp9-3-… 等）不随正文重编号改写，遵循 chapter6/README.md 的既有约定。 Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
2 个月前
README

第 7 章 · Agent 的评估

本章学习如何把“表现好不好”转成可解释的比较。先理解环境与评分，再定位失败，最后检查模型、记忆和系统成本的不同维度。

第一次阅读的顺序

  1. 先读一条交互任务，区分回答质量与环境目标 。
  2. 再用已有日志练习寻找最早失去依据的决策 。
  3. 最后把成功条件、调用成本与延迟放在一起分析 。

读懂一个完整例子后，再查阅下面的全部项目与配置。比较实验时，把输入、模型、运行条件和结果放在一起记录；遇到历史输出，先确认它对应的版本与任务范围。

把表现变成可比较信号：评估环境、指标、统计显著性、评估驱动选型

← 返回主目录 · 📖 读本章正文

逐实验的正文要求、直接证据与未完成边界见 验收台账。

如何阅读实验

正文伪代码先建立 reset → run → snapshot → verifier → record 的评估闭环；实验目录再展开统计与证据：

  • Starter：从 tau2-bench-eval 跑一个固定任务，先看环境 reset、轨迹保存和结果 verifier；
  • Builder：阅读 user-memory-system-evaluation 的 Rubric/证据 schema，再看 elo-leaderboard 的配对统计；
  • Maintainer：检查 veto 规则、seed/任务配对、bootstrap 或 McNemar 实现、manifest hash 和失败样本。

首次可跳过 provider 适配器、图表和长期开跑脚本；先确认“过程违规”和“最终失败”是两类独立信号。

配套项目

编号 项目 类型 一句话说明
7-1 tau2-bench-eval ✅ 已在固定上游提交上完成 5 个 telecom 双控任务：4/5 通过；保存原始轨迹、成本、内容哈希及错选线路导致漏做流量加油的失败分析
7-1；7-2 的 τ²-bench 样本 sierra-research/tau2-bench → chapter7/tau2-bench 8d005b0e5b9e4af0bc055886fa7f95fc86d1710e 正文要求重点观察新增的双控 telecom 领域：tau2 run --domain telecom --agent-llm <model> --user-llm <model> --num-trials 1 --num-tasks 5
7-1 原始 τ-bench 对照（仅溯源） 论文 · sierra-research/tau-bench；不承诺本地 checkout 59a200c6d575d595120f1cb70fea53cef0632f6b 该历史版本入口：python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --user-model gpt-4o --user-model-provider openai --user-strategy llm --max-concurrency 10
7-2 experiment-7-2-human-benchmark ✅ Codex 作为人工操作员，预注册并完成 GAIA、AndroidWorld、SWE-bench Verified、τ²-bench、Terminal-Bench、OSWorld-Verified 各简单/中等/困难一题，共 18/18 个首轮正式结果：13 通过、5 失败；逐题保留任务、轨迹、官方评估及成败解释
7-2 terminal-bench/ 📖 Terminal-Bench 外部任务与执行框架；7-2 的三档人工操作结果与失败分析已收录于上行案例集
7-2 SWE-bench/ 📖 SWE-bench Verified 外部代码修复基准；7-2 的三档补丁轨迹与官方 harness 结果已收录于上行案例集
7-2 GAIA/ 📖 GAIA 外部数据集；7-2 的 Level 1/2/3 作答、核验与舍入失败边界已收录于上行案例集
7-2 OSWorld/ 📖 OSWorld-Verified 外部桌面环境；7-2 的三档 GUI 操作轨迹与官方结果已收录于上行案例集
7-2, 7-13 android_world/ 📖 评估 Agent 在 Android 环境的应用导航、UI 交互与任务完成能力（外部基准仓库；7-2 的实际结果见上行）
7-2 GAIA gaia-benchmark/GAIA → chapter7/GAIA 682dd723ee1e1697e00360edccf2366dc8418dd9 从 2023/validation/metadata.level1.parquet、metadata.level2.parquet、metadata.level3.parquet 各选一题人工完成并核对答案
7-2 AndroidWorld google-research/android_world → chapter7/android_world 0e95d641e244504c22087cc29b013f3b2428a261 python minimal_task_runner.py --task=ContactsAddContact（先按上游 README 配置 emulator）
7-2 SWE-Bench Verified SWE-bench/SWE-bench → chapter7/SWE-bench 5cd4be9fb23971679cbbafe5a0ecade27cef99be 安装后先用 python -m swebench.harness.run_evaluation --predictions_path gold --max_workers 1 --instance_ids sympy__sympy-20590 --run_id validate-gold 验证 harness，再人工处理选定 Verified issue
7-2 Terminal-Bench laude-institute/terminal-bench → chapter7/terminal-bench 8384a179b1b8688f6ea5233a4d9d51218df1ac96 任务定义在 tasks/；若要核对 harness 参数，运行 tb run --help
7-2 OSWorld-Verified xlang-ai/OSWorld → chapter7/OSWorld 8365edc975efd0477a0d62444a5beed562ab5a7b python quickstart.py --provider_name vmware --path_to_vm "path/to/your/vm.vmx"；再从 Verified 任务中抽样人工完成
7-3 user-memory-evaluation ✅ 四档多维 Rubric 已在 60 用例 × 3 系统的 180/180 条真实评判记录上完整执行
7-4 user-memory-system-evaluation ✅ 60 用例 × 3 系统共 180/180 条真实轨迹，零错误且原生币种定价完整
7-5 tts-quality-eval ✅ 真实验收完成 OpenAI/Fish 两 provider × 四类语料的 8/8 双音频 Voxtral 四维评审；候选/参考音频逐项哈希，早期 Gemini/OpenRouter 失败证据仍保留
7-6 android-world/failure-attribution ✅ 对已保留的 T3A 日志做离线失败归因。全体统计（自原始日志重算）：53 个任务块，其中 1 块是基准自身 initialize_task 崩溃后跳过的，真正失败为 52 条；24/52 是 Agent 自称完成后被验证器否掉；9 条目标必须依赖当前日期，其中仅 2 条拿到过它（且是顺带从表单默认值 Sun, Oct 15 读到的）；自述 “界面无变化” 一类观察出现 55 次、覆盖 18/52 条轨迹。抽样标注 10 条，步号引用在构建时逐条核验：9 条静默失败、7 条首错发生在 assistant message，置信度 5 高 / 4 中 / 1 低。本次为第三轮：第二轮把 10 条中的 7 条首错步号前移，第三轮又订正了两项全体统计与一条记录的偏差描述，每处改动连同理由保留。另含 3 个轨迹前缀回归任务与 3 处对 t3a_failed_analysis.md 的更正
7-7 user-memory-policy-eval ✅ 已用真实 openai/gpt-5.6-sol 经 OpenRouter 完成 11 个 trajectory-prefix bad case × JSON/Markdown/Python-like 三种表示，共 33/33 个 API 单元、0 个 API 错误；三种表示均为 6/11 通过，结果和哈希保存在 results/policy_prefix_live.json 与 results/manifest.json
— public-health-reporting-eval ✅ 基于合成 DHIS2 风格汇总数据，客观评估公共卫生报告 Agent 的工具调用、计算准确性、证据引用与无依据声明

📖 表中带反引号的外部基准需自行克隆。android-world/（连字符）是本仓库内的 T3A 评估分析笔记（见该目录 README），与外部 android_world/ 基准源码不是同一路径。

跨章 Bad Case 回归协议

正文新增的两类作用域/保真度 Bad Case 评估不把训练代码重复复制到第七章：第七章负责记录首个错误、片段作用域、逐层字符串哈希和轨迹前缀回归；第八章的 curly-quote-sft 与 exact-copy-sft 复用这些标签生成训练数据，并在独立边界集和保留集上回归。前者按中文自然语言、英文原文、代码和 JSON 作用域评分，后者按 byte/code-point/token exactness 和真实工具参数匹配评分。

实验 7-1 / 7-2 外部复现锚点

以下映射以正文为准。SHA 来自对应 checkout 的 origin 与 HEAD。7-1 已保留五任务正式运行的验收证据；7-2 的 18 个分级人工操作案例、正式结果与兼容边界见独立报告。下表继续保留复现来源、路径和入口。

实验 上游与本地路径 固定提交 正文对应入口
7-8 elo-leaderboard ✅ 正式全量验收处理 1,799,991 条公开 Arena 记录（1,670,250 条盲选票、129 个模型），在线 Elo 与 Bradley-Terry 排名 Spearman 0.787、Top-20 重合 12/20；胜率矩阵、17 个月度快照、三张图与 D3 动画均由同一 manifest 哈希绑定并复核通过
7-9 model-action-threshold ✅ 同一中性 Coding Harness 下完成 GPT-5.6-sol / Claude Sonnet 5 × 三任务 × 三次重复的 18/18 单元实测；manifest零 API 错误并绑定完整轨迹与汇总哈希
7-10 agent-cost-analysis ✅ 多轮 Agent 任务（客服退款）全链路成本拆解 + KV-cache 友好设计/上下文压缩的 A/B 节省量化
7-11 model-benchmark 🚧 完整 8K/32K/128K × 512/2048、限流爬坡、Agent 成本与 168 小时可用性 campaign 已实现；目前尚无验收证据，不能替代完整长期实验
7-12 user-memory-system-evaluation ✅ 全矩阵验收完成 60 用例 × 24 单元（4 嵌入 × 3 reranker × 2 主模型）共 1,440/1,440 条真实轨迹，零错误、零未定价用量，检索/任务指标与交互分析完整；独立验证器复核通过（ALL CHECKS PASSED），后端替代方案如实记录于 readiness 证据
7-13 android-world ✅ 完整候选实验证据保留 116 任务 × 5 轮的 580/580 条唯一 episode（包括评估失败），运行时错误为零：严格 T3A 成功 26 条（4.4828%），平均 evaluator reward 0.133621，由 77 条满分状态与 1 条 0.5 部分 reward 组成。实验在完成官方初始化且配齐 24/24 应用的 Pixel 6/API-33 上执行，本地 Qwen2.5-7B（revision a09a35458c702b33eeacc393d103063234e8bc28）通过 vLLM 0.19.0 运行于 RTX PRO 6000 Blackwell 96 GB。执行与证据已完成，但未批准部署；候选 Qwen 与配对源 Doubao 不同，因而不支持同模型提升或非劣性结论
7-14 openvla-robotwin2-eval ✅ 正式单卡运行完成 chunk 1/25 各 128 IID + 128 OOD episodes，严格门禁及 512 个 rollout hash 全通过；chunk 1 为 0/256、chunk 25 为 26/256，低绝对成功率作为真实结果保留

从仓库根目录取得同一版本：

git clone https://github.com/sierra-research/tau2-bench.git chapter7/tau2-bench && git -C chapter7/tau2-bench checkout --detach 8d005b0e5b9e4af0bc055886fa7f95fc86d1710e
git clone https://huggingface.co/datasets/gaia-benchmark/GAIA chapter7/GAIA && git -C chapter7/GAIA checkout --detach 682dd723ee1e1697e00360edccf2366dc8418dd9
git clone https://github.com/google-research/android_world.git chapter7/android_world && git -C chapter7/android_world checkout --detach 0e95d641e244504c22087cc29b013f3b2428a261
git clone https://github.com/SWE-bench/SWE-bench.git chapter7/SWE-bench && git -C chapter7/SWE-bench checkout --detach 5cd4be9fb23971679cbbafe5a0ecade27cef99be
git clone https://github.com/laude-institute/terminal-bench.git chapter7/terminal-bench && git -C chapter7/terminal-bench checkout --detach 8384a179b1b8688f6ea5233a4d9d51218df1ac96
git clone https://github.com/xlang-ai/OSWorld.git chapter7/OSWorld && git -C chapter7/OSWorld checkout --detach 8365edc975efd0477a0d62444a5beed562ab5a7b

原始 τ-bench 行只用于复核 7-1 的历史设计差异，不在本仓库的 checkout 清单中。其当前 README 已明确警告：该仓库的 airline/retail 任务版本过时，应使用后续的 tau2-bench（现已继续演进为 τ³-bench）获取修订任务与新领域。因此，不应把历史 τ-bench 的 retail 命令当成当前 τ²/τ³-bench 的推荐运行入口。

实验 7-2 是操作员亲自执行并记录轨迹，不是把六套 Agent harness 全跑一遍。本仓库的已完成案例集由 Codex 明确署名为人工操作员，并分别记录每个基准的简单、中等、困难任务 ID、环境版本、步骤、最终答案/状态与标准验证结果；失败案例未在评估后修改或重跑。

项目类型说明

图标 类型 含义
✅ 可独立运行 本仓库自带完整代码，配置好 API Key 即可运行
📖 复现指南 依赖需自行 git clone 的外部仓库（训练框架、评测基准等）
🚧 进行中 已有实现，但实验范围或验收证据尚未满足正文全部要求