场景选型中同族 API 名称和摘要相近,仅靠少量文本命中容易漏掉决定性差异;接口比较还需区分公开 C 与 C++ 扩展。目标是在现有 Query 上提供有依据的主推荐、必要配套与条件分支,并压缩重复说明。未知平台时先给候选和适用范围,避免将未收录、支持待确认和来源明确不支持混淆。
通过 Runtime 专用 Skill、现有模块导航及标签扩展消费流程,检索侧只增加限定 runtime 领域的显式全平台选项,不复制通用 Query。普通平台过滤、其他领域缺平台拒绝、索引失败关闭和审计契约保持兼容。新增检索回归独立运行,不改变通用 recall/MRR 阈值及分母。需要回退时撤销本 PR 的专用入口、扩展选项、安装路由和回归接入,知识正文无需迁移。交付由 committer 检视。
以下是固定版本上的检索脚本 A/B 记录。当前提交的 Query Python 实现与 B 相同;Skill 的平台模式选择与准确接口定义复查规则未重新进行 Agent 问答评测,以下结果不作为新流程的推荐成功率。
A:源端基线 a7828fa2aee7932136749ae4dd43f66441b17efb;B:3d4d0f0a4f2a17ea36fb18c7ddaf227731d49599。两组共用 B 的 RuntimeQueryTests 合成夹具、相同索引和治理,只替换 Query 脚本。Ubuntu 22.04 / Python 3.10.12;查询 Synthetic API,literal,k=20,每例每组一次。
a7828fa2aee7932136749ae4dd43f66441b17efb
3d4d0f0a4f2a17ea36fb18c7ddaf227731d49599
Synthetic API
预设标准:新增候选集合符合预期,原过滤结果不变,越域与平台冲突继续拒绝。实测 10/10 组满足。
复核入口:在 B 上执行 python3 -m unittest evals.test_retrieval_index.RuntimeQueryTests -v。A/B 使用该类 setUp 的同一个夹具,分别加载 A/B 固定提交的 knowledge_query.py,按表中参数执行;CLI 参数与审计契约见 Query CLI。该实验验证检索与隔离行为,不是模型推荐成功率或性能实验。
python3 -m unittest evals.test_retrieval_index.RuntimeQueryTests -v
setUp
knowledge_query.py
当前提交:d6117bf74c1db82f78e4565b35cfa5df7a84488f;父提交:c7609c5a17d86c25a593fa96ea64e1d9f9e7f2ca。关联 PR !193。
d6117bf74c1db82f78e4565b35cfa5df7a84488f
c7609c5a17d86c25a593fa96ea64e1d9f9e7f2ca
bash check.sh
新增 evals/runtime_api_selection_cases.yaml 的 12 条用例只检验目标接口召回及接口层过滤;它们使用固定短查询、平台和草稿快照,不构成最终选型正确率或 Agent A/B 结果。上面的合成夹具 A/B 是历史检索扩展实验,不能用于证明本轮 Skill 重构的推荐增益。本轮未执行独立 Agent 问答 A/B、SDK 编译或设备验证。
evals/runtime_api_selection_cases.yaml
问题与目标
场景选型中同族 API 名称和摘要相近,仅靠少量文本命中容易漏掉决定性差异;接口比较还需区分公开 C 与 C++ 扩展。目标是在现有 Query 上提供有依据的主推荐、必要配套与条件分支,并压缩重复说明。未知平台时先给候选和适用范围,避免将未收录、支持待确认和来源明确不支持混淆。
方案与边界
扩展方式、影响与回退
通过 Runtime 专用 Skill、现有模块导航及标签扩展消费流程,检索侧只增加限定 runtime 领域的显式全平台选项,不复制通用 Query。普通平台过滤、其他领域缺平台拒绝、索引失败关闭和审计契约保持兼容。新增检索回归独立运行,不改变通用 recall/MRR 阈值及分母。需要回退时撤销本 PR 的专用入口、扩展选项、安装路由和回归接入,知识正文无需迁移。交付由 committer 检视。
确定性 A/B
以下是固定版本上的检索脚本 A/B 记录。当前提交的 Query Python 实现与 B 相同;Skill 的平台模式选择与准确接口定义复查规则未重新进行 Agent 问答评测,以下结果不作为新流程的推荐成功率。
A:源端基线
a7828fa2aee7932136749ae4dd43f66441b17efb;B:3d4d0f0a4f2a17ea36fb18c7ddaf227731d49599。两组共用 B 的 RuntimeQueryTests 合成夹具、相同索引和治理,只替换 Query 脚本。Ubuntu 22.04 / Python 3.10.12;查询Synthetic API,literal,k=20,每例每组一次。预设标准:新增候选集合符合预期,原过滤结果不变,越域与平台冲突继续拒绝。实测 10/10 组满足。
复核入口:在 B 上执行
python3 -m unittest evals.test_retrieval_index.RuntimeQueryTests -v。A/B 使用该类setUp的同一个夹具,分别加载 A/B 固定提交的knowledge_query.py,按表中参数执行;CLI 参数与审计契约见 Query CLI。该实验验证检索与隔离行为,不是模型推荐成功率或性能实验。当前验证与交付
当前提交:
d6117bf74c1db82f78e4565b35cfa5df7a84488f;父提交:c7609c5a17d86c25a593fa96ea64e1d9f9e7f2ca。关联 PR !193。bash check.sh,退出码 1:完整单测 469 项,仅 2 项源端同样失败、1 项跳过。两项分别为 Spec 文件数量和 374 张存量文档首标题检查,已在源端c7609c5a17d86c25a593fa96ea64e1d9f9e7f2ca的干净快照逐项复现;没有新增失败。新增
evals/runtime_api_selection_cases.yaml的 12 条用例只检验目标接口召回及接口层过滤;它们使用固定短查询、平台和草稿快照,不构成最终选型正确率或 Agent A/B 结果。上面的合成夹具 A/B 是历史检索扩展实验,不能用于证明本轮 Skill 重构的推荐增益。本轮未执行独立 Agent 问答 A/B、SDK 编译或设备验证。