可用于对千问办公进行批量自动化可靠性评测,支持多种测试条件并自动输出通过率、一致性与鲁棒性指标。项目基于千问办公原生定时任务触发,配置一次后自动领取、执行、归档整批实验,评分独立执行,无需常驻进程。【此简介由AI生成】
Access rate limit exceeded. Please log in to continue.
qwen-reliability-office-bench
概述 · 搭建 · Quick Start · 附录
概述
Qwen Reliability Office Bench 是一个面向千问办公的可靠性评测工具,包含 5 道办公用例。给定原始题目和 Office、PDF、邮件附件,千问办公在独立会话中编辑并保存文件;评测程序通过正常重复和扰动条件下的执行结果,衡量文件检查器通过率、一致性、置信度校准及扰动鲁棒性。
flowchart LR
A[题目与附件] --> B[配置定时任务]
B --> C[独立会话领取与执行]
C --> D[Stop 封存文件与轨迹]
D --> E[独立评分与指标报告]
E --> F[暂停本轮任务]
题目与完整附件通过 Hugging Face 单独分发,当前版本为 office5-file-20261113-v1,来源固定为 OSWorld2 2026.08.08。程序只将本题输入交给执行会话,评分参考资料由独立评分器使用。题目清单与投递方式见数据集说明。
| 用例 | 任务 | 主要文件 |
|---|---|---|
| qwb-004 | 统一新增 PPT 页面的风格 | PPTX |
| qwb-010 | 根据邮件与附件填写报销清单 | 邮件文档、DOCX、XLSX |
| qwb-014 | 根据电影线索补全 Word 引文与措辞 | DOCX |
| qwb-080 | 按 PDF 变更备忘录修复经营规划模型 | PDF、XLSX |
| qwb-091 | 依据 Excel 与 COO 邮件更新经营汇报 | 邮件文档、XLSX、PPTX |
默认使用 office-file-v1 文件评分,只检查已保存的产物,不依赖评分用 Office 引擎、页面渲染或模型服务。它省略了部分原始评分项目,分数不等同于完整 OSWorld 评分;保留项与省略项见评分说明。
搭建
当前接入流程已在 Windows PowerShell 验证,需要 Python ≥3.10、Git、Python venv,以及已登录且可使用本机定时任务和 Hooks 的千问办公。建议将程序与实验放在本地磁盘。完成克隆后,其余命令均在项目根目录执行。
创建独立环境并安装全部五题的评分依赖和下载工具:
git clone --branch codex/bench-system https://gitcode.com/weixin_46351149/qwen-reliability-office-bench.git
cd qwen-reliability-office-bench
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install -e ".[evaluate]" huggingface_hub
使用具备读取权限的 Hugging Face 账号登录。数据集仓库当前为私有,需要先取得数据集访问权限:
.\.venv\Scripts\hf.exe auth login
将完整发布包下载到新的空目录,并校验文件及来源:
.\.venv\Scripts\hf.exe download adiven/qwen-reliability-office-bench --repo-type dataset --revision office5-file-20261113-v1 --local-dir ../qwen-work-bench-5-file
.\.venv\Scripts\python.exe ../qwen-work-bench-5-file/scripts/verify_distribution.py
.\.venv\Scripts\python.exe ../qwen-work-bench-5-file/scripts/validate_export.py
两项校验应均显示 passed: true。网页 JSONL 预览只有索引,不能代替完整附件和评分资料。上述步骤一次安装 python-pptx、python-docx、openpyxl、Pillow、lxml;使用显式解释器路径,无需激活虚拟环境。
千问使用客户端中选择的模型与权限。执行 Agent 需要具备题目要求的文件编辑工具和办公环境;文件评分本身不要求额外安装 Excel、LibreOffice、WPS COM 或模型服务。
macOS/Linux 的 Python 命令路径可对应替换为 .venv/bin/python 和 .venv/bin/hf;千问宿主工具、桌面应用及鸿蒙环境尚未完成同等实机验证。
使用(Quick Start)
运行实验
数据校验通过后,使用已配好下载路径的 Office 示例完成部署,无需复制配置或手填全部题号:
.\.venv\Scripts\python.exe bench.py setup --config examples/office-file.json
示例使用 "cases": "all" 选择发布索引中的全部用例。setup 会先核验输入附件、评分源码、参考资料及 P 问法,再检查 Hooks 和 worker 实际使用的 Python 能否导入全部评分库;通过后安装六个 Hooks,并生成 bridge/scheduled-prompt.txt。
成功输出会列出题号、中文名称和选择摘要:
已选 5/5 道任务,已全选;每题 5 轮,共 25 轮。
all_selected: true
omitted_case_ids: []
让千问办公加载新 Hooks,必要时正常重启客户端,然后配置一次本机定时任务:
- 创建每分钟执行的本机定时任务,名称可以自定义。
- 将
bridge/scheduled-prompt.txt全文粘贴到任务指令中。 - 若客户端提供工作/参考目录,添加项目根目录,并完成必要目录授权。
- 选择完全访问权限以及待测模型,保存并开启任务。
此后由定时触发的独立会话自动领取、执行、封存、评分和生成报告。整批结束后,收尾会话通过千问内置工具暂停本次绑定的任务,Hook 核验实际成功回执后关闭实验。
本次实验共 5 ×(2 + 1 + 1 + 1)= 25 个执行任务:10 个正常任务,以及 P、E、F 各 5 个扰动任务。用例是固定题目;执行任务是某个用例在一个条件下的一次独立运行;实验包含本轮全部执行任务与结果。
| 条件 | 含义 |
|---|---|
| normal1、normal2 | 相同原题独立执行两次 |
| P-formal | 使用审核过的等义问法 |
| E-text-envelope | 一次读取返回增加可还原的文本包装 |
| F-tool-rate-limit | 一次读取模拟 HTTP 429,观察后续恢复 |
打开 outputs/experiment-000001/evaluations/<版本>/metrics.md 查看指标;收尾会话也会给出实际报告路径。每轮创建独立实验,编号递增,旧工作文件、轨迹和报告保留。
查看状态与独立评测
日常执行会自动评分。需要查看当前进度或重新评估已有结果时,单独执行:
.\.venv\Scripts\python.exe bench.py status --config examples/office-file.json
.\.venv\Scripts\python.exe bench.py evaluate --config examples/office-file.json --experiment outputs/experiment-000001
将实验目录替换为实际路径。evaluate 核验封存文件和评分依据后生成新的报告版本,不重新运行 Agent。未完成的实验默认拒绝评分;诊断时可显式使用 --allow-partial。
输出目录
bridge/
├── scheduled-prompt.txt # 千问定时任务的固定指令
├── hook-installation.json # Hooks 安装记录与原设置备份信息
├── active-experiment.json # 当前实验指针
└── sessions/ # 会话身份、路由和终态记录
outputs/
└── experiment-000001/
├── experiment.sqlite3 # 冻结配置、执行清单、状态与评分
├── work/<run_id>/ # 本轮题面、附件、产物与中间文件
├── runs/<run_id>/ # 准备记录、Hooks 审计和封存清单
├── capture/ # 原始回调、轨迹与反馈证据
├── evaluations/<版本>/ # 独立评分后的报告
│ ├── metrics.md
│ ├── metrics.json
│ └── results.json
├── latest-evaluation.json # 最新报告位置
├── pause-confirmation.json # 任务暂停的核验回执
└── experiment-closed.json # 本轮关闭记录
每个实验使用一个 SQLite 数据库,无需部署数据库服务。work/ 和 capture/ 保存核验所需的产物与证据;完成后保留,自有临时状态在确认暂停后清理。旧布局仍可读取,不批量迁移历史结果。
下一轮与恢复
整批关闭后,重新开启已配置的定时任务即可开始下一轮。程序重新查询当前配置对应的唯一任务,确认已开启后绑定实际 ID;中途暂停再开启则继续原实验。评分或清理中断时恢复原阶段。
若会话异常结束且未完成 Stop 收尾,程序依据所属会话的真实 SessionEnd 审计归档为中断执行,保留文件和失败记录并释放名额;历史漏收尾也由后续轮询恢复。单纯超过预算而没有终止证据时仍保留名额,避免重复执行。
程序只匹配包含评测标记和当前配置路径的任务,无关定时任务不参与选择。任务名称可以修改;多条任务使用同一配置指令时会等待,不自行猜选。只有本轮收尾会话能够暂停已经核验的目标 ID。
附录
自定义范围
直接修改 examples/office-file.json 中的对应字段,然后执行同一条 setup 命令。只测 080 时,将 dataset.cases 从 "all" 改为 ["qwb-080"],选择摘要会显示选中 1/5 题、未全选、计划 5 轮,并列出未选题号。
| 配置 | 用途 |
|---|---|
dataset.root |
本地完整数据集目录,相对路径以配置文件所在位置解析 |
dataset.cases |
"all" 按发布索引全选,或用编号列表选择部分用例 |
conditions |
默认五个条件;仅正常重复时设为 ["normal1", "normal2"] |
max_concurrency |
Office 示例为 1;共用窗口、键鼠或办公应用时顺序执行 |
worker_python |
示例为 "current",绑定执行 setup 的解释器;也可填绝对路径 |
worker_shell |
Windows 默认 powershell,其他系统默认 bash;可按客户端实际执行环境显式选择 |
scoring_profile |
默认 office-file-v1,保留当前简化文件评分口径 |
bridge_dir、output_dir |
入口状态与独立实验的存储目录 |
settings_file |
千问 Hooks 设置文件,默认 ~/.qwenworkcn/settings.json |
automation.enabled |
true 启用定时会话驱动的自动闭环 |
automation.schedule_id |
可选,明确限定所匹配的真实定时任务 ID |
task_timeout_seconds |
单轮执行预算;超过预算时保留可能仍在运行的会话凭证 |
engine_database |
可选,读取引擎侧 E 返回证据,缺失或不唯一时记录未确认 |
all 只展开 data/cases.jsonl 发布索引,不扫描下载目录中的残留题目。本轮实际清单和配置在创建实验时冻结,后续索引变化不会给正在执行的实验追加任务。
配置切换与 Hooks 管理
旧实验 closed 后可以修改范围或改用新的配置。切换配置文件路径时,执行新配置的 setup,并将新生成的 bridge/scheduled-prompt.txt 全文替换到定时任务中。setup 更新 Hooks 和生成指令,不会修改千问已有定时任务。
共用同一 bridge_dir 和 settings_file 时,setup 更新全部六个 Hooks 的配置绑定,保留最初设置备份;重复执行不会叠加安装。旧实验未关闭时拒绝切换,已关闭实验的历史任务 ID 不限制下一轮重新绑定。
只改同一配置文件的题目清单时,待旧实验关闭后下一轮读取新内容,无需替换指令。Office 示例的 worker_python: "current" 让依赖安装、Hooks 和 worker 使用同一个 Python,避免客户端 PATH 指向另一套环境。
命令生成和领取前的 Hook 改写使用相同 Shell 规则。Windows 的工具即使名为 Bash,也可能实际执行 PowerShell;此时带引号的 Python 路径使用调用运算符 &。只有客户端确实使用 POSIX Bash 时才将 worker_shell 设为 "bash"。
需要恢复部署前的 Hooks 设置时,在实验关闭后执行:
.\.venv\Scripts\python.exe bench.py teardown --config examples/office-file.json
更换 bridge 或 settings 文件位置前,先对旧配置执行 teardown。更详细的身份、领取、封存和原生回执规则见执行协议。
登录与等待状态
HF 登录按系统用户和 HF_HOME 保存。WSL 已登录不代表 Windows 也已登录;私有仓库显示 not found 或权限不足时,在实际下载环境检查身份并登录:
.\.venv\Scripts\hf.exe auth whoami
.\.venv\Scripts\hf.exe auth login
账号还需具备数据集读取权限。Token 保存在 HF 标准登录存储中,不写入项目配置或 Git 仓库。
执行名额已满、等待其他会话结果、维护冲突或收尾占用时,程序正常返回 waiting,本次会话展示提示后结束,后续定时触发继续检查。配置或环境异常会保存诊断并返回 attention,不会冒充已完成任务。领取和收尾由 Hooks 驱动,日常无需手工运行 worker claim、finish 或后台守护进程。
评分范围与验证
office-file-v1 保留当前五题的文件检查,省略 080 的 Office 重算及计算值验证、091 的渲染视觉 E 扣分;省略项不视为通过。010 原比较函数不检查表格或版式,014 原检查器不评分可选证据及版式。详细权重、限制和旧口径兼容规则见评分说明。
运行自动测试:
.\.venv\Scripts\python.exe -m unittest discover -s tests -v
使用已下载数据运行真实文件评分回归:
$env:QROB_DATASET_ROOT = (Resolve-Path ../qwen-work-bench-5-file).Path
.\.venv\Scripts\python.exe -m unittest discover -s tests -p test_file_grading.py -v
纯净环境已验证远端克隆、独立环境安装、HF 真实下载、五题全选及 25 轮测试执行器闭环;测试执行器和模拟调度回执用于验证程序流程,不代表千问模型能力或真实任务启停。验证步骤与证据边界见纯净环境验证,历史客户端记录见验证记录。
仅检查领取协议时,可用 examples/automatic.json 配置运行 sum-001 CSV 样例;它不代表完成 Office 五题接入。没有 automation.enabled=true 的配置继续使用旧协议,历史结果保持原口径,见历史版本说明。
参考说明
本项目改编 OSWorld2 的五道办公任务,保留原始题面、输入材料及固定评分来源。010 和 091 通过离线邮件文档和附件定位表投递材料;数据来源与素材授权见数据包的 NOTICE.md。旧十二题包和原五题评分版保留在历史发布标签中,详情见数据集说明。