Pull Request has been successfully merged by openJiuwen-bot.
(Thank you for Yiyang Shao's contribution.)变更摘要
本 PR 修复注册中心状态持久化的原子性缺陷:atomic_write_json 此前让所有写入者共享 <目标>.tmp,并发写会相互覆盖,且在 os.replace 两次失败后直接打开目标文件覆盖,破坏原子性并可能损坏旧状态。改动后改为在目标目录内使用唯一的临时文件,完整写入并 flush/os.fsync 关闭后才执行替换;替换被拒绝时重试一次后抛出错误,其余存储错误直接传播,失败时尽力清理本次临时文件,旧目标保持不变。
主要改动
- 唯一临时文件隔离并发写入:
atomic_write_json改用tempfile.NamedTemporaryFile(dir=path.parent、prefix=f".{path.name}."、suffix=".tmp"、delete=False)生成写入者独享的临时路径,替代固定拼接的path.with_suffix(...".tmp"),避免并发写入互相覆盖。 - 写入完成后再替换目标: 新增
f.flush()与os.fsync(f.fileno()),确保临时文件内容完整落盘后才调用os.replace,替换前不再存在半成品目标文件。 - 移除直接覆盖回退,失败保留原目标: 只有
PermissionError才time.sleep(0.05)后重试一次os.replace,重试仍失败则向外传播异常;其他OSError(如ENOSPC、EIO)不再重试,也不再退化为直接覆盖目标文件。 - 临时文件清理不掩盖原始错误: 将清理逻辑移入
finally,用tmp_path.unlink(missing_ok=True)并捕获OSError后忽略,保证原始写入/替换异常不被清理失败覆盖。 - 补充原子写入与状态保留测试: 新增
AgentRegistry/tests/common/test_atomic.py覆盖并发写入使用独立完整临时文件、替换权限重试与持续失败、存储/flush/序列化失败、无关 sidecar 文件保留等场景;test_identity.py新增test_failed_save_keeps_last_loadable_state,验证ClusterState.save()失败后磁盘上旧状态仍可被ClusterState.load加载。


欢迎来到 openJiuwen 社区
Hey @YiyangShao , 感谢你对社区的贡献.
机器人使用手册
有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。
联系指引
有疑问可以联系 SIG: sig-agent-protocol ,
维护者是: @YiyangShao, @xinyu-jiuwen ,
审核者是: @gcw_hx9prznZ, @mingo007 .


The pipeline(pipeline number:385) is running. Please wait a moment...


【review】设计问题。本 PR 修复了公共原子写入实现(唯一临时文件、fsync、失败时保留原文件并向上抛错),但 register 存储模块中保留的一份同逻辑本地 _atomic_write 拷贝并未迁移:临时文件名固定为目标文件名加 .tmp(并发写入会互相覆盖临时文件)、写后没有 fsync、replace 两次失败后还会以写模式直接打开目标文件覆盖(中途失败会留下损坏状态),且整个过程不抛异常。该函数被服务状态、注册配置、向量配置等 6 处持久化调用使用,合并后这些路径仍暴露在旧实现的数据损坏风险中。建议将这些调用点迁移到 atomic_write_json 并删除本地拷贝;若短期不迁移,至少去掉直接覆盖目标文件的兜底逻辑并让失败向上传播。


【review】文件权限。NamedTemporaryFile 在 POSIX 下以 0600 创建临时文件,os.replace 后目标文件权限会从原来的 0644/umask 默认值变为 0600;如果集群中其他进程或用户需要读取该状态文件,升级后可能出现权限拒绝。在替换前读取原目标文件的 mode 并 chmod 到临时文件(新建文件时显式指定期望 mode,例如 0644),并补充文件权限回归测试;如果 0600 是有意收紧,请在文档或变更说明中明确。


The pipeline(pipeline number:385) is running. Please wait a moment...


/lgtm
/approve


Paired: GitHub #189 ↔ GitCode !385
问题与修复
注册中心集群状态通过 atomic_write_json 持久化,但所有写入共用
<目标>.tmp,并发写入会相互覆盖。两次 os.replace 失败后还会直接打开目标文件覆盖,既破坏原子性,也可能在写入中断时损坏旧状态。验证
在隔离的临时 Python 环境中安装注册中心轻量依赖,从 AgentRegistry 目录执行:
python -B -m pytest tests/common tests/cluster tests/register tests/auth -q:266 passed,4 skipped(Windows 无法验证 POSIX 权限位)。git diff --cached --check:通过。gitcode precommit check --run --yes:仓库没有 pre-commit 配置。行为与范围
持续无法替换目标时,现在报告错误而非绕过原子替换。并发完整写入采用最后一次成功替换的结果,不提供读改写事务或跨进程版本排序。POSIX 替换前将已有目标权限复制到临时文件,新文件使用 0644;Windows 保留平台默认临时文件 ACL 行为。已执行文件 fsync,但没有增加父目录 fsync,因此不宣称完整的断电持久性保证。
本 PR 仅处理原子状态写入;Python 缓存清理已由独立 PR !377 完成并合入,不重复包含。