Merged
[MemScope] Unify snapshot cache validation in parser scripts #1305
heiheiheiAdd on Oct 15
[MemScope] Unify snapshot cache validation in parser scripts #1305
Merged
Pull Request has been successfully merged by ascend-robot.
(Thank you for heiheihei's contribution.)atomgit-bot
Oct 15 Comments:
Oct 15 Comments:
AtlasAccount
Oct 15 Comments:
Oct 15 Comments:
atomgit-bot
Oct 15 Comments:
Oct 15 Comments:
Oct 15 Added label: ascend-cla/yes
173 messages are collapsed here。 See more
Oct 21 Added label: lgtm
codeasier
Oct 21 Comments:
Oct 21 Comments:
/approve


Oct 21 Added label: approved
Oct 21 Merged pull request, merge node SHA: 759e5050a59ed29aa5b45c9d7ba621d88f408b05
ascend-robot
Oct 21 Comments:
Oct 21 Comments:
Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


感谢您贡献的Pull Request
在提交之前,请务必阅读 CONTRIBUTING.md。
Thanks for sending a pull request!
BEFORE SUBMITTING, PLEASE READ CONTRIBUTING.md.
PR描述 (What this PR does / why we need it?)
将源文件 hash、完整性和基础数据逻辑摘要校验统一到 Python 解析脚本,C++ 不再重复计算 hash 或以派生表决定是否回放;保留进度与分窗就绪握手。新增可复用缓存契约,允许调用方附加列、表、索引、视图、触发器及无关字典项;Insight 原有编号和 OPFS v1 保持不变。
配套工具仓:https://github.com/codeasier/pt-snap-cli 。本 PR 不关联 Issue。
面向用户的变更 (Does this PR introduce any user-facing change)?
有效的同源解析产物可在 Insight 与工具兼容导出之间复用;消费者派生表不会导致重复回放。hash 盐值不变。Insight 块图 OPFS 版本保持 v1,不要求全量清理既有块图缓存。
功能验证 (How was this patch tested?)
完整验证记录
下文为逐阶段记录,前半部分的失败和限制描述修复前状态,以“修复后验证”和本次复验结果为最终结论。原始证据文件名用于追溯;本机文件路径不是可下载的远端附件。
Insight / pt-snap-cli 实际互用验证
验证时间:2026-10-15。输入:
C:\data\pickle\memory0.pickle(175710540 字节)。结论
关闭且稳定的解析产物可以双向复用,C++ 添加派生表不会导致脚本缓存失效。但不能认定当前两套解析结果完全等价,也不能认定支持正在使用中的 SQLite 产物共享。
环境与调用
http://localhost:5174/实际导入。C:\github\pt-snap-cli当前工作区,安装到独立验证虚拟环境;版本0.4.1.post1.dev0,包含本地互用修改,不是未经修改的发布版。CLI 命令示例(
pt-snap.exe位于验证虚拟环境的 Scripts 下):pt-snap import C:\data\pickle\memory0.pickle --format msinsight --events-per-slice 500000 --no-focus --json pt-snap import C:\data\pickle\interop-validation-20261015\cli-produced\memory0.pickle --format msinsight --events-per-slice 500000 --no-focus --json已验证结果
reused:falseSnapshot cache validatedmemory_allocation_cache_v1_0,原 CLI 表保留reused:true、rebuilt:false、metadata:nullCLI 静态副本保留了 Insight 添加的派生表。只对验证副本执行 SQLite checkpoint,并关闭连接以形成可搬运产物;没有删除原目录的 WAL/SHM。
发现的问题与限制
1. 正在使用的数据库尚不能直接共享
第一次 CLI 复用完整 Insight 产物时,基础校验之后被 DatasetResolver 拒绝:
Dataset member has a live SQLite sidecar。切换项目时 SQLite checkpoint 又使并行校验返回Snapshot member changed during validation。这些检查没有错误使用半成品或变更中的数据,但意味着当前不能宣称支持 GUI 与 CLI 同时直接共享一份正在使用的产物。即使 WAL 长度为零,只要 WAL/SHM 存在,CLI 的后续 dataset 校验仍会拒绝。
2. 源 hash 一致,基础数据并非完全一致
两边 cacheHash 均为:
e7f5c1b59aef07a6602f72fc1db9e5b4a3a19c7e419a21aa8147e9c1519cf64f但两个分窗的基础数据 seal 均不同。已定位的具体差异:
Insight 当前解析器具有
compact_unresolved_block_ids编号压缩逻辑。CLI 兼容导出没有得到相同编号结果。相同源 hash 在前端可能复用不同解析器产生的块图缓存,因此正式替换脚本前仍需统一基础解析语义与缓存身份。此次没有为通过验证修改盐值。详见 base-data-differences.json。
3. 复用不等于秒开
CLI 产物导入 Insight 的缓存验证约 41 秒(15:32:54~15:33:35)。本数据基础表包含大量调用栈文本,逐行 seal 校验和 CLI 后续结构验证耗时明显;不能将这些耗时描述成重新解析,也不能把它忽略。
4. 验证边界
已实际确认 CLI 产物第一个窗口显示。后续 iframe 控件自动化报目标不可用,未完成第二片切换交互验证。跨窗块 485072 的两片信息已通过直接查询数据库核对。
本轮没有修改业务代码、提交或推送代码;保留了所有验证产物以便进一步定位。
文件清单
cli-produced/:CLI 输入副本与其兼容产物,已被 Insight 使用并添加派生表。insight-closed/:Insight 解析产物静态副本,CLI 已成功复用。before-gui.json/after-gui.json:基础 seal、表清单、行数及 ID 范围。base-data-differences.json:代表性记录差异。insight-to-cli.json:在线共享被 WAL/SHM 检查拒绝的记录。insight-to-cli-closed.json:并行 checkpoint 被变更检查拒绝的记录。insight-to-cli-portable.json:静态产物成功复用记录。cli-to-insight.png:GUI 结果截图。修复后验证(2026-10-15)
修改
实测
cli-fixed/memory0.pickle.msinsight,两片基础行摘要与原 Insight 产物完全一致。fixed-artifact-comparison.json记录负块数量、边界 ID 和跨窗块 485072;两边均一致。Snapshot cache validated,未重新回放。insight-to-cli-fixed.json:CLI 复用原 Insight 产物,reused=true、rebuilt=false。cli-after-insight-fixed.json:CLI 再次复用被 Insight 添加派生表的工具产物,reused=true、rebuilt=false。cli-fixed-to-insight.png:修复后 GUI 验收截图。验证限制
提交前复验与范围
风险、兼容性和回滚
当前实现说明(以此为准)
OPFS 版本保持 v1,不升级缓存版本。CLI 兼容导出对齐 Insight 原有编号,不改变 Insight 解析结果。缓存契约仅保留在 PR 描述,不单独提交说明文档。
Snapshot 解析缓存契约
职责边界
--cache_hash。--cache_hash暂保留为旧调用兼容参数,但脚本忽略其值,不能用它伪造缓存身份。缓存身份和完整性
util/snapshot_cache.py定义SHA256(b"mem_snapshot_parser_v2" + 原始文件字节),以流式读取计算 hash;缓存命中不反序列化 pickle。盐值没有升级。
manifest 必须完整,所有分片必须 ready,DB 必须存在,基础表字段、主键和真实事件区间必须完整。
新产物在最终回填完成后添加
parserCache,记录每片基础数据的逻辑 SHA-256:trace_entry_<device>的基础字段,按 ID 排序;block_<device>的基础字段,按 ID 排序;校验流式遍历 SQLite 记录,不将全部结果加载到内存。额外列、表、索引、视图、触发器和其它表的 dictionary
条目不属于基础解析产物,调用方可以增加、更新或删除,VACUUM 也不会导致缓存失效。
调用方不能修改基础表及其字典内容,否则逻辑摘要不匹配,需重新解析。
摘要是完整性检查,不是签名,也不能替代 pickle 的信任审核。
旧产物没有
parserCache时仍检查源 hash、完整 manifest、全部 DB 和基础结构/事件范围;由于没有历史逻辑摘要,不能追溯检测所有历史基础字段修改。
参数
events_per_slice不会让已有有效缓存重新分窗;要改变既有分窗请显式移除解析产物。按设备生成的缓存不能代替全设备缓存。
双仓互用
当前配套工作区:
C:\github\pt-snap-cli。该仓
core/snapshot_cache.py使用相同逻辑契约。兼容导出使用--format msinsight,原生 v2 和默认单库不是 Insight 分窗输入。
新兼容导出的
ptSnap.members使用memberHashKind=parser-v1,不再以整个 DB 文件字节作为缓存有效性依据。旧工具导出没有此标记时保留原有物理校验,不能将其自动升级为已验证的新摘要。
工具可只读复用 Insight 生成的有效兼容目录;缺少工具来源元数据时返回
metadata=null,不改写 DB。工具普通 import 对无效外部目录仍拒绝覆盖;Insight 管理的解析目录则整体重建。
脚本与后台握手
日志行
Snapshot cache validated: <hash>表示已验证缓存;Snapshot cache rebuild: <hash>在旧 manifest 清除后输出,表示开始重新生成。C++ 在收到握手前不发布旧 manifest 的分窗,最终还需脚本成功退出和 complete manifest。
前端 fileHash 仍由后台事件传递,其值来自脚本生成的 manifest。
当前仍使用 Insight 自带解析脚本,未切换为外部工具命令。未来替换入口时需要保留
进度日志、握手和分窗就绪通知契约,不能仅替换可执行文件名称。
本轮检视修复与验证(提交 2a8c79b5a)
——msdevflow