Closed
分片 SnapshotDB 中 block 生命周期跨片时,Free Requested Event 详情丢失 #625
codeasierAdd on Oct 11Closed at 16 days ago
sun-chao
Oct 11 Comments:
Oct 11 Comments:
🔎 Issue 相似性检查报告
自动生成时间:2026-10-11 03:39 UTC
说明:本报告用于辅助 triage,不自动判定重复或关闭。
目标 Issue
- 编号:#625
- 标题:分片 SnapshotDB 中 block 生命周期跨片时,Free Requested Event 详情丢失
- 状态:open
- 链接:https://gitcode.com/Ascend/msinsight/issues/625
- 标签:无
扫描概览
- 找到相似 Issue:5 个
- 高相似(≥85%):0 个
- 最高相似度:67.39%
🧭 初步处理建议
- 当前相似度整体不高,建议按新问题处理,同时保留相似 Issue 作为背景参考。
- 已有关闭/已解决样本:#545, #183, #540。建议先检查这些 Issue 中涉及的修复提交、配置项或文档变更是否已覆盖当前版本。
- 建议开发者补充或核对:最小复现步骤、实际/期望结果、完整报错栈、msinsight 版本、Python/OS/硬件环境,并判断是否为历史修复的回归。
注:本次未启用或未成功调用 LLM,以上为规则化保守建议。
相似 Issue 明细
| # | 相似度 | 状态 | 历史 Issue | 标签 | 参考价值 |
|---|---|---|---|---|---|
| 1 | 67.39% | 🟢 closed | #545 MemSnapshot 生命周期图分窗 | rfc, resolved | 背景参考 |
| 2 | 66.28% | 🟢 closed | #183 [REFACTOR][MemSnapshot] 内存分配器模块需适配多 stream 场景下不同设备/不同版本 PyTorch 的内存快照 | triaged, resolved | 背景参考 |
| 3 | 64.92% | 🟢 closed | #540 [Feature][MemScope]: 支持 HOST 类型 Host 内存展示并兼容旧版 HOST_PINNED | feature, resolved | 背景参考 |
| 4 | 63.99% | 🟢 closed | #39 [Bug]: 【MemScope】在时间戳超出当前已有数据范围时,Memory/leaks/details接口会报错 | bug, triaged, resolved | 背景参考 |
| 5 | 62.37% | 🟢 closed | #35 [Feature]: 适配profiling字段block dim重命名为block num | feature, triaged, resolved, stale | 背景参考 |
Top 3 参考线索
1. #545 MemSnapshot 生命周期图分窗
- 相似度:67.39%
- 状态/标签:closed / rfc, resolved
- 历史描述摘要:MemSnapshot 生命周期图分窗解析与按需渲染 状态(Status):Draft 作者(Authors):@ayatoychen 创建日期(Created):2026-09-07 更新日期 (Updated): 2026-09-07 相关 Issue/RFC: 1. 概述 1.1 背景 MindStudio Insight 导入 PyTorch 内存快照后,需要通过生命周期图展示内存块从申请到释放的堆叠变化。原有实现将整份快照解析成单个 SQLite 数据库,前端再一…
2. #183 [REFACTOR][MemSnapshot] 内存分配器模块需适配多 stream 场景下不同设备/不同版本 PyTorch 的内存快照
- 相似度:66.28%
- 状态/标签:closed / triaged, resolved
- 历史描述摘要:问题描述 当前
SimulatedCachingAllocator模块存在以下问题: 1. 不支持多 stream 地址重叠:现有实现中,DeviceSnapshot.segments仅按address排序和查找,但不同 stream 的 segment 可以拥有相同的地址范围。当不同设备或不同版本 PyTorch 采集的快照中存在同地址不同 stream 的 segment 时,查找和操作会出错。 2. Block 管理模型过于复杂:旧…
3. #540 [Feature][MemScope]: 支持 HOST 类型 Host 内存展示并兼容旧版 HOST_PINNED
- 相似度:64.92%
- 状态/标签:closed / feature, resolved
- 历史描述摘要:背景** 新版 MemScope dump 的 malloc/free 子类型为
HOST,锁页用 Attrpinned区分;用量字段为used(采集生命周期内 Host 累计申请)和process_used(GetProcessVmRss/ VmRss,与采集窗口无关),不再提供total。旧版 dump 使用独立子类型HOST_PINNED,用量字段为total。 现状** 后端事件白名单、类型选择器与前端详情/低效过滤只…
⚠️ 声明:以上结果仅作为相似问题参考,不直接判定 Issue 重复。
请开发者结合实际复现、版本差异和代码变更确认最终处理方案。


Oct 11 changed custom category from Bug-Report to Requirement
Oct 11 Associated milestone: MindStudio 26.3.0
Oct 12 Assign codeasier as responsible person
Oct 12 Assign ayatoychen as responsible person
Oct 12 Associated pull request
16 days ago changed custom state from TODO to DONE
16 days ago Close issue
16 days ago Added label: resolved
问题描述
在分片 SnapshotDB(多个
slice_*数据库 + manifest)中,如果一个 block 的生命周期跨越多个分片(alloc、free_requested、free_completed 不在同一分片),在 GUI 中选中该 block 时,「Free Requested Event」详情为空;而 Alloc Event 和 Free Completed Event 能正常显示。只有从恰好包含 free_requested 事件的那个分片打开 block 时才能看到详情。
复现
时间线(同一 address):
alloc(id=0) → free_requested(id=1, stack=FREE_REQ_STACK, stream=7) → free_completed(id=2),block.freeEventId = 2。用 pt-snap-cli 的分片回放(每片 1 个事件)生成的数据同样复现:free_requested 完整写在 slice3,但从包含该 block 的 slice0/1/2/4/5 打开时详情全部为空。
根因分析
基于契约修订
101f65b877a267ffd5f66ea3834706057ba243e5,当前 master3ba8c077中逻辑相同:QueryMemSnapshotDetailHandler.cpp:94-109:QueryTraceEntryByIdAcrossSlices(MemSnapshotRequestHandler.h:115-138)查询,会先查当前分片,再通过ResolveSliceByEventId打开其他分片;database->QueryFreeRequestedTraceEntryByBlock(...),只使用当前分片的数据库连接。MemSnapshotDatabase.cpp:1034-1064:仅在当前分片的trace_entry_*上执行SELECT * FROM trace_entry_N WHERE id > ? AND address = ? AND action = ?(绑定 allocEventId、address、free_requested 的字典 key)。block 行会出现在其生命周期覆盖的每个分片中,而 free_requested 事件只存在于拥有该事件 ID 的那个分片,因此从其他分片打开 block 时查不到。
block表没有 free_requested 事件 ID(freeEventId按契约指向 free_completed),所以只能用地址扫描找回;单库测试MemSnapshotDatabaseTest.cpp:906-940覆盖不到跨片情况。建议修复
QueryTraceEntryByIdAcrossSlices,为 free_requested 增加跨分片查找:候选分片取 manifest 中事件区间与(allocEventId, freeEventId)相交的分片(freeEventId < 0时到设备末尾),逐片执行现有查询,命中即返回。id > allocEventId AND (freeEventId < 0 OR id < freeEventId) AND address = ? AND action = free_requested ORDER BY id LIMIT 1该修复不需要改动 schema,对已有的单库和分片产物都兼容。