Closed
[Requirement|需求建议]: 为 aclDestroyXxx 系列 API 增加 best-effort double-free 检测能力 #280
ren-botaoAdd on  Jul 21Closed at  Jul 21
ren-botaoCollaborators
Jul 21 Create

Backgroud(背景信息)

aclDestroyXxx 系列 API(aclDestroyTensor / aclDestroyScalar / aclDestroyIntArray / aclDestroyFloatArray / aclDestroyBoolArray / aclDestroyTensorList / aclDestroyScalarList,共 7 个)当前实现仅为 if (ptr == nullptr) return OK; delete ptr;(见 src/nnopbase/common/api/acl_op_api.cpp)。当上层应用对同一个 aclTensor* / aclScalar* / aclIntArray* 等对象重复调用 aclDestroyXxx 时,第二次及之后会触发未定义行为(double-free):底层内存池 BlockPool 的 cache 链表会被破坏、或直接对已归还系统的内存再次 std::free,进而引发堆损坏、段错误或难以定位的随机崩溃。

由于这些 API 是 C 接口、被各类 host 应用与第三方框架频繁调用,问题在用户侧表现为"偶发崩溃 + 无任何 aclnn 侧日志",定位成本极高——既无法在 aclnn 层确认是否发生过 double-free,也无法定位到具体的 destroy 调用点。

Origin(信息来源)

本代码仓架构师和开发,基于内存重复释放的难题,设计的维测功能。

Benefit / Necessity(价值/作用)

  1. 可观测性:用户开启 ACLNN 调试日志(OP_LOG_INFO 级别)后,对同一个 aclDestroyXxx 入参地址的重复释放会输出 OP_LOGW("possible double-free at addr %p."),把"用户侧偶发崩溃"转化为"aclnn 日志中的明确告警",定位时间从天级降到分钟级。
  2. 零生产开销:检测路径用 unlikely(...) && + std::atomic<bool>::load(memory_order_relaxed) 守门,仅在调试模式开启时执行完整判定;生产模式(默认日志级别)下分支预测几乎零成本,不引入性能回归。
  3. best-effort 不阻断:检测到疑似 double-free 只输出 OP_LOGW 告警,不阻断 delete(避免误报把正常用户路径打死),保持 API 行为向后兼容。
  4. 覆盖核心热路径:内存池 ≤64KB block(用户绝大多数场景)走 BlockPool cache,cacheExt_ 状态机可识别"已归还 cache 链表";同时覆盖同线程与跨线程 double-free 两个核心场景。

应用场景:

  • 客户侧偶发崩溃怀疑与对象重复销毁有关时,开启 OP_LOG_INFO 即可拿到 aclnn 视角的告警;
  • aclnn 自身维护与回归测试中,作为静态守门检测回归(已新增 test_check_double_free.cpp,10 个 TEST_F)。

Design(设计方案)

触发开关(src/nnopbase/composite_op/aclnn_engine/op_dfx.cpp / src/nnopbase/common/inc/op_dfx_internal.h):

  • 新增全局原子开关 std::atomic<bool> g_aclnnDebugEnabled{false} 与初始化函数 InitAclnnDebugSwitch()(std::call_once 保护)。
  • InitL2Phase1Context()(op_executor.cpp)首次进入即调用 InitAclnnDebugSwitch():若 CheckLogLevelInner(OP_ID, OP_LOG_INFO) == 1 则置 g_aclnnDebugEnabled = true。
  • 内联访问器 IsAclnnDebugEnabled() 用 memory_order_relaxed 读原子,配合 unlikely 实现热路径零成本。

核心判定(src/nnopbase/common/inc/bridge_pool.h + src/nnopbase/common/utils/bridge_pool.cpp 新增 bool CheckDoubleFree(void* addr)):

  1. addr == nullptr → false(合法的"删除空指针",不报)。
  2. BlockPool::InHugeMemRange(addr) → false(大页内存 free 是 no-op,不会 double-free)。
  3. 读 BlockStore::BlockHeader* head = BlockStore::GetBlockHeader(addr),若 head->magic_ != BlockStore::MAGIC → false(野指针 / 未初始化)。
  4. 读 ext = head->cacheExt_:
    • ext == BlockStore::NOT_IN_CACHE → false(冷路径或刚分配未入 cache)。
    • ext == BlockCache::CurrentThreadCacheAddr() → false(本线程活跃 block,防误报)。
    • ext == reinterpret_cast<uintptr_t>(nullptr) → true(已归还 cache 链表且 list head 为空,输出 OP_LOGW("cacheExt_ is nullptr, block has been returned to cache list (list head was empty)."))。
    • 将 ext 强转 BlockHeader*,若其 magic_ == MAGIC → true(已归还 cache 链表的某节点,输出 OP_LOGW("cacheExt_ points to another block header in cache list, block has been returned already."))。
    • 其他(跨线程 free 场景,ext 指向分配方线程的 BlockCache this 指针)→ false(防误报,4 字节偶然匹配 MAGIC 概率 1/2^32,可忽略)。

接入点(src/nnopbase/common/api/acl_op_api.cpp,7 个 aclDestroyXxx):

if (unlikely(op::internal::IsAclnnDebugEnabled()) &&
    op::internal::CheckDoubleFree(const_cast<aclXxx*>(ptr))) {
    OP_LOGW("possible double-free at addr %p.", static_cast<const void*>(ptr));
}
delete ptr;

对 aclDestroyTensorList / aclDestroyScalarList,仅对外层 list 指针本身做一次预检,元素由循环内 aclDestroyTensor / aclDestroyScalar 各自覆盖。

配套基础修复(src/nnopbase/common/inc/block_pool.h,3 处 std::malloc 后):

  • 此前 BlockHeader 经 std::malloc 分配后未调用构造函数,magic_ 等非静态成员处于未初始化状态(UB)。本 PR 在 MallocImpl / PoolAlloc / CacheFreeImpl 三条路径补 new (head) BlockStore::BlockHeader;,保证 magic_ 有确定值,使 CheckDoubleFree 第 3 步的 magic 校验具备意义。
  • 新增 static uintptr_t BlockCache::CurrentThreadCacheAddr(),返回当前线程 BlockCache 实例地址,供 CheckDoubleFree 活跃态短路使用。

已知限制(best-effort,文档化):

  • 冷路径(>64KB)block 经 FreeImpl 直接 std::free,CheckDoubleFree 读已释放内存(UB),magic 几乎不可能匹配 → 漏报(符合设计,由 ColdPath_Over64KB_NotReported UT 文档化)。
  • 跨线程 free 时若 cacheExt_ 指向其他线程 BlockCache 实例内部偏移恰好 4 字节匹配 MAGIC,概率 1/2^32,可忽略。

测试覆盖(tests/nnopbase/ut/composite_op/test_check_double_free.cpp,10 个 TEST_F):

  • 基础正确性:CurrentThreadCacheAddr_ReturnsStableNonZeroAddr / Nullptr_ReturnsFalse / WildPointer_MagicMismatch_ReturnsFalse
  • 核心场景:SameThreadDoubleFree_Detected
  • 跨线程:CrossThreadAccess_NoFalsePositive / CrossThreadDoubleFree_Detected
  • 边界:HugeMemRange_NotReported / ColdPath_Over64KB_NotReported / ColdPath_NotInCacheShortCircuit / ActiveBlock_SameThread_NoFalsePositive

关联 PR:https://gitcode.com/cann/opbase/pull/610

likedislike
Rren-botaoCollaborators
Jul 21 Added label: requirement
Rren-botaoCollaborators
Jul 21 Assign ren-botao as responsible person
CANN-robotCANN-robotCollaborators
Jul 21 Close issue
CANN-robotCANN-robotCollaborators
Jul 21 Added label: resolved