已合并
[feat] support environment variable LD_PRELOAD #34371
liujunzhu创建于 4月25日
[feat] support environment variable LD_PRELOAD #34371
已合并
liujunzhu创建于 4月25日
liujunzhu
liujunzhu成员
4月25日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

用户自实现 aclrtMallocAlign32 等 ACL 符号并打包成 .so,通过 LD_PRELOAD 注入 torch_npu 进程,期望拦截对 ACL 函数的调用,但实际未被调用。

根因:torch_npu 中部分 ACL 函数(如 aclrtMallocAlign32aclrtFreePhysical)通过 FunctionLoader::Get() 使用 dlsym(handle, name) 查找符号,该方式限定在 handle 对应的库中查找,不搜索 LD_PRELOAD 预加载的库,导致覆盖失效。而直接链接调用的 ACL 符号(如 aclrtFree)走 PLT 全局符号解析,天然支持 LD_PRELOAD。

修改方案:

  1. 修改 FunctionLoader::Get() 方法,当 LD_PRELOAD 环境变量非空时,优先通过 dlsym(RTLD_DEFAULT, name) 在全局符号表中查找函数,使 LD_PRELOAD 注入的同名符号可被命中;未命中时回落原有 dlopen + dlsym(handle) 路径。
  2. LD_PRELOAD 非空作为门控条件,未设置时完全走旧路径,行为与修改前一致。
  3. 仅修改 torch_npu/csrc/core/npu/register/FunctionLoader.cpp,不新增头文件、不改变调用方。

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

不涉及

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

不涉及

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

测试场景:通过 LD_PRELOAD 注入自定义 aclrtMallocAlign32 实现,验证 FunctionLoader 路径的符号可被覆盖。

测试方法:子进程隔离测试,每个用例在独立子进程中设置不同 LD_PRELOAD 环境变量。

测试用例 验证内容
无 LD_PRELOAD 行为与修改前一致,hook 不被调用
LD_PRELOAD 设置 hook so aclrtMallocAlign32 被 hook 拦截
LD_PRELOAD 设置不含 ACL 符号的 so 正确回落到原始库,功能不受影响
LD_PRELOAD 多 so 先加载的 hook 优先命中

新增测试文件:test/npu/test_ld_preload_acl_hook.py

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 liujunzhu 的贡献)
liujunzhuliujunzhu成员
4月25日 创建了 pull request,commit b040f3a6
ascend-robot
ascend-robot成员
4月25日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/pytorch chujinjin, hbhu_bin (2/2) chujinjin (1/1)
test chujinjin, hbhu_bin (2/2) chujinjin (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

liujunzhu, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
4月25日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
4月25日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.10.0
v2.11.0
v2.7.1
v2.9.0
v2.8.0

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
liujunzhu
liujunzhu成员
4月25日 评论:

compile

likedislike
ascend-robotascend-robot成员
4月25日 添加了label:ci-pipeline-running
ascend-robotascend-robot成员
4月25日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
4月25日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
4月25日 评论:
流水线 PR-pipeline_pytorch#17236 已完成
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_DIST_X86_Part_01 🛑 >>>
UT_DIST_X86_Part_02 🛑 >>>
UT_DIST_X86_Part_03 🛑 >>>
UT_DIST_X86_Part_04 🛑 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
流水线 PR-pipeline_pytorch >>>
likedislike
liujunzhuliujunzhu成员
4月27日 修改标题为 “[feat] support environment variable LD_PRELOAD”,原标题为“support environment variable LD_PRELOAD”
liujunzhuliujunzhu成员
4月27日 修改了pull request 的描述
liujunzhu
liujunzhu成员
4月27日 评论:

add_component

likedislike
ascend-robotascend-robot成员
4月27日 添加了label:MindSpore-Component
hbhu_bin成员
4月27日 评论:

/lgtm

likedislike
chujinjin成员
4月27日 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
4月27日 添加了label:approvedlgtm
ascend-robot
ascend-robot成员
4月27日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: chujinjin.
Reviewers who wrote a comment of /lgtm are: chujinjin, hbhu_bin.

likedislike
ascend-robotascend-robot成员
4月27日 合入了pull request
liujunzhuliujunzhu成员
5月6日 关联了issue:[Feature]: support environment variable LD_PRELOAD