已关闭
[Bug]: shmem仓allgather算子,内存检测报host侧越界 #68
duandingshan创建于  3月27日关闭于  3月30日
duandingshan成员
3月27日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

🐛 问题描述

【问题描述】
shmem仓allgather算子,内存检测报host侧越界
【环境信息】
Atlas 800I
【重现步骤】
1、git clone https://gitcode.com/cann/shmem.git
2、cd shmem
3、bash scripts/build.sh -examples -cann -mssanitizer
4、cd examples/allgather
5、bash run.sh -pes 2 -tool mssanitizer

【预期结果】
检测过程无异常打屏,结果正确
【实际结果】
Case: 16 Started.
[mssanitizer] Start memcheck sanitizer on kernel ShmemAllGather_int
[mssanitizer] Start memcheck sanitizer on kernel ShmemAllGather_int
[mssanitizer] Sanitizer finished on kernel ShmemAllGather_int. No error detected.
[mssanitizer] Sanitizer finished on kernel ShmemAllGather_int. No error detected.
====== ERROR: illegal read of size 1048584
====== at 0x0 on GM
====== in block on device 0
====== code in :0 (serialNo:53)

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Dduandingshan成员
3月27日 添加了label:bug
AiBoGe成员
3月28日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
3月28日 添加了label:triaged
Goldfish_of_Siris
Goldfish_of_Siris成员
3月28日 评论:

已收到问题,正在分析定位中

likedislike
Goldfish_of_SirisGoldfish_of_Siris成员
3月28日 将 lishuokp31 设为负责人
yejingjingyejingjing成员
3月28日 关联了里程碑:MindStudio 26.0.0
Goldfish_of_Siris
Goldfish_of_Siris成员
3月28日 评论:

定位进展:当前算子运行异常退出,出现大量初始化失败和架构不支持等错误信息,需要shmem组件确认算子用例是否存在问题:

2026-03-28 11:54:39.703875 error 3195557 pid[3195557] [SHM_SHMEM dl_comm_def.cpp:223] Failed to determine driver version
2026-03-28 11:54:39.703892 error 3195557 pid[3195557] [SHM_SHMEM mem_entity_entry.cpp:123] the current version of ascend driver does not support!
2026-03-28 11:54:39.703909 error 3195557 pid[3195557] [SHM_SHMEM shmem_init_backend.cpp:112] init hybm failed, result: -4
2026-03-28 11:54:39.703926 error 3195557 pid[3195557] [SHM_SHMEM shmem_init.cpp:472] return shmem error: -3 - init_manager->init_device_state() failed.

[mssanitizer] user program /data/XXX/gitcode/shmem/build/bin/allgather exited abnormally
[mssanitizer] user program /data/XXX/gitcode/shmem/build/bin/allgather exited abnormally

shmem仓相关issue链接:https://gitcode.com/cann/shmem/issues/177

likedislike
duandingshan成员
3月30日 评论:

定位结果算子算子问题,非工具问题

likedislike
Dduandingshan成员
3月30日 issue状态由 TODO 改变为 DONE
Dduandingshan成员
3月30日 关闭了 issue