已关闭
[Bug]: acl_save保存的tensor数量及内容与预期不符 #309
jiangchao创建于 5月15日关闭于 6月5日
捡到宝。
5月15日 评论：
5月15日 评论：
👋 您好,欢迎向 MindStudio Probe 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio Probe官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
5月15日 添加了label：triage-review
Menba
5月15日 评论：
5月15日 评论：
/label add triaged
5月15日 添加了label：triaged
Menba
5月15日 评论：
5月15日 评论：
请先确认是否不同卡落盘路径有所区分，如果没区分rank路径，由于每个rank都是单独从0计数，可能会有相互覆盖的情况，建议落盘路径在初始化时先区分好rank，创建好
5月20日 关联了pull request：【bugfix】修复acl_save编号复用问题
Menba
5月26日 评论：
5月26日 评论：
添加如下代码，使用主线版本，删除dummy run阶段数据，落盘数量正常：
、
需要考虑是否是代码逻辑的影响
Menba
5月26日 评论：
5月26日 评论：
/label add resolved
5月26日 添加了label：resolved
5月26日 删除了label：resolved
Menba
5月27日 评论：
5月27日 评论：
/label add resolved
5月27日 添加了label：resolved
ascend-robot
6月3日 评论：
6月3日 评论：
您好，当前Issue标记为resolved且有一段时间未进一步更新，因此我们将其标记为'stale'（闲置）状态。若您认为这是误操作，可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。
6月3日 添加了label：stale
6月5日 issue状态由 TODO 改变为 DONE
6月5日 关闭了 issue
在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。
⚠️ 安全信息提醒：请仔细检查提供的文本内容，确保其不包含敏感数据信息，包括但不限于：
在分享配置信息或代码示例时，请将敏感信息脱敏处理，或使用
<TOKEN>等占位符替代原有内容。环境信息
昇腾硬件信息：950PR
CANN软件版本：cann-9.0.0
安装的对应软件版本：master分支，aa5cfbb7
🐛 问题描述
vLLM图模式，并行配置为DP2TP4EP8，
（1）使用acl_save保存最终的hidden_states输出，一条请求，一次forward，预期落盘4个tensor文件，实际落盘2个tensor文件，且第一个tensor文件的shape为(1, 4096)，实际应为(157, 4096)。
（2）使用acl_save保存attn的positions入参，除问题（1）外，还有值不对的问题，预期最大值是156，实际最大值为0。但第二次重拉服务后，采集到了正确数据（数量依然不对）。
欢迎加入社区，感谢您对社区的贡献 🎉!