已关闭
[Installation]: 执行gr_nv训练报错 #1188
Larry-Liu创建于  6月12日关闭于  6月23日
Larry-Liu
6月12日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

软件版本参考链接:https://gitcode.com/Ascend/RecSDK/blob/develop_torch_benchmark/torch2.6.0_examples_benchmark/develop/README.md

[root@liteserver-c2d2 gr_nv]# pip list | grep torch
gpytorch 1.15.2
hybrid-torchrec 1.1.0
mindspeed 0.8.0 .....RecSDK/torch2.6.0_examples_benchmark/develop/gr_nv/MindSpeed
torch 2.6.0+cpu
torch_npu 2.6.0
torchmetrics 1.0.3
torchrec 1.1.0+npu
torchrec-embcache 1.1.0
torchx 0.7.0

[root@liteserver-c2d2 gr_nv]# pip list | grep trans
npu_ops_transformer 1.0.0
transformers 5.11.0

您是如何安装操作的

# 示例:
pip install ... # 以及其他完整的安装命令

参考https://gitcode.com/Ascend/RecSDK/blob/develop_torch_benchmark/torch2.6.0_examples_benchmark/develop/README.md执行bash run.sh

报错日志:
[rank3]: File "/...../RecSDK/torch2.6.0_examples_benchmark/develop/gr_nv/recsys-examples/examples/hstu/model/ranking_gr.py", line 170, in get_logit_and_labels
[rank3]: embeddings = self._embedding_collection(batch.features)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec_embcache/distributed/embedding.py", line 982, in forward
[rank3]: return self.compute_and_output_dist(ctx, post_dist_input)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec_embcache/distributed/embedding.py", line 595, in compute_and_output_dist
[rank3]: lookup_ret = lookup(features)
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec/distributed/embedding_lookup.py", line 285, in forward
[rank3]: embeddings.append(emb_op(features).view(-1))
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/distributed/batched_embedding_kernel.py", line 891, in forward
[rank3]: return self.emb_module(
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/distributed/batched_embedding_kernel.py", line 393, in forward
[rank3]: result = invokers.lookup_adam.invoke(
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/hybrid_lookup_invoke/hybrid_lookup_adam.py", line 29, in invoke
[rank3]: return torch.ops.fbgemm.split_embedding_codegen_lookup_adam_function(
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/_ops.py", line 1123, in call
[rank3]: return self._op(*args, **(kwargs or {}))
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: RuntimeError: call aclnnSplitEmbeddingCodegenForwardUnweighted failed, detail:[PID: 138879] 2026-06-12-11:48:21.466.442 AclNN_Parameter_Error(EZ1001): Get regInfo failed, The binary_info_config.json of socVersion [ascend910_93] does not support opType [SplitEmbeddingCodegenForwardUnweighted].
[rank3]: TraceBack (most recent call last):
[rank3]: Check nnopExecutor != nullptr failed

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
xiangjie10成员
6月12日 评论:

👋 您好,感谢向 RecSDK 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

  • 清晰的问题描述
  • 可复现的操作步骤
  • 相关日志、截图或环境信息
    我们会尽快跟进,感谢您的理解与配合!
likedislike
xiangjie10成员
6月12日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
6月12日 添加了label:installation
ascend-robotascend-robot成员
6月12日 添加了label:triaged
Larry-Liu
6月12日 评论:

解决方案:将transformers 5.11.0版本降到4.44.0,
transformers 安装是通过MindSpeed安装的最新版,新版本有冲突

likedislike
taoqiuyu1998
taoqiuyu1998成员
6月12日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
6月12日 添加了label:resolved
ascend-robot
ascend-robot成员
6月19日 评论:

您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
6月19日 添加了label:stale
ascend-robotascend-robot成员
6月23日 关闭了 issue
taoqiuyu1998taoqiuyu1998成员
9 天前 issue状态由 TODO 改变为 DONE