已关闭
[Installation]: 执行gr_nv训练报错 #1188
Larry-Liu创建于 6月12日关闭于 6月23日
xiangjie10
6月12日 评论:
6月12日 评论:
👋 您好,感谢向 RecSDK 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!
📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:
- 清晰的问题描述
- 可复现的操作步骤
- 相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!


xiangjie10
6月12日 评论:
6月12日 评论:
/label add triaged


6月12日 添加了label:installation
6月12日 添加了label:triaged
Larry-Liu
6月12日 评论:
6月12日 评论:
解决方案:将transformers 5.11.0版本降到4.44.0,
transformers 安装是通过MindSpeed安装的最新版,新版本有冲突


taoqiuyu1998
6月12日 评论:
6月12日 评论:
/label add resolved


6月12日 添加了label:resolved
ascend-robot
6月19日 评论:
6月19日 评论:
您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。


6月19日 添加了label:stale
6月23日 关闭了 issue
9 天前 issue状态由 TODO 改变为 DONE
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
环境信息
软件版本参考链接:https://gitcode.com/Ascend/RecSDK/blob/develop_torch_benchmark/torch2.6.0_examples_benchmark/develop/README.md
[root@liteserver-c2d2 gr_nv]# pip list | grep torch
gpytorch 1.15.2
hybrid-torchrec 1.1.0
mindspeed 0.8.0 .....RecSDK/torch2.6.0_examples_benchmark/develop/gr_nv/MindSpeed
torch 2.6.0+cpu
torch_npu 2.6.0
torchmetrics 1.0.3
torchrec 1.1.0+npu
torchrec-embcache 1.1.0
torchx 0.7.0
[root@liteserver-c2d2 gr_nv]# pip list | grep trans
npu_ops_transformer 1.0.0
transformers 5.11.0
您是如何安装操作的
# 示例: pip install ... # 以及其他完整的安装命令参考https://gitcode.com/Ascend/RecSDK/blob/develop_torch_benchmark/torch2.6.0_examples_benchmark/develop/README.md执行bash run.sh
报错日志:
[rank3]: File "/...../RecSDK/torch2.6.0_examples_benchmark/develop/gr_nv/recsys-examples/examples/hstu/model/ranking_gr.py", line 170, in get_logit_and_labels
[rank3]: embeddings = self._embedding_collection(batch.features)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec_embcache/distributed/embedding.py", line 982, in forward
[rank3]: return self.compute_and_output_dist(ctx, post_dist_input)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec_embcache/distributed/embedding.py", line 595, in compute_and_output_dist
[rank3]: lookup_ret = lookup(features)
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torchrec/distributed/embedding_lookup.py", line 285, in forward
[rank3]: embeddings.append(emb_op(features).view(-1))
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/distributed/batched_embedding_kernel.py", line 891, in forward
[rank3]: return self.emb_module(
[rank3]: ^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
[rank3]: return self._call_impl(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
[rank3]: return forward_call(*args, **kwargs)
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/distributed/batched_embedding_kernel.py", line 393, in forward
[rank3]: result = invokers.lookup_adam.invoke(
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/hybrid_torchrec/hybrid_lookup_invoke/hybrid_lookup_adam.py", line 29, in invoke
[rank3]: return torch.ops.fbgemm.split_embedding_codegen_lookup_adam_function(
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: File "/usr/local/python3.11.0/lib/python3.11/site-packages/torch/_ops.py", line 1123, in call
[rank3]: return self._op(*args, **(kwargs or {}))
[rank3]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank3]: RuntimeError: call aclnnSplitEmbeddingCodegenForwardUnweighted failed, detail:[PID: 138879] 2026-06-12-11:48:21.466.442 AclNN_Parameter_Error(EZ1001): Get regInfo failed, The binary_info_config.json of socVersion [ascend910_93] does not support opType [SplitEmbeddingCodegenForwardUnweighted].
[rank3]: TraceBack (most recent call last):
[rank3]: Check nnopExecutor != nullptr failed
欢迎加入社区,感谢您对社区的贡献 🎉!