已关闭
建议:昇腾数据加载Dataloader增加零拷贝与预取流水线优化 #1305
此账号已注销创建于  8月11日关闭于  8月22日
8月11日 创建

问题背景

昇腾场景的Dataloader在CPU和NPU之间的数据加载流水线效率较低,当前基于PyTorch的DataLoader缺少对昇腾硬件特性的零拷贝和预取优化,数据预处理成为训练和推理的瓶颈。

问题表现

  1. CPU预处理后的数据到NPU Device的拷贝使用同步方式,数据拷贝阻塞主线程
  2. 缺少多级预取(预取GPU RAM和NPU Device Memory)的能力,无法有效overlap数据加载和计算
  3. 多进程DataLoader的IPC开销大,共享内存的使用效率低
  4. 算子自定义的Dataset缺少对昇腾硬件Direct Memory Access(DMA)的利用
likedislike
xiangjie10成员
8月11日 评论:

👋 您好,感谢向 RecSDK 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

  • 清晰的问题描述
  • 可复现的操作步骤
  • 相关日志、截图或环境信息
    我们会尽快跟进,感谢您的理解与配合!
likedislike
xiangjie10成员
8月11日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
8月11日 添加了label:triaged
taoqiuyu1998
taoqiuyu1998成员
8月11日 评论:

开发者你好,torchrec v1提供了训练pipeline支持多级流水及数据预取的功能,torchrev1框架可参考: https://www.hiascend.com/document/detail/zh/mindsdk/latest/rec/recug/docs/zh/torch/torch_rec_v1/api/pipeline_apis.md

likedislike
taoqiuyu1998
taoqiuyu1998成员
8月11日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
8月11日 添加了label:resolved
huangleihuanglei成员
8月12日 关联了看板:MindSDK版本issue看板
ascend-robot
ascend-robot成员
8月18日 评论:

您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
8月18日 添加了label:stale
ascend-robotascend-robot成员
8月22日 关闭了 issue
taoqiuyu1998taoqiuyu1998成员
9月8日 关联了里程碑:MindSDK 26.2.0
taoqiuyu1998taoqiuyu1998成员
9月9日 issue状态由 TODO 改变为 DONE