已合并
docs(data): add support list for DataPipe and graph_settings APIs #37312
docs(data): add support list for DataPipe and graph_settings APIs #37312
已合并
yulin520创建于 6月1日
yulin520
yulin520
6月1日

【合入来源】

issue / 工单:

Related to #2202

【修改方案】

本 PR 补充 docs/zh/native_apis 中 torch.utils.data 部分 API 的支持说明。

本次在 v2.7.1 分支下刷新以下文件:

docs/zh/native_apis/pytorch_2-7-1/torch-utils-data.md
docs/zh/native_apis/pytorch_2-9-0/torch-utils-data.md
docs/zh/native_apis/pytorch_2-10-0/torch-utils-data.md
docs/zh/native_apis/pytorch_2-11-0/torch-utils-data.md
docs/zh/native_apis/pytorch_2-12-0/torch-utils-data.md

新增资料说明的 API:

torch.utils.data.IterDataPipe
torch.utils.data.MapDataPipe
torch.utils.data.graph_settings.apply_sharding
torch.utils.data.graph_settings.get_all_graph_pipes

【API 功能及适配结论】

API 功能说明 API 本体是否需要新增对齐代码 社区用例是否需要 NPU 场景适配
torch.utils.data.IterDataPipe 可迭代式 DataPipe 基础类,用于组合数据处理流水线 否 是
torch.utils.data.MapDataPipe Map-style DataPipe 基础类,用于通过索引访问和组合数据 否 是
torch.utils.data.graph_settings.apply_sharding 对 DataPipe 图应用分片配置 否 是
torch.utils.data.graph_settings.get_all_graph_pipes 遍历并获取 DataPipe 图中的全部节点 否 是

上述 API 本体均属于 Python 层 DataPipe 或图配置逻辑,不涉及新增 NPU 算子实现,因此无需新增 API 对齐代码。

相关社区测试文件中的 Tensor 场景需要进行 NPU 适配。测试 patch 已分别提交至:

【资料变更】

涉及资料变更。每个目标文档文件新增以下 4 条资料说明:

torch.utils.data.IterDataPipe
torch.utils.data.MapDataPipe
torch.utils.data.graph_settings.apply_sharding
torch.utils.data.graph_settings.get_all_graph_pipes

【接口变更】

不涉及。

【功能验证】

各目标版本均已使用匹配的 PyTorch 与 torch_npu 运行时完成复验。详细环境、验证命令和验证结果见:

  • Issue:#2202
  • 测试 PR:#37376、#37377、#37378、#37379、#37380

【CheckList】

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 yulin520 的贡献)
yulin520yulin520
6月1日 创建了 pull request,commit 517d2566
ascend-robotascend-robot成员
6月1日 添加了label:ascend-cla/no
ascend-robot
ascend-robot成员
6月1日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
docs ✅ 李伟, molly123321 (2/2) ✅ 李伟 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

weixin_65332823, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
6月1日 评论:

当前仓库存在以下 保护分支 :

Protected Branch Version Release
master
v2.7.1
v2.11.0
v2.9.0
v2.10.0
v2.12.0
sync-pr28113--to-v2.9.0

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
此处折叠了59条消息 查看更多
liwei386成员
6月8日 评论:

/approve

likedislike
ascend-robotascend-robot成员
6月8日 添加了label:approvedlgtm
ascend-robotascend-robot成员
6月8日 关闭了关联的issue
ascend-robotascend-robot成员
6月8日 合入了pull request
ascend-robot
ascend-robot成员
6月8日 评论:
流水线 pytorch_gitcode_PR_multiVersion#10218 [ commitID:b79ae6a5 ] 已完成
likedislike