TorchRec-EmbCache NPU适配方案
软件介绍
本项目是基于开源项目TorchRec的1.1.0/1.2.0版本开发的embedding多级缓存扩展，助力开发者快速应用TorchRec框架并适配到NPU进行模型训练和推理。
Python版本要求：Python >= 3.11。
基于PyTorch开源软件版本，支持两种软件版本配套，可根据需要自行选择。
| 配套版本 | PyTorch | torch_npu | torchrec | fbgemm_gpu | hybrid_torchrec | torchrec_embcache |
|---|---|---|---|---|---|---|
| 方案一 | 2.6.0 | 2.6.0 | 1.1.0+npu | 1.1.0 | 1.1.0 | 1.1.0 |
| 方案二 | 2.7.1 | 2.7.1 | 1.2.0+npu | 1.2.0 | 1.2.0 | 1.2.0 |
1.环境准备
请参见Rec SDK文档中“制作基础训练镜像”和“启动容器”章节。
2.软件包安装
请参见Rec SDK文档中“安装Rec SDK Torch”章节。
2.1 前提条件
torchrec_embcache依赖于hybrid_torchrec包，请先参考hybrid_torchrec README完成hybrid_torchrec及其依赖包安装。
本章节仅介绍torchrec_embcache软件包安装。
2.2 torchrec_embcache安装
- 基于软件包安装
从RecSDK release版本，选择最新版本，下载Ascend-mindxsdk-hybrid-torchrec-*.tar.gz软件包。
tar.gz压缩包解压后包含torchrec_embcache*.whl包。
# 如果已安装，请先卸载
pip3 uninstall -y torchrec_embcache
tar zxvf Ascend-mindxsdk-hybrid-torchrec*.tar.gz
# 安装 torchrec_embcache whl包
pip3 install torchrec_embcache-*-py3-none-linux*.whl
pip3 install -r requirements.txt
- 基于源码编译安装
git clone https://gitcode.com/ascend/RecSDK.git
cd RecSDK/training/torch_rec_v1/torchrec_embcache
bash build.sh
# 如果已安装，请先卸载
pip3 uninstall -y torchrec_embcache
# 安装 torchrec_embcache whl包
pip3 install ./dist/torchrec_embcache-*.whl