软件安装
版本配套表
torchtitan-npu支持Atlas 800T A3等昇腾训练硬件形态。软件版本配套表如下:
| torchtitan-npu版本 | torchtitan版本 | PyTorch版本 | torch_npu版本 | CANN版本 | Python版本 | Triton Ascend |
|---|---|---|---|---|---|---|
| master(主线) | 0.2.2 | 2.10.0 | 2.10.0 | 9.0.0 | Python3.11.x | 3.2.1 |
源码安装
1. 安装依赖的软件
在安装torchtitan-npu之前,请参考版本配套表,安装配套的昇腾软件栈,软件列表如下:
| 依赖软件 | 软件安装指南 |
|---|---|
| 昇腾NPU驱动 | 《驱动固件安装指南》 |
| 昇腾NPU固件 | |
| Toolkit(开发套件) | 《CANN 软件安装指南》 |
| Kernel(算子包) | |
| NNAL(Ascend Transformer Boost加速库) | |
| PyTorch | 《Ascend Extension for PyTorch 配置与安装》 |
| torch_npu插件 |
2. 下载torchtitan-npu源码master分支(请注意下列命令的大小写)
git clone https://gitcode.com/cann/torchtitan-npu.git
3. 安装torchtitan-npu
cd torchtitan-npu
pip install -r requirements.txt
pip install -e .
注:如有旧版本torchtitan-npu,请先卸载,再进行安装
4. 安装inductor-npu-ext(可选,使能torch.compile时需要)
为了在 NPU 平台上充分利用 torch.compile 原生的编译能力,torchtitan_npu 在保留 Dynamo 与 Inductor 既有编译流程的基础上,接入了 Codegen 后端 inductor-npu-ext。该后端借助 AutoFuse 的自动融合能力,从 Inductor IR 生成 AscendC 融合 Kernel。
inductor_npu_ext 需要从源码安装。在运行环境内执行以下命令:
git clone https://gitcode.com/Ascend/torchair.git
cd torchair/experimental/_inductor_npu_ext/
pip3 install -e ./python/
cd -
注:具体torch.compile特性文档请参考 说明文档
PyPI安装
pip install torchtitan_npu==0.2.2.post1
卸载
pip uninstall torchtitan_npu