软件安装

版本配套表

torchtitan-npu支持Atlas 800T A3等昇腾训练硬件形态。软件版本配套表如下:

torchtitan-npu版本 torchtitan版本 PyTorch版本 torch_npu版本 CANN版本 Python版本 Triton Ascend
master(主线) 0.2.2 2.10.0 2.10.0 9.0.0 Python3.11.x 3.2.1

源码安装

1. 安装依赖的软件

在安装torchtitan-npu之前,请参考版本配套表,安装配套的昇腾软件栈,软件列表如下:

依赖软件 软件安装指南
昇腾NPU驱动 驱动固件安装指南
昇腾NPU固件
Toolkit(开发套件) CANN 软件安装指南
Kernel(算子包)
NNAL(Ascend Transformer Boost加速库)
PyTorch Ascend Extension for PyTorch 配置与安装
torch_npu插件

2. 下载torchtitan-npu源码master分支(请注意下列命令的大小写)

git clone https://gitcode.com/cann/torchtitan-npu.git

3. 安装torchtitan-npu

cd torchtitan-npu
pip install -r requirements.txt
pip install -e .

注:如有旧版本torchtitan-npu,请先卸载,再进行安装

4. 安装inductor-npu-ext(可选,使能torch.compile时需要)

为了在 NPU 平台上充分利用 torch.compile 原生的编译能力,torchtitan_npu 在保留 Dynamo 与 Inductor 既有编译流程的基础上,接入了 Codegen 后端 inductor-npu-ext。该后端借助 AutoFuse 的自动融合能力,从 Inductor IR 生成 AscendC 融合 Kernel。

inductor_npu_ext 需要从源码安装。在运行环境内执行以下命令:

git clone https://gitcode.com/Ascend/torchair.git
cd torchair/experimental/_inductor_npu_ext/
pip3 install -e ./python/
cd -

注:具体torch.compile特性文档请参考 说明文档

PyPI安装

pip install torchtitan_npu==0.2.2.post1

卸载

pip uninstall torchtitan_npu