安装指南

版本配套表

组件	PyTorch版本	torch_npu版本	CANN版本	Python版本	Transformers版本
master（主线）	2.1.0	7.1.0	8.2.RC1	>=Python 3.10	与具体模型有关，请参考example目录下对应模型的案例说明

昇腾软件和msModelSlim安装

CANN安装

下载CANN，请根据系统选择aarch64或x86_64对应版本的cann-toolkit、cann-kernels，具体安装方式请参考CANN安装指南。

PTA安装

PyTorch安装请参考Ascend Extension for PyTorch配置与安装。

msModelSlim安装

注：使用 msmodelslim 命令行工具时，请不要在 msit/msmodelslim 源码目录下执行 msmodelslim 命令，这样做可能会因为 Python 导入模块时源码路径和安装路径冲突，导致命令执行报错。

基于Atlas 800T A2、Atlas 800I A2、Atlas 800T A3、Atlas 800I A3系列产品安装

前置条件：已安装CANN并设置环境变量

# 1.git clone msmodelslim代码
git clone https://gitcode.com/Ascend/msit.git

# 2.进入到msit/msmodelslim的目录并运行安装脚本
cd msit/msmodelslim
bash install.sh

基于Atlas 300I Duo 系列产品安装

前置条件：已安装CANN并设置环境变量

注意：Atlas 300I Duo 卡仅支持单卡单芯片处理器量化。

# 1.git clone msmodelslim代码
git clone https://gitcode.com/Ascend/msit.git

# 2.进入到msit/msmodelslim的目录并运行安装脚本
cd msit/msmodelslim
bash install.sh

# 注：如果需要进行稀疏量化和压缩，则继续以下操作。
# 3.进入python环境下的site_packages包管理路径，其中${python_envs}为Python环境路径。
cd ${python_envs}/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/  
# 以下是以/usr/local/为用户所在目录、Python版本为3.11.10为例
cd /usr/local/lib/python3.11/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/

# 4.编译weight_compression组件，其中${install_path}为CANN软件的安装目录。
sudo bash build.sh ${install_path}/ascend-toolkit/latest

# 5.上一步编译操作会得到build文件夹，给build文件夹相关权限
chmod -R 550 build