msModelSlim工具安装指南
1. 安装说明
安装本工具前需要安装CANN,具体操作请参见《CANN 快速安装》安装昇腾NPU驱动和CANN软件(包含Toolkit和ops包),并配置环境变量。
本工具支持在线安装、离线安装、源码安装三种安装方式,请根据您的实际环境选择最合适的方案。
2. 安装方式
2.1 在线安装
若您的设备具备互联网访问能力,可通过一条命令自动完成工具的下载与安装。请参见昇腾社区MindStudio下载页面,选择对应的CANN版本,并在安装方式中选择“在线安装”,系统将引导您完成后续操作。
2.2 离线安装
对处于企业内网等无外网环境的设备,请先在可联网的机器上下载完整的离线安装包,再将其传输至目标设备进行安装。请参见昇腾社区MindStudio下载页面,选择对应的CANN版本,并在安装方式中选择“离线安装”,获取对应的安装包及操作指引。
2.3 源码安装
2.3.1 安装前准备
准备Python环境:需要 Python 3.8 或更高版本。
2.3.2 源码构建安装
# 1.git clone msmodelslim代码。
git clone https://gitcode.com/Ascend/msmodelslim.git
# 2.进入到msmodelslim目录并运行安装脚本。
cd msmodelslim
bash install.sh
# 打印如下信息时,表示msModelSlim构建安装成功。
Successfully installed msmodelslim-{version}
# 注:如果需要进行稀疏量化和压缩,需要安装CANN 8.2.RC1及以上版本,并继续以下操作。
# 3.进入python环境下的site_packages包管理路径,其中${python_envs}为Python环境路径。
cd ${python_envs}/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/
# 以下是以/usr/local/为用户所在目录、Python版本为3.11.10为例。
cd /usr/local/lib/python3.11/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/
# 4.编译weight_compression组件,其中${install_path}为CANN软件的安装目录。
sudo bash build.sh ${install_path}/ascend-toolkit/latest
# 打印如下信息,表示编译成功,生成build文件夹。
build created successfully
# 5.上一步编译操作会得到build文件夹,给build文件夹相关权限。
chmod -R 550 build
Note
3. 卸载
可通过如下步骤卸载:
-
下载脚本。
curl -O https://inst.obs.cn-north-4.myhuaweicloud.com/26.0.0/ms_install.pyNote
- 需要联网环境才能下载,若环境不允许联网或离线状态,请先在可联网的环境下载该脚本后拷贝到目标设备。
- 若执行命令无响应或出现连接失败、SSL证书错误等问题,请参见FAQ。
-
执行卸载。
python ms_install.py uninstall {tools_name}其中{tools_name}配置为需要卸载的工具名称,可通过
python ms_install.py help命令查询,在打印信息中的Available Tools字段下显示工具名称。卸载成功打印如下信息:
Successfully uninstalled 1 tool ({tools_name})
4. 升级
升级即“先卸后装”。直接执行安装命令,工具将自动卸载旧版本,并引导您完成覆盖安装。