OpPlugin of Ascend Extension for PyTorch

文件	最后提交记录	最后更新时间
.gitee	update torch link	3 年前
ci	!2109 Handle git commit info by BUILD_WITHOUT_SHA Merge pull request !2109 from dilililiwhy/no_git_commit_info	1 年前
codegen	!2945 Modify the default value section of the npu_transpose interface documentation. Merge pull request !2945 from 史佳馨/7.1.0	1 年前
docs	modify document Co-authored-by: molly123321<malei54@h-partners.com> # message auto-generated for no-merge-commit merge: !3493 merge 7.1.0 into 7.1.0 modify document Created-by: molly123321 Commit-by: molly123321 Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> What type of PR is this? > Uncomment only one `/kind <>` line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug /kind task > /kind feature What does this PR do / why do we need it: 资料修改 Special notes for your reviewers: See merge request: Ascend/op-plugin!3493	9 个月前
examples	!2615 Support ABI in path4 cppextention Merge pull request !2615 from wgb/path4	1 年前
op_plugin	!2910 fix moe_distribute_combine_v2/dispatch_v2 log Merge pull request !2910 from sincatter/7.1.0_fix_log	1 年前
test	!2859 fix npu fusion attention v2 arguments bug Merge pull request !2859 from 199******33/fix-npu-attentino-v2-arguments-bug-in-r7c10	1 年前
.gitignore	init submodule	3 年前
LICENSE	update LICENSE. Signed-off-by: weili10 <liwei386@huawei.com>	2 年前
OWNERS	!2780 update owners Merge pull request !2780 from shaoyf/710_owner	1 年前
README.md	update readme Co-authored-by: shaoyf02<shaoyifan1@huawei.com> # message auto-generated for no-merge-commit merge: !3424 merge 710_readme_1103 into 7.1.0 update readme Created-by: shaoyf Commit-by: shaoyf02 Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> What type of PR is this? > Uncomment only one `/kind <>` line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature What does this PR do / why do we need it: Special notes for your reviewers: See merge request: Ascend/op-plugin!3424	9 个月前
SECURITYNOTE.md	!1901 Fix public address problem Merge pull request !1901 from 王广斌/bugfix	1 年前
Third_Party_Open_Source_Software_Notice	!2388 [master] Update the referenced PyTorch version to v2.3.1. Merge pull request !2388 from shaoyf/master_notice	1 年前
gencode.sh	!2500 Checkout v2r8 Merge pull request !2500 from dilililiwhy/add_v2r8	1 年前

OpPlugin

简介

本项目开发了Ascend Extension for Pytorch（torch_npu）算子插件，为使用PyTorch框架的开发者提供便捷的NPU算子库调用能力。 OpPlugin算子插件的编译、使用依赖昇腾Ascend Extension for PyTorch。因此，在编译OpPlugin之前，需要了解、安装torch_npu。使用手册可参考torch_npuAscend Extension for Pytorch。

编译、安装OpPlugin

发布包安装

暂未正式发布

源码安装

安装依赖

安装时需要安装系统依赖及官方PyTorch框架，建议使用torch_npu提供的docker镜像进行编译，依赖安装和镜像使用指导可参考Ascend Extension for Pytorch。当前从op-plugin直接编译时不携带torch_npu中三方库如torchair、tensorpipe。

配置CANN环境变量脚本。
```
source <CANN软件安装目录>/<CANN软件路径>/set_env.sh
```
环境变量脚本的默认路径一般为：/usr/local/Ascend/ascend-toolkit/set_env.sh，其中ascend-toolkit路径取决于安装的CANN软件名称。

编译生成插件的二进制安装包。

下载对应OpPlugin版本分支代码，进入插件根目录，以v2.1为例

git clone --branch 7.1.0 https://gitee.com/ascend/op-plugin.git
cd op-plugin

执行编译构建，当前支持torch_npu 2.1/2.5/2.6/版本

bash ci/build.sh --python=3.8 --pytorch=v2.1.0-7.1.0

请注意，编译时gcc版本遵循如下约束： arm架构下推荐使用gcc 10.2, x86架构下推荐使用gcc 9.3.1; 2.6及之后版本的编译推荐使用gcc 11.2.1

参数	取值范围	说明	缺省值	备注
pytorch	v2.1.0-7.1.0, v2.5.1-7.1.0, v2.6.0-7.1.0	指定编译过程中使用的pytorch版本	master	需要显示指定pytorch版本，避免使用缺省值master
python	3.8, 3.9, 3.10, 3.11	指定编译过程中使用的python版本	3.8	编译基于pytorch2.5及后续版本时，不支持python3.8

编译过程中，会在插件根目录新建build文件夹，并下载torch_npu对应版本的源码，协同编译。若build/pytorch目录存在，则编译op-plugin时，不再重复下载torch_npu源码。如需下载所依赖的最新torch_npu源码，删除build/pytorch目录即可。

完成编译后，安装dist目录下生成的插件torch_npu包，如果使用非root用户安装，需要在命令后加**--user**。

pip3 install --upgrade dist/torch_npu-{torch_npu_version}-{python_version}-{arch}.whl
# 实际执行时需要根据生成的whl名称替换上述whl包名称，其中{version}表示编译的torch_npu版本，{python_version} 为所使用的 Python 版本，{arch} 则代表目标架构
# 典型的whl包名类似：torch_npu-2.1.0.post13+gitb32f3-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

版本配套表

op-plugin仓旨在为torch_npu提供运行所需要的算子适配文件，两个仓的对应关系如下：

op-plugin分支	对应Ascend Extension for PyTorch版本
7.1.0	7.1.0版本，如v2.1.0-7.1.0等
7.0.0	7.0.0版本，如v2.1.0-7.0.0等
6.0.0	6.0.0版本，如v2.1.0-6.0.0等
6.0.rc3	6.0.rc3版本，如v2.1.0-6.0.rc3等
6.0.rc2	6.0.rc2版本，如v2.1.0-6.0.rc2等
6.0.rc1	6.0.rc1版本，如v2.1.0-6.0.rc1等
5.0.0	5.0.0版本，如v2.1.0-5.0.0等
5.0.rc3	5.0.rc3版本，如v2.1.0-5.0.rc3等