算子调用
前提条件
编译执行
基于社区版CANN包对算子源码修改时,可采用如下方式进行源码编译:
-
自定义算子包:选择部分算子编译生成的包称为自定义算子包,以挂载形式作用于CANN包,不改变原始包内容。生成的自定义算子包优先级高于原始CANN包。该包支持aclnn和图模式调用AI Core、AI CPU算子。
-
ops-math包:选择整个项目编译生成的包称为ops-math包,可完整替换CANN包对应部分。该包支持aclnn和图模式调用AI Core算子。
自定义算子包
-
编译自定义算子包
进入项目根目录,执行如下编译命令:
说明:编译过程依赖第三方开源软件,联网场景会自动下载,离线编译场景需要自行安装,具体参考离线编译。
bash build.sh --pkg --soc=${soc_version} [--vendor_name=${vendor_name}] [--ops=${op_list}] # 以Abs算子编译为例 # bash build.sh --pkg --soc=ascend910b --ops=abs # 编译experimental贡献目录下的用户算子(以Abs算子为例,编译时请以实际贡献算子为准) # bash build.sh --pkg --experimental --soc=ascend910b --ops=abs- --soc:${soc_version}表示NPU型号。Atlas A2 训练系列产品/Atlas A2 推理系列产品使用"ascend910b"(默认),Atlas A3 训练系列产品/Atlas A3 推理系列产品使用"ascend910_93",Ascend 950PR/Ascend 950DT产品使用"ascend950"。
- --vendor_name(可选):${vendor_name}表示构建的自定义算子包名,默认名为custom。
- --ops(可选):${op_list}表示待编译算子,不指定时默认编译所有算子。格式形如"abs,add_lora,...",多算子之间用英文逗号","分隔。
- --experimental(可选):表示编译用户保存在experimental贡献目录下的算子。
若${vendor_name}和${op_list}都不传入编译的是ops-math包;若编译所有算子的自定义算子包,需传入${vendor_name};编译自定义算子包不支持--jit。当提示如下信息,说明编译成功。
Self-extractable archive "cann-ops-math-${vendor_name}_linux-${arch}.run" successfully created.编译成功后,run包存放于项目根目录的build_out目录下。
-
安装自定义算子包
./build_out/cann-ops-math-${vendor_name}_linux-${arch}.run自定义算子包安装路径为
${ASCEND_HOME_PATH}/opp/vendors,${ASCEND_HOME_PATH}已通过环境变量配置,表示CANN toolkit包安装路径,一般为${install_path}/cann。 -
(可选)卸载自定义算子包。
自定义算子包安装后在
${ASCEND_HOME_PATH}/opp/vendors/${vendor_name}_math/scripts目录会生成uninstall.sh,通过该脚本可卸载自定义算子包,命令如下:bash ${ASCEND_HOME_PATH}/opp/vendors/${vendor_name}_math/scripts/uninstall.sh
ops-math包
-
编译ops-math包
进入项目根目录,执行如下编译命令:
说明:编译过程依赖第三方开源软件,联网场景会自动下载,离线编译场景需要自行安装,具体参考离线编译。
# 编译除experimental目录外的所有算子 bash build.sh --pkg [--jit] --soc=${soc_version} # 编译experimental目录下的所有算子 # bash build.sh --pkg --experimental [--jit] --soc=${soc_version}- --jit(可选):设置后表示不编译算子二进制文件,如需使用aclnn调用算子,该选项无需设置。
- --soc:${soc_version}表示NPU型号。Atlas A2 训练系列产品/Atlas A2 推理系列产品使用"ascend910b"(默认),Atlas A3 训练系列产品/Atlas A3 推理系列产品使用"ascend910_93",Ascend 950PR/Ascend 950DT产品使用"ascend950"。
- --experimental(可选):表示编译用户保存在experimental目录下的算子。
若提示如下信息,说明编译成功。
Self-extractable archive "cann-${soc_name}-ops-math_${cann_version}_linux-${arch}.run" successfully created.${soc_name}表示NPU型号名称,即${soc_version}删除“ascend”后剩余的内容。编译成功后,run包存放于build_out目录下。
-
安装ops-math包
# 安装命令 ./build_out/cann-${soc_name}-ops-math_${cann_version}_linux-${arch}.run --full --install-path=${install_path}${install_path}:表示指定安装路径,需要与toolkit包安装在相同路径,默认安装在
/usr/local/Ascend目录。 -
(可选)卸载ops-math包
# 卸载命令 ./${install_path}/cann/share/info/ops_math/script/uninstall.sh
本地验证
通过项目根目录build.sh脚本,可快速调用算子和UT用例,验证项目功能是否正常,build参数介绍参见build参数说明。
-
执行算子样例
说明:Ascend 950PR产品使用仿真执行算子样例,请见仿真指导。
-
完成自定义算子包安装后,执行命令如下:
bash build.sh --run_example ${op} ${mode} ${pkg_mode} [--vendor_name=${vendor_name}] [--soc=${soc_version}] # 以Abs算子example执行为例 # bash build.sh --run_example abs eager cust --vendor_name=custom- ${op}:表示待执行算子,算子名小写下划线形式,如abs。
- ${mode}:表示执行模式,目前支持eager(aclnn调用)、graph(图模式调用)。
- ${pkg_mode}:表示包模式,目前仅支持cust,即自定义算子包。
- ${vendor_name}(可选):与构建的自定义算子包设置一致,默认名为custom。
- ${soc_version}(可选):表示NPU型号。
说明:${mode}为graph时,不指定${pkg_mode}和${vendor_name}
-
完成ops-math包安装后,执行命令如下:
bash build.sh --run_example ${op} ${mode} [--soc=${soc_version}] # 以Abs算子example执行为例 # bash build.sh --run_example abs eager- ${op}:表示待执行算子,算子名小写下划线形式,如abs。
- ${mode}:表示算子执行模式,目前支持eager(aclnn调用)、graph(图模式调用)。
- ${soc_version}(可选):表示NPU型号。
执行算子样例后会打印执行结果,以Abs算子为例,结果如下:
abs result[0] is: 1.000000 abs result[1] is: 1.000000 abs result[2] is: 1.000000 abs result[3] is: 2.000000 abs result[4] is: 2.000000 abs result[5] is: 2.000000 abs result[6] is: 3.000000 abs result[7] is: 3.000000 -
-
执行算子UT
说明:执行UT用例依赖googletest单元测试框架,详细介绍参见googletest官网。
# 安装根目录下test相关requirements.txt依赖 pip3 install -r tests/requirements.txt # 方式1: 编译并执行指定算子和对应功能的UT测试用例(选其一) bash build.sh -u --[opapi|ophost|opkernel] --ops=abs # 方式2: 编译并执行所有的UT测试用例 # bash build.sh -u # 方式3: 编译所有的UT测试用例但不执行 # bash build.sh -u --noexec # 方式4: 编译并执行对应功能的UT测试用例(选其一) # bash build.sh -u --[opapi|ophost|opkernel] # 方式5: 编译对应功能的UT测试用例但不执行(选其一) # bash build.sh -u --noexec --[opapi|ophost|opkernel] # 方式6: 执行UT测试用例时可指定soc编译 # bash build.sh -u --[opapi|ophost|opkernel] [--soc=${soc_version}]假设验证ophost功能是否正常,执行如下命令:
bash build.sh -u --ophost执行完成后出现如下内容,表示执行成功。
Global Environment TearDown [==========] ${n} tests from ${m} test suites ran. (${x} ms total) [ PASSED ] ${n} tests. [100%] Built target math_op_host_ut${n}表示执行了n个用例,${m}表示m项测试,${x}表示执行用例消耗的时间,单位为毫秒。