源码构建

1. 环境准备

在源码编译前,请先完成基础环境搭建。具体操作请参见快速安装

2. 环境验证

安装完CANN包后,需验证环境是否正常。

# 查看CANN Toolkit的version字段提供的版本信息(默认路径安装),<arch>表示CPU架构(aarch64或x86_64)。WebIDE场景下,请将/usr/local替换为/home/developer。
cat /usr/local/Ascend/cann/<arch>-linux/ascend_toolkit_install.info
# 查看CANN ops的version字段提供的版本信息(默认路径安装),<opsname>表示待查询的ops子包的名称,请用户根据实际安装路径替换。WebIDE场景下,请将/usr/local替换为/home/developer。
cat /usr/local/Ascend/cann/<arch>-linux/ascend_ops_install.info

3. 环境变量配置

根据实际场景,选择合适的命令:

# 默认路径安装,以root用户为例(非root用户,将/usr/local替换为${HOME}) 
source /usr/local/Ascend/cann/set_env.sh
# 指定路径安装
source ${install_path}/cann/set_env.sh

4. 源码编译

4.1 下载源码

开发者可通过如下命令下载本仓源码:

# 下载项目源码,以master分支为例 
git clone https://gitcode.com/cann/ge.git

4.2 安装依赖

安装依赖

以下所列为GE源码编译用到的依赖,请注意版本要求(如果遇到安装问题,请尝试切换镜像源)。

注意

如使用镜像方式进行项目体验,所有依赖已包含在init_env.sh中,可跳过此安装依赖步骤。

  • GCC >= 7.3.x

  • Python3 >= 3.9.x

    除了CANN开发套件包需要的Python依赖外,还需要额外安装coverage,并将Python3的bin路径添加到PATH环境变量中,命令示例如下:

    pip3 install coverage
    # 修改下面的PYTHON3_HOME为实际的PYTHON安装目录
    export PATH=$PATH:$PYTHON3_HOME/bin
    
  • CMake >= 3.16.0 (建议使用3.20.0版本)

  • bash >= 5.1.16

  • ccache/asan/autoconf/automake/libtool/gperf/lcov/libasan/patch/perl/graph-easy(其中graph-easy可选)

    # Ubuntu操作系统安装命令示例如下,其他操作系统依赖可能有部分差异,请自行安装
    # asan以gcc 7.5.0版本为例安装的是libasan4,其他版本请安装对应版本asan
    sudo apt-get update
    sudo apt-get install cmake ccache bash lcov libasan4 autoconf automake libtool gperf libgraph-easy-perl patch perl
    
  • 安装Python其他依赖

    ## 进入项目源码根目录,执行安装命令
    cd ge
    pip3 install -r requirements.txt
    

检查编译环境

安装完成后,建议执行环境检查脚本,确认当前环境是否满足编译要求。

bash scripts/check_env.sh

检查结果说明如下:

状态 含义 处理建议
[PASS] 检查通过 无需处理
[WARNING] 非关键依赖缺失或版本存在偏差 建议修复,不影响核心编译
[ERROR] 关键依赖缺失或版本不兼容 必须修复,否则无法编译

注意

环境检查脚本中所有的检查项和版本约束严格来源于 docs/build.md 和 requirements.txt,如文档和依赖更新,请同步修改脚本

4.3 编译

注意

若您的编译环境无法访问网络,由于无法通过git指令下载代码,须在联网环境中下载源码及三方库依赖后,手动上传至目标环境,参见离线编译指导。 若您的编译环境可以访问网络,通过git指令下载代码后,编译过程中将自动下载开源第三方软件。

若您的编译环境可以访问网络,或已经完成离线编译指导GE提供一键式编译能力,进入代码仓根目录,可通过如下命令进行编译:

bash build.sh --<pkg_type>

--<pkg_type>(可选):表示子包类型,取值包括ge_compilerge_executordflow,不同编译参数编译不同子包,不设置则同时编译三种子包。

更多编译参数可以通过bash build.sh -h查看;编译成功后,会在build_out目录下生成cann-<component>_<version>_<arch>.run软件包。

  • <component>表示子包名称,取值包括ge-compiler、ge-executor与dflow-executor。
  • <version>表示版本号。
  • <arch>表示操作系统架构,取值包括x86_64与aarch64。

4.4 本地验证(UT/ST)

注意

若您的编译环境无法访问网络,请确保已经完成了4.3 编译章节中的离线编译指导

编译完成后,用户可以进行开发者测试。

  • 编译执行UT测试用例:

    #编译执行所有的UT测试用例
    bash tests/run_test.sh --ut
    #编译执行特定的UT测试用例(推荐)
    bash tests/run_test.sh --ut=${TARGET}
    

    --ut(必选):可以指定${TARGET}编译特定对象的ut测试用例,取值可通过bash tests/run_test.sh -h查看。

  • 编译执行ST测试用例:

    #编译执行所有的ST测试用例
    bash tests/run_test.sh --st
    #编译执行特定的ST测试用例(推荐)
    bash tests/run_test.sh --st=${TARGET}
    

    --st(必选):可以指定${TARGET}编译特定对象的st测试用例,取值可通过bash tests/run_test.sh -h查看。

  • 统计代码覆盖率:

    使用 tests/run_test.sh 脚本的 -c 参数可以在测试用例运行过程中生成代码覆盖率统计文件。

    前置条件

    • 确保 lcov 工具已正确安装
    • 编译运行环境上的 gccgcov 必须是配套版本

    使用方法

    bash tests/run_test.sh -c [其他参数]
    

    输出位置:生成的覆盖率文件位于代码根目录下的 cov/ 目录中。

  • 执行指定用例:

    执行完成UT/ST后,可以通过直接执行测试可执行文件进行单独测试。

    前置条件

    • 已经执行了UT/ST对应的测试命令,并正确生成了测试可执行文件。

    使用方法

    • 示例:已经执行了 bash tests/run_test.sh --ut=ge_common ,并希望单独执行验证 ut_libge_multiparts_utest
    # 测试UT/ST会对部分依赖so进行打桩处理,需要清除LD_LIBRARY_PATH和ASCEND_OPP_PATH环境变量,避免宿主机已安装的 CANN/Ascend 环境干扰测试
    unset LD_LIBRARY_PATH
    unset ASCEND_OPP_PATH
    ./tests/ge/ut/ge/ut_libge_multiparts_utest # 可以通过 --gtest_list_tests 查看包含的单用例,并通过 --gtest_filter 参数执行单用例
    
  • 清理产物:

    UT/ST测试用例编译输出目录为build_utbuild_st,如果想清除历史编译记录,可执行如下操作:

    rm -rf build_ut/ build_st/ output/ build/ build_out/ cov/
    

说明

tests/run_test.sh脚本支持的详细命令参数可通过bash tests/run_test.sh -h查看。

4.5 安装与卸载

  • 安装

    本地验证完成后,可执行如下命令安装编译生成的GE软件包,执行安装命令时,请确保安装用户对软件包具有可执行权限。

    ./cann-<component>_<version>_<arch>.run --full --install-path=${install_path}
    

    注意

    • 此处的安装路径(无论默认还是指定)需与前面安装toolkit包时的路径保持一致。安装完成后,用户编译生成的GE软件包会替换已安装CANN开发套件包中的GE相关软件。
    • cann-dflow-executor_<version>_<arch>.run软件包仅在使用dflow特性时需要,若仅使用GE图编译和执行功能,可选择不安装。该包中含有cann-udf-compat.tar.gz(UDF兼容升级包),会在业务启动时加载至Device侧,加载过程中驱动默认会进行安全验签,以确保包的可信性。开发者通过本仓源码自行编译产生的cann-udf-compat.tar.gz不含签名头,因此必须关闭驱动的安全验签机制才能使用。
      关闭验签方式:
      关闭验签功能依赖Ascend NPU驱动软件包(Ascend HDK 25.5.T2.B001及以上版本),可以通过该Ascend HDK配套的npu-smi工具查询版本和关闭验签,详见查询基本信息设置自定义验签能力使能状态设置验签模式命令文档,需要以root用户在物理机上执行(由于权限问题,WebIDE暂不支持)。
      以device 0为例 (其中 -i 后面的参数是device id):
      npu-smi info # 查询基本信息,包含驱动版本
      npu-smi set -t custom-op-secverify-enable -i 0 -d 1 # 使能自定义验签
      npu-smi set -t custom-op-secverify-mode -i 0 -d 0 # 设置成"关闭验签模式"
  • 卸载

    若您想卸载安装的cann-<component>_<version>_<arch>.run软件包,可执行如下命令。

    ./cann-<component>_<version>_<arch>.run --uninstall --install-path=${install_path}
    

    执行时需要将上述命令中的软件包名称替换为实际的自定义cann-<component>_<version>软件包名称。

安装完成后,可以参考样例执行运行样例。