已合并
docs:rename Ascend Extension for PyTorch #2835
kali00创建于 7月14日
docs:rename Ascend Extension for PyTorch #2835
已合并
共 54 个文件变更+133-120
| @@ -199,7 +199,7 @@ MindSpeed MM：面向大规模分布式训练的昇腾多模态大模型套件 | |||
| 199 | 199 | ||
| 200 | MindSpeed MM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下： | 200 | MindSpeed MM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下： |
| 201 | 201 | ||
| 202 | -| MindSpeed MM版本 | MindSpeed版本 | Megatron版本 | PyTorch版本 | torch_npu版本 | CANN版本 | Python版本 | | 202 | +| MindSpeed MM版本 | MindSpeed版本 | Megatron版本 | PyTorch版本 | TorchNPU版本 | CANN版本 | Python版本 | |
| 203 | | ---------------- | ------------------ | ------------ | ------------ | ------------- | -------- | --------------------- | | 203 | | ---------------- | ------------------ | ------------ | ------------ | ------------- | -------- | --------------------- | |
| 204 | | master（在研版本） | master（在研版本） | Core 0.12.1 | 2.7.1 | 在研版本 | 在研版本 | Python3.10 | | 204 | | master（在研版本） | master（在研版本） | Core 0.12.1 | 2.7.1 | 在研版本 | 在研版本 | Python3.10 | |
| 205 | | 26.0.0（商用） | 26.0.0_core_r0.12.1 | Core 0.12.1 | 2.7.1 | 26.0.0 | 9.0.0 | Python3.10 | | 205 | | 26.0.0（商用） | 26.0.0_core_r0.12.1 | Core 0.12.1 | 2.7.1 | 26.0.0 | 9.0.0 | Python3.10 | |
| @@ -77,7 +77,7 @@ | |||
| 77 | ## 运行安全声明 | 77 | ## 运行安全声明 |
| 78 | 78 | ||
| 79 | 1. 建议用户结合运行资源状况编写对应训练脚本。若训练脚本与资源状况不匹配，如数据集加载内存大小超出内存容量限制、训练脚本在本地生成数据超过磁盘空间大小等情况，可能引发错误并导致进程意外退出。 | 79 | 1. 建议用户结合运行资源状况编写对应训练脚本。若训练脚本与资源状况不匹配，如数据集加载内存大小超出内存容量限制、训练脚本在本地生成数据超过磁盘空间大小等情况，可能引发错误并导致进程意外退出。 |
| 80 | -2. MindSpeed MM内部用到了PyTorch和torch_npu,可能会因为版本不匹配导致运行错误，具体可参考PyTorch及torch_npu[安全声明](https://gitcode.com/Ascend/pytorch/blob/master/SECURITYNOTE.md)。 | 80 | +2. MindSpeed MM内部用到了PyTorch和TorchNPU,可能会因为版本不匹配导致运行错误，具体可参考PyTorch及TorchNPU[安全声明](https://gitcode.com/Ascend/pytorch/blob/master/SECURITYNOTE.md)。 |
| 81 | 3. MindSpeed MM的依赖库transformers和datasets在使用from_pretrained方法时，存在配置trust_remote_code=True的情况。此设置会直接执行从远程仓库下载的代码，可能包含恶意逻辑或后门程序，导致系统面临代码注入攻击等安全威胁。用户需要确保自己下载的模型和数据的安全性。 | 81 | 3. MindSpeed MM的依赖库transformers和datasets在使用from_pretrained方法时，存在配置trust_remote_code=True的情况。此设置会直接执行从远程仓库下载的代码，可能包含恶意逻辑或后门程序，导致系统面临代码注入攻击等安全威胁。用户需要确保自己下载的模型和数据的安全性。 |
| 82 | 82 | ||
| 83 | ## 公开接口声明 | 83 | ## 公开接口声明 |
| @@ -106,7 +106,7 @@ MindSpeed MM 暂时未发布wheel包，无正式对外公开接口，所有功 | |||
| 106 | 106 | ||
| 107 | | 场景 | 使用方法 | 端口 | 可能的风险 | | 107 | | 场景 | 使用方法 | 端口 | 可能的风险 | |
| 108 | |--------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------| -------------- | ------------------------------------------------------------ | | 108 | |--------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------| -------------- | ------------------------------------------------------------ | |
| 109 | -| 使用MindSpeed MM进行训练任务时，在Megatron后端场景下每次初始化模型并行组时，默认新增（3 \* NPU数量）个随机端口，开启多个分布式优化器时再额外新增（分布式优化器数量 \* NPU数量）个随机端口，同时配置1个master-port端口（该端口与torch_npu的master-port端口一致） | MindSpeed MM 调用 Megatron 原生函数 `mpu.initialize_model_parallel` 来初始化模型并行组，并通过使用 PyTorch 分布式训练相关的 API 来启动任意任务。 | [1024,65520]内 | 网络配置错误可能引发端口冲突或连接问题，影响训练效率。 | | 109 | +| 使用MindSpeed MM进行训练任务时，在Megatron后端场景下每次初始化模型并行组时，默认新增（3 \* NPU数量）个随机端口，开启多个分布式优化器时再额外新增（分布式优化器数量 \* NPU数量）个随机端口，同时配置1个master-port端口（该端口与TorchNPU的master-port端口一致） | MindSpeed MM 调用 Megatron 原生函数 `mpu.initialize_model_parallel` 来初始化模型并行组，并通过使用 PyTorch 分布式训练相关的 API 来启动任意任务。 | [1024,65520]内 | 网络配置错误可能引发端口冲突或连接问题，影响训练效率。 | |
| 110 | 110 | ||
| 111 | ## 公网地址声明 | 111 | ## 公网地址声明 |
| 112 | 112 | ||
| @@ -127,7 +127,7 @@ | |||
| 127 | <td>分布式后端</td> | 127 | <td>分布式后端</td> |
| 128 | <td>GPU: <code>hccl</code>, NPU: <code>nccl</code>:, CPU: <code>gloo</code>, HPC: <code>mpi</code></td> | 128 | <td>GPU: <code>hccl</code>, NPU: <code>nccl</code>:, CPU: <code>gloo</code>, HPC: <code>mpi</code></td> |
| 129 | <td><code>hccl</code></td> | 129 | <td><code>hccl</code></td> |
| 130 | - <td><code>hccl</code>会被<code>torch_npu</code> patch成为<code>nccl</code></td> | 130 | + <td><code>hccl</code>会被<code>TorchNPU</code> patch成为<code>nccl</code></td> |
| 131 | </tr> | 131 | </tr> |
| 132 | 132 | ||
| 133 | <tr> | 133 | <tr> |
| @@ -121,7 +121,7 @@ train_valid_test_datasets_provider 构建数据加载器 | |||
| 121 | 121 | ||
| 122 | 请参考 `环境搭建 <https://mindspeed-mm.readthedocs.io/zh-cn/latest/quick_start/%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.html>`_ 章节，完成HDK、CANN、PyTorch和TorchNPU基础环境搭建； | 122 | 请参考 `环境搭建 <https://mindspeed-mm.readthedocs.io/zh-cn/latest/quick_start/%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.html>`_ 章节，完成HDK、CANN、PyTorch和TorchNPU基础环境搭建； |
| 123 | 123 | ||
| 124 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 124 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 125 | 125 | ||
| 126 | .. code:: bash | 126 | .. code:: bash |
| 127 | 127 | ||
| @@ -43,12 +43,12 @@ CANN安装 | |||
| 43 | # 根据实际情况修改 ascend-toolkit 路径 | 43 | # 根据实际情况修改 ascend-toolkit 路径 |
| 44 | source /usr/local/Ascend/nnal/atb/set_env.sh | 44 | source /usr/local/Ascend/nnal/atb/set_env.sh |
| 45 | 45 | ||
| 46 | -PyTorch+torch_npu 安装 | 46 | +PyTorch+TorchNPU 安装 |
| 47 | :::::::::::::::::::::::::: | 47 | :::::::::::::::::::::::::: |
| 48 | 48 | ||
| 49 | -下载 `torch_npu <https://www.hiascend.com/developer/download/community/result?module=pt>`_ ，参考 `Ascend Extension for PyTorch 配置与安装 <https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html>`_ 或执行以下命令安装： | 49 | +下载 `TorchNPU <https://www.hiascend.com/developer/download/community/result?module=pt>`_ ，参考 `TorchNPU 配置与安装 <https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html>`_ 或执行以下命令安装： |
| 50 | 50 | ||
| 51 | -安装torch和torch_npu，以下以python 3.10 + torch 2.7.1为例： | 51 | +安装torch和TorchNPU，以下以python 3.10 + torch 2.7.1为例： |
| 52 | 52 | ||
| 53 | .. code:: bash | 53 | .. code:: bash |
| 54 | 54 | ||
| @@ -2,7 +2,7 @@ | |||
| 2 | 2 | ||
| 3 | | 序号 | 问题简述 | 影响 | 当前方案 | 后续计划 | 相关链接 | | 3 | | 序号 | 问题简述 | 影响 | 当前方案 | 后续计划 | 相关链接 | |
| 4 | |:------:|:------:|:------:|:------:|:------:|:------:| | 4 | |:------:|:------:|:------:|:------:|:------:|:------:| |
| 5 | -| 1 | CANN 版本不匹配导致训练报错 | 训练无法启动或出现算子报错 | 确保驱动固件、CANN Toolkit/Kernels/NNAL、PyTorch、torch_npu 版本严格配套，参考 [版本配套说明](./release_notes_mm.md#相关产品版本配套说明) | 持续更新版本配套表 | [安装说明](./pytorch/install_guide.md) | | 5 | +| 1 | CANN 版本不匹配导致训练报错 | 训练无法启动或出现算子报错 | 确保驱动固件、CANN Toolkit/Kernels/NNAL、PyTorch、TorchNPU版本严格配套，参考 [版本配套说明](./release_notes_mm.md#相关产品版本配套说明) | 持续更新版本配套表 | [安装说明](./pytorch/install_guide.md) | |
| 6 | | 2 | `ModuleNotFoundError: No module named 'acl'` | 无法导入昇腾相关模块 | 检查是否已执行 `source /usr/local/Ascend/ascend-toolkit/set_env.sh`，建议写入 `~/.bashrc` | - | [安装说明](./pytorch/install_guide.md) | | 6 | | 2 | `ModuleNotFoundError: No module named 'acl'` | 无法导入昇腾相关模块 | 检查是否已执行 `source /usr/local/Ascend/ascend-toolkit/set_env.sh`，建议写入 `~/.bashrc` | - | [安装说明](./pytorch/install_guide.md) | |
| 7 | | 3 | CANN nnal 包安装顺序错误导致 `libatb.so` 找不到 | 推理或训练时报动态库缺失错误 | nnal 包必须在 `source /usr/local/Ascend/ascend-toolkit/set_env.sh` 之后安装，否则找不到依赖路径 | - | [安装说明](./pytorch/install_guide.md) | | 7 | | 3 | CANN nnal 包安装顺序错误导致 `libatb.so` 找不到 | 推理或训练时报动态库缺失错误 | nnal 包必须在 `source /usr/local/Ascend/ascend-toolkit/set_env.sh` 之后安装，否则找不到依赖路径 | - | [安装说明](./pytorch/install_guide.md) | |
| 8 | | 4 | 多机多卡启动时脚本卡死无报错 | 无法启动分布式训练 | 确保已安装 `pdsh`，否则多机多卡启动脚本会卡死。可通过 `apt install pdsh` 或 `yum install pdsh` 安装 | - | - | | 8 | | 4 | 多机多卡启动时脚本卡死无报错 | 无法启动分布式训练 | 确保已安装 `pdsh`，否则多机多卡启动脚本会卡死。可通过 `apt install pdsh` 或 `yum install pdsh` 安装 | - | - | |
| @@ -21,4 +21,4 @@ | |||
| 21 | | 17 | 训练 loss 不收敛 | 模型效果差 | 检查：1. 数据质量和清洗逻辑；2. 学习率和 warmup 策略；3. 是否使用预训练权重初始化；4. 数据路径和图片路径是否正确 | - | - | | 21 | | 17 | 训练 loss 不收敛 | 模型效果差 | 检查：1. 数据质量和清洗逻辑；2. 学习率和 warmup 策略；3. 是否使用预训练权重初始化；4. 数据路径和图片路径是否正确 | - | - | |
| 22 | | 18 | 推荐的关键环境变量配置 | 影响训练性能和稳定性 | 建议配置：`export ASCEND_GLOBAL_LOG_LEVEL=1`、`export TASK_QUEUE_ENABLE=2`、`export CPU_AFFINITY_CONF=2`、`export HCCL_CONNECT_TIMEOUT=600`、`export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True` | - | - | | 22 | | 18 | 推荐的关键环境变量配置 | 影响训练性能和稳定性 | 建议配置：`export ASCEND_GLOBAL_LOG_LEVEL=1`、`export TASK_QUEUE_ENABLE=2`、`export CPU_AFFINITY_CONF=2`、`export HCCL_CONNECT_TIMEOUT=600`、`export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True` | - | - | |
| 23 | | 19 | Megatron-LM 版本与 MindSpeed-MM 不匹配 | 安装或运行报错 | MindSpeed-MM 需要配套版本的 Megatron-LM，请参考 [安装说明](./pytorch/install_guide.md) 中指定的 commit 或 tag 进行 checkout | - | [安装说明](./pytorch/install_guide.md) | | 23 | | 19 | Megatron-LM 版本与 MindSpeed-MM 不匹配 | 安装或运行报错 | MindSpeed-MM 需要配套版本的 Megatron-LM，请参考 [安装说明](./pytorch/install_guide.md) 中指定的 commit 或 tag 进行 checkout | - | [安装说明](./pytorch/install_guide.md) | |
| 24 | -| 20 | Docker 镜像中缺少模型特定依赖 | 模型训练报错 | Docker 镜像仅预装 torch、torch_npu 和 decord 基础依赖，需根据目标模型的 README 在 base 环境中手动安装额外依赖 | - | - | | 24 | +| 20 | Docker 镜像中缺少模型特定依赖 | 模型训练报错 | Docker 镜像仅预装 torch、TorchNPU 和 decord 基础依赖，需根据目标模型的 README 在 base 环境中手动安装额外依赖 | - | - | |
| @@ -8,7 +8,7 @@ MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件 | |||
| 8 | 8 | ||
| 9 | MindSpeed MM 昇腾多模态训练解决方案整体架构如下图，整体分为三个层次： | 9 | MindSpeed MM 昇腾多模态训练解决方案整体架构如下图，整体分为三个层次： |
| 10 | 10 | ||
| 11 | -- 昇腾基础软硬件。包括昇腾AI处理器、昇腾服务器等硬件，为海量多模态数据计算与模型训练提供强大的并行算力；CANN（Compute Architecture for Neural Networks），作为昇腾AI处理器的软件引擎，提供了高度优化的基础算子和通信库（HCCL）；PyTorch + torch_npu 支持业界主流的PyTorch深度学习框架，并通过torch_npu插件将PyTorch的运算无缝对接到昇腾硬件，使得开发者能够使用熟悉的编程范式与API，发挥昇腾的算力优势 | 11 | +- 昇腾基础软硬件。包括昇腾AI处理器、昇腾服务器等硬件，为海量多模态数据计算与模型训练提供强大的并行算力；CANN（Compute Architecture for Neural Networks），作为昇腾AI处理器的软件引擎，提供了高度优化的基础算子和通信库（HCCL）；PyTorch + TorchNPU 支持业界主流的PyTorch深度学习框架，并通过TorchNPU插件将PyTorch的运算无缝对接到昇腾硬件，使得开发者能够使用熟悉的编程范式与API，发挥昇腾的算力优势 |
| 12 | 12 | ||
| 13 | - 分布式后端。包括分布式训练框架MindSpeed Core/Megatron和FSDP2双后端支持，提供了高效的分布式训练能力，包括数据并行、模型并行、混合并行等多种并行策略，支持大规模模型的训练与优化。 | 13 | - 分布式后端。包括分布式训练框架MindSpeed Core/Megatron和FSDP2双后端支持，提供了高效的分布式训练能力，包括数据并行、模型并行、混合并行等多种并行策略，支持大规模模型的训练与优化。 |
| 14 | 14 | ||
| @@ -125,7 +125,7 @@ | |||
| 125 | | [ACLNN_CACHE_LIMIT](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/maintenref/envvar/envref_07_0031.html) | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 125 | | [ACLNN_CACHE_LIMIT](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/maintenref/envvar/envref_07_0031.html) | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 126 | | TOKENIZERS_PARALLELISM | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 126 | | TOKENIZERS_PARALLELISM | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 127 | | [MULTI_STREAM_MEMORY_REUSE](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_016.html) | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 127 | | [MULTI_STREAM_MEMORY_REUSE](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_016.html) | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 128 | -| [NPU_ASD_ENABLE](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_029.html) | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 128 | +| [NPU_ASD_ENABLE](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_029.html) | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 129 | | [ASCEND_LAUNCH_BLOCKING](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_006.html) | 控制算子执行时是否启动同步模式，主要用于定位代码实际出错位置，开启时会导致性能下降，仅在debug时使用 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 129 | | [ASCEND_LAUNCH_BLOCKING](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/Envvariables/Envir_006.html) | 控制算子执行时是否启动同步模式，主要用于定位代码实际出错位置，开启时会导致性能下降，仅在debug时使用 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 130 | | NPUS_PER_NODE | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等）| | 130 | | NPUS_PER_NODE | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等）| |
| 131 | | [ASCEND_RT_VISIBLE_DEVICES](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/maintenref/envvar/envref_07_0028.html) | 用于指定当前进程可见的Device，支持一次指定一个或多个Device ID | Device ID的数字组合，多个Device ID之间以英文逗号分隔 | | 131 | | [ASCEND_RT_VISIBLE_DEVICES](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/maintenref/envvar/envref_07_0028.html) | 用于指定当前进程可见的Device，支持一次指定一个或多个Device ID | Device ID的数字组合，多个Device ID之间以英文逗号分隔 | |
| @@ -8,7 +8,7 @@ | |||
| 8 | 8 | ||
| 9 | |产品|是否支持（训练场景）| | 9 | |产品|是否支持（训练场景）| |
| 10 | |--|:-:| | 10 | |--|:-:| |
| 11 | -|Ascend 950 系列产品|√| | 11 | +|<term>Ascend 950 系列产品</term>|√| |
| 12 | |<term>Atlas A3 训练系列产品</term>|√| | 12 | |<term>Atlas A3 训练系列产品</term>|√| |
| 13 | |<term>Atlas A3 推理系列产品</term>|x| | 13 | |<term>Atlas A3 推理系列产品</term>|x| |
| 14 | |<term>Atlas A2 训练系列产品</term>|√| | 14 | |<term>Atlas A2 训练系列产品</term>|√| |
| @@ -50,13 +50,13 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 50 | > [!NOTE] | 50 | > [!NOTE] |
| 51 | > | 51 | > |
| 52 | > - 使用镜像前，请先确认机器型号。最新镜像仅支持aarch64架构，可通过uname -a命令确认当前环境是否符合要求。 | 52 | > - 使用镜像前，请先确认机器型号。最新镜像仅支持aarch64架构，可通过uname -a命令确认当前环境是否符合要求。 |
| 53 | -> - 配套镜像已预装配套的CANN 9.0.0软件及Ascend Extension for PyTorch 26.0.0插件，您可根据需要选用。 | 53 | +> - 配套镜像已预装配套的CANN 9.1.0软件及TorchNPU 26.1.0插件，您可根据需要选用。 |
| 54 | > - 若您当前环境与提供的镜像不兼容，请选择[方式二：源码安装](#方式二源码安装)。 | 54 | > - 若您当前环境与提供的镜像不兼容，请选择[方式二：源码安装](#方式二源码安装)。 |
| 55 | -> - master分支后续会更新新的镜像，如果需要自定义构建镜像，请参见[镜像概述](../../../docker/OVERVIEW.zh.md)。 | 55 | +> - 26.1.0分支后续会更新新的镜像，如果需要自定义构建镜像，请参见[镜像概述](../../../docker/OVERVIEW.zh.md)。 |
| 56 | 56 | ||
| 57 | 1. 拉取镜像 | 57 | 1. 拉取镜像 |
| 58 | 58 | ||
| 59 | - 最新镜像均配套[MindSpeed MM的26.0.0分支](https://gitcode.com/Ascend/MindSpeed-MM/tree/26.0.0)，请按需[拉取镜像](https://www.hiascend.com/developer/ascendhub/detail/6857f6fc2cfa4a678710a7075426ee5e)。 | 59 | + 最新镜像均配套[MindSpeed MM的26.1.0分支](https://gitcode.com/Ascend/MindSpeed-MM/tree/26.1.0)，该镜像即将上线，当前可使用MindSpeed MM 26.0.0分支对应镜像，请按需[拉取镜像](https://www.hiascend.com/developer/ascendhub/detail/6857f6fc2cfa4a678710a7075426ee5e)。 |
| 60 | 60 | ||
| 61 | - <term>Atlas A2 训练系列产品</term>：26.0.0-910b-openeuler24.03-py3.11-aarch64 | 61 | - <term>Atlas A2 训练系列产品</term>：26.0.0-910b-openeuler24.03-py3.11-aarch64 |
| 62 | 62 | ||
| @@ -122,9 +122,13 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 122 | mindspeed-mm:26.0.0-a3-openeuler24.03-py3.11-aarch64 bash | 122 | mindspeed-mm:26.0.0-a3-openeuler24.03-py3.11-aarch64 bash |
| 123 | ``` | 123 | ``` |
| 124 | 124 | ||
| 125 | + 具体参数配置说明可查看MindSpeed MM Docker镜像概述的[构建脚本参数说明](../../../docker/OVERVIEW.zh.md#构建脚本参数说明) | ||
| 126 | + | ||
| 125 | 3. 加载容器并确认环境状态 | 127 | 3. 加载容器并确认环境状态 |
| 126 | 128 | ||
| 127 | ```bash | 129 | ```bash |
| 130 | + # 查询本地运行中的容器ID/名称 | ||
| 131 | + docker ps -a | ||
| 128 | # 加载容器 | 132 | # 加载容器 |
| 129 | docker exec -it 容器名 bash | 133 | docker exec -it 容器名 bash |
| 130 | # 确认NPU是否可以正常使用 | 134 | # 确认NPU是否可以正常使用 |
| @@ -142,7 +146,7 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 142 | 146 | ||
| 143 | 目前[Qwen3-VL](https://gitcode.com/Ascend/MindSpeed-MM/blob/26.0.0/examples/qwen3vl/README.md)、[Qwen3.5](https://gitcode.com/Ascend/MindSpeed-MM/tree/26.0.0/examples/qwen3_5)模型已支持一键安装。 | 147 | 目前[Qwen3-VL](https://gitcode.com/Ascend/MindSpeed-MM/blob/26.0.0/examples/qwen3vl/README.md)、[Qwen3.5](https://gitcode.com/Ascend/MindSpeed-MM/tree/26.0.0/examples/qwen3_5)模型已支持一键安装。 |
| 144 | 148 | ||
| 145 | - 一键式命令会依次安装`PyTorch`、`torch_npu`、`Megatron-LM`、`MindSpeed`、`MindSpeed MM`。由于Megatron-LM对于`pip install`安装方式适配性待提升，采用源码拷贝方式进行使用。 | 149 | + 一键式命令会依次安装`PyTorch`、`TorchNPU`、`Megatron-LM`、`MindSpeed`、`MindSpeed MM`。由于Megatron-LM对于`pip install`安装方式适配性待提升，采用源码拷贝方式进行使用。 |
| 146 | 150 | ||
| 147 | 以Qwen3.5模型安装为例： | 151 | 以Qwen3.5模型安装为例： |
| 148 | 152 | ||
| @@ -172,9 +176,9 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 172 | |-ic, --install-cann |安装CANN|否|默认安装版本CANN 8.5.0| | 176 | |-ic, --install-cann |安装CANN|否|默认安装版本CANN 8.5.0| |
| 173 | |-h, --help|显示安装帮助|否|-| | 177 | |-h, --help|显示安装帮助|否|-| |
| 174 | 178 | ||
| 175 | - 3. 如已安装了PyTorch或torch_npu，请按以下步骤操作；未安装可跳过本步骤： | 179 | + 3. 如已安装了PyTorch或TorchNPU，请按以下步骤操作；未安装可跳过本步骤： |
| 176 | 180 | ||
| 177 | - 控制台打印了如下信息，表示检测到环境中已经安装了2.6.0版本的PyTorch和torch_npu。如果您希望安装新版本的PyTorch和torch_npu，请输入`y`；如果希望保持已安装的PyTorch和torch_npu，请输入`n`。 | 181 | + 控制台打印了如下信息，表示检测到环境中已经安装了2.6.0版本的PyTorch和TorchNPU。如果您希望安装新版本的PyTorch和TorchNPU，请输入`y`；如果希望保持已安装的PyTorch和TorchNPU，请输入`n`。 |
| 178 | 182 | ||
| 179 | ```text | 183 | ```text |
| 180 | Version check results: | 184 | Version check results: |
| @@ -203,7 +207,7 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 203 | 207 | ||
| 204 | 2. 安装CANN | 208 | 2. 安装CANN |
| 205 | 209 | ||
| 206 | - 安装配套版本的NPU驱动固件、CANN软件（Toolkit、ops和NNAL）并配置CANN环境变量，具体请参考《[CANN 软件安装](https://www.hiascend.com/document/detail/zh/canncommercial/900/softwareinst/instg/instg_0000.html)》（商用版）或《[CANN 软件安装](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/900/softwareinst/instg/instg_0000.html)》（社区版）。 | 210 | + 安装配套版本的NPU驱动固件、CANN软件（Toolkit、ops和NNAL）并配置CANN环境变量，具体请参考《[CANN 软件安装](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/900/softwareinst/instg/instg_0000.html)》。 |
| 207 | 211 | ||
| 208 | CANN软件提供进程级环境变量设置脚本，训练或推理场景下使用NPU执行业务代码前需要调用该脚本，否则业务代码将无法执行。 | 212 | CANN软件提供进程级环境变量设置脚本，训练或推理场景下使用NPU执行业务代码前需要调用该脚本，否则业务代码将无法执行。 |
| 209 | 213 | ||
| @@ -214,13 +218,13 @@ chmod +x Ascend-hdk-<chip_type>-npu-firmware_<version>.run | |||
| 214 | 218 | ||
| 215 | 以上命令以root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径进行替换。 | 219 | 以上命令以root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径进行替换。 |
| 216 | 220 | ||
| 217 | - 3. 安装PyTorch以及torch_npu | 221 | + 3. 安装PyTorch以及TorchNPU |
| 218 | 222 | ||
| 219 | - 请参考《Ascend Extension for PyTorch 软件安装指南》中的“[安装PyTorch](https://www.hiascend.com/document/detail/zh/Pytorch/2600/configandinstg/instg/docs/zh/installation_guide/installation_via_binary_package.md)”章节，获取配套版本的PyTorch以及torch_npu软件包。 | 223 | + 请参考《TorchNPU软件安装》中的“[安装PyTorch](https://www.hiascend.com/document/detail/zh/Pytorch/2600/configandinstg/instg/docs/zh/installation_guide/installation_via_binary_package.md)”章节，获取配套版本的PyTorch以及TorchNPU软件包。 |
| 220 | 可参考如下安装命令： | 224 | 可参考如下安装命令： |
| 221 | 225 | ||
| 222 | ```shell | 226 | ```shell |
| 223 | - # 安装torch和torch_npu构建参考 https://gitcode.com/ascend/pytorch/releases | 227 | + # 安装torch和TorchNPU构建参考 https://gitcode.com/ascend/pytorch/releases |
| 224 | pip3 install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 228 | pip3 install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 225 | pip3 install torch_npu-2.7.1post4-cp310-cp310-manylinux_2_28_aarch64.whl | 229 | pip3 install torch_npu-2.7.1post4-cp310-cp310-manylinux_2_28_aarch64.whl |
| 226 | ``` | 230 | ``` |
| @@ -74,7 +74,7 @@ sequenceDiagram | |||
| 74 | 74 | ||
| 75 | >[!NOTE] | 75 | >[!NOTE] |
| 76 | > | 76 | > |
| 77 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 77 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 78 | 78 | ||
| 79 | ### 数据模块迁移 | 79 | ### 数据模块迁移 |
| 80 | 80 | ||
| @@ -50,7 +50,7 @@ NVIDIA GPU采用CUDA（Compute Unified Device Architecture）的并行计算架 | |||
| 50 | 在进行模型迁移前，需要了解如下模型迁移约束，评估当前模型迁移的可行性，完成迁移前的环境准备： | 50 | 在进行模型迁移前，需要了解如下模型迁移约束，评估当前模型迁移的可行性，完成迁移前的环境准备： |
| 51 | 51 | ||
| 52 | 迁移前要保证选定的模型能在三方平台（如GPU）上运行，并输出精度和性能基线。 | 52 | 迁移前要保证选定的模型能在三方平台（如GPU）上运行，并输出精度和性能基线。 |
| 53 | -模型迁移前需要参考[《Ascend Extension for PyTorch 软件安装指南》](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0001.html)完成昇腾PyTorch训练环境安装，以便完成迁移支持度分析与后续的模型训练，包括NPU驱动和固件、CANN软件（Toolkit、Kernels和NNAL）、以及PyTorch框架和torch_npu插件的安装。 | 53 | +模型迁移前需要参考[《TorchNPU软件安装》](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0001.html)完成昇腾PyTorch训练环境安装，以便完成迁移支持度分析与后续的模型训练，包括NPU驱动和固件、CANN软件（Toolkit、Kernels和NNAL）、以及PyTorch框架和TorchNPU插件的安装。 |
| 54 | 目前已知的不支持场景： | 54 | 目前已知的不支持场景： |
| 55 | 55 | ||
| 56 | 当前不支持使用DP（Data Parallel，数据并行）模式的模型迁移。若用户训练脚本中包含NPU平台不支持的torch.nn.parallel.DataParallel接口，则需手动修改该接口为torch.nn.parallel.DistributedDataParallel接口，以执行多卡训练。原脚本需要在GPU环境下基于Python3.10 及以上跑通。 | 56 | 当前不支持使用DP（Data Parallel，数据并行）模式的模型迁移。若用户训练脚本中包含NPU平台不支持的torch.nn.parallel.DataParallel接口，则需手动修改该接口为torch.nn.parallel.DistributedDataParallel接口，以执行多卡训练。原脚本需要在GPU环境下基于Python3.10 及以上跑通。 |
| @@ -180,7 +180,7 @@ export CPU_AFFINITY_CONF=<mode>,npu<value1>:<value2>-<value3> | |||
| 180 | conda create -n test python=3.10 | 180 | conda create -n test python=3.10 |
| 181 | conda activate test | 181 | conda activate test |
| 182 | 182 | ||
| 183 | - # 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包 | 183 | + # 安装 torch 和 TorchNPU，注意要选择对应python版本、x86或arm的torch、TorchNPU及apex包 |
| 184 | # 下载路径参考 https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0001.html | 184 | # 下载路径参考 https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0001.html |
| 185 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 185 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 186 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl | 186 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl |
| @@ -75,7 +75,7 @@ MindSpeed-MM 训练逻辑整体沿用 Megatron 风格，各类模型统一使用 | |||
| 75 | 75 | ||
| 76 | 请参考 [环境搭建](https://mindspeed-mm.readthedocs.io/zh-cn/latest/quick_start/%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.html) 章节，完成 HDK、CANN、PyTorch 和 TorchNPU 基础环境搭建； | 76 | 请参考 [环境搭建](https://mindspeed-mm.readthedocs.io/zh-cn/latest/quick_start/%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.html) 章节，完成 HDK、CANN、PyTorch 和 TorchNPU 基础环境搭建； |
| 77 | 77 | ||
| 78 | -> Python 版本推荐 3.10，torch 和 torch_npu 版本推荐 2.7.1 版本 | 78 | +> Python 版本推荐 3.10，torch 和 TorchNPU 版本推荐 2.7.1 版本 |
| 79 | 79 | ||
| 80 | ```bash | 80 | ```bash |
| 81 | git clone https://gitcode.com/Ascend/MindSpeed-MM.git | 81 | git clone https://gitcode.com/Ascend/MindSpeed-MM.git |
| @@ -28,7 +28,7 @@ MindSpeed-MM提供了Profiling采集工具，支持静态采集和动态采集 | |||
| 28 | 28 | ||
| 29 | - 模型名称、参数量、分布式策略（TP/PP/DP/EP/SP设置） | 29 | - 模型名称、参数量、分布式策略（TP/PP/DP/EP/SP设置） |
| 30 | - 训练配置（batch size、序列长度、梯度累积步数） | 30 | - 训练配置（batch size、序列长度、梯度累积步数） |
| 31 | -- NPU型号、集群规模、CANN/torch_npu插件版本号 | 31 | +- NPU型号、集群规模、CANN/TorchNPU插件版本号 |
| 32 | - 是否开启重计算、激活值卸载等特性 | 32 | - 是否开启重计算、激活值卸载等特性 |
| 33 | 33 | ||
| 34 | ## 性能分析流程 | 34 | ## 性能分析流程 |
| @@ -108,7 +108,7 @@ MindSpeed-MM提供了多种性能调优特性，可根据实际场景选择合 | |||
| 108 | 108 | ||
| 109 | #### CPU绑核 | 109 | #### CPU绑核 |
| 110 | 110 | ||
| 111 | -Ascend Extension for PyTorch（torch_npu插件）提供了`CPU_AFFINITY_CONF`环境变量，用于控制CPU端任务绑核，减少上下文切换和跨NUMA访问延迟：`0`或未设置表示不启用；`1`表示开启粗粒度绑核；`2`表示开启细粒度绑核。开启绑核后，还可选地为指定NPU卡自定义绑核区间，例如`export CPU_AFFINITY_CONF=1,npu0:192-215,npu1:216-239,npu2:0-23,npu3:24-47`。详见[环境变量参考](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/EnvVariables/docs/zh/environment_variable_reference/CPU_AFFINITY_CONF.md)。 | 111 | +TorchNPU提供了`CPU_AFFINITY_CONF`环境变量，用于控制CPU端任务绑核，减少上下文切换和跨NUMA访问延迟：`0`或未设置表示不启用；`1`表示开启粗粒度绑核；`2`表示开启细粒度绑核。开启绑核后，还可选地为指定NPU卡自定义绑核区间，例如`export CPU_AFFINITY_CONF=1,npu0:192-215,npu1:216-239,npu2:0-23,npu3:24-47`。详见[环境变量参考](https://www.hiascend.com/document/detail/zh/Pytorch/730/comref/EnvVariables/docs/zh/environment_variable_reference/CPU_AFFINITY_CONF.md)。 |
| 112 | 112 | ||
| 113 | #### 调度下发优化 | 113 | #### 调度下发优化 |
| 114 | 114 | ||
| @@ -152,7 +152,7 @@ Python的垃圾回收（GC）机制可能导致训练性能抖动。当观察到 | |||
| 152 | 152 | ||
| 153 | - **重计算（recompute）**：通过`recompute`参数开启、`recompute_plan.apply_modules`指定重计算的模块（使用模块路径匹配，支持精确路径、通配符和正则表达式，可精确到实例级别）。详见[FSDP2迁移指南](../features/fsdp2_developer_migration_guide.md)。 | 153 | - **重计算（recompute）**：通过`recompute`参数开启、`recompute_plan.apply_modules`指定重计算的模块（使用模块路径匹配，支持精确路径、通配符和正则表达式，可精确到实例级别）。详见[FSDP2迁移指南](../features/fsdp2_developer_migration_guide.md)。 |
| 154 | - **fully_shard切分粒度优化**：默认情况下FSDP2对每个Block单独做fully_shard，产生多次小参数通信。对于参数量较大的子模块（如MoE experts），可以通过`parallel.fsdp_plan.apply_modules`指定其单独切分，减少通信算子调用次数。详见[FSDP2迁移指南](../features/fsdp2_developer_migration_guide.md)。 | 154 | - **fully_shard切分粒度优化**：默认情况下FSDP2对每个Block单独做fully_shard，产生多次小参数通信。对于参数量较大的子模块（如MoE experts），可以通过`parallel.fsdp_plan.apply_modules`指定其单独切分，减少通信算子调用次数。详见[FSDP2迁移指南](../features/fsdp2_developer_migration_guide.md)。 |
| 155 | -- **Cast优化**：模型中可能存在不必要的精度转换（Cast）操作，主要涉及：(1) RMSNorm内部已使用fp32高精度实现，外部无需额外转fp32；(2) MoE routing（Unpermute）torch_npu插件已修复相关bug，输入已支持output为bf16、routing_weight为fp32的组合，无需额外Cast。在Qwen3.5 MoE模型上，消融RMSNorm + Unpermute处的Cast约有5%性能收益；消融RMSNorm + Unpermute + RMSNormGated处的Cast约有10%性能收益。收益视模型结构而定，修改前应验证精度对齐。 | 155 | +- **Cast优化**：模型中可能存在不必要的精度转换（Cast）操作，主要涉及：(1) RMSNorm内部已使用fp32高精度实现，外部无需额外转fp32；(2) MoE routing（Unpermute）TorchNPU插件已修复相关bug，输入已支持output为bf16、routing_weight为fp32的组合，无需额外Cast。在Qwen3.5 MoE模型上，消融RMSNorm + Unpermute处的Cast约有5%性能收益；消融RMSNorm + Unpermute + RMSNormGated处的Cast约有10%性能收益。收益视模型结构而定，修改前应验证精度对齐。 |
| 156 | 156 | ||
| 157 | ### MCORE（Megatron）后端特性 | 157 | ### MCORE（Megatron）后端特性 |
| 158 | 158 | ||
| @@ -17,6 +17,18 @@ MindSpeed MM同时支持多模态生成和多模态理解模型，下面分别 | |||
| 17 | mkdir ckpt | 17 | mkdir ckpt |
| 18 | ``` | 18 | ``` |
| 19 | 19 | ||
| 20 | +> [!NOTE] | ||
| 21 | +> | ||
| 22 | +> MindSpeed MM支持<term>Ascend 950 系列产品</term>、<term>Atlas A3 训练系列产品</term>和<term>Atlas A2 训练系列产品</term>，且要求单NPU的片上内存为64GB及以上 | ||
| 23 | +> | ||
| 24 | +> 当前示例脚本中`NPUS_PER_NODE=8`表示需要8个NPU，如果实际情况低于此配置，可能遇到OOM问题。 | ||
| 25 | + | ||
| 26 | +开发者入门基础： | ||
| 27 | + | ||
| 28 | +- 具备基础的PyTorch使用经验 | ||
| 29 | +- 具备初级的Python开发经验 | ||
| 30 | +- 对Megatron-LM仓库有基本的了解 | ||
| 31 | + | ||
| 20 | ### 权重下载及转换 | 32 | ### 权重下载及转换 |
| 21 | 33 | ||
| 22 | 1. 权重下载 | 34 | 1. 权重下载 |
| @@ -459,7 +471,7 @@ dataset | |||
| 459 | ```shell | 471 | ```shell |
| 460 | mm-convert WanConverter mm_to_hf \ | 472 | mm-convert WanConverter mm_to_hf \ |
| 461 | --cfg.source_path <path for your saved weight/> \ | 473 | --cfg.source_path <path for your saved weight/> \ |
| 462 | ---cfg.target_path ./converted_weights/Wan2.1-T2V-1.3B-Diffusers/transformer/ | 474 | +--cfg.target_path ./converted_weights/Wan2.1-T2V-1.3B-Diffusers/transformer/ \ |
| 463 | --cfg.hf_dir weights/Wan2.1-T2V-1.3B-Diffusers/transformer/ | 475 | --cfg.hf_dir weights/Wan2.1-T2V-1.3B-Diffusers/transformer/ |
| 464 | ``` | 476 | ``` |
| 465 | 477 | ||
| @@ -13,6 +13,20 @@ FSDP2（Fully Sharded Data Parallel 2）沿数据并行维对参数、梯度、 | |||
| 13 | - **权重格式**：使用 DCP（PyTorch 分布式检查点）格式，配合 meta init 初始化降低峰值显存； | 13 | - **权重格式**：使用 DCP（PyTorch 分布式检查点）格式，配合 meta init 初始化降低峰值显存； |
| 14 | - **可扩展**：在分片基础上可叠加 Ulysses 上下文并行、MoE 专家并行等。 | 14 | - **可扩展**：在分片基础上可叠加 Ulysses 上下文并行、MoE 专家并行等。 |
| 15 | 15 | ||
| 16 | +> [!NOTE] | ||
| 17 | +> | ||
| 18 | +> MindSpeed MM支持<term>Ascend 950 系列产品</term>、<term>Atlas A3 训练系列产品</term>和<term>Atlas A2 训练系列产品</term>，且要求单NPU的片上内存为64GB及以上。 | ||
| 19 | +> | ||
| 20 | +> 当前示例脚本中`NPUS_PER_NODE=16`表示需要16个NPU，如果实际情况低于此配置，可能遇到OOM问题。 | ||
 | |||
| 21 | +> | ||
| 22 | +> 若使用其他模型，建议参考具体脚本的实际参数。 | ||
| 23 | + | ||
| 24 | +开发者入门基础： | ||
| 25 | + | ||
| 26 | +- 具备基础的PyTorch使用经验 | ||
| 27 | +- 具备初级的Python开发经验 | ||
| 28 | +- 对FSDP（Fully Sharded Data Parallel，全分片数据并行）有基本了解 | ||
| 29 | + | ||
| 16 | ## 环境准备 | 30 | ## 环境准备 |
| 17 | 31 | ||
| 18 | 1. 基于PyTorch框架和Python3.10完成模型训练环境的安装，具体请参见[MindSpeed MM安装指导](install_guide.md)。 | 32 | 1. 基于PyTorch框架和Python3.10完成模型训练环境的安装，具体请参见[MindSpeed MM安装指导](install_guide.md)。 |
| @@ -193,20 +207,3 @@ mm-convert GenericDCPConverter dcp_to_hf \ | |||
| 193 | > 完整参数以 `mm-convert GenericDCPConverter dcp_to_hf -h` 为准。 | 207 | > 完整参数以 `mm-convert GenericDCPConverter dcp_to_hf -h` 为准。 |
| 194 | 208 | ||
| 195 | 如只想低成本微调，可改用 LoRA（可参考 [LoRA 微调（FSDP2）](../features/lora_finetune_fsdp2.md)）。 | 209 | 如只想低成本微调，可改用 LoRA（可参考 [LoRA 微调（FSDP2）](../features/lora_finetune_fsdp2.md)）。 |
| 196 | - | ||
| 197 | -## 支持 FSDP2 的模型样例 | ||
| 198 | - | ||
| 199 | -下列模型提供了可参照本文流程的 FSDP2 微调样例，具体命令可查阅各自 `examples/<模型>/` 下的 README： | ||
| 200 | - | ||
| 201 | -| 模型 | 大致任务 | 样例目录 | | ||
| 202 | -|---|---|---| | ||
| 203 | -| Qwen3-VL | 图文理解（MoE） | `examples/qwen3vl/` | | ||
| 204 | -| Qwen3.5 系列 | 图文理解 | `examples/qwen3_5/` | | ||
| 205 | -| Qwen3.6 系列 | 图文理解 | `examples/qwen3_6/` | | ||
| 206 | -| Qwen3-Omni | 全模态 | `examples/qwen3omni/` | | ||
| 207 | -| Qwen3-TTS | 语音合成 | `examples/qwen3tts/` | | ||
| 208 | -| Kimi-K2.5 | 多模态 | `examples/kimik2_5/` | | ||
| 209 | -| LTX2 | 视频生成 | `examples/ltx2/` | | ||
| 210 | -| MiMo-V2.5 | 多模态 | `examples/mimov2_5/` | | ||
| 211 | -| CosyVoice3 | 语音 | `examples/cosyvoice3/` | | ||
| 212 | -| FunASR | 语音识别 | `examples/funasr/` | | ||
| @@ -40,7 +40,7 @@ | |||
| 40 | 40 | ||
| 41 | **表 1** MindSpeed MM配套表 | 41 | **表 1** MindSpeed MM配套表 |
| 42 | 42 | ||
| 43 | -| MindSpeed MM版本 | MindSpeed Core代码分支名称 | Megatron版本 | PyTorch版本 | Ascend Extension for PyTorch版本 | CANN版本 | Triton-Ascend版本 | Python版本 | | 43 | +| MindSpeed MM版本 | MindSpeed Core代码分支名称 | Megatron版本 | PyTorch版本 | TorchNPU版本 | CANN版本 | Triton-Ascend版本 | Python版本 | |
| 44 | | ---------------- | ------------------ | ------------ | ----------- | ------------- |--------------------- |-----------------| ------------------- | | 44 | | ---------------- | ------------------ | ------------ | ----------- | ------------- |--------------------- |-----------------| ------------------- | |
| 45 | | 26.1.0 | 26.1.0_core_r0.12.1 | core_v0.12.1 | 2.7.1 | 26.1.0 | 9.1.0 | 3.2.1 | Python3.10 | | 45 | | 26.1.0 | 26.1.0_core_r0.12.1 | core_v0.12.1 | 2.7.1 | 26.1.0 | 9.1.0 | 3.2.1 | Python3.10 | |
| 46 | | 26.0.0 | 26.0.0_core_r0.12.1 | core_v0.12.1 | 2.7.1 | 26.0.0 | 9.0.0 | 3.2.1 | Python3.10 | | 46 | | 26.0.0 | 26.0.0_core_r0.12.1 | core_v0.12.1 | 2.7.1 | 26.0.0 | 9.0.0 | 3.2.1 | Python3.10 | |
| @@ -182,9 +182,9 @@ | |||
| 182 | ## 配套文档 | 182 | ## 配套文档 |
| 183 | 183 | ||
| 184 | |文档名称|内容简介|更新说明| | 184 | |文档名称|内容简介|更新说明| |
| 185 | -|--|--|--| | ||
| 186 | |《[MindSpeed MM安装指导](../zh/pytorch/install_guide.md)》|指导用户如何在NPU上基于PyTorch完成MindSpeed MM的安装，内容涵盖硬件与操作系统兼容性说明、驱动固件及CANN基础软件安装，以及基于PyTorch框架下的完整安装流程，帮助用户快速搭建多模态模型训练环境。|-| | 185 | |《[MindSpeed MM安装指导](../zh/pytorch/install_guide.md)》|指导用户如何在NPU上基于PyTorch完成MindSpeed MM的安装，内容涵盖硬件与操作系统兼容性说明、驱动固件及CANN基础软件安装，以及基于PyTorch框架下的完整安装流程，帮助用户快速搭建多模态模型训练环境。|-| |
| 187 | -|《[MindSpeed MM快速入门](../zh/pytorch/quickstart.md)》|以Wan2.1和Qwen2.5-VL为例，指导开发者在PyTorch框架下完成Wan2.1和Qwen2.5-VL模型的微调，帮助用户快速上手多模态模型训练。|-| | 186 | +|《[MindSpeed MM快速入门（基于Megatron训练后端）](../zh/pytorch/quickstart.md)》|以Wan2.1和Qwen2.5-VL为例，指导开发者基于Megatron训练后端完成微调任务，帮助用户快速上手多模态模型训练。|-| |
| 187 | +|《[MindSpeed MM快速入门（基于FSDP2训练后端）](../zh/pytorch/quickstart_fsdp2.md)》|以Qwen3-VL-30B，指导开发者基于FSDP2训练后端完成微调任务，帮助用户快速上手多模态模型训练。|-| | ||
| 188 | 188 | ||
| 189 | ## 病毒扫描及漏洞修补列表 | 189 | ## 病毒扫描及漏洞修补列表 |
| 190 | 190 | ||
| @@ -192,9 +192,9 @@ | |||
| 192 | 192 | ||
| 193 | |防病毒软件名称|防病毒软件版本|病毒库版本|扫描时间|扫描结果| | 193 | |防病毒软件名称|防病毒软件版本|病毒库版本|扫描时间|扫描结果| |
| 194 | |---|---|---|---|---| | 194 | |---|---|---|---|---| |
| 195 | -|QiAnXin|8.0.5.5260|2026-04-01 08:00:00.0|2026-04-02|无病毒，无恶意| | 195 | +|QiAnXin|8.0.5.5260|2026-07-05 08:00:00.0|2026-07-06|无病毒，无恶意| |
| 196 | -|Kaspersky|12.0.0.6672|2026-04-02 10:05:00|2026-04-02|无病毒，无恶意| | 196 | +|Kaspersky|12.0.0.6672|2026-07-06 10:03:00|2026-07-06|无病毒，无恶意| |
| 197 | -|Bitdefender|7.5.1.200224|7.100588|2026-04-02|无病毒，无恶意| | 197 | +|Bitdefender|7.5.1.200224|7.101158|2026-07-06|无病毒，无恶意| |
| 198 | 198 | ||
| 199 | ### 漏洞修补列表 | 199 | ### 漏洞修补列表 |
| 200 | 200 | ||
| @@ -38,7 +38,7 @@ | |||
| 38 | ``` | 38 | ``` |
| 39 | 39 | ||
| 40 | 2. 对照 [版本配套说明](release_notes_mm.md#相关产品版本配套说明) 确认版本是否配套 | 40 | 2. 对照 [版本配套说明](release_notes_mm.md#相关产品版本配套说明) 确认版本是否配套 |
| 41 | -3. 检查 torch_npu 版本是否与 CANN 版本匹配： | 41 | +3. 检查 TorchNPU 版本是否与 CANN 版本匹配： |
| 42 | 42 | ||
| 43 | ```bash | 43 | ```bash |
| 44 | python -c "import torch_npu; print(torch_npu.__version__)" | 44 | python -c "import torch_npu; print(torch_npu.__version__)" |
| @@ -246,7 +246,7 @@ | |||
| 246 | 246 | ||
| 247 | **排查步骤**： | 247 | **排查步骤**： |
| 248 | 248 | ||
| 249 | -1. Docker 镜像仅预装 torch、torch_npu 和 decord 基础依赖 | 249 | +1. Docker 镜像仅预装 torch、TorchNPU 和 decord 基础依赖 |
| 250 | 2. 根据目标模型的 README 在 base 环境中手动安装额外依赖 | 250 | 2. 根据目标模型的 README 在 base 环境中手动安装额外依赖 |
| 251 | 3. 参考 [Docker 使用](../../docker/OVERVIEW.zh.md) | 251 | 3. 参考 [Docker 使用](../../docker/OVERVIEW.zh.md) |
| 252 | 252 | ||
| @@ -39,7 +39,7 @@ commit_id = 57c390 | |||
| 39 | 【模型开发时推荐使用配套的环境版本】 | 39 | 【模型开发时推荐使用配套的环境版本】 |
| 40 | 40 | ||
| 41 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 41 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 42 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 42 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 43 | 43 | ||
| 44 | <a id="jump1.1"></a> | 44 | <a id="jump1.1"></a> |
| 45 | 45 | ||
| @@ -207,6 +207,6 @@ bagel_example | |||
| 207 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 207 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 208 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 208 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 209 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 209 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 210 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 210 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 211 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 211 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 212 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | 212 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） |
| @@ -141,7 +141,7 @@ bash examples/cosyvoice3/finetune_cosyvoice3.sh | |||
| 141 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 141 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 142 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 142 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 143 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 143 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 144 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 144 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 145 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 145 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 146 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 146 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 147 | 147 | ||
| @@ -71,7 +71,7 @@ conda activate test | |||
| 71 | 71 | ||
| 72 | # 对于x86的设备，若遇到有关torchvision的导包问题，建议优先检查环境中的torchvision版本是否为`+cpu`版本，建议使用以下源配置解决此类问题 | 72 | # 对于x86的设备，若遇到有关torchvision的导包问题，建议优先检查环境中的torchvision版本是否为`+cpu`版本，建议使用以下源配置解决此类问题 |
| 73 | # pip config set global.extra-index-url "https://download.pytorch.org/whl/cpu/ https://mirrors.huaweicloud.com/ascend/repos/pypi" | 73 | # pip config set global.extra-index-url "https://download.pytorch.org/whl/cpu/ https://mirrors.huaweicloud.com/ascend/repos/pypi" |
| 74 | -# 安装torch和torch_npu | 74 | +# 安装torch和TorchNPU |
| 75 | pip install torch-2.7.1+cpu-cp310-cp310-*.whl | 75 | pip install torch-2.7.1+cpu-cp310-cp310-*.whl |
| 76 | pip install torch_npu-2.7.1*.whl | 76 | pip install torch_npu-2.7.1*.whl |
| 77 | 77 | ||
| @@ -41,7 +41,7 @@ commit_id=c548f2e60d409fc1d92208472c0f2389998af632 | |||
| 41 | 41 | ||
| 42 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md) | 42 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md) |
| 43 | 43 | ||
| 44 | -> 注意：Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 44 | +> 注意：Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 45 | 45 | ||
| 46 | <a id="jump1.1"></a> | 46 | <a id="jump1.1"></a> |
| 47 | 47 | ||
| @@ -162,6 +162,6 @@ $playground | |||
| 162 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 162 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 163 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 163 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 164 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 164 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 165 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 165 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 166 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 166 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 167 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 167 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -49,7 +49,7 @@ Qwen Image Edit 是基于 Qwen Image 基础模型扩展的图像编辑功能， | |||
| 49 | 1. 软件与驱动安装 | 49 | 1. 软件与驱动安装 |
| 50 | 50 | ||
| 51 | ```bash | 51 | ```bash |
| 52 | - # 创建并激活python环境，安装 torch 和 torch_npu，请参考上述安装指南 | 52 | + # 创建并激活python环境，安装 torch 和 TorchNPU，请参考上述安装指南 |
| 53 | 53 | ||
| 54 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 | 54 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 |
| 55 | source /usr/local/Ascend/cann/set_env.sh | 55 | source /usr/local/Ascend/cann/set_env.sh |
| @@ -48,7 +48,7 @@ | |||
| 48 | 1. 软件与驱动安装 | 48 | 1. 软件与驱动安装 |
| 49 | 49 | ||
| 50 | ```bash | 50 | ```bash |
| 51 | - # 安装 torch 和 torch_npu，参考上述安装指南进行安装 | 51 | + # 安装 torch 和 TorchNPU，参考上述安装指南进行安装 |
| 52 | 52 | ||
| 53 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 | 53 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 |
| 54 | source /usr/local/Ascend/cann/set_env.sh | 54 | source /usr/local/Ascend/cann/set_env.sh |
| @@ -42,7 +42,7 @@ | |||
| 42 | 1. 软件与驱动安装 | 42 | 1. 软件与驱动安装 |
| 43 | 43 | ||
| 44 | ```bash | 44 | ```bash |
| 45 | - # 安装 torch 和 torch_npu，参考上述安装指南进行安装 | 45 | + # 安装 torch 和 TorchNPU，参考上述安装指南进行安装 |
| 46 | 46 | ||
| 47 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 | 47 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 |
| 48 | source /usr/local/Ascend/cann/set_env.sh | 48 | source /usr/local/Ascend/cann/set_env.sh |
| @@ -45,7 +45,7 @@ | |||
| 45 | 1. 软件与驱动安装 | 45 | 1. 软件与驱动安装 |
| 46 | 46 | ||
| 47 | ```bash | 47 | ```bash |
| 48 | - # 安装 torch 和 torch_npu，参考上述安装指南进行安装 | 48 | + # 安装 torch 和 TorchNPU，参考上述安装指南进行安装 |
| 49 | 49 | ||
| 50 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 | 50 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 |
| 51 | source /usr/local/Ascend/cann/set_env.sh | 51 | source /usr/local/Ascend/cann/set_env.sh |
| @@ -49,7 +49,7 @@ Qwen Image是基于 MMDiT 扩散骨干与 Qwen2.5-VL 文本编码器构建的多 | |||
| 49 | 1. 软件与驱动安装 | 49 | 1. 软件与驱动安装 |
| 50 | 50 | ||
| 51 | ```bash | 51 | ```bash |
| 52 | - # 创建并激活python环境，安装 torch 和 torch_npu，请参考上述安装指南 | 52 | + # 创建并激活python环境，安装torch和TorchNPU，请参考上述安装指南 |
| 53 | 53 | ||
| 54 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 | 54 | # 将shell脚本中的环境变量路径修改为真实路径，下面为参考路径 |
| 55 | source /usr/local/Ascend/cann/set_env.sh | 55 | source /usr/local/Ascend/cann/set_env.sh |
| @@ -45,7 +45,7 @@ | |||
| 45 | conda create -n test python=3.10 | 45 | conda create -n test python=3.10 |
| 46 | conda activate test | 46 | conda activate test |
| 47 | 47 | ||
| 48 | - # 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包 | 48 | + # 安装 torch 和 TorchNPU，注意要选择对应python版本、x86或arm的torch、TorchNPU及apex包 |
| 49 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 49 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 50 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl | 50 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl |
| 51 | 51 | ||
| @@ -46,7 +46,7 @@ | |||
| 46 | conda create -n test python=3.10 | 46 | conda create -n test python=3.10 |
| 47 | conda activate test | 47 | conda activate test |
| 48 | 48 | ||
| 49 | - # 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包 | 49 | + # 安装 torch 和 TorchNPU，注意要选择对应python版本、x86或arm的torch、TorchNPU及apex包 |
| 50 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 50 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 51 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl | 51 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl |
| 52 | 52 | ||
| @@ -173,7 +173,7 @@ bash examples/funasr/finetune_funasr.sh | |||
| 173 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 173 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 174 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 174 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 175 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 175 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 176 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 176 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 177 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 177 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 178 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 178 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 179 | 179 | ||
| @@ -47,12 +47,12 @@ commit_id=8cb5963 | |||
| 47 | 【模型开发时推荐使用配套的环境版本】 | 47 | 【模型开发时推荐使用配套的环境版本】 |
| 48 | 48 | ||
| 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 50 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 50 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 51 | 51 | ||
| 52 | -‼️MoE部分的加速特性依赖较新版本的torch_npu和CANN，推荐使用以下版本 | 52 | +‼️MoE部分的加速特性依赖较新版本的TorchNPU和CANN，推荐使用以下版本 |
| 53 | 53 | ||
| 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) | 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) |
| 55 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) | 55 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) |
| 56 | 56 | ||
| 57 | <a id="jump1.2"></a> | 57 | <a id="jump1.2"></a> |
| 58 | 58 | ||
| @@ -303,7 +303,7 @@ mm-convert ExpertMergeDcpConverter dcp_to_hf --hf_dir "ckpt/hf_path/GLM-4.5V" -- | |||
| 303 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 303 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 304 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 304 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 305 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 305 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 306 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 306 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 307 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 307 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 308 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 308 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 309 | 309 | ||
| @@ -337,6 +337,6 @@ SSTA（Selective and Sliding Tile Attention）是HunyuanVideo1.5中提出的一 | |||
| 337 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 337 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 338 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 338 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 339 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 339 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 340 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 340 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 341 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 341 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 342 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 342 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -55,7 +55,7 @@ commit_id=2410d1db | |||
| 55 | 【模型开发时推荐使用配套的环境版本】 | 55 | 【模型开发时推荐使用配套的环境版本】 |
| 56 | 56 | ||
| 57 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 57 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 58 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 58 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 59 | 59 | ||
| 60 | <a id="jump1.2"></a> | 60 | <a id="jump1.2"></a> |
| 61 | 61 | ||
| @@ -350,6 +350,6 @@ mm-convert ExpertMergeDcpConverter dcp_to_hf --hf_dir "ckpt/hf_path/InternVL3_5- | |||
| 350 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 350 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 351 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 351 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 352 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 352 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 353 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 353 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 354 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 354 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 355 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 355 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -69,12 +69,12 @@ commit_id=28c3c73fe557666c3de176e1e50a5220152ccfca | |||
| 69 | 【模型开发时推荐使用配套的环境版本】 | 69 | 【模型开发时推荐使用配套的环境版本】 |
| 70 | 70 | ||
| 71 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 71 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 72 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 72 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 73 | 73 | ||
| 74 | -‼️部分特性依赖较新版本的torch_npu和CANN，推荐使用以下版本 | 74 | +‼️部分特性依赖较新版本的TorchNPU和CANN，推荐使用以下版本 |
| 75 | 75 | ||
| 76 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) | 76 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) |
| 77 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) | 77 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) |
| 78 | 78 | ||
| 79 | <a id="jump1.2"></a> | 79 | <a id="jump1.2"></a> |
| 80 | 80 | ||
| @@ -48,7 +48,7 @@ commit_id=68119e5 | |||
| 48 | 【模型开发时推荐使用配套的环境版本】 | 48 | 【模型开发时推荐使用配套的环境版本】 |
| 49 | 49 | ||
| 50 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 50 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 51 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 51 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 52 | 52 | ||
| 53 | <a id="jump1.2"></a> | 53 | <a id="jump1.2"></a> |
| 54 | 54 | ||
| @@ -286,6 +286,6 @@ mm-convert Mistral3Converter merge_mm_lora_dcp_weight_to_base_hf \ | |||
| 286 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 286 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 287 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 287 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 288 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 288 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 289 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 289 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 290 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 290 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 291 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 291 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -361,6 +361,6 @@ bash examples/mindspore/qwen3vl/finetune_qwen3vl_xxB.sh | |||
| 361 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 361 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 362 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 362 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 363 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 363 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 364 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 364 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 365 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 365 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 366 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 366 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -353,6 +353,6 @@ mm-convert WanConverter merge_lora_to_base \ | |||
| 353 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 353 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 354 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 354 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 355 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 355 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 356 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 356 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 357 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 357 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 358 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 358 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -223,7 +223,7 @@ mm-convert MOSSTTSConverter dcp_to_hf \ | |||
| 223 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 223 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 224 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词`True`: 开启并行分词 | | 224 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词`True`: 开启并行分词 | |
| 225 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用`1`: 开启多流内存复用 | | 225 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用`1`: 开启多流内存复用 | |
| 226 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测`1`: 表示开启特征值检测，只打印异常日志，不告警`2`:开启特征值检测，并告警`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 226 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测`1`: 表示开启特征值检测，只打印异常日志，不告警`2`:开启特征值检测，并告警`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 227 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行`1`: 强制算子采用同步模式运行 | | 227 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行`1`: 强制算子采用同步模式运行 | |
| 228 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 228 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 229 | 229 | ||
| @@ -535,7 +535,7 @@ LoRA为框架通用能力，当前功能已支持，可参考[LoRA特性文档]( | |||
| 535 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 535 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 536 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 536 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 537 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 537 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 538 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 538 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 539 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 539 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 540 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 540 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 541 | 541 | ||
| @@ -873,7 +873,7 @@ bash examples/qwen2.5vl/evaluate_qwen2_5_vl_7b.sh | |||
| 873 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 873 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 874 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 874 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 875 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 875 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 876 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 876 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 877 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 877 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 878 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量。MindSpeed MM支持Ascend 950 系列产品、Atlas A3 训练系列产品和Atlas A2 训练系列产品，且要求单NPU的片上内存为64GB及以上。如果示例脚本中NPUS_PER_NODE=8, 表示需要8个NPU，如果实际情况低于此配置，可能遇到OOM问题 | 整数值（如 `1`, `8` 等） | | 878 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量。MindSpeed MM支持Ascend 950 系列产品、Atlas A3 训练系列产品和Atlas A2 训练系列产品，且要求单NPU的片上内存为64GB及以上。如果示例脚本中NPUS_PER_NODE=8, 表示需要8个NPU，如果实际情况低于此配置，可能遇到OOM问题 | 整数值（如 `1`, `8` 等） | |
| 879 | 879 | ||
| @@ -47,12 +47,12 @@ commit_id=fc91372 | |||
| 47 | 【模型开发时推荐使用配套的环境版本】 | 47 | 【模型开发时推荐使用配套的环境版本】 |
| 48 | 48 | ||
| 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 50 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本，CANN推荐使用8.5.2版本； | 50 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本，CANN推荐使用8.5.2版本； |
| 51 | 51 | ||
| 52 | -‼️MoE部分的加速特性依赖较新版本的torch_npu和CANN，推荐使用以下版本 | 52 | +‼️MoE部分的加速特性依赖较新版本的TorchNPU和CANN，推荐使用以下版本 |
| 53 | 53 | ||
| 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) | 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) |
| 55 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) | 55 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) |
| 56 | 56 | ||
| 57 | <a id="jump1.2"></a> | 57 | <a id="jump1.2"></a> |
| 58 | 58 | ||
| @@ -324,7 +324,7 @@ bash examples/qwen3_5/finetune_qwen3_5_xxB.sh | |||
| 324 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 324 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 325 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 325 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 326 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 326 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 327 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 327 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 328 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 328 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 329 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 329 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 330 | 330 | ||
| @@ -45,7 +45,7 @@ commit_id=7d9754a | |||
| 45 | 【模型开发时推荐使用配套的环境版本】 | 45 | 【模型开发时推荐使用配套的环境版本】 |
| 46 | 46 | ||
| 47 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 47 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 48 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本，CANN推荐使用8.5.2版本； | 48 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本，CANN推荐使用8.5.2版本； |
| 49 | 49 | ||
| 50 | ### 2. 环境搭建 | 50 | ### 2. 环境搭建 |
| 51 | 51 | ||
| @@ -352,7 +352,7 @@ bash examples/qwen3_6/finetune_qwen3_6_35B_A3B.sh | |||
| 352 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 352 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 353 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 353 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 354 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 354 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 355 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 355 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 356 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 356 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 357 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 357 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 358 | 358 | ||
| @@ -187,7 +187,7 @@ bash examples/qwen3_asr/finetune_qwen3_asr_1.7B.sh | |||
| 187 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 187 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 188 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 188 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 189 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 189 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 190 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 190 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 191 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 191 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 192 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 192 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 193 | 193 | ||
| @@ -50,12 +50,12 @@ commit_id=7a833d1 | |||
| 50 | 【模型开发时推荐使用配套的环境版本】 | 50 | 【模型开发时推荐使用配套的环境版本】 |
| 51 | 51 | ||
| 52 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 52 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 53 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 53 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 54 | 54 | ||
| 55 | 推荐使用以下版本 | 55 | 推荐使用以下版本 |
| 56 | 56 | ||
| 57 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) | 57 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) |
| 58 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) | 58 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) |
| 59 | 59 | ||
| 60 | <a id="jump1.2"></a> | 60 | <a id="jump1.2"></a> |
| 61 | 61 | ||
| @@ -583,7 +583,7 @@ bash examples/qwen3omni/finetune_qwen3omni.sh | |||
| 583 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 583 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 584 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 584 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 585 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 585 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 586 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 586 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 587 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 587 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 588 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 588 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 589 | 589 | ||
| @@ -49,7 +49,7 @@ commit_id=7a833d1 | |||
| 49 | 【模型开发时推荐使用配套的环境版本】 | 49 | 【模型开发时推荐使用配套的环境版本】 |
| 50 | 50 | ||
| 51 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 51 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 52 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 52 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 53 | 53 | ||
| 54 | <a id="jump1.2"></a> | 54 | <a id="jump1.2"></a> |
| 55 | 55 | ||
| @@ -356,7 +356,7 @@ bash examples/qwen3omni/finetune_qwen3omni_v1.sh | |||
| 356 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 356 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 357 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 357 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 358 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 358 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 359 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 359 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 360 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 360 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 361 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 361 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 362 | 362 | ||
| @@ -247,7 +247,7 @@ mm-convert Qwen3TTSConverter dcp_to_hf \ | |||
| 247 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 247 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 248 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 248 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 249 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 249 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 250 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 250 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 251 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 251 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 252 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 252 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 253 | 253 | ||
| @@ -47,12 +47,12 @@ commit_id=c0dbe09 | |||
| 47 | 【模型开发时推荐使用配套的环境版本】 | 47 | 【模型开发时推荐使用配套的环境版本】 |
| 48 | 48 | ||
| 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 49 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 50 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 50 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 51 | 51 | ||
| 52 | -‼️MoE部分的加速特性依赖较新版本的torch_npu和CANN，推荐使用以下版本 | 52 | +‼️MoE部分的加速特性依赖较新版本的TorchNPU和CANN，推荐使用以下版本 |
| 53 | 53 | ||
| 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) | 54 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler&Software=cannToolKit) |
| 55 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) | 55 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/insg_0004.html) |
| 56 | 56 | ||
| 57 | <a id="jump1.2"></a> | 57 | <a id="jump1.2"></a> |
| 58 | 58 | ||
| @@ -447,7 +447,7 @@ mm-convert Qwen3VLConverter hf_to_dcp \ | |||
| 447 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 447 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 448 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 448 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 449 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 449 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 450 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 450 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 451 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 451 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 452 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 452 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| 453 | 453 | ||
| @@ -45,12 +45,12 @@ commit_id=c0dbe09 | |||
| 45 | 【模型开发时推荐使用配套的环境版本】 | 45 | 【模型开发时推荐使用配套的环境版本】 |
| 46 | 46 | ||
| 47 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 47 | 请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 48 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 48 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 49 | 49 | ||
| 50 | -‼️MoE部分的加速特性依赖较新版本的torch_npu和CANN，推荐使用以下版本 | 50 | +‼️MoE部分的加速特性依赖较新版本的TorchNPU和CANN，推荐使用以下版本 |
| 51 | 51 | ||
| 52 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) | 52 | - [CANN](https://www.hiascend.com/document/detail/zh/canncommercial/850/softwareinst/instg/instg_0008.html?Mode=PmIns&InstallType=local&OS=openEuler) |
| 53 | -- [torch_npu](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) | 53 | +- [TorchNPU](https://www.hiascend.com/document/detail/zh/Pytorch/730/configandinstg/instg/docs/zh/installation_guide/installation_description.md) |
| 54 | 54 | ||
| 55 | <a id="jump1.2"></a> | 55 | <a id="jump1.2"></a> |
| 56 | 56 | ||
| @@ -38,7 +38,7 @@ | |||
| 38 | 38 | ||
| 39 | 昇腾基础软件安装请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md) | 39 | 昇腾基础软件安装请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/pytorch/install_guide.md) |
| 40 | 40 | ||
| 41 | -> Python版本推荐3.10，torch和torch_npu版本推荐2.7.1版本 | 41 | +> Python版本推荐3.10，torch和TorchNPU版本推荐2.7.1版本 |
| 42 | 42 | ||
| 43 | 1. 在工作目录执行下列命令 | 43 | 1. 在工作目录执行下列命令 |
| 44 | 44 | ||
| @@ -43,7 +43,7 @@ url=https://huggingface.co/stepfun-ai/Step3-VL-10B | |||
| 43 | 【模型开发时推荐使用配套的环境版本】 | 43 | 【模型开发时推荐使用配套的环境版本】 |
| 44 | 44 | ||
| 45 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 | 45 | 请参考[安装指南](../../docs/zh/pytorch/install_guide.md)，完成昇腾软件安装。 |
| 46 | -> Python 版本推荐 3.10，torch 和 torch_npu 版本推荐 2.7.1。 | 46 | +> Python 版本推荐 3.10，torch 和 TorchNPU 版本推荐 2.7.1。 |
| 47 | 47 | ||
| 48 | ### 2. 环境搭建 | 48 | ### 2. 环境搭建 |
| 49 | 49 | ||
| @@ -88,7 +88,7 @@ cd ../MindSpeed-MM | |||
| 88 | conda create -n test python=3.10 | 88 | conda create -n test python=3.10 |
| 89 | conda activate test | 89 | conda activate test |
| 90 | 90 | ||
| 91 | -# 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包 | 91 | +# 安装 torch 和 TorchNPU，注意要选择对应python版本、x86或arm的torch、TorchNPU及apex包 |
| 92 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 92 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 93 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl | 93 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl |
| 94 | # apex for Ascend 参考 https://gitcode.com/Ascend/apex | 94 | # apex for Ascend 参考 https://gitcode.com/Ascend/apex |
| @@ -389,6 +389,6 @@ python examples/wanvideo/model_inference/Wan-VACE-Inference.py ../inference/infe | |||
| 389 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 389 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 390 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 390 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 391 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 391 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 392 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 392 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 393 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 393 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 394 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 394 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -55,7 +55,7 @@ commit_id=97b65c63c729c61ca607315cf7084012aabc6bba | |||
| 55 | 55 | ||
| 56 | ### 1. 环境依赖 | 56 | ### 1. 环境依赖 |
| 57 | 57 | ||
| 58 | -| PyTorch版本 | torch_npu版本 | Python版本 | | 58 | +| PyTorch版本 | TorchNPU版本 | Python版本 | |
| 59 | |-----------|-------------| ---------- | | 59 | |-----------|-------------| ---------- | |
| 60 | | 2.5.1 | 2.5.1 | Python3.11 | | 60 | | 2.5.1 | 2.5.1 | Python3.11 | |
| 61 | 61 | ||
| @@ -71,7 +71,7 @@ conda activate test | |||
| 71 | # for torch-npu dev version or x86 machine [Optional] | 71 | # for torch-npu dev version or x86 machine [Optional] |
| 72 | # pip config set global.extra-index-url "https://download.pytorch.org/whl/cpu/ https://mirrors.huaweicloud.com/ascend/repos/pypi" | 72 | # pip config set global.extra-index-url "https://download.pytorch.org/whl/cpu/ https://mirrors.huaweicloud.com/ascend/repos/pypi" |
| 73 | # pip install 后缀需加上 --trusted-host download.pytorch.org --trusted-host mirrors.huaweicloud.com | 73 | # pip install 后缀需加上 --trusted-host download.pytorch.org --trusted-host mirrors.huaweicloud.com |
| 74 | -# 安装torch和torch_npu | 74 | +# 安装torch和TorchNPU |
| 75 | pip install torch-2.5.1-cp311-cp311-*.whl | 75 | pip install torch-2.5.1-cp311-cp311-*.whl |
| 76 | pip install torch_npu-2.5.1*.manylinux2014_*.whl | 76 | pip install torch_npu-2.5.1*.manylinux2014_*.whl |
| 77 | 77 | ||
| @@ -106,7 +106,7 @@ cd .. | |||
| 106 | # 安装三方库 | 106 | # 安装三方库 |
| 107 | pip install transformers==4.52.4 mathruler==0.1.0 decorator qwen-vl-utils==0.0.11 viztracer cloudpickle==2.1.0 setuptools==80.9.0 | 107 | pip install transformers==4.52.4 mathruler==0.1.0 decorator qwen-vl-utils==0.0.11 viztracer cloudpickle==2.1.0 setuptools==80.9.0 |
| 108 | 108 | ||
| 109 | -# 因安装环境可能导致覆盖，需重新安装torch_npu | 109 | +# 因安装环境可能导致覆盖，需重新安装TorchNPU |
| 110 | pip install torch_npu-2.5.1*.manylinux2014_*.whl | 110 | pip install torch_npu-2.5.1*.manylinux2014_*.whl |
| 111 | ``` | 111 | ``` |
| 112 | 112 | ||
| @@ -53,7 +53,7 @@ commit_id=7df2afb936cd37b7b3a262edc119b2a57f070e3b | |||
| 53 | 53 | ||
| 54 | ### 1. 环境依赖 | 54 | ### 1. 环境依赖 |
| 55 | 55 | ||
| 56 | -| PyTorch版本 | torch_npu版本 | Python版本 | | 56 | +| PyTorch版本 | TorchNPU版本 | Python版本 | |
| 57 | |-----------|-------------| ---------- | | 57 | |-----------|-------------| ---------- | |
| 58 | | 2.7.1 | 2.7.1 | Python3.11 | | 58 | | 2.7.1 | 2.7.1 | Python3.11 | |
| 59 | 59 | ||
| @@ -77,7 +77,7 @@ pip config set global.extra-index-url "https://mirrors.huaweicloud.com/ascend/re | |||
| 77 | # 安装cmake，如果cmake版本过低，需要升级版本，推荐3.26.4 | 77 | # 安装cmake，如果cmake版本过低，需要升级版本，推荐3.26.4 |
| 78 | conda install -c conda-forge cmake=3.26.4 | 78 | conda install -c conda-forge cmake=3.26.4 |
| 79 | 79 | ||
| 80 | -# 安装torch，torch_npu和pybind11==3.0.1 | 80 | +# 安装torch，TorchNPU和pybind11==3.0.1 |
| 81 | pip install torch-2.7.1-cp311-cp311-*.whl | 81 | pip install torch-2.7.1-cp311-cp311-*.whl |
| 82 | pip install torch_npu-2.7.1*.manylinux_*.whl | 82 | pip install torch_npu-2.7.1*.manylinux_*.whl |
| 83 | pip install pybind11==3.0.1 | 83 | pip install pybind11==3.0.1 |
| @@ -122,7 +122,7 @@ cd .. | |||
| 122 | # 安装三方库 | 122 | # 安装三方库 |
| 123 | pip install qwen-vl-utils==0.0.11 mathruler viztracer uvloop==0.21.0 setuptools==80.9.0 cloudpickle==3.1.2 | 123 | pip install qwen-vl-utils==0.0.11 mathruler viztracer uvloop==0.21.0 setuptools==80.9.0 cloudpickle==3.1.2 |
| 124 | 124 | ||
| 125 | -# 因安装环境可能导致覆盖，需重新安装torch_npu | 125 | +# 因安装环境可能导致覆盖，需重新安装TorchNPU |
| 126 | pip install torch_npu-2.7.1*.manylinux_*.whl | 126 | pip install torch_npu-2.7.1*.manylinux_*.whl |
| 127 | ``` | 127 | ``` |
| 128 | 128 | ||
| @@ -97,7 +97,7 @@ cd ../MindSpeed-MM | |||
| 97 | conda create -n test python=3.10 | 97 | conda create -n test python=3.10 |
| 98 | conda activate test | 98 | conda activate test |
| 99 | 99 | ||
| 100 | -# 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包 | 100 | +# 安装 torch 和 TorchNPU，注意要选择对应python版本、x86或arm的torch、TorchNPU及apex包 |
| 101 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl | 101 | pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl |
| 102 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl | 102 | pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl |
| 103 | # apex for Ascend 参考 https://gitcode.com/Ascend/apex | 103 | # apex for Ascend 参考 https://gitcode.com/Ascend/apex |
| @@ -608,6 +608,6 @@ bash examples/wan2.1/{model_size}/{task}/inference.sh | |||
| 608 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 608 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 609 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 609 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 610 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 610 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 611 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 611 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 612 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 612 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 613 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 613 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
| @@ -425,6 +425,6 @@ bash examples/wan2.2/{model_size}/{task}/inference.sh | |||
| 425 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | | 425 | | `ACLNN_CACHE_LIMIT` | 配置单算子执行API在Host侧缓存的算子信息条目个数 | 需要配置为整数，取值范围`[1, 10,000,000]`，默认值为`10000` | |
| 426 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | | 426 | | `TOKENIZERS_PARALLELISM` | 用于控制Hugging Face的transformers库中的分词器（tokenizer）在多线程环境下的行为 | `False`: 禁用并行分词<br>`True`: 开启并行分词 | |
| 427 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | | 427 | | `MULTI_STREAM_MEMORY_REUSE` | 配置多流内存复用是否开启 | `0`: 关闭多流内存复用<br>`1`: 开启多流内存复用 | |
| 428 | -| `NPU_ASD_ENABLE` | 控制是否开启Ascend Extension for PyTorch的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | | 428 | +| `NPU_ASD_ENABLE` | 控制是否开启TorchNPU的特征值检测功能 | 设置`0`或未设置: 关闭特征值检测<br>`1`: 表示开启特征值检测，只打印异常日志，不告警<br>`2`:开启特征值检测，并告警<br>`3`:开启特征值检测，并告警，同时会在device侧info级别日志中记录过程数据 | |
| 429 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | | 429 | | `ASCEND_LAUNCH_BLOCKING` | 控制算子执行时是否启动同步模式 | `0`: 采用异步方式执行<br>`1`: 强制算子采用同步模式运行 | |
| 430 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | | 430 | | `NPUS_PER_NODE` | 配置一个计算节点上使用的NPU数量 | 整数值（如 `1`, `8` 等） | |
🟠 High Priority
第 20 行写的是"当前示例脚本中
NPUS_PER_NODE=16表示需要8个NPU"，但NPUS_PER_NODE=16意味着每个节点需要 16 个 NPU，与后面"8个"矛盾。对比quickstart.md第 24 行，其写的是"NPUS_PER_NODE=8表示需要8个NPU"（一致），这里是复制粘贴后仅修改了变量值而未同步修改描述文字。该矛盾会直接误导用户准备错误的硬件资源，可能导致资源不足或 OOM。建议：将"8个"改为"16个"（若 FSDP2 示例确实需要16卡），或将
NPUS_PER_NODE=16改为NPUS_PER_NODE=8（若实际只需8卡），使数值前后一致。