已合并
修改mindspeed-rl-2.2.0-readme相关说明文档 #702
NIE SHIYU创建于 2025年10月14日
修改mindspeed-rl-2.2.0-readme相关说明文档 #702
已合并
共 7 个文件变更+41-23
| @@ -49,7 +49,7 @@ MindSpeed RL依赖配套如下表: | |||
| 49 | </tr> | 49 | </tr> |
| 50 | <tr> | 50 | <tr> |
| 51 | <td>Python</td> | 51 | <td>Python</td> |
| 52 | - <td><a href="https://gitcode.com/ascend/pytorch#pytorch%E4%B8%8Epython%E7%89%88%E6%9C%AC%E9%85%8D%E5%A5%97%E8%A1%A8">PT配套版本</a></td> | 52 | + <td><a href="https://gitcode.com/ascend/pytorch#pytorch%E4%B8%8Epython%E7%89%88%E6%9C%AC%E9%85%8D%E5%A5%97%E8%A1%A8">PyTorch与Python版本配套表</a></td> |
| 53 | </tr> | 53 | </tr> |
| 54 | <tr> | 54 | <tr> |
| 55 | <td>PyTorch</td> | 55 | <td>PyTorch</td> |
| @@ -64,7 +64,7 @@ MindSpeed RL依赖配套如下表: | |||
| 64 | </tr> | 64 | </tr> |
| 65 | </table> | 65 | </table> |
| 66 | 66 | ||
| 67 | -更多详情请参考[版本配套表](https://gitcode.com/ascend/MindSpeed-RL/blob/master/docs/install_guide.md#%E7%89%88%E6%9C%AC%E9%85%8D%E5%A5%97%E8%A1%A8)。 | 67 | +更多详情请参考[版本配套表](https://gitcode.com/Ascend/MindSpeed-RL/blob/2.2.0/docs/install_guide.md)。 |
| 68 | 68 | ||
| 69 | 注意:本版本为**预览非正式发布**版本。 | 69 | 注意:本版本为**预览非正式发布**版本。 |
| 70 | 70 | ||
| @@ -115,11 +115,11 @@ MindSpeed RL具体的安装请参考[安装指南](https://gitcode.com/ascend/Mi | |||
| 115 | <tr> | 115 | <tr> |
| 116 | <td><a href="https://gitcode.com/ascend/MindSpeed-MM/tree/master/examples/rl">Doc</a></td> | 116 | <td><a href="https://gitcode.com/ascend/MindSpeed-MM/tree/master/examples/rl">Doc</a></td> |
| 117 | <td rowspan="1"> | 117 | <td rowspan="1"> |
| 118 | - <a href="https://gitcode.com/ascend/MindSpeed-MM/tree/master/examples/rl">Qwen2.5VL-3B</a> <br> | 118 | + <a href="https://gitcode.com/Ascend/MindSpeed-MM/tree/2.2.0/examples/rl">Qwen2.5VL-3B</a> <br> |
| 119 | - <a href="https://gitcode.com/ascend/MindSpeed-MM/tree/master/examples/rl">Qwen2.5VL-7B</a> <br> | 119 | + <a href="https://gitcode.com/Ascend/MindSpeed-MM/tree/2.2.0/examples/rl">Qwen2.5VL-7B</a> <br> |
| 120 | - <a href="https://gitcode.com/ascend/MindSpeed-MM/tree/master/examples/rl">Qwen2.5VL-32B</a> <br> | 120 | + <a href="https://gitcode.com/Ascend/MindSpeed-MM/tree/2.2.0/examples/rl">Qwen2.5VL-32B</a> <br> |
| 121 | </td> | 121 | </td> |
| 122 | - <td> Released</td> | 122 | + <td> Preview</td> |
| 123 | </tr> | 123 | </tr> |
| 124 | <tr> | 124 | <tr> |
| 125 | <td><a href="docs/algorithms/grpo.md">Doc</a></td> | 125 | <td><a href="docs/algorithms/grpo.md">Doc</a></td> |
| @@ -326,6 +326,7 @@ MindSpeed RL已发布版本维护策略: | |||
| 326 | 326 | ||
| 327 | | **MindSpeed RL版本** | **对应标签** | **维护策略** | **当前状态** | **发布时间** | **后续状态** | **EOL日期** | | 327 | | **MindSpeed RL版本** | **对应标签** | **维护策略** | **当前状态** | **发布时间** | **后续状态** | **EOL日期** | |
| 328 | |--------------------| ------------ |----------|----------|-----------|----------|-----------| | 328 | |--------------------| ------------ |----------|----------|-----------|----------|-----------| |
| 329 | +| 2.2.0 | \ | 正式版本 | 商用 | \ | \ | 2026/03/30 | | ||
| 329 | | 2.1.0 | \ | 正式版本 | 商用 | \ | \ | 2025/12/30 | | 330 | | 2.1.0 | \ | 正式版本 | 商用 | \ | \ | 2025/12/30 | |
| 330 | | 2.0.0 | \ | 预览版本 | 预览 | \ | \ | 2025/9/30 | | 331 | | 2.0.0 | \ | 预览版本 | 预览 | \ | \ | 2025/9/30 | |
| 331 | 332 | ||
| @@ -15,8 +15,8 @@ | |||
| 15 | 15 | ||
| 16 | ## 文件权限控制 | 16 | ## 文件权限控制 |
| 17 | 1. 建议用户在主机(包括宿主机)及容器中设置运行系统umask值为0027及以上,保障新增文件夹默认最高权限为750,新增文件默认最高权限为640。 | 17 | 1. 建议用户在主机(包括宿主机)及容器中设置运行系统umask值为0027及以上,保障新增文件夹默认最高权限为750,新增文件默认最高权限为640。 |
| 18 | -2. 建议用户对个人数据、商业资产、源文件、训练过程中保存的各类文件等敏感内容做好权限管控。涉及场景如MindSpeed-RL-LLM安装目录权限管控、多用户使用共享数据集权限管控,管控权限可参考表1进行设置。 | 18 | +2. 建议用户对个人数据、商业资产、源文件、训练过程中保存的各类文件等敏感内容做好权限管控。涉及场景如MindSpeed-RL安装目录权限管控、多用户使用共享数据集权限管控,管控权限可参考表1进行设置。 |
| 19 | -3. MindSpeed-RL-LLM在数据预处理中会生成训练数据,在训练过程会生成权重文件,文件权限默认640,用户可根据实际需求对生成文件权限进行进阶管控。 | 19 | +3. MindSpeed-RL在数据预处理中会生成训练数据,在训练过程会生成权重文件,文件权限默认640,用户可根据实际需求对生成文件权限进行进阶管控。 |
| 20 | 20 | ||
| 21 | **表1 文件(夹)各场景权限管控推荐最大值** | 21 | **表1 文件(夹)各场景权限管控推荐最大值** |
| 22 | | 类型 | linux权限参考最大值 | | 22 | | 类型 | linux权限参考最大值 | |
| @@ -36,6 +36,11 @@ bash examples/data/preprocess_data.sh math_17k | |||
| 36 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; | 36 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; |
| 37 | * `handler_name`:指定处理数据的处理器名称; | 37 | * `handler_name`:指定处理数据的处理器名称; |
| 38 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; | 38 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; |
| 39 | +* `map_keys`:指定数据处理时使用的映射字典,用于将原始数据中的字段映射到目标字段中; | ||
| 40 | + - prompt:主指令/题目文本(Alpaca 格式里的 instruction)。例如把原始样本的 "problem" 作为指令。 | ||
| 41 | + - query:可选的补充输入/上下文(Alpaca 格式里的 input)。没有就设为空串 ""。 | ||
| 42 | + - response:目标答案/参考输出(训练时作为监督标签)。这里映射到原始样本的 "answer"。 | ||
| 43 | + - system:可选的系统提示(chat 模板的 system 角色,用于全局行为设定)。没有就设为空串 ""。 | ||
| 39 | 44 | ||
| 40 | ## 模型权重转换 | 45 | ## 模型权重转换 |
| 41 | 46 | ||
| @@ -47,10 +52,10 @@ bash examples/data/preprocess_data.sh math_17k | |||
| 47 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 | 52 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 |
| 48 | [Qwen2.5-32B](https://huggingface.co/Qwen/Qwen2.5-32B/tree/main) 为参考。 | 53 | [Qwen2.5-32B](https://huggingface.co/Qwen/Qwen2.5-32B/tree/main) 为参考。 |
| 49 | ### hf 转 mcore | 54 | ### hf 转 mcore |
| 50 | -在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 55 | +在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 51 | 56 | ||
| 52 | ### mcore 转 hf(可选) | 57 | ### mcore 转 hf(可选) |
| 53 | -训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 58 | +训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 54 | 59 | ||
| 55 | ## 启动训练 | 60 | ## 启动训练 |
| 56 | 61 | ||
| @@ -36,6 +36,11 @@ bash examples/data/preprocess_data.sh orca_rlhf | |||
| 36 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; | 36 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; |
| 37 | * `handler_name`:指定处理数据的处理器名称; | 37 | * `handler_name`:指定处理数据的处理器名称; |
| 38 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; | 38 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; |
| 39 | +* `map_keys`:指定数据处理时使用的映射字典,用于将原始数据中的字段映射到目标字段中; | ||
| 40 | + - prompt:主指令/题目文本(Alpaca 格式里的 instruction)。例如把原始样本的 "problem" 作为指令。 | ||
| 41 | + - query:可选的补充输入/上下文(Alpaca 格式里的 input)。没有就设为空串 ""。 | ||
| 42 | + - response:目标答案/参考输出(训练时作为监督标签)。这里映射到原始样本的 "answer"。 | ||
| 43 | + - system:可选的系统提示(chat 模板的 system 角色,用于全局行为设定)。没有就设为空串 ""。 | ||
| 39 | 44 | ||
| 40 | ## 模型权重转换 | 45 | ## 模型权重转换 |
| 41 | 46 | ||
| @@ -47,10 +52,10 @@ bash examples/data/preprocess_data.sh orca_rlhf | |||
| 47 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 | 52 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 |
| 48 | [Qwen3-30B-A3B](https://huggingface.co/Qwen/Qwen3-30B-A3B) 为参考。 | 53 | [Qwen3-30B-A3B](https://huggingface.co/Qwen/Qwen3-30B-A3B) 为参考。 |
| 49 | ### hf 转 mcore | 54 | ### hf 转 mcore |
| 50 | -在训练前,需要将 Hugging Face 权重转换成Mcore格式,具体权重转换方式可见安装指南中对应 commit id 的 MindSpeed-LLM 权重转换部分 。 | 55 | +在训练前,需要将 Hugging Face 权重转换成Mcore格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 51 | 56 | ||
| 52 | ### mcore 转 hf(可选) | 57 | ### mcore 转 hf(可选) |
| 53 | -训练结束后,如果需要将生成的mcore格式权重转换回 Hugging Face 格式,具体权重转换方式可见安装指南中对应 commit id 的 MindSpeed-LLM 权重转换部分 。 | 58 | +训练结束后,如果需要将生成的mcore格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 54 | 59 | ||
| 55 | ## 启动训练 | 60 | ## 启动训练 |
| 56 | 61 | ||
| @@ -59,6 +59,7 @@ bash examples/data/preprocess_data.sh deepscaler | |||
| 59 | - query:可选的补充输入/上下文(Alpaca 格式里的 input)。没有就设为空串 ""。 | 59 | - query:可选的补充输入/上下文(Alpaca 格式里的 input)。没有就设为空串 ""。 |
| 60 | - response:目标答案/参考输出(训练时作为监督标签)。这里映射到原始样本的 "answer"。 | 60 | - response:目标答案/参考输出(训练时作为监督标签)。这里映射到原始样本的 "answer"。 |
| 61 | - system:可选的系统提示(chat 模板的 system 角色,用于全局行为设定)。没有就设为空串 ""。 | 61 | - system:可选的系统提示(chat 模板的 system 角色,用于全局行为设定)。没有就设为空串 ""。 |
| 62 | +* `dataset_additional_keys: ["labels"]`:指定在数据处理后需要保留的原始数据集中的额外字段。 | ||
| 62 | 63 | ||
| 63 | ## 模型权重转换 | 64 | ## 模型权重转换 |
| 64 | 65 | ||
| @@ -72,17 +73,17 @@ bash examples/data/preprocess_data.sh deepscaler | |||
| 72 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 | 73 | 权重文件可以从 Huggingface 网站上获取,可以根据模型的使用场景灵活选择,在这里以 |
| 73 | [Qwen2.5-7B](https://huggingface.co/Qwen/Qwen2.5-7B) 为参考。 | 74 | [Qwen2.5-7B](https://huggingface.co/Qwen/Qwen2.5-7B) 为参考。 |
| 74 | ### hf 转 mcore | 75 | ### hf 转 mcore |
| 75 | -在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 76 | +在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 76 | 77 | ||
| 77 | ### mcore 转 hf(可选) | 78 | ### mcore 转 hf(可选) |
| 78 | -训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 79 | +训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 79 | 80 | ||
| 80 | ## 启动训练 | 81 | ## 启动训练 |
| 81 | 82 | ||
| 82 | 以 Qwen25 7B 模型为例,在启动训练之前,需要修改[ 启动脚本 ](../../examples/grpo/grpo_trainer_qwen25_7b.sh)的配置: | 83 | 以 Qwen25 7B 模型为例,在启动训练之前,需要修改[ 启动脚本 ](../../examples/grpo/grpo_trainer_qwen25_7b.sh)的配置: |
| 83 | 1. 根据实际安装路径设置 jemalloc 环境变量,用于更好管理内存,避免长跑过程中内存 OOM ,例如:export LD_PRELOAD=/usr/local/lib/libjemalloc.so.2 | 84 | 1. 根据实际安装路径设置 jemalloc 环境变量,用于更好管理内存,避免长跑过程中内存 OOM ,例如:export LD_PRELOAD=/usr/local/lib/libjemalloc.so.2 |
| 84 | 2. 修改 DEFAULT_YAML 为指定的 yaml,目前已支持的配置文件放置在 configs / 文件夹下,同时需要对[ 环境变量配置文件 ](../../configs/envs/runtime_env.yaml) 中的 VLLM_DP_SIZE 及 HCCL_SOCKET_IFNAME 等参数进行配置,具体参数说明可见 [配置文件参数介绍](../features/grpo_yaml.md); | 85 | 2. 修改 DEFAULT_YAML 为指定的 yaml,目前已支持的配置文件放置在 configs / 文件夹下,同时需要对[ 环境变量配置文件 ](../../configs/envs/runtime_env.yaml) 中的 VLLM_DP_SIZE 及 HCCL_SOCKET_IFNAME 等参数进行配置,具体参数说明可见 [配置文件参数介绍](../features/grpo_yaml.md); |
| 85 | -3. 根据使用机器的情况,修改 NNODES 、NPUS_PER_NODE 配置, 例如单机 A3 可设置 NNODES 为 1 、NPUS_PER_NODE 为16; | 86 | +3. 根据使用机器的情况,修改 NNODES 、NPUS_PER_NODE 配置, 例如单机 A3 可设置 NNODES 为 1 、NPUS_PER_NODE 为16;单机 A2 可设置 NNODES 为 1 、NPUS_PER_NODE 为8; |
| 86 | 4. 如果是单机,需要保证 MASTER_ADDR 与 CURRENT_IP 一致,如果为多机,需要保证各个机器的 MASTER_ADDR 一致,CURRENT_IP 为各个节点的 IP (需要注意的是MASTER_ADDR 与 CURRENT_IP 不能设置为 localhost); | 87 | 4. 如果是单机,需要保证 MASTER_ADDR 与 CURRENT_IP 一致,如果为多机,需要保证各个机器的 MASTER_ADDR 一致,CURRENT_IP 为各个节点的 IP (需要注意的是MASTER_ADDR 与 CURRENT_IP 不能设置为 localhost); |
| 87 | 5. 启动脚本中的 SOCKET_IFNAME 需要设置为 CURRENT_IP 所对应的通信网卡名; | 88 | 5. 启动脚本中的 SOCKET_IFNAME 需要设置为 CURRENT_IP 所对应的通信网卡名; |
| 88 | ```bash | 89 | ```bash |
| @@ -136,7 +137,7 @@ rl_config: | |||
| 136 | 137 | ||
| 137 | * 全共卡方案下总时间分布 | 138 | * 全共卡方案下总时间分布 |
| 138 | 139 | ||
| 139 | -`timing/all` >= `timing/rollout` +`timing/old_log_p` + `timing/update` + `timing/reference` + `timing/reshard_to_train` + `timing/reshard_to_infer` + `max(timing/non_overlap_rule_reward, timing/non_overlap_reference_model)` | 140 | +`timing/all` >= `timing/rollout` +`timing/old_log_p` + `timing/update` + `timing/reference_model` + `timing/reshard_to_train` + `timing/reshard_to_infer` + `max(timing/non_overlap_rule_reward, timing/non_overlap_reference_model)` |
| 140 | 141 | ||
| 141 | 142 | ||
| 142 | **其他指标** | 143 | **其他指标** |
| @@ -42,6 +42,12 @@ bash examples/data/preprocess_data.sh deepscaler | |||
| 42 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; | 42 | * `log_interval`:设置日志记录的间隔,每处理多少条数据时记录一次日志,用于监控数据处理的进度和状态; |
| 43 | * `handler_name`:指定处理数据的处理器名称; | 43 | * `handler_name`:指定处理数据的处理器名称; |
| 44 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; | 44 | * `seq_length`:设置数据预处理最大序列长度,超过了会过滤掉; |
| 45 | +* `map_keys`:指定数据处理时使用的映射字典,用于将原始数据中的字段映射到目标字段中; | ||
| 46 | + - prompt:主指令/题目文本(Alpaca 格式里的 instruction)。例如把原始样本的 "problem" 作为指令。 | ||
| 47 | + - query:可选的补充输入/上下文(Alpaca 格式里的 input)。没有就设为空串 ""。 | ||
| 48 | + - response:目标答案/参考输出(训练时作为监督标签)。这里映射到原始样本的 "answer"。 | ||
| 49 | + - system:可选的系统提示(chat 模板的 system 角色,用于全局行为设定)。没有就设为空串 ""。 | ||
| 50 | +* `dataset_additional_keys: ["labels"]`:指定在数据处理后需要保留的原始数据集中的额外字段。 | ||
| 45 | 51 | ||
| 46 | ## 模型权重转换 | 52 | ## 模型权重转换 |
| 47 | 53 | ||
| @@ -59,7 +65,7 @@ bash examples/data/preprocess_data.sh deepscaler | |||
| 59 | 65 | ||
| 60 | ### hf 转 mcore | 66 | ### hf 转 mcore |
| 61 | 67 | ||
| 62 | -在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 68 | +在训练前,需要将 Hugging Face 权重转换成 Mcore 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 63 | 69 | ||
| 64 | ***注意:*** | 70 | ***注意:*** |
| 65 | 71 | ||
| @@ -71,7 +77,7 @@ bash examples/data/preprocess_data.sh deepscaler | |||
| 71 | 77 | ||
| 72 | ### mcore 转 hf(可选) | 78 | ### mcore 转 hf(可选) |
| 73 | 79 | ||
| 74 | -训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的 [MindSpeed-LLM](https://gitcode.com/Ascend/MindSpeed-LLM) 权重转换部分 。 | 80 | +训练结束后,如果需要将生成的 Mcore 格式权重转换回 Hugging Face 格式,具体权重转换方式可见[安装指南](../install_guide.md)中对应 commit id 的[MindSpeed-LLM 权重转换部分](https://gitcode.com/Ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/checkpoint_convert.md)。 |
| 75 | 81 | ||
| 76 | ## 单卡多进程 | 82 | ## 单卡多进程 |
| 77 | ### 技术概述 | 83 | ### 技术概述 |
| @@ -150,7 +156,7 @@ rl_config: | |||
| 150 | 156 | ||
| 151 | * 全共卡方案下总时间计算方式 | 157 | * 全共卡方案下总时间计算方式 |
| 152 | 158 | ||
| 153 | -`timing/all` >= `timing/rollout` +`timing/old_log_p` + `timing/update` + `timing/reference` + `timing/reshard_to_train` + `timing/reshard_to_infer` + `max(timing/non_overlap_rule_reward, timing/non_overlap_reference_model)`+`timing/critic_model` +`timing/update_critic` | 159 | +`timing/all` >= `timing/rollout` +`timing/old_log_p` + `timing/update` + `timing/reference_model` + `timing/reshard_to_train` + `timing/reshard_to_infer` + `max(timing/non_overlap_rule_reward, timing/non_overlap_reference_model)`+`timing/critic_model` +`timing/update_critic` |
| 154 | 160 | ||
| 155 | **其他指标** | 161 | **其他指标** |
| 156 | 162 | ||
| @@ -16,7 +16,7 @@ MindSpeed RL支持Atlas 800T A2等昇腾训练硬件形态。软件版本配套 | |||
| 16 | ## 安装依赖的软件 | 16 | ## 安装依赖的软件 |
| 17 | 17 | ||
| 18 | 在安装MindSpeed RL之前,请参考[版本配套表](#版本配套表),安装配套的昇腾软件栈,软件列表如下: | 18 | 在安装MindSpeed RL之前,请参考[版本配套表](#版本配套表),安装配套的昇腾软件栈,软件列表如下: |
| 19 | - | 19 | +(注:Ascend提供[满足商用标准的稳定版本](https://www.hiascend.com/developer/download/commercial)和[具有新特性的社区体验版本](https://www.hiascend.com/developer/download/community)供开发者选择) |
| 20 | <table> | 20 | <table> |
| 21 | <tr> | 21 | <tr> |
| 22 | <th>依赖软件</th> | 22 | <th>依赖软件</th> |
| @@ -67,7 +67,7 @@ MindSpeed RL支持Atlas 800T A2等昇腾训练硬件形态。软件版本配套 | |||
| 67 | 67 | ||
| 68 | ### 驱动固件安装 | 68 | ### 驱动固件安装 |
| 69 | 69 | ||
| 70 | -下载参考:[Ascend资源下载中心](https://www.hiascend.com/developer/download/community) | 70 | +(注:下载参考:[商用稳定版固件与驱动](https://www.hiascend.com/hardware/firmware-drivers/commercial)和[社区体验版固件与驱动](https://www.hiascend.com/hardware/firmware-drivers/community)) |
| 71 | 71 | ||
| 72 | ```shell | 72 | ```shell |
| 73 | bash Ascend-hdk-*-npu-firmware_*.run --full | 73 | bash Ascend-hdk-*-npu-firmware_*.run --full |
| @@ -75,7 +75,7 @@ bash Ascend-hdk-*-npu-driver_*.run --full | |||
| 75 | ``` | 75 | ``` |
| 76 | 76 | ||
| 77 | ### CANN安装 | 77 | ### CANN安装 |
| 78 | - | 78 | +(注:下载参考:[商用稳定版CANN](https://www.hiascend.com/developer/download/commercial/result?module=cann)和[8.3.RC1 社区体验版CANN](https://www.hiascend.com/developer/download/community/result?module=cann)) |
| 79 | ```shell | 79 | ```shell |
| 80 | bash Ascend-cann-toolkit_*_linux-aarch64.run --install | 80 | bash Ascend-cann-toolkit_*_linux-aarch64.run --install |
| 81 | bash Atlas-A3-cann-kernels_*_linux-aarch64.run --install | 81 | bash Atlas-A3-cann-kernels_*_linux-aarch64.run --install |
| @@ -111,7 +111,7 @@ pip install ray==2.42.1 | |||
| 111 | ``` | 111 | ``` |
| 112 | 112 | ||
| 113 | ### PyTorch框架安装 | 113 | ### PyTorch框架安装 |
| 114 | -(注:可从[PTA官方代码仓](https://gitcode.com/Ascend/pytorch/releases)获取对应版本torch和torch_npu的whl包) | 114 | +((注:[PyTorch框架和torch_npu插件安装教程](https://www.hiascend.com/document/detail/zh/Pytorch/710/configandinstg/instg/insg_0004.html);可从[PyTorch-Ascend官方代码仓](https://gitcode.com/Ascend/pytorch/releases)获取PyTorch各个版本对应的torch_npu的whl包) |
| 115 | ```shell | 115 | ```shell |
| 116 | # 安装torch和torch_npu | 116 | # 安装torch和torch_npu |
| 117 | pip install torch-2.5.1-cp310-cp310-*.whl | 117 | pip install torch-2.5.1-cp310-cp310-*.whl |