Star80
119
代码
代码
Issues74
Pull Requests218
流水线
项目讨论
Wiki
分析
Star80
119
已合并
add description for env variables #6943
AtomGit-Bot创建于 2025年1月11日
add description for env variables #6943
已合并
AtomGit-Bot创建于 2025年1月11日
从master合入到master
共 84 个文件变更+473-143
MPyTorch/built-in/audio/Wenet_Conformer_for_Pytorch/examples/aishell/s0/test/env_npu.sh+11-6
@@ -25,19 +25,24 @@ msnpureport -g error -d 7
25#关闭Device侧Event日志25#关闭Device侧Event日志
26msnpureport -e disable26msnpureport -e disable
27 27 
28-#将Host日志输出到串口,0-关闭/1-开启28+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
29export ASCEND_SLOG_PRINT_TO_STDOUT=029export ASCEND_SLOG_PRINT_TO_STDOUT=0
30-#设置默认日志级别,0-debug/1-info/2-warning/3-error30+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
31export ASCEND_GLOBAL_LOG_LEVEL=331export ASCEND_GLOBAL_LOG_LEVEL=3
32-#设置Host侧Event日志开启标志,0-关闭/1-开启32+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
33export ASCEND_GLOBAL_EVENT_ENABLE=033export ASCEND_GLOBAL_EVENT_ENABLE=0
34-#设置是否开启taskque,0-关闭/1-开启/2-新版taskque34+ 
35+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
36+#-配置为0时：关闭task_queue算子下发队列优化。
37+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
38+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
35export TASK_QUEUE_ENABLE=239export TASK_QUEUE_ENABLE=2
40+ 
36#设置是否开启PTCopy,0-关闭/1-开启41#设置是否开启PTCopy,0-关闭/1-开启
37export PTCOPY_ENABLE=142export PTCOPY_ENABLE=1
38-#设置是否开启combined标志,0-关闭/1-开启43+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
39export COMBINED_ENABLE=144export COMBINED_ENABLE=1
40#设置特殊场景是否需要重新编译,不需要修改45#设置特殊场景是否需要重新编译,不需要修改
41export DYNAMIC_OP="ADD#MUL"46export DYNAMIC_OP="ADD#MUL"
42-#HCCL白名单开关,1-关闭/0-开启47+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
43export HCCL_WHITELIST_DISABLE=148export HCCL_WHITELIST_DISABLE=1
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/env_npu.sh+11-6
@@ -25,21 +25,26 @@ msnpureport -g error -d 7
25#关闭Device侧Event日志25#关闭Device侧Event日志
26msnpureport -e disable26msnpureport -e disable
27 27 
28-#将Host日志输出到串口,0-关闭/1-开启28+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
29export ASCEND_SLOG_PRINT_TO_STDOUT=029export ASCEND_SLOG_PRINT_TO_STDOUT=0
30-#设置默认日志级别,0-debug/1-info/2-warning/3-error30+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
31export ASCEND_GLOBAL_LOG_LEVEL=331export ASCEND_GLOBAL_LOG_LEVEL=3
32-#设置Host侧Event日志开启标志,0-关闭/1-开启32+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
33export ASCEND_GLOBAL_EVENT_ENABLE=033export ASCEND_GLOBAL_EVENT_ENABLE=0
34-#设置是否开启taskque,0-关闭/1-开启34+ 
35+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
36+#-配置为0时：关闭task_queue算子下发队列优化。
37+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
38+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
35export TASK_QUEUE_ENABLE=139export TASK_QUEUE_ENABLE=1
40+ 
36#设置是否开启PTCopy,0-关闭/1-开启41#设置是否开启PTCopy,0-关闭/1-开启
37export PTCOPY_ENABLE=142export PTCOPY_ENABLE=1
38-#设置是否开启combined标志,0-关闭/1-开启43+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
39export COMBINED_ENABLE=144export COMBINED_ENABLE=1
40#设置特殊场景是否需要重新编译,不需要修改45#设置特殊场景是否需要重新编译,不需要修改
41export DYNAMIC_OP="ADD#MUL"46export DYNAMIC_OP="ADD#MUL"
42-#HCCL白名单开关,1-关闭/0-开启47+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
43export HCCL_WHITELIST_DISABLE=148export HCCL_WHITELIST_DISABLE=1
44 49 
45 50 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT1_performance_1p.sh+1-0
@@ -4,6 +4,7 @@
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=15export RANK_SIZE=1
6#设置默认日志级别,不需要修改6#设置默认日志级别,不需要修改
7+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL=38# export ASCEND_GLOBAL_LOG_LEVEL=3
8 9 
9# 数据集路径,保持为空,不需要修改10# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_full_1p.sh+1-0
@@ -4,6 +4,7 @@
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=15export RANK_SIZE=1
6#设置默认日志级别,不需要修改6#设置默认日志级别,不需要修改
7+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL=38# export ASCEND_GLOBAL_LOG_LEVEL=3
8 9 
9# 数据集路径,保持为空,不需要修改10# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_full_8p.sh+10-0
@@ -64,10 +64,20 @@ sed -i "s/END_EPOCH.*$/END_EPOCH\: ${epochs}/g" ${cur_path}/LMDB_8p_config.yaml
64sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml64sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml
65sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml65sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml
66#执行训练脚本，以下传参不需要修改，其他需要模型审视修改66#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
67+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
67export ASCEND_SLOG_PRINT_TO_STDOUT=068export ASCEND_SLOG_PRINT_TO_STDOUT=0
69+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
68export ASCEND_GLOBAL_LOG_LEVEL_ETP=370export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
71+ 
72+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
73+#-配置为0时：关闭task_queue算子下发队列优化。
74+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
75+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
69export TASK_QUEUE_ENABLE=176export TASK_QUEUE_ENABLE=1
77+ 
78+#设置是否开启PTCopy,0-关闭/1-开启。
70export PTCOPY_ENABLE=179export PTCOPY_ENABLE=1
80+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
71export COMBINED_ENABLE=181export COMBINED_ENABLE=1
72export SWITCH_MM_OUTPUT_ENABLE=182export SWITCH_MM_OUTPUT_ENABLE=1
73 83 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_nobin_performance_1p.sh+1-0
@@ -4,6 +4,7 @@
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=15export RANK_SIZE=1
6#设置默认日志级别,不需要修改6#设置默认日志级别,不需要修改
7+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL=38# export ASCEND_GLOBAL_LOG_LEVEL=3
8 9 
9# 数据集路径,保持为空,不需要修改10# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_performance_1p.sh+1-0
@@ -4,6 +4,7 @@
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=15export RANK_SIZE=1
6#设置默认日志级别,不需要修改6#设置默认日志级别,不需要修改
7+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL=38# export ASCEND_GLOBAL_LOG_LEVEL=3
8 9 
9# 数据集路径,保持为空,不需要修改10# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_performance_1p_nd.sh+1-0
@@ -4,6 +4,7 @@
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=15export RANK_SIZE=1
6#设置默认日志级别,不需要修改6#设置默认日志级别,不需要修改
7+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL=38# export ASCEND_GLOBAL_LOG_LEVEL=3
8 9 
9# 数据集路径,保持为空,不需要修改10# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_ID0103_CRNN_RT2_performance_8p.sh+1-1
@@ -3,7 +3,7 @@
3 3 
4#集合通信参数,不需要修改4#集合通信参数,不需要修改
5export RANK_SIZE=85export RANK_SIZE=8
6-#设置默认日志级别,不需要修改6+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
7# export ASCEND_GLOBAL_LOG_LEVEL_ETP_ETP=37# export ASCEND_GLOBAL_LOG_LEVEL_ETP_ETP=3
8 8 
9# 数据集路径,保持为空,不需要修改9# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_full_1p.sh+10-0
@@ -84,10 +84,20 @@ sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_co
84sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_config.yaml84sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_config.yaml
85sed -i "s/DEVICE_ID.*$/DEVICE_ID\: ${device_id}/g" ${cur_path}/LMDB_config.yaml85sed -i "s/DEVICE_ID.*$/DEVICE_ID\: ${device_id}/g" ${cur_path}/LMDB_config.yaml
86#执行训练脚本，以下传参不需要修改，其他需要模型审视修改86#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
87+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
87export ASCEND_SLOG_PRINT_TO_STDOUT=088export ASCEND_SLOG_PRINT_TO_STDOUT=0
89+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
88export ASCEND_GLOBAL_LOG_LEVEL=390export ASCEND_GLOBAL_LOG_LEVEL=3
91+ 
92+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
93+#-配置为0时：关闭task_queue算子下发队列优化。
94+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
95+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
89export TASK_QUEUE_ENABLE=196export TASK_QUEUE_ENABLE=1
97+ 
98+#设置是否开启PTCopy,0-关闭/1-开启。
90export PTCOPY_ENABLE=199export PTCOPY_ENABLE=1
100+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
91export COMBINED_ENABLE=1101export COMBINED_ENABLE=1
92export SWITCH_MM_OUTPUT_ENABLE=1102export SWITCH_MM_OUTPUT_ENABLE=1
93 103 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_full_8p.sh+10-0
@@ -66,10 +66,20 @@ sed -i "s/END_EPOCH.*$/END_EPOCH\: ${epochs}/g" ${cur_path}/LMDB_8p_config.yaml
66sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml66sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml
67sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml67sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml
68#执行训练脚本，以下传参不需要修改，其他需要模型审视修改68#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
69+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
69export ASCEND_SLOG_PRINT_TO_STDOUT=070export ASCEND_SLOG_PRINT_TO_STDOUT=0
71+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
70export ASCEND_GLOBAL_LOG_LEVEL=372export ASCEND_GLOBAL_LOG_LEVEL=3
73+ 
74+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
75+#-配置为0时：关闭task_queue算子下发队列优化。
76+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
77+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
71export TASK_QUEUE_ENABLE=178export TASK_QUEUE_ENABLE=1
79+ 
80+#设置是否开启PTCopy,0-关闭/1-开启。
72export PTCOPY_ENABLE=181export PTCOPY_ENABLE=1
82+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
73export COMBINED_ENABLE=183export COMBINED_ENABLE=1
74export SWITCH_MM_OUTPUT_ENABLE=184export SWITCH_MM_OUTPUT_ENABLE=1
75 85 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_performance_16p.sh+11-0
@@ -76,6 +76,7 @@ fi
76export HCCL_IF_IP=$fix_node_ip76export HCCL_IF_IP=$fix_node_ip
77export MASTER_ADDR=$one_node_ip77export MASTER_ADDR=$one_node_ip
78export MASTER_PORT=2950178export MASTER_PORT=29501
79+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
79export HCCL_WHITELIST_DISABLE=180export HCCL_WHITELIST_DISABLE=1
80device_num=${#devicesnum}81device_num=${#devicesnum}
81devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`82devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
@@ -107,10 +108,20 @@ sed -i "s|WORLD_SIZE: 1|WORLD_SIZE: 2|g" ${cur_path}/LMDB_8p_config.yaml
107sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml108sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml
108 109 
109#执行训练脚本，以下传参不需要修改，其他需要模型审视修改110#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
111+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
110export ASCEND_SLOG_PRINT_TO_STDOUT=0112export ASCEND_SLOG_PRINT_TO_STDOUT=0
113+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
111export ASCEND_GLOBAL_LOG_LEVEL=3114export ASCEND_GLOBAL_LOG_LEVEL=3
115+ 
116+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
117+#-配置为0时：关闭task_queue算子下发队列优化。
118+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
119+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
112export TASK_QUEUE_ENABLE=1120export TASK_QUEUE_ENABLE=1
121+ 
122+#设置是否开启PTCopy,0-关闭/1-开启。
113export PTCOPY_ENABLE=1123export PTCOPY_ENABLE=1
124+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
114export COMBINED_ENABLE=1125export COMBINED_ENABLE=1
115export SWITCH_MM_OUTPUT_ENABLE=1126export SWITCH_MM_OUTPUT_ENABLE=1
116 127 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_performance_1p.sh+10-0
@@ -84,10 +84,20 @@ sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_co
84sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_config.yaml84sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_config.yaml
85#sed -i "s/DEVICE_ID.*$/DEVICE_ID\: ${device_id}/g" ${cur_path}/LMDB_config.yaml85#sed -i "s/DEVICE_ID.*$/DEVICE_ID\: ${device_id}/g" ${cur_path}/LMDB_config.yaml
86#执行训练脚本，以下传参不需要修改，其他需要模型审视修改86#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
87+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
87export ASCEND_SLOG_PRINT_TO_STDOUT=088export ASCEND_SLOG_PRINT_TO_STDOUT=0
89+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
88export ASCEND_GLOBAL_LOG_LEVEL=390export ASCEND_GLOBAL_LOG_LEVEL=3
91+ 
92+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
93+#-配置为0时：关闭task_queue算子下发队列优化。
94+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
95+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
89export TASK_QUEUE_ENABLE=196export TASK_QUEUE_ENABLE=1
97+ 
98+#设置是否开启PTCopy,0-关闭/1-开启。
90export PTCOPY_ENABLE=199export PTCOPY_ENABLE=1
100+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
91export COMBINED_ENABLE=1101export COMBINED_ENABLE=1
92export SWITCH_MM_OUTPUT_ENABLE=1102export SWITCH_MM_OUTPUT_ENABLE=1
93 103 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_performance_32p.sh+11-0
@@ -76,6 +76,7 @@ fi
76export HCCL_IF_IP=$fix_node_ip76export HCCL_IF_IP=$fix_node_ip
77export MASTER_ADDR=$one_node_ip77export MASTER_ADDR=$one_node_ip
78export MASTER_PORT=2950178export MASTER_PORT=29501
79+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
79export HCCL_WHITELIST_DISABLE=180export HCCL_WHITELIST_DISABLE=1
80device_num=${#devicesnum}81device_num=${#devicesnum}
81devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`82devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
@@ -107,10 +108,20 @@ sed -i "s|WORLD_SIZE: 1|WORLD_SIZE: ${linux_num}|g" ${cur_path}/LMDB_8p_config.y
107sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml108sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml
108 109 
109#执行训练脚本，以下传参不需要修改，其他需要模型审视修改110#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
111+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
110export ASCEND_SLOG_PRINT_TO_STDOUT=0112export ASCEND_SLOG_PRINT_TO_STDOUT=0
113+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
111export ASCEND_GLOBAL_LOG_LEVEL=3114export ASCEND_GLOBAL_LOG_LEVEL=3
115+ 
116+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
117+#-配置为0时：关闭task_queue算子下发队列优化。
118+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
119+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
112export TASK_QUEUE_ENABLE=1120export TASK_QUEUE_ENABLE=1
121+ 
122+#设置是否开启PTCopy,0-关闭/1-开启。
113export PTCOPY_ENABLE=1123export PTCOPY_ENABLE=1
124+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
114export COMBINED_ENABLE=1125export COMBINED_ENABLE=1
115export SWITCH_MM_OUTPUT_ENABLE=1126export SWITCH_MM_OUTPUT_ENABLE=1
116 127 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_performance_64p.sh+11-0
@@ -76,6 +76,7 @@ fi
76export HCCL_IF_IP=$fix_node_ip76export HCCL_IF_IP=$fix_node_ip
77export MASTER_ADDR=$one_node_ip77export MASTER_ADDR=$one_node_ip
78export MASTER_PORT=2950178export MASTER_PORT=29501
79+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
79export HCCL_WHITELIST_DISABLE=180export HCCL_WHITELIST_DISABLE=1
80device_num=${#devicesnum}81device_num=${#devicesnum}
81devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`82devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
@@ -107,10 +108,20 @@ sed -i "s|WORLD_SIZE: 1|WORLD_SIZE: ${linux_num}|g" ${cur_path}/LMDB_8p_config.y
107sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml108sed -i "s|RANK: 0|RANK: ${server_index}|g" ${cur_path}/LMDB_8p_config.yaml
108 109 
109#执行训练脚本，以下传参不需要修改，其他需要模型审视修改110#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
111+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
110export ASCEND_SLOG_PRINT_TO_STDOUT=0112export ASCEND_SLOG_PRINT_TO_STDOUT=0
113+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
111export ASCEND_GLOBAL_LOG_LEVEL=3114export ASCEND_GLOBAL_LOG_LEVEL=3
115+ 
116+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
117+#-配置为0时：关闭task_queue算子下发队列优化。
118+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
119+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
112export TASK_QUEUE_ENABLE=1120export TASK_QUEUE_ENABLE=1
121+ 
122+#设置是否开启PTCopy,0-关闭/1-开启。
113export PTCOPY_ENABLE=1123export PTCOPY_ENABLE=1
124+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
114export COMBINED_ENABLE=1125export COMBINED_ENABLE=1
115export SWITCH_MM_OUTPUT_ENABLE=1126export SWITCH_MM_OUTPUT_ENABLE=1
116 127 
MPyTorch/built-in/cv/classification/CRNN_for_PyTorch/test/train_performance_8p.sh+10-0
@@ -66,10 +66,20 @@ sed -i "s/END_EPOCH.*$/END_EPOCH\: ${epochs}/g" ${cur_path}/LMDB_8p_config.yaml
66sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml66sed -i "s|TRAIN_ROOT.*$|TRAIN_ROOT\: ${data_path}/MJ_LMDB|g" ${cur_path}/LMDB_8p_config.yaml
67sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml67sed -i "s|TEST_ROOT.*$|TEST_ROOT\: ${data_path}/IIIT5K_lmdb|g" ${cur_path}/LMDB_8p_config.yaml
68#执行训练脚本，以下传参不需要修改，其他需要模型审视修改68#执行训练脚本，以下传参不需要修改，其他需要模型审视修改
69+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
69export ASCEND_SLOG_PRINT_TO_STDOUT=070export ASCEND_SLOG_PRINT_TO_STDOUT=0
71+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
70export ASCEND_GLOBAL_LOG_LEVEL=372export ASCEND_GLOBAL_LOG_LEVEL=3
73+ 
74+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
75+#-配置为0时：关闭task_queue算子下发队列优化。
76+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
77+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
71export TASK_QUEUE_ENABLE=178export TASK_QUEUE_ENABLE=1
79+ 
80+#设置是否开启PTCopy,0-关闭/1-开启。
72export PTCOPY_ENABLE=181export PTCOPY_ENABLE=1
82+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
73export COMBINED_ENABLE=183export COMBINED_ENABLE=1
74export SWITCH_MM_OUTPUT_ENABLE=184export SWITCH_MM_OUTPUT_ENABLE=1
75 85 
MPyTorch/built-in/cv/classification/EfficientNetV2_for_PyTorch/test/env_npu.sh+10-6
@@ -13,21 +13,25 @@ else
13 source ${CANN_INSTALL_PATH}/nnae/set_env.sh13 source ${CANN_INSTALL_PATH}/nnae/set_env.sh
14fi14fi
15 15 
16-#将Host日志输出到串口,0-关闭/1-开启16+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
17export ASCEND_SLOG_PRINT_TO_STDOUT=017export ASCEND_SLOG_PRINT_TO_STDOUT=0
18-#设置默认日志级别,0-debug/1-info/2-warning/3-error18+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
19export ASCEND_GLOBAL_LOG_LEVEL=319export ASCEND_GLOBAL_LOG_LEVEL=3
20-#设置Event日志开启标志,0-关闭/1-开启20+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
21export ASCEND_GLOBAL_EVENT_ENABLE=021export ASCEND_GLOBAL_EVENT_ENABLE=0
22-#设置是否开启taskque,0-关闭/1-开启22+ 
23+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
24+#-配置为0时：关闭task_queue算子下发队列优化。
25+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
26+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
23export TASK_QUEUE_ENABLE=127export TASK_QUEUE_ENABLE=1
24#设置是否开启PTCopy,0-关闭/1-开启28#设置是否开启PTCopy,0-关闭/1-开启
25export PTCOPY_ENABLE=129export PTCOPY_ENABLE=1
26-#设置是否开启combined标志,0-关闭/1-开启30+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
27export COMBINED_ENABLE=131export COMBINED_ENABLE=1
28#设置特殊场景是否需要重新编译,不需要修改32#设置特殊场景是否需要重新编译,不需要修改
29export DYNAMIC_OP="ADD#MUL"33export DYNAMIC_OP="ADD#MUL"
30-#HCCL白名单开关,1-关闭/0-开启34+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
31export HCCL_WHITELIST_DISABLE=135export HCCL_WHITELIST_DISABLE=1
32export HCCL_IF_IP=$(hostname -I |awk '{print $1}')36export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
33 37 
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/env_npu.sh+4-4
@@ -25,13 +25,13 @@ msnpureport -g error -d 7
25#关闭Device侧Event日志25#关闭Device侧Event日志
26msnpureport -e disable26msnpureport -e disable
27 27 
28-#将Host日志输出到串口,0-关闭/1-开启28+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
29export ASCEND_SLOG_PRINT_TO_STDOUT=029export ASCEND_SLOG_PRINT_TO_STDOUT=0
30-#设置默认日志级别,0-debug/1-info/2-warning/3-error30+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
31export ASCEND_GLOBAL_LOG_LEVEL=331export ASCEND_GLOBAL_LOG_LEVEL=3
32-#设置Event日志开启标志,0-关闭/1-开启32+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
33export ASCEND_GLOBAL_EVENT_ENABLE=033export ASCEND_GLOBAL_EVENT_ENABLE=0
34-#HCCL白名单开关,1-关闭/0-开启34+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
35export HCCL_WHITELIST_DISABLE=135export HCCL_WHITELIST_DISABLE=1
36 36 
37 37 
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/eval.sh+1-1
@@ -22,7 +22,7 @@ RANK_SIZE=1
22# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
23data_path="/npu/traindata/imagenet_pytorch/"23data_path="/npu/traindata/imagenet_pytorch/"
24 24 
25-#设置默认日志级别,不需要修改25+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
26export ASCEND_GLOBAL_LOG_LEVEL=326export ASCEND_GLOBAL_LOG_LEVEL=3
27 27 
28#基础参数，需要模型审视修改28#基础参数，需要模型审视修改
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_full_16p.sh+2-1
@@ -24,7 +24,7 @@ server_index=""
24fix_node_ip=""24fix_node_ip=""
25devicesnum=""25devicesnum=""
26 26 
27-#设置默认日志级别,不需要修改27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29 29 
30#基础参数，需要模型审视修改30#基础参数，需要模型审视修改
@@ -83,6 +83,7 @@ fi
83export HCCL_IF_IP=$fix_node_ip83export HCCL_IF_IP=$fix_node_ip
84export MASTER_ADDR=$one_node_ip84export MASTER_ADDR=$one_node_ip
85export MASTER_PORT=2968885export MASTER_PORT=29688
86+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
86export HCCL_WHITELIST_DISABLE=187export HCCL_WHITELIST_DISABLE=1
87device_num=${#devicesnum}88device_num=${#devicesnum}
88devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`89devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_full_1p.sh+1-1
@@ -22,7 +22,7 @@ RANK_SIZE=1
22# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
23data_path="/npu/traindata/imagenet_pytorch/"23data_path="/npu/traindata/imagenet_pytorch/"
24 24 
25-#设置默认日志级别,不需要修改25+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
26export ASCEND_GLOBAL_LOG_LEVEL=326export ASCEND_GLOBAL_LOG_LEVEL=3
27 27 
28#基础参数，需要模型审视修改28#基础参数，需要模型审视修改
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_full_32p.sh+2-1
@@ -24,7 +24,7 @@ server_index=""
24fix_node_ip=""24fix_node_ip=""
25devicesnum=""25devicesnum=""
26 26 
27-#设置默认日志级别,不需要修改27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29 29 
30#基础参数，需要模型审视修改30#基础参数，需要模型审视修改
@@ -83,6 +83,7 @@ fi
83export HCCL_IF_IP=$fix_node_ip83export HCCL_IF_IP=$fix_node_ip
84export MASTER_ADDR=$one_node_ip84export MASTER_ADDR=$one_node_ip
85export MASTER_PORT=2968885export MASTER_PORT=29688
86+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
86export HCCL_WHITELIST_DISABLE=187export HCCL_WHITELIST_DISABLE=1
87device_num=${#devicesnum}88device_num=${#devicesnum}
88devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`89devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_full_8p.sh+1-1
@@ -23,7 +23,7 @@ RANK_SIZE=8
23# 数据集路径,保持为空,不需要修改23# 数据集路径,保持为空,不需要修改
24data_path="/npu/traindata/imagenet_pytorch/"24data_path="/npu/traindata/imagenet_pytorch/"
25 25 
26-#设置默认日志级别,不需要修改26+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
27#export ASCEND_GLOBAL_LOG_LEVEL=327#export ASCEND_GLOBAL_LOG_LEVEL=3
28 28 
29#基础参数，需要模型审视修改29#基础参数，需要模型审视修改
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_performance_16p.sh+2-1
@@ -24,7 +24,7 @@ server_index=""
24fix_node_ip=""24fix_node_ip=""
25devicesnum=""25devicesnum=""
26 26 
27-#设置默认日志级别,不需要修改27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29 29 
30#基础参数，需要模型审视修改30#基础参数，需要模型审视修改
@@ -83,6 +83,7 @@ fi
83export HCCL_IF_IP=$fix_node_ip83export HCCL_IF_IP=$fix_node_ip
84export MASTER_ADDR=$one_node_ip84export MASTER_ADDR=$one_node_ip
85export MASTER_PORT=2968885export MASTER_PORT=29688
86+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
86export HCCL_WHITELIST_DISABLE=187export HCCL_WHITELIST_DISABLE=1
87device_num=${#devicesnum}88device_num=${#devicesnum}
88devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`89devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_performance_1p.sh+1-1
@@ -22,7 +22,7 @@ RANK_SIZE=1
22# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
23data_path="/npu/traindata/imagenet_pytorch/"23data_path="/npu/traindata/imagenet_pytorch/"
24 24 
25-#设置默认日志级别,不需要修改25+#设置默认日志级别,0-debug/1-info/2-warning/3-error。可根据具体需要调整。
26#export ASCEND_GLOBAL_LOG_LEVEL=326#export ASCEND_GLOBAL_LOG_LEVEL=3
27 27 
28#基础参数，需要模型审视修改28#基础参数，需要模型审视修改
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_performance_32p.sh+2-1
@@ -24,7 +24,7 @@ server_index=""
24fix_node_ip=""24fix_node_ip=""
25devicesnum=""25devicesnum=""
26 26 
27-#设置默认日志级别,不需要修改27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29 29 
30#基础参数，需要模型审视修改30#基础参数，需要模型审视修改
@@ -83,6 +83,7 @@ fi
83export HCCL_IF_IP=$fix_node_ip83export HCCL_IF_IP=$fix_node_ip
84export MASTER_ADDR=$one_node_ip84export MASTER_ADDR=$one_node_ip
85export MASTER_PORT=2968885export MASTER_PORT=29688
86+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
86export HCCL_WHITELIST_DISABLE=187export HCCL_WHITELIST_DISABLE=1
87device_num=${#devicesnum}88device_num=${#devicesnum}
88devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`89devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/classification/MobileNetV3-Large_ID1784_for_PyTorch/test/train_performance_8p.sh+1-1
@@ -22,7 +22,7 @@ RANK_SIZE=8
22# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
23data_path="/npu/traindata/imagenet_pytorch/"23data_path="/npu/traindata/imagenet_pytorch/"
24 24 
25-#设置默认日志级别,不需要修改25+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
26export ASCEND_GLOBAL_LOG_LEVEL=326export ASCEND_GLOBAL_LOG_LEVEL=3
27 27 
28#基础参数，需要模型审视修改28#基础参数，需要模型审视修改
MPyTorch/built-in/cv/classification/ResNet50_ID4149_for_PyTorch/test/env_npu.sh+8-5
@@ -14,15 +14,18 @@ else
14fi14fi
15 15 
16 16 
17-#将Host日志输出到串口,0-关闭/1-开启17+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
18export ASCEND_SLOG_PRINT_TO_STDOUT=018export ASCEND_SLOG_PRINT_TO_STDOUT=0
19-#设置默认日志级别,0-debug/1-info/2-warning/3-error19+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
20export ASCEND_GLOBAL_LOG_LEVEL=320export ASCEND_GLOBAL_LOG_LEVEL=3
21-#设置Event日志开启标志,0-关闭/1-开启21+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
22export ASCEND_GLOBAL_EVENT_ENABLE=022export ASCEND_GLOBAL_EVENT_ENABLE=0
23-#设置是否开启taskque,0-关闭/1-开启23+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
24+#-配置为0时：关闭task_queue算子下发队列优化。
25+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
26+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
24export TASK_QUEUE_ENABLE=127export TASK_QUEUE_ENABLE=1
25-#HCCL白名单开关,1-关闭/0-开启28+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
26export HCCL_WHITELIST_DISABLE=129export HCCL_WHITELIST_DISABLE=1
27 30 
28#设置device侧日志登记为error31#设置device侧日志登记为error
MPyTorch/built-in/cv/classification/ResNet50_ID4149_for_PyTorch/test/train_cluster.sh+1-0
@@ -32,6 +32,7 @@ do
32 fi32 fi
33done33done
34 34 
35+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
35export HCCL_WHITELIST_DISABLE=136export HCCL_WHITELIST_DISABLE=1
36export HCCL_IF_IP=$(hostname -I |awk '{print $1}')37export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
37 38 
MPyTorch/built-in/cv/classification/Resnet50_Cifar_for_PyTorch/test/env_npu.sh+10-5
@@ -14,15 +14,20 @@ else
14fi14fi
15 15 
16 16 
17-#将Host日志输出到串口,0-关闭/1-开启17+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
18export ASCEND_SLOG_PRINT_TO_STDOUT=018export ASCEND_SLOG_PRINT_TO_STDOUT=0
19-#设置默认日志级别,0-debug/1-info/2-warning/3-error19+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
20export ASCEND_GLOBAL_LOG_LEVEL=320export ASCEND_GLOBAL_LOG_LEVEL=3
21-#设置Event日志开启标志,0-关闭/1-开启21+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
22export ASCEND_GLOBAL_EVENT_ENABLE=022export ASCEND_GLOBAL_EVENT_ENABLE=0
23-#设置是否开启taskque,0-关闭/1-开启23+ 
24+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
25+#-配置为0时：关闭task_queue算子下发队列优化。
26+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
27+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
24export TASK_QUEUE_ENABLE=128export TASK_QUEUE_ENABLE=1
25-#HCCL白名单开关,1-关闭/0-开启29+ 
30+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
26export HCCL_WHITELIST_DISABLE=131export HCCL_WHITELIST_DISABLE=1
27#设置绑核,0-关闭/1-平均分配绑核32#设置绑核,0-关闭/1-平均分配绑核
28export CPU_AFFINITY_CONF=133export CPU_AFFINITY_CONF=1
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/env_npu.sh+17-6
@@ -14,24 +14,35 @@ else
14fi14fi
15 15 
16 16 
17+# 控制对输入数据为Inf/NaN的处理能力
18+# 0：饱和模式，计算出现溢出时，计算结果会饱和为浮点数极值（+-MAX）。
19+# 1：INf_NAN模式，根据定义输出Inf/NaN的计算结果。
20+# Atlas训练系列仅支持饱和模式，Atlas A2/A3默认值为1，支持配置为0的饱和模式。
17export INF_NAN_MODE_ENABLE=021export INF_NAN_MODE_ENABLE=0
22+# Atlas A2/A3训练系列产品，INF_NAN_MODE_ENABLE默认为“1”INF_NAN模式。如模型中使用了Inf/NaN，配置为“0”饱和模式时，会有不可预期的精度问题。
23+# 若要强制配置为“0”饱和模式，则会被拦截报错，若一定要关闭INF_NAN模式开启饱和模式，需配置INF_NAN_MODE_FORCE_DISABLE=1。
18export INF_NAN_MODE_FORCE_DISABLE=124export INF_NAN_MODE_FORCE_DISABLE=1
19 25 
20-#将Host日志输出到串口,0-关闭/1-开启26+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
21export ASCEND_SLOG_PRINT_TO_STDOUT=027export ASCEND_SLOG_PRINT_TO_STDOUT=0
22-#设置默认日志级别,0-debug/1-info/2-warning/3-error28+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
23export ASCEND_GLOBAL_LOG_LEVEL=329export ASCEND_GLOBAL_LOG_LEVEL=3
24-#设置Host侧Event日志开启标志,0-关闭/1-开启30+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
25export ASCEND_GLOBAL_EVENT_ENABLE=031export ASCEND_GLOBAL_EVENT_ENABLE=0
26-#设置是否开启taskque,0-关闭/1-开启32+ 
33+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
34+#-配置为0时：关闭task_queue算子下发队列优化。
35+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
36+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
27export TASK_QUEUE_ENABLE=037export TASK_QUEUE_ENABLE=0
38+ 
28#设置是否开启PTCopy,0-关闭/1-开启39#设置是否开启PTCopy,0-关闭/1-开启
29export PTCOPY_ENABLE=140export PTCOPY_ENABLE=1
30-#设置是否开启combined标志,0-关闭/1-开启41+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
31export COMBINED_ENABLE=142export COMBINED_ENABLE=1
32#设置特殊场景是否需要重新编译,不需要修改43#设置特殊场景是否需要重新编译,不需要修改
33export DYNAMIC_OP="ADD"44export DYNAMIC_OP="ADD"
34-#HCCL白名单开关,1-关闭/0-开启45+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
35export HCCL_WHITELIST_DISABLE=146export HCCL_WHITELIST_DISABLE=1
36#设置Device侧日志等级为error47#设置Device侧日志等级为error
37msnpureport -g error -d 048msnpureport -g error -d 0
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/eval.sh+5-0
@@ -18,6 +18,11 @@ Network="DB_ID0706_for_PyTorch"
18export WORLD_SIZE=818export WORLD_SIZE=8
19export MASTER_ADDR='127.0.0.1'19export MASTER_ADDR='127.0.0.1'
20export MASTER_PORT='18888'20export MASTER_PORT='18888'
21+ 
22+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
23+#-配置为0时：关闭task_queue算子下发队列优化。
24+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
25+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
21export TASK_QUEUE_ENABLE=026export TASK_QUEUE_ENABLE=0
22export DYNAMIC_OP="ADD"27export DYNAMIC_OP="ADD"
23# 训练batch_size28# 训练batch_size
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_full_1p.sh+5-0
@@ -24,6 +24,11 @@ export RANK_SIZE=1
24export WORLD_SIZE=124export WORLD_SIZE=1
25export MASTER_ADDR='127.0.0.1'25export MASTER_ADDR='127.0.0.1'
26export MASTER_PORT='18888'26export MASTER_PORT='18888'
27+ 
28+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
29+#-配置为0时：关闭task_queue算子下发队列优化。
30+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
31+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
27export TASK_QUEUE_ENABLE=132export TASK_QUEUE_ENABLE=1
28export DYNAMIC_OP="ADD"33export DYNAMIC_OP="ADD"
29# 数据集路径,保持为空,不需要修改34# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_full_8p.sh+5-0
@@ -18,6 +18,11 @@ Network="DB_ID0706_for_PyTorch"
18export WORLD_SIZE=818export WORLD_SIZE=8
19export MASTER_ADDR='127.0.0.1'19export MASTER_ADDR='127.0.0.1'
20export MASTER_PORT='18888'20export MASTER_PORT='18888'
21+ 
22+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
23+#-配置为0时：关闭task_queue算子下发队列优化。
24+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
25+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
21export TASK_QUEUE_ENABLE=026export TASK_QUEUE_ENABLE=0
22export DYNAMIC_OP="ADD"27export DYNAMIC_OP="ADD"
23# 训练batch_size28# 训练batch_size
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_full_RT2_1p.sh+5-0
@@ -25,6 +25,11 @@ export ENABLE_RUNTIME_V2=1
25export WORLD_SIZE=125export WORLD_SIZE=1
26export MASTER_ADDR='127.0.0.1'26export MASTER_ADDR='127.0.0.1'
27export MASTER_PORT='18888'27export MASTER_PORT='18888'
28+ 
29+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
30+#-配置为0时：关闭task_queue算子下发队列优化。
31+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
32+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
28export TASK_QUEUE_ENABLE=133export TASK_QUEUE_ENABLE=1
29export DYNAMIC_OP="ADD"34export DYNAMIC_OP="ADD"
30# 数据集路径,保持为空,不需要修改35# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_full_RT2_8p.sh+5-0
@@ -25,6 +25,11 @@ export ENABLE_RUNTIME_V2=1
25export WORLD_SIZE=825export WORLD_SIZE=8
26export MASTER_ADDR='127.0.0.1'26export MASTER_ADDR='127.0.0.1'
27export MASTER_PORT='18888'27export MASTER_PORT='18888'
28+ 
29+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
30+#-配置为0时：关闭task_queue算子下发队列优化。
31+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
32+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
28export TASK_QUEUE_ENABLE=133export TASK_QUEUE_ENABLE=1
29export DYNAMIC_OP="ADD"34export DYNAMIC_OP="ADD"
30# 数据集路径,保持为空,不需要修改35# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_no_TQE_performance_RT2_8p.sh+6-0
@@ -25,7 +25,13 @@ export ENABLE_RUNTIME_V2=1
25export WORLD_SIZE=825export WORLD_SIZE=8
26export MASTER_ADDR='127.0.0.1'26export MASTER_ADDR='127.0.0.1'
27export MASTER_PORT='18888'27export MASTER_PORT='18888'
28+ 
29+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
30+#-配置为0时：关闭task_queue算子下发队列优化。
31+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
32+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
28export TASK_QUEUE_ENABLE=133export TASK_QUEUE_ENABLE=1
34+ 
29export DYNAMIC_OP="ADD"35export DYNAMIC_OP="ADD"
30# 数据集路径,保持为空,不需要修改36# 数据集路径,保持为空,不需要修改
31data_path=""37data_path=""
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_performance_16p.sh+5-0
@@ -15,6 +15,10 @@ fi
15# 网络名称，同目录名称15# 网络名称，同目录名称
16Network="DB_ID0706_for_PyTorch"16Network="DB_ID0706_for_PyTorch"
17 17 
18+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
19+#-配置为0时：关闭task_queue算子下发队列优化。
20+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
21+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
18export TASK_QUEUE_ENABLE=022export TASK_QUEUE_ENABLE=0
19export DYNAMIC_OP="ADD"23export DYNAMIC_OP="ADD"
20# 训练batch_size24# 训练batch_size
@@ -81,6 +85,7 @@ fi
81export HCCL_IF_IP=$fix_node_ip85export HCCL_IF_IP=$fix_node_ip
82export MASTER_ADDR=$one_node_ip86export MASTER_ADDR=$one_node_ip
83export MASTER_PORT=2950287export MASTER_PORT=29502
88+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
84export HCCL_WHITELIST_DISABLE=189export HCCL_WHITELIST_DISABLE=1
85device_num=${#devicesnum}90device_num=${#devicesnum}
86devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`91devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_performance_1p.sh+5-0
@@ -24,6 +24,11 @@ export RANK_SIZE=1
24export WORLD_SIZE=124export WORLD_SIZE=1
25export MASTER_ADDR='127.0.0.1'25export MASTER_ADDR='127.0.0.1'
26export MASTER_PORT='18888'26export MASTER_PORT='18888'
27+ 
28+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
29+#-配置为0时：关闭task_queue算子下发队列优化。
30+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
31+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
27export TASK_QUEUE_ENABLE=132export TASK_QUEUE_ENABLE=1
28export DYNAMIC_OP="ADD"33export DYNAMIC_OP="ADD"
29# 数据集路径,保持为空,不需要修改34# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_performance_8p.sh+5-0
@@ -18,6 +18,11 @@ Network="DB_ID0706_for_PyTorch"
18export WORLD_SIZE=818export WORLD_SIZE=8
19export MASTER_ADDR='127.0.0.1'19export MASTER_ADDR='127.0.0.1'
20export MASTER_PORT='18888'20export MASTER_PORT='18888'
21+ 
22+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
23+#-配置为0时：关闭task_queue算子下发队列优化。
24+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
25+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
21export TASK_QUEUE_ENABLE=026export TASK_QUEUE_ENABLE=0
22export DYNAMIC_OP="ADD"27export DYNAMIC_OP="ADD"
23# 训练batch_size28# 训练batch_size
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_performance_RT2_1p.sh+5-0
@@ -25,6 +25,11 @@ export ENABLE_RUNTIME_V2=1
25export WORLD_SIZE=125export WORLD_SIZE=1
26export MASTER_ADDR='127.0.0.1'26export MASTER_ADDR='127.0.0.1'
27export MASTER_PORT='18888'27export MASTER_PORT='18888'
28+ 
29+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
30+#-配置为0时：关闭task_queue算子下发队列优化。
31+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
32+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
28export TASK_QUEUE_ENABLE=133export TASK_QUEUE_ENABLE=1
29export DYNAMIC_OP="ADD"34export DYNAMIC_OP="ADD"
30# 数据集路径,保持为空,不需要修改35# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DB_ID0706_for_PyTorch/test/train_performance_RT2_8p.sh+5-0
@@ -25,6 +25,11 @@ export ENABLE_RUNTIME_V2=1
25export WORLD_SIZE=825export WORLD_SIZE=8
26export MASTER_ADDR='127.0.0.1'26export MASTER_ADDR='127.0.0.1'
27export MASTER_PORT='18888'27export MASTER_PORT='18888'
28+ 
29+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
30+#-配置为0时：关闭task_queue算子下发队列优化。
31+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
32+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
28export TASK_QUEUE_ENABLE=133export TASK_QUEUE_ENABLE=1
29export DYNAMIC_OP="ADD"34export DYNAMIC_OP="ADD"
30# 数据集路径,保持为空,不需要修改35# 数据集路径,保持为空,不需要修改
MPyTorch/built-in/cv/detection/DBpp_ID4145_for_PyTorch/test/env_npu.sh+5-1
@@ -20,7 +20,11 @@ export ASCEND_SLOG_PRINT_TO_STDOUT=0
20export ASCEND_GLOBAL_LOG_LEVEL=320export ASCEND_GLOBAL_LOG_LEVEL=3
21#设置Event日志开启标志,0-关闭/1-开启21#设置Event日志开启标志,0-关闭/1-开启
22export ASCEND_GLOBAL_EVENT_ENABLE=022export ASCEND_GLOBAL_EVENT_ENABLE=0
23-#设置是否开启taskque,0-关闭/1-开启23+ 
24+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
25+#-配置为0时：关闭task_queue算子下发队列优化。
26+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
27+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
24export TASK_QUEUE_ENABLE=028export TASK_QUEUE_ENABLE=0
25#设置是否开启2个非连续combined标志,0-关闭/1-开启29#设置是否开启2个非连续combined标志,0-关闭/1-开启
26export COMBINED_ENABLE=130export COMBINED_ENABLE=1
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/env_npu.sh+11-6
@@ -21,21 +21,26 @@ msnpureport -g error -d 5
21msnpureport -g error -d 621msnpureport -g error -d 6
22msnpureport -g error -d 722msnpureport -g error -d 7
23 23 
24-#将Host日志输出到串口,0-关闭/1-开启24+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
25export ASCEND_SLOG_PRINT_TO_STDOUT=025export ASCEND_SLOG_PRINT_TO_STDOUT=0
26-#设置默认日志级别,0-debug/1-info/2-warning/3-error26+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
27export ASCEND_GLOBAL_LOG_LEVEL=327export ASCEND_GLOBAL_LOG_LEVEL=3
28-#设置Host侧Event日志开启标志,0-关闭/1-开启28+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
29export ASCEND_GLOBAL_EVENT_ENABLE=029export ASCEND_GLOBAL_EVENT_ENABLE=0
30-#设置是否开启taskque,0-关闭/1-开启30+ 
31+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
32+#-配置为0时：关闭task_queue算子下发队列优化。
33+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
34+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
31export TASK_QUEUE_ENABLE=135export TASK_QUEUE_ENABLE=1
36+ 
32#设置是否开启PTCopy,0-关闭/1-开启37#设置是否开启PTCopy,0-关闭/1-开启
33export PTCOPY_ENABLE=138export PTCOPY_ENABLE=1
34-#设置是否开启combined标志,0-关闭/1-开启39+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
35export COMBINED_ENABLE=140export COMBINED_ENABLE=1
36#设置特殊场景是否需要重新编译,不需要修改41#设置特殊场景是否需要重新编译,不需要修改
37export DYNAMIC_OP="ADD#MUL"42export DYNAMIC_OP="ADD#MUL"
38-#HCCL白名单开关,1-关闭/0-开启43+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
39export HCCL_WHITELIST_DISABLE=144export HCCL_WHITELIST_DISABLE=1
40 45 
41 46 
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_16p.sh+2-1
@@ -17,7 +17,7 @@ devicesnum=""
17one_node_ip=""17one_node_ip=""
18linux_num=""18linux_num=""
19 19 
20-#设置默认日志级别,不需要修改20+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
21export ASCEND_GLOBAL_LOG_LEVEL_ETP=321export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
22 22 
23#基础参数，需要模型审视修改23#基础参数，需要模型审视修改
@@ -127,6 +127,7 @@ fi
127export HCCL_IF_IP=$fix_node_ip127export HCCL_IF_IP=$fix_node_ip
128export MASTER_ADDR=$one_node_ip128export MASTER_ADDR=$one_node_ip
129export MASTER_PORT=29688129export MASTER_PORT=29688
130+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
130export HCCL_WHITELIST_DISABLE=1131export HCCL_WHITELIST_DISABLE=1
131device_num=${#devicesnum}132device_num=${#devicesnum}
132devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`133devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_1p.sh+1-1
@@ -22,7 +22,7 @@ RANK_ID_START=0
22# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
23data_path=""23data_path=""
24 24 
25-#设置默认日志级别,不需要修改25+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
26export ASCEND_GLOBAL_LOG_LEVEL_ETP=326export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
27 27 
28#基础参数，需要模型审视修改28#基础参数，需要模型审视修改
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_32p.sh+2-1
@@ -17,7 +17,7 @@ devicesnum=""
17one_node_ip=""17one_node_ip=""
18linux_num=""18linux_num=""
19 19 
20-#设置默认日志级别,不需要修改20+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
21export ASCEND_GLOBAL_LOG_LEVEL_ETP=321export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
22 22 
23#基础参数，需要模型审视修改23#基础参数，需要模型审视修改
@@ -127,6 +127,7 @@ fi
127export HCCL_IF_IP=$fix_node_ip127export HCCL_IF_IP=$fix_node_ip
128export MASTER_ADDR=$one_node_ip128export MASTER_ADDR=$one_node_ip
129export MASTER_PORT=29688129export MASTER_PORT=29688
130+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
130export HCCL_WHITELIST_DISABLE=1131export HCCL_WHITELIST_DISABLE=1
131device_num=${#devicesnum}132device_num=${#devicesnum}
132devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`133devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_64p.sh+2-1
@@ -17,7 +17,7 @@ devicesnum=""
17one_node_ip=""17one_node_ip=""
18linux_num=""18linux_num=""
19 19 
20-#设置默认日志级别,不需要修改20+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
21export ASCEND_GLOBAL_LOG_LEVEL_ETP=321export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
22 22 
23#基础参数，需要模型审视修改23#基础参数，需要模型审视修改
@@ -127,6 +127,7 @@ fi
127export HCCL_IF_IP=$fix_node_ip127export HCCL_IF_IP=$fix_node_ip
128export MASTER_ADDR=$one_node_ip128export MASTER_ADDR=$one_node_ip
129export MASTER_PORT=29688129export MASTER_PORT=29688
130+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
130export HCCL_WHITELIST_DISABLE=1131export HCCL_WHITELIST_DISABLE=1
131device_num=${#devicesnum}132device_num=${#devicesnum}
132devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`133devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_8p.sh+1-1
@@ -20,7 +20,7 @@ RANK_ID_START=0
20# 数据集路径,保持为空,不需要修改20# 数据集路径,保持为空,不需要修改
21data_path=""21data_path=""
22 22 
23-#设置默认日志级别,不需要修改23+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
24export ASCEND_GLOBAL_LOG_LEVEL_ETP=324export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
25 25 
26#基础参数，需要模型审视修改26#基础参数，需要模型审视修改
MPyTorch/built-in/cv/detection/Faster_Mask_RCNN_for_PyTorch/test/train_performance_multinodes.sh+1-1
@@ -20,7 +20,7 @@ RANK_ID_START=0
20# 数据集路径,保持为空,不需要修改20# 数据集路径,保持为空,不需要修改
21data_path=""21data_path=""
22 22 
23-#设置默认日志级别,不需要修改23+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
24export ASCEND_GLOBAL_LOG_LEVEL_ETP=324export ASCEND_GLOBAL_LOG_LEVEL_ETP=3
25 25 
26#基础参数，需要模型审视修改26#基础参数，需要模型审视修改
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/env_npu.sh+12-0
@@ -31,12 +31,24 @@ if [[ $NPU_A1_FLAG == 'True' ]] || [[ $SOC_VERSION_FLAG == 'True' ]]; then
31 export BMMV2_ENABLE=131 export BMMV2_ENABLE=1
32fi32fi
33 33 
34+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
34export ASCEND_GLOBAL_LOG_LEVEL=335export ASCEND_GLOBAL_LOG_LEVEL=3
36+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
35export ASCEND_GLOBAL_EVENT_ENABLE=037export ASCEND_GLOBAL_EVENT_ENABLE=0
38+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
36export ASCEND_SLOG_PRINT_TO_STDOUT=039export ASCEND_SLOG_PRINT_TO_STDOUT=0
40+ 
41+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
42+#-配置为0时：关闭task_queue算子下发队列优化。
43+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
44+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
37export TASK_QUEUE_ENABLE=145export TASK_QUEUE_ENABLE=1
46+ 
47+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
38export COMBINED_ENABLE=148export COMBINED_ENABLE=1
49+#设置是否开启PTCopy,0-关闭/1-开启。
39export PTCOPY_ENABLE=150export PTCOPY_ENABLE=1
51+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
40export HCCL_WHITELIST_DISABLE=152export HCCL_WHITELIST_DISABLE=1
41export SCALAR_TO_HOST_MEM=153export SCALAR_TO_HOST_MEM=1
42 54 
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_ID0470_Bert_Squad_performance_16p.sh+1-0
@@ -135,6 +135,7 @@ fi
135export HCCL_IF_IP=$fix_node_ip135export HCCL_IF_IP=$fix_node_ip
136export MASTER_ADDR=$one_node_ip136export MASTER_ADDR=$one_node_ip
137export MASTER_PORT=29688137export MASTER_PORT=29688
138+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
138export HCCL_WHITELIST_DISABLE=1139export HCCL_WHITELIST_DISABLE=1
139device_num=${#devicesnum}140device_num=${#devicesnum}
140devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`141devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_ID0470_Bert_Squad_performance_32p.sh+1-0
@@ -124,6 +124,7 @@ fi
124export HCCL_IF_IP=$fix_node_ip124export HCCL_IF_IP=$fix_node_ip
125export MASTER_ADDR=$one_node_ip125export MASTER_ADDR=$one_node_ip
126export MASTER_PORT=29668126export MASTER_PORT=29668
127+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
127export HCCL_WHITELIST_DISABLE=1128export HCCL_WHITELIST_DISABLE=1
128device_num=${#devicesnum}129device_num=${#devicesnum}
129devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`130devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_ID0470_Bert_Squad_performance_64p.sh+1-0
@@ -124,6 +124,7 @@ fi
124export HCCL_IF_IP=$fix_node_ip124export HCCL_IF_IP=$fix_node_ip
125export MASTER_ADDR=$one_node_ip125export MASTER_ADDR=$one_node_ip
126export MASTER_PORT=29668126export MASTER_PORT=29668
127+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
127export HCCL_WHITELIST_DISABLE=1128export HCCL_WHITELIST_DISABLE=1
128device_num=${#devicesnum}129device_num=${#devicesnum}
129devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`130devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_large_full_16p.sh+1-0
@@ -142,6 +142,7 @@ fi
142export HCCL_IF_IP=$fix_node_ip142export HCCL_IF_IP=$fix_node_ip
143export MASTER_ADDR=$one_node_ip143export MASTER_ADDR=$one_node_ip
144export MASTER_PORT=29668144export MASTER_PORT=29668
145+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
145export HCCL_WHITELIST_DISABLE=1146export HCCL_WHITELIST_DISABLE=1
146device_num=${#devicesnum}147device_num=${#devicesnum}
147devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`148devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_large_full_32p.sh+1-0
@@ -142,6 +142,7 @@ fi
142export HCCL_IF_IP=$fix_node_ip142export HCCL_IF_IP=$fix_node_ip
143export MASTER_ADDR=$one_node_ip143export MASTER_ADDR=$one_node_ip
144export MASTER_PORT=29668144export MASTER_PORT=29668
145+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
145export HCCL_WHITELIST_DISABLE=1146export HCCL_WHITELIST_DISABLE=1
146device_num=${#devicesnum}147device_num=${#devicesnum}
147devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`148devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_large_full_64p.sh+1-0
@@ -126,6 +126,7 @@ fi
126export HCCL_IF_IP=$fix_node_ip126export HCCL_IF_IP=$fix_node_ip
127export MASTER_ADDR=$one_node_ip127export MASTER_ADDR=$one_node_ip
128export MASTER_PORT=29668128export MASTER_PORT=29668
129+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
129export HCCL_WHITELIST_DISABLE=1130export HCCL_WHITELIST_DISABLE=1
130device_num=${#devicesnum}131device_num=${#devicesnum}
131devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`132devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert-Squad_ID0470_for_PyTorch/test/train_performance_16p.sh+1-0
@@ -127,6 +127,7 @@ fi
127export HCCL_IF_IP=$fix_node_ip127export HCCL_IF_IP=$fix_node_ip
128export MASTER_ADDR=$one_node_ip128export MASTER_ADDR=$one_node_ip
129export MASTER_PORT=29688129export MASTER_PORT=29688
130+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
130export HCCL_WHITELIST_DISABLE=1131export HCCL_WHITELIST_DISABLE=1
131device_num=${#devicesnum}132device_num=${#devicesnum}
132devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`133devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/built-in/nlp/Bert_Chinese_ID3433_for_PyTorch/run_mlm.py+4-2
@@ -32,8 +32,10 @@ import torch
32option = {}32option = {}
33if torch.__version__ >= "1.8":33if torch.__version__ >= "1.8":
34 import torch_npu34 import torch_npu
35- option['ACL_OP_COMPILER_CACHE_MODE'] = "enable" # cache功能启用35+ # 可通过此环境变量配置算子编译磁盘缓存模式。
36- option['ACL_OP_COMPILER_CACHE_DIR'] = "./cache" # cache所在的文件夹36+ # 配置为enable启用算子编译缓存; 配置为disable禁用算子编译缓存; 配置为force强制刷新缓存。
37+ option['ACL_OP_COMPILER_CACHE_MODE'] = "enable"
38+ option['ACL_OP_COMPILER_CACHE_DIR'] = "./cache" # 可通过此环境变量配置算子编译磁盘缓存的目录
37 39 
38import datasets40import datasets
39from datasets import load_dataset, load_metric41from datasets import load_dataset, load_metric
MPyTorch/built-in/nlp/Bert_Chinese_ID3433_for_PyTorch/test/env_npu.sh+11-6
@@ -28,19 +28,24 @@ if [ $NPU_A1_FLAG == 'True' ]; then
28fi28fi
29 29 
30export SCALAR_TO_HOST_MEM=130export SCALAR_TO_HOST_MEM=1
31-#将Host日志输出到串口,0-关闭/1-开启31+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
32export ASCEND_SLOG_PRINT_TO_STDOUT=032export ASCEND_SLOG_PRINT_TO_STDOUT=0
33-#设置默认日志级别,0-debug/1-info/2-warning/3-error33+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
34export ASCEND_GLOBAL_LOG_LEVEL=334export ASCEND_GLOBAL_LOG_LEVEL=3
35-#设置Event日志开启标志,0-关闭/1-开启35+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
36export ASCEND_GLOBAL_EVENT_ENABLE=036export ASCEND_GLOBAL_EVENT_ENABLE=0
37-#设置是否开启taskque,0-关闭/1-开启37+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
38+ 
39+#-配置为0时：关闭task_queue算子下发队列优化。
40+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
41+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
38export TASK_QUEUE_ENABLE=142export TASK_QUEUE_ENABLE=1
43+ 
39#设置是否开启PTCopy,0-关闭/1-开启44#设置是否开启PTCopy,0-关闭/1-开启
40export PTCOPY_ENABLE=145export PTCOPY_ENABLE=1
41-#设置是否开启combined标志,0-关闭/1-开启46+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
42export COMBINED_ENABLE=147export COMBINED_ENABLE=1
43-#HCCL白名单开关,1-关闭/0-开启48+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
44export HCCL_WHITELIST_DISABLE=149export HCCL_WHITELIST_DISABLE=1
45export HCCL_IF_IP=$(hostname -I |awk '{print $1}')50export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
46export HCCL_CONNECT_TIMEOUT=540051export HCCL_CONNECT_TIMEOUT=5400
MPyTorch/built-in/nlp/Bert_Chinese_ID3433_for_PyTorch/transformers/examples/pytorch/language-modeling/env.sh+11-6
@@ -22,21 +22,26 @@ msnpureport -g error -d 6
22msnpureport -g error -d 722msnpureport -g error -d 7
23export BMMV2_ENABLE=123export BMMV2_ENABLE=1
24export SCALAR_TO_HOST_MEM=124export SCALAR_TO_HOST_MEM=1
25-#将Host日志输出到串口,0-关闭/1-开启25+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
26export ASCEND_SLOG_PRINT_TO_STDOUT=026export ASCEND_SLOG_PRINT_TO_STDOUT=0
27-#设置默认日志级别,0-debug/1-info/2-warning/3-error27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29-#设置Event日志开启标志,0-关闭/1-开启29+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
30export ASCEND_GLOBAL_EVENT_ENABLE=030export ASCEND_GLOBAL_EVENT_ENABLE=0
31-#设置是否开启taskque,0-关闭/1-开启31+ 
32+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
33+#-配置为0时：关闭task_queue算子下发队列优化。
34+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
35+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
32export TASK_QUEUE_ENABLE=136export TASK_QUEUE_ENABLE=1
37+ 
33#设置是否开启PTCopy,0-关闭/1-开启38#设置是否开启PTCopy,0-关闭/1-开启
34export PTCOPY_ENABLE=139export PTCOPY_ENABLE=1
35-#设置是否开启combined标志,0-关闭/1-开启40+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
36export COMBINED_ENABLE=141export COMBINED_ENABLE=1
37#设置特殊场景是否需要重新编译,不需要修改42#设置特殊场景是否需要重新编译,不需要修改
38export DYNAMIC_OP="ADD#MUL"43export DYNAMIC_OP="ADD#MUL"
39-#HCCL白名单开关,1-关闭/0-开启44+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
40export HCCL_WHITELIST_DISABLE=145export HCCL_WHITELIST_DISABLE=1
41export HCCL_IF_IP=$(hostname -I |awk '{print $1}')46export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
42 47 
MPyTorch/built-in/nlp/Fairseq_Transformer_wmt18_for_PyTorch/test/env_npu.sh+9-5
@@ -13,19 +13,23 @@ else
13 source ${CANN_INSTALL_PATH}/nnae/set_env.sh13 source ${CANN_INSTALL_PATH}/nnae/set_env.sh
14fi14fi
15 15 
16-#将Host日志输出到串口,0-关闭/1-开启16+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
17export ASCEND_SLOG_PRINT_TO_STDOUT=017export ASCEND_SLOG_PRINT_TO_STDOUT=0
18-#设置默认日志级别,0-debug/1-info/2-warning/3-error18+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
19export ASCEND_GLOBAL_LOG_LEVEL=319export ASCEND_GLOBAL_LOG_LEVEL=3
20-#设置Event日志开启标志,0-关闭/1-开启20+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
21export ASCEND_GLOBAL_EVENT_ENABLE=021export ASCEND_GLOBAL_EVENT_ENABLE=0
22-#设置taskque,0-关闭/1-旧taskque/2-新taskque22+ 
23+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
24+#-配置为0时：关闭task_queue算子下发队列优化。
25+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
26+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
23if [ $(uname -m) = "aarch64" ]; then27if [ $(uname -m) = "aarch64" ]; then
24 export TASK_QUEUE_ENABLE=228 export TASK_QUEUE_ENABLE=2
25else29else
26 export TASK_QUEUE_ENABLE=130 export TASK_QUEUE_ENABLE=1
27fi31fi
28-#HCCL白名单开关,1-关闭/0-开启32+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
29export HCCL_WHITELIST_DISABLE=133export HCCL_WHITELIST_DISABLE=1
30 34 
31#设置device侧日志登记为error35#设置device侧日志登记为error
MPyTorch/built-in/rl/MAPPO_for_PyTorch/test/env_npu.sh+11-5
@@ -22,19 +22,25 @@ msnpureport -g error -d 6
22msnpureport -g error -d 722msnpureport -g error -d 7
23 23 
24 24 
25-#将Host日志输出到串口,0-关闭/1-开启25+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
26export ASCEND_SLOG_PRINT_TO_STDOUT=026export ASCEND_SLOG_PRINT_TO_STDOUT=0
27-#设置默认日志级别,0-debug/1-info/2-warning/3-error27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29-#设置Event日志开启标志,0-关闭/1-开启29+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
30export ASCEND_GLOBAL_EVENT_ENABLE=030export ASCEND_GLOBAL_EVENT_ENABLE=0
31-#设置是否开启taskque,0-关闭/1-开启31+ 
32+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
33+#-配置为0时：关闭task_queue算子下发队列优化。
34+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
35+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
32export TASK_QUEUE_ENABLE=136export TASK_QUEUE_ENABLE=1
37+ 
33#设置是否开启fftsplus，0-关闭/1-开启38#设置是否开启fftsplus，0-关闭/1-开启
34export ASCEND_ENHANCE_ENABLE=139export ASCEND_ENHANCE_ENABLE=1
35-#HCCL白名单开关,1-关闭/0-开启40+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
36export HCCL_WHITELIST_DISABLE=141export HCCL_WHITELIST_DISABLE=1
37export HCCL_IF_IP=$(hostname -I |awk '{print $1}')42export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
43+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
38export HCCL_CONNECT_TIMEOUT=540044export HCCL_CONNECT_TIMEOUT=5400
39 45 
40 46 
MPyTorch/built-in/rl/PPO_for_Pytorch/test/env_npu.sh+16-6
@@ -21,20 +21,30 @@ msnpureport -g error -d 5
21msnpureport -g error -d 621msnpureport -g error -d 6
22msnpureport -g error -d 722msnpureport -g error -d 7
23 23 
24+# 控制对输入数据为Inf/NaN的处理能力
25+# 0：饱和模式，计算出现溢出时，计算结果会饱和为浮点数极值（+-MAX）。
26+# 1：INf_NAN模式，根据定义输出Inf/NaN的计算结果。
27+# Atlas训练系列仅支持饱和模式，Atlas A2/A3默认值为1，支持配置为0的饱和模式。
24export INF_NAN_MODE_ENABLE=128export INF_NAN_MODE_ENABLE=1
25-#将Host日志输出到串口,0-关闭/1-开启29+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
26export ASCEND_SLOG_PRINT_TO_STDOUT=030export ASCEND_SLOG_PRINT_TO_STDOUT=0
27-#设置默认日志级别,0-debug/1-info/2-warning/3-error31+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=332export ASCEND_GLOBAL_LOG_LEVEL=3
29-#设置Event日志开启标志,0-关闭/1-开启33+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
30export ASCEND_GLOBAL_EVENT_ENABLE=034export ASCEND_GLOBAL_EVENT_ENABLE=0
31-#设置是否开启taskque,0-关闭/1-开启35+ 
36+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
37+#-配置为0时：关闭task_queue算子下发队列优化。
38+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
39+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
32export TASK_QUEUE_ENABLE=140export TASK_QUEUE_ENABLE=1
33-#设置是否开启combined标志,0-关闭/1-开启41+ 
42+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
34export COMBINED_ENABLE=143export COMBINED_ENABLE=1
35-#HCCL白名单开关,1-关闭/0-开启44+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
36export HCCL_WHITELIST_DISABLE=145export HCCL_WHITELIST_DISABLE=1
37export HCCL_IF_IP=$(hostname -I |awk '{print $1}')46export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
47+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
38export HCCL_CONNECT_TIMEOUT=540048export HCCL_CONNECT_TIMEOUT=5400
39 49 
40 50 
MPyTorch/contrib/audio/wav2vec2.0/fairseq/distributed/utils.py+4-2
@@ -255,8 +255,10 @@ def distributed_init(cfg: FairseqConfig):
255 )255 )
256 )256 )
257 option = {}257 option = {}
258- option["ACL_OP_COMPILER_CACHE_MODE"] = "enable" # cache¹¦ÄÜÆôÓÃ258+ # 可通过此环境变量配置算子编译磁盘缓存模式。
259- option["ACL_OP_COMPILER_CACHE_DIR"] = "./cache" # cacheËùÔÚÎļþ¼Ð259+ # 配置为enable启用算子编译缓存;配置为disable禁用算子编译缓存;配置为force强制刷新缓存。
260+ option["ACL_OP_COMPILER_CACHE_MODE"] = "enable"
261+ option["ACL_OP_COMPILER_CACHE_DIR"] = "./cache" # 可通过此环境变量配置算子编译磁盘缓存的目录
260 #option["MM_BMM_ND_ENABLE"] = "enable"262 #option["MM_BMM_ND_ENABLE"] = "enable"
261 print("option:", option)263 print("option:", option)
262 torch.npu.set_option(option)264 torch.npu.set_option(option)
MPyTorch/contrib/audio/wav2vec2.0/test/env_npu.sh+9-5
@@ -14,15 +14,19 @@ else
14fi14fi
15 15 
16 16 
17-#将Host日志输出到串口,0-关闭/1-开启17+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
18export ASCEND_SLOG_PRINT_TO_STDOUT=018export ASCEND_SLOG_PRINT_TO_STDOUT=0
19-#设置默认日志级别,0-debug/1-info/2-warning/3-error19+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
20export ASCEND_GLOBAL_LOG_LEVEL=320export ASCEND_GLOBAL_LOG_LEVEL=3
21-#设置Event日志开启标志,0-关闭/1-开启21+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
22export ASCEND_GLOBAL_EVENT_ENABLE=022export ASCEND_GLOBAL_EVENT_ENABLE=0
23-#设置是否开启taskque,0-关闭/1-开启23+ 
24+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
25+#-配置为0时：关闭task_queue算子下发队列优化。
26+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
27+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
24export TASK_QUEUE_ENABLE=128export TASK_QUEUE_ENABLE=1
25-#HCCL白名单开关,1-关闭/0-开启29+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
26export HCCL_WHITELIST_DISABLE=130export HCCL_WHITELIST_DISABLE=1
27 31 
28#设置device侧日志登记为error32#设置device侧日志登记为error
MPyTorch/contrib/cv/classification/HRNet_ID1780_for_PyTorch/test/env_npu.sh+12-7
@@ -15,23 +15,28 @@ fi
15 15 
16 16 
17 17 
18-#将Host日志输出到串口,0-关闭/1-开启18+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
19export ASCEND_SLOG_PRINT_TO_STDOUT=019export ASCEND_SLOG_PRINT_TO_STDOUT=0
20-#设置默认日志级别,0-debug/1-info/2-warning/3-error20+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
21export ASCEND_GLOBAL_LOG_LEVEL=321export ASCEND_GLOBAL_LOG_LEVEL=3
22-#设置Event日志开启标志,0-关闭/1-开启22+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
23export ASCEND_GLOBAL_EVENT_ENABLE=023export ASCEND_GLOBAL_EVENT_ENABLE=0
24-#设置是否开启taskque,0-关闭/1-开启24+ 
25+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
26+#-配置为0时：关闭task_queue算子下发队列优化。
27+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
28+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
25export TASK_QUEUE_ENABLE=129export TASK_QUEUE_ENABLE=1
30+ 
26#设置是否开启PTCopy,0-关闭/1-开启31#设置是否开启PTCopy,0-关闭/1-开启
27export PTCOPY_ENABLE=132export PTCOPY_ENABLE=1
28-#设置是否开启combined标志,0-关闭/1-开启33+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
29export COMBINED_ENABLE=134export COMBINED_ENABLE=1
30#设置特殊场景是否需要重新编译,不需要修改35#设置特殊场景是否需要重新编译,不需要修改
31export DYNAMIC_OP="ADD#MUL"36export DYNAMIC_OP="ADD#MUL"
32-#HCCL白名单开关,1-关闭/0-开启37+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
33export HCCL_WHITELIST_DISABLE=138export HCCL_WHITELIST_DISABLE=1
34-# HCCL默认超时时间120s较少，修改为1800s对齐PyTorch默认设置39+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
35export HCCL_CONNECT_TIMEOUT=180040export HCCL_CONNECT_TIMEOUT=1800
36#设置绑核,0-关闭/1-平均分配绑核41#设置绑核,0-关闭/1-平均分配绑核
37export CPU_AFFINITY_CONF=142export CPU_AFFINITY_CONF=1
MPyTorch/contrib/cv/classification/InceptionV3_ID1596_for_PyTorch/test/env_npu.sh+11-6
@@ -22,21 +22,26 @@ msnpureport -g error -d 6
22msnpureport -g error -d 722msnpureport -g error -d 7
23 23 
24 24 
25-#将Host日志输出到串口,0-关闭/1-开启25+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
26export ASCEND_SLOG_PRINT_TO_STDOUT=026export ASCEND_SLOG_PRINT_TO_STDOUT=0
27-#设置默认日志级别,0-debug/1-info/2-warning/3-error27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29-#设置Event日志开启标志,0-关闭/1-开启29+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
30export ASCEND_GLOBAL_EVENT_ENABLE=030export ASCEND_GLOBAL_EVENT_ENABLE=0
31-#设置是否开启taskque,0-关闭/1-开启31+ 
32+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
33+#-配置为0时：关闭task_queue算子下发队列优化。
34+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
35+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
32export TASK_QUEUE_ENABLE=136export TASK_QUEUE_ENABLE=1
37+ 
33#设置是否开启PTCopy,0-关闭/1-开启38#设置是否开启PTCopy,0-关闭/1-开启
34export PTCOPY_ENABLE=139export PTCOPY_ENABLE=1
35-#设置是否开启combined标志,0-关闭/1-开启40+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
36export COMBINED_ENABLE=141export COMBINED_ENABLE=1
37#设置特殊场景是否需要重新编译,不需要修改42#设置特殊场景是否需要重新编译,不需要修改
38export DYNAMIC_OP="ADD#MUL"43export DYNAMIC_OP="ADD#MUL"
39-#HCCL白名单开关,1-关闭/0-开启44+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
40export HCCL_WHITELIST_DISABLE=145export HCCL_WHITELIST_DISABLE=1
41export HCCL_IF_IP=$(hostname -I |awk '{print $1}')46export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
42 47 
MPyTorch/contrib/cv/classification/InceptionV3_ID1596_for_PyTorch/test/train_performance_16p.sh+1-0
@@ -75,6 +75,7 @@ fi
75export HCCL_IF_IP=$fix_node_ip75export HCCL_IF_IP=$fix_node_ip
76export MASTER_ADDR=$one_node_ip76export MASTER_ADDR=$one_node_ip
77export MASTER_PORT=2968877export MASTER_PORT=29688
78+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
78export HCCL_WHITELIST_DISABLE=179export HCCL_WHITELIST_DISABLE=1
79device_num=${#devicesnum}80device_num=${#devicesnum}
80devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`81devices_num=`awk 'BEGIN{printf "%.0f\n",'${device_num}'-1}'`
MPyTorch/contrib/cv/classification/MAE_for_PyTorch/test/env_npu.sh+11-6
@@ -14,21 +14,26 @@ else
14fi14fi
15 15 
16 16 
17-#将Host日志输出到串口,0-关闭/1-开启17+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
18export ASCEND_SLOG_PRINT_TO_STDOUT=018export ASCEND_SLOG_PRINT_TO_STDOUT=0
19-#设置默认日志级别,0-debug/1-info/2-warning/3-error19+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
20export ASCEND_GLOBAL_LOG_LEVEL=320export ASCEND_GLOBAL_LOG_LEVEL=3
21-#设置Event日志开启标志,0-关闭/1-开启21+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
22export ASCEND_GLOBAL_EVENT_ENABLE=022export ASCEND_GLOBAL_EVENT_ENABLE=0
23-#设置是否开启taskque,0-关闭/1-开启23+ 
24+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
25+#-配置为0时：关闭task_queue算子下发队列优化。
26+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
27+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
24export TASK_QUEUE_ENABLE=128export TASK_QUEUE_ENABLE=1
29+ 
25#设置是否开启PTCopy,0-关闭/1-开启30#设置是否开启PTCopy,0-关闭/1-开启
26export PTCOPY_ENABLE=131export PTCOPY_ENABLE=1
27-#设置是否开启combined标志,0-关闭/1-开启32+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
28export COMBINED_ENABLE=133export COMBINED_ENABLE=1
29#设置特殊场景是否需要重新编译,不需要修改34#设置特殊场景是否需要重新编译,不需要修改
30export DYNAMIC_OP="ADD#MUL"35export DYNAMIC_OP="ADD#MUL"
31-#HCCL白名单开关,1-关闭/0-开启36+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
32export HCCL_WHITELIST_DISABLE=137export HCCL_WHITELIST_DISABLE=1
33export HCCL_IF_IP=$(hostname -I |awk '{print $1}')38export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
34 39 
MPyTorch/contrib/cv/classification/MAE_for_PyTorch/test/finetune_full_32p.sh+1-0
@@ -16,6 +16,7 @@ export RANK_ID_START=0
16master_addr=x.x.x.x16master_addr=x.x.x.x
17# 服务器自身ip, 需修改17# 服务器自身ip, 需修改
18export HCCL_IF_IP=x.x.x.x18export HCCL_IF_IP=x.x.x.x
19+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
19HCCL_WHITELIST_DISABLE=120HCCL_WHITELIST_DISABLE=1
20 21 
21# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
MPyTorch/contrib/cv/classification/MAE_for_PyTorch/test/finetune_full_large_16p.sh+1-0
@@ -16,6 +16,7 @@ export RANK_ID_START=0
16master_addr=x.x.x.x16master_addr=x.x.x.x
17# 服务器自身ip, 需修改17# 服务器自身ip, 需修改
18export HCCL_IF_IP=x.x.x.x18export HCCL_IF_IP=x.x.x.x
19+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
19HCCL_WHITELIST_DISABLE=120HCCL_WHITELIST_DISABLE=1
20 21 
21# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
MPyTorch/contrib/cv/classification/MAE_for_PyTorch/test/pretrain_full_32p.sh+1-0
@@ -16,6 +16,7 @@ export RANK_ID_START=0
16master_addr=x.x.x.x16master_addr=x.x.x.x
17# 服务器自身ip,需修改17# 服务器自身ip,需修改
18export HCCL_IF_IP=x.x.x.x18export HCCL_IF_IP=x.x.x.x
19+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
19HCCL_WHITELIST_DISABLE=120HCCL_WHITELIST_DISABLE=1
20 21 
21# 数据集路径,保持为空,不需要修改22# 数据集路径,保持为空,不需要修改
MPyTorch/contrib/cv/pose_estimation/Lightweight_OpenPose/test/env_npu.sh+12-7
@@ -26,23 +26,28 @@ msnpureport -g error -d 7
26#关闭Device侧Event日志26#关闭Device侧Event日志
27msnpureport -e disable27msnpureport -e disable
28 28 
29-#将Host日志输出到串口,0-关闭/1-开启29+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
30export ASCEND_SLOG_PRINT_TO_STDOUT=030export ASCEND_SLOG_PRINT_TO_STDOUT=0
31-#设置默认日志级别,0-debug/1-info/2-warning/3-error31+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
32export ASCEND_GLOBAL_LOG_LEVEL=332export ASCEND_GLOBAL_LOG_LEVEL=3
33-#设置Event日志开启标志,0-关闭/1-开启33+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
34export ASCEND_GLOBAL_EVENT_ENABLE=034export ASCEND_GLOBAL_EVENT_ENABLE=0
35-#设置是否开启taskque,0-关闭/1-开启35+ 
36+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
37+#-配置为0时：关闭task_queue算子下发队列优化。
38+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
39+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
36export TASK_QUEUE_ENABLE=140export TASK_QUEUE_ENABLE=1
41+ 
37#设置是否开启PTCopy,0-关闭/1-开启42#设置是否开启PTCopy,0-关闭/1-开启
38export PTCOPY_ENABLE=143export PTCOPY_ENABLE=1
39-#设置是否开启combined标志,0-关闭/1-开启44+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
40export COMBINED_ENABLE=045export COMBINED_ENABLE=0
41#设置特殊场景是否需要重新编译,不需要修改46#设置特殊场景是否需要重新编译,不需要修改
42export DYNAMIC_OP="ADD#MUL"47export DYNAMIC_OP="ADD#MUL"
43-#HCCL白名单开关,1-关闭/0-开启48+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
44export HCCL_WHITELIST_DISABLE=149export HCCL_WHITELIST_DISABLE=1
45-#HCCL默认超时时间120s较少，修改为1800s对齐PyTorch默认设置50+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
46export HCCL_CONNECT_TIMEOUT=180051export HCCL_CONNECT_TIMEOUT=1800
47 52 
48ulimit -SHn 51200053ulimit -SHn 512000
MPyTorch/contrib/cv/semantic_segmentation/DeeplabV3_for_Pytorch/test/env_npu.sh+11-6
@@ -27,21 +27,26 @@ msnpureport -g error -d 7
27msnpureport -e disable27msnpureport -e disable
28 28 
29 29 
30-#将Host日志输出到串口,0-关闭/1-开启30+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
31export ASCEND_SLOG_PRINT_TO_STDOUT=031export ASCEND_SLOG_PRINT_TO_STDOUT=0
32-#设置默认日志级别,0-debug/1-info/2-warning/3-error32+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
33export ASCEND_GLOBAL_LOG_LEVEL=333export ASCEND_GLOBAL_LOG_LEVEL=3
34-#设置Host侧Event日志开启标志,0-关闭/1-开启34+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
35export ASCEND_GLOBAL_EVENT_ENABLE=035export ASCEND_GLOBAL_EVENT_ENABLE=0
36-#设置是否开启taskque,0-关闭/1-开启36+ 
37+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
38+#-配置为0时：关闭task_queue算子下发队列优化。
39+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
40+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
37export TASK_QUEUE_ENABLE=141export TASK_QUEUE_ENABLE=1
42+ 
38#设置是否开启PTCopy,0-关闭/1-开启43#设置是否开启PTCopy,0-关闭/1-开启
39export PTCOPY_ENABLE=144export PTCOPY_ENABLE=1
40-#设置是否开启combined标志,0-关闭/1-开启45+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
41export COMBINED_ENABLE=146export COMBINED_ENABLE=1
42#设置特殊场景是否需要重新编译,不需要修改47#设置特殊场景是否需要重新编译,不需要修改
43export DYNAMIC_OP="ADD#MUL"48export DYNAMIC_OP="ADD#MUL"
44-#HCCL白名单开关,1-关闭/0-开启49+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
45export HCCL_WHITELIST_DISABLE=150export HCCL_WHITELIST_DISABLE=1
46 51 
47 52 
MPyTorch/contrib/cv/semantic_segmentation/DeeplabV3_for_Pytorch/train_8p.sh+9-0
@@ -1,13 +1,22 @@
1source ./test/env_npu.sh1source ./test/env_npu.sh
2+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
2export ASCEND_SLOG_PRINT_TO_STDOUT=03export ASCEND_SLOG_PRINT_TO_STDOUT=0
4+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
3export ASCEND_GLOBAL_LOG_LEVEL=35export ASCEND_GLOBAL_LOG_LEVEL=3
4export PTCOPY_ENABLE=16export PTCOPY_ENABLE=1
7+ 
8+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
9+#-配置为0时：关闭task_queue算子下发队列优化。
10+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
11+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
5export TASK_QUEUE_ENABLE=112export TASK_QUEUE_ENABLE=1
6export DYNAMIC_OP="ADD#MUL"13export DYNAMIC_OP="ADD#MUL"
7export COMBINED_ENABLE=114export COMBINED_ENABLE=1
8export DYNAMIC_COMPILE_ENABLE=015export DYNAMIC_COMPILE_ENABLE=0
9export EXPERIMENTAL_DYNAMIC_PARTITION=016export EXPERIMENTAL_DYNAMIC_PARTITION=0
17+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
10export ASCEND_GLOBAL_EVENT_ENABLE=018export ASCEND_GLOBAL_EVENT_ENABLE=0
19+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
11export HCCL_WHITELIST_DISABLE=120export HCCL_WHITELIST_DISABLE=1
12 21 
13export RANK_SIZE=822export RANK_SIZE=8
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/env_npu.sh+12-6
@@ -24,23 +24,29 @@ msnpureport -g error -d 7
24 24 
25export BMMV2_ENABLE=125export BMMV2_ENABLE=1
26export SCALAR_TO_HOST_MEM=126export SCALAR_TO_HOST_MEM=1
27-#将Host日志输出到串口,0-关闭/1-开启27+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
28export ASCEND_SLOG_PRINT_TO_STDOUT=028export ASCEND_SLOG_PRINT_TO_STDOUT=0
29-#设置默认日志级别,0-debug/1-info/2-warning/3-error29+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
30export ASCEND_GLOBAL_LOG_LEVEL=330export ASCEND_GLOBAL_LOG_LEVEL=3
31-#设置Event日志开启标志,0-关闭/1-开启31+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
32export ASCEND_GLOBAL_EVENT_ENABLE=032export ASCEND_GLOBAL_EVENT_ENABLE=0
33-#设置是否开启taskque,0-关闭/1-开启33+ 
34+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
35+#-配置为0时：关闭task_queue算子下发队列优化。
36+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
37+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
34export TASK_QUEUE_ENABLE=138export TASK_QUEUE_ENABLE=1
39+ 
35#设置是否开启PTCopy,0-关闭/1-开启40#设置是否开启PTCopy,0-关闭/1-开启
36export PTCOPY_ENABLE=141export PTCOPY_ENABLE=1
37-#设置是否开启combined标志,0-关闭/1-开启42+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
38export COMBINED_ENABLE=143export COMBINED_ENABLE=1
39#设置特殊场景是否需要重新编译,不需要修改44#设置特殊场景是否需要重新编译,不需要修改
40export DYNAMIC_OP="ADD#MUL"45export DYNAMIC_OP="ADD#MUL"
41-#HCCL白名单开关,1-关闭/0-开启46+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
42export HCCL_WHITELIST_DISABLE=147export HCCL_WHITELIST_DISABLE=1
43export HCCL_IF_IP=$(hostname -I |awk '{print $1}')48export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
49+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
44export HCCL_CONNECT_TIMEOUT=540050export HCCL_CONNECT_TIMEOUT=5400
45 51 
46 52 
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_full_16p.sh+5-0
@@ -10,6 +10,11 @@ RANK_SIZE=16
10PER_NPU_BATCH_SIZE=2410PER_NPU_BATCH_SIZE=24
11export MASTER_ADDR=127.0.0.111export MASTER_ADDR=127.0.0.1
12export MASTER_PORT=1235512export MASTER_PORT=12355
13+ 
14+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
15+#-配置为0时：关闭task_queue算子下发队列优化。
16+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
17+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
13export TASK_QUEUE_ENABLE=218export TASK_QUEUE_ENABLE=2
14export ASCEND_DEVICE_ID=019export ASCEND_DEVICE_ID=0
15###############指定训练脚本执行路径###############20###############指定训练脚本执行路径###############
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_full_1p.sh+5-0
@@ -6,6 +6,11 @@ export BERT_BASE_DIR=$CURRENT_DIR/prev_trained_model/bert-base-chinese
6export DATA_DIR=$CURRENT_DIR/datasets6export DATA_DIR=$CURRENT_DIR/datasets
7export OUTPUR_DIR=$CURRENT_DIR/outputs7export OUTPUR_DIR=$CURRENT_DIR/outputs
8TASK_NAME="cluener"8TASK_NAME="cluener"
9+ 
10+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
11+#-配置为0时：关闭task_queue算子下发队列优化。
12+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
13+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
9export TASK_QUEUE_ENABLE=214export TASK_QUEUE_ENABLE=2
10 15 
11###############指定训练脚本执行路径###############16###############指定训练脚本执行路径###############
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_full_8p.sh+5-0
@@ -10,6 +10,11 @@ RANK_SIZE=8
10PER_NPU_BATCH_SIZE=2410PER_NPU_BATCH_SIZE=24
11export MASTER_ADDR=127.0.0.111export MASTER_ADDR=127.0.0.1
12export MASTER_PORT=1235512export MASTER_PORT=12355
13+ 
14+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
15+#-配置为0时：关闭task_queue算子下发队列优化。
16+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
17+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
13export TASK_QUEUE_ENABLE=218export TASK_QUEUE_ENABLE=2
14export ASCEND_DEVICE_ID=019export ASCEND_DEVICE_ID=0
15###############指定训练脚本执行路径###############20###############指定训练脚本执行路径###############
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_performance_16p.sh+5-0
@@ -10,6 +10,11 @@ RANK_SIZE=16
10PER_NPU_BATCH_SIZE=2410PER_NPU_BATCH_SIZE=24
11export MASTER_ADDR=127.0.0.111export MASTER_ADDR=127.0.0.1
12export MASTER_PORT=1235512export MASTER_PORT=12355
13+ 
14+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
15+#-配置为0时：关闭task_queue算子下发队列优化。
16+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
17+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
13export TASK_QUEUE_ENABLE=218export TASK_QUEUE_ENABLE=2
14export ASCEND_DEVICE_ID=019export ASCEND_DEVICE_ID=0
15 20 
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_performance_1p.sh+5-0
@@ -6,6 +6,11 @@ export BERT_BASE_DIR=$CURRENT_DIR/prev_trained_model/bert-base-chinese
6export DATA_DIR=$CURRENT_DIR/datasets6export DATA_DIR=$CURRENT_DIR/datasets
7export OUTPUR_DIR=$CURRENT_DIR/outputs7export OUTPUR_DIR=$CURRENT_DIR/outputs
8TASK_NAME="cluener"8TASK_NAME="cluener"
9+ 
10+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
11+#-配置为0时：关闭task_queue算子下发队列优化。
12+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
13+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
9export TASK_QUEUE_ENABLE=214export TASK_QUEUE_ENABLE=2
10 15 
11###############指定训练脚本执行路径###############16###############指定训练脚本执行路径###############
MPyTorch/contrib/nlp/BERT-NER-Pytorch/test/train_performance_8p.sh+5-0
@@ -10,6 +10,11 @@ RANK_SIZE=8
10PER_NPU_BATCH_SIZE=2410PER_NPU_BATCH_SIZE=24
11export MASTER_ADDR=127.0.0.111export MASTER_ADDR=127.0.0.1
12export MASTER_PORT=1235512export MASTER_PORT=12355
13+ 
14+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
15+#-配置为0时：关闭task_queue算子下发队列优化。
16+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
17+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
13export TASK_QUEUE_ENABLE=218export TASK_QUEUE_ENABLE=2
14export ASCEND_DEVICE_ID=019export ASCEND_DEVICE_ID=0
15 20 
MPyTorch/contrib/nlp/roberta_for_PyTorch/test/env_npu.sh+12-7
@@ -22,23 +22,28 @@ msnpureport -g error -d 5
22msnpureport -g error -d 622msnpureport -g error -d 6
23msnpureport -g error -d 723msnpureport -g error -d 7
24 24 
25-#将Host日志输出到串口,0-关闭/1-开启25+#将Host日志输出到串口,0-关闭/1-开启。指定0关闭日志打屏，即日志采用默认输出方式，将日志保存在log文件中。
26export ASCEND_SLOG_PRINT_TO_STDOUT=026export ASCEND_SLOG_PRINT_TO_STDOUT=0
27-#设置默认日志级别,0-debug/1-info/2-warning/3-error27+#设置默认日志级别,0-debug/1-info/2-warning/3-error。此处指定3输出error级别日志，可根据具体需要调整。
28export ASCEND_GLOBAL_LOG_LEVEL=328export ASCEND_GLOBAL_LOG_LEVEL=3
29-#设置Event日志开启标志,0-关闭/1-开启29+#设置应用类日志是否开启Event日志。0-关闭/1-开启，默认值为1，此处设置为0表示关闭Event日志。
30export ASCEND_GLOBAL_EVENT_ENABLE=030export ASCEND_GLOBAL_EVENT_ENABLE=0
31-#设置是否开启taskque,0-关闭/1-开启31+ 
32+#可通过此环境变量配置task_queue算子下发队列是否开启和优化等级。
33+#-配置为0时：关闭task_queue算子下发队列优化。
34+#-配置为1或未配置时：开启task_queue算子下发队列Level 1优化。
35+#-配置为2时：开启task_queue算子下发队列Level 2优化。关于Level 1和Level 2优化的详细解释请查看官网文档。
32export TASK_QUEUE_ENABLE=136export TASK_QUEUE_ENABLE=1
37+ 
33#设置是否开启PTCopy,0-关闭/1-开启38#设置是否开启PTCopy,0-关闭/1-开启
34export PTCOPY_ENABLE=139export PTCOPY_ENABLE=1
35-#设置是否开启combined标志,0-关闭/1-开启40+#设置是否开启combined标志,0-关闭/1-开启。设置为1表示开启，用于优化非连续两个算子组合类场景。
36export COMBINED_ENABLE=141export COMBINED_ENABLE=1
37#设置特殊场景是否需要重新编译,不需要修改42#设置特殊场景是否需要重新编译,不需要修改
38export DYNAMIC_OP="ADD#MUL"43export DYNAMIC_OP="ADD#MUL"
39-#HCCL白名单开关,1-关闭/0-开启44+#HCCL白名单开关,1-关闭/0-开启。设置为1则无需校验HCCL通信白名单。
40export HCCL_WHITELIST_DISABLE=145export HCCL_WHITELIST_DISABLE=1
41-#HCCL默认超时时间120s较少，修改为1800s对齐PyTorch默认设置46+#分布式训练或推理场景下，用于限制不同设备之间socket建链过程的超时等待时间。该环境变量需要配置为整数。此处为试验后的经验值。
42export HCCL_CONNECT_TIMEOUT=180047export HCCL_CONNECT_TIMEOUT=1800
43export HCCL_EXEC_TIMEOUT=120048export HCCL_EXEC_TIMEOUT=1200
44export HCCL_IF_IP=$(hostname -I |awk '{print $1}')49export HCCL_IF_IP=$(hostname -I |awk '{print $1}')