已合并
add swap-attention to poc/405b #2638
jzh6229创建于 2025年5月6日
add swap-attention to poc/405b #2638
已合并
从refs/pull/2638/head合入到2.0.0
共 1 个文件变更+1-0
| @@ -41,6 +41,7 @@ DISTRIBUTED_ARGS=" | |||
| 41 | 41 | ||
| 42 | GPT_ARGS=" | 42 | GPT_ARGS=" |
| 43 | --use-mcore-models \ | 43 | --use-mcore-models \ |
| 44 | + --swap-attention \ | ||
| 44 | --reuse-fp32-param \ | 45 | --reuse-fp32-param \ |
| 45 | --tensor-model-parallel-size ${TP} \ | 46 | --tensor-model-parallel-size ${TP} \ |
| 46 | --pipeline-model-parallel-size ${PP} \ | 47 | --pipeline-model-parallel-size ${PP} \ |