已合并
update swap attention readme #2095
wangyuansheng8创建于 2025年3月25日
update swap attention readme #2095
已合并
从refs/pull/2095/head合入到core_r0.8.0
共 3 个文件变更+6-1
| @@ -255,7 +255,7 @@ MindSpeed 特性由七大模块组成，分别为：megetron特性支持、并 | |||
| 255 | <td><a href="docs/features/double-ring.md">link</a></td> | 255 | <td><a href="docs/features/double-ring.md">link</a></td> |
| 256 | <td style="text-align: center; vertical-align: middle">✅</td> | 256 | <td style="text-align: center; vertical-align: middle">✅</td> |
| 257 | <td style="text-align: center; vertical-align: middle">✅</td> | 257 | <td style="text-align: center; vertical-align: middle">✅</td> |
| 258 | - <td style="text-align: center; vertical-align: middle">✅</td> | 258 | + <td style="text-align: center; vertical-align: middle">❌</td> |
| 259 | </tr> | 259 | </tr> |
| 260 | <tbody> | 260 | <tbody> |
| 261 | <tr> | 261 | <tr> |
| @@ -49,3 +49,4 @@ | |||
| 49 | 1. `--recompute-num-layers [int]`中的[int]层数指的是每一个pp stage的层数。[int]的取值应该小于等于num-layers/pipeline-model-parallel-size. | 49 | 1. `--recompute-num-layers [int]`中的[int]层数指的是每一个pp stage的层数。[int]的取值应该小于等于num-layers/pipeline-model-parallel-size. |
| 50 | 2. 暂不兼容自适应选择重计算特性. | 50 | 2. 暂不兼容自适应选择重计算特性. |
| 51 | 3. 若出现性能严重劣化，可能是跨NUMA内存访问引起，可尝试通过进程绑核缓解，实现方法可参考[mstt绑核工具](https://gitee.com/ascend/mstt/tree/master/profiler/affinity_cpu_bind) | 51 | 3. 若出现性能严重劣化，可能是跨NUMA内存访问引起，可尝试通过进程绑核缓解，实现方法可参考[mstt绑核工具](https://gitee.com/ascend/mstt/tree/master/profiler/affinity_cpu_bind) |
| 52 | +4. `--swap-attention`暂不兼容LoRA微调。 | ||
| @@ -1003,6 +1003,10 @@ def validate_args_wrapper(validate_args): | |||
| 1003 | '--use-ulysses-allgather-kv needs to enable --group-query-attention.' | 1003 | '--use-ulysses-allgather-kv needs to enable --group-query-attention.' |
| 1004 | ) | 1004 | ) |
| 1005 | 1005 | ||
| 1006 | + if args.swap_attention and hasattr(args, "lora_target_modules"): | ||
| 1007 | + if args.lora_target_modules is not []: | ||
| 1008 | + raise AssertionError('swap attention is not compatible with LoRA') | ||
| 1009 | + | ||
| 1006 | from megatron.training.arguments import _print_args | 1010 | from megatron.training.arguments import _print_args |
| 1007 | _print_args('arguments', args, True) | 1011 | _print_args('arguments', args, True) |
| 1008 | 1012 | ||