MindSpeed-LLM 预置ssm大模型
认证【Pass】表示经过昇腾官方版本测试的模型。【test】表示模型处于内部测试阶段,未完成充分的性能测试和验收,在实际使用中可能存在未被发现的问题,待后续充分验证后会发布正式版本。相关使用问题可反馈至MindSpeed-LLM/issues。
| 模型 | 下载链接 | 脚本位置 | 序列 | 实现 | 集群 | 贡献方 | 认证 |
|---|---|---|---|---|---|---|---|
| Mamba2 | 2.7B | mamba2 | 4K | Mcore | 1x8 | 【Ascend】 | 【test】 |
| 8B | 4K | Mcore | 1x8 | 【Ascend】 | 【test】 | ||
| Mamba2Hybrid | 8B | mamba2 | 4K | Mcore | 1x8 | 【Ascend】 | 【test】 |
以上模型脚本环境变量声明:
HCCL_CONNECT_TIMEOUT:设置HCCL超时时间,默认值为120
CUDA_DEVICE_MAX_CONNECTIONS:定义了任务流能够利用或映射到的硬件队列的数量
PYTORCH_NPU_ALLOC_CONF:内存碎片优化开关,默认是expandable_segments:False,使能时expandable_segments:True
NPUS_PER_NODE: 配置一个计算节点上使用的NPU数量
CPU_AFFINITY_CONF: cpu绑核环境变量
TASK_QUEUE_ENABLE:二级流水下发环境变量