MindSpeed-LLM 预置ssm大模型

认证【Pass】表示经过昇腾官方版本测试的模型。【test】表示模型处于内部测试阶段,未完成充分的性能测试和验收,在实际使用中可能存在未被发现的问题,待后续充分验证后会发布正式版本。相关使用问题可反馈至MindSpeed-LLM/issues

模型 下载链接 脚本位置 序列 实现 集群 贡献方 认证
Mamba2 2.7B mamba2 4K Mcore 1x8 【Ascend】 【test】
8B 4K Mcore 1x8 【Ascend】 【test】
Mamba2Hybrid 8B mamba2 4K Mcore 1x8 【Ascend】 【test】

以上模型脚本环境变量声明:

HCCL_CONNECT_TIMEOUT:设置HCCL超时时间,默认值为120
CUDA_DEVICE_MAX_CONNECTIONS:定义了任务流能够利用或映射到的硬件队列的数量
PYTORCH_NPU_ALLOC_CONF:内存碎片优化开关,默认是expandable_segments:False,使能时expandable_segments:True
NPUS_PER_NODE: 配置一个计算节点上使用的NPU数量
CPU_AFFINITY_CONF: cpu绑核环境变量
TASK_QUEUE_ENABLE:二级流水下发环境变量