MindSpeed-LLM 预置ssm大模型

认证【Pass】表示经过昇腾官方版本测试的模型。【test】表示模型处于内部测试阶段,未完成充分的性能测试和验收,在实际使用中可能存在未被发现的问题,待后续充分验证后会发布正式版本。相关使用问题可反馈至MindSpeed-LLM/issues

模型 下载链接 脚本位置 序列 实现 集群 贡献方 认证
Mamba2 2.7B mamba2 4K Mcore 1x8 【Ascend】 【test】
8B 4K Mcore 1x8 【Ascend】 【test】
Mamba2Hybrid 8B mamba2 4K Mcore 1x8 【Ascend】 【test】

注意:

开源未提供模型词表文件,内部测试阶段使用的词表文件mamba2_2.7b_from_8b.model为自定义设计,用户请使用自己构建的词表,训练效果不保证。

以上模型脚本环境变量声明:

HCCL_CONNECT_TIMEOUT:设置HCCL超时时间,默认值为120
CUDA_DEVICE_MAX_CONNECTIONS:定义了任务流能够利用或映射到的硬件队列的数量
PYTORCH_NPU_ALLOC_CONF:内存碎片优化开关,默认是expandable_segments:False,使能时expandable_segments:True
NPUS_PER_NODE: 配置一个计算节点上使用的NPU数量
CPU_AFFINITY_CONF: cpu绑核环境变量
TASK_QUEUE_ENABLE:二级流水下发环境变量