MindSpeed-LLM Docs 目录
| 内容 | 链接 | 备注 |
|---|---|---|
| 环境安装指导 | install_guide.md | |
| 快速入门 | quick_start.md | 基于pytorch/mindspore后端的入门指导，从环境安装到预训练拉起 |
| 仓库支持模型清单 | dense_models | 稠密模型清单 |
| MOE_models | MOE模型清单 | |
| SSM_models | SSM模型清单 | |
| 特性清单 | features | 收集了部分仓库支持的性能优化和显存优化的特性 |
| 模型前处理操作 | checkpoint_convert | 支持mcore、hf、lora等各种不同格式权重间的部分转换路径 |
| pretrain_dataset | 支持的数据集格式包括alpaca,pairwise,sharegpt | |
| finetune_dataset(待补充) | ||
| reward_dataset | ||
| 预训练方案 | pretrain | 多样本预训练方法 |
| pretrain_eod | 多样本pack预训练方法 | |
| 模型微调方法 | instruction_finetune | 模型全参微调方案 |
| multi_sample_pack_finetune | 多样本Pack微调方案 | |
| multi-turn_conversation | 多轮对话微调方案 | |
| lora_finetune | 模型lora微调方案 | |
| qlora_finetune | 模型qlora微调方案 | |
| 模型推理方法 | inference | 模型推理 |
| chat | 对话 | |
| yarn | 使用yarn方案来扩展上下文长度，支持长序列推理 | |
| 模型评估 | evaluation | 模型评估方案 |
| evaluation_baseline | 仓库模型评估清单 | |
| evaluation_datasets | 仓库支持评估数据集 | |
| 模型偏好训练方法 | offline_dpo | 基于数据偏好训练模型，但不会使用policy-model进行推理并参与其权重更新 |
| simpo | 简单偏好训练优化方法 | |
| trl_ppo | 强化学习优化策略方法 | |
| 奖励模型方案 | process_reward_model | 过程奖励模型 |
| outcome_reward_model | 结果奖励模型 |
【线性度性能展示】
基于 GPT3-175B 稠密大模型，从128颗 NPU 扩展到 7968颗 NPU 进行 MFU 与线性度实验，下图是实验数据：
图中呈现了对应集群规模下的 MFU 值与集群整体的 线性度情况. 计算公式已经放到社区，点击链接可进行参考：MFU计算公式，线性度计算公式.