MiniMind:基于 PyTorch 的 Mini LLM 实现项目

可帮助用户从零理解现代大语言模型核心组件,项目完整实现 LLaMA 风格模型,包含 RMSNorm、RoPE、GQA、MoE 等关键特性,支持分布式训练与 HuggingFace 兼容。【此简介由AI生成】

分支1Tags0

项目介绍

可帮助用户从零理解现代大语言模型核心组件,项目完整实现 LLaMA 风格模型,包含 RMSNorm、RoPE、GQA、MoE 等关键特性,支持分布式训练与 HuggingFace 兼容。【此简介由AI生成】

定制我的领域