DeepSeek-V3:基于MoE架构的开源语言模型项目

可用于高效训练和推理大语言模型,在数学、代码等任务上性能突出。采用创新负载均衡策略和多 token 预测训练目标,预训练于14.8万亿 tokens,训练成本低且过程稳定。【此简介由AI生成】

Branch1Tags1

Introduction

可用于高效训练和推理大语言模型,在数学、代码等任务上性能突出。采用创新负载均衡策略和多 token 预测训练目标,预训练于14.8万亿 tokens,训练成本低且过程稳定。【此简介由AI生成】

Customize your domain
749103.89 K16.73 KVisit GitHub