用户可利用该项目进行高性能大模型的训练、精调与部署,适用于自然语言处理、长上下文任务等场景。项目核心为Hunyuan-Large混合专家模型,具备3890亿总参数,支持256K长序列处理,采用GQA/CLA优化和FP8量化,推理性能优异且显存占用低。【此简介由AI生成】
Introduction
用户可利用该项目进行高性能大模型的训练、精调与部署,适用于自然语言处理、长上下文任务等场景。项目核心为Hunyuan-Large混合专家模型,具备3890亿总参数,支持256K长序列处理,采用GQA/CLA优化和FP8量化,推理性能优异且显存占用低。【此简介由AI生成】
Customize your domain