Tencent-Hunyuan-Large:基于混合专家技术的大型语言模型项目

用户可利用该项目进行高性能大模型的训练、精调与部署,适用于自然语言处理、长上下文任务等场景。项目核心为Hunyuan-Large混合专家模型,具备3890亿总参数,支持256K长序列处理,采用GQA/CLA优化和FP8量化,推理性能优异且显存占用低。【此简介由AI生成】

Branch1Tags0

Introduction

用户可利用该项目进行高性能大模型的训练、精调与部署,适用于自然语言处理、长上下文任务等场景。项目核心为Hunyuan-Large混合专家模型,具备3890亿总参数,支持256K长序列处理,采用GQA/CLA优化和FP8量化,推理性能优异且显存占用低。【此简介由AI生成】

Customize your domain