dolphin-2.9-llama3-8b-256k-exl2:ExLlamaV2量化版本,多分支多比特率,适配不同VRAM需求

基于ExLlamaV2 v0.0.20量化的文本生成模型,提供8.0到3.5等多种比特率分支,平衡性能与显存占用,支持不同配置设备使用。【此简介由AI生成】

分支6Tags0
2e2e2bf2创建于 2024年4月29日2次提交
文件最后提交记录最后更新时间
initial commit2 年前
measurement.json2 年前
measurement.json2 年前
项目 README 为空

项目介绍

基于ExLlamaV2 v0.0.20量化的文本生成模型,提供8.0到3.5等多种比特率分支,平衡性能与显存占用,支持不同配置设备使用。【此简介由AI生成】

定制我的领域

下载使用量

0

项目总下载次数(含Clone、Pull、 zip 包及 release 下载),每日凌晨更新