various-2bit-sota-gguf:采用新型2-bit量化方法的GGUF格式模型集合

基于新型2-bit量化方法的GGUF格式模型集合，适用于llama.cpp，需配合指定PR版本使用。部分模型优化量化误差，尺寸略增约10%。【此简介由AI生成】

IIwan KawrakowAdding Nous-Hermes 2.31 bpw quantized models

6d5bc075创建于 2024年1月10日13次提交

文件	最后提交记录	最后更新时间
.gitattributes	Adding first set of models	2 年前
README.md	Update README.md	2 年前
llama-v2-13b-2.17bpw.ggufLFS	Adding first set of models	2 年前
llama-v2-13b-2.39bpw.ggufLFS	Adding 2.31-bpw base quantized models	2 年前
llama-v2-70b-2.12bpw.ggufLFS	Adding more	2 年前
llama-v2-70b-2.36bpw.ggufLFS	Adding 2.31-bpw base quantized models	2 年前
llama-v2-7b-2.20bpw.ggufLFS	Adding first set of models	2 年前
llama-v2-7b-2.42bpw.ggufLFS	Adding 2.31-bpw base quantized models	2 年前
mistral-7b-2.20bpw.ggufLFS	Adding first set of models	2 年前
mistral-7b-2.43bpw.ggufLFS	Adding 2.31-bpw base quantized models	2 年前
mistral-instruct-7b-2.43bpw.ggufLFS	Adding Mistral instruct models	2 年前
mixtral-8x7b-2.10bpw.ggufLFS	Adding Mixtral-8x7b	2 年前
mixtral-8x7b-2.34bpw.ggufLFS	Adding 2.31-bpw base quantized models	2 年前
mixtral-instruct-8x7b-2.10bpw.ggufLFS	Adding Mixtral-instruct-8x7b	2 年前
mixtral-instruct-8x7b-2.34bpw.ggufLFS	Adding Mistral instruct models	2 年前
nous-hermes-2-10.7b-2.18bpw.ggufLFS	Adding Nous-Hermes-2-SOLAR-10.7B 2-bit quants	2 年前
nous-hermes-2-10.7b-2.41bpw.ggufLFS	Adding Nous-Hermes 2.31 bpw quantized models	2 年前
nous-hermes-2-10.7b-2.70bpw.ggufLFS	Adding Nous-Hermes-2-SOLAR-10.7B 2-bit quants	2 年前
nous-hermes-2-34b-2.16bpw.ggufLFS	Adding Nous-Hermes-2-Yi-34B 2-bit quants	2 年前
nous-hermes-2-34b-2.40bpw.ggufLFS	Adding Nous-Hermes 2.31 bpw quantized models	2 年前
nous-hermes-2-34b-2.69bpw.ggufLFS	Adding Nous-Hermes-2-Yi-34B 2-bit quants	2 年前
rocket-3b-2.31bpw.ggufLFS	Adding Rocket-3b 2-bit quants	2 年前
rocket-3b-2.76bpw.ggufLFS	Adding Rocket-3b 2-bit quants	2 年前

自动翻译

license: apache-2.0

采用新型2位量化方法生成的GGUF格式多模型集。专为搭配llama.cpp使用，需配合llama.cpp的PR 4773版本。

更新说明：PR 4773已合并至llama.cpp主分支，但新增模型需使用PR 4856版本。新增模型比特率约为2.3-2.4 bpw，通过增加约10%的模型体积，显著降低了量化误差。

项目介绍

基于新型2-bit量化方法的GGUF格式模型集合，适用于llama.cpp，需配合指定PR版本使用。部分模型优化量化误差，尺寸略增约10%。【此简介由AI生成】

下载使用量

项目总下载次数（含Clone、Pull、 zip 包及 release 下载），每日凌晨更新

license: apache-2.0

项目介绍

下载使用量

目录