L3-Nymeria-15B-i1-GGUF:15B基础模型的i1-GGUF量化版本，含多种IQ/静态量化规格

---

base_model: Frowning/L3-Nymeria-15B language:

• en library_name: transformers quantized_by: mradermacher tags:
• merge
• mergekit
• lazymergekit
• tannedbum/L3-Nymeria-8B

---

关于

此版本为 https://huggingface.co/Frowning/L3-Nymeria-15B 的加权/重要性矩阵量化版本

静态量化版本可在 https://huggingface.co/mradermacher/L3-Nymeria-15B-GGUF 获取

使用说明

若不确定如何使用 GGUF 文件，请参考 TheBloke 的说明文档 获取详细信息，包括如何合并多分卷文件。

提供的量化版本

（按体积排序，质量并非严格对应。IQ量化通常优于同体积的非IQ量化版本）

链接	类型	体积/GB	备注
GGUF	i1-IQ1_S	3.6	应急使用
GGUF	i1-IQ1_M	3.9	主要应急使用
GGUF	i1-IQ2_XXS	4.4
GGUF	i1-IQ2_XS	4.8
GGUF	i1-IQ2_S	5.0
GGUF	i1-IQ2_M	5.4
GGUF	i1-Q2_K	5.8	IQ3_XXS可能更优
GGUF	i1-IQ3_XXS	6.1	质量较低
GGUF	i1-IQ3_XS	6.5
GGUF	i1-Q3_K_S	6.8	IQ3_XS可能更优
GGUF	i1-IQ3_S	6.8	优于Q3_K*系列
GGUF	i1-IQ3_M	7.0
GGUF	i1-Q3_K_M	7.5	IQ3_S可能更优
GGUF	i1-Q3_K_L	8.1	IQ3_M可能更优
GGUF	i1-IQ4_XS	8.3
GGUF	i1-Q4_0	8.7	速度快，质量较低
GGUF	i1-Q4_K_S	8.7	最佳体积/速度/质量平衡
GGUF	i1-Q4_K_M	9.2	速度快，推荐使用
GGUF	i1-Q5_K_S	10.5
GGUF	i1-Q5_K_M	10.8
GGUF	i1-Q6_K	12.4	实际效果接近静态Q6_K

附由ikawrakow提供的实用量化类型对比图（数值越低越好）：

另可参阅Artefact2对此的技术见解： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题 / 模型申请

若您有疑问或需要其他量化版本的模型，请参阅 https://huggingface.co/mradermacher/model_requests 获取解答或提交申请。

致谢

特别感谢我的雇主 nethype GmbH 允许我使用公司服务器，并为我的工作站提供硬件升级，使我能在业余时间完成这项工作。同时衷心感谢 @nicoboss 让我使用其私人超级计算机，这使得我能够提供比原计划更多且质量更高的 imatrix 量化版本。