Fimbulvetr-Kuro-Lotus-10.7B-exl2:ExLlamaV2量化版文本生成模型，多分支可选

---

license: cc-by-nc-4.0 library_name: transformers tags:

• mergekit
• merge base_model:
• Sao10K/Fimbulvetr-10.7B-v1
• saishf/Kuro-Lotus-10.7B model-index:
• name: Fimbulvetr-Kuro-Lotus-10.7B results:
  • task: type: text-generation name: Text Generation dataset: name: AI2 Reasoning Challenge (25-Shot) type: ai2_arc config: ARC-Challenge split: test args: num_few_shot: 25 metrics:
    • type: acc_norm value: 69.54 name: normalized accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard
  • task: type: text-generation name: Text Generation dataset: name: HellaSwag (10-Shot) type: hellaswag split: validation args: num_few_shot: 10 metrics:
    • type: acc_norm value: 87.87 name: normalized accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard
  • task: type: text-generation name: Text Generation dataset: name: MMLU (5-Shot) type: cais/mmlu config: all split: test args: num_few_shot: 5 metrics:
    • type: acc value: 66.99 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard
  • task: type: text-generation name: Text Generation dataset: name: TruthfulQA (0-shot) type: truthful_qa config: multiple_choice split: validation args: num_few_shot: 0 metrics:
    • type: mc2 value: 60.95 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard
  • task: type: text-generation name: Text Generation dataset: name: Winogrande (5-shot) type: winogrande config: winogrande_xl split: validation args: num_few_shot: 5 metrics:
    • type: acc value: 84.14 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard
  • task: type: text-generation name: Text Generation dataset: name: GSM8k (5-shot) type: gsm8k config: main split: test args: num_few_shot: 5 metrics:
    • type: acc value: 66.87 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B name: Open LLM Leaderboard quantized_by: bartowski pipeline_tag: text-generation

---

Fimbulvetr-Kuro-Lotus-10.7B 的 Exllama v2 量化版本

使用 turboderp 的 ExLlamaV2 v0.0.15 进行量化。

请注意："main"分支仅包含 measurement.json 文件，请下载其他分支以获取完整模型（详见下方）

每个分支对应不同的权重比特精度，主分支仅包含用于进一步转换的 measurement.json 文件。

原始模型：https://huggingface.co/saishf/Fimbulvetr-Kuro-Lotus-10.7B

分支	权重比特	lm_head 比特	VRAM (4k)	VRAM (16k)	VRAM (32k)	描述
8_0	8.0	8.0	11.9 GB	13.3 GB	15.3 GB	ExLlamaV2 可实现的最高质量，接近未量化性能
6_5	6.5	8.0	10.3 GB	11.7 GB	13.7 GB	与8.0版本高度接近，尺寸与性能的最佳平衡，推荐使用
5_0	5.0	6.0	8.3 GB	9.7 GB	11.7 GB	质量略低于6.5版本，但可在8GB显存设备上运行
4_25	4.25	6.0	7.4 GB	8.6 GB	10.6 GB	等效GPTQ权重比特精度，质量略优
3_5	3.5	6.0	6.4 GB	7.8 GB	9.8 GB	较低质量版本，仅建议必要时使用

下载说明

使用 git：

git clone --single-branch --branch 6_5 https://huggingface.co/bartowski/Fimbulvetr-Kuro-Lotus-10.7B-exl2 Fimbulvetr-Kuro-Lotus-10.7B-exl2-6_5

借助 Hugging Face Hub（感谢 TheBloke 提供的指南）：

pip3 install huggingface-hub

要将 main 分支（仅适用于仅关注 measurement.json 的情况）下载到名为 Fimbulvetr-Kuro-Lotus-10.7B-exl2 的文件夹中：

mkdir Fimbulvetr-Kuro-Lotus-10.7B-exl2
huggingface-cli download bartowski/Fimbulvetr-Kuro-Lotus-10.7B-exl2 --local-dir Fimbulvetr-Kuro-Lotus-10.7B-exl2 --local-dir-use-symlinks False

要从其他分支下载，请添加 --revision 参数：

Linux：

mkdir Fimbulvetr-Kuro-Lotus-10.7B-exl2-6_5
huggingface-cli download bartowski/Fimbulvetr-Kuro-Lotus-10.7B-exl2 --revision 6_5 --local-dir Fimbulvetr-Kuro-Lotus-10.7B-exl2-6_5 --local-dir-use-symlinks False

Windows（有时似乎不支持下划线在文件夹名称中使用？）：

mkdir Fimbulvetr-Kuro-Lotus-10.7B-exl2-6.5
huggingface-cli download bartowski/Fimbulvetr-Kuro-Lotus-10.7B-exl2 --revision 6_5 --local-dir Fimbulvetr-Kuro-Lotus-10.7B-exl2-6.5 --local-dir-use-symlinks False

想支持我的工作吗？请访问我的 Ko-fi 页面：https://ko-fi.com/bartowski