---

pipeline_tag: text-generation tags:

• qwen
• qwen-2
• quantized
• 2-bit
• 3-bit
• 4-bit
• 5-bit
• 6-bit
• 8-bit
• 16-bit
• GGUF inference: false model_creator: MaziyarPanahi model_name: calme-2.1-qwen2-72b-GGUF quantized_by: MaziyarPanahi license: other license_name: tongyi-qianwen license_link: https://huggingface.co/Qwen/Qwen2-72B-Instruct/blob/main/LICENSE

---

MaziyarPanahi/calme-2.1-qwen2-72b-GGUF

此处的 GGUF 及量化模型均基于 MaziyarPanahi/calme-2.1-qwen2-72b 模型构建

下载方法

您无需克隆整个仓库，只需按以下方式下载所需的量化版本即可：

huggingface-cli download MaziyarPanahi/calme-2.1-qwen2-72b-GGUF --local-dir . --include '*Q2_K*gguf'

加载 GGUF 模型

./llama.cpp/main -m mode_name.Q2_K.gguf -p "<|im_start|>user\nJust say 1, 2, 3 hi and NOTHING else\n<|im_end|>\n<|im_start|>assistant\n" -n 1024

原始 README

---

MaziyarPanahi/calme-2.1-qwen2-72b

这是 Qwen/Qwen2-72B-Instruct 模型的微调版本。其目标是在所有基准测试中对基础模型进行改进。

⚡ 量化 GGUF 版本

所有 GGUF 模型均在此处提供：MaziyarPanahi/calme-2.1-qwen2-72b-GGUF

🏆 Open LLM 排行榜评估结果

任务	版本	过滤条件	n-shot	指标	数值		标准误差
truthfulqa_mc2	2	无	0	acc	0.6761	±	0.0148

任务	版本	过滤条件	n-shot	指标	数值		标准误差
winogrande	1	无	5	acc	0.8248	±	0.0107

任务	版本	过滤条件	n-shot	指标	数值		标准误差
arc_challenge	1	无	25	acc	0.6852	±	0.0136
		无	25	acc_norm	0.7184	±	0.0131

任务	版本	过滤条件	n-shot	指标	数值		标准误差
gsm8k	3	strict-match	5	exact_match	0.8582	±	0.0096
		flexible-extract	5	exact_match	0.8893	±	0.0086

提示词模板

该模型使用 ChatML 提示词模板：

<|im_start|>system
{System}
<|im_end|>
<|im_start|>user
{User}
<|im_end|>
<|im_start|>assistant
{Assistant}

如何使用

# Use a pipeline as a high-level helper

from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="MaziyarPanahi/calme-2.1-qwen2-72b")
pipe(messages)


# Load model directly

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/calme-2.1-qwen2-72b")
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/calme-2.1-qwen2-72b")