---

license: other license_name: tongyi-qianwen license_link: https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF/blob/main/LICENSE language:

• en pipeline_tag: text-generation tags:
• chat

---

Qwen1.5-7B-Chat-GGUF

简介

Qwen1.5 是 Qwen2 的测试版本，基于 Transformer 架构的仅解码器语言模型，经过大量数据预训练。相较于之前发布的 Qwen，其改进包括：

• 8 种模型尺寸，包括 0.5B、1.8B、4B、7B、14B、32B 和 72B 的密集模型，以及一个激活规模为 2.7B 的 14B MoE 模型；
• 在聊天模型的人类偏好方面显著提升；
• 基础模型和聊天模型均支持多语言；
• 所有尺寸模型均稳定支持 32K 上下文长度；
• 无需 trust_remote_code。

更多详情请参阅我们的 博客文章 和 GitHub 仓库。 在此仓库中，我们提供了 GGUF 格式的量化模型，包括 q2_k、q3_k_m、q4_0、q4_k_m、q5_0、q5_k_m、q6_k 和 q8_0。 为了展示模型质量，我们遵循 llama.cpp 在 wiki 测试集上评估其困惑度。结果如下：

尺寸	fp16	q8_0	q6_k	q5_k_m	q5_0	q4_k_m	q4_0	q3_k_m	q2_k
0.5B	34.20	34.22	34.31	33.80	34.02	34.27	36.74	38.25	62.14
1.8B	15.99	15.99	15.99	16.09	16.01	16.22	16.54	17.03	19.99
4B	13.20	13.21	13.28	13.24	13.27	13.61	13.44	13.67	15.65
7B	14.21	14.24	14.35	14.32	14.12	14.35	14.47	15.11	16.57
14B	10.91	10.91	10.93	10.98	10.88	10.92	10.92	11.24	12.27
32B	8.87	8.89	8.91	8.94	8.93	8.96	9.17	9.14	10.51
72B	7.97	7.99	7.99	7.99	8.01	8.00	8.01	8.06	8.63

模型详情

Qwen1.5 是一系列语言模型，包含不同尺寸的解码器语言模型。对于每个尺寸，我们发布了基础语言模型和经过对齐的聊天模型。该模型基于 Transformer 架构，采用 SwiGLU 激活函数、注意力 QKV 偏置、组查询注意力、滑动窗口注意力和全注意力混合等技术。此外，我们还改进了适应多种自然语言和代码的分词器。对于测试版本，暂时未包含 GQA（32B 除外）和滑动窗口注意力与全注意力的混合。

训练细节

我们使用大量数据对模型进行了预训练，并通过监督微调和直接偏好优化对模型进行了后训练。

要求

建议您克隆 llama.cpp 并按照官方指南进行安装。

如何使用

克隆仓库可能效率不高，因此您可以手动下载所需的 GGUF 文件，或使用 huggingface-cli（pip install huggingface_hub），如下所示：

huggingface-cli download Qwen/Qwen1.5-7B-Chat-GGUF qwen1_5-7b-chat-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

我们演示如何使用 llama.cpp 来运行 Qwen1.5：

./main -m qwen1_5-7b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt

引用

如果您认为我们的工作对您有所帮助，欢迎随时引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}

请提供需要翻译的原始英文文本或内容，我将会按照您的要求进行翻译。