---

许可：其他
许可名称：统一前文研究
许可链接：https://huggingface.co/Qwen/Qwen1.5-4B-Chat-GGUF/blob/main/LICENSE
语言：

• 英语
  管道标签：文本生成
  标签：
• 聊天

---

Qwen1.5-4B-Chat-GGUF

简介

Qwen1.5 是 Qwen2 的测试版本，一个基于变压器架构的仅解码器语言模型，经过大量数据预训练。与之前发布的 Qwen 相比，其改进包括：

• 提供 8 种模型尺寸，包括 0.5B、1.8B、4B、7B、14B、32B 和 72B 的密集模型，以及一个激活了 2.7B 的 14B MoE 模型；
• 在聊天模型中，显著提升了人类偏好的性能；
• 基础模型和聊天模型均支持多语言；
• 所有尺寸的模型均稳定支持 32K 的上下文长度；
• 无需 trust_remote_code。

更多细节，请参考我们的 博客文章 和 GitHub 仓库。在此仓库中，我们提供了以 GGUF 格式量化的模型，包括 q2_k、q3_k_m、q4_0、q4_k_m、q5_0、q5_k_m、q6_k 和 q8_0。 为了展示它们的模型质量，我们遵循 llama.cpp 在维基测试集上评估它们的困惑度。结果如下所示：

尺寸	fp16	q8_0	q6_k	q5_k_m	q5_0	q4_k_m	q4_0	q3_k_m	q2_k
0.5B	34.20	34.22	34.31	33.80	34.02	34.27	36.74	38.25	62.14
1.8B	15.99	15.99	15.99	16.09	16.01	16.22	16.54	17.03	19.99
4B	13.20	13.21	13.28	13.24	13.27	13.61	13.44	13.67	15.65
7B	14.21	14.24	14.35	14.32	14.12	14.35	14.47	15.11	16.57
14B	10.91	10.91	10.93	10.98	10.88	10.92	10.92	11.24	12.27
32B	8.87	8.89	8.91	8.94	8.93	8.96	9.17	9.14	10.51
72B	7.97	7.99	7.99	7.99	8.01	8.00	8.01	8.06	8.63

模型细节

Qwen1.5 是一个包含不同尺寸解码器语言模型的系列。对于每种尺寸，我们发布了基础语言模型和对应的聊天模型。它基于包含 SwiGLU 激活、注意力 QKV 偏差、组查询注意力、滑动窗口注意力和全注意力混合等特性的变压器架构。此外，我们还拥有一个适应多种自然语言和代码的改进分词器。对于测试版，暂时我们没有包括 GQA（除了 32B）和 SWA 与全注意力的混合。

训练细节

我们使用大量数据对模型进行预训练，并通过监督微调和直接偏好优化对模型进行后训练。

要求

我们建议你克隆 llama.cpp 并按照官方指南安装。

使用方法

克隆仓库可能效率不高，因此你可以手动下载所需的 GGUF 文件或使用 huggingface-cli (pip install huggingface_hub)，如下所示：

huggingface-cli download Qwen/Qwen1.5-4B-Chat-GGUF qwen1_5-4b-chat-q8_0.gguf --local-dir . --local-dir-use-symlinks False

我们展示如何使用 llama.cpp 来运行 Qwen1.5：

./main -m qwen1_5-4b-chat-q8_0.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt

引用

如果您觉得我们的工作对您有帮助，欢迎引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}

# 专业翻译服务

## 服务概述
我们提供高质量的文本翻译服务，旨在满足不同领域的专业需求。无论是法律文件、医学报告还是技术手册，我们的团队都能确保翻译的准确性和流畅性。

## 服务特点
- **通俗易懂**：我们致力于将复杂的术语转化为易于理解的语言，确保信息传达无障碍。
- **专业精准**：我们的翻译团队由行业专家组成，确保每一项翻译都符合专业标准。
- **优雅流畅**：我们注重语言的优美和表达的流畅性，使翻译文本不仅准确，而且富有文采。

## 服务流程
1. **需求分析**：与客户沟通，了解翻译的具体需求和目标。
2. **文本评估**：对原文进行详细分析，确定翻译的难度和所需时间。
3. **翻译执行**：由专业翻译人员进行文本翻译，确保内容准确无误。
4. **校对审核**：经过多轮校对和审核，确保翻译质量达到最高标准。
5. **交付反馈**：将最终翻译文本交付给客户，并收集反馈以持续改进服务质量。

## 适用领域
- **法律**：合同、诉讼文件、知识产权等。
- **医学**：研究报告、临床试验、医疗器械说明等。
- **技术**：用户手册、技术文档、软件本地化等。
- **商务**：市场调研、商业计划、营销材料等。

## 联系我们
如有任何翻译需求或疑问，请随时联系我们的客户服务团队。我们期待为您提供卓越的翻译服务体验。