---

许可：其他
许可名称：统一问答研究
许可链接：统一问答研究许可
语言：

• 英语
  流水线标签：文本生成
  标签：
• 聊天

---

Qwen1.5-0.5B-Chat-GPTQ-Int8

简介

Qwen1.5 是 Qwen2 的测试版本，一种基于变换器的仅解码器语言模型，预训练了海量的数据。与之前发布的 Qwen 相比，改进包括：

• 8 种模型尺寸，包括 0.5B、1.8B、4B、7B、14B、32B 和 72B 的密集模型，以及一个激活了 2.7B 的 14B MoE 模型；
• 在聊天模型中，对人类偏好的性能有显著提升；
• 基础模型和聊天模型均支持多语言；
• 所有尺寸的模型稳定支持 32K 的上下文长度；
• 无需 trust_remote_code。

更多细节，请参考我们的博客文章和GitHub 仓库。

模型详情

Qwen1.5 是一个包括不同模型尺寸的解码器语言模型系列。对于每种尺寸，我们都发布了基础语言模型和对应的聊天模型。它基于变换器架构，使用 SwiGLU 激活、注意力 QKV 偏置、组查询注意力和混合滑动窗口注意力与全注意力等技术。此外，我们有一个改进的适用于多种自然语言和代码的标记器。对于测试版本，暂时我们没有包括 GQA（除了 32B）以及 SWA 和全注意力的混合。

训练细节

我们使用大量数据预训练了这些模型，并且我们通过监督微调和直接偏好优化对模型进行了微调。

Requirements

Qwen1.5 的代码已经集成到最新的 Hugging face 变换器中，我们建议您安装 transformers>=4.37.0，否则可能会遇到以下错误：

KeyError: 'qwen2'

快速入门

这里提供了一个使用 apply_chat_template 的代码片段，展示如何加载分词器和模型以及如何生成内容。

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-0.5B-Chat-GPTQ-Int8",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat-GPTQ-Int8")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

提示

• 如您遇到代码切换或其他不良情况，建议您使用我们在 generation_config.json 中提供的超参数。

引用

若您认为我们的工作有所帮助，欢迎引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}

很抱歉，由于您提供的文本内容为空，我无法完成翻译任务。如果您有具体的文本需要翻译，请提供详细内容。