---

inference: false language:

• en license: other model_type: llama pipeline_tag: text-classification tags:
• llama-2

---

Llama2 70b Guanaco QLoRA - fp16

• 模型创建者：Mikael110
• 原始模型：Llama2 70b Guanaco QLoRA

Mikael110的Llama2 70b Guanaco QLoRA fp16版本

本仓库提供Mikael110的Llama2 70b Guanaco QLoRA的PyTorch格式fp16模型文件。

该版本是通过对源仓库进行合并和/或转换为float16精度后生成的。

可用仓库

• 支持GPU推理的GPTQ量化模型，提供多种量化参数选项
• 支持CPU+GPU推理的2/3/4/5/6/8位GGML量化模型
• 合并后的fp16模型，适用于GPU推理及后续转换
• Mikael110的原始QLoRA适配器

提示词模板：Guanaco

### Human: {prompt}
### Assistant:

Discord

如需获取进一步支持，并参与关于这些模型及人工智能的讨论，欢迎加入我们的社区：

TheBloke AI Discord 服务器

致谢与贡献方式

感谢 chirper.ai 团队！

许多人询问是否可以提供资助。我乐于提供模型并帮助他人，也非常希望投入更多时间于此，同时拓展新项目如微调/训练。

如果您有能力且愿意资助，我将由衷感激。您的支持将帮助我持续提供更多模型，并开启新的人工智能项目。

资助者将获得所有AI/大语言模型/模型相关问题的优先支持权限，访问专属Discord频道，以及其他特权。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别鸣谢：CarbonQuill的Luke，Aemon Algiz。

Patreon特别致谢：Slarti、Chadd、John Detwiler、Pieter、zynix、K、Mano Prime、ReadyPlayerEmma、Ai Maven、Leonard Tan、Edmond Seymore、Joseph William Delisle、Luke @flexchar、Fred von Graf、Viktor Bowallius、Rishabh Srivastava、Nikolai Manek、Matthew Berman、Johann-Peter Hartmann、ya boyyy、Greatston Gnanesh、Femi Adebogun、Talal Aujan、Jonathan Leane、terasurfer、David Flickinger、William Sang、Ajan Kanaga、Vadim、Artur Olbinski、Raven Klaugh、Michael Levine、Oscar Rangel、Randy H、Cory Kujawski、RoA、Dave、Alex、Alexandros Triantafyllidis、Fen Risland、Eugene Pentland、vamX、Elle、Nathan LeClaire、Khalefa Al-Ahmad、Rainer Wilmers、subjectnull、Junyu Yang、Daniel P. Andersen、SuperWojo、LangChain4j、Mandus、Kalila、Illia Dulskyi、Trenton Dambrowitz、Asp the Wyvern、Derek Yates、Jeffrey Morgan、Deep Realms、Imad Khwaja、Pyrater、Preetika Verma、biorpg、Gabriel Tamborski、Stephen Murray、Spiking Neurons AB、Iucharbius、Chris Smitley、Willem Michiel、Luke Pendergrass、Sebastain Graf、senxiiz、Will Dee、Space Cruiser、Karl Bernard、Clay Pascal、Lone Striker、transmissions 11、webtim、WelcomeToTheClub、Sam、theTransient、Pierre Kircher、chris gileta、John Villwock、Sean Connelly、Willian Hasse

感谢所有慷慨的赞助者与资助人！

原始模型卡片：Mikael110 的 Llama2 70b Guanaco QLoRA

这是 Guanaco 的 Llama-2 版本。该模型基于 Llama-70b 基础模型，使用 QLoRA 代码库中的官方训练脚本进行微调。为确保最大程度的忠实性，训练脚本中仅调整了指向的模型，未作任何其他修改。因此，该模型的提示格式与原始 Guanaco 模型完全相同。

本仓库包含 QLoRA 适配器。

7b 版本的适配器可在此处获取。 13b 版本的适配器可在此处获取。

法律免责声明：本模型受原始 Llama-2 模型使用限制的约束，且不提供任何形式的担保或保证。