---

license: other language:

• en pipeline_tag: text2text-generation tags:
• alpaca
• llama
• chat
• gpt4

---

# GPT4 Alpaca LoRA 30B HF

这是Chansung GPT4 Alpaca 30B LoRA模型的预融合版本。

该模型通过将上述仓库提供的LoRA与原始Llama 30B模型融合而成。

使用此模型至少需要60GB显存。

如需使用可在24GB显卡上运行的GPTQ 4位量化版本，请参见：GPT4-Alpaca-LoRA-30B-GPTQ-4bit-128g

Discord

如需获取进一步支持，并参与关于这些模型及人工智能的讨论，欢迎加入：

TheBloke AI的Discord服务器

致谢与贡献方式

特别感谢chirper.ai团队！

许多人询问是否可以提供支持。我乐于提供模型并帮助大家，也非常希望能够投入更多时间从事这项工作，并拓展到像微调/训练这样的新项目中。

如果您有能力且愿意贡献，我们将不胜感激。您的支持将帮助我持续提供更多模型，并启动新的人工智能项目。

捐助者将获得所有AI/LLM/模型相关问题请求的优先支持权限，访问专属Discord频道及其他特权。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon特别鸣谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助人与支持者！

原始 GPT4 Alpaca Lora 模型卡片

本仓库附带 LoRA 检查点，可将 LLaMA 转换为类聊天机器人语言模型。该检查点是在 8xA100(40G) DGX 系统上通过以下设置进行指令跟随微调过程的输出成果。

• 训练脚本：借鉴自官方 Alpaca-LoRA 实现方案
• 训练脚本：

python finetune.py \
    --base_model='decapoda-research/llama-30b-hf' \
    --data_path='alpaca_data_gpt4.json' \
    --num_epochs=10 \
    --cutoff_len=512 \
    --group_by_length \
    --output_dir='./gpt4-alpaca-lora-30b' \
    --lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
    --lora_r=16 \
    --batch_size=... \
    --micro_batch_size=...

你可以在W&B报告中查看训练过程，详情请点击此处。