可用于哲学领域的问答任务，提升模型在哲学问题上的理解与回答能力。该项目基于 OpenHermes-2.5-Mistral-7B 模型，使用 strix-philosophy-qa 数据集进行 LoRA 微调，支持多模块目标训练。【此简介由AI生成】
以下内容由 AI 翻译，如有问题请 点此提交 issue 反馈
language:
- en license: apache-2.0 tags:
- trl
- text-generation-inference
- unsloth
- mistral
- gguf base_model: teknium/OpenHermes-2.5-Mistral-7B datasets:
- sayhan/strix-philosophy-qa library_name: transformers
OpenHermes 2.5 Stix Philosophy Mistral 7B
- 微调者： sayhan
- 许可证： apache-2.0
- 微调基础模型： teknium/OpenHermes-2.5-Mistral-7B
- 数据集： sayhan/strix-philosophy-qa
LoRA 秩： 8
LoRA 阿尔法值： 16
LoRA 丢弃率： 0
秩稳定 LoRA： 是
训练轮次： 3
学习率： 1e-5
批大小： 2
梯度累积步数： 4
权重衰减： 0.01
目标模块：
- Query projection (`q_proj`)
- Key projection (`k_proj`)
- Value projection (`v_proj`)
- Output projection (`o_proj`)
- Gate projection (`gate_proj`)
- Up projection (`up_proj`)
- Down projection (`down_proj`)