基于Eris PrimeV4的量化模型，具备多模态视觉能力与长上下文处理优势，适用于角色扮演等场景，提供多种量化选项，需配合mmproj文件使用。【此简介由AI生成】
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
| 2 年前 | ||
imatrix.datLFS | 2 年前 |
以下内容由 AI 翻译，如有问题请 点此提交 issue 反馈
license: other inference: false tags:
- gguf
- quantized
- roleplay
- multimodal
- vision
- llava
- sillytavern
- merge
- mistral
- conversational
#角色扮演 #多模态 #视觉
本仓库托管了 Nitral-AI/Eris_PrimeV4-Vision-32k-7B 的 GGUF-IQ-Imatrix 量化版本。
"更稳定的性能与更优的长上下文处理能力。"
推荐使用此处提供的SillyTavern预设配置开始体验。
这是具备**#多模态特性且支持#视觉**功能的模型。
如需使用视觉功能，请查阅完整的模型卡片说明。
量化版本：
quantization_options = [
"Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", "Q5_K_S",
"Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XXS"
]
“Imatrix”代表什么含义？
⇲ 点击此处展开/隐藏该主题的更多信息
它代表重要性矩阵（Importance Matrix），这是一种用于提升量化模型质量的技术。
Imatrix基于校准数据计算得出，有助于在量化过程中判定不同模型激活值的重要性。
其核心思想是在量化过程中保留最关键的信息，从而减少模型性能损失——尤其在校准数据多样性充足时效果显著。
[1] [2]
本次imatrix数据生成使用了kalomaze的groups_merged.txt并添加了角色扮演对话内容，您可在此处获取该文件。此举旨在进一步提升数据多样性。
视觉/多模态能力：
⇲ 点击此处展开/隐藏角色扮演聊天中的实际应用示例
⇲ 点击此处展开/隐藏SillyTavern图像字幕扩展的推荐设置
如需使用视觉功能：
- 请确保使用最新版KoboldCpp
要启用本模型的视觉等多模态能力，还需加载指定的mmproj文件，您可从此处或项目仓库中获取。
- 通过界面指定区域加载mmproj文件：
- 命令行用户可在常规命令中添加相应标志加载mmproj文件：
--mmproj your-mmproj-file.gguf
量化信息：
⇲ 点击此处展开/隐藏关于此主题的更多信息。
执行步骤：
Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)
基于当前最新的llama.cpp版本使用。
原始模型信息：
Eris Prime：第4.0版 32k
历经多次测试与改进，我们最终推出了更优版本：Eris Prime v4在保持格式稳定性的同时，具备更强的长上下文处理能力与逻辑连贯性。