---

license: apache-2.0 language:

• en
• fr
• de
• es
• it
• pt
• ru
• zh
• ja

---

  e88 88e                               d8     
 d888 888b  8888 8888  ,"Y88b 888 8e   d88     
C8888 8888D 8888 8888 "8" 888 888 88b d88888   
 Y888 888P  Y888 888P ,ee 888 888 888  888     
  "88 88"    "88 88"  "88 888 888 888  888     
      b                                        
      8b,                                      
 
  e88'Y88                  d8           888    
 d888  'Y  ,"Y88b 888,8,  d88    ,e e,  888    
C8888     "8" 888 888 "  d88888 d88 88b 888    
 Y888  ,d ,ee 888 888     888   888   , 888    
  "88,d88 "88 888 888     888    "YeeP" 888    
                                               
PROUDLY PRESENTS         

mini-magnum-12b-v1.1-exl2-longcal

使用ExLlamav2默认校准数据集中的115行8192个token进行量化。

分支版本：

• main -- measurement.json
• 8b8h -- 8位权重精度，8位lm_head
• 6b8h -- 6位权重精度，8位lm_head
• 4b6h -- 4位权重精度，6位lm_head
• 2.25b6h -- 2.25位权重精度，6位lm_head

原始模型链接：intervitens/mini-magnum-12b-v1.1

量化者说明

由于默认数据集在几乎所有情况下都表现更优，我决定在原有rpcal-fare标准基础上额外采用该数据集进行量化。但期待通过实际应用测试验证这一假设，如果您发现此量化模式优于rpcal，请留言反馈。

原始模型说明文档如下。

---

本模型是alpindale/magnum-72b-v1的微型版本，该系列模型旨在复现Claude 3系列（特别是Sonnet和Opus）的文本生成质量。本模型基于Mistral-Nemo-Base-2407进行微调训练。 为提升连贯性和整体对齐效果，训练过程中加入了kalomaze构建的新通用指令数据集。我们正在持续优化数据集和训练流程，敬请期待后续版本。

提示格式

模型采用Mistral格式进行指令微调。典型输入格式如下：

"""[INST] Hi there! [/INST]Nice to meet you!</s>[INST] Can I ask a question? [/INST]
"""

致谢

本模型是团队协作的成果，特此鸣谢以下贡献者：

• Sao10K 与 kalomaze 协助完成数据集处理与清洗工作
• alpindale 负责模型训练
• 多位同仁在参数调优和重启失败训练任务中持续提供帮助，包括（排名不分先后）：Doctor Shotgun、Lucy、Nopm、Mango、Intervitens 以及 Silly Tilly 团队其他成员

安全性

...