---

library_name: transformers tags:

• mistral
• quantized
• text-generation-inference
• roleplay

- rp

- uncensored

pipeline_tag: text-generation inference: false

language:

- en

FILL THE INFORMATION:

Reference: ChaoticNeutrals/Layris_9B

Author: ChaoticNeutrals

Model: Layris_9B

Llama.cpp version: b2350

---

    quantization_options = [
        "Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", 
        "Q5_K_S", "Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XS", "IQ3_XXS"
    ]

针对 ChaoticNeutrals/Layris_9B 的 GGUF-Imatrix 量化版本

所有荣誉归原作者所有。

若您欣赏此作品，欢迎探索 FantasiaFoundry 的 GGUF-IQ-Imatrix 量化脚本 的相关工作。

个人说明：
由于此模型与无限制版本 Layla-V4 进行了融合，预计会显著降低拒绝响应率。

何为 "Imatrix"？

它代表重要性矩阵（Importance Matrix）——一种用于提升量化模型质量的技术。

[1]

该矩阵基于校准数据计算生成，通过在量化过程中识别不同模型激活值的重要性，优先保留关键信息。这种方法能有效降低模型性能损耗，尤其在采用多样化校准数据时，可显著提升量化后模型的输出质量。

[2]

本次量化使用的重要性矩阵数据包含在 imatrix.dat 文件中。

基于 llama.cpp-b2350 版本生成：

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

全新的 IQ3_S 量化选项已被证实优于旧的 Q3_K_S 方案，因此我选择采用前者替代后者。该功能仅支持 koboldcpp-1.59.1 及以上版本。

如需添加特定量化方案，欢迎随时提出需求。

模型卡片：

原始模型信息：

Layris

本模型是通过 mergekit 工具融合多个预训练语言模型而成的混合模型。

融合详情

融合方法

本模型采用直通融合法（passthrough merge method）进行构建。

融合模型

本次融合包含以下模型：

• ChaoticNeutrals/Eris_Remix_7B
• l3utterfly/mistral-7b-v0.1-layla-v4

配置参数

生成此模型所使用的 YAML 配置如下：

slices:
  - sources:
      - model: ChaoticNeutrals/Eris_Remix_7B
        layer_range: [0, 20]
  - sources:
      - model: l3utterfly/mistral-7b-v0.1-layla-v4
        layer_range: [12, 32]
merge_method: passthrough
dtype: float16