基于Azure Dusk与Crimson Dawn的SLERP合并模型，采用ChatML训练，支持多语言文本生成，提供exl2等量化版本，适用于创意写作与对话场景。【此简介由AI生成】

0125ee04创建于 2024年10月13日7次提交

文件	最后提交记录	最后更新时间
.gitattributes	initial commit	1 年前
README.md	Update README.md	1 年前
measurement.json	Upload ./measurement.json with huggingface_hub	1 年前

自动翻译

license: apache-2.0 datasets:

Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned
anthracite-org/stheno-filtered-v1.1
PJMixers/hieunguyenminh_roleplay-deduped-ShareGPT
Gryphe/Sonnet3.5-Charcard-Roleplay
Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned
anthracite-org/kalo-opus-instruct-22k-no-refusal
anthracite-org/nopm_claude_writing_fixed
anthracite-org/kalo_opus_misc_240827 language:
en
fr
de
es
it
pt
ru
zh
ja pipeline_tag: text-generation tags:
merge

exl2量化版本（主分支中的measurement.json）

请查看修订版本以获取量化信息

image/png

现在为您呈现一款风格独特的模型——Violet_Twilight-v0.2！该模型采用SLERP融合技术，由Azure_Dusk-v0.2与Crimson_Dawn-v0.2合并而成！

量化版本！

完整版 / exl2版 / gguf版

提示词格式

v0.2系列模型基于ChatML格式训练，提示词结构如下所示：

<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant

上下文与指令

v0.2版本模型基于ChatML格式训练，请使用对应的上下文与指令模板。

当前推荐采样器配置

Smooth Creativity：此配置由Juelsman研究提供，特此鸣谢！
Variant Chimera：由Numbra贡献，特此致谢！
Spicy_Temp
Violet_Twilight-Nitral-Special

模型融合

以下配置用于融合Azure Dusk与Crimson Dawn模型

slices:
  - sources:
      - model: Epiculous/Azure_Dusk-v0.2
        layer_range: [0, 40]
      - model: Epiculous/Crimson_Dawn-V0.2
        layer_range: [0, 40]
merge_method: slerp
base_model: Epiculous/Azure_Dusk-v0.2
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # fallback for rest of tensors
dtype: bfloat16