---

base_model: stabilityai/stablelm-2-zephyr-1_6b license: other model_creator: stabilityai model_name: StableLM 2 Zephyr 1.6B pipeline_tag: text-generation quantized_by: Second State Inc. datasets:

• HuggingFaceH4/ultrachat_200k
• allenai/ultrafeedback_binarized_cleaned
• meta-math/MetaMathQA
• WizardLM/WizardLM_evol_instruct_V2_196k
• openchat/openchat_sharegpt4_dataset
• LDJnr/Capybara
• Intel/orca_dpo_pairs
• hkust-nlp/deita-10k-v0 language:
• en tags:
• causal-lm

---

---

StableLM-2-Zephyr-1.6B-GGUF

原始模型

stabilityai/stablelm-2-zephyr-1_6b

通过 LlamaEdge 运行

• LlamaEdge 版本：v0.2.9 及以上

• 提示词模板

  • 提示词类型：stablelm-zephyr

  • 提示词字符串

    <|user|>
    {prompt}<|endoftext|>
    <|assistant|>
    

  • 反向提示词：<|endoftext|>

• 上下文长度：2048

• 作为 LlamaEdge 服务运行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:stablelm-2-zephyr-1_6b-Q5_K_M.gguf llama-api-server.wasm -p stablelm-zephyr -r '<|endoftext|>' -c 1024
  

• 作为 LlamaEdge 命令行应用运行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:stablelm-2-zephyr-1_6b-Q5_K_M.gguf llama-chat.wasm -p stablelm-zephyr -r '<|endoftext|>' --temp 0.5 -c 1024
  

量化后的 GGUF 模型

名称	量化方法	比特数	大小	适用场景
stablelm-2-zephyr-1_6b-Q2_K.gguf	Q2_K	2	694 MB	最小尺寸，质量损失显著 - 不推荐用于多数场景
stablelm-2-zephyr-1_6b-Q3_K_L.gguf	Q3_K_L	3	915 MB	小尺寸，质量损失较大
stablelm-2-zephyr-1_6b-Q3_K_M.gguf	Q3_K_M	3	858 MB	极小尺寸，高质量损失
stablelm-2-zephyr-1_6b-Q3_K_S.gguf	Q3_K_S	3	792 MB	极小尺寸，高质量损失
stablelm-2-zephyr-1_6b-Q4_0.gguf	Q4_0	4	983 MB	传统方法；小尺寸，极高质量损失 - 建议使用 Q3_K_M
stablelm-2-zephyr-1_6b-Q4_K_M.gguf	Q4_K_M	4	1.03 GB	中等尺寸，平衡的质量 - 推荐使用
stablelm-2-zephyr-1_6b-Q4_K_S.gguf	Q4_K_S	4	989 MB	小尺寸，质量损失较大
stablelm-2-zephyr-1_6b-Q5_0.gguf	Q5_0	5	1.16 GB	传统方法；中等尺寸，平衡的质量 - 建议使用 Q4_K_M
stablelm-2-zephyr-1_6b-Q5_K_M.gguf	Q5_K_M	5	1.19 GB	大尺寸，极低质量损失 - 推荐使用
stablelm-2-zephyr-1_6b-Q5_K_S.gguf	Q5_K_S	5	1.16 GB	大尺寸，低质量损失 - 推荐使用
stablelm-2-zephyr-1_6b-Q6_K.gguf	Q6_K	6	1.35 GB	超大尺寸，极轻微质量损失
stablelm-2-zephyr-1_6b-Q8_0.gguf	Q8_0	8	1.75 GB	超大尺寸，极轻微质量损失 - 不推荐使用