---

license: mit library_name: transformers base_model:

• deepseek-ai/DeepSeek-V3-0324

---

huihui-ai/DeepSeek-V3-0324-bf16

此模型由 DeepSeek-V3-0324 转换为 BF16 格式。
因此，我们仅提供 Windows 环境下的转换命令及与 ollama 相关的信息。

若内存或虚拟内存充足，Windows 环境的运行速度远快于 WSL2（Ubuntu-22.04）环境。Linux 环境尚未经过测试。

若您处于 Linux 或 WSL 环境，请参考 huihui-ai/DeepSeek-R1-bf16。

如有需要，我们可以上传 BF16 版本。

FP8 转 BF16

1. 下载 deepseek-ai/DeepSeek-V3-0324 模型，需预留约 641GB 空间。

cd /d C:\Users\admin\models
huggingface-cli download deepseek-ai/DeepSeek-V3-0324 --local-dir ./deepseek-ai/DeepSeek-V3-0324

2. 创建环境。

conda create -yn DeepSeek-V3-0324 python=3.10
conda activate DeepSeek-V3
pip install torch --index-url https://download.pytorch.org/whl/cu124
pip install -U triton-windows
pip install transformers==4.46.3
pip install safetensors==0.4.5
pip install sentencepiece

3. 转换为 BF16 格式，需要额外约 1.3 TB 的存储空间。
   此处需从 deepseek-ai/DeepSeek-V3 的 "inference" 文件夹中下载转换代码。

cd deepseek-ai/DeepSeek-V3/inference
python fp8_cast_bf16.py --input-fp8-hf-path C:/Users/admin/deepseek-ai/models/DeepSeek-V3-0324/ --output-bf16-hf-path C:/Users/admin/models/deepseek-ai/DeepSeek-V3-0324-bf16

BF16 转 f16.gguf

1. 使用 llama.cpp 转换程序将 DeepSeek-V3-0324-bf16 转换为 gguf 格式，需要额外约 1.3 TB 空间。

python convert_hf_to_gguf.py C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16 --outfile C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf --outtype f16

2. 使用 llama.cpp 量化程序对模型进行量化（需编译 llama-quantize）， 其他量化选项。
   首次转换 Q2_K 量化格式时，需要额外约 227 GB 的存储空间。

llama-quantize C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf  C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf Q2_K

3. 使用 llama-cli 进行测试。

llama-cli -m C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf -n 2048

与 ollama 搭配使用

注意： 此模型需要 Ollama 0.5.5 或更高版本

Modefile

FROM deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf
TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "user" }}<｜User｜>
{{- else if eq .Role "assistant" }}<｜Assistant｜>
{{- end }}{{ .Content }}
{{- if eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<｜Assistant｜>
{{- end }}
{{- else if eq .Role "assistant" }}<｜end▁of▁sentence｜><｜begin▁of▁sentence｜>
{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
PARAMETER num_gpu 1

捐赠支持

如果您喜欢我们的作品，请点击「点赞」并关注我们以获取更多更新。
您可以通过关注 x.com/support_huihui 获取 huihui.ai 的最新模型动态。

您的捐赠将助力我们持续进行深度开发与优化，一杯咖啡的能量足以让我们走得更远。

• 比特币捐赠地址：

  bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge