karakuri-lm-70b-chat-v0.1-gguf:KARAKURI LM 70B 聊天模型的 GGUF 格式转换版

基于 KARAKURI LM 70B 聊天模型转换的 GGUF 格式文件,适用于 llama.cpp 等推理框架,支持多种量化版本,需注意大文件需合并后使用。【此简介由AI生成】

分支1Tags0
8419e8fe创建于 2024年5月9日36次提交
文件最后提交记录最后更新时间
Upload karakuri-lm-70b-chat-v0.1-q8_0.gguf.b with huggingface_hub2 年前
Update README.md2 年前
Upload karakuri-lm-70b-chat-v0.1-q2_K.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q3_K_L.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q3_K_M.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q3_K_S.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q4_0.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q4_K_M.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q4_K_S.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q5_0.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q5_K_M.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q5_K_S.gguf with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q6_K.gguf.a with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q6_K.gguf.b with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q8_0.gguf.a with huggingface_hub2 年前
Upload karakuri-lm-70b-chat-v0.1-q8_0.gguf.b with huggingface_hub2 年前

license: other language:

  • en
  • ja tags:
  • llama2

karakuri-lm-70b-chat-v0.1-gguf

本模型是由karakuri-ai发布的karakuri-lm-70b-chat-v0.1转换而成的GGUF格式版本。

关于分卷文件

q6_k与q8_0格式的模型文件因体积较大已进行分卷处理,使用时需重新合并。

其他可用模型

mmnga/karakuri-lm-8x7b-chat-v0.1-gguf
mmnga/karakuri-lm-70b-chat-v0.1-gguf

cat karakuri-lm-70b-chat-v0.1-q8_0.gguf.* > karakuri-lm-70b-chat-v0.1-q8_0.gguf

使用方法

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'karakuri-lm-70b-chat-v0.1-q4_0.gguf' -p "<s>[INST] <<SYS>> <</SYS>> 週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] " -n 128

许可证

商业用途请确认以下事项:
引用并翻译的内容

Llama 2 基于 LLAMA 2 社区许可证(Copyright © Meta Platforms, Inc. 保留所有权利)授权。 KARAKURI LM 基于知识共享 署名-相同方式共享 4.0 国际许可证(CC BY-SA 4.0)授权。根据此许可证,只要提供适当署名并在相同许可下分发衍生作品,您可自由共享和修改本模型(包括商业用途)。 但若需将 KARAKURI LM 用于商业目的,无论 CC BY-SA 4.0 许可条款如何规定,均需直接联系我们。若对条款解释存在疑问,欢迎随时咨询。

项目介绍

基于 KARAKURI LM 70B 聊天模型转换的 GGUF 格式文件,适用于 llama.cpp 等推理框架,支持多种量化版本,需注意大文件需合并后使用。【此简介由AI生成】

定制我的领域

下载使用量

0

项目总下载次数(含Clone、Pull、 zip 包及 release 下载),每日凌晨更新

语言类型

Limbo100%