基于 KARAKURI LM 70B 聊天模型转换的 GGUF 格式文件,适用于 llama.cpp 等推理框架,支持多种量化版本,需注意大文件需合并后使用。【此简介由AI生成】
以下内容由 AI 翻译,如有问题请 点此提交 issue 反馈
license: other language:
- en
- ja tags:
- llama2
karakuri-lm-70b-chat-v0.1-gguf
本模型是由karakuri-ai发布的karakuri-lm-70b-chat-v0.1转换而成的GGUF格式版本。
关于分卷文件
q6_k与q8_0格式的模型文件因体积较大已进行分卷处理,使用时需重新合并。
其他可用模型
mmnga/karakuri-lm-8x7b-chat-v0.1-gguf
mmnga/karakuri-lm-70b-chat-v0.1-gguf
cat karakuri-lm-70b-chat-v0.1-q8_0.gguf.* > karakuri-lm-70b-chat-v0.1-q8_0.gguf
使用方法
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'karakuri-lm-70b-chat-v0.1-q4_0.gguf' -p "<s>[INST] <<SYS>> <</SYS>> 週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] " -n 128
许可证
商业用途请确认以下事项:
引用并翻译的内容
Llama 2 基于 LLAMA 2 社区许可证(Copyright © Meta Platforms, Inc. 保留所有权利)授权。 KARAKURI LM 基于知识共享 署名-相同方式共享 4.0 国际许可证(CC BY-SA 4.0)授权。根据此许可证,只要提供适当署名并在相同许可下分发衍生作品,您可自由共享和修改本模型(包括商业用途)。 但若需将 KARAKURI LM 用于商业目的,无论 CC BY-SA 4.0 许可条款如何规定,均需直接联系我们。若对条款解释存在疑问,欢迎随时咨询。