模型权重下载

请将权重下载到仓库根目录 models/（已在 .gitignore）或任意本地路径，并在 taoctx.toml / TAOMEM_* 中填写。

角色	Hugging Face	ModelScope（国内镜像）	配置键
压缩（beaver_select）	Qwen/Qwen3-4B	Qwen/Qwen3-4B	TAOMEM_BEAVER_MODEL_PATH / [compress].model_path
嵌入（推荐）	Qwen/Qwen3-Embedding-0.6B	Qwen/Qwen3-Embedding-0.6B	TAOMEM_EMBED_MODEL 或嵌入服务
嵌入（英文小模型）	BAAI/bge-small-en-v1.5	搜索同名	同上
主模型（完整 chat / 评测）	Qwen/Qwen3-32B	Qwen/Qwen3-32B	[main] → OpenAI 兼容 /v1

共享目录或已下载到 ./models/ 时，可直接 source scripts/env_local_ascend.sh。

safetensors：在 torch 2.5.x + 新版 transformers 下，仅含 pytorch_model.bin 的权重可能无法加载（CVE-2025-32434）。优先选用带 .safetensors 的模型 （如 Qwen3-Embedding-0.6B）。

README 实验栈（昇腾 910C · FP16）

角色	本地路径	说明
主模型（答题 + Judge）	models/Qwen3-32B	FP16，经 OpenAI 兼容服务暴露
TAOctx 压缩	models/Qwen3-4B	TAOMEM_BEAVER_MODEL_PATH
检索嵌入	models/Qwen3-Embedding-0.6B 或 models/bge-small-en-v1.5	本地路径或 scripts/local_embed_server.py

主模型 Qwen3-32B（FP16）

mkdir -p models/Qwen3-32B
hf download Qwen/Qwen3-32B \
  --local-dir models/Qwen3-32B \
  --max-workers 4
# 或: modelscope download Qwen/Qwen3-32B --local_dir models/Qwen3-32B

在推理服务中注册 served name（例如 qwen3-32b），并与 TAOMEM_MAIN_MODEL 一致。

压缩模型 Qwen3-4B

mkdir -p models/Qwen3-4B
hf download Qwen/Qwen3-4B \
  --local-dir models/Qwen3-4B \
  --max-workers 4

昇腾 TAOctx 压缩：export TAOMEM_BEAVER_DEVICE=npu:0。

嵌入（推荐 Qwen3-Embedding）

mkdir -p models/Qwen3-Embedding-0.6B
hf download Qwen/Qwen3-Embedding-0.6B \
  --local-dir models/Qwen3-Embedding-0.6B \
  --max-workers 4

或 BGE-small：

mkdir -p models/bge-small-en-v1.5
hf download BAAI/bge-small-en-v1.5 \
  --local-dir models/bge-small-en-v1.5 \
  --max-workers 4

python scripts/local_embed_server.py \
  --model models/bge-small-en-v1.5 \
  --port 8091

---

其它权重（可选）

仓库内另有 Qwen3-30B 下载脚本，供维护者做对照实验，不是 README 结果表的默认栈：

脚本	输出目录	Hugging Face id
scripts/download_qwen3_30b_awq.sh	models/Qwen3-30B-A3B-Instruct-2507-AWQ	warshanks/Qwen3-30B-A3B-Instruct-2507-AWQ
scripts/download_qwen3_30b_instruct_fp16.sh	models/Qwen3-30B-A3B-Instruct-2507	Qwen/Qwen3-30B-A3B-Instruct-2507

AWQ 版 32B 启动示例见 scripts/start_longmemeval_main_vllm_32b.sh（served name qwen3-32b）。

---

检查

test -f models/Qwen3-32B/config.json && echo "32B OK"
test -f models/Qwen3-4B/config.json && echo "4B OK"
test -f models/bge-small-en-v1.5/config.json && echo "BGE OK"