---

library_name: transformers license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen3.5-397B-A17B/blob/main/LICENSE pipeline_tag: image-text-to-text base_model:

• Qwen/Qwen3.5-397B-A17B

---

Qwen3.5-397B-A17B-GPTQ-Int4

近几个月来，我们重点加强了对具备卓越实用性和性能的基础模型的研发。Qwen3.5 实现了重大突破，融合了多模态学习、架构效率、强化学习规模和全球可访问性等方面的创新成果，为开发者和企业赋予了前所未有的能力与效率。

Qwen3.5 亮点

Qwen3.5 具有以下增强特性：

• 统一视觉-语言基础：通过多模态 token 的早期融合训练，实现了与 Qwen3 跨代际的性能对等，并在推理、代码、智能体和视觉理解等基准测试中超越了 Qwen3-VL 模型。

• 高效混合架构：门控 Delta 网络结合稀疏混合专家（Mixture-of-Experts）机制，在实现高吞吐量推理的同时，将延迟和成本开销降至最低。

• 可扩展强化学习泛化：在百万智能体环境中扩展强化学习，并采用逐步复杂的任务分布，以实现强大的现实世界适应性。

• 全球语言覆盖：扩展支持 201 种语言和方言，通过细致的文化和区域理解，实现包容性的全球部署。

• 下一代训练基础设施：与纯文本训练相比，多模态训练效率接近 100%；异步强化学习框架支持大规模智能体架构和环境编排。

更多详情，请参阅我们的博客文章 Qwen3.5。

模型概述

• 类型：带视觉编码器的因果语言模型
• 训练阶段：预训练与后训练
• 语言模型
  • 参数数量：总计3970亿，激活170亿
  • 隐藏维度：4096
  • 词嵌入：248320（已填充）
  • 层数：60
    • 隐藏层结构：15 * (3 * (门控DeltaNet -> MoE) -> 1 * (门控注意力 -> MoE))
  • 门控DeltaNet：
    • 线性注意力头数量：V为64，QK为16
    • 头维度：128
  • 门控注意力：
    • 注意力头数量：Q为32，KV为2
    • 头维度：256
    • 旋转位置嵌入维度：64
  • 混合专家（Mixture Of Experts）：
    • 专家数量：512
    • 激活专家数量：10个路由专家 + 1个共享专家
    • 专家中间维度：1024
  • 语言模型输出：248320（已填充）
  • MTP：采用多步训练
• 上下文长度：原生262,144 tokens，可扩展至1,010,000 tokens
• 量化方式：GPTQ 4位

基准测试结果

语言能力

视觉语言

46.3 43.2 -- 47.0 EmbSpatialBench 81.3 75.7 61.2 84.3 77.4 84.5 RefSpatialBench -- -- 65.5 69.9 -- 73.6 LingoQA 68.8 78.8 72.8 66.8 68.2 81.6 V* 75.9 67.0 88.0 85.9 77.0 95.8/91.1 Hypersim -- -- -- 11.0 -- 12.5 SUNRGBD -- -- -- 34.9 -- 38.3 Nuscene -- -- -- 13.9 -- 16.0 视频理解 VideoMME_(带字幕) 86 77.6 88.4 83.8 87.4 87.5 VideoMME_(无字幕) 85.8 81.4 87.7 79.0 83.2 83.7 VideoMMMU 85.9 84.4 87.6 80.0 86.6 84.7 MLVU（M平均值） 85.6 81.7 83.0 83.8 85.0 86.7 MVBench 78.1 67.2 74.1 75.2 73.5 77.6 LVBench 73.7 57.3 76.2 63.6 75.9 75.5 MMVU 80.8 77.3 77.5 71.1 80.4 75.4 视觉智能体 ScreenSpot Pro -- 45.7 72.7 62.0 -- 65.6 OSWorld-Verified 38.2 66.3 -- 38.1 63.3 62.2 AndroidWorld -- -- -- 63.7 -- 66.8 医疗视觉问答 SLAKE 76.9 76.4 81.3 72.5 81.6 79.9 PMC-VQA 58.9 59.9 62.3 56.1 63.3 64.2 MedXpertQA-MM 73.3 63.6 76.0 47.6 65.3 70.0

* MathVision：我们模型的分数使用固定提示词进行评估，例如“请逐步推理，并将最终答案放在\boxed{}中。”对于其他模型，我们报告带\boxed{}格式和不带\boxed{}格式运行结果中的较高分数。
* BabyVision：我们模型的分数在启用代码解释器（CI）的情况下报告；未启用代码解释器时，结果为43.3。
* V*：我们模型的分数在启用代码解释器（CI）的情况下报告；未启用代码解释器时，结果为91.1。
* 空白单元格（--）表示分数尚未公布或不适用。

快速入门

为简化集成流程，我们建议通过 API 使用 Qwen3.5。以下是通过兼容 OpenAI 的 API 使用 Qwen3.5 的指南。

部署 Qwen3.5

Qwen3.5 可通过主流推理框架以 API 形式部署。 下文将展示启动 Qwen3.5 模型兼容 OpenAI API 服务的示例命令。

SGLang

SGLang 是一个用于大型语言模型和视觉语言模型的快速部署框架。 Qwen3.5 需要使用开源仓库主分支的 SGLang，可在全新环境中通过以下命令安装：

uv pip install 'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'

有关更多详细信息，请参阅其文档。

以下操作将在 http://localhost:8000/v1 创建 API 端点：

• 标准版：可使用以下命令创建 API 端点，该端点在 8 块 GPU 上采用张量并行，最大上下文长度为 262,144 个 tokens。

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --quantization moe_wna16
  

• 工具调用：要支持工具调用，可使用以下命令。

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder --quantization moe_wna16
  

• 多 Token 预测（MTP）：推荐使用以下命令进行 MTP：

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4 --quantization moe_wna16
  

vLLM

vLLM 是一款用于大型语言模型（LLMs）的高吞吐量、内存高效的推理和服务引擎。 Qwen3.5 需要使用开源仓库主分支的 vLLM，可在全新环境中通过以下命令安装：

uv pip install vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly

详见其文档了解更多详情。

有关 Qwen3.5 的详细使用指南，请参阅vLLM Qwen3.5 使用说明。

以下操作将在 http://localhost:8000/v1 创建 API 端点：

• 标准版：可使用以下命令创建 API 端点，该端点采用 8 块 GPU 进行张量并行，最大上下文长度为 262,144 tokens。

  vllm serve Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --quantization moe_wna16
  

• 工具调用：若要支持工具调用，可使用以下命令。

  vllm serve Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder --quantization moe_wna16
  

• 多 Token 预测（MTP）：推荐使用以下命令进行 MTP：

  vllm serve Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' --quantization moe_wna16
  

• 纯文本模式：以下命令会跳过视觉编码器和多模态分析，以释放内存用于额外的 KV 缓存：

  vllm serve Qwen/Qwen3.5-397B-A17B-GPTQ-Int4 --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --language-model-only --quantization moe_wna16
  

KTransformers

KTransformers 是一个灵活的框架，支持通过 CPU-GPU 异构计算体验前沿的 LLM 推理优化。 有关使用 KTransformers 运行 Qwen3.5 的信息，请参阅 KTransformers 部署指南。

通过 Chat Completions API 使用 Qwen3.5

Chat completions API 可通过标准 HTTP 请求或 OpenAI SDK 访问。 这里，我们展示使用 OpenAI Python SDK 的示例。

开始前，请确保已安装该 SDK，并配置好 API 密钥和 API 基础 URL，例如：

pip install -U openai

# Set the following accordingly
export OPENAI_BASE_URL="http://localhost:8000/v1"
export OPENAI_API_KEY="EMPTY"

纯文本输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {"role": "user", "content": "Type \"I love Qwen3.5\" backwards"},
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-397B-A17B-GPTQ-Int4",
    messages=messages,
    max_tokens=81920,
    temperature=0.6,
    top_p=0.95,
    extra_body={
        "top_k": 20,
    }, 
)
print("Chat response:", chat_response)

图像输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
                }
            },
            {
                "type": "text",
                "text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-397B-A17B-GPTQ-Int4",
    messages=messages,
    max_tokens=81920,
    temperature=0.6,
    top_p=0.95,
    extra_body={
        "top_k": 20,
    }, 
)
print("Chat response:", chat_response)

视频输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video_url",
                "video_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
                }
            },
            {
                "type": "text",
                "text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?"
            }
        ]
    }
]

# When vLLM is launched with `--media-io-kwargs '{"video": {"num_frames": -1}}'`,
# video frame sampling can be configured via `extra_body` (e.g., by setting `fps`).
# This feature is currently supported only in vLLM.
#
# By default, `fps=2` and `do_sample_frames=True`.
# With `do_sample_frames=True`, you can customize the `fps` value to set your desired video sampling rate.
chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-397B-A17B-GPTQ-Int4",
    messages=messages,
    max_tokens=81920,
    temperature=0.6,
    top_p=0.95,
    extra_body={
        "top_k": 20,
        "mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
    }, 
)

print("Chat response:", chat_response)

指令（或无思考）模式

Qwen3.5 默认会在回复前进行思考。 您可以通过配置 API 参数让模型直接回复，无需思考。 例如，

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
                }
            },
            {
                "type": "text",
                "text": "Where is this?"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-397B-A17B-GPTQ-Int4",
    messages=messages,
    max_tokens=32768,
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    }, 
)
print("Chat response:", chat_response)

智能体使用方法

Qwen3.5 在工具调用能力方面表现出色。

Qwen-Agent

我们建议使用 Qwen-Agent 快速基于 Qwen3.5 构建智能体应用。

您可以通过 MCP 配置文件定义可用工具，使用 Qwen-Agent 的集成工具，或自行集成其他工具。

import os
from qwen_agent.agents import Assistant

# Define LLM
# Using Alibaba Cloud Model Studio
llm_cfg = {
    # Use the OpenAI-compatible model service provided by DashScope:
    'model': 'Qwen3.5-397B-A17B-GPTQ-Int4',
    'model_type': 'qwenvl_oai',
    'model_server': 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    'api_key': os.getenv('DASHSCOPE_API_KEY'),

    'generate_cfg': {
        'use_raw_api': True,
        # When using Dash Scope OAI API, pass the parameter of whether to enable thinking mode in this way
        'extra_body': {
            'enable_thinking': True
        },
    },
}

# Using OpenAI-compatible API endpoint.
# functionality of the deployment frameworks and let Qwen-Agent automate the related operations.
#
# llm_cfg = {
#     # Use your own model service compatible with OpenAI API by vLLM/SGLang:
#     'model': 'Qwen/Qwen3.5-397B-A17B-GPTQ-Int4',
#     'model_type': 'qwenvl_oai',
#     'model_server': 'http://localhost:8000/v1',  # api_base
#     'api_key': 'EMPTY',
#
#     'generate_cfg': {
#         'use_raw_api': True,
#         # When using vLLM/SGLang OAI API, pass the parameter of whether to enable thinking mode in this way
#         'extra_body': {
#             'chat_template_kwargs': {'enable_thinking': True}
#         },
#     },
# }

# Define Tools
tools = [
    {'mcpServers': {  # You can specify the MCP configuration file
            "filesystem": {
                "command": "npx",
                "args": ["-y", "@modelcontextprotocol/server-filesystem", "/Users/xxxx/Desktop"]
            }
        }
    }
]

# Define Agent
bot = Assistant(llm=llm_cfg, function_list=tools)

# Streaming generation
messages = [{'role': 'user', 'content': 'Help me organize my desktop.'}]
for responses in bot.run(messages=messages):
    pass
print(responses)

# Streaming generation
messages = [{'role': 'user', 'content': 'Develop a dog website and save it on the desktop'}]
for responses in bot.run(messages=messages):
    pass
print(responses)

Qwen Code

Qwen Code 是一款面向终端的开源 AI 智能体，针对 Qwen 模型进行了优化。它能帮助您理解大型代码库、自动化繁琐工作，从而加快开发进度。

更多信息，请参考 Qwen Code。

处理超长文本

Qwen3.5 原生支持最长 262,144 个 token 的上下文长度。 对于总长度（包括输入和输出）超过此限制的长文本任务，我们建议使用 RoPE 缩放技术（例如 YaRN）来有效处理长文本。

目前已有多个推理框架支持 YaRN，例如 transformers、vllm、ktransformers 和 sglang。 通常，在支持的框架中启用 YaRN 有两种方法：

• 修改模型配置文件： 在 config.json 文件中，将 text_config 中的 rope_parameters 字段修改为：

  {
      "mrope_interleaved": true,
      "mrope_section": [
          11,
          11,
          10
      ],
      "rope_type": "yarn",
      "rope_theta": 10000000,
      "partial_rotary_factor": 0.25,
      "factor": 4.0,
      "original_max_position_embeddings": 262144,
  }
  

• 传递命令行参数：

  对于 vllm，您可以使用

  VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1010000  
  

  对于 sglang 和 ktransformers，您可以使用

  SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1010000
  

最佳实践

为实现最佳性能，我们建议采用以下设置：

1. 采样参数：

   • 思考模式下，建议使用 Temperature=0.6、TopP=0.95、TopK=20 和 MinP=0；非思考模式下，建议使用 Temperature=0.7、TopP=0.8、TopK=20 和 MinP=0。
   • 在支持的框架中，可将 presence_penalty 参数调整在 0 到 2 之间，以减少无意义的重复。但较高的参数值偶尔可能导致语言混杂，并略微降低模型性能。

2. 充足的输出长度：对于大多数查询，建议使用 32,768 个 token 的输出长度。在对高度复杂问题（如数学和编程竞赛中的题目）进行基准测试时，建议将最大输出长度设置为 81,920 个 token。这能为模型提供足够的空间来生成详细且全面的响应，从而提升整体性能。

3. 标准化输出格式：进行基准测试时，建议通过提示词来标准化模型输出。

   • 数学问题：在提示词中包含“请逐步推理，并将最终答案放在 \boxed{} 内。”
   • 多项选择题：在提示词中添加以下 JSON 结构以标准化响应：“请在 answer 字段中仅用选项字母展示您的选择，例如："answer": "C"。”

4. 历史记录中不含思考内容：在多轮对话中，模型的历史输出应仅包含最终输出部分，无需包含思考内容。这一点在提供的 Jinja2 对话模板中已实现。但对于未直接使用 Jinja2 对话模板的框架，需由开发者确保遵循此最佳实践。

5. 长视频理解：为优化纯文本和图像的推理效率，已发布的 video_preprocessor_config.json 中的 size 参数采用了保守配置。建议将视频预处理配置文件中的 longest_edge 参数设置为 469,762,048（对应 224k 视频 token），以支持小时级视频的更高帧率采样，从而获得更优性能。例如：

   {"longest_edge": 469762048, "shortest_edge": 4096}
   

   或者，可通过引擎启动参数覆盖默认值。实现细节请参考：vLLM / SGLang。

引用说明

如果您觉得我们的研究工作对您有所帮助，欢迎引用我们的成果。

@misc{qwen3.5,
    title  = {{Qwen3.5}: Towards Native Multimodal Agents},
    author = {{Qwen Team}},
    month  = {February},
    year   = {2026},
    url    = {https://qwen.ai/blog?id=qwen3.5}
}