[Bug]: stop_token_id_index在特殊字符+mtp场景丢token-MindIE-LLM-AtomGit

已关闭

[Bug]: stop_token_id_index在特殊字符+mtp场景丢token #347

xsxhw创建于 3月26日关闭于 5月25日

xsxhw

3月26日创建

在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。

⚠️ 安全信息提醒：请仔细检查提供的文本内容，确保其不包含敏感数据信息，包括但不限于：

API 令牌或密钥
密码或身份验证凭证
私有网址或接口地址
个人或机密数据
...

在分享配置信息或代码示例时，请将敏感信息脱敏处理，或使用 <TOKEN> 等占位符替代原有内容。

环境信息

- 操作系统 Ubuntu
- 昇腾硬件信息 Atlas A2/A3
- CANN软件版本 8.5.0 
- 安装的对应软件版本 dev

🐛 问题描述

DeepSeek V3.1模型A2大EP，chunkprefill+mtp=3，流式请求存在token非停止词token被截断
推理请求体
{
"model": "deepseek_r1_w8a8",
"messages": [
{
"role": "user",
"content": "介绍一下饕餮"
}
],
"max_tokens": 500,
"seed": null,
"stop": null,
"stop_token_ids": [2412, 246],
"include_stop_str_in_output": true,
"temperature": 0.6,
"top_p": 0.95,
"skip_special_tokens":false,
"stream": true
}