已关闭
[Bug]: Level4的7_SparseFlashAttention,query_rope等相关参数未在输入json中给出 #4
bingbing_____创建于  5月13日关闭于  5月29日
bingbing_____
bingbing_____
5月13日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

torch                                    2.9.0+cpu
torch_npu                                2.9.0
cann 9.0.0

🐛 问题描述

Reference Model 调用 torch_npu.npu_sparse_flash_attention。
该底层算子 aclnnSparseFlashAttention 强制要求传入 query_rope(即 MLA 模式),否则在 tiling 阶段直接报错:

NPU function error: call aclnnSparseFlashAttention failed, error code is 561002
Shape of queryRope is nullptr
[FUNC:CheckRequiredInOutExistence][FILE:sparse_flash_attention_tiling.cpp][LINE:1414]
SparseFlashAttention do tiling failed, ret is -1.

但是任务描述 7_SparseFlashAttention.json(50 个 case)全部都不提供 query_rope字段,因此参考实现在所有 case 上都直接抛错(cases_tested=1, cases_passed=0)。
目前存在的参数只有layout_query、layout_kv、sparse_block_size、sparse_mode,其他参数均缺失

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
5月13日 添加了label:bug
DaiHuina1成员
5月13日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
5月13日 添加了label:triaged
zhaolinlin成员
5月29日 评论:

已和用户确认当前json包含预期字段

likedislike
ascend-robot
ascend-robot成员
5月29日 评论:

Notice

@zhaolinlin , this issue is currently under CVE service control and cannot be closed directly. Please comment /check-issue.

likedislike
ascend-robot
ascend-robot成员
5月29日 评论:

Notice

@zhaolinlin , this issue is currently under CVE service control and cannot be closed directly. Please comment /check-issue.

likedislike
zhaolinlin成员
5月29日 评论:

/check-issue

likedislike
bingbing_____bingbing_____
5月29日 issue状态由 TODO 改变为 DONE
bingbing_____bingbing_____
5月29日 关闭了 issue