已关闭
[Bug]: attn input layout为TND时,pynative模式下由于缺少actual_seq_len,导致推理失败 #2602
Chao创建于 10月3日关闭于 23 天前
10月3日 添加了label:bug
10月3日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Infer]
10月3日 问题重现类型 由 [] 改变为 [有条件必然重现]
10月3日 关联问题类型 由 [] 改变为 [功能]
10月3日 关联分支 由 [] 改变为 [r2.10]
10月3日 问题后端类型 由 [] 改变为 [Ascend]
10月3日 关联了pull request:fix(pynative): add actual_seq_len when input layout is TND in predict run mode
10月3日 关联了pull request:fix(pynative): add actual_seq_len when input layout is TND in predict run mode
23 天前 issue状态由 TODO 改变为 REJECTED
23 天前 关闭了 issue
MindSpore-Bot
23 天前 评论:
23 天前 评论:


Checklist
🐞 问题详细描述
Pynative模式下
模型配置:
use_ring_attention默认为false,此时input_layout会被赋值为TND。
模型前向由于缺少actual_seq_len,导致如下报错:
详细的环境信息描述
硬件环境:910C
软件版本:
CANN
其他辅助信息
版本信息
不涉及
Thanks for contributing 🎉!