已开启
[Bug]: attn input layout为TND时,pynative模式下由于缺少actual_seq_len,导致推理失败 #2602
Chao创建于 5 天前
5 天前 添加了label:bug
5 天前 关联组件 由 [] 改变为 [B-SIG-MindFormers-Infer]
5 天前 问题重现类型 由 [] 改变为 [有条件必然重现]
5 天前 关联问题类型 由 [] 改变为 [功能]
5 天前 关联分支 由 [] 改变为 [r2.10]
5 天前 问题后端类型 由 [] 改变为 [Ascend]
5 天前 关联了pull request:fix(pynative): add actual_seq_len when input layout is TND in predict run mode
5 天前 关联了pull request:fix(pynative): add actual_seq_len when input layout is TND in predict run mode
Checklist
🐞 问题详细描述
Pynative模式下
模型配置:
use_ring_attention默认为false,此时input_layout会被赋值为TND。
模型前向由于缺少actual_seq_len,导致如下报错:
详细的环境信息描述
硬件环境:910C
软件版本:
CANN
其他辅助信息
版本信息
不涉及
Thanks for contributing 🎉!