已关闭
[Bug]: profiling计算attention算子FLOPs时需要考虑实际序列长度可能为0,head_num不一致的情况 #2608
fanglanyue创建于 7月3日关闭于 7月3日
7月3日 添加了label:bug
此处折叠了22条事件消息 查看更多
7月7日 关联了pull request:[sync] PR-40262: bugfix for profiler FLOPs when actual seq len can be zero
7月7日 关联了pull request:[sync] PR-40262: bugfix for profiler FLOPs when actual seq len can be zero
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:
在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用
<TOKEN>等占位符替代原有内容。环境信息
🐛 问题描述
当前计算npu_fusion_attention时,默认q/k head_num一致,没有考虑到GQA场景,会raise error
没有考虑到actual_seq_qlen累积序列长度转换为实际序列长度后,单个seq可能为0的场景,raise_error:
欢迎加入社区,感谢您对社区的贡献 🎉!