已合并
[fix] Refine shape inference for optional outputs of LI and SFA operators. #4400
[fix] Refine shape inference for optional outputs of LI and SFA operators. #4400
已合并
zzzyh22创建于 3月9日
zzzyh22
3月9日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)
LI和SFA算子,当输出flag为false时,可选输出shape推导为[0]。

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”
不涉及

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”
不涉及

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 zzzyh22 的贡献)
Zzzzyh22
3月9日 创建了 pull request,commit 1b666893
ascend-robot
ascend-robot成员
3月9日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/op-plugin yang-binrong, daifu1234567 (2/2) yang-binrong (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)
likedislike
ascend-robotascend-robot成员
3月9日 添加了label:ascend-cla/yes
AtlasAccount
AtlasAccount成员
3月9日 评论:

问题/功能描述

本次PR旨在优化两个稀疏注意力算子(LightningIndexer和SparseFlashAttention)的内存使用效率。核心问题是,在不需要某些输出(如sparse_values_outsoftmax_lse)时,原有的算子逻辑仍会为其分配全尺寸的内存空间,造成了不必要的内存浪费。

修改方案描述

本次修改的核心方案是引入条件判断,根据运行时参数动态决定是否分配输出张量的存储空间。具体包括:1)在LightningIndexer算子中,新增return_value参数,当其为false时,sparse_values_out张量将分配一个空张量而非全尺寸张量。2)在SparseFlashAttention算子中,将softmax_maxsoftmax_sum中间张量的分配逻辑改为依赖return_softmax_lse参数,同样在不需要时分配空张量。此外,为提高代码可读性,引入了常量定义。

likedislike
此处折叠了45条消息 查看更多
daifu1234567成员
3月10日 评论:

/lgtm

likedislike
yang-binrong成员
3月10日 评论:

/approve

likedislike
ascend-robotascend-robot成员
3月10日 添加了label:approvedlgtm
ascend-robot
ascend-robot成员
3月10日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: yang-binrong.
Reviewers who wrote a comment of /lgtm are: yang-binrong, daifu1234567.

likedislike
ascend-robotascend-robot成员
3月10日 合入了pull request