已关闭
[Requirement|需求建议]: mxfp4支持effrows mask #5197
wangchao661创建于  19 天前关闭于  19 天前
wangchao661
wangchao661成员
19 天前 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

1.1 现状
当前 Block Sparse Attention (BSA) 算子通过 blockSparseMask[B, H, qBlockNum, kvBlockNum] 实现一级稀疏:被选中的 (Q-block, KV-block) 对会完整计算 blockShapeX × blockShapeY 的 QK^T、Softmax 和 PV。

1.2 需求
在每个已选中的稀疏块内部,增加块内有效区域裁剪:
每个 Q-block 有一个有效行数 x,只有前 x 行参与计算
每个 KV-block 有一个有效行数 y(转置后为列),只有前 y 行参与计算
有效区域始终从块的左上角(第 0 行)开始

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
wangchao661wangchao661成员
19 天前 添加了label:requirement
wangchao661wangchao661成员
19 天前 将 wangchao661 设为负责人
游震成员
19 天前 评论:

/assign @wangchao661

likedislike
CANN-robotCANN-robot成员
19 天前 关闭了 issue
CANN-robotCANN-robot成员
19 天前 添加了label:resolved
wangchao661wangchao661成员
15 天前 issue状态由 进行中 改变为 已完成