已关闭
[Requirement|需求建议]: mxfp4支持effrows mask #5197
wangchao661创建于  9月10日关闭于  9月10日
wangchao661
wangchao661成员
9月10日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

1.1 现状
当前 Block Sparse Attention (BSA) 算子通过 blockSparseMask[B, H, qBlockNum, kvBlockNum] 实现一级稀疏:被选中的 (Q-block, KV-block) 对会完整计算 blockShapeX × blockShapeY 的 QK^T、Softmax 和 PV。

1.2 需求
在每个已选中的稀疏块内部,增加块内有效区域裁剪:
每个 Q-block 有一个有效行数 x,只有前 x 行参与计算
每个 KV-block 有一个有效行数 y(转置后为列),只有前 y 行参与计算
有效区域始终从块的左上角(第 0 行)开始

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
wangchao661wangchao661成员
9月10日 添加了label:requirement
wangchao661wangchao661成员
9月10日 将 wangchao661 设为负责人
游震成员
9月10日 评论:

/assign @wangchao661

likedislike
CANN-robotCANN-robot成员
9月10日 关闭了 issue
CANN-robotCANN-robot成员
9月10日 添加了label:resolved
wangchao661wangchao661成员
9月14日 issue状态由 进行中 改变为 已完成