已关闭
[Requirement|需求建议]: mxfp4支持effrows mask #5197
wangchao661创建于 19 天前关闭于 19 天前
19 天前 添加了label:requirement
19 天前 将 wangchao661 设为负责人
游震
19 天前 评论:
19 天前 评论:
/assign @wangchao661


19 天前 关闭了 issue
19 天前 添加了label:resolved
15 天前 issue状态由 进行中 改变为 已完成
/assign @wangchao661


Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
1.1 现状
当前 Block Sparse Attention (BSA) 算子通过 blockSparseMask[B, H, qBlockNum, kvBlockNum] 实现一级稀疏:被选中的 (Q-block, KV-block) 对会完整计算 blockShapeX × blockShapeY 的 QK^T、Softmax 和 PV。
1.2 需求
在每个已选中的稀疏块内部,增加块内有效区域裁剪:
每个 Q-block 有一个有效行数 x,只有前 x 行参与计算
每个 KV-block 有一个有效行数 y(转置后为列),只有前 y 行参与计算
有效区域始终从块的左上角(第 0 行)开始
Benefit / Necessity (价值/作用)
Design(设计方案)