已合并
[Feature][op][eqbsa-02] add eqbsa operator, attention infra, and enable build #514
lanwangli创建于 13 天前
[Feature][op][eqbsa-02] add eqbsa operator, attention infra, and enable build #514
已合并
Pull Request已成功合入, 合并人@ascend-robot
(感谢 lanwangli 的贡献)atomgit-bot
13 天前 评论:
13 天前 评论:
🤖 正在生成合并请求摘要,请稍候…


atomgit-bot
13 天前 评论:
13 天前 评论:
🤖 AI 代码检视正在进行中,请稍候…


13 天前 添加了label:pr-audit-failed
此处折叠了64条消息 查看更多
lanwangli
5 天前 评论:
5 天前 评论:
1.大型算子代码,总共2w行,当前算子代码结构 kernel和host不好拆分,已经把plugin和test拆分了,放在下一个PR
2.test在下一个PR合入


blian
5 天前 评论:
5 天前 评论:
/merge


5 天前 添加了label:keeper_approved
5 天前 合入了pull request
Which issue(s) this PR fixes or accomplishes
Fix part of #197
关联 Issue:https://gitcode.com/Ascend/MindIE-SD/issues/197
Purpose
上库 eagle_quant_block_sparse_attention 算子和 plugin 适配,关联 RFC: #197。
该算子用于叠加量化和块稀疏 Attention 能力:Q/K 采用 INT8 量化,P/V 相关路径采用 FP8 低精度表示,并通过 block sparse mask/index 降低长序列 Attention 的计算和访存开销。
本 PR 落地 eqbsa 可编译算子:
op_kernel/attn_infra、op_kernel/tla)eagle_quant_block_sparse_attention写入build_ops.sh默认算子列表infra 是被 kernel 复用的搬运 / GEMM / epilogue / layout 基础设施,可按 vendored scaffolding 评审(目录边界与许可证)。tiling、aclnn 封装、arch35 kernel 与
build_ops.sh注册是需要按算子逻辑评审的部分。Scope
Overall Sequence
Merge Safety
本 PR 已包含 kernel 编译所需的
attn_infra/tla与算子本体,并启用build_ops.sh。相对当前dev可独立编译 eqbsa。CANN 9.1 环境还需先合入 !512 的 msprof include。本 PR 不暴露 PyTorch plugin / Python API。Test Plan
build/build_ops.shbuild_ops.sh注册名attn_infra/tla按 vendored scaffolding 看目录边界与许可证Test Report
测试环境: Ascend 950,CANN 9.x
build_ops.sh