已关闭
[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现 #4873
kdy18482276080创建于 24 天前关闭于 14 天前
24 天前 修改了issue 的描述
24 天前 将 kdy18482276080 设为负责人
Kkdy18482276080
23 天前 修改标题为 “[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现”,原标题为“[Bug-Report|缺陷反馈]: BlockAttentionResiduals算子,新增正向算子实现”
23 天前 修改标题为 “[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现”,原标题为“[Bug-Report|缺陷反馈]: BlockAttentionResiduals算子,新增正向算子实现”
23 天前 修改了issue 的描述
23 天前 添加了label:requirement
23 天前 关联了pull request:block_attention_residuals: 新增 residuals 分类并迁入正向算子
20 天前 关联了pull request:block_attention_residuals: 补充算子 README 与 aclnn 文档
20 天前 关联了pull request:block_attention_residuals: 将 valid_block_num 属性声明移到输出之前
游震
18 天前 评论:
18 天前 评论:
/assign @kdy18482276080


18 天前 关联了pull request:block_attention_residuals: 将 arch35 MicroAPI 替换为 Reg
18 天前 关联了pull request:block_attention_residuals: 补充 Torch 接口 autograd 文档
14 天前 issue状态由 进行中 改变为 已完成
14 天前 关闭了 issue
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
当前
ops-transformer缺少BlockAttentionResiduals正向算子实现。该算子用于 Attention Residual 分块加权融合,支持need_backward=false的正向推理场景。Benefit / Necessity (价值/作用)
为 Attention Residual 场景提供 Ascend NPU 正向算子能力,便于上层模型在 NPU 上完成分块残差融合计算。
Design(设计方案)
新增
attention/block_attention_residuals/算子实现,包含 op_host、op_kernel 和 ACLNN 接口;同步提供torch.block_attention_residuals适配接口。实现覆盖 910B(arch22)和 Ascend950(arch35)。ATK 用例独立放置于/data/kdy/ATK/cases/block_attention_residuals/,不纳入算子仓提交。关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/11066