已关闭
[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现 #4873
kdy18482276080创建于 9月1日关闭于 9月11日
9月1日 修改了issue 的描述
9月1日 将 kdy18482276080 设为负责人
Kkdy18482276080
9月2日 修改标题为 “[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现”,原标题为“[Bug-Report|缺陷反馈]: BlockAttentionResiduals算子,新增正向算子实现”
9月2日 修改标题为 “[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现”,原标题为“[Bug-Report|缺陷反馈]: BlockAttentionResiduals算子,新增正向算子实现”
9月2日 修改了issue 的描述
9月2日 添加了label:requirement
9月2日 关联了pull request:block_attention_residuals: 新增 residuals 分类并迁入正向算子
9月5日 关联了pull request:block_attention_residuals: 补充算子 README 与 aclnn 文档
9月5日 关联了pull request:block_attention_residuals: 将 valid_block_num 属性声明移到输出之前
游震
9月7日 评论:
9月7日 评论:
/assign @kdy18482276080


9月7日 关联了pull request:block_attention_residuals: 将 arch35 MicroAPI 替换为 Reg
9月7日 关联了pull request:block_attention_residuals: 补充 Torch 接口 autograd 文档
9月11日 issue状态由 进行中 改变为 已完成
9月11日 关闭了 issue
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
当前
ops-transformer缺少BlockAttentionResiduals正向算子实现。该算子用于 Attention Residual 分块加权融合,支持need_backward=false的正向推理场景。Benefit / Necessity (价值/作用)
为 Attention Residual 场景提供 Ascend NPU 正向算子能力,便于上层模型在 NPU 上完成分块残差融合计算。
Design(设计方案)
新增
attention/block_attention_residuals/算子实现,包含 op_host、op_kernel 和 ACLNN 接口;同步提供torch.block_attention_residuals适配接口。实现覆盖 910B(arch22)和 Ascend950(arch35)。ATK 用例独立放置于/data/kdy/ATK/cases/block_attention_residuals/,不纳入算子仓提交。关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/11066